2024/02/15 3

판다스 데이터 처리 과정에서 메모리 사용율이 높아지는 경우와 해결 방법

파이썬 라이브러리인 판다스를 이용하여 데이터를 처리하는 과정에서 메모리 사용율이 올라가 주피터 노트북의 커널이 리셋되는 경우가 종종 발생합니다. 이런 경우의 원인과 해결 방법에 대해 알아보도록 하겠습니다. 대용량 데이터 처리판다스는 데이터를 메모리에 로드하여 처리하므로, 데이터 크기가 크면 메모리 사용량도 높아집니다. 특히 메모리에 한 번에 로드할 수 없는 큰 데이터셋을 처리할 때 문제가 발생할 수 있습니다. 불필요한 복사판다스의 일부 작업은 새로운 객체를 생성하여 반환합니다. DataFrame의 슬라이싱이나 groupby() 같은 작업은 원본 데이터를 복사하여 새로운 객체를 생성합니다. 이 경우 원본 데이터와 복사본이 동시에 메모리에 존재하므로 메모리 사용량이 높아집니다. 내부 데이터 형식판다스는 다양..

한국의 희귀 성씨 : 사공(司空)

사공 씨는 한국의 희귀한 성씨 중 하나입니다. 그들의 본관은 효령이며, 인구 통계에 따르면 경상북도 군위를 본관으로 하는 인구가 가장 많은 것으로 나타납니다. 시조와 역사사공씨의사공 씨의 시조는 당나라 출신인 사공도로, 875년부터 884년까지 일어난 황소의 난을 피하여 신라로 온 것으로 전해집니다. 이후 그의 후손인 사공중상과 사공실은 고려와 조선 시대에 중요한 벼슬에 오르며 사공 씨의 영향력을 넓혔습니다. 본관 및 인구사공 씨는 경상북도를 중심으로 거주하고 있으며, 효령과 군위를 본관으로 하는 인구가 많습니다. 2015년 인구주택총조사에서는 4,476명으로 나타났는데, 효령(2,723명)과 군위(1,574명) 2개 본관 이외에도 군성(5명), 군의(35명), 소릉(20명), 평해(平海, 5명), 회녕..

한국의 성씨인 나씨(라씨)와 그 역사

한국의 성씨 중에서, '나'씨는 원래 발음은 '라'였지만, 2007년까지 적용된 두음 법칙에 따라 '나'로 표기해야 했습니다. 이에 따라 우리 주변에서 '나'씨 성을 가진 사람들은 모두 원래 '라'씨 성입니다. 다만 일부는 '류'씨처럼 '라'씨로 쓰는 경우도 있습니다. 나주 나 씨와 금성 나 씨한국의 '나'씨 가운데 가장 유명한 두 씨족은 나주 나 씨와 금성 나 씨입니다. 나주와 금성은 서로 다른 지역이지만, 두 씨족 모두 전라도를 기반으로 하는 큰 씨족입니다. 그러나 그들의 시조와 본관은 서로 다릅니다. (1) 나주 나 씨: 나부의 후손들나주 나 씨의 시조인 나부는 고려 시대에 남송 예장 출신으로, 고려에 귀화하여 호남의 망족이 되었습니다. 이후 그의 후손들은 나주에 정착하여 나주의 옛 지명인 '나..