똑똑하게 벌고 똑똑하게 사는 초이

지도학습과 비지도학습의 개념지도학습(Supervised Learning)은 마치 선생님이 공부할 내용과 정확한 답을 알려주고 숙제를 내주어 학생들이 문제를 푸는 것과 비슷합니다. 여기서 핵심은 입력과 그에 상응하는 정답인 출력이 주어진 상태에서 학습한다는 것입니다. 다시 말해, 모델은 입력 데이터로부터 출력을 예측하기 위해 학습되며, 정확한 예측을 하기 위해 입력과 출력 쌍을 사용합니다. 비지도학습 (Unsupervised Learning) 은 선생님이 정답을 알려주지 않고, 학생들이 자유롭게 학습하는 것과 유사합니다. 여기서 모델은 데이터의 구조나 패턴을 파악하기 위해 노력하며, 어떤 종류의 출력이 예상되는지에 대한 정보 없이 입력 데이터만을 다룹니다. 이러한 방식은 데이터 자체에서 숨겨진 구조를 발견..

프론트엔드와 백엔드 개발은 웹 개발의 중추적인 역할을 하며, 각자 사용되는 기술과 역할에서 차이를 보입니다. 프론트엔드(Front-end)는 사용자 경험을 중시하고, 백엔드(Back-end)는 데이터 처리와 시스템의 안정성에 초점을 맞춥니다. 오늘은 프론트엔드, 백엔드 개발의 개념과 차이점에 대해 알아보도록 하겠습니다. 프론트엔드와 백엔드 개발의 개념과 역할프론트엔드 개발은 사용자가 직접 상호 작용하는 웹사이트나 애플리케이션의 인터페이스를 개발하는 것을 말합니다. 이는 웹사이트의 시각적인 부분뿐만 아니라 사용자 경험과의 상호 작용을 담당합니다. 반면에, 백엔드 개발은 웹사이트의 뒷단에서 데이터를 관리하고 처리하는 프로세스부터 시스템의 안정성과 보안을 담당합니다. 이들은 각각 웹 개발에서 상호 보완적으로 ..

JSON은 텍스트 기반의 경량 데이터 교환 형식이며, Parquet 파일은 열 지향적이고 압축된 바이너리 형식의 데이터 스토리지 파일입니다. JSON은 읽기 쉽고 유연하며 이해하기 쉽지만, 대량의 데이터를 다루는 데에는 한계가 있습니다. 반면 Parquet 파일은 대량의 데이터를 효율적으로 저장하고 처리할 수 있으며, 분석 작업에 용이한 특징이 있습니다. 오늘은 데이터형식인 JSON과 Parquet의 의미와 특징, 그리고 차이점에 대해 알아보도록 하겠습니다. JSON과 Parquet 파일이란 무엇인가?JSON(JavaScript Object Notation)은 인간이 읽고 쓰기에 편리하며, 기계가 파싱하고 생성하기 쉬운 경량 데이터 교환 형식입니다. 일반적으로 텍스트로 구성되어 있고, 프로그래밍 언어와 ..

반복(iteration)은 한 번의 데이터 처리 단위를 의미하고, 에포크(epoch)는 전체 데이터 셋에 대해 한 번 학습을 완료하는 것을 뜻합니다. 이 둘은 머신러닝 모델 학습에서 중요한 요소로, 모델의 성능을 향상시키는 데 결정적인 역할을 합니다. 반복(iteration)이란 무엇인가요?반복(iteration)은 딥러닝 모델 학습 과정에서 한 번의 데이터 처리 단위를 의미합니다. 말 그대로 '반복'이란 단어처럼, 모델이 학습 데이터셋을 한 번 훑고 나서 가중치를 조정하는 과정을 말합니다. 간단히 말하면, 모델이 데이터셋의 각 샘플마다 예측을 하고, 정답과 비교한 후 가중치를 조정하는 과정이 한 번 수행되는 것이 반복입니다. 이 과정은 모델이 최적의 가중치를 찾아내는 데 도움을 줍니다.예를 들어, 과일..

파이썬 라이브러리인 판다스를 이용하여 데이터를 처리하는 과정에서 메모리 사용율이 올라가 주피터 노트북의 커널이 리셋되는 경우가 종종 발생합니다. 이런 경우의 원인과 해결 방법에 대해 알아보도록 하겠습니다. 대용량 데이터 처리판다스는 데이터를 메모리에 로드하여 처리하므로, 데이터 크기가 크면 메모리 사용량도 높아집니다. 특히 메모리에 한 번에 로드할 수 없는 큰 데이터셋을 처리할 때 문제가 발생할 수 있습니다. 불필요한 복사판다스의 일부 작업은 새로운 객체를 생성하여 반환합니다. DataFrame의 슬라이싱이나 groupby() 같은 작업은 원본 데이터를 복사하여 새로운 객체를 생성합니다. 이 경우 원본 데이터와 복사본이 동시에 메모리에 존재하므로 메모리 사용량이 높아집니다. 내부 데이터 형식판다스는 다양..

데이터 준비성(Data Readiness)은 데이터의 정확성과 유용성을 확보하는 과정으로, 데이터를 수집하고 정리하여 활용 가능한 상태로 만드는 것을 말합니다. 데이터 준비성을 통해 신뢰할 수 있는 데이터를 구축하고, 이를 기반으로 한 분석과 결정은 더 나은 결과를 이끌어내며, 신속하고 명확한 의사 결정을 가능하게 합니다. 데이터 수집과 정리데이터를 준비한다는 것은 신중한 데이터 수집 및 정리 과정을 거치는 것을 의미합니다. 데이터 수집은 원시 데이터를 수집하고 보존하는 과정을 말하며, 정리는 수집된 데이터를 구조화하고 분류하여 쉽게 이해하고 활용할 수 있는 형태로 가공하는 것을 의미합니다. 이 단계에서는 데이터의 출처와 형식을 파악하고, 데이터의 완전성, 일관성, 정확성 등을 확인하여야 합니다. 데이터..

프로그래밍을 하다 보면 런타임(runtime)이라는 용어를 자주 접하게 되는데요. 문과 출신인 저로써는 용어를 들을 때마다 낯설게 느껴지곤 합니다. 간단히 말하면 런타임은 프로그램이 실행되는 동안의 시간을 의미합니다. 오늘은 런타임이 무엇인지 알아보고 런타임 에러와 예외처리, 중요성 등에 대해 자세히 알아보는 시간을 갖도록 하겠습니다. 런타임이란 무엇인가?런타임은 프로그램이 실행되고 있는 동안의 시간을 의미하며, 프로그램이 실행되는 동안에 생기는 모든 일들을 포함합니다. 즉 런타임은 프로그램이 시작해서 끝날 때까지의 모든 시간을 의미합니다. 프로그램 실행과 런타임의 관계프로그램이 실행되는 동안에는 컴퓨터의 중앙 처리 장치(CPU)가 프로그램의 명령어들을 실행하고 메모리에서 데이터를 읽고 쓰는 작업을 수행..

AI 모델의 강건성의 의미AI 모델의 필수적 조건 중 하나인 '강건성'은 영어로 'robust'로 표현되며 주로 '모델이 로버스트 한가?'라고 쓰입니다. 강건성은 다양한 조건에서 안정적으로 작동하며 예상치 못한 입력이나 환경 변화에도 견고한 성능을 유지하는 능력을 의미합니다. 다시 말해 AI모델이 현실 세계의 다양한 상황에 적응하여 오류에 민감하지 않다는 것을 의미합니다. AI 모델이 강건성을 갖추기 위한 조건1. 다양한 데이터셋에서 학습모델이 다양한 데이터셋에서 학습되면 다양한 변수(feature)에 대한 이해력이 향상되어 강건성이 증가합니다. 특히 학습 데이터(train data)에 포함되지 않은 예외적인 상황에 대해서도 적응할 수 있게 됩니다. 2. 노이즈와 이상치(outlier)에 대한 강건성..

SQL 쿼리를 실행하다 보면 실행시간이 길어지는 경우가 있습니다. 이러한 현상이 발생하는 이유는 쿼리를 비효율적으로 작성했기 때문인데요. 이는 조회하려는 DB에도 부하를 주기 때문에 시스템에 영향을 끼칠 수가 있습니다. 따라서 오늘은 SQL 쿼리 속도가 느린 경우를 살펴보고 이를 빠르게 개선할 수 있는 방법들에 대해 사례와 함께 살펴보도록 하겠습니다. 1. SELECT * (asterisk) 사용하지 않기모든 열을 조회하는 경우 asterisk(*)를 사용하는데, 이는 불필요한 데이터를 가져오게 되어 조회 속도가 느려집니다. 따라서 필요한 열만을 명시적으로 선택해야 하는 것이 효율적입니다.-- 느린 쿼리SELECT * FROM orders WHERE status = 'completed';-- 빠른..

데이터 무결성과 정합성은 자칫하면 헷갈리기 쉬운 용어이지만 두 가지 모두 데이터의 신뢰성과 일관성을 보장하는데 중요한 요소입니다. 무결성은 데이터의 정확성과 완전성을 의미하고, 정합성은 데이터 간의 일관성을 나타냅니다. 두 가지 요소는 데이터의 신뢰도를 높이고, 올바른 의사결정을 내리는 데 결정적인 영향을 미치는데요, 오늘은 데이터 무결성과 적합성의 개념에 대해 알아보고 차이점을 살펴보도록 하겠습니다. 데이터 무결성과 정합성의 개념데이터 무결성은 데이터베이스 내의 데이터가 정확하고 일관성 있게 유지되는 것을 의미합니다. 데이터가 정확하다는 것은 데이터가 실제 현실을 정확하게 반영한다는 것을 의미하며, 일관성이 있다는 것은 데이터베이스의 모든 내용이 모순되지 않는 것을 말합니다. 반면, 데이터 정합성은..