[Data science]kaggle 활용

 

데이터 사이언스 경험을 기반으로 AI 역량을 탄탄히 다지기 위해 kaggle 필사를 진행해보려고 한다. 

 

kaggle을 적극적으로 활용하여 역량을 높이는 방법 중 하나로  ' kaggle 필사' 에 대해 알게 되었다. 

 

 kaggle 그랜드 마스터 이유한 님의 캐글 코리아 캐글 스터디 커널 커리큘럼

 

https://kaggle-kr.tistory.com/32

[이유한님] 캐글 코리아 캐글 스터디 커널 커리큘럼

한국 캐글 그랜드 마스터로 유명하신 이유한 님의 스터디 커리큘럼에 따라 필사를 진행하면서 데이터 분석에 자주 사용하는 툴이나 함수를 익히는 과정이 필요하다고 판단되었다. 

 

데이터를 다루고 친숙해져가는 과정이 있어야 그 다음 인공지능을 용도에 맞게 학습시킬 수 있을 것이라고 생각한다. 

 

데이터셋 탐색 및 분석 연습

 

본인은 흥미에 움직이는 사람이기 때문에 관심있는 분야를 택하는 것이 중요하다. 

 

그래서 흥미를 가지고 있는 데이터셋을 탐색 한 후 이를 분석하는 분석 방법론을 채택하여 진행해보면 어떨까 하는 생각이 든다.

 

https://www.kaggle.com/code/therealsampat/fake-news-detection

Fake News Detection

 

본인은 정치, 국제정치 관련 데이터를 분석하는 것에 관심이 있으므로 이와 관련한 주제들을 중심으로 리스트업 해보려고 한다. 

 

특히, 관련 데이터셋을 여러 방법론으로 분석해보는 것이 좋다. 

 

• 머신러닝: scikit-learn
• 딥러닝: PyTorch, Tensorflow(Keras)
• 강화학습: TF-Agent, stable-baselines, Google Dopamine

관심있는 방법론으로 데이터를 가공하여 학습시키는 것이 좋다. 

기타 데이터 분석 사이트 및 공공 데이터셋

데이터 분석 사이트

• Kaggle
  • Kaggle is the world's largest data science community with powerful tools and resources to help you achieve your data science goals.
• 데이콘
  • 1만 AI팀이 협업하는 인공지능 플랫폼.
• 카카오 아레나
  • 카카오 아레나는 머신러닝과 문제 해결을 즐기는 사람들을 위한 장소입니다.

    공공 오픈 데이터 셋

    • 공공데이터 포털
    • 서울 열린데이터 광장
    • 국가공간정보포털 오픈마켓
    • 경기 데이터드림
    • K-ICT 빅데이터 센터

    민간 오픈 데이터 셋

    • A.I. Wiki