4학년 2학기 논문 읽기를 시작하다.

인공지능 공부를 본격적으로 진행하기 시작한 4학년 1학기, 어려운 시기를 마치고 4학년 2학기를 준비하는 여름방학이 찾아왔다.  

 

막학기라고 불리는 4학년 2학기를 앞둔 여름방학은 중요하다고 생각했기에 나름 여러 계획을 세웠다. 

그 중 하나가 바로 논문 읽기이다 !

 

논문을 한번도 읽어보질 않아서 인터넷 서치를 하면서 얻은 논문 공부 꿀팁들을 이 페이지에 정리해두려고 한다. 

 

뭐든 처음이고 어색해서 아직 부족한게 많은 것 같다는 생각이 든다. 

 

1. 머리와 꼬리를 위주로 보자. 

 

1안)  Title -> Abstract -> Introduction -> Experiments -> Conclusion

2안)  Title -> Abstract -> Experiments

 

2. Figure와 Table 위주로 보자. 

 

이해하기 힘든 문장은 과감하게 넘어가고 시각화된 이미지나 표의 숫자들을 보면서 무엇을 평가하는지를 살펴보자. 

 

3. 영어 그 자체의 표현을 익히도록 할 것 !

 

한글로 된 표현들보다는 영어 그 자체의 표현을 익히는 것이 중요하다. 

 

4. 읽으려는 분야의 base가 되는 논문이나 방법에 대해 알아두는 것이 필요하다. 

 

5. 논문을 병렬적으로 봐야 한다.(한번에 한 개 이상의 논문을 보는 것이 좋다. )

 

6. 논문을 정독하지 말고 몇 부분을 생략해서 읽되 여러번 다시 읽는 것이 좋다. 

- 논문 제목, 초록, 도표를 먼저 보자

- 이후 결론을 보자 (결론에는 자신의 논문을 게재승인되어야 하는 이유를 요약한 부분) 

- 논문의 기본적인 컨셉과 아이디어에 대해 파악하자. 

- 수식은 과감히 생략하자. 

- 이해가 안되는 부분을 빼고 전체적으로 읽자. 

 

7. 논문을 읽고 스스로 다음 질문에 답해보자. 

- 저자가 뭘 해내고 싶어했는가 

- 이 연구의 접근에서 중요한 요소는 무엇인가

- 논문 독자는 이 논문을 이용할 수 있는가

- 참고하고 싶은 다른 레퍼런스에는 어떤 것이 있는가

 

8. 컨퍼런스 종류

- ML/DL 컨퍼런스 : NIPS/ICML/ICLR 

 

9. 코드를 직접 구현해본다. 오픈 소스를 받아서 실행한다. 

 

10. 논문을 효과적으로 읽는 것은 총 3번 반복해서 읽는 것이다. 

-대략적인 아이디어 파악

-디테일을 제외한 내용 파악

-논문을 깊이 이해 

 

• 첫번째 단계
• 5-10분 이내에 제목, 초록, 도입, section과 subsection 읽고 결론을 읽음 
• 참고 문헌을 읽으면서 이미 읽은 논문이 어떤 것인지 대충 파악한다. 
• 간단하게 논문을 읽고 아래와 같은 질문을 정리하는 것이 좋다. 
  
  • category : 어떤 종류의 논문?
  • context : 다른 논문과의 연관성은 무엇인가? 문제를 분석하기 위해 어떤 이론이 사용되고 있는가? 
  • correctness :  가정들은 타당한가?
  • contributions :  논문의 기여점은 무엇인가? 
  • clarity :  잘 쓰여진 논문인가? 
• 두번째 단계 :
  • 한시간 이내
  • 좀 더 자세하게 읽되 증명 같이 detail 한 것은 스킵
  • 중요 내용을 여백에 정리하면서 저자에게 묻고 싶은 질문들도 적어놓음
  • 그래프와 수치들을 눈여겨 볼것 
• 세번째 단계 :
  
  • 2시간 이상
  • 아예 논문을 머릿속에 다시 써본다는 생각으로 
  • 모든 문장의 가정을 이해하고 그 가정이 맞는지 확인 
  • 과연 나 같으면 어떤 식으로 이 논문의 아이디어를 제시할지 생각해볼 것 
  • 새로운 아이디어를 여백에 적음

11. https://www.youtube.com/watch?v=733m6qBH-jI 앤드류 응의 강의 살펴볼 것 

 

# review 논문 : 관심있는 연구분야의 review 논문을 먼저 파악 -> 연구분야에 대한 논문 간 관계도 목차를 구성

 

# nature지의 경우 핫토픽을 정리하는 형태로 자주 올라온다. 

 

#article은 좀 더 자세한 최신 연구를 다루며, letter은 좀 더 양이 적은 최신연구를 다룬다. 

 

12. 리딩습관을 들이자 

• 보통 1-3시간 소요 
• 한 주에 2개씩 꾸준히 
• 알고리즘은 수식을 직접 쓰면서 이해하고 밑바닥부터 코드로 구현한다. 
• 수식은 직접 손으로써서 연산한다.  

< 논문 정리 예시 >

[3] Very Deep Convolutional Networks for Large-Scale Image Recognition

arxiv.org/pdf/1409.1556v6.pdf

종합 : ⭐⭐⭐⭐

1. 논문 중요도 : 5점

2. 실용성 : 3점

설명 :

   -Inception-v1 보다 성능이 낮아 2등을 했지만, 다른 딥러닝 Task의 Backbone으로 많이 사용(ResNet가 나오기 전까지)

   - 3x3 CNN Block (간단하게 Archtecture를 구성해보자)

   - 간단하게 구성된 Architecture의 중요성을 보여줬다고 생각한다.

<나의 흥미 분야에 대한 도움을 구하고자 chat gpt에게 물어본 결과>

정책 결정 지원과 관련된 진로를 가고 싶다면, 인공지능(AI)의 여러 세부 분야 중에서 다음과 같은 분야들을 집중적으로 공부하는 것이 좋습니다. 각 분야는 정책 분석, 예측, 최적화, 데이터 기반 의사 결정 등을 효과적으로 지원할 수 있습니다.

1. 자연어 처리(NLP, Natural Language Processing)

정책 문서 분석, 여론 조사, 감정 분석 등 다양한 정책 관련 텍스트 데이터를 처리하고 분석하는 데 중요한 역할을 합니다.

• 텍스트 전처리: 토큰화, 정규화, 품사 태깅
• 정보 추출: 개체명 인식(NER), 감정 분석
• 문서 요약: 긴 정책 문서를 요약하여 핵심 정보를 추출
• 토픽 모델링: 정책 문서의 주요 주제를 자동으로 추출

2. 기계 학습(Machine Learning)

정책 결정에 필요한 데이터를 분석하고 예측하는 데 활용됩니다.

• 지도 학습: 회귀 분석, 분류 모델
• 비지도 학습: 군집화, 차원 축소
• 강화 학습: 정책 최적화를 위한 모델

3. 딥러닝(Deep Learning)

복잡한 데이터 패턴을 학습하고 예측 모델을 향상시키는 데 사용됩니다.

• 신경망(NN): 기본 개념, 다층 퍼셉트론(MLP)
• 순환 신경망(RNN): 시계열 데이터 및 연속적인 정책 데이터 분석
• 트랜스포머 모델: BERT, GPT 등 자연어 처리에 강력한 모델

4. 데이터 마이닝(Data Mining)

정책 결정에 필요한 데이터를 수집하고 분석하는 데 사용됩니다.

• 패턴 인식: 데이터에서 유의미한 패턴을 찾기
• 연관 규칙 학습: 데이터 간의 연관성을 파악하여 정책 결정에 활용

5. 데이터 시각화(Data Visualization)

정책 데이터를 시각적으로 표현하여 이해를 돕는 데 중요한 역할을 합니다.

• 데이터 시각화 도구: Matplotlib, Seaborn, Tableau 등
• 시각적 분석: 복잡한 데이터를 시각적으로 표현하여 인사이트 도출

6. 인공지능 윤리(Ethical AI)

정책 결정에 AI를 적용할 때 발생할 수 있는 윤리적 문제를 이해하고 해결하는 데 필요합니다.

• AI 편향 탐지 및 수정: AI 시스템의 편향을 탐지하고 수정
• 투명성과 설명 가능성: AI 결정 과정을 투명하게 만들고 설명 가능하게 하기

7. 강화 학습(Reinforcement Learning)

정책 결정 및 최적화 문제를 해결하는 데 유용합니다.

• 정책 최적화: 강화 학습 알고리즘을 사용하여 최적의 정책 결정을 도출
• 게임 이론적 접근: 정책 결정 상황을 모델링하여 최적의 전략을 찾기

학습 자료 및 코스

1. 온라인 강의 및 코스:
   • Coursera:
     • "Machine Learning" by Andrew Ng
     • "Natural Language Processing" by deeplearning.ai
     • "AI For Everyone" by Andrew Ng (AI 윤리 포함)
   • edX:
     • "Data Science and Machine Learning Essentials" by Microsoft
     • "Introduction to Python for Data Science" by Microsoft
   • Udacity:
     • "Deep Learning Nanodegree"
     • "Data Scientist Nanodegree"
2. 책:
   • "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow" by Aurélien Géron
   • "Deep Learning" by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
   • "Natural Language Processing with Python" by Steven Bird, Ewan Klein, and Edward Loper
3. 프로젝트 및 실습:
   • Kaggle: 데이터 분석 및 예측 대회에 참여
   • GitHub: 오픈 소스 프로젝트에 기여

학습 순서 제안

1. 기초 프로그래밍 및 수학 공부
2. 머신러닝 기초 이론과 실습
3. 자연어 처리 기초 이론과 실습
4. 딥러닝 기초 이론과 실습
5. 고급 NLP 및 딥러닝 모델 학습
6. 정책 결정 지원 관련 프로젝트 수행

이러한 학습 경로를 따라가면 정책 결정 지원과 관련된 AI 분야에서 깊이 있는 지식을 쌓고, 실제 문제를 해결하는 데 필요한 능력을 기를 수 있을 것입니다. 대학원 연구와 실습을 통해 이러한 기술들을 심화 학습하면, 정책 결정 지원 시스템을 개발하고 최적화하는 데 큰 도움이 될 것입니다.