Module 3. Machine Learning 개론

ㅇ 교수 : 서울대학교 김건희

ㅇ 학습목표 : 본 모듈은 Machine Learning의 기본 개념에 대한 학습 과정입니다. ML이란 무엇인지, Overfitting과 Underfitting의 개념, 최근 많은 관심을 받고 있는 초거대 언어모델에 대해 학습하게 됩니다.

---

 

Part 1. Introduction to Machine Learning

- 기계학습 : 인공지능의 한 분야 (인공지능-기계학습-딥러닝: 기계학습 중 신경망 레이어가 많은 분야)

- 허버트 사이먼 : 의사결정에 관련된 연구 / 아서 사무엘 : Game Tree 알파-베타 prunning, 체스프로그램

- Tom Mitchell's definition : Task(어떤 작업), Performance Measure(성능 지표), Experience(Data)

 

Part 2. Bias and Variance

- 편향 / 분산

- 기계학습에서는 학습데이터를 모으게 됨 -> x, y 쌍 -> ex) linear 함수 적용 -> 잘 동작하는 w와 b를 찾는 일이됨

- Loss Function : 모델의 예측값과 정답값이 틀리면 틀릴수록 값이 커지는 함수

- New unseen data에 대해 성능이 좋아야함 (일반화 능력)

- Overfitting 과적합 -> 일단 오버피팅 시켜서 트레이닝 에러를 줄이는 게 나음

- Underfitting 과소적합 -> 이건 애초에 나면 안되는 것임, 모델을 잘못 선택 했거나 or 데이터를 잘못 학습시킴

- Model's Capacity : 선형 함수 2차함수 등등 -> "오컴의 면도날" : 확률적으로 간단한 설명이 옳을 확률이 높다

- Regularization 정규화 : 목적함수는 loss가 최소되도록 되어있음 -> 과적합 빠질 수 있기 때문에 Term을 보상으로 추가하게됨. -> 모델 capacitiy도 최소하도록. -> Hyperparameter (lambda)를 통해 일반화 에러를 낮추는 것이 목표 (트레이닝 에러를 낮추겠다는 것이 아님. 트레이닝 에러를 희생하고 일반화 에러를 낮추겠다.)

- Bias(예측과 실제값과 차이) / Variance 둘다 낮아야함 but 둘 사이에는 trade off가 존재. (반비례) -> 둘다 낮추기 위해 앙상블 learning이 활용됨.

 

Part 3. Recent Progress of Large Language Models

- 이전에는 하나의 task에 집중된 인공지능이 많았음 (ex 번역, 요약)

- but GPT는 일반 인공지능에 집중을 하겠다 -> 거짓말을 해서라도 응답을 냄

- InstructGPT (GPT3.5)가 중요한 모델임 -> 사용자의 지시를 유용하면서도 안전하게 응답을 생성할 수 있게 학습됨.-> GPT3에서 GPT3.5로 변한 핵심기능이 RLHF임 -> 강화학습인데, 사람의 피드백을 이용해서 학습을 하겠다.

 

- Training of InstructGPT :

1. Supervised fine-tuning(SFT) 지도학습 시킴

2. Reward model(RM) training : GPT에게 여러개의 응답을 생성하게 하고 사람이 이 응답에 랭킹을 매김 -> 랭킹스코어를 예측하도록 모델을 학습

3. RL via PPO : 질문과 응답이 주어지면 RM은 스코어를 예측생성하고, 이 스코어를 강화학습의 보상으로 활용해서 instructGPT 학습함. (PPO는 openAI사에서 만든 유명한 강화학습 알고리즘)

 

- ChatGPT는 GPT에 대화 user인터페이스를 붙인 것

- GPT4는 두가지를 강조함

1. large multimodal (텍스트, 사진, 이모티콘 등 다양한 모달리티)

2. No technical details (기술적인 디테일은 아무것도 공개하지 않음) , contect length의 빠른증가

 

- Google Bard

- 구글 PaLM

 

-Meta OPT & LLaMA(언어모델) : 전체공개 -> Self-Instruct Tuning(gpt에 사람이 지시- gpt가 응답한 data 쌍을 이용해서 라마를 학습을 시킴)

- VIcuna-13B모델을 그렇게 개발함(돈도 안들이고) -> 라마의 자손이 개많음

 

---