Module 4. 지도학습(분류/회귀)

ㅇ 교수 : 이화여자대학교 강제원 교수 

ㅇ 학습목표 

     Machine Learning의 한 부류인 지도학습(Supervised Learning)에 대한 기본 개념과 regression/classification의 목적 및 차이점에 대해 이해하고, 

     다양한 모델 및 방법론(linear and nonlinear regression, classification, ensemble methods, kernel methods 등)을 통해 

     언제 어떤 모델을 사용해야 하는지, 왜 사용하는지, 모델 성능을 향상시키는 방법을 학습하게 됩니다. 

 

---

Part 1. SL Foundation

- 지도학습 : 분류 / 회귀 가 있음

- error를 계산해서 손실함수 loss function cost function으로 부름

- squared error, binary error

- Curse of dimension 차원의 저주 문제 (오버피팅)

- 데이터를 늘리는 것이 가장 단순한 해결 방법

- data augmentation! 여러 방법 : k-fold cross validation

- Regularization 방법

- 앙상블 방법

 

Part 2. Linear Regression

- Linear models

- Least square problem (방정식 : Normal equation) -> 최적의 세타를 구하게 됨.

- Gradient : 함수를 미분하여 얻는 term으로 해당 함수의 변화하는 정도를 표현하는 값

- Gradient descent : 함수의 변화도가 가장 큰 방향으로 이동

 

Part 3. Gradient descent

- SGD : noise영향 받기 쉬움

- Local Optimum 한계

 

Part 4. Linear classification

- 분류문제

- data set안의 positive sample과 negative sample

- Zero - one loss

- 문제점 해결 위해 hinge loss 사용

- Cross-entropy loss

 

Part 5. Advanced Classification

- SVM : Margin 개념 중요 support vector -> 성능을 좌지우지

- Optimization : Hard Margin SVM

- Kernel 함수 : 차수를 높여 linear하게 만드는

- ANN

- Back Propagation : dropout

 

Part 6. Ensemble

- 머신러닝에서 알고리즘의 종류에 상관없이 서로 다르거나, 같은 매커니즘으로 동작하는 다양한 머신러닝 모델을 묶어 함께 사용하는 방식

- 다양한 모델의 각 장점을 살려 예측 성능을 향상할 수 있음

- 가장 기본적인 요소 기능은 bagging 과 boosting

- 장점 : 예측 성능을 안정적으로 향상 가능, 쉽게 구현이 가능

- bagging : 학습 과정에서 training data를 랜덤하게 나눠서 학습 -> "모델을 병렬적으로 학습 가능" (bootstrapping / aggregating)

- boosting : 시퀀셜하게 동작함, classfier을 연속적으로 동작하게 함 (cascading of weak classifier)

- 대표적으로 Adaboost 가 있음. (오분류된 sample에 높은 가중치를 줘서 다음 학습에 사용할 수 있게함 -> 다음 classifier는 어려운 샘플을 해결하는데 더 특화된 모델로 동작하게 됨.)

- Random forest (배깅을 통해 학습, 부스팅 사용)

- Evaluation : Accuracy측정, confusion matrix (오차계산), ROC Curve

 

---

재작년 기계학습 수업시간에 배웠던 이론들이 떠오른다.. 그때 열심히 공부했었는데 사실 기억이 잘 안남

그래도 익숙한 모델들이랑 방법론이 보이는 걸 보니가 유경초이의 수업은 정말 많은 도움이 됐었구나 싶음.

인공지능을 좀 더 열심히 들을걸! 하는 후회가 남지만 그땐 너무 바빳다.....ㄱ-