Regularization

모델이 지나치게 학습되는 것을 막는 것. 인공지능 모델이 훈련 데이터에 대해 지나치게 학습하면 그 훈련데이터에만 특화되는 과적합(Over Fitting)이 발생한다. 과적합이 발생하면 테스트 데이터에서는 오히려 성능을 내지 못한다.

 

과적합을 방지하기 위해서는 Polynomal Feature의 경우 최고차항의 갯수를 낮춘다. 모델이 사용하는 Feature를 줄여도 모델을 단순하게 만들 수 있다.

Regularization은 학습 파라미터 세타를 억제한다. 고차항의 세타를 억제하면 차수가 작은 모델과 분류선이 비슷해진다. 

 

람다의 크기도 하이퍼 파라미터인데, 너무 크면 세타가 작아지는 속도가 너무 빨라지기 때문에 모델이 과하게 단순해지는 Under Fitting이 발생한다. 반대로 너무 작으면 Regularization을 진행하는 효과가 없다,