#5 앙상블 기법 Gradient Boosting Machine(GBM)

먼저 배깅의 대표적인 모델은 랜덤 포레스트가 있고, 부스팅의 대표적인 모델은 AdaBoost, Gradient Boost등이 있습니다. Gradient Boost의 변형 모델로는 XGBoost, LightGBM, CatBoost가 있습니다.

 

Gradient Boosting Machine = Gradient Desent Algorithm + Boosting

 

AdaBoost와 Gradient Boosting의 차이점

AdaBoost

• 개별 모델을 forward 방식으로 학습(순차적)
• 각 단계에서 새로운 Base Learner (Stump) 를 학습하여 이전 단계의 Base Learner (Stump) 의 단점을 보완
• AdaBoost에서는 단점이 각 데이터의 선택 확률에 반영됨

Gradient Boosting Machine (GBM)

• 개별 모델을 forward 방식으로 학습(순차적)
• Gradient Boost는 stump나 tree가 아닌 하나의 leaf (single leaf)부터 시작
• 각 단계에서 새로운 Base Learner (Tree)를 학습하여 이전 단계의 Base Learner (Tree)의 단점을 보완
• Gradient Boosting에서는 단점이 Loss Function의 Gradient에 반영됨

GBM 예시

위 그림을 보면 tree 1을 통해 예측하고 남은 잔차를 tree2를 통해 예측하고, 이를 반복함으로서 점점 잔차를 줄여나간다.

다만, 과적합이 쉬워 가중치(Learning rate)를 조절하는 것이 중요하다.

 

 

Gradient Boosting의 과적합 방지

• Subsampling: 학습 데이터의 일부분만 사용 (Bagging과는 다르게 비복원 추출 사용)
• Shirinkage: 다음 모델을 결합할 때 일부러 작은 가중치 사용