728x90
반응형
AdaBoost
AdaBoost는 아래와 같이 여러 개의 stump로 구성이 되어있습니다. 이를 Forest of stumps라고 합니다.
* Stump란 노드 하나에 두개의 leaf를 지닌 트리
여러 질문을 통해 데이터를 분류하는 트리와 다르게, stump는 단 하나의 질문으로 데이터를 분류해야하기 때문에 정확한 분류를 하지 못함. (stump는 약한 학습기(weak learner))
랜덤포레스트는 여러 개의 트리의 결과를 합산해서 다수결의 원칙으로 최종 결과를 냅니다. 최종 분류를 하는데 있어 각각의 트리는 동등한 가중치를 가지고 있습니다. (아래 그림)
하지만 AdaBoost에서는 특정 stump가 다른 stump보다 더 중요. 즉, 더 가중치가 높음.
크기가 큰 것은 가중치가 더 높은 stump를 의미하고 이는 결과에 미치는 영향이 크다는 뜻입니다. (아래 그림)
AdaBoost 요약
1. 약한 학습기 (Weak Learner)로 구성되어 있으며, 약한 학습기는 Stump의 형태다.
2. 어떤 Stump는 다른 Stump보다 가중치가 높다.
3. 각 Stump의 error는 다음 Stump의 결과에 영향을 준다.
728x90
반응형
'ML' 카테고리의 다른 글
| #6 앙상블 기법 XGBoost(Extreme Gradient Boosting) (0) | 2023.09.22 |
|---|---|
| #5 앙상블 기법 Gradient Boosting Machine(GBM) (0) | 2023.09.22 |
| # 3 앙상블 기법 랜덤 포레스트(Random Forest) (0) | 2023.09.21 |
| # 2 앙상블 기법 배깅(Bagging) & 부스팅(Boosting) (0) | 2023.09.21 |
| # 1 앙상블 기법 개요 및 Bias-Varience Decomposition (0) | 2023.09.21 |
