# 1 앙상블 기법 개요 및 Bias-Varience Decomposition

1. 편향(Bias)과 분산(Varience)

1-1. 편향(Bias)

편향은 지나치게 단순한 모델로 인한 error로 평향이 크면 under-fitting을 야기함.

모델의 편향이 크다 = 그 모델의 뭔가 중요한 요소를 놓치고 있다.

 

1-2. 분산(Variance)

지나치게 복잡한 모델로 인한 error로 훈련 데이터에 지나치게 적합시키려는 모델. 분산이 크면 Over-fitting을 야기함.

분산이 크다 = 지나치게 적합시켜 일반화가 되지 않은 모델

 

1-3. 편향(Bias)과 분산(Varience) 크기에 따른 모델의 구분

2번째는 overgitting, 3번째는 underfitting이 잘 나타남

• 낮은 모델 복잡도 : 높은 편향 & 낮은 분산
  • Logistic regression, LDA, K-NN with large k 등등 
• 높은 모델 복잡도 : 낮은 편향 & 높은 분산
  • DT, ANN, K-NN with small k 등등

 

2. 앙상블이란?

여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법으로

앙상블 학습의 핵심은 여러 개의 약 분류기(Weak Classifier)를 결합하여 강 분류기(Strong Classifier)를 만드는 것입니다. 이를 통해 모델의 정확성이 향상됩니다.

 

2-1. 앙상블의 학습 방법

• 배깅
• 부스팅

(배깅과 부스팅의 자세한 설명은 다음 글에 있습니다.)

 

2-2. 앙상블의 목적 : 다수의 모델을 학습하여 오류의 감소를 추구

• 분산의 감소에 의한 오류 감소: 배깅(Bagging), 랜덤포레스트(Random Forest)
• 편향의 감소에 의한 오류 감소: 부스팅(Boosting)
• 분산과 편향의 동시 감소: Mixture of Experts

 

2-3. 앙상블의 효과

• 이론적으로는 M개의 개별 모델을 결합한 앙상블의 경우 M개의 개별 모델의 평균 오류 1/M 수준으로 감소함(가정: 각 모델은 서로 독립)
  • 위의 가정은 현실에서 지켜지지 않는 경우가 많음
• 현실적으로는 M개의 개별 모델을 결합한 앙상블의 경우 개별 모델의 평균 오류보다는 최소한 같거나 낮은 오류를 나타내는 것을 증명할 수 있음
  • 즉, 1등 모델보다 성능이 우수함을 입증할 수는 없으나 개별 모델들의 평균치보다는 항상 우수하거나 같은 성능을 나타냄

 

3. 동일한 모델을 여러 개 사용하는 것은 아무런 효과가 없음

• 개별 모델은 서로 적절하게 달라야 효과를 볼 수 있음
• 개별적으로는 어느 정도 좋은 성능을 가지면서, 앙상블 내에서 각각의 모델은 서로 다양한 형태를 나타내는 것이 가장 이상적임