#4 커널기반 학습 Support Vector Machine - Non-linear & Soft Margin - 1

이번에는 Soft Margin에 대해 글을 써보겠습니다.

 

---

Soft Margin은 Hard Margin과 다르게 noise가 허용되지만 Penalty 부여(분류 경계선이 아닌 마진으로부터)

가운데 있는 파란색 Point는 학습과정에서는 Penalty 부여 받지만 분류과정에서는 정분류로 분류됨

 

 

목적함수

첫번째 항: 마진 최대화

두번째 항: 마진 외부의 Point 허용하되, 허용 Point Penalty 최소화

 

---

From Primal to Dual

위의 식의 의미 : 데이터가 주어지면 Support Vector Machine은 유일한 해가 존재

아닌 경우도 있는가? YES, 인공신경망은 초기 조건이 달라지면 해도 달라짐

 

위의 식을 Dual 문제로 풀어서 써보면 아래와 같다. 즉, alpha에 대한 2차 함수

 

---

 

Support Vector란?

- 실제 모델의 분류 경계면을 찾는데 필요한 관측치

- 마진 위 또는 바깥에 존재하는 점들로 구성(αｉ =/= 0)

 

Case 1:  α = 0   -> 서포트 벡터가 아닌 객체

Case 2:  0 < αｉ < C   -> 마진 밖에 존재하는 서포트 벡터

Case 3:  αｉ = C   -> 마진 밖에 존재하는 서포트 벡터

 

Case2와 Case3에 있는 객체들이 분류 경계면의 위치를 결정한다.