#3 커널기반 학습 Support Vector Machine - Linear & Hard Margin - 2

# Optimization Problem

# From Primal to Dual

SVM case 1 :  Linear & Hard Margin에 대해 글을 써보겠습니다.

---

- Optimization Problem

 

 *Objective funtion:  마진의 최대화는 아래 식(Margin의 역수)의 최소화와 같음

Objective funtion

 * Constraint s.t. :

Constraints: s.t.

위의 조건식의 이해를 위해 아래 그림으로 설명을 해보면 파란색 Point들의 yi는 +1, 빨간색 Point들의  yi는 -1일 때

 yi를 양쪽에 곱해주면 파란색과 빨간색에 대한 조건식과 같아진다.

 

이해를 돕기 위해 Lagrangian Problem(LP) 의 예시를 풀어보면

 

---

From Primal to Dual

위의 식을 풀어서 설명하면 아래와 같다.

Dual 문제로 변환하며 최소화 문제가 최대화 문제로 바뀌면서 미지수인 W와 B를 계산할 수 있다.

 

 

첫번째 식에서 a와 안의 식 둘 다 0일 수는 없고 하나만 0일 수 있다.

마진 밖의 a = 0

마진 위의 a =/= 0