#2 커널기반 학습 Support Vector Machine - Linear & Hard Margin - 1

# Support Vector Machine

# Margin

---

Support Vector Machine

어떤 분류 경계면이 더 좋은 경계면인가?

답은 B입니다.

SVM에서는 마진(Margin)이 큰 경계면이 더 좋은 분류 경계면

마진(Margin)을 최대화하는 경계면을 찾자!

 

---

마진의 크기

위의 식에서 마진의 크기를 어떻게 구할 수 있는가?

마진은 분류 경계면을 기준으로 양쪽으로 있으므로   p의 2배

---

마진 최대화가 어떻게 구조적 위험 최소화로 연결되는가?

h : VC demention

D : Demention

R이 고정되어있으니 마진(delta)가 커지면 R**2/delta**2은 작아질 것이고 D보다 작아지면 VC demention이 최소화 된다.

그렇다면 위 식에서 h가 줄어드는 것이기 때문에 Capacity term이 최소화 됨으로서 구조적 위험을 최소화할 수 있다.

 

---

Hard margin & Soft margin

Hard margin과 Soft margin을 간단히 설명하면 마진이라는 규정을 위배하는 데이터(noise)를 허용하면 Soft Margin

허용하지 않으면 Hard margin으로 구분할 수 있다.