728x90 SVM4 # 5 커널기반 학습 Support Vector Machine - Non-linear & Soft Margin - 2 이번에는 Case 3에 대해 글을 써 보겠습니다. Large C: Penalty를 줄이는 방향으로 학습이 되므로 마진 폭이 좁고 αｉ= C인 서포트 벡터의 수가 상대적으로 적음 Small C: Penalty를 받더라도 마진을 넓게 잡도록 학습이 되므로 αｉ= C인 서포트 벡터의 수가 상대적으로 많음 선형 모델의 한계 - 분류 경계면이 비선형일 경우 이를 잘 찾아내지 못함 SVM의 아이디어 - 원래 공간이 아닌 선형 분류가 가능한 더 고차원의 공간으로 데이터를 보내서(mapping) 모델을 학습하자 고차원(6차원)으로 만들어보면 아래의 오른쪽과 같이 분류 경계선 만들어 낼 수 있음 아래 왼쪽의 2차원 공간에서는 파란색과 빨간색이 분류가 불가능하지만 아래 오른쪽 3차원 공간에서는 분류가 가능하다. 목적 마진.. 2023. 9. 19. #4 커널기반 학습 Support Vector Machine - Non-linear & Soft Margin - 1 이번에는 Soft Margin에 대해 글을 써보겠습니다. Soft Margin은 Hard Margin과 다르게 noise가 허용되지만 Penalty 부여(분류 경계선이 아닌 마진으로부터) 가운데 있는 파란색 Point는 학습과정에서는 Penalty 부여 받지만 분류과정에서는 정분류로 분류됨 목적함수 첫번째 항: 마진 최대화 두번째 항: 마진 외부의 Point 허용하되, 허용 Point Penalty 최소화 From Primal to Dual 위의 식의 의미 : 데이터가 주어지면 Support Vector Machine은 유일한 해가 존재 아닌 경우도 있는가? YES, 인공신경망은 초기 조건이 달라지면 해도 달라짐 위의 식을 Dual 문제로 풀어서 써보면 아래와 같다. 즉, alpha에 대한 2차 함수 S.. 2023. 9. 19. #3 커널기반 학습 Support Vector Machine - Linear & Hard Margin - 2 # Optimization Problem # From Primal to Dual SVM case 1 : Linear & Hard Margin에 대해 글을 써보겠습니다. - Optimization Problem *Objective funtion: 마진의 최대화는 아래 식(Margin의 역수)의 최소화와 같음 * Constraint s.t. : 위의 조건식의 이해를 위해 아래 그림으로 설명을 해보면 파란색 Point들의 yi는 +1, 빨간색 Point들의 yi는 -1일 때 yi를 양쪽에 곱해주면 파란색과 빨간색에 대한 조건식과 같아진다. 이해를 돕기 위해 Lagrangian Problem(LP) 의 예시를 풀어보면 From Primal to Dual 위의 식을 풀어서 설명하면 아래와 같다. Dual 문제로 .. 2023. 9. 19. #2 커널기반 학습 Support Vector Machine - Linear & Hard Margin - 1 # Support Vector Machine # Margin Support Vector Machine 어떤 분류 경계면이 더 좋은 경계면인가? 답은 B입니다. SVM에서는 마진(Margin)이 큰 경계면이 더 좋은 분류 경계면 마진(Margin)을 최대화하는 경계면을 찾자! 마진의 크기 위의 식에서 마진의 크기를 어떻게 구할 수 있는가? 마진 최대화가 어떻게 구조적 위험 최소화로 연결되는가? h : VC demention D : Demention R이 고정되어있으니 마진(delta)가 커지면 R**2/delta**2은 작아질 것이고 D보다 작아지면 VC demention이 최소화 된다. 그렇다면 위 식에서 h가 줄어드는 것이기 때문에 Capacity term이 최소화 됨으로서 구조적 위험을 최소화할 수 .. 2023. 9. 19. 이전 1 다음 728x90 반응형
