#6 커널기반 학습 Support Vector Regression

SVR은 SVM의 Regression 버전

 

Function fitting의 두 가지 목적

1. Loss function 최소화 - 가능하면 추정 오차를 적게 하고 싶음 
2. 함수의 편평도 최대화 - 가능하면 단순한 함수를 사용하고 싶음 

 

ε - SVR

- Loss function

ε tube : 실제값과 추정된 값의 차이 +- ε 범위 (위의 그림에서 회색 부분)

• 근사에 대한 허용치 (+-ε ) 보다 차이가 적을 때는 Loss function을 0으로 한다.
• 즉, 실제값과 추정된 값의 차이를 기준으로  +ε , -ε 까지는 Loss function 0
• 단, 범위를 벗어났을 때는 선형적으로 증가함

 

SVR의 다양한 Loss Function 

 

---

여러 커널 함수에 따른 추정 회귀식

 

---

서로 다른 오차비용 C에 따라 추정되는 회귀식의 형태

• C가 작아질수록 편평도 최대화 된다. 

---

서로 다른 ε 크기에 따라 추정되는 회귀식의 형태

• ε이 커질수록 편평도 최대화 된다.

---

서로 다른 Gamma(가우시안 커널, 1/σ²) 크기에 따라 추정되는 회귀식의 형태

• Gamma가 작다 -> 시그마가 크다 -> 변화에 둔감
• Gamma가 크다 -> 시그마가 작다 -> 변화에 민감