[ML] 05. Support Vector Machine(SVM)

1. SVM 작동원리

데이터를 가장 잘 구분하는 최적의 하이퍼플레인을 찾는 알고리즘

* 기본조건을 만족하는 하이퍼플레인은 무수히 많을 수 있음 → 하이퍼플레인 최적 판단 기준 필요

각 클래스 데이터가 하이퍼플레인에서 최대한 멀리 떨어져있게!! Margin이 최대가되게!

조건: 클래스를 구분 $y^{i}(w*x^{i}+b)>=1$을 만족
목적: $||w||$ 최소

 

완화된 조건 힌지 손실, Soft SVM

---

2. 다중클래스 SVM 

클래스 별로 해당클래스와 그 외의 것을 가르는 하이퍼플레인 찾기

1) 일대다 방법: 한 분류기 학습시킬 때 전체데이터 사용, K(K-1)/2

2) 일대일 방법: 대상이 되는 두 클래스에 속하는 데이터만 사용, K

---

3. Kernel in SVM

비선형문제 → 특성공간 변환

RBF커널