working now

Support vector Machine이 뭘까?

---

☾ Table of contents

☺︎ A definition of Support Vector Machine (SVM)

☺︎ SVM vs one-class SVM

☻ Reference

☺︎ A definition of Support Vector Machine (SVM)

차원축소라는 것은 무엇일까?

SVM

분류(classification), 회귀(regression), 특이점 판별(outliers detection) 에 쓰이는 지도 학습 머신 러닝 방법 중 하나이다 [1].

• SVC : Classification
• SVR : Regression
• OneclassSVM : outlier detection에 사용

최적의 분리초평면 (hyperplane) 찾아서 분류 및 회귀를 수행함 SVM은 훈련시간이 상대적으로 느리지만, 정확성이 뛰어나며 다른 방법보다 과대적합의 가능성이 낮은 모델 임

해당거리 (maximum margin)의 중간 지점인 hyperplane으로 각 그룹을 구분 짓는 방법 SVC는 데이터가 선형인 경우, 잘 작동하지만 비선형인 경우 잘 작동하지 않음 결론적으로 마진 거리를 멀게하는 것이

Elements of SVM

• 결정경계 (decision boundary) : 데이터 분류의 기준이 되는 경계면
• 초평면 (hyperplane) : 데이터를 분리하기 위해서 2개를 분리하는 결정영역이 있어야하고, 이 결정영역을 결정짓기위해서 초평면 선택이 필요함.
• 마진 (margin): 결정경계에서 서포트벡터까지 거리임. 최적의 결정경계는 마진을 최대화 함.
• 서포트 벡터 (support vector) : 훈련데이터 중에서 결정 경계와 가장 가까이에 있는 데이터들의 집합
• 슬랙 변수 (slack variables) : 완벽한 분리가 불가능할때 선형적으로 분류를 위해 허용된 오차를 위한 변수; 소프트 마진 SVM (Soft margin SVM)에서 사용함

서포트 벡터 머신 종류

• 하드 마진 : 마진의 안쪽과 바깥쪽에 절대로 잘못 분류된 오 분류를 허용하지 않는 SVM; 노이즈로 인하여 최적의 결정경계를 잘못 구할 수도 있고, 못 찾을경우도 발생 할 수 있다.
• 소프트 마진 : 마진의 안쪽이나 바깥쪽에 절대로 잘못 분류된 오 분류를 허용하는 SVM; 하드 마진 SVM은 적용하기 어려우므로 어느 정도의 오류를 허용하는 소프트 마진 SVM을 주로 이용함

SVR : SVM을 회귀에 적용하는 방법으로, SVC와 목표를 반대로 함. 마진 내부에 데이터가 최대한 많이 들어가도록 학습함 마진의 폭은 epsilon통해서 조절

☺︎ SVM vs One-class SVM

☻ Reference

• [1] https://wooono.tistory.com/111
• [2] eigenvalue + eigenvector + covariance https://blog.naver.com/angryking/221206754322

Thanks for reading. Hope to see you again :o)