SVM工作流简单理解

SVM支持向量机，主要用于解决二分类问题，目的是找到一个超平面去划分数据，这个超平面要满足间隔最大化，SVM大体可以分为线性可分SVM，线性SVM，非线性SVM，线性可分SVM用硬间隔最大化学习获得，线性SVM引入松弛变量，通过软间隔最大化学习，有一个超参C去表示对错分的容忍程度，非线性SVM利用核函数，把低维输入空间映射到高维特征空间，使得数据在高维特征空间中线性可分，常用核函数，多项式核，高斯核。
线性SVM的原始优化问题等价于带L2正则项的hinge loss。
SVM的原始优化问题是一个凸二次规划问题，利用朗格朗日对偶性，转化为对偶问题求解，流行的解法是SMO。
SMO是一种启发式算法，把原始凸二次规划问题不断分解为二变量子问题求解，从而得到原始问题的最优解。