支持向量机的算法,一篇文章了解支持向量机!
支持向量机
作者: 一辰的游乐场
2018-04-30 11:37:30
59.2K
[ 久闻导读 ] 支持向量机是建立在统计学习理论的VC维理论和结构风险最小化原理基础上的,针对有限的样本信息,考虑了模型的复杂性以及学习能力,在二者之间寻求最佳折中,以期获得最好的推广能力。
1. 最优分类面与支持向量机

支持向量机的研究是从分析最优分类超平面开始的,对于线性可分的两类样本,可用超平面

w*x+b=0

分开,其最优分类线就是要求分类线不但能将两类样本正确分开,而且使分类间隔最大,如下图所示。推广到高维空间,最优分类线即为最优分类面。下图中空心点和实心点代表两类样本,H为最优分类线,H1,H2分别为两类样本中离分类线最近的样本且平行于分类线的直线,使分类间隔2/||W||最大,即使||W||平方/2最小,也就是使VC维的上界最小,H1和H2上的训练样本点称作支持向量,使分类间隔最大代表着对推广能力的控制。

支持向量机就是首先使用内积函数定义的非线性变换将输入空间变换到一个高维空间,然后在这个高维空间中求最优分类面。支持向量机最初是针对线性可分情况下的最优分类超平面而提出的,把最优超平面的构造转化为二次优化问题,从而求得全局最优解并解决分类问题。对于非线性问题,可以通过非线性变换映射为某个高维空间中的线性问题,在变换后的高维空间中求最优分类面,具体的映射是通过核函数实现的。

支持向量机的算法,一篇文章了解支持向量机!

常用到的核函数有:

支持向量机的算法,一篇文章了解支持向量机!

2.支持向量机的优点

对小样本问题解决效果好:基于统计学习理论的支持向量机在解决小样本问题上有着较强的优势,更适合实际工程中样本数目有限的情况;

泛化能力强:VC维的引入使支持向量机在理论上保证了模型较强的泛化能力;

避免局部极小值问题:支持向量机中的二次优化问题从理论上存在唯一解,从而避免了陷入局部极小值问题;

适合处理非线性问题:支持向量机具有较强的处理非线性数据的能力。

有很多开源的系统里内置了支持向量机算法,大家可以试试。

茫茫头条中,你我有缘相遇,您的关注,是对我最大的肯定。关注一辰君,获取更多有趣有用的知识。

相关文章

  • 验证码: 看不清?点击更换 看不清? 点击更换
  • 意见反馈
    意见反馈
    返回顶部