[1]
多平面广义特征值最接近支持向量机
Olvi L. Mangasarian and Edward W. Wild
摘要—一种对于二分类问题上,以两类数据集分别接近于相互不平行的平面为基础的新型支持向量机被提出了。其中的每一个平面都与该类数据集都尽可能地接近并且由一个求解最小广义特征值的MATLAB指令就可以获得。对于两个截然不同的非线性平面的分类问题,它们的非线性核仍旧需要求解两个广义特征值问题。文中会使用简单的示例和公开数据集来展示和检验这个行之有效的方法。这些示例都证明了这个方法在计算时间和正确率上的优势。
关键词—支持向量机,最接近分类问题,广义特征值
简介
支持向量机(SVMs) [23], [4], [27] 是众多分类算法的选择之一,同时广义特征值问题[22], [5]是经典线性代数中容易获得求解的,用简单的MATLAB代码[17]、Scilab 代码 [24]或标准线性代数软件例如LAPACK [1]就可进行求解。在最接近支持向量机分类领域里,[7], [25], [6],目的是产生两个相互平行的尽可能接近不同数据集的平面,同时这两个平面需要保持尽可能地远的距离。此次工作中,我们摒弃了相互平行的约束但保持平面离数据集尽可能地接近。这条准则可以由两个广义特征值问题来达到: 和 其中G,H,L和M都是正定对称矩阵。每一个不平行的最接近平面对应于每一个特征值问题的的最小特征值。此问题的一个应用就是二维XOR问题,其中两个集合和可以分别被两个彼此不平行的最接近分割线精准分类。
相关工作中有k-平面聚类[3],其中每一个簇都由与矩阵的最小特征值所构成繁多的不平行的超平面的接近程度所决定。我们同时注意到,在文献[11]中,广义特征值公式被用于潜在的识别问题来决定基于连续最小化类内变量和最大化类间变量在不同潜在折中的转置矩阵的最优转换。
这篇文章按照一下方式组织:第2段中,我们简单地描述普遍的分类问题以及我们的基于广义特征值问题的多平面最接近线性核公式。第3段中,我们拓宽最接近分类理论到结论到非线性核。第4段中,我们测试所提出新线性分类器核非线性分类器,并做出比较。第5段用于总结全文。
接下来一些解释我们的文中的符号,所有的向量都是列向量,除非用上标rsquo;标明转置符号才转为行向量。任何两个标量在n维实数范围内的乘积都可被引作,的2范数被引作。对于矩阵,是矩阵中的第i行的行向量。任意维度的元素全为1的向量写作,同时任意维度的对角矩阵被写为。不同函数上的梯度被定义为第一偏导数的列向量:。对于和,核函数将映射为。特别地,如果和都是上的列向量,是一个实数,是一个上的行向量,是一个m*m的矩阵。我们除了对称矩阵外不作另外假设,即,同时,特别地,我们假设不会使用Mercer 正定条件[27],[23]。自然对数的底被定义为。频繁用作非线性核分类的核函数为高斯核函数[27],[15],其中第ij个元素,为:,其中,,同时是正常量。
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。