koorio.com
海量文库 文档专家
相关标签
当前位置:首页 >> 电子/电路 >>

支持向量机原理及其在模式分类中的应用


基础及前沿研究
孥t{,|o一~{.,,?….-』~.t……¨"r,……{

帽科技信息2008年第7期

SCIENCE

AND

.CHINA

TECHNOLOGY

INFOFffvlATION

Apr.2008

c…e“r“谛

支捺离爨褫原理爱蒸

在模式分类中的应用
冼广淋1冼广铭2 1.广东轻工职业技术学院计算机系 51 2.华南师范大学南海校区计算机工程系
0300

528225





糯篓



1.引言
支持向量机…21(S
V M)在解决小样

列重要指标,如随机熵、退火VC熵等。 2.2结构风险最小化原则 结构风险最小化如图2所示,是用来解 决经验风险和置信范围这两项最小化风险 泛函问题。

支持向量机是一种突出的小样本数据分析方 法,它基于结构风险最小化原则,在一含高

  维特征空间中构造最优分类超平面,在解凑
很多实际问题中具有优于其他方法的特点。
本文介绍了支持向量机原理及其在模式分类

本、非线形及高维模式识别问题中表现 出许多特有的优势,并在数据挖掘、人 脸识别、文本识别、软件测量建模等多 个领域得到广泛的应用。S


中多方面的应用,并阐述了sVM在算法上的
最新研究。

M作为学

首先把函数集s={。,’(x,00)},∞∈Q
分解为一个函数子集序列(子集结 构)。
S}c S2

习机器,它基于结构风险最小化原则,不 孽 仅具有良好的推广性能和较好的分类精确 性,而且在很多实际问题中获得了优于其 他方法的结果。

菘键谓


支持向量机;结构风险最小化原则;模式分

c…S^c…c S

游b8t『ac{
Support analysis vector

?。案
machine(SVM)is
With of few


使各个子集能够按照①的大小排列, 也就是按照V C维的大/J,fl}YU,即
hl


kind

of

data 13

2.支持向量机原理
支持向量机是一种基于统计学习理论 的新型学习机,机器学习模型如图1所示 【3】,系统S对任意向量x产生对应的输出 y,学习机L M能够实现一组预测函数集 {f(X,‘I))},(1)∈Q,03是函数的广义参数, 在二值分类问题中,{f(x,(J))}也称为指示 函数集。 VC维

methods the rule
an

observations.SVM risk in


h2≤…≤以≤…

basod

on

structural hyperplane

minlrnization.It

这样在同一个子集置信范围就相同; 在每一个子集中寻找最小经验风险,通 常它随着子集复杂度的增加而减少。选 择最小经验风险与置信范围和最小的子 集,就可以达到期望风险的最小,这个 最小子集的函数就是要求的最优函数。

constructed

optin.1al

high

dirnensiona} of SVM

feature spaz=e.So i8 better than

the classffication&CCLlr&cy other methods the in many

principle SVM, the

solutions.This pa_Der and its application

introduces in pattern of

principa,I of

recognition

and

gewest

algorithm

research

SVM.

辩日y

words
machine;structural risk


min}mizat=on

2.1

support vector Dattern

classification

VC维是统计学习方法论中的一个核 心概念,它是目前为止对函数集学习性 能的最好描述指标。在讨论函数集的分 类能力时,统计学习理论定义了一个系

受三姜?








图1机器学习模型

图2结构风险最小化

万方数据  

一268一

这就是结构风险最小化原则。 2.3支持向量机的最优超平面分割 支持向量机是一种比较好地实现了结 构风险最小化思想的方法。支持向量机方 法是从线性可分情况下的最优分类超平面 提出的。假设n个样本的切l练集 D={(t.Y,孵=】,2,…,月},z∈R”,Y∈【+l,-11 能被一个超平面W?x-b=O没有错误 地分开,并且离超平面最近的向量与超 平面之间的距离是最大的,则我们说这 个向量集合被这个最优超平面分开,如图3 所示。没有错误地分开,保证经验风险 最小(为0)I使Margin(分类间隔) 的距离最大,保证推广性界的置信范围 最小,从而使真实风险最小。

文献i9i将s、n订应用于文本无关的说话人识 别。忻栋等提出了一个文本无关的说话 人确认的算法。该算法将支持向量机 (SVM)的输出通过Sigrnoid函数和高斯模 型转化为概率,并作为隐式马尔可夫模型 (HMM)中各个隐状态的输出概率,使其组 合获得了很好的效果。

【8】李凯,黄厚宽。支持向量机增量学 习算法研究。北方交通大学学报.2005, 27(5).54-57. [9】M
via Schrnidt,H

G确.Speaker identification
of

supporWec--tordas时fiers(A】.In:Proceedings

InternationaJ Conference of Acoustics,Speech and SJgral Processi唱,Athnta.1996.105~108

4.支持向量机算法思路最新发展
文献¨0i介绍了在算法方面几个大的研 究方向:1)提高SVM的计算速度,以便于处 理大规模l'日J题,如序列最小化算法等;2) 利用最优化技术改进支持向量机形式,简化 计算过程,如LS—SVM等;3)依据结构风 险最小化原则和支持向量机的某些思想提 出新的算法,如广义SVM等算法。

【10]许建华,张学工,李衍达.支持向量 机的新发展。控靠4与决策.2004,1
(5):4 9 1—4 9 5

《哦上接第267页

3.支持向量机的应用
冯瑞等提出用支持向量机建立软测量 模型,理论分析和仿真研究表明,该方法 学习速度快.泛化能力强、对样本的依 赖程度低,比基于RBF神经网络的软测量 建模具有更好的推广能力1一i。

在算法设计思路上,多数算法的目标
函数折中考虑数据的拟合程度与模型的复 杂程度,通过正则化参数将二者线性组合 起来,有效地控制算法的推广能力;然后 使其只出现两样本向量的内积运算;最 后用核函数来代替内积,实现算法的非线 性化。采用满足Mercer条件的核函数,可 以确保解的唯一性。 一个概率空间。令 Y(∞)=to,(Vo)∈Q) 则Y是(Q,,,P)上的随机变量,它的 分布函数为 f0,
yso

文献,1以自然图像领域为例,使用支持

  向量机学习自然图像的类别,学习到的模
型用于自然图像分类和检索。随着数据 库系统使用的普及,数据库的规模也越 来越大,如何从海量数据库中挖掘出有 用的信息以供单位使用,已经越来越引

州力2柠。等2
其中厂(,)210
Il
0≤,≤1

L们)dr,

其他。因此Y是一个连续

型随机变量,但它的取值并不是连续地充 满(0,1)区间,而是其中的无理数。

渗考文馘一一““’
[1】V
Va.pnik.The Nature

…………。稳
of Statistical Learning

起人们的兴趣,文献{6轮述了SVM在数据
挖掘中的应用。宋枫溪等以路透社财经 新闻语料库为实验数据集,比较了主流 文本表示方式BOW和独立于语言的字符 串表示方式n-Gram,在k近邻和支持向 量机分类器下的分类效果,得出了上述 两种不同文本表示方式的分类结果之间不 存在显著差异的结论i 7i。 文献i 8l基于固定划分和过间隔技术, 提出了使用多支持向量机进行增量学习的 算法,提高了增量学习算法的正确率。

3结论
以上几个例子说明,随机变量类型 并不是取决于它的取值情况,若要正确认 识随机变量的类型则必须将其置于某个特 定的概率空间来考察。

Theory[M】.NewYork:Springer-Verlag,1 995 【2】张恒喜,郭基联,朱家元,虞健飞. 小样本多元数据分析方法及应用。西 安:西北工业大学出版社.2002

【列夏建涛,何明。计算机工程。基于
SVM的高维多光谱图像分类算法及其特 性的研究.2003,29(15):27—28 [4】冯瑞,张浩然,邵惠鹤。基于SVM的 软测量建模.信息与控制.2002,51(6):
569--571

【5】付岩,王耀威,王伟强,高文.S、『M用 于基于内容的自然图像分类和检索.计算 机学报.2005,26(1 0):1261--1263 【6】张辉,张浩,陆剑峰.SVM在数据挖 掘中的应用.计算机工程.2004,50(6):
7—8

黪考文献…~~~”’……一一…’溪
【1】赵荣侠,崔群劳.测度与积耕M】.西安:西

[2]周民强.实变函数删.北京:北京大学
出版枉.2001;21 【5】胡适耕.实变函数[M】.北京:高等教育出 版社.1999;45 辫者简介
张宇山(1 975.5一).男,讲师,硕士.从 事概率论与数理统计研究。

安电子科技大学出版社.2002;1 51--155

【7】宋枫溪,郑如冰,王积忠.鸯动文本 分类中两种文本表示方式的比较.计算机 图3支持向量机的最优超平面分割 工程.2004。



万方数据  


推荐相关:

SVM分类器的原理及应用

SVM 分类器的原理及应用姓名:苏刚 学号:1515063004 学院:数学与计算机学院 一、SVM 分类器的原理 SVM 法即支持向量机(Support Vector Machine)法,由 Vapnik 等人...


SVM分类器原理

SVM分类原理_计算机软件及应用_IT/计算机_专业资料。图像处理和模式识别 ...支持向量机分类器实现步骤 程序(训练 svmtrain_test) clearall;patternNum=50;...


支持向量机(SVM)原理及应用概述

12 支持向量机(SVM)原理及应用一、SVM 的产生与发展自1995年Vapnik在统计学习理论的基础提出SVM作为模式识别的新方法之后,SVM一直 倍受关注。同年,Vapnik和Cortes...


支持向量机在文本分类中的应用的概述

支持向量机在文本分类中的应用的概述_IT/计算机_专业...论和结构风险最小原理基础上的,根据有 限的样本...基于支持向量机模式识别技术 中若干『日J题的研究...


支持向量机原理

支持向量机原理_信息与通信_工程科技_专业资料。介绍了支持向量机原理,以及多类...高, 更容易实现, 因为它的显著的优点已被广泛应用于函数优 化、模式分类等...


SVM基本原理及其发展概述

SVM基本原理及其发展概述_计算机软件及应用_IT/计算机...非线性及高维模式 识别问题中表现出许多特有的优势...关键词:数据挖掘;统计理论;支持向量机中分类号:...


西工大模式分类作业

西工大模式分类作业_计算机软件及应用_IT/计算机_专业资料。模式识别试题 模式分类 请独立完成以下问题,并提交代码文件和纸质答题册,纸质答题册不允许打印。标红的为...


SVM算法原理及其Matlab应用

支持向量机 的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地 区分开。 1.1、线性分类及其求解 下面以线性分类器为例,来引入 SVM ...


5.ENVI4.3 支持向量机分类原理、操作及实例分析0710yan...

5.ENVI4.3 支持向量机分类原理、操作及实例分析0710yang_计算机硬件及网络_IT/...3. 支持向量机算法的应用现状和前景 目前,SVM算法在模式识别、回归估计、概率...


20.ENVI4.3 支持向量机分类原理、操作及实例分析_图文

20.ENVI4.3 支持向量机分类原理、操作及实例分析_天文/地理_自然科学_专业资料...3. 支持向量机算法的应用现状和前景 目前,SVM算法在模式识别、回归估计、概率...

网站首页 | 网站地图
All rights reserved Powered by 酷我资料网 koorio.com
copyright ©right 2014-2019。
文档资料库内容来自网络,如有侵犯请联系客服。zhit325@126.com