线性分类方法总结

线性判别函数,准则函数(Fisher准则,感知机准则,最小平方误差准则)

线性分类问题是指,根据标签确定的数据在其空间中的分布,可以使用一条直线(或者平面,超平面)进行分割。

这里引用的是北航计算机学院研究生课程《机器学习》PPT,描述的非常清楚

线性判别函数

线性判别函数

"da"

广义线性判别函数

"da"

线性判别函数齐次化

"da"

线性分类器设计

"da"

准则函数

Fisher准则

d维空间的数据映射到一维空间
"da"
"da"
"da"
"da"
"da"

感知机准则

"da"
"da"

将第二类样本数据乘以-1,目的是使判别函数可以用一个式子表示出来,便于构造准则函数
"da"
"da"

对于y1~y4不断进行迭代
"da"
"da"
"da"
"da"
"da"
"da"
"da"
"da"
"da"

对于线性不可分问题,如异或问题,可使用三层感知器解决
理论证明,三层感知器可以实现任意的逻辑运算,在激活函数为Sigmoid函数的情况下,可以逼近任何非线性多元函数

最小平方误差准则

"da"
"da"
"da"