机器学习算法-回归-最大似然函数

0.概述

似然函数与概率非常类似但又有根本的区别,概率为在某种条件(参数)下预测某事件发生的可能性;而似然函数与之相反为已知该事件的情况下推测出该事件发生时的条件(参数);所以似然估计也称为参数估计,为参数估计中的一种算法。

1.抛硬币的似然函数

假如有一枚硬币我们现在不知道它是否为正常硬币(正反面出现概率各位50%),所以想通过抛10次然后通过硬币正反面出现的概率分布判断该硬币是否正常;当抛完10次时出现5次正面向上、5次反面向上,正反面出现的概率符合正常硬币的预期,这时我们可以判断该硬币是正常的;

二项分布

二项分布解析:

二项分布解析

2.使用最大似然法求硬币问题

似然函数为知道了结果求条件,概率问题为知道了条件求概率,在这个问题中就是知道了硬币是正常的,求正反面出现的比例w为何值时该结果最靠谱;所以似然函数等于:

似然函数

函数左边的值并非条件概率中的条件而是该函数的依赖值,似然函数L为在给定结果y的情况下参数w的取值情况,概率函数L为知道了参数w求得y的取值;有了抛硬币情况的概率分布这里就可以给出似然函数:

抛硬币似然函数

对数似然

下面对该似然对数进行求关于w的偏导数:

偏导数

通过求L关于w的偏导数求得w=0.5,于我们上面概率中的w时一致的,也就是说当w=0.5时y正面出现的次数等于5的可能性是最高的。

3.线性回归

通过前面几篇文章我们知道了线性回归的模型为:

线性回归模型

概率密度函数

按照惯例直接求解似然函数比较麻烦所以求解对数似然函数:

对数似然函数

然后求L关于w的偏导数,令其等于0求拐点

偏导数为0

到这一步我们已经求得到了W,这与前面我们通过最小二乘法求得的矩阵方程一样,所以w也一定是我们这里求得的w正确解。

使用最大似然法求解问题的步骤为:

一、确定问题的随机变量类型是离散随机变量还是连续随机变量

二、得出问题的概率分布

三、概率函数转为似然函数

四、似然函数取对数

五、求关于某变量的偏导数

六、解似然方程

4.总结

最大似然和最小二乘法是求解回归问题的不同方法,结果都和正规方程一样,但求解的思路不一样。

参考资料:http://www.cnblogs.com/softlin/p/6219372.html