机器学习 | 线性模型之Logistic回归
对数几率回归:(Logistic回归)
解决二分类问题

单位阶跃函数:(不连续、理想状态)

y代表输出标记,z代表预测值
预测值大于零就判为正例,小于零就判为反例,预测值为临界值零则可任意判别
对数几率函数(可微、任意阶可导)(替代函数)

对数几率(log odds):本作为正例的相对可能性的对数

单位阶跃函数与对数几率函数的比较

对数几率回归优点
- 无需事先假设数据分布
- 可得到“类别”的近似概率预测
- 可直接应用现有数值优化算法求取最优解
对数几率(log odds)

极大似然法
给定数据集:

最大化样本属于其真实标记的概率:(连乘容易下溢)

最大化对数似然函数:令


高阶可导连续凸函数,梯度下降法/牛顿法求其最优解:.

梯度下降法

牛顿法:(第t+1轮迭代解的更新公式)

其实就是 的梯度下降法
其中关于β的一阶、二阶导数分别为

本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可。