对数几率回归：（Logistic回归）

解决二分类问题

 

单位阶跃函数：(不连续、理想状态)

y代表输出标记，z代表预测值

预测值大于零就判为正例，小于零就判为反例，预测值为临界值零则可任意判别

对数几率函数（可微、任意阶可导）（替代函数）

 

对数几率（log odds）：本作为正例的相对可能性的对数

 

单位阶跃函数与对数几率函数的比较

 

对数几率回归优点

  1. 无需事先假设数据分布
  2. 可得到“类别”的近似概率预测
  3. 可直接应用现有数值优化算法求取最优解

对数几率（log odds）

 
 

极大似然法

给定数据集：

最大化样本属于其真实标记的概率：（连乘容易下溢）

 

最大化对数似然函数：令 image.png

 

 

高阶可导连续凸函数，梯度下降法/牛顿法求其最优解：.

 
 

梯度下降法

 
 

牛顿法：（第t+1轮迭代解的更新公式）

 

其实就是image.png 的梯度下降法
 

其中关于β的一阶、二阶导数分别为