机器学习-牛顿方法&指数分布族&GLM

回头再温习一下Andrew Ng的机器学习视频课,顺便把没写完的笔记写完。

本节内容

  • 牛顿方法
  • 指数分布族
  • 广义线性模型

之前学习了梯度下降方法,关于梯度下降(gradient descent),这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时,采用的就是梯度下降的方法逐步逼近最优解,规则为$\theta := \theta - \eta \nabla_{\theta} \ell(\theta