深度学习(0)Logistics正向、反向传播推导

Posted by qingdujun on 2019-06-08

定义

损失函数(loss function)可以很好的表征单一样本下估计值 $a=\hat{y}$ 和真实值y(y=1或0)之间的误差。但我们知道,作为训练用的样本数据绝不可能只有一个,于是我们引入m个样本损失函数的算数平均值作为成本函数(cost function),用符号J来表。于是有,

  • 仿射变换 $z=w^Tx+b$
  • 激活函数 $a=\sigma (z) = sigmoid(z) = \frac{1}{1+e^{-z}}$
  • 损失函数 $L(a,y)=-(ylog^{(a)}+(1-y)log^{(1-a)})$
  • 成本函数

正向传播

  • 仿射变换 $z^{(i)}=\sum{j=1}^{n} w{j} x_{j}^{(i)}+b$
  • 激活函数 $a^{(i)}=\sigma (z^{(i)}) = sigmoid(z^{(i)}) = \frac{1}{1+e^{-z^{(i)}}}$
  • 损失函数 $L^{(i)}=-y^{(i)} \ln a^{(i)}-\left(1-y^{(i)}\right) \ln \left(1-a^{(i)}\right)$
  • 成本函数

反向传播

对于sigmoid函数,存在

于是有,

综上所述,

梯度下降


References:

[1] 吴恩达网易云课堂《神经网络基础》
[2] 吴恩达神经网络和深度学习心得总结(一):神经网络基础和logistic回归