在2015年，由 OpenAI 的 DP Kingma 等发布了 《ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION》算法后，由于其迭代效率提升非常明显，所以 ADAM（或其变种）就被广泛的采用。本文将继续对上一篇介绍的梯度下降算法进行优化，并介绍 ADAM 算法（一种对随机梯度下降算法的优化算法）的实现以及效果。

Stochastic Gradient Descent 或者说 mini-batch解决了样本量巨大时，梯度下降迭代的问题。但是，也带了一些新的问题。最为主要的是，因为样本数据的波动，而导致每次梯度下降计算时，梯度方向的波动，从而降低了梯度下降迭代的效率。

在前面的《Mini-batch Gradient Descent和随机梯度下降(SGD)》文章中，我们对比了 mini-batch 和 batch gradient descent 的在迭代时，目标函数下降的速度。

可以看到，batch gradient descent 的目标函数下降非常稳定，而 Mini-batch 的实现则会有明显的波动。为了尝试修正这个问题，从而提高迭代效率，在神经网络算法上，逐渐探索出了一些较为高效的优化算法：Adam SGD。该算法将 RMSprop 和 “Exponential smoothing”的想法结合在一起，形成了一个较为高效的算法，在实践中被广为使用。

Stochastic Gradient Descent 与 Momentum

SGD 会在每次迭代时根据样本的偏差，展现出不同的偏差，所以，在使用SGD进行迭代时，观察其 cost函数下降，应该会有更加明显的波动（后续吧自己实现的程序改造后，尝试观察一下）。

为了加快迭代的速度，一个折中的思路是，引入一个均值替换当前的梯度方向。该如何引入这个均值呢？梯度是一个随时计算推进，不断推进的变量，常用的均值计算可以参考：Moving average。最为常见的实现是使用“Exponential moving average”，这种平均值的计算，在迭代计算时实现非常简单。

Momentum 就是 “Exponential moving average”实现时的参数“smoothing factor”，在神经网络中，经常使用 \( \beta \)表示（原因是 \( \alpha \) 已经表示学习率了 ）。

而这里的 Momentum ，也是 TensorFlow 在构造 SGD 算法时需要的另一个参数。

关于Exponential moving average

或者叫“Exponential smoothing”。我们看看这个算法的具体实现是怎样的？

原始的迭代：\( w = w – \alpha \frac{\partial J}{\partial w} \)

使用 “Exponential smoothing” 后的迭代：

$$
\begin{align}
v_0 & = 0 \quad \partial{w}_t = \frac{\partial J}{\partial w}|_{(for \, sample \, t)} \\
v_{t} & = \beta*v_{t-1} + (1-\beta)\partial{w}_{t} \\
w & := w – \alpha v_t
\end{align}
$$

考虑 \( \beta = 0.9 \)，如果数学直觉比较好的话，可以看出，原本使用梯度\( \partial{w} \)进行迭代的，这里使用了一个梯度的“Exponential smoothing” \( v_t \)去替代。上面的式子中，\( v_t \) 如果展开有如下表达式：

$$
\begin{align}
v_t & = (1-\beta)\partial{w}_{t} + \beta(1-\beta)\partial{w}_{t-1} + \beta^2(1-\beta)\partial{w}_{t-2} … \\
& = \sum\limits_{i=0}^{t} \beta^{i}(1-\beta)\partial{w}_{i}
\end{align}
$$

使用“Exponential smoothing” 之后，新的迭代方向 \( v_t \)，可以理解为一个前面所有梯度方向的加权平均。离得越近的梯度，权重越高，例如，\( \partial{w}_{t} \)的权重是\( (1-\beta) \)；而之前的梯度，则每次乘以一个 \( \beta \)衰减。

Exponential moving average的“冷启动问题”与修正

仔细观测上诉的 “Exponential moving average” 公式，可以注意到一个问题，就是其最初的几个点总是会偏小。其原因是，当前值的权重总是为 \( 1- \beta \)，而因为是初始的几个值，并没有更前面的数据去“平均”当前值，也就会出现，初始值总是会偏小的问题。

通常，如果样本量很大的事时候，则可以忽略这个问题，因为初始值偏小的点占比会非常少，可以忽略。如果要一定程度上解决这个问题，也有继续对上述的 “Exponential moving average”做了一些修正，可以考虑对 \( v_t \)的结果值做一个修正：\( v_t := \frac{vt}{1-\beta^t} \)。

一般的，因为样本的数量总是比较大的，所以我们可以忽略这个问题，而无需做任何修正。

RMSprop

在前面的“Gradient Descent with Momentum”中，我们看到为了解决梯度波动较大的问题，使用了 “Exponential moving average” 去尝试将一些比较偏的梯度，拉倒一个较为平均的方向上来。RMSprop的想法也是类似的，这里通过了root mean square的想法进行平均值的计算。具体的，在进行 SGD 时，每次更新梯度，按照如下的方法进行更新：

$$
\begin{align}
s_0 & = 0 \quad \partial{w}_t = \frac{\partial J}{\partial w}|_{(for \, sample \, t)} \\
s_{t} & = \beta*s_{t-1} + (1-\beta)(\partial{w}_{t})^2 \\
w & := w – \alpha \frac{\partial w}{\sqrt{s_{t}}}
\end{align}
$$

说明：这里对梯度进行平方时，如果在程序中是一个梯度向量，那么这里“平方”也就是对梯度的每一个分量进行一次平方。

在“Exponential smoothing”的实现中，是将当前值，使用一个加权平均替代。与“Exponential smoothing”类似的，原本的梯度方向，现在使用如下的方向去替代了：

$$
\begin{align}
s_t & = \frac{\partial{w}_{t}}{\sqrt{(1-\beta)(\partial{w}_{t})^2 + \beta(1-\beta)(\partial{w}_{t-1})^2 + \beta^2(1-\beta)(\partial{w}_{t-2})^2 + \cdots }} \\
& = \frac{\partial{w}_{t}}{\sqrt{\sum\limits_{i=1}^{t}\beta^i(1-\beta)(\partial{w}_{i})^2}} \\
\end{align}
$$

Adam Gradient Descent

这可能是实际使用最多的算法，全称是 Adaptive Moment Estimation 。该实现，将 “Momentum” 和 “RMSprop” 做了一定的融合，形成了新的“最佳实践” Adam。在融合上，具体的实现与两个细节点：

(1) 在 Adam 中均使用了“修正”计算，即 \( \hat{v_t} = \frac{v_t}{1-(\beta_1)^t} \quad \hat{s_t} = \frac{s_t}{1-(\beta_1)^t} \)

(2) 参数更新公式，使用了两个算法的融合： \( w := w – \alpha \frac{\hat{v_t}}{\sqrt{\hat{s_t}}} \)

Adam optimization的效果对比

在 Adam 的论文中对于效果做了非常多的评估，感兴趣的可以参考相关论文。

这里根据之前完成的训练程序，也进行了优化，实现了Adam算法。在 MNIST 数据集的训练上，我们来看看 Adam 的效果：

关于 root mean square

root mean square也叫二次平均值，考虑一组数据：\( {x_1,x_2, \cdots , x_n } \)，其RMS则为：

$$ x_{rms} = \sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2} = \sqrt{\frac{1}{n} (x_1^2 + x_2^2 + \cdots + x_n^2)} $$

补充说明

可以看到，所有的这些优化都是面向“最优化”问题的。梯度下降是一个一阶优化（First-order Optimization）的方法，其核心就在与每次迭代时，应该如何去更新响应的参数值，在梯度下降中也就是如何去选择合适的学习率。

牛顿法是典型的二阶优化（Second-order Optimization），在迭代时使用了二阶导数，所以，通常可以获得更好的迭代效率。但是因为二阶导数的计算复杂度会上升非常多（对应的矩阵可能是所有参数的平方，应该也有人尝试去算过了…）。这也是为什么在这个场景下，依旧是使用一阶优化方法的原因。

如果想比较好的理解学习率、Momentum、RMSprop、Adam等内容，建议先了解梯度、数值方法、最优化问题等数学方法。

到这里这个系列算是一个小阶段了，这是一个个人学习的笔记，从数学的梯度概念开始，逐步到神经网络训练的Adam优化算法，也包含部分动手实践的神经网络算法实现。完成的系列包括了：

• 二元函数的偏导数、方向导数、梯度
• 关于梯度的直觉理解 (附公式推导)
• 99行代码构建极简的神经网络
• 从零构建图片识别的神经网络
• 浅层神经网络的超参数分析
• 随机梯度下降(SGD)和Mini-batch
• 随机梯度下降的梯度波动问题和Adam优化算法（本篇）

在前述的文章（参考）中，我们实现了带有一个隐藏层的神经网络，并使用该神经网络对手写数字0/1进行识别。本文对该神经网络的识别效果以及相关的超参数的配置做一些分析与优化。

这里涉及的超参数包括了学习率、迭代次数、隐藏层神经元的个数，这里对这三个参数的不同取值进行了相关测试，并观察训练时间与模型效果。

不同学习率的模型训练

学习率应该是这里最为重要参数了。在相同的迭代次数下（这里取500），不同的学习率展现出了非常大的差异。这里从0.001开始、尝试了：0.001、0.005、0.01、0.1、0.5等取值。详细的数据如下：

可以看到，不同的学习率展现出了训练效率的差异非常大：

• 在相同的迭代次数（均取500）情况下，学习率增加到0.1之后，预测错误率降低到了0.09%，并且再增加学习率，预测错误率并没有提升
• 在学习率，从0.001增加到了最后的0.5之后，在进行了相同的迭代次数时，训练的目标函数取值下降一直都较为明显

学习率如何影响目标函数的收敛速度

从这次实现代码也可以看到，学习率对于模型的训练效率有这至关重要的影响。如果学习率选择不合适，则会耗费大量计算资源进行非常慢的训练。那么，如果选择合适的学习率以进行更加高效进行梯度下降迭代，这是一个比较复杂的问题，这里暂时先挖个小坑在这里，待后续再做更多讨论。

迭代次数 epoch 如何影响模型

这里选取学习率为0.01，隐藏层10个人工神经元，从而观测随着“迭代次数”效率如何影响：

可以看到，当迭代不够充分时，目标函数收敛还不够时，模型效果也会比较差。随着迭代次数不断增加，目标函数下降就不再明显了。完整的目标函数收敛趋势如下图：

隐藏层神经元个数与模型效果

这里观察隐藏层神经元个数与模型效果趋势图。这里分别测试了1、10、50、100、150、300个神经元时候模型的表现，如下图：

从测试来看，在这个案例中，随着隐藏层神经元个数的增加并不会提升模型性能的。这可能暗示了，此类任务（图像识别相关）使用前馈神经网络时，其性能可能较差。

部分识别失败的图片

在该模型与训练下，部分识别失败率比较高的图片如下：