Optimizer优化器_1

这节内容主要是对比在 Torch 实践中所会用到的几种优化器

为了对比各种优化器的效果, 需要有一些数据, 可以自己编一些伪数据, 这批数据是这样的：

具体的数据生成代码如下：

为了对比每一种优化器, 我们给他们各自创建一个神经网络, 但这个神经网络都来自同一个 Net 形式.。具体实现如下：

接下来创建不同的优化器，用来训练不同的网络，并创建一个 用来计算误差. 我们用几种常见的优化器,

是最普通的优化器, 也可以说没有加速效果, 而 是 的改良版, 它加入了动量原则. 后面的 又是 的升级版. 而 又是 的升级版. 不过从这个结果中我们看到, 的效果似乎比 要差一点. 所以说并不是越先进的优化器, 结果越佳. 我们在自己的试验中可以尝试不同的优化器, 找到那个最适合你数据/网络的优化器.

本文转载自莫烦python的pytorch学习板块，源代码可去Optimizer 优化器查看