当前位置：首页 > 梯度TAG标签

• 

  深度学习常用优化算法总结及其优缺点

  作者：忆臻链接：来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。优化算法深度学习优化学习方法（一阶、二阶）一阶方法：随机梯度下降（SGD）、动量（Momentum）、牛顿动量法（Nesterov动量）、AdaGrad（自适应梯度）、RMSProp（均方差传播）、Adam...

  2024-09-09

• 

  常见的几种最优化方法Matlab原理和深度分析

  生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些...

  2024-07-08

• 

  机器学习与运筹优化（四）优化算法的动量加速技巧

  摘要：本文介绍随机梯度下降法及几种常见的加速技巧，包括动量加速梯度下降法，Nesterov加速梯度下降法，Adam法等在之前的几篇文章里，我们介绍了收敛速率和计算复杂度的关系。在大数据时代，机器学习问题的...

  2024-06-18

• 

  深度学习

  Batchgradientdescent对于凸函数可以收敛到全局极小值，对于非凸函数可以收敛到局部极小值。梯度更新规则:和BGD的一次用所有数据计算梯度相比，SGD每次更新时对每个样本进行梯度更新，对于很大的数据集来说，可能会有相似的样本，这样BGD在计算梯度时会出现冗余，而SGD一次只进行一次更新...

  2024-06-18

• 

  loss.backward() 和optimizer.step()的关系及灵活运用

  loss.backward()optimizer.step()那么，这两个函数到底是怎么联系在一起的呢？我们都知道，loss.backward()函数的作用是根据loss来计算网络参数的梯度，其对应的输入默认为网络的叶子节点，即数据集内的数据，叶子节点如下图所示:同样的，该梯度信息也可以用...

  2024-05-26

• 

  AdamW优化器（自适应梯度方法）

  L2正则化和权值衰减正则化对于标准随机梯度下降是等价的(当按学习率重新调整时)，但是在自适应梯度算法的情况下确并非如此，如Adam。虽然这些算法的通用实现采用L2正则化(通常称它为“权值衰减”，这可能是由于我们暴露的不等量性造成的误导)，我们提出了一个简单的修正，通过将权重衰减与采用损失函数...

  2024-05-20

• 

  从零开始学CV之三优化器篇（optimizer）

  注：本篇博客大部分内容并非原创，而是本人将之前收藏的资料整理，并加以自己的愚解整合成到一起，方便回顾复习，所有参考资料均已注明出处，并已点赞加收藏~前言：我们在复现网络的时候，不管是pytorch还是tensorflow，亦或是其他深度学习框架，都会使用到一个东西，那就是优化器，...

  2024-05-06

• 

  optim优化器的使用

  ****参考：为单个参数进行优化时：例子：为多个参数设置不同学习率时：例子：这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所有的参数。按照更新方法，可以分为例子：公式：v=ρ?v+gp...

  2024-04-29

• 

  深入浅出之梯度下降优化算法

  梯度下降是优化神经网络和许多其他机器学习算法的首选方法，但通常是黑匣子。这篇文章探讨了最流行的基于梯度的优化算法（例如Momentum，Adagrad和Adam）是怎么工作的。原文博客链接Anoverviewofgradientdescentoptimizationalgorithmsarxiv链接...

  2024-04-15

• 

  机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam）

  作者简介：腾讯T11算法研究员。硕士毕业于中国科学院大学。在阿里和腾讯工作多年，拥有丰富的搜索和推荐算法经验。CSDN博客专家，原创文章100篇。发表专利15个，其中已授权6个。作者（腾讯T11推荐算法研究员）文章主页SGD全称StochasticGradientDescent，随机梯度下降，184...

  2024-04-15