当前位置：首页 > 参数TAG标签

• 

  深度学习常用优化算法总结及其优缺点

  作者：忆臻链接：来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。优化算法深度学习优化学习方法（一阶、二阶）一阶方法：随机梯度下降（SGD）、动量（Momentum）、牛顿动量法（Nesterov动量）、AdaGrad（自适应梯度）、RMSProp（均方差传播）、Adam...

  2024-09-09

• 

  神经网络——torch.optim优化器的使用

  optimizer.step()是大多数优化器支持的简化版本。一旦使用例如计算梯度，就可以调用该函数。backward()反向传播。文章目录一、官方文档1.什么是torch.optim？2.Howtouseanoptimizer（如何...

  2024-06-18

• 

  Optimizer in PyTorch

  torch.optim中实现了多种优化算法，目前已支持一些通用优化算法，同时提供接口来支持更加复杂的优化算法。我们需要创建optimizer对象来保存当前状态并根据计算的梯度更新参数。创建optimizer时，需要提供需优化的模型参数，模型参数必须是iterable类型且顺序不变。...

  2024-06-18

• 

  学习率与优化器

  在阅读本章节之前，请先阅读MindSpore官网教程优化器。这里就MindSpore的优化器的一些特殊使用方式和学习率衰减策略的原理做一个介绍。PyTorch和MindSpore同时支持的优化器异同比较详见API映射表。MindSpore暂不支持的优化器：LBFGS，NAdam，RAdam。PyTo...

  2024-05-06

• 

  torch.optim的灵活使用(包括重写SGD，加上L1正则)

  torch.optim的灵活使用1.基本用法：注：如果要把model放在GPU中，需要在构建一个Optimizer之前就执行model.cuda()，确保优化器里面的参数也是在GPU中。例子：2.灵活的设置各层的学习率注：这个时候，可以在optim...

  2024-05-06

• 

  optim优化器的使用

  ****参考：为单个参数进行优化时：例子：为多个参数设置不同学习率时：例子：这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所有的参数。按照更新方法，可以分为例子：公式：v=ρ?v+gp...

  2024-04-29

• 

  使用 Optuna 优化你的优化器

  磐创AI分享作者|Sion编译|Flin来源|analyticsvidhya介绍Optuna是一个最先进的自动超参数调整框架，完全用Python编写。在过去的2年里，Kaggle社区一直在广泛使用它，具有巨大的竞争力。在本文中，我们将有一个实际操作的方法，并了解它的工作原理。什么是Optuna？Op...

  2024-04-22

• 

  深入浅出之梯度下降优化算法

  梯度下降是优化神经网络和许多其他机器学习算法的首选方法，但通常是黑匣子。这篇文章探讨了最流行的基于梯度的优化算法（例如Momentum，Adagrad和Adam）是怎么工作的。原文博客链接Anoverviewofgradientdescentoptimizationalgorithmsarxiv链接...

  2024-04-15

• 

  pytorch学习笔记：优化器

  优化器的作用:管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。管理：更新哪些参数更新：根据一定的优化策略更新参数的值为了避免一些意外情况的发生，每隔一定的epoch就保存一次网络训练的状态信息，从而可以在意外中断后继续训练。2.1、单步调试代码观察优化器建立过程首先运行到断点出ste...

  2024-04-07

• 

  机器学习：优化器Optimizer的总结与比较

  机器学习中，有很多优化方法来寻找模型的最优解。梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD,GradientDescent)随机梯度下降法(SGD,StochasticGradientDescent)...

  2024-04-07