LearningRate

LearningRate

是 NetTrain 的一个选项，指定调整神经网络权重的速率，以尽量最小化训练损失.

更多信息

  • LearningRate->Automatic 指定 NetTrain 应自动选择学习速率.
  • LearningRate->r 指定学习速率应为数字 r.
  • 所有学到的权重的基本学习速率都是通过 LearningRate 建立起来的. 可用 LearningRateMultipliers 修改网络特定部分的学习速率.
  • 典型的学习速率是远小于 1 的数字；通常在 0.001 和 0.01 之间. 选择过高的学习速率会导致网络无法收敛到一个好的解，而选择过低的学习速率会导致训练过程花费太长的时间.
  • 通过 NetTrain 的 Method 选项指定的不同优化器的学习速率是不可比的.

范例

基本范例  (1)

用 0.01 的学习速率训练网络：

Wolfram Research (2019)，LearningRate，Wolfram 语言函数，https://reference.wolfram.com/language/ref/LearningRate.html.

文本

Wolfram Research (2019)，LearningRate，Wolfram 语言函数，https://reference.wolfram.com/language/ref/LearningRate.html.

CMS

Wolfram 语言. 2019. "LearningRate." Wolfram 语言与系统参考资料中心. Wolfram Research. https://reference.wolfram.com/language/ref/LearningRate.html.

APA

Wolfram 语言. (2019). LearningRate. Wolfram 语言与系统参考资料中心. 追溯自 https://reference.wolfram.com/language/ref/LearningRate.html 年

BibTeX

@misc{reference.wolfram_2024_learningrate, author="Wolfram Research", title="{LearningRate}", year="2019", howpublished="\url{https://reference.wolfram.com/language/ref/LearningRate.html}", note=[Accessed: 23-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_learningrate, organization={Wolfram Research}, title={LearningRate}, year={2019}, url={https://reference.wolfram.com/language/ref/LearningRate.html}, note=[Accessed: 23-November-2024 ]}