TrainingUpdateSchedule

TrainingUpdateSchedule

是 NetTrain 的一个选项，指定在优化过程的每个步骤中更新网络的哪些数组.

更多信息

  • 当采用默认设置 TrainingUpdateScheduleAutomatic 时，在优化过程的所有步骤要更新所有数组.
  • TrainingUpdateSchedule{group1,group2,…,groupn} 指定每个相应的优化步骤中更新哪些数组，重复执行此安排直到训练结束.
  • 在 TrainingUpdateSchedule{group1,group2,…,groupn} 中，每个 groupi 可采用一些形式：
  • "layer"已命名网络层或子网络的所有数组
    n第 n 层的所有数组
    m;;n第 m 层到第 n 层的所有数组
    {layer,"array"}某个网络层或子网络的特定数组
    {part1,part2,…}
  • 嵌套网络层或子网络的数组
    • spec1|spec2|…指定的任一数组
    _网络中的所有数组
    specs在连续的 s 个步骤中重复同样的指定
  • TrainingUpdateSchedule 用于指代网络子部分的层级指定 {part1,part2,…} 与 NetExtract 和 NetReplacePart 使用的等价.
  • 子网络的指定（如嵌套 NetChain 或 NetGraph） 适用于该子网中的所有层和数组.
  • 训练期间，TrainingUpdateSchedule 中没有指定的任何一组参数均保持不变.

范例

打开所有单元关闭所有单元

基本范例  (1)

通过交替更新判别器和生成器来训练 NetGANOperator：

范围  (2)

创建并初始化含有三个层的网络：

通过交替更新第一层和第三层来训练该网络，并在每次优化迭代后收集网络数组：

显示第一个数组值随迭代进行的演变，并检查数组是否被交替更新：

创建并初始化含有已命名网络层的 NetGraph：

对 NetGraph 的一个子部分进行比其他部分多 10 倍的更新来训练该网络：

查看数组更新的情况：

通过分别更新数组来训练同一个 NetGraph：

可能存在的问题  (1)

当共享数组出现在网络中的多个位置时，只将唯一的训练更新时间表应用于所有位置上的共享数组.

创建具有共享数组的网络：

用 TrainingUpdateSchedule 来训练，指定只更新第一个网络层，并在每次更新后收集第三个网络层的权重值：

各个时间段都更新共享权重：

结果与没有任何更新时间表的训练相同：

Wolfram Research (2020)，TrainingUpdateSchedule，Wolfram 语言函数，https://reference.wolfram.com/language/ref/TrainingUpdateSchedule.html.

文本

Wolfram Research (2020)，TrainingUpdateSchedule，Wolfram 语言函数，https://reference.wolfram.com/language/ref/TrainingUpdateSchedule.html.

CMS

Wolfram 语言. 2020. "TrainingUpdateSchedule." Wolfram 语言与系统参考资料中心. Wolfram Research. https://reference.wolfram.com/language/ref/TrainingUpdateSchedule.html.

APA

Wolfram 语言. (2020). TrainingUpdateSchedule. Wolfram 语言与系统参考资料中心. 追溯自 https://reference.wolfram.com/language/ref/TrainingUpdateSchedule.html 年

BibTeX

@misc{reference.wolfram_2024_trainingupdateschedule, author="Wolfram Research", title="{TrainingUpdateSchedule}", year="2020", howpublished="\url{https://reference.wolfram.com/language/ref/TrainingUpdateSchedule.html}", note=[Accessed: 21-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_trainingupdateschedule, organization={Wolfram Research}, title={TrainingUpdateSchedule}, year={2020}, url={https://reference.wolfram.com/language/ref/TrainingUpdateSchedule.html}, note=[Accessed: 21-November-2024 ]}