LinearLayer
LinearLayer[n]
表示一个可训练的、全连接的网络层,可计算 ,输出向量的大小为 n.
LinearLayer[{n1,n2,…}]
表示输出维度为 n1×n2×… 的数组的网络层.
将输出数组的维度从前后的连接中推断出来.
LinearLayer[n,opts]
包括初始权重和其他参数的选项.
更多信息和选项
- 可以包含下列可选参数:
-
"Biases" Automatic 初始偏置向量(w.x+b 中的 b) "Weights" Automatic 初始权重矩阵(w.x+b 中的 b) LearningRateMultipliers Automatic 应用于权重与/或偏差的学习率乘子 - 在没有明确指定权重和偏差或以 Automatic 形式给出的情况下,当使用 NetInitialize 或 NetTrain 时,系统自动加上这些参数.
- 设置 "Biases"->None 指定不应使用任何偏差.
- 如果已经加上了权重和偏差,通过应用该层 LinearLayer[…][input] 显式计算输出.
- LinearLayer[…][{input1,input2,…}] 显式计算每个 inputi 的输出.
- 当 NumericArray 作为输入时,输出将是 NumericArray.
- NetExtract 可以用来从 LinearLayer 对象提取权重和偏差.
- LinearLayer 通常用在 NetChain、NetGraph 等中.
- LinearLayer 开放下列端口,以便用于 NetGraph 等:
-
"Input" 数组 "Output" 大小为 n1×n2×… 的数组 - LinearLayer[{}] 指定 LinearLayer 应产生一个实数.
- LinearLayer[n,"Input"->m] 是 LinearLayer 的最常见的用法,表示一个 LinearLayer,接受长度为 m 的向量,产生长度为 n 的向量.
- 在较大的网络中,如果不能从前面的层推导得出,可以使用选项 "Input"shape 来确定 LinearLayer 的输入. shape 的可能的形式包括:
-
"Real" 一个实数 m 长度为 m 的向量 {m1,m2,…} 维度为 m1×m2×… 的数组 NetEncoder[…] 编码 - Options[LinearLayer] 给出构建网络层的默认选项的列表. Options[LinearLayer[…]] 给出在一些数据上运行网络层的默认选项列表.
- Information[LinearLayer[…]] 给出关于该网络层的报告.
- Information[LinearLayer[…],prop] 给出 LinearLayer[…] 的属性 prop 的值. 可能的属性与 NetGraph 相同.
范例
打开所有单元关闭所有单元基本范例 (2)
范围 (11)
参数 (2)
端口 (6)
可以初始化一个完全指定了 "Input" 和 "Output" 端口的 LinearLayer:
定义一个能接收一个类并生成其单击编码向量的 NetEncoder:
定义一个 NetEncoder,接收图像并生成 28×28 矩阵:
参数 (3)
"Biases" (1)
定义并初始化一个无偏置的 LinearLayer:
这与 Dot 等价:
选项 (2)
LearningRateMultipliers (2)
创建一个带有冻结权重和偏差的 LinearLayer:
创建一个带有冻结权重的 LinearLayer,但不冻结偏差:
应用 (1)
属性和关系 (2)
可能存在的问题 (3)
如果 LinearLayer 的输入和输出维度处于未知状态,就不能被初始化:
LinearLayer 不接受符号式输入:
输出大小为 n、输入大小为 m 的 LinearLayer 的权重矩阵的大小为 n×m:
如果 n 和 m 太大,可能没有足够大的系统或 GPU 内存来初始化或训练含有此 LinearLayer 的网络:
文本
Wolfram Research (2016),LinearLayer,Wolfram 语言函数,https://reference.wolfram.com/language/ref/LinearLayer.html (更新于 2020 年).
CMS
Wolfram 语言. 2016. "LinearLayer." Wolfram 语言与系统参考资料中心. Wolfram Research. 最新版本 2020. https://reference.wolfram.com/language/ref/LinearLayer.html.
APA
Wolfram 语言. (2016). LinearLayer. Wolfram 语言与系统参考资料中心. 追溯自 https://reference.wolfram.com/language/ref/LinearLayer.html 年