"Tokens" (神经网络解码器)

NetDecoder["Tokens"]

表示一个解码器，将概率向量序列转换成英文词汇表中的单词组成的字符串.

NetDecoder[{"Tokens","language"}]

表示一个解码器，使用给定语言的标准词汇表.

NetDecoder[{"Tokens",{"token1","token2",…}}]

表示一个解码器，使用指定的 token 列表作为词汇表.

NetDecoder[{"Tokens",…,"param"->val}]

表示一个解码器，其中指定了其他参数.

更多信息

  • NetDecoder[…][input] 对一个输入应用解码器，产生一个输出.
  • NetDecoder[…][{input1,input2,…}] 对一系列输入应用解码器，产生一系列输出.
  • 解码器 input 的输入是概率向量或概率向量序列. 每个概率向量的和为 1. 每个概率向量的长度是词汇表的大小.
  • NetDecoder["Tokens"] 等价于 NetDecoder[{"Tokens","English"}].
  • 在构建网络时，可通过指定 "port"->NetDecoder[…] 将解码器添加到网络的输出端口上.
    • 参数
  • 参数设置为 "IgnoreCase"->True 时，在解码后 token 被转换成小写字母. 默认值为 True.
    • 属性
  • NetDecoder[…][data,prop] 可用于计算输入数据的指定属性.
  • 当一个 "Tokens" 解码器附加在网络，net[data,prop] 或 net[data,"oport"->prop] 可用于计算解码输出的指定属性.
  • "Tokens" 解码器仅支持绕过 (bypass) 属性. 设置 prop 为 None 绕过解码并返回输入给解码器.

范例

打开所有单元关闭所有单元

基本范例  (2)

创建英文文字的 token 解码器：

获取解码器的输入期望大小：

对一个英文句子进行解码：

从随机的概率矩阵中对无意义的句子进行解码：

创建有两个 token 的解码器：

在概率向量序列上运行解码器：

范围  (1)

在网络的输出端口上添加 token 解码器：

在概率向量序列上运行网络，返回一个字符串：