"Tokens" (ネットデコーダ)

NetDecoder["Tokens"]

確率ベクトル列を英語の語彙単語の文字列に変換するデコーダを表す．

NetDecoder[{"Tokens","language"}]

指定の言語に標準語彙を使うデコーダを表す．

NetDecoder[{"Tokens",{"token1","token2",…}}]

トークンの指定リストを語彙として使うデコーダを表す．

NetDecoder[{"Tokens",…,"param"->val}]

追加のパラメータが指定されているデコーダを表す．

詳細

  • NetDecoder[…][input]はデコーダを入力に適用して出力を作る．
  • NetDecoder[…][{input1,input2,…}]はデコーダを入力のリストに適用して出力のリストを作る．
  • デコーダへの入力 input は確率ベクトルまたは確率ベクトル列である．各確率ベクトルの合計は1になる．各確率ベクトルの長さは語彙のサイズである．
  • NetDecoder["Tokens"]はNetDecoder[{"Tokens","English"}]に相当する．
  • ネットワークの構築時に"port"->NetDecoder[…]と指定すると，デコーダをネットワークの出力ポートに付加することができる．
    • パラメータ
  • パラメータ"IgnoreCase"->Trueを指定すると，復号化後にトークンが小文字に変換される．デフォルトではTrueである．
    • 特性
  • NetDecoder[…][data,prop]は，入力データの特定の特性を計算するのに使うことができる．
  • "Tokens"のデコーダがネットワークに付加されているとき，net[data,prop]または net[data,"oport"->prop]を使って，復号化された出力の特定の特性を計算することができる．
  • "Tokens"のデコーダは，バイパス特性のみをサポートする．prop をNoneに設定すると復号化を回避して，デコーダへの入力を返す．

例題

すべて開くすべて閉じる

例  (2)

英文テキスト用のトークンデコーダを作る：

デコーダへの期待される入力サイズを得る：

英文を復号化する：

意味不明の文を確率のランダム行列から復号化する：

トークンが2つあるデコーダを作る：

デコーダを確率ベクトル列で評価する：

スコープ  (1)

トークンデコーダをネットワークの出力ポートに付加する：

ネットワークを確率ベクトル列で評価すると，文字列が返される：