WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター

GGUF (.gguf)

  • ImportはGGUF標準を完全にサポートする．

予備知識

    • 大規模言語モデルの高速な読み込みと保存のために設計されたオープン形式．
    • モデルとさまざまなメタデータを保存する．
    • GGUFはGPT-Generated Unified Formatの頭文字である．
    • GGMLの後継となるバイナリファイル形式．
    • Georgi Gerganovによって2023年にリリースされた．

Import

  • Import["file.gguf"] はGGUFファイルをインポートして NetExternalObjectを返す．
  • Import["file.gguf",elem]は指定された要素をインポートする．
  • インポート形式はImport["file","GGUF"] またはImport["file",{"GGUF",elem,…}]で指定できる．
  • 一般的な情報は，以下の関数ページを参照のこと．
  • Importファイルからインポートする
    CloudImportクラウドオブジェクトからインポートする
    ImportString文字列からインポートする
    ImportByteArrayバイト配列からインポートする

要素

  • 一般的なImport要素：
  • "Elements" ファイル中の有効な要素とオプションのリスト
    "Summary"ファイルの概要
    "Rules"使用可能なすべての要素の規則のリスト
  • Import 要素は以下を含む：
  • "NetExternalObject"NetExternalObject でネットワークを表現する

オプション

  • Import オプション：
  • "ContextWindowSize"Automaticモデルのコンテキストウィンドウのサイズ
    "Output""Text"モデルの出力タイプ
  • オプション"Output"には以下の設定が可能である：
  • "Embeddings"テキスト埋込みモデルとしてファイルをインポートする
    "Text"テキスト生成モデルとしてファイルをインポートする
  • すべてのモデルが両方の出力タイプをサポートしているわけではない．
  • オプション"ContextWindowSize"は正の整数またはモデルのデフォルトを選択するAutomaticに設定できる．

例題

すべて開く すべて閉じる

例  (2)

ネットをGGUF形式でインポートする（モデルクレジット：Olusegun Odewole, https://huggingface.co/segestic/Tinystories-gpt-0.1-3m ）：

Wolfram Language code: net = Import["ExampleData/gguf_example.gguf"]

このファイルで使用できるImport要素を表示する：

Wolfram Language code: Import["ExampleData/gguf_example.gguf", "Elements"]

終了トークンに達するまでモデルを実行する：

Wolfram Language code: net["There was", Method -> {"StopTokens" -> {"."}}]

埋込みモデルとして "GGUF"ファイルをインポートする：

Wolfram Language code: net = Import["ExampleData/gguf_example.gguf", "Output" -> "Embeddings"]

文字列の各トークンについて，埋込みベクトルを生成する：

Wolfram Language code: net["There was a huge oven"]//Short

Importオプション  (2)

"ContextWindowSize"  (1)

"GGUF"ファイルをインポートする：

Wolfram Language code: original = Import["ExampleData/gguf_example.gguf"]

デフォルトのコンテキストウィンドウを確認する：

Wolfram Language code: Information[original, "ContextWindowSize"]

異なる最大値を指定する：

Wolfram Language code: modified = Import["ExampleData/gguf_example.gguf", "ContextWindowSize" -> 1024]

モデル情報の新しい値を検査する：

Wolfram Language code: Information[modified, "ContextWindowSize"]

元の訓練時のコンテキストウィンドウサイズを取得する：

Wolfram Language code: Information[modified, "TrainingContextWindowSize"]

"Output"  (1)

デフォルトでは，モデルはテキスト生成器としてインポートされる：

Wolfram Language code: net = Import["ExampleData/gguf_example.gguf"]

代りにモデルをテキストエンベッダとしてインポートする：

Wolfram Language code: Import["ExampleData/gguf_example.gguf", "Output" -> "Embeddings"]