GGUF (.gguf)

予備知識

    • 大規模言語モデルの高速な読み込みと保存のために設計されたオープン形式．
    • モデルとさまざまなメタデータを保存する．
    • GGUFはGPT-Generated Unified Formatの頭文字である．
    • GGMLの後継となるバイナリファイル形式．
    • Georgi Gerganovによって2023年にリリースされた．

Import

  • Import["file.gguf"] はGGUFファイルをインポートしてNetExternalObjectを返す．
  • Import["file.gguf",elem] は指定された要素をインポートする．
  • インポート形式はImport["file","GGUF"] またはImport["file",{"GGUF",elem,…}]で指定できる．
  • 一般的な情報は，以下の関数ページを参照のこと．
  • Importファイルからインポートする
    CloudImportクラウドオブジェクトからインポートする
    ImportString文字列からインポートする
    ImportByteArrayバイト配列からインポートする

Import要素

  • 一般的なImport要素：
  • "Elements" ファイル中の有効な要素とオプションのリスト
    "Summary"ファイルの概要
    "Rules"使用可能なすべての要素の規則のリスト
  • Import 要素は以下を含む：
  • "NetExternalObject"NetExternalObject でネットワークを表現する

オプション

  • Import オプション：
  • "ContextWindowSize"Automaticモデルのコンテキストウィンドウのサイズ
    "Output""Text"モデルの出力タイプ
  • オプション"Output"には以下の設定が可能である：
  • "Embeddings"テキスト埋込みモデルとしてファイルをインポートする
    "Text"テキスト生成モデルとしてファイルをインポートする
  • すべてのモデルが両方の出力タイプをサポートしているわけではない．
  • オプション"ContextWindowSize"は正の整数またはモデルのデフォルトを選択するAutomaticに設定できる．

例題

すべて開くすべて閉じる

例  (2)

ネットをGGUF形式でインポートする（モデルクレジット：Olusegun Odewole, https://huggingface.co/segestic/Tinystories-gpt-0.1-3m ）：

このファイルで使用できるImport要素を表示する：

終了トークンに達するまでモデルを実行する：

埋込みモデルとして "GGUF"ファイルをインポートする：

文字列の各トークンについて，埋込みベクトルを生成する：

Importオプション  (2)

"ContextWindowSize"  (1)

"GGUF"ファイルをインポートする：

デフォルトのコンテキストウィンドウを確認する：

異なる最大値を指定する：

モデル情報の新しい値を検査する：

元の訓練時のコンテキストウィンドウサイズを取得する：

"Output"  (1)

デフォルトでは，モデルはテキスト生成器としてインポートされる：

代りにモデルをテキストエンベッダとしてインポートする：