WOLFRAM

Wolfram 语言与系统参考资料中心

GGUF (.gguf)

  • Import 完全支持 GGUF 标准.

背景

    • 开放格式，专为快速加载和保存大型语言模型而设计.
    • 存储模型和各种元数据.
    • GGUF 是 GPT-Generated Unified Format（GPT 生成统一格式）的首字母缩写.
    • GGML 的二进制文件格式后继者.
    • 由 Georgi Gerganov 于 2023 年发布.

导入

导入元素

  • 通用的 Import 元素：
  • "Elements" 此文件中可用的元素和选项列表
    "Summary"文件摘要
    "Rules"所有可用元素的规则列表
  • Import 元素包括：
  • "NetExternalObject"网络的 NetExternalObject 表示

选项

  • Import 选项：
  • "ContextWindowSize"Automatic模型上下文窗口的大小
    "Output""Text"模型的输出类型
  • 选项"Output" 可设置为以下格式：
  • "Embeddings"将文件作为文本嵌入模型导入
    "Text"将文件作为文本嵌入模型导入
  • 并非所有模型都支持这两种输出类型.
  • 选项 "ContextWindowSize" 可以设置为正整数或 Automatic，从而选定模型的默认值.

范例

打开所有单元 关闭所有单元

基本范例  (2)

导入 GGUF 格式的网络（模型来源：Olusegun Odewole, https://huggingface.co/segestic/Tinystories-gpt-0.1-3m ）：

显示此文件中可用的 Import 元素：

运行模型直到达到终止标记：

将 "GGUF" 文件导入为嵌入模型：

为字符串中的每个标记生成嵌入向量：

导入选项  (2)

"ContextWindowSize"  (1)

导入一个 "GGUF" 文件：

检查默认上下文窗口大小：

指定不同的最大值：

检查模型信息中的新值：

检索原始训练时的上下文窗口大小：

"Output"  (1)

默认情况下，模型被导入为文本生成器：

将模型作为文本嵌入器而非默认选项导入：