WOLFRAM

Wolfram 语言与系统参考资料中心

"TogetherAI" (服务连接)

连接该服务需要访问 LLM »
将 Together AI API 与 Wolfram 语言结合使用.

连接与认证

ServiceConnect["TogetherAI"] 创建与 Together AI API 的连接. 如果可以找到之前保存的连接，则将使用该连接；否则，将发起新的身份认证请求.
使用此连接需要访问互联网和 Together AI 帐户.

请求

ServiceExecute["TogetherAI","request",params] 使用参数 params 向 Together AI API 发送请求. 下面给出了可能的请求.

文本

请求：

"Completion" — 为给定提示创建文本完成

参数：
  • "Prompt"(必需)为其生成补全的提示
    "MaxTokens"Automatic最多生成多少个词元
    "Model"Automatic使用的模型的名称
    "N"Automatic返回多少个补全
    "SafetyModel"Automatic使用的审核模型；可能的值包括 "Meta-Llama/Llama-Guard-7b"
    "StopTokens"Automatic用来指示 API 停止生成更多词元的字符串
    "Temperature"Automatic采样温度
    "TotalProbabilityCutoff"Automatic温度采样的替代方法，称为核心采样，模型只考虑具有所要求的概率质量的词元
    • 请求：

    "Chat" — 为给定的聊天对话创建响应

    参数：
  • "Messages"(必需)对话中的消息列表，用 "Role" 和 "Content" 为键的关联给出每条消息
    "MaxTokens"Automatic最多生成多少个词元
    "Model"Automatic使用的模型的名称
    "N"Automatic返回多少个聊天补全
    "SafetyModel"Automatic使用的审核模型；可能的值包括 "Meta-Llama/Llama-Guard-7b"
    "StopTokens"Automatic用来指示 API 停止生成更多词元的字符串
    "Stream"False将结果作为服务器发送的事件返回
    "Temperature"Automatic采样温度
    "ToolChoice"Automatic模型调用哪个工具（如果有）
    "Tools"Automatic模型可用的一个或多个 LLMTool 对象
    "TopProbabilities"Automatic只在 k 个概率最高的类别中采样
    "TotalProbabilityCutoff"Automatic温度采样的替代方法，称为核心采样，模型只考虑具有所要求的概率质量的词元
    • 请求：

    "Embedding" — 创建表示输入文本的嵌入向量

    可选参数：
  • "Input"(必需)要为其创建嵌入向量的一个或一组文本
    "Model"Automatic使用的模型的名称

    • 图像

    请求：

    "ImageCreate" — 给定提示，创建一个正方形的图片

    参数：
  • "Prompt"(必需)所需图像的文字描述
    "Model"Automatic使用的模型的名称
    "N"Automatic生成多少幅图像
    "Seed"Automatic用于生成图像的种子
    "Size"Automatic生成图像的大小
    "Steps"Automatic迭代的次数

    • 模型列表

    请求：

    "ChatModelList" — 列出 "Chat" 请求可用的模型

    请求：

    "CompletionModelList" — 列出 "Completion" 请求可用的模型

    请求：

    "EmbeddingModelList" — 列出 "Embedding" 请求可用的模型

    请求：

    "ImageModelList" — 列出 "ImageCreate" 请求可用的模型

    范例

    打开所有单元 关闭所有单元

    基本范例  (1)

    创建新的连接：

    Wolfram Language code: togetherAI = ServiceConnect["TogetherAI"]

    补完一段文字：

    Wolfram Language code: ServiceExecute[togetherAI, "Completion", {"Prompt" -> "What is the capital of France?"}]

    生成聊天的响应：

    Wolfram Language code: ServiceExecute[togetherAI, "Chat", {"Messages" -> {<|"Role" -> "User", "Content" -> "Hello there!"|>}}]

    计算一个句子的嵌入向量：

    Wolfram Language code: ServiceExecute[togetherAI, "Embedding", {"Input" -> "The quick brown fox ..."}]

    根据提示生成 Image：

    Wolfram Language code: ServiceExecute[togetherAI, "ImageCreate", {"Prompt" -> "A cat in a hat"}]

    范围  (7)

    文本  (5)

    补全  (1)

    改变采样温度：

    Wolfram Language code: ServiceExecute["TogetherAI", "Completion", {"Prompt" -> "Three colors are: ", "Temperature" -> 1, "MaxTokens" -> 20}]

    增加返回的字符数：

    Wolfram Language code: ServiceExecute["TogetherAI", "Completion", {"Prompt" -> "Three colors are: ", "Temperature" -> 1, "MaxTokens" -> 60}]

    聊天  (1)

    回复包含多条消息的聊天：

    Wolfram Language code: ServiceExecute["TogetherAI", "Chat", {"Messages" -> { <|"Role" -> "User", "Content" -> "What's the tallest mountain?"|>, <|"Role" -> "Assistant", "Content" -> "The highest mountain in the world is Mount Everest."|>, <|"Role" -> "User", "Content" -> "How tall is it?"|> }}]

    允许模型使用 LLMTool：

    Wolfram Language code: ServiceExecute["TogetherAI", "Chat", {"Model" -> "mistralai/Mixtral-8x7B-Instruct-v0.1", "Messages" -> {<|"Role" -> "User", "Content" -> "Tell me what today's date is and then tell me how long this message is."|>}, "Tools" -> {LLMTool["countcharacter", "string", StringLength[#string]&], LLMTool[{"getDate", "Get the current date"}, {}, DateString]}}]

    ChatModelList  (1)

    查看可用的聊天模型：

    Wolfram Language code: ServiceExecute["TogetherAI", "ChatModelList"]

    CompletionModelList  (1)

    查看可用的文本补全模型：

    Wolfram Language code: ServiceExecute["TogetherAI", "CompletionModelList"]

    EmbeddingModelList  (1)

    查看可用的嵌入模型：

    Wolfram Language code: ServiceExecute["TogetherAI", "EmbeddingModelList"]

    图像  (2)

    返回多个结果：

    Wolfram Language code: ServiceExecute["TogetherAI", "ImageCreate", {"Prompt" -> "A cat in a hat", "N" -> 2}]

    ImageModelList  (1)

    查看可用的图像生成模型：

    Wolfram Language code: ServiceExecute["TogetherAI", "ImageModelList"]