"TogetherAI" (服务连接)

连接该服务需要外部账户 »

将 Together AI API 与 Wolfram 语言结合使用.

连接与认证

ServiceConnect["TogetherAI"] 创建与 Together AI API 的连接. 如果可以找到之前保存的连接，则将使用该连接；否则，将发起新的身份认证请求.
使用此连接需要访问互联网和 Together AI 帐户.

请求

ServiceExecute["TogetherAI","request",params] 使用参数 params 向 Together AI API 发送请求. 下面给出了可能的请求.

文本

请求：

"Completion" — 为给定提示创建文本完成

参数：
  • "Prompt"(必需)为其生成补全的提示
    "MaxTokens"Automatic最多生成多少个词元
    "Model"Automatic使用的模型的名称
    "N"Automatic返回多少个补全
    "SafetyModel"Automatic使用的审核模型；可能的值包括 "Meta-Llama/Llama-Guard-7b"
    "StopTokens"Automatic用来指示 API 停止生成更多词元的字符串
    "Temperature"Automatic采样温度
    "TotalProbabilityCutoff"Automatic温度采样的替代方法，称为核心采样，模型只考虑具有所要求的概率质量的词元
    • 请求：

    "Chat" — 为给定的聊天对话创建响应

    参数：
  • "Messages"(必需)对话中的消息列表，用 "Role" 和 "Content" 为键的关联给出每条消息
    "MaxTokens"Automatic最多生成多少个词元
    "Model"Automatic使用的模型的名称
    "N"Automatic返回多少个聊天补全
    "SafetyModel"Automatic使用的审核模型；可能的值包括 "Meta-Llama/Llama-Guard-7b"
    "StopTokens"Automatic用来指示 API 停止生成更多词元的字符串
    "Stream"False将结果作为服务器发送的事件返回
    "Temperature"Automatic采样温度
    "ToolChoice"Automatic模型调用哪个工具（如果有）
    "Tools"Automatic模型可用的一个或多个 LLMTool 对象
    "TopProbabilities"Automatic只在 k 个概率最高的类别中采样
    "TotalProbabilityCutoff"Automatic温度采样的替代方法，称为核心采样，模型只考虑具有所要求的概率质量的词元
    • 请求：

    "Embedding" — 创建表示输入文本的嵌入向量

    可选参数：
  • "Input"(必需)要为其创建嵌入向量的一个或一组文本
    "Model"Automatic使用的模型的名称

    • 图像

    请求：

    "ImageCreate" — 给定提示，创建一个正方形的图片

    参数：
  • "Prompt"(必需)所需图像的文字描述
    "Model"Automatic使用的模型的名称
    "N"Automatic生成多少幅图像
    "Seed"Automatic用于生成图像的种子
    "Size"Automatic生成图像的大小
    "Steps"Automatic迭代的次数

    • 模型列表

    请求：

    "ChatModelList" — 列出 "Chat" 请求可用的模型

    请求：

    "CompletionModelList" — 列出 "Completion" 请求可用的模型

    请求：

    "EmbeddingModelList" — 列出 "Embedding" 请求可用的模型

    请求：

    "ImageModelList" — 列出 "ImageCreate" 请求可用的模型

    范例

    打开所有单元关闭所有单元

    基本范例  (1)

    创建新的连接：

    补完一段文字：

    生成聊天的响应：

    计算一个句子的嵌入向量：

    根据提示生成 Image：

    范围  (7)

    文本  (5)

    补全  (1)

    改变采样温度：

    增加返回的字符数：

    聊天  (1)

    回复包含多条消息的聊天：

    允许模型使用 LLMTool：

    ChatModelList  (1)

    查看可用的聊天模型：

    CompletionModelList  (1)

    查看可用的文本补全模型：

    EmbeddingModelList  (1)

    查看可用的嵌入模型：

    图像  (2)

    返回多个结果：

    ImageModelList  (1)

    查看可用的图像生成模型：