WOLFRAM

Wolfram 语言与系统参考资料中心

"WolframBatch" （批处理计算服务商）

详细信息

Wolfram Compute Services 是一项批量计算服务，通过您的 Wolfram 账户提供便捷的按需访问大型计算资源的服务.
与其他批处理计算服务不同，Wolfram Compute Services 无需用户设置或配置，也无需使用单独的第三方云计算账户 .
Wolfram Compute Services 需要一个 Wolfram 账户、互联网连接以及服务积分.

环境属性

"WolframBatch" 服务商的 RemoteBatchSubmissionEnvironment 对象不接受任何其他属性.
"WolframBatch" 服务商是 $DefaultRemoteBatchSubmissionEnvironment 的默认值，允许使用如 RemoteBatchSubmit 这样的函数，无需显式指定环境.

作业设置

使用 "WolframBatch" 服务商时，RemoteProviderSettings 选项支持以下设置：
  • "RemoteMachineClass""Basic1x8"使用的计算资源的类型
    "RemoteGeoZone"Automatic运行作业的地理区域
    • "RemoteMachineClass" 指定了运行远程作业所使用的硬件类型. 支持的设置包括：
  • "Basic1x8"基础机型，配备 1 个 CPU 核和 8 GB 内存
    "Basic2x8"2 个 CPU 核和 8 GB 内存
    "Basic4x16"4 个 CPU 核和 16 GB 内存
    "Memory8x64"内存优化机型，配备 8 个 CPU 核和 64 GB 内存
    "Memory16x128"16 个 CPU 核和 128 GB 内存
    "Memory192x1536"192 个 CPU 核和 1536 GB 内存
    "Compute64x128"计算优化机型，配备 64 个 CPU 核和 128 GB 内存
    "Compute192x384"192 个 CPU 核和 384 GB 内存
    "GPU1xL40S"1 个 NVIDIA L40S GPU，44 GiB 的 GPU 内存
    "GPU4xL4"4 个 NVIDIA L4 GPU，总共 89 GiB 的内存
    • 支持的机器类别可能发生变更. 有关最新的类别及相应定价信息，请参阅 https://www.wolfram.com/compute-services.
    "WolframBatch" provider, RemoteMachineClass class 等价于 RemoteProviderSettings <|"RemoteMachineClass" class|>.
    "RemoteGeoZone" 指定在哪个地理区域运行远程作业. 支持的区域包括：
  • "UnitedStates"在美国运行的作业
    "EuropeanUnion"在欧盟运行的作业
    • 可用的地理区域列表可能会发生变化. 如果需要获取最新列表，请查看 https://www.wolfram.com/compute-services.
    使用 "WolframBatch" 服务商时，RemoteGeoZonezone 与设置RemoteProviderSettings<|"RemoteGeoZone"zone|> 等价.
    CreditConstraint 指定了该作业可使用的服务积分的最大数量. 采用默认设置 Automatic时，只要您的账户中有足够的服务积分，作业就会运行至完成. 请访问 https://account.wolfram.com/products/service-credits 查看您的积分使用情况并管理您的积分.
    超出 CreditConstraint 限制的作业将被终止，且不会提供任何输出数据.

    作业通知

    RemoteJobNotifications 指定要生成哪些通知事件以及针对这些事件采取何种操作.
    可能的通知方法包括：
  • "Email"向 $WolframID 指定的地址发送电子邮件
    "SMS"向 $MobilePhone 发送短信
    • 与作业状态变更相关的可能通知事件包括：
  • "JobStarting"作业不再排队，正在准备启动
    "JobStarted"作业已开始运行
    "JobCompleted"作业已成功完成或终止
    "JobSucceeded"作业成功产生了结果
    "JobTerminated"作业异常终止
    "JobStatusChanged"为所有作业状态变更事件发出通知
    • 与已用时间相关的可能通知事件包括：
  		• "Hourly"作业运行时大约每小时一次
    		"Daily"作业运行时大约每天一次
    {"HoursElapsed",n}自作业创建后大约每 n 小时一次
    • 与服务积分相关的可能通知事件包括：
  • {"JobCreditsUsed",n}每当大约消耗了 n 个积分时
    • 默认的通知方法是 "Email".
    默认的通知事件，由值 Automatic 指定，包括 "JobStarting"、"JobCompleted" 和 {"JobCreditsUsed", Quantity[20000,"Credits"]}.

    作业状态

    以下是使用 "WolframBatch" 服务商时，"JobStatus" 作业属性可能的值，按典型作业将经历的顺序列出：
  • "Queued"作业正在等待可用的计算资源
    "Starting"业已被调度到实例，其容器镜像正在下载中
    "Running"作业的容器已启动
    "Succeeded"作业执行成功且其输出已上传
    "Terminated"作业因错误被中止或停止
    • 处于 "Running" 状态的作业可能正在下载输入文件、运行作业代码或上传输出数据.
    数组作业将保持 "Running" 状态，直到其所有子作业完成. 此时，如果所有子作业都已成功完成，数组作业将变为 "Succeeded"；如果至少有一个子作业失败，数组作业将变为 "Terminated".

    作业的属性

    使用 "WolframBatch" 服务商时，除 RemoteBatchJobObject 支持的标准属性外，还可获取 "Single" 类型的作业对象的以下属性：
  • "CreditsSpent"作业花费的服务积分的数量
    "JobExitCode"作业容器中的内核返回的退出代码
    "JobLogData"制台日志和时间戳数据列表
    "JobLogString"来自作业容器的控制台日志
    "JobLogTabular"控制台日志和时间戳数据，以 Tabular 格式给出
    "JobStatusReason"字符串，描述作业处于当前状态的原因
    "OutputPreviewImage"作业计算结果的图片预览
    • 使用 "WolframBatch" 服务商时，除了 RemoteBatchJobObject 支持的标准属性外，还可获取 "Array" 类型的作业对象的以下属性：
  • "CreditsSpent"作业花费的服务积分的数量
    "JobStatusReason"描述作业处于当前状态的原因的字符串
    "OutputPreviewImage"第一个子作业计算结果的图片预览
    • 使用 "WolframBatch" 服务商时，除 RemoteBatchJobObject 支持的标准属性外，还可获取 "ArrayChild" 类型的作业对象的以下属性：
  • "JobLogString"作业容器的控制台日志
    • 作业的输入和输出数据将保留 14 天，此后数据将过期且无法再访问.

    范例

    打开所有单元 关闭所有单元

    基本范例  (1)

    The default remote batch environment is "WolframBatch":

    Wolfram Language code: $DefaultRemoteBatchSubmissionEnvironment

    用默认的 "WolframBatch" 环境提交一个作业. RemoteBatchSubmit 返回一个 RemoteBatchJobObject，允许你管理和查看作业的状态：

    Wolfram Language code: job = RemoteBatchSubmit[2 + 2]

    查询作业状态：

    Wolfram Language code: job["JobStatus"]

    作业完成后，再次查询状态：

    Wolfram Language code: job["JobStatus"]

    获取作业结果：

    Wolfram Language code: job["EvaluationResult"]

    作业设置  (4)

    RemoteMachineClass  (3)

    用一个 GPU 训练神经网络：

    Wolfram Language code: job = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> "GPU"], RemoteMachineClass -> "GPU1xL40S"]

    在控制台日志中报告训练进度：

    Wolfram Language code: StringCases[job["JobLogString"], "Starting training" ~~ __]//First

    用得到的网络对难以识别的数字进行分类：

    Wolfram Language code: job["EvaluationResult"]
    Wolfram Language code: %[[image], "TopProbabilities"]

    用多个 GPU 训练神经网络：

    Wolfram Language code: job = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> {"GPU", All}, BatchSize -> 512], RemoteMachineClass -> "GPU4xL4"]

    用 GPU 执行批量推理：

    Wolfram Language code: job = RemoteBatchSubmit[Counts[NetModel["Wolfram ImageIdentify Net V1"][Flatten@Table[RandomImage[max], {max, .1, 10, .1}, 10], TargetDevice -> "GPU"]], RemoteMachineClass -> "GPU1xL40S"]
    Wolfram Language code: job["EvaluationResult"]

    RemoteGeoZone  (1)

    在欧盟运行批处理作业：

    Wolfram Language code: RemoteBatchSubmit["WolframBatch", FactorInteger[2 ^ 1023 - 7], RemoteGeoZone -> "EuropeanUnion"]

    属性和关系  (8)

    在具有大内存容量的计算机上运行批处理作业：

    Wolfram Language code: RemoteBatchSubmit[FactorInteger[2 ^ 1023 - 7], RemoteMachineClass -> "Memory8x64"]

    使用给定的服务积分预算运行批处理作业：

    Wolfram Language code: RemoteBatchSubmit[FactorInteger[2 ^ 1023 - 7], CreditConstraint -> Quantity[700, "Credits"]]

    以指定的最大运行时间执行批处理作业：

    Wolfram Language code: RemoteBatchSubmit[FactorInteger[2 ^ 1023 - 7], TimeConstraint -> Quantity[10, "Hours"]]

    接收关于作业状态变更事件的短信通知：

    Wolfram Language code: RemoteBatchSubmit[FactorInteger[2 ^ 1023 - 7], RemoteJobNotifications -> {"JobStatusChanged" -> "SMS"} ]

    在作业开始和完成时接收文本通知，并在其运行期间每 2 小时收到电子邮件通知：

    Wolfram Language code: RemoteBatchSubmit[FactorInteger[2 ^ 1023 - 7], RemoteJobNotifications -> {{"JobStarted", "JobCompleted"} -> "SMS", {"HoursElapsed", 2} -> "Email"} ]

    不产生任何通知：

    Wolfram Language code: RemoteBatchSubmit[$Version, RemoteJobNotifications -> None]

    使用默认的通知设置：

    Wolfram Language code: job = RemoteBatchSubmit[$Version, RemoteJobNotifications -> Automatic]

    验证用于默认通知的详细规定：

    Wolfram Language code: job["RemoteJobNotifications"]

    当作业成功完成或终止时收到通知：

    Wolfram Language code: job = RemoteBatchSubmit[$Version, RemoteJobNotifications -> "JobCompleted"]

    验证通知规定的详细信息：

    Wolfram Language code: job["RemoteJobNotifications"]

    可能存在的问题  (4)

    超出内存限制的作业将被终止：

    Wolfram Language code: job = RemoteBatchSubmit[Array[Range[1, #]&, 38000]]
    Wolfram Language code: job["JobStatus"]

    神经网络运算默认使用 CPU，即使作业的机器类别配备了可用的 GPU 硬件：

    Wolfram Language code: job1 = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST"], RemoteMachineClass -> "GPU1xL40S"]
    Wolfram Language code: StringCases[job1["JobLog"], "Device:" ~~ Except[" "]..]//First

    指定 TargetDevice 选项，以便使用 GPU 进行训练或推理：

    Wolfram Language code: job2 = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> "GPU"], RemoteMachineClass -> "GPU1xL40S"]
    Wolfram Language code: StringCases[job2["JobLog"], "Device:" ~~ Except[" "]..]//First

    NetTrain[…,TargetDevice"GPU"] 使用单个 GPU 进行训练，无论作业可用的 GPU 数量是多少：

    Wolfram Language code: job1 = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> "GPU", BatchSize -> 128], RemoteMachineClass -> "GPU4xL4"]
    Wolfram Language code: StringCases[job1["JobLog"], "Device:" ~~ Except[" "]..]//First

    指定 TargetDevice{"GPU",All} 以使用所有可用的 GPU 进行训练：

    Wolfram Language code: job2 = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> {"GPU", All}, BatchSize -> 128], RemoteMachineClass -> "GPU4xL4"]
    Wolfram Language code: StringCases[job2["JobLog"], "Device:" ~~ Except[" "]..]//First

    不支持多 GPU 推理：

    Wolfram Language code: job3 = With[{net = job2["EvaluationResult"]}, RemoteBatchSubmit[net[Table[RandomImage[1], 50], TargetDevice -> {"GPU", All}], RemoteMachineClass -> "GPU4xL4"]]
    Wolfram Language code: job3["EvaluationMessagesText"]

    如果未指定批次大小，则无法进行多 GPU 训练：

    Wolfram Language code: job1 = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> {"GPU", All}], RemoteMachineClass -> "GPU4xL4"]
    Wolfram Language code: {job1["EvaluationResult"], job1["EvaluationMessagesText"]}

    在多个 GPU 上进行训练时，需指定 BatchSize 选项：

    Wolfram Language code: job2 = RemoteBatchSubmit[NetTrain[NetModel["LeNet"], "MNIST", TargetDevice -> {"GPU", All}, BatchSize -> 128], RemoteMachineClass -> "GPU4xL4"]
    Wolfram Language code: job2["EvaluationResult"]