Batch API
Batch API：同样的模型，更低的价格
−25%
用你现有的 OpenAI 或 Anthropic SDK，一个任务最多提交 50,000 条请求。24 小时内返回结果，按批量价计费，最多比实时调用便宜 25%。
每 token 更便宜
所有支持批量的模型，批量价都低于实时价；每个模型的具体价格见下表。
直接兼容 OpenAI 和 Anthropic
完整支持 OpenAI Files + Batches 和 Anthropic Message Batches。只改 base URL，现有的批量代码原样运行。
一个 Key，多家模型
GPT、Claude，以及 DeepSeek、Llama、Qwen 等开源模型，共用一个余额和一份账单记录。
只为成功的请求付费
提交时按最坏情况预留费用；任务结束后只按实际完成的请求扣费，多余的预留金额自动退回余额。
不占用速率限制
一个 50,000 条请求的批量任务，只算作 Key 每分钟请求数里的 1 次调用。
结果随时下载
查询任务状态后，通过同一个 API 以 JSONL 下载结果，每行按你的 custom_id 对应。
批量价格
| 模型 | 实时 输入 / 输出 | 批量 输入 / 输出 | 节省 |
|---|---|---|---|
| claude-fable-5 | $12.00 / $60.00 | $9.00 / $45.00 | −25% |
| claude-opus-5-5 | $4.80 / $24.00 | $3.60 / $18.00 | −25% |
| claude-sonnet-5-5 | $2.40 / $12.00 | $1.80 / $9.00 | −25% |
| deepseek-v4-flash-0731 | $0.072 / $0.216 | $0.054 / $0.162 | −25% |
| deepseek-v4-flash-vision-exp | $0.528 / $1.584 | $0.396 / $1.188 | −25% |
| glm-5.3 | $1.08 / $4.80 | $0.81 / $3.60 | −25% |
| llama-guard-4-12b | $0.216 / $0.216 | $0.162 / $0.162 | −25% |
| mimo-v2.6-pro | $0.516 / $1.044 | $0.387 / $0.783 | −25% |
| nvidia-nemotron-3-ultra-550b-a55b | $0.60 / $2.64 | $0.45 / $1.98 | −25% |
| qwen3.8-flash | $0.1356 / $0.4584 | $0.1017 / $0.3438 | −25% |
| seed-1.8 | $0.30 / $2.40 | $0.225 / $1.80 | −25% |
| seed-2.0-code | $0.60 / $3.60 | $0.45 / $2.70 | −25% |
| seed-2.0-pro | $0.60 / $3.60 | $0.45 / $2.70 | −25% |
| deepseek-v4-pro-0813 | $1.56 / $3.12 | $1.17 / $2.34 | −24% |
| deepseek-v4.1-flash | $0.24 / $0.72 | $0.18 / $0.54 | −24% |
| deepseek-v4.1-flash-1017 | $0.24 / $0.72 | $0.18 / $0.54 | −24% |
| gemini-3.5-flash | $1.80 / $10.80 | $1.35 / $8.10 | −24% |
| gemini-3.7-flash | $0.90 / $4.50 | $0.675 / $3.375 | −24% |
| glm-5.3-flash | $0.18 / $0.60 | $0.135 / $0.45 | −24% |
| gpt-oss-120b-ultra | $0.24 / $1.14 | $0.18 / $0.855 | −24% |
| llama-3.3-70b-instruct | $0.12 / $0.384 | $0.09 / $0.288 | −24% |
| llama-4-scout-17b-16e-instruct | $0.12 / $0.36 | $0.09 / $0.27 | −24% |
| meta-llama-3.1-70b-instruct | $0.48 / $0.48 | $0.36 / $0.36 | −24% |
| meta-llama-3.1-8b-instruct | $0.024 / $0.048 | $0.018 / $0.036 | −24% |
| mimo-v2.6-flash | $0.168 / $0.336 | $0.126 / $0.252 | −24% |
| muse-glimmer-30b | $0.36 / $1.44 | $0.27 / $1.08 | −24% |
| nvidia-nemotron-3-super-120b-a12b | $0.102 / $0.48 | $0.0765 / $0.36 | −24% |
| qwen3.8-27b | $0.24 / $3.00 | $0.18 / $2.25 | −24% |
USD per 1M tokens.
使用流程
- 每行写一条请求（JSONL），或在代码里组装请求列表。
- 创建批量任务，我们从余额中预留最坏情况的费用。
- 查询任务状态；大部分任务远早于 24 小时完成。
- 下载结果，按批量价只对完成的请求扣费。
批量接入指南
from openai import OpenAI
import json
client = OpenAI(base_url="https://mytenon.com/v1", api_key="sk-tx-...")
# requests.jsonl: one request per line
with open("requests.jsonl", "w") as f:
for i, text in enumerate(["first document", "second document"]):
f.write(json.dumps({
"custom_id": f"doc-{i}",
"method": "POST",
"url": "/v1/chat/completions",
"body": {"model": "gpt-oss-120b-ultra",
"messages": [{"role": "user", "content": f"Summarise: {text}"}]},
}) + "\n")
file = client.files.create(file=open("requests.jsonl", "rb"), purpose="batch")
batch = client.batches.create(input_file_id=file.id,
endpoint="/v1/chat/completions",
completion_window="24h")
# later
batch = client.batches.retrieve(batch.id)
if batch.status == "completed":
print(client.files.content(batch.output_file_id).text)适用场景
模型评测数据标注与分类文档摘要大规模翻译向量回填合成数据生成
限制
每个任务最多 50,000 条请求，单次上传不超过 4.5 MB；OpenAI 格式的任务只能用一个模型；24 小时内返回结果。批量任务不支持流式输出。
常见问题
批量会更慢吗？
会，这是设计如此：结果在 24 小时内异步返回，而不是几秒钟。用户在等待的场景请用实时调用。
部分请求失败怎么办？
失败的请求不收费，并会在错误文件（OpenAI 格式）或 errored 结果（Anthropic 格式）中注明原因。
可以取消吗？
可以。已完成的请求照常计费，其余预留金额全部退回。