触发 RPM 或 TPM 限制怎么办

限流是平台为了保护服务稳定性和公平使用而设置的请求速度限制。触发限流通常不是密钥失效，等待后按更慢的速度重试即可。

先理解两个指标

指标	全称	用途
RPM	Requests Per Minute	每分钟允许发送的请求数量。短时间连续发送很多小请求可能超过 RPM。
TPM	Tokens Per Minute	每分钟允许处理的 Token 数量。少量大文本请求也可能超过 TPM。

Token 是模型处理文本时的计量单位，输入内容和输出内容都会占用 Token；它不等于字符数，也不等于请求次数。

处理方法

1. 等待错误提示建议的时间后再重试。
2. 降低并发请求数量，不要让多个程序无限同时发送请求。
3. 在客户端增加重试间隔，并使用逐步变长的等待时间。
4. 减少不必要的历史对话和重复上下文，以降低 Token 用量。
5. 避免在短时间内重复点击发送、重新生成或批量提交任务。
6. 仍然频繁触发时，记录请求时间、请求 ID和模型名称，联系站点支持人员。

为什么只有一条请求也会触发 TPM

TPM 统计的是 Token 数量，不是请求数量。如果一次请求包含很长的历史对话、文件内容或很大的输出上限，即使只有这一条请求，也可能达到每分钟 Token 限制。可以减少上下文、降低输出上限或等待后再试。

关键概念

关键词	含义和用途
限流	当请求速度或处理量超过规则时，平台暂时拒绝或延迟请求。
RPM	每分钟请求数，关注“请求有多少次”。
TPM	每分钟 Token 数，关注“文本有多少量”。
并发	同时正在处理的请求数量。并发太高也可能导致限流或超时。
重试	请求失败后再次发送；应等待并限制次数，不能无限重试。

已有详细规则请阅读频率限制。