速率限制与重试
模型可用性、预算准入和上游限流会共同影响调用。当前没有对所有渠道统一承诺的 RPM / TPM 数值。
一、调用前的准入检查
网关会校验 Key 和请求范围；团队请求还会校验成员、路由和预算。额度或权限拒绝需要先修正账户设置，重复发送相同请求不会解决问题。
二、控制并发与超时
在业务服务端设置并发上限、连接超时和总执行期限。需要长输出时使用 SSE，并在用户取消时关闭读取连接。具体限流取决于已配置的渠道与模型，不要把示例数量当作服务保障。
三、有界退避
仅对适合重试的临时错误采用指数退避与随机抖动；若返回 Retry-After，应优先遵守。限制重试次数与总耗时。流已经输出内容时重发可能产生重复文本与重复计费，先由业务决定如何恢复。