从中国大陆调用 Claude 和兼容 GPT 的 API
来自中国的访问问题通常被描述成一件事，实际上却是两件事：你的网络路径，以及供应商的区域条款。把二者分开，就能知道中继能解决什么、不能解决什么。
简短回答: 兼容 OpenAI 的中转会改变您连接的位置以及请求的路由方式，因此您的客户端和代码可以保持不变。它不会改变模型供应商的条款，您仍需自行遵守这些条款。作为交换，您获得的是一个可访问的端点、默认流式传输，以及可逐行对账的计量。
两个问题，分开来看
| 问题 | 表现形式 | 真正有帮助的做法 |
|---|---|---|
| 网络路径 | 超时、连接重置、首 token 时间过长，在一台机器上可用而在另一台上不可用 | 一个可稳定访问的端点，且路由在请求过程中不会改变 |
| 区域条款 | 供应商不服务你所在的地区，或者你的账户根本无法开通 | 阅读供应商针对你所在市场的条款——中转服务并不会把这一义务转嫁给我们 |
| 结算障碍 | 不接受银行卡，也没有可用于入账的发票 | 银行转账或 Western Union，以 USD 开具发票，并计入预付费余额 |
你的代码需要改什么：两行
该端点兼容 OpenAI，这意味着你正在使用的 SDK 可继续工作。实际操作中，你只需更改 base URL 和 key，其他都不用改：
- 请求结构相同，因此现有提示词、参数和工具调用代码保持不变；
- 默认启用流式传输，因为用户能直接感知到的是首 token 时间；
- 在编写需要引用这些模型 ID 的代码之前，已发布的模型列表会告诉你哪些模型 ID 可用。
如何在一个下午测试中转服务
- 可达性。 发送流式请求，测量首 token 时间，而不仅是总时间。
- 负载。 按真实并发重新运行。负载下的稳定性才是唯一重要的稳定性。
- 质量。 相同提示词、相同模型，并排对比。确认你请求的模型就是实际得到的模型。
- 计量。 将你发送和接收的 token 与你被计费的用量进行对比。如果两者一致，其余账务就值得信赖。
- 控制。 确认你可以立即禁用密钥，且余额符合预期。
便于审计
预付费余额和按调用用量让支出可解释：调用了什么、用了多少 token、费用是多少，从你随时可查看的余额中扣除，并可导出对账单和支出曲线。为每个项目使用一个密钥，这样一旦泄露，只需禁用一个凭据即可止损，而无需轮换你拥有的所有凭据。
Aya女士