缓存从消息数组的起始位置开始生效。请求到达时，系统会检查开头有多少条消息与之前的请求完全匹配；匹配的部分称为“前缀”，并由缓存直接提供：

首次请求 — 完整 prompt 会被处理并缓存
后续请求 — 如果 prompt 前缀匹配，就会复用已缓存的部分（即缓存命中）
计费 — 缓存 token 按较低费率计费

示例

请求 1：

[system] "You are a helpful assistant."
[user] "What is the capital of France?"
[assistant] "The capital of France is Paris."

请求 2：

[system] "You are a helpful assistant."       ← cached
[user] "What is the capital of France?"       ← cached
[assistant] "The capital of France is Paris." ← cached
[user] "What about Germany?"                  ← new

前 3 条消息与请求 1 完全匹配，因此由缓存直接提供；只有新增消息需要计算。

后续内容

最后更新：2026 年 3 月 16 日

prompt 缓存

工作原理

示例

后续内容