Baeldung
Spring AI 集成 Anthropic Claude 的提示缓存支持
本文介绍 Spring AI 结合 Anthropic Claude 使用提示缓存的原理与实践。提示缓存允许 Claude 复用此前已处理的提示前缀,避免每次请求都从头处理相同内容,对大型系统指令、工具定义、文档及多轮对话上下文尤为有效,可降低响应延迟与输入令牌成本。Anthropic 对缓存读取通常按常规输入价格的 10% 计费。使用时需注意最小可缓存提示长度因模型而异、缓存存活时间有限、单次请求最多四个缓存断点、修改缓存前缀会导致缓存失效等限制。提示缓存遵循工具、系统、消息的层级顺序,修改某一层会使其及下层缓存失效,因此应把稳定内容放在高层级、易变内容放在低层级。Spring AI 通过 AnthropicCacheStrategy 提供五种策略:NONE、SYSTEM_ONLY、TOOLS_ONLY、SYSTEM_AND_TOOLS 与 CONVERSATION_HISTORY。文中还给出基于 Spring Boot 的配置示例与测试案例,验证缓存写入与命中时的令牌统计变化。