AI·에이전트

Sonnet 4.7 prompt caching 1시간 TTL 활용

· · 추천 0 · 댓글 0 · 조회 20

기존 5분 ephemeral 외에 1시간 cache 옵션 추가됨

messages: [{
role: "user",
content: [{
type: "text",
text: longContext,
cache_control: { type: "ephemeral", ttl: "1h" }
}]
}]

시스템 프롬프트 큰 챗봇은 1시간 압도적 유리. 단가는 5분 캐시보다 약간 비싸지만 hit율이 훨씬 높음