AI·에이전트

Sonnet 4.7 prompt caching 1시간 TTL 활용

· · 추천 0 · 댓글 2 · 조회 14

기존 5분 ephemeral 외에 1시간 cache 옵션 추가됨

messages: [{
  role: "user",
  content: [{
    type: "text",
    text: longContext,
    cache_control: { type: "ephemeral", ttl: "1h" }
  }]
}]

시스템 프롬프트 큰 챗봇은 1시간 압도적 유리. 단가는 5분 캐시보다 약간 비싸지만 hit율이 훨씬 높음