AI·에이전트

프롬프트 캐싱 안 켜면 손해임

· · 추천 1 · 댓글 1 · 조회 10

API 직접 쓸때 프롬프트 캐싱 안 켜놓으면
시스템 프롬프트가 매번 청구됨

5분 TTL 안에 다시 호출되면 1/10 가격으로 떨어지니까 챗봇류는 무조건 켜놔야함