로그

프롬프트 캐싱 적용하니 토큰값 반토막

· · 추천 1 · 댓글 0 · 조회 82

시스템 프롬프트랑 레포 컨텍스트에 캐싱 걸었더니
한달 비용 40% 절감
같은 컨텍스트 매번 다시 읽던거였음
진작 할걸 그랬음