잡담

로컬 모델 욕심내다 결국 api로 돌아옴

· · 추천 0 · 댓글 0 · 조회 19

맥미니 m4 24기가에 양자화 모델 올려서 굴려봤는데
초반엔 공짜라 좋았음
근데 조금만 복잡해지면 결과가 영 아니고
전기료+시간 따지니 그냥 api 쓰는게 싸게 먹힘
프라이버시 민감한것만 로컬, 나머진 api로 정리함