트랜스포머·LLM 원리
컨텍스트 윈도우가 8,000토큰인 모델에 시스템 프롬프트 1,000토큰과 참고 문서 5,500토큰을 넣었다. 답변에 쓸 수 있는 최대 토큰 수는?
- ① 8,000토큰
- ② 6,500토큰
- ③ 2,500토큰
- ④ 1,500토큰
정답 보기
정답 ④ — 입력과 출력이 같은 윈도우를 나눠 쓰므로 8,000 − 1,000 − 5,500 = 1,500토큰이 남는다. 긴 답이 필요하면 문서를 요약하거나 관련 부분만 골라 넣어(RAG) 입력을 줄여야 한다.


