길게 대화할 때 토큰 소모를 줄이는 프런트엔드 컨텍스트 관리 전략은 무엇인가요?

LLM은 매 요청에 대화 전체(컨텍스트) 를 다시 보냅니다. 대화가 길어질수록 토큰이 누적되어 비용·지연이 커지고, 컨텍스트 한도를 초과하기도 합니다. 무엇을 보낼지 를 프런트엔드가 잘 골라야 합니다.

전략

• 슬라이딩 윈도우 — 최근 N개 메시지만 유지하고 오래된 것은 제외. 가장 단순하고 효과적.
• 요약(메모리 압축) — 오래된 대화를 LLM으로 요약해 한 덩어리로 치환. “지금까지의 요약 + 최근 메시지” 형태로 보냄.
• 선택적 컨텍스트(RAG 식) — 전체를 보내지 말고, 현재 질문과 관련 있는 부분만 검색/선택해 포함.
• 시스템 프롬프트 최적화 — 길고 중복된 지침을 간결하게. 반복되는 고정 지침은 프롬프트 캐싱 활용.
• 토큰 예산 관리 — 클라이언트에서 대략적 토큰 수를 추정해, 한도에 맞춰 메시지를 잘라내거나 요약 트리거.
• 불필요한 데이터 제거 — 큰 출력(코드·표)·중간 도구 호출 로그를 컨텍스트에 계속 누적하지 않기.
• 메타데이터 분리 — UI 표시용 정보는 로컬에 두고, 모델에 보낼 것과 분리.

흔한 조합

[시스템 프롬프트(간결)]
[이전 대화 요약 1덩어리]   ← 오래된 메시지를 압축
[최근 메시지 N개(원문)]    ← 슬라이딩 윈도우
[(필요 시) 검색된 관련 스니펫]

핵심: 대화 전체를 매번 그대로 보내지 말고, 윈도잉 + 요약 + 관련성 선택으로 “필요한 만큼”만 보내 토큰을 절약합니다. 정확도와 비용의 트레이드오프를 상황에 맞게 조절합니다.