LLM의 응답 지연 문제를 사용자 경험 측면에서 어떻게 해결할 수 있나요?

LLM은 토큰을 순차 생성하므로 첫 응답까지 수백 ms~수 초가 걸립니다. 모델 속도 자체를 바꾸기 어렵다면, 체감 지연(perceived latency) 을 줄이는 UX 설계가 핵심입니다.

핵심 전략

• 스트리밍 출력 — 완성된 답을 기다리지 않고 토큰이 생성되는 즉시 화면에 흘려보냅니다. 첫 토큰까지의 시간(TTFT) 이 체감 속도를 좌우하므로 가장 효과적입니다. (SSE vs WebSocket, ReadableStream 처리)
• 즉각적 피드백 — 전송 직후 로딩 인디케이터·“생각 중…”·타이핑 애니메이션으로 요청이 접수됐음을 즉시 표시.
• 스켈레톤·플레이스홀더 — 빈 화면 대신 구조를 먼저 보여 주어 대기를 자연스럽게.
• 낙관적 UI — 사용자 메시지는 전송 즉시 대화창에 표시하고, 응답만 기다림.
• 중단·재시도 제공 — 멈출 수 있게 해 통제감을 줌(중단 버튼).
• 점진적·단계 노출 — RAG·도구 호출 같은 중간 단계(“문서 검색 중”, “정리 중”)를 보여 진행을 체감.

근본 지연 줄이기(보조)

• 짧은 프롬프트·적절한 max_tokens로 생성량 최소화.
• 자주 나오는 질의는 캐싱.
• 빠른 모델로 라우팅하거나, 작은 모델로 먼저 응답 후 보강.
• 엣지/지역 배치로 네트워크 왕복 단축.

핵심은 “실제로 빠르게”와 “빠르게 느껴지게”를 함께 다루는 것입니다. 스트리밍 + 명확한 진행 표시가 가장 큰 체감 개선을 줍니다.