"우리 회사 문서로 챗봇 만들어 주세요"
가장 많이 받는 AI 문의다. 그리고 바로 구축에 들어가면 대부분 실망한다. 먼저 확인할 게 있다.
1. RAG가 정말 필요한가
RAG(검색 증강 생성)는 "질문과 관련된 문서 조각을 찾아서 프롬프트에 넣고 답하게 하는" 구조다. 강력하지만 인프라(임베딩, 벡터 DB, 검색 튜닝)가 붙는다.
RAG 없이 프롬프트만으로 충분한 경우가 많다.
- 참고 문서가 전부 합쳐서 수만 토큰 이하 → 그냥 프롬프트에 통째로 넣고, 캐싱으로 비용을 잡는다
- 문서가 거의 안 바뀐다 → 마찬가지
- 질문 범위가 좁다 (특정 제품 FAQ, 사내 규정 몇 개)
RAG가 필요한 경우:
- 문서가 수백~수천 건이고 계속 늘어난다
- 질문이 그 전체에 걸쳐 어디든 나올 수 있다
- 문서가 자주 갱신된다 (매번 프롬프트를 다시 만들 수 없다)
"RAG부터 깔자"가 아니라 "프롬프트로 안 되는 게 확인되면 RAG"가 순서다.
2. 문서가 챗봇이 읽을 수 있는 상태인가
이게 프로젝트 성패의 절반이다.
- 스캔한 PDF(이미지)뿐이면 → OCR 먼저. 텍스트 레이어 없는 문서는 못 읽는다
- 정보가 표·다이어그램 안에만 있으면 → 검색·인용 품질이 떨어진다
- 문서마다 최신본·구버전이 섞여 있으면 → 챗봇이 틀린 답을 자신 있게 한다
- 접근 권한이 부서별로 다르면 → 검색 단계에서 권한 필터가 필요하다 (설계가 복잡해짐)
"문서 정리"를 클라이언트가 우습게 보다가 일정이 밀리는 경우가 흔하다.
3. 비용이 어디서 나오는지 안다
AI 챗봇 비용은 세 군데서 발생한다.
- 질문당 LLM 호출 — 답변 생성. 컨텍스트를 많이 넣을수록 비싸진다. → 프롬프트 캐싱으로 반복 부분을 크게 줄일 수 있다
- 임베딩 (RAG인 경우) — 문서를 벡터로 만드는 1회성 + 갱신분. 상대적으로 저렴
- 벡터 DB 호스팅 (RAG인 경우) — 규모에 따라
대부분은 첫 번째, 질문당 호출이 지배적이다. 트래픽 예상치(하루 질문 수 × 평균 컨텍스트 크기)를 먼저 잡아야 견적이 나온다.
4. "맞는 답"을 어떻게 판정할 건가
챗봇을 켜고 나서 "답이 이상한데요"는 늦다. 도입 전에 평가 질문 세트를 만든다.
- 실제로 들어올 법한 질문 20~50개
- 각 질문의 기대 답 (또는 최소한 "이 문서를 근거로 답해야 한다")
- 프롬프트나 검색을 고칠 때마다 이 세트로 회귀 테스트
이게 없으면 개선이 감으로 굴러가고, 고칠 때마다 다른 데가 망가진다.
5. 틀렸을 때 비용이 감당되는가
- 사내 정보 검색 보조 → 사람이 검증 가능, 리스크 낮음. 바로 가도 된다
- 고객 응대 자동화, 법무·세무·의료 답변 → 틀린 답의 대가가 크다. 사람 검토 단계를 반드시 끼운다
정리
사내 AI 챗봇은 (1) RAG 필요성 판단 → (2) 문서 상태 점검 → (3) 트래픽 기반 비용 추정 → (4) 평가 세트 준비 → (5) 오답 리스크 평가 순서로 검토한다. 이 다섯 개를 건너뛰고 구축부터 하면 대부분 다시 만든다.
사내 AI 도입·에이전트 구축 컨설팅이 필요하면 AI & Agentic Solution을 참고하면 된다. 비용 쪽은 Prompt Caching으로 API 비용 줄이기 글에 정리해뒀고, 프롬프트·LLM 연동 기초는 AI 교육 섹션에 있다.