AI 환각 근거 확인법: 문장 단위 대조와 이상 신호 7가지
AI 에이전트가 지어낸 내용(AI 환각)은 결과물을 문장 단위 주장으로 나누어 원문과 대조하면 찾을 수 있습니다. 근거 확인의 기준은 그 문장을 받쳐 주는 원문 구절을 글자 그대로 짚을 수 있는지입니다. 구절이 없거나 일부만 맞는 문장은 지우거나 공식 자료로 다시 확인합니다.
근거 확인은 무엇을 기준으로, 어떤 단위로 하나요?
Google 검색 센터의 생성형 AI 콘텐츠 안내는 생성형 모델이 사실을 검색해 오지 않는다고 설명합니다. 학습 데이터를 바탕으로 그럴듯한 단어 순서를 예측한다는 것입니다. 같은 문서는 그래서 결과물에 부정확한 내용(환각)이 섞일 수 있다고 밝힙니다.
Microsoft의 근거성 감지 문서는 근거 없음(ungroundedness)을 이렇게 정의합니다. 원본 자료에 있던 내용과 다르거나 사실이 아닌 정보를 만들어 내는 경우입니다. 실무에서는 틀린 문장도 맞는 문장과 같은 문체로 나올 수 있으므로, 문체가 아니라 자료 일치로 판단하는 방법을 권합니다. 어색한 문장을 골라 읽는 방식으로는 지어낸 내용을 놓치기 쉽습니다.
Google Cloud의 근거 확인(check grounding) 문서는 답변의 한 문장을 하나의 주장으로 봅니다. 이 문서는 주장이 일부만 뒷받침되면 근거가 있다고 보지 않습니다. 예시는 창업자 이름은 맞고 창업 연도만 틀린 문장이며, 문장 전체가 근거 없음으로 판정됩니다. 같은 문서는 「찾은 내용은 다음과 같습니다」처럼 사실을 담지 않은 문장은 확인 대상에서 뺀다고 설명합니다.
실무에서는 이 방식을 사람 검수에 옮겨 문장을 세 종류로 나누는 방법을 권합니다.
- 사실 주장은 수치·날짜·이름·기능·정책처럼 원문과 대조할 수 있는 문장입니다. 모두 대조합니다.
- 해석이나 권고를 담은 문장은 판단을 담고 있습니다. 앞선 사실 주장에서 논리적으로 이어지는지 확인합니다.
- 연결 문장은 소개·전환·안내처럼 사실을 담지 않은 문장입니다. 대조 대상에서 뺍니다.
사실이 두 개 이상 들어 있는 문장은 쪼개서 하나씩 대조합니다. 일부만 맞는 문장이 통째로 통과되는 일을 막기 위해서입니다.
어떤 이상 신호가 보이면 지어낸 내용을 의심하나요?
아래 표는 결과물에서 자주 보이는 이상 신호와 원인 후보를 짝지은 것입니다. 원인 후보는 무엇을 확인할지 정하기 위한 가설입니다. 확인 방법 칸의 작업으로 원인을 확정합니다.
| 이상 신호 | 원인 후보 | 확인 방법 |
|---|---|---|
| 1. 수치·날짜·버전 번호가 원문과 조금 다르다 | 요약하면서 기억에 기대어 다시 씀, 또는 오래된 자료를 근거로 씀 | 해당 숫자를 원문에서 검색하고 자료 기준일을 확인한다 |
| 2. 출처 이름은 있으나 해당 구절을 찾을 수 없다 | 문장을 먼저 만들고 출처를 나중에 붙임 | 출처 문서에서 받쳐 주는 구절을 글자 그대로 인용하게 한다 |
| 3. 한 문장 안에 맞는 정보와 틀린 정보가 섞여 있다 | 일부 근거를 바탕으로 나머지를 추정해 채움 | 문장을 사실 단위로 쪼개 하나씩 대조한다 |
| 4. 같은 지시를 다시 실행하면 답이 달라진다 | 근거가 아니라 추정으로 답함 | 같은 입력으로 여러 번 실행해 바뀌는 문장을 표시한다 |
| 5. 자료에 없는 질문에도 단정적으로 답한다 | 모르면 모른다고 답해도 된다는 허용이 지시에 없음 | 정보가 부족할 때 쓸 문구를 지시에 넣고 다시 실행한다 |
| 6. 도구 실행 기록에 없는 조회 결과를 보고한다 | 도구 호출에 실패한 뒤 빈칸을 그럴듯하게 채움 | 보고 수치와 도구 응답 원본을 한 줄씩 맞춘다 |
| 7. 원문보다 넓은 결론(「항상」「모든 경우」)을 쓴다 | 요약 과정에서 조건과 예외가 빠짐 | 원문의 조건·예외 문장을 찾아 결론 범위를 줄인다 |
1번 신호는 Microsoft 문서의 예시와 같은 유형입니다. 질의응답 예시에서는 근거 자료의 금리 「4.5%」를 답변이 「5%」로 쓴 경우를 근거 없음으로 판정합니다. 내부 문서 요약 예시에서는 제품 버전 「v2.2」를 「v2.1」로 쓴 경우가 같은 판정을 받습니다.
4번 신호는 Anthropic 문서가 소개하는 반복 실행 비교(Best-of-N)입니다. 같은 프롬프트로 얻은 결과끼리 내용이 다르면 환각 신호일 수 있다고 이 문서는 설명합니다. 5번 신호에 대해 같은 문서는 확신이 없을 때 그렇다고 말하도록 허용하는 방법을 기본 대책으로 꼽습니다.
문장별 대조는 어떤 순서로 진행하나요?
- 근거 자료를 고정합니다. 에이전트가 참고할 문서를 정하고, 그 밖의 일반 지식은 쓰지 않도록 지시합니다. Anthropic 문서는 이 방법을 외부 지식 제한이라고 부릅니다.
- 원문 구절을 먼저 뽑게 합니다. 자료가 길면 작업 전에 관련 구절을 글자 그대로 뽑게 합니다. 같은 문서는 약 2만 토큰(AI가 글을 나누어 처리하는 단위)이 넘는 긴 문서에서 이 방법을 권합니다. 응답을 실제 원문에 근거하게 한다는 설명입니다.
- 주장마다 인용을 요구합니다. 결과물을 만든 뒤 사실을 담은 문장마다 받쳐 주는 구절을 붙이게 합니다.
- 찾지 못한 주장을 표시하게 합니다. 구절이 없는 주장은 지우고, 지운 자리를 표시하게 합니다.
- 사람이 직접 대조합니다. 수치·가격·정책·고객 사실처럼 틀리면 영향이 큰 문장은 사람이 원문을 열어 직접 맞춥니다.
3~4단계에는 아래 지시문을 그대로 쓸 수 있습니다. Anthropic 문서의 보도자료 예시를 실무 상황에 맞게 옮긴 것입니다.
- 「아래 자료에 있는 정보만 사용해 초안을 작성합니다.」
- 「작성을 마친 뒤, 사실을 담은 문장마다 자료에서 받쳐 주는 구절을 글자 그대로 인용합니다.」
- 「받쳐 주는 구절을 찾지 못한 문장은 삭제하고 그 자리에 [ ]를 남깁니다.」
- 「자료에 답이 없으면 '제공된 자료로는 판단할 수 없습니다'라고 씁니다.」
[ ]가 남은 자리는 에이전트가 근거 없이 채우려 했던 곳입니다. 검수자는 공식 자료를 더 찾아 채우거나, 그 문장을 빼는 것 중 하나를 고릅니다.
대조 결과는 어떤 기준으로 판정하고 기록하나요?
| 판정 | 기준 | 처리 |
|---|---|---|
| 근거 있음 | 문장의 모든 사실이 원문 구절과 일치 | 통과. 인용 구절과 문서 이름을 기록 |
| 부분 근거 | 일부 사실만 원문과 일치 | 근거 없음과 같이 처리. 틀린 부분을 고치거나 문장을 쪼갬 |
| 근거 없음 | 받쳐 주는 구절을 찾지 못함 | 삭제하거나, 자료를 더 확인한 뒤 다시 씀 |
| 자료 충돌 | 근거 문서끼리 내용이 다름 | 기준일이 가장 최근인 공식 문서를 따르고 충돌 사실을 기록 |
| 대조 불필요 | 사실을 담지 않은 연결 문장 | 대조 대상에서 제외 |
부분 근거를 통과시키지 않는 기준은 Google Cloud 문서의 판정 방식과 같습니다. 자료 충돌 처리는 실무에서 권하는 방법입니다. 어느 문서를 따랐는지 남겨야 나중에 같은 충돌을 같은 기준으로 처리할 수 있습니다.
기록은 문장마다 한 줄로 남깁니다. 예를 들어 가상의 ○○ 기업이 서비스 소개 글을 검수한다면 다음 항목을 남길 수 있습니다.
- 문장 번호와 원래 문장
- 판정(근거 있음·부분 근거·근거 없음·자료 충돌·대조 불필요)
- 근거 문서 이름과 확인일
- 받쳐 주는 구절(글자 그대로)
- 처리 내용(통과·수정·삭제)과 처리한 사람
기록이 쌓이면 근거 없음이 반복되는 문장 유형이 드러납니다. 그 유형을 다음 작업 지시에 미리 넣어 같은 오류를 줄입니다.
근거 확인 도구와 인용 기능은 어디까지 맡길 수 있나요?
주요 AI 플랫폼은 문장과 근거를 자동으로 잇는 기능을 공식 문서로 안내합니다.
- Google Cloud 근거 확인은 0~1 사이의 지지 점수(support score)를 돌려줍니다. 문서는 이 점수가 근거가 확인된 주장의 비율에 가깝다고 설명합니다. 인용 기준값의 기본값은 0.6이며, 높일수록 인용 수는 줄지만 더 강한 근거만 남습니다.
- Microsoft 근거성 감지는 요약과 질의응답 작업을 지원합니다. 근거 없는 부분의 이유를 설명하는 추론 모드와, 근거 자료에 맞춰 문장을 고치는 수정 기능(미리 보기)이 있습니다. 문서는 현재 영어 콘텐츠만 지원하며 정확도도 영어 기준으로 최적화되어 있다고 밝힙니다.
- Claude 인용 기능에 대해 Anthropic 문서는 주장마다 받쳐 주는 원문 구절을 돌려준다고 설명합니다. 그래서 답변을 검증할 수 있다는 것입니다.
- Gemini API의 Google 검색 근거 응답에는 답변 안의 특정 구간을 시작·끝 위치로 가리키고 출처 제목·주소와 연결한 인용 정보가 들어 있다고 문서는 설명합니다.
이 도구들은 모두 제공한 자료와 맞는지만 판정합니다. 근거 자료가 틀렸거나 오래되었으면 도구는 통과로 판정할 수 있습니다. Microsoft 문서도 근거 자료를 항상 정확하고 최신 상태로 유지하라고 권합니다. 금융처럼 정보가 자주 바뀌는 분야에서는 가장 최근의 신뢰할 수 있는 근거 자료를 쓰라는 것입니다. 한국어 결과물에 영어 기준 도구를 쓸 때는 사람이 대조하는 비율을 높이는 방법을 권합니다.
Anthropic 문서는 이런 기법이 환각을 크게 줄이지만 완전히 없애지는 못한다고 안내합니다. 중요한 정보는 항상 검증하라는 것입니다. Google 검색 센터 안내도 게시 전에 AI 생성 콘텐츠의 정확성을 직접 사실 확인하라고 합니다. 제목 요소·메타 설명·구조화 데이터·이미지 대체 텍스트도 같은 검토 대상입니다. 대조 범위를 정할 때 본문 밖의 메타데이터까지 처음부터 넣습니다.
정리
- 에이전트에게 줄 근거 자료 목록을 정하고, 자료 밖 지식을 쓰지 않도록 지시문에 적습니다.
- 앞에서 소개한 지시문 네 줄을 다음 작업에 넣고, 결과물의 [ ] 자리부터 확인합니다.
- 모든 문장을 판정 기준표의 다섯 가지로 판정합니다. 사실이 둘 이상인 문장은 쪼개서 대조하고, 부분 근거는 통과시키지 않습니다.
- 이상 신호 일곱 가지 가운데 수치 차이, 출처 구절 부재, 재실행 불일치를 먼저 점검합니다.
- 문장별 기록을 남기고, 근거 없음이 반복되는 유형을 다음 지시문에 반영합니다.
참고 자료
- Reduce hallucinations (Anthropic, 확인일 2026-10-20)
- Citations (Anthropic, 확인일 2026-10-20)
- Check grounding with RAG (Google Cloud, 확인일 2026-10-20)
- Groundedness detection in Azure AI Content Safety (Microsoft Learn, 확인일 2026-10-20)
- Google Search's Guidance on Generative AI Content on Your Website (Google Search Central, 확인일 2026-10-20)
- Grounding with Google Search (Google AI for Developers, 확인일 2026-10-20)