AI 결과물 검수는 완료 보고가 아니라 남은 결과와 근거로 합니다

AI 결과물 검수에서 사람이 먼저 확인할 것은 실제로 남은 결과입니다. 에이전트의 완료 보고는 그다음에 읽습니다.

결과 상태, 주장별 근거, 수치, 지시 범위를 차례로 대조합니다. 이어서 검색에 노출되는 메타데이터와 기존 페이지에 없는 고유 정보를 확인합니다. 문제가 보이면 원인 후보와 짝지어 지시문·자료·권한 가운데 한 곳을 고칩니다.

검수할 항목과 통과 기준은 무엇인가요?

검수 항목은 결과 상태, 주장별 근거, 수치·날짜, 지시 범위, 검색 노출 요소, 독자 가치 여섯 가지입니다. 각 항목은 아래 통과·보류 기준으로 판정합니다.

보류 기준에 하나라도 해당하면 다음 단계로 넘기지 않습니다. 수정을 지시할 때는 걸린 행 이름을 함께 적습니다.

결과 상태를 맨 위에 두는 이유는 Anthropic 평가 문서의 정의에 있습니다. 이 문서는 결과(outcome)를 작업이 끝났을 때 환경에 남은 최종 상태로 정의합니다. 항공권 예약이라면 에이전트의 마지막 메시지가 아니라 데이터베이스에 예약이 실제로 있는지가 결과라고 예를 듭니다.

예를 들어 가상의 ○○ 기업 에이전트가 ‘게시 대기 글을 저장했다’고 보고한 상황을 가정합니다. 검수자는 완료 요약을 읽기 전에 관리 화면에서 그 글의 상태, 주소, 저장 시각부터 조회합니다.

검색 노출 요소 행은 Google 검색 센터의 생성형 AI 콘텐츠 안내와 연결됩니다. 이 안내는 AI가 만든 모든 콘텐츠를 게시 전에 정확성과 신뢰성 면에서 직접 사실 확인하고 검토하는 일이 매우 중요하다고 강조합니다. 같은 검토가 제목, 메타 설명, 구조화 데이터, 이미지 대체 텍스트에도 적용된다고 명시합니다. 이 요소들이 검색 결과에 나타날 수 있다는 이유입니다. 구조화 데이터에는 마크업을 검증하라는 권고도 덧붙입니다.

이상 신호가 보이면 의심할 원인은 무엇인가요?

오류를 찾는 것만으로는 다음 회차에 같은 오류가 나오는 것을 막지 못합니다. 신호마다 원인 후보를 짝지어 정리하고, 실행 기록으로 원인을 확인한 뒤 조치합니다.

Anthropic의 에이전트 설계 문서는 에이전트가 단계마다 환경의 실제 정보(ground truth)를 받아 진행 상황을 판단해야 한다고 짚습니다. 도구 실행 결과가 그 예입니다. 에이전트가 자율적으로 움직이는 만큼 비용이 커지고 오류가 누적될 수 있다는 점도 함께 경고합니다. 첫 행의 신호가 보이면 실행 기록부터 여는 이유입니다.

Google 스팸 정책은 대규모 콘텐츠 악용의 예로, 생성형 AI 도구로 사용자에게 가치를 더하지 않는 여러 페이지를 만드는 행위를 듭니다. 여러 웹페이지의 내용을 가치 없이 이어 붙이는 행위도 같은 예에 포함합니다. 실무에서는 다섯 번째 행의 신호가 보이면 게시를 보류하고, 페이지별 고유 자료를 먼저 정하는 방법을 권합니다.

근거와 수치를 대조하는 순서는 무엇인가요?

Anthropic의 환각(hallucination, 사실과 다른 내용을 그럴듯하게 만들어 내는 현상) 줄이기 문서는 다음 방법을 소개합니다.

• 주장마다 인용과 출처를 달게 하면 응답을 검토할 수 있게 됩니다.
• 작성 뒤 주장마다 뒷받침하는 인용을 찾게 하고, 찾지 못하면 그 주장을 철회하게 할 수 있습니다.
• 제공한 문서의 정보만 쓰고 일반 지식은 쓰지 말라고 명시할 수 있습니다.
• 모른다고 말해도 된다고 허용하면 잘못된 정보가 줄어듭니다.
• 같은 지시를 여러 번 실행해 결과를 비교하면 불일치에서 환각을 찾을 수 있습니다.

같은 문서는 이런 방법으로도 환각을 완전히 없애지는 못하므로 중요한 정보는 따로 검증하라고 권장합니다.

실무에서는 사람 검수 전에 에이전트에게 자기 대조 목록을 먼저 받는 방법을 권합니다. 다음 문안을 검수 직전 지시로 그대로 쓸 수 있습니다.

따라 쓸 문안: 「작성한 결과물의 사실 주장을 한 줄에 하나씩 목록으로 만드십시오. 각 줄에 근거 문서 이름과 원문 문장을 그대로 붙이십시오. 원문 문장을 찾지 못한 주장은 근거 없음으로 표시하고 본문에서 삭제한 위치를 적으십시오. 제공 자료가 아닌 지식으로 쓴 문장은 따로 표시하십시오. 수치는 원천 자료의 기간과 단위를 함께 적으십시오.」

목록을 받은 뒤 사람은 다음 순서로 대조합니다.

1. 근거 없음과 제공 자료 외로 표시된 줄이 본문에서 실제로 빠졌는지 확인합니다.
2. 수치, 날짜, 고유명사가 들어간 줄의 원문을 직접 열어 값과 기간, 단위를 비교합니다.
3. 나머지 줄 가운데 결론에 쓰인 문장을 골라 원문과 대조합니다.
4. 목록에 없는 사실 문장이 본문에 남아 있는지 본문을 처음부터 다시 읽습니다.

네 번째 단계를 빼면 에이전트가 목록에서 누락한 주장을 놓칩니다. 목록은 검수를 돕는 도구이고, 본문 읽기는 사람이 직접 합니다.

검수 결과를 남기는 기록 양식은 무엇인가요?

Anthropic 평가 문서는 여러 회차의 실행 기록과 채점 결과를 직접 읽지 않으면 채점이 제대로 작동하는지 알 수 없다고 짚습니다. AI 채점기는 사람 전문가의 판단에 맞춰 면밀히 보정하라고 권장합니다.

검수 한 건마다 다음 일곱 칸을 남깁니다.

1. 작업 이름·회차·산출물 유형: 어느 지시서의 몇 번째 실행인지와 아래 절의 산출물 유형을 적습니다.
2. 확인한 결과 위치: 직접 연 파일 경로, 관리 화면, 공개 주소를 적습니다.
3. 판정: 통과, 수정, 보류 가운데 하나를 고릅니다.
4. 이상 신호: 앞 표의 신호 가운데 해당하는 것을 적습니다.
5. 원인 후보: 실행 기록에서 확인한 원인을 적고, 추정이면 추정이라고 적습니다.
6. 조치: 지시문 수정, 자료 보충, 권한 조정 가운데 무엇을 했는지 적습니다.
7. 다음 회차 확인 항목: 이번 조치가 효과가 있었는지 볼 항목을 적습니다.

AI 검수자를 함께 쓴다면 AI 판정과 사람 판정이 어긋난 건을 따로 모읍니다. 이 기록이 AI 검수 기준을 보정하는 근거가 됩니다.

모든 결과물을 건별로 검수해야 하나요?

Anthropic 평가 문서는 AI 채점기에 대해, 시스템이 견고해지면 사람 검토는 가끔만 해도 충분하다고 설명합니다. 이 설명은 채점기를 사람 판단에 맞춰 보정하는 맥락에 한정됩니다. 결과물 자체의 검수 빈도를 정한 기준은 아닙니다.

공개하는 글에 대해서는 앞서 본 Google 안내가 게시 전 직접 사실 확인과 검토를 매우 중요하다고 명시합니다. 실무에서는 공개 글과 사이트 변경은 게시·실행 전 건별 검수를 유지하고, 내부 산출물만 표본 검수로 바꾸는 방법을 권합니다.

전환 기준은 숫자로 정해야 그대로 적용할 수 있습니다. 예를 들어 가상의 ○○ 기업이라면 연속 5회차 동안 보류가 없을 때 표본 검수로 바꾸는 식으로 기준을 정합니다. 5회차는 근거가 있는 수치가 아니라 이해를 돕는 예시이므로, 팀의 작업량과 위험도에 맞춰 정합니다.

표본 검수로 바꾼 뒤에도 보류 판정이 다시 나오면 그 유형은 건별 검수로 되돌립니다. 기록 양식 1번 칸에 산출물 유형을 함께 적으면 유형별 판정 추이를 바로 볼 수 있습니다.

정리

1. 다음 검수부터 에이전트의 완료 보고보다 결과물 위치를 먼저 열어 실제 상태를 확인합니다.
2. 검수 항목 표의 여섯 행을 검수 양식으로 옮기고, 보류 기준에 걸리면 다음 단계로 넘기지 않습니다.
3. 검수 직전 지시에 자기 대조 문안을 넣고, 수치·날짜·고유명사 줄부터 원문과 대조합니다.
4. 이상 신호가 나오면 원인 후보 표에서 짝을 찾아 실행 기록으로 확인한 뒤 지시문·자료·권한 가운데 한 곳을 고칩니다.
5. 검수 한 건마다 일곱 칸 기록을 남기고, 같은 지적이 두 번 나오면 작성 전 확인 항목으로 옮깁니다.

참고 자료

• Google 검색에서 생성형 AI 콘텐츠 사용에 관한 안내 (Google 검색 센터, 확인일 2026-10-22)
• Google 웹 검색 스팸 정책 (Google 검색 센터, 확인일 2026-10-22)
• Building effective agents (Anthropic, 확인일 2026-10-22)
• Demystifying evals for AI agents (Anthropic, 확인일 2026-10-22)
• Reduce hallucinations (Anthropic Claude 문서, 확인일 2026-10-22)