반복 지적, 할 일 문장과 예·아니요 질문으로 만드는 검수 점검표
반복 지적은 같은 뜻끼리 묶어 할 일 문장과 예·아니요 확인 질문으로 바꾸면 AI 에이전트용 작성 전 검수 점검표가 됩니다. 항목은 문제가 생긴 단계에 맞춰 자료 수집 요청, 작성 지시, 게시 전 점검, 사람 검수 기준에 나누어 넣습니다. 그다음 과거에 지적받은 원고로 넣기 전과 후를 비교하고 회차마다 항목을 고칩니다.
반복 지적은 어디서 모으고 무엇을 후보로 고르나요?
1단계. 지적 원문을 한 양식에 모읍니다
검수자 의견, 편집자 수정 메모, 외부 평가 결과를 한 곳에 모읍니다. 고친 원고만 남아 있으면 왜 고쳤는지 알 수 없습니다. 그래서 지적 문장 원문을 함께 기록합니다.
OpenAI 평가 가이드는 개발하는 동안 모든 것을 기록하면 그 기록에서 좋은 평가 사례를 찾을 수 있다고 설명합니다. 이 양식에 모은 지적은 5단계에서 시험 자료로 다시 쓰입니다.
| 기록 항목 | 적는 내용 | 적는 예 |
|---|---|---|
| 지적 원문 | 검수자가 쓴 문장 그대로 | 첫 문단이 질문에 답하지 않음 |
| 위치 | 제목, 첫 문단, 본문 절, 표, 메타 설명 중 하나 | 첫 문단 |
| 유형 | 사실 오류, 누락, 구성, 문체, 형식, 메타데이터 | 구성 |
| 원인 단계 | 자료 수집, 작성 지시, 형식·메타데이터, 사람 판단 중 하나 | 작성 지시 |
| 처리 | 반영 또는 미반영과 그 이유 | 반영 |
| 원고 정보 | 글 제목, 검수 회차, 검수 일자 | (가상) 사이트맵 제출 안내 글 · 2회차 · 2026-10-20 |
최근 검수한 원고의 지적이 빠짐없이 옮겨지고 원인 단계 칸이 모두 채워지면 이 단계를 마칩니다. 원인 단계 칸은 4단계에서 항목을 넣을 곳을 정하는 기준이 됩니다.
2단계. 같은 뜻의 지적을 묶고 후보를 고릅니다
표현이 달라도 뜻이 같으면 한 묶음으로 봅니다. 예를 들어 「도입이 길다」와 「답이 늦게 나온다」는 둘 다 첫 문단 문제입니다. 묶음마다 대표 문장 하나를 정합니다.
후보는 다음 기준으로 고르면 판단이 빨라집니다.
- 서로 다른 원고 두 편 이상에서 나온 지적
- 한 번 나와도 고치는 비용이 큰 사실 오류나 핵심 누락
- 원고 한 편의 주제에만 해당하는 지적은 후보에서 제외
- 프로젝트 규칙과 충돌하는 지적은 근거를 적고 제외
묶음마다 대표 문장, 나온 원고 수, 원인 단계가 적힌 후보 목록이 나오면 다음 단계로 넘어갑니다.
지적 문장은 어떻게 에이전트가 따를 항목으로 바꾸나요?
3단계. 할 일 문장과 확인 질문을 짝지어 씁니다
검수 지적은 결과를 평가하는 말입니다. 에이전트에게는 작성하면서 할 행동과 작성 뒤 확인할 방법이 필요합니다. 그래서 항목 하나를 할 일 문장 하나와 예·아니요 확인 질문 하나로 만듭니다.
Anthropic 문서는 좋은 성공 기준이 구체적이고, 측정할 수 있고, 달성할 수 있으며, 목적과 관련이 있어야 한다고 설명합니다. 「좋은 성능」 같은 말 대신 무엇을 이룰지 정확히 적으라는 예도 듭니다.
Google 검색 센터의 유용한 콘텐츠 문서는 자체 평가 기준을 질문 형태로 제시합니다. 사람 중심 콘텐츠 절의 질문에 예라고 답하면 올바른 방향일 가능성이 높다고 설명합니다. 실무에서는 이 방식을 따라 점검 항목도 예·아니요로 답할 수 있게 쓰는 방법을 권합니다. 그러면 에이전트와 검수자가 같은 기준으로 판정할 수 있습니다.
| 반복 지적 | 할 일 문장 | 확인 질문(예가 통과) |
|---|---|---|
| 첫 문단이 질문에 답하지 않음 | 첫 문단 2~3문장 안에 질문의 결론을 씁니다 | 첫 문단만 읽고 답을 말할 수 있는가 |
| 근거 없는 일반론 | 사실 문장은 자료 목록에 있는 문서로만 씁니다 | 모든 사실 문장에 자료 목록의 문서를 대응시킬 수 있는가 |
| 같은 내용 반복 | 결론 요약은 첫 문단 한 곳에만 둡니다 | 같은 결론이 한 곳에만 나오는가 |
| 조건만 말하고 답이 없음 | 「경우에 따라 다르다」를 쓰면 조건별 답을 같은 문단에 적습니다 | 조건마다 답이 적혀 있는가 |
| 자료가 한 줄뿐인 표 | 표는 자료 행이 2개 이상일 때만 만들고, 1개면 문장으로 씁니다 | 모든 표의 자료 행이 2개 이상인가 |
표의 문장 수 기준은 예시이며, 프로젝트 규칙에 정한 수치로 바꿉니다.
실무에서는 「~하지 않는다」 같은 금지 문장보다 대신 쓸 할 일 문장을 먼저 주는 방법을 권합니다. 예시 값이 원고에 섞이지 않도록 항목 안에 회사명이나 수치를 넣지 않는 방법도 권합니다.
모든 항목에 할 일 문장과 확인 질문이 짝지어져 있고, 두 사람이 같은 원고를 보고 같은 판정을 내릴 수 있으면 이 단계는 끝난 것입니다.
점검 항목은 작성 과정의 어디에 넣나요?
4단계. 원인 단계에 맞춰 나누어 넣습니다
실무에서는 모든 항목을 초안 작성 지시 하나에 몰아넣지 않고, 문제가 생긴 단계에 맞춰 나누어 넣는 방법을 권합니다. 그러면 항목마다 누가 언제 확인하는지가 분명해집니다. 넣을 곳은 1단계 기록의 원인 단계 칸을 그대로 따릅니다.
| 원인 단계 | 넣을 곳 | 다루는 항목 |
|---|---|---|
| 자료 수집 | 자료 수집 요청서 | 하위 질문별 근거 문서 확보 |
| 작성 지시 | 초안 작성 지시의 맨 앞 | 3단계 표의 할 일 문장, 제목 약속에 대한 답 |
| 형식·메타데이터 | 게시 전 점검 | 제목, 메타 설명, 구조화 데이터, 이미지 대체 텍스트 |
| 사람 판단 | 사람 검수 기준 | 사실의 정확성, 전문 경험의 적절성 |
Google의 생성형 AI 콘텐츠 안내는 자동 생성 콘텐츠일수록 정확성, 품질, 관련성에 집중하라고 설명합니다. 게시 전에 AI로 만든 콘텐츠의 정확성을 직접 사실 확인하고 검토하는 것이 중요하다고도 적습니다. 이 검토는 제목 요소, 메타 설명, 구조화 데이터, 이미지 대체 텍스트 같은 메타데이터에도 적용된다고 밝힙니다. 실무에서는 메타데이터 항목을 게시 전 점검에 모아 확인하는 방법을 권합니다.
단계별로 붙일 문안은 다음과 같이 씁니다.
자료 수집 요청서에 붙이는 문안
- 제목이 약속한 하위 질문마다 공식 문서를 1건 이상 찾습니다. 확인: 하위 질문마다 문서가 1건 이상 있는가.
- 찾은 문서마다 문서 이름, 발행 기관, 확인일을 적습니다. 확인: 모든 문서에 확인일이 적혀 있는가.
초안 작성 지시 맨 앞에 붙이는 문안
- 3단계 표 가운데 원인 단계가 작성 지시인 항목을 할 일 문장과 확인 질문 그대로 붙입니다.
- 제목에 넣은 약속마다 본문에서 답하는 문장을 하나씩 둡니다. 확인: 제목의 약속마다 답 문장이 있는가.
- 초안을 마치면 항목마다 예·아니요와 해당 문단 위치를 적어 원고와 함께 제출합니다.
게시 전 점검에 붙이는 문안
- 메타 설명의 주장은 본문에 있는 내용으로만 씁니다. 확인: 메타 설명의 주장이 모두 본문에 있는가.
- 모든 이미지에 그림 내용을 한 문장으로 쓴 대체 텍스트를 넣습니다. 확인: 빈 대체 텍스트가 없는가.
작성 지시의 마지막 항목은 에이전트의 자기 점검 결과를 남기게 합니다. 이 결과는 5단계에서 사람 판정과 비교하는 자료가 됩니다. 항목마다 넣을 곳이 하나로 정해지고 두 곳에 중복된 항목이 없으면 시험 단계로 넘어갑니다.
점검표가 지적을 줄였는지 어떻게 확인하나요?
5단계. 과거 지적 원고로 전후를 비교합니다
OpenAI 평가 가이드는 「잘 되는 것 같다」는 인상에 기댄 평가를 피해야 할 방식으로 꼽습니다. 자동 지표를 사람 평가와 비교해 보정하지 않는 것도 같은 목록에 넣습니다. 아래 절차의 4~5번이 이 두 가지를 적용한 부분입니다. 3번은 실무에서 쓰는 방법입니다.
- 해당 지적을 받았던 원고의 질문과 입력 자료를 골라 시험 묶음을 만듭니다.
- 같은 입력으로 점검표 없이 쓴 원고와 점검표를 넣고 쓴 원고를 만듭니다.
- 어느 쪽인지 알리지 않고 같은 검수자에게 두 원고를 제시합니다.
- 항목별로 같은 지적이 다시 나왔는지 예·아니요로 기록합니다.
- 에이전트의 자기 점검과 사람 판정이 엇갈린 항목을 따로 표시합니다.
기록은 다음 양식으로 남기면 비교가 쉽습니다. 표의 값은 가상의 예입니다.
| 항목 | 점검표 없이 | 점검표 넣고 | 자기 점검 | 사람 판정 | 일치 |
|---|---|---|---|---|---|
| 첫 문단 결론 | 지적 있음 | 지적 없음 | 예 | 예 | 일치 |
| 조건별 답 | 지적 있음 | 지적 있음 | 예 | 아니요 | 불일치 |
같은 가이드는 사람 평가 항목에서 점수와 함께 통과·불통과 기준을 두라고 권합니다. 이 절차에서는 「점검표를 넣은 원고에서 같은 지적이 다시 나오지 않았는가」를 통과 기준으로 씁니다. 예를 들어 가상의 시험 묶음을 과거 지적 원고 5편으로 잡는다면, 5편 모두에서 같은 지적이 나오지 않을 때 그 항목을 통과로 봅니다.
판정이 엇갈린 항목은 확인 질문이 모호하다는 신호로 다룹니다. 확인 질문을 더 구체적으로 고친 뒤 같은 시험 묶음으로 다시 확인합니다. 같은 가이드는 언어 모델 채점이 사람 판정과 꾸준히 일치한 뒤에 규모를 늘리라고 설명합니다. 실무에서는 자기 점검 결과를 믿고 사람 검수를 줄이는 시점도 이 기준으로 정하는 방법을 권합니다.
점검표 통과가 곧 독자에게 가치 있는 글이라는 뜻은 아닙니다. Google 스팸 정책은 사용자에게 가치를 더하지 않은 채 생성형 AI 도구로 많은 페이지를 만드는 행위를 대규모 콘텐츠 악용의 예로 듭니다. 점검표는 원고 수를 늘리는 도구가 아니라 지적을 줄이는 도구로 씁니다.
모든 항목이 통과 기준을 충족하고, 판정이 엇갈렸던 확인 질문을 모두 고쳤다면 첫 판 점검표가 완성된 것입니다.
점검표는 언제 고치고 어떤 항목을 빼나요?
OpenAI 평가 가이드는 변경할 때마다 평가를 다시 실행하고, 시간이 지나며 평가 세트를 키우라고 설명합니다. 점검표도 회차마다 새 지적을 1단계 양식에 더하고, 두 편 이상에서 반복되면 후보로 올립니다.
| 상황 | 처리 |
|---|---|
| 여러 회차 동안 해당 지적이 나오지 않음 | 작성 지시에서 빼고 사람 검수 기준에만 남깁니다 |
| 자기 점검은 통과인데 사람 지적이 계속 나옴 | 확인 질문을 고치고 판정 예시를 붙입니다 |
| 항목 때문에 새 지적이 생김 | 할 일 문장을 고치고 같은 시험 묶음으로 다시 확인합니다 |
| 항목이 프로젝트 규칙과 충돌함 | 프로젝트 규칙을 따르고 충돌 근거를 항목 기록에 적습니다 |
| 근거로 쓴 공식 문서가 바뀜 | 문서를 다시 열어 확인하고 항목과 확인일을 고칩니다 |
항목마다 추가한 날짜, 근거가 된 지적 묶음, 마지막 수정일을 함께 기록합니다. 그래야 어떤 항목이 왜 생겼는지 다음 담당자도 알 수 있습니다.
Google 문서는 사이트와 관계없는 믿을 만한 사람에게 솔직한 평가를 받는 방법을 고려하라고 제안합니다. 실무에서는 이런 외부 평가를 정기적으로 받아 점검표에 없던 지적을 찾고, 그 결과도 1단계 양식에 옮기는 방법을 권합니다.
정리
- 최근 검수 기록에서 지적 원문을 모아 위치, 유형, 원인 단계와 함께 양식에 옮깁니다.
- 두 편 이상에서 나온 지적을 묶고, 할 일 문장과 예·아니요 확인 질문으로 바꿉니다.
- 원인 단계에 따라 자료 수집 요청서, 작성 지시, 게시 전 점검, 사람 검수 기준에 하나씩 나누어 넣습니다.
- 과거 지적 원고로 점검표를 넣기 전과 후를 비교하고, 판정이 엇갈린 확인 질문을 고칩니다.
- 회차마다 새 지적을 기록하고, 통과 기준을 충족한 항목만 작성 지시에 남깁니다.
참고 자료
- Creating helpful, reliable, people-first content (Google Search Central, 확인일 2026-10-22)
- Google Search's guidance on using generative AI content on your website (Google Search Central, 확인일 2026-10-22)
- Spam policies for Google web search (Google Search Central, 확인일 2026-10-22)
- Evaluation best practices (OpenAI, 확인일 2026-10-22)
- Define your success criteria (Anthropic, 확인일 2026-10-22)