AI 에이전트 업무 지식 갱신 점검: 기준일·변경 기록·시험 질문
AI 에이전트의 업무 지식 갱신 점검은 기준일 확인, 공식 문서 변경 기록 대조, 시험 질문 실행의 세 단계로 합니다. 근거 문서가 바뀐 날짜보다 앞선 지식을 다시 확인하고, 바뀐 규칙을 묻는 질문을 실행해 실행 기록에서 에이전트가 읽은 지식을 확인합니다.
오래된 업무 지식은 에이전트의 어디에 남나요?
에이전트가 업무 중에 읽는 지식은 여러 곳에 흩어져 있습니다. 점검할 때는 다음 네 곳을 나누어 확인합니다.
- 지시문(시스템 프롬프트): 도입 초기에 적은 규칙이 고정 문장으로 남는 곳입니다.
- 저장된 메모리: 이전 작업에서 배운 내용을 파일로 저장하고 다음 세션에서 다시 읽는 곳입니다.
- 참고 문서 저장소: 에이전트가 검색해서 읽는 가이드와 매뉴얼의 사본입니다.
- 대화 요약: 긴 대화를 줄이면서 남긴 요약본입니다.
Anthropic의 메모리 도구 문서는 메모리 도구를 켜면 Claude가 작업을 시작하기 전에 메모리 디렉터리부터 확인한다고 설명합니다. 같은 저장소를 쓰는 다음 대화는 이전 메모리에서 이어서 작업합니다.
같은 문서는 압축(compaction)과 메모리를 함께 쓰는 방식도 다룹니다. 압축은 대화가 컨텍스트 창(모델이 한 번에 읽는 분량)의 한도에 가까워지면 이전 대화 맥락을 서버에서 자동으로 요약하는 기능입니다. 메모리는 이 요약 뒤에도 남아야 할 정보를 보존합니다. 보안 고려 사항에서는 오래 열람되지 않은 메모리 파일을 주기적으로 삭제하도록 안내합니다.
기준이 바뀐 뒤에도 옛 판단이 메모리에 남아 있으면, 에이전트는 그 판단을 현행 규칙으로 읽을 수 있습니다. 실무에서는 기준을 고치는 날 메모리 파일도 함께 정리하는 방법을 권합니다.
어떤 결과물이 오래된 지식의 신호인가요?
오래된 지식은 결과물에 일정한 형태로 드러납니다. 아래 표는 점검할 때 볼 신호를 원인 후보, 먼저 확인할 곳과 짝지은 것입니다.
| 결과물에 보이는 신호 | 원인 후보 | 먼저 확인할 곳 |
|---|---|---|
| 지원이 끝난 검색 기능을 지금도 쓸 수 있는 방법으로 권한다 | 변경 전 기준일의 지식, 갱신하지 않은 참고 문서 사본 | 지식 기준일, 공식 문서 변경 기록 |
| 같은 요청에 회차마다 다른 기준을 적용한다 | 같은 주제의 옛 지식과 새 지식이 모두 현행으로 남아 있음 | 같은 주제 지식의 버전과 대체 관계 |
| 담당자가 바로잡은 내용이 다음 작업에서 다시 나온다 | 정정이 그 대화에만 남고 지식에 반영되지 않음 | 정정 기록과 지식 개정 이력 |
| 철회한 규칙이 얼마 뒤 다시 나타난다 | 메모리 파일이나 대화 요약에 철회 전 문장이 남아 있음 | 메모리 디렉터리, 압축 요약본 |
| 오래된 날짜나 옛 문서 이름을 근거로 든다 | 참고 문서 저장소에 갱신하지 않은 사본이 있음 | 참고 문서의 수집일 |
신호 하나에 원인 후보가 여럿일 수 있습니다. 점검 담당자는 「먼저 확인할 곳」 열을 차례로 열어 문제의 문장을 찾고, 찾은 위치를 점검 기록에 적습니다.
갱신 여부를 가리려면 지식 기록에 무엇을 적나요?
기준일이 없으면 재확인할 대상을 고르기 어렵습니다. 에이전트에게 주는 지식에는 건마다 아래 항목을 붙이고, 항목별 점검 기준에 따라 재확인 대상을 고릅니다.
| 항목 | 적는 내용 | 점검 기준 |
|---|---|---|
| 기준일 | 규칙을 확정한 날짜 | 근거 문서가 바뀐 날짜보다 앞서면 재확인 |
| 유효 기한 | 다시 확인할 날짜 | 기한이 지나면 재확인 대상 |
| 출처 | 근거 문서 이름 또는 결정한 사람 | 출처가 없는 규칙은 사용 보류 |
| 범위 | 회사 공통 또는 특정 고객 | 범위 밖 작업에 쓰였으면 실패 |
| 대체 관계 | 이 지식이 대신하는 이전 지식과 그 버전 | 같은 주제의 현행 지식이 2건 이상이면 충돌 |
| 적용 조건 | 이 규칙을 쓰는 작업 | 조건 밖 작업에 쓰였으면 실패 |
Anthropic의 컨텍스트 엔지니어링 글은 폴더 구조, 이름 규칙, 타임스탬프가 정보를 언제, 어떻게 쓸지 판단하는 신호가 된다고 설명합니다. 실무에서는 사람이 관리하는 지식 기록에도 날짜를 제목 가까이에 두는 방법을 권합니다. 아래는 가상의 ○○ 기업이 FAQ 마크업 규칙을 기록한 예시입니다.
- 제목: FAQ 마크업을 Google 검색 결과 노출 수단으로 설명하지 않는다
- 범위: 회사 공통
- 기준일: 2026-05-08 · 유효 기한: 2027-05-08
- 출처: Google 검색 센터 최신 문서 업데이트의 2026년 5월 8일 항목
- 대체하는 지식: 「FAQ 마크업으로 검색 결과 노출 영역을 넓힌다」 1판(철회)
- 적용 조건: SEO 글 작성, 구조화 데이터 제안서 작성
- 시험 질문: 「자주 묻는 질문 마크업을 넣으면 Google 검색 결과에 어떻게 보이나요?」
공식 문서가 바뀐 시점과는 어떻게 대조하나요?
SEO·GEO 업무 지식은 상당 부분이 검색엔진과 AI 서비스의 공식 문서에 근거합니다. 이 때문에 공식 문서의 변경 기록이 갱신 점검의 기준이 됩니다. 아래에서는 Google을 예로 듭니다. 다른 검색엔진이나 AI 서비스를 쓰고 있다면 각 서비스의 공식 변경 기록을 같은 방식으로 연결합니다.
Google 검색 센터의 최신 문서 업데이트 페이지는 변경마다 날짜, 변경 내용, 변경 이유를 함께 적습니다. 이 페이지는 RSS 피드(새 항목을 자동으로 받는 구독 주소)를 제공합니다. 크롤링 인프라의 변경 기록은 별도 페이지에서 안내합니다.
대표적인 예가 FAQ 리치 결과입니다. Google은 2023년 8월 8일 검색 센터 블로그에서, 앞으로 FAQ 리치 결과를 잘 알려진 권위 있는 정부·건강 웹사이트에만 표시한다고 발표했습니다. 다른 사이트에는 더 이상 정기적으로 표시하지 않는다는 내용이었습니다.
그 뒤 변경 기록의 2026년 5월 8일 항목은 FAQ 리치 결과 기능의 지원 중단 안내를 추가했다고 적고 있습니다. 변경 이유에는 2026년 5월 7일부터 이 기능이 Google 검색에 더 이상 나타나지 않는다고 밝혔습니다. 2026년 6월 15일 항목에서는 이 기능의 문서를 삭제했습니다. 따라서 이 기능을 Google 검색 결과의 노출 수단으로 설명하는 지식은 사이트 종류와 관계없이 재확인 대상입니다.
같은 2026년 6월 15일, Google은 AI 최적화 가이드(AI optimization guide)에 llms.txt 파일 안내를 추가했습니다. 이 안내는 llms.txt 파일이 Google 검색에 필요하지 않다고 설명합니다. 노출이나 순위에 좋은 영향도 나쁜 영향도 주지 않으며, 다른 서비스나 시스템을 위해 유지해도 된다고 적고 있습니다. 이처럼 같은 날 여러 지식이 동시에 재확인 대상이 될 수 있습니다.
대조는 다음 순서로 합니다.
- 지식마다 근거가 된 공식 문서를 하나 이상 연결합니다.
- 사용하는 서비스의 변경 기록을 구독해 새 항목을 받습니다. 정한 주기(예를 들어 월 1회)마다 지난 점검일 이후 항목만 골라냅니다.
- 골라낸 항목과 주제가 겹치는 지식을 찾아 재확인 표시를 합니다.
- 담당자가 원문을 열어 지식을 개정하거나 철회합니다.
- 개정·철회 결과와 근거 항목의 날짜를 지식 기록에 적습니다.
변경 기록에 해당 항목이 없다고 해서 그 지식이 맞다고 볼 수는 없습니다. 변경 기록은 재확인할 대상을 좁히는 데 쓰고, 최종 판단은 원문을 보고 내립니다.
바뀐 규칙을 실제로 따르는지는 어떻게 시험하나요?
기록을 고친 뒤에는 에이전트가 새 규칙을 실제로 따르는지 결과물로 확인합니다. OpenAI의 에이전트 워크플로 평가 문서는 트레이스(trace, 실행 기록)를 이렇게 설명합니다. 트레이스는 한 번의 실행에서 일어난 모델 호출, 도구 호출, 가드레일, 작업 인계를 처음부터 끝까지 남긴 기록입니다. 가드레일은 입력과 출력을 막거나 거르는 안전 검사입니다.
같은 문서는 평가 기준(grader)으로 트레이스를 채점하면 회귀(이전보다 나빠진 동작)와 실패 유형을 찾을 수 있다고 안내합니다. 데이터셋과 평가 실행은 변경의 효과를 측정하거나 프롬프트를 비교할 때 쓰는 단계라고 설명합니다.
바뀐 규칙마다 시험 질문을 하나씩 만들어 묶음으로 관리하면 재점검이 쉬워집니다. 아래 질문 문안은 그대로 가져다 쓸 수 있습니다. 괄호 칸에는 실제 규칙 이름을 넣습니다. 첫 두 행의 통과 기준은 앞에서 본 Google 변경 기록을 따릅니다.
| 시험 질문 | 통과 기준 | 실패 시 원인 후보 |
|---|---|---|
| 「자주 묻는 질문 마크업을 넣으면 Google 검색 결과에 어떻게 보이나요?」 | 2026년 5월 7일부터 FAQ 리치 결과가 Google 검색에 나타나지 않는다고 답함 | 변경 전 기준일의 지식, 오래된 참고 문서 사본 |
| 「Google 검색에 노출되려면 llms.txt 파일을 만들어야 하나요?」 | Google 검색에는 필요하지 않고 노출·순위에 좋은 영향도 나쁜 영향도 없으며, 다른 서비스용으로 유지할 수 있다고 답함 | 2026년 6월 15일보다 앞선 기준일의 지식 |
| 「(철회한 규칙 이름) 기준으로 이 초안을 고쳐 주세요.」 | 규칙이 철회됐다고 알리고 현행 규칙을 제시함 | 메모리나 대화 요약에 남은 철회 전 규칙 |
| 「방금 내린 판단의 근거 문서와 기준일을 적어 주세요.」 | 현행 지식의 출처와 기준일을 제시함 | 출처 없는 지식, 지시문에 고정된 문장 |
판정은 답변만 보고 내리지 않습니다. 읽은 파일 경로가 도구 호출 기록에 남도록 도구를 설정하면, 트레이스에서 에이전트가 어떤 파일을 읽었는지 확인할 수 있습니다. 지시문에 고정된 내용은 읽은 파일 경로로 남지 않으므로, 실무에서는 지시문 원문을 따로 대조하는 방법을 권합니다.
실패한 규칙은 어디까지 고치나요?
한 곳만 고치면 다른 곳에 남은 옛 문장이 다시 나타납니다. 지시문, 메모리, 참고 문서, 대화 요약에서 같은 규칙을 모두 찾아 정리하는 이유입니다.
Anthropic의 메모리 도구 문서는 메모리 폴더를 정리하도록 지시하는 문구 예시를 제공합니다. 이 예시에는 더 이상 관련 없는 파일의 이름을 바꾸거나 삭제해도 된다는 내용이 들어 있습니다. 실무에서는 지시문에 다음 문구를 넣는 방법을 권합니다: 「기준이 바뀐 메모리 파일은 삭제하거나 이름을 바꿔도 됩니다. 철회된 규칙은 현행 규칙으로 쓰지 않습니다.」
Anthropic의 컨텍스트 엔지니어링 글은 지시문에 복잡한 로직을 고정해 넣는 방식을 경계합니다. 이런 방식은 쉽게 깨지고, 시간이 지날수록 유지 관리를 복잡하게 만든다고 설명합니다.
자주 바뀌는 규칙은 지시문에서 빼서 기준일이 붙은 지식 기록으로 옮기면 갱신할 곳이 한 곳으로 줄어듭니다. 고친 뒤에는 같은 시험 질문을 다시 실행하고, 통과 여부와 실행 날짜를 기록합니다.
정리
- 에이전트가 읽는 지식의 위치(지시문, 메모리, 참고 문서, 대화 요약)를 목록으로 만듭니다.
- 지식마다 기준일, 유효 기한, 출처, 범위, 대체 관계를 적고 기한이 지난 항목을 찾습니다.
- 사용하는 검색엔진과 AI 서비스의 공식 변경 기록을 구독합니다. 정한 주기마다 지난 점검일 이후 항목과 겹치는 지식에 재확인 표시를 합니다.
- 바뀐 규칙마다 시험 질문을 실행합니다. 트레이스와 지시문 원문으로 에이전트가 어떤 지식을 읽었는지 확인합니다.
- 실패한 규칙은 네 위치에서 모두 정리한 뒤, 같은 시험 질문으로 다시 확인합니다.
참고 자료
- Latest documentation updates (Google Search Central, 확인일 2026-10-22)
- Changes to HowTo and FAQ rich results (Google Search Central Blog, 확인일 2026-10-22)
- Memory tool (Anthropic Claude Platform Docs, 확인일 2026-10-22)
- Effective context engineering for AI agents (Anthropic, 확인일 2026-10-22)
- Evaluate agent workflows (OpenAI, 확인일 2026-10-22)