AI 에이전트 운영의 사람 개입 지점 정의와 승인·검수와의 차이
AI 에이전트 운영에서 사람 개입 지점은 에이전트가 진행을 멈추고 사람의 판단을 받도록 미리 정한 자리입니다. 대표적인 형태는 실행 전 승인, 막혔을 때의 질문, 결과 검토, 운영 중 중단 네 가지입니다.
개입 지점을 정할 때는 세 가지를 사람이 정합니다. 어디서 멈출지, 어떤 조건에서 멈출지, 누가 결정할지입니다. 멈춤 자체는 에이전트의 선택에 맡기지 않고 시스템이 강제해야 합니다.
사람 개입 지점은 정확히 무엇을 가리키나요?
Anthropic의 에이전트 구축 문서는 에이전트의 진행 방식을 이렇게 설명합니다. 과업이 분명해지면 스스로 계획하고 실행합니다. 필요하면 사람에게 돌아와 추가 정보나 판단을 구합니다.
같은 문서는 에이전트가 체크포인트에서, 또는 막혔을 때 사람의 피드백을 받기 위해 멈출 수 있다고 적습니다. 사람 개입 지점은 이렇게 돌아오는 자리를 운영자가 미리 지정한 것입니다.
| 유형 | 발동 시점 | 사람이 하는 일 | 예 |
|---|---|---|---|
| 실행 전 승인 | 되돌리기 어려운 행동 직전 | 승인 또는 거절 | 글 게시, 메일 발송 |
| 질문 응답 | 정보가 부족하거나 지시가 서로 충돌할 때 | 답을 주거나 방향을 정함 | 두 자료의 수치가 다를 때 |
| 결과 검토 | 산출물이 다음 단계로 넘어가기 전 | 수정 지시 또는 반려 | 초안의 사실 확인 |
| 개입·중단 | 운영 중 이상 징후가 보일 때 | 작업 중지, 결과 폐기 | 같은 오류의 반복 |
미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크도 같은 방향입니다. 의도한 용도와 어긋난 AI 시스템을 대체하거나 연결을 끊거나 비활성화하는 장치를 두라고 합니다. 그 책임을 맡을 사람을 정하고, 담당자가 그 책임을 이해하도록 하라고 적습니다. 표의 마지막 유형이 이 장치에 해당합니다.
승인·검수·중단 조건과는 무엇이 다른가요?
현장에서는 개입 지점, 승인, 검수를 같은 뜻으로 쓰는 경우가 많습니다. 이렇게 섞이면 「검수 단계가 있으니 사람이 개입한다」는 착각이 생깁니다. 다섯 개념의 관계는 다음과 같습니다.
| 개념 | 뜻 | 사람 개입 지점과의 관계 |
|---|---|---|
| 승인 | 특정 행동을 허락하는 결정 | 개입 지점에서 내리는 결정의 한 종류 |
| 검수 | 산출물을 기준에 비추어 확인하는 작업 | 다른 에이전트도 할 수 있습니다. 사람이 검수 결과를 보고 결정하는 자리만 개입 지점입니다. |
| 중단 조건 | 반복 횟수 상한처럼 미리 정한 조건에 이르면 실행이 멈추도록 시스템에 둔 규칙 | 멈춘 뒤 사람에게 넘길 때 개입 지점과 이어집니다. |
| 권한 | 에이전트가 쓸 수 있는 도구와 자료의 범위 | 권한 밖의 일은 개입 지점까지 가기 전에 막힙니다. |
| 사람의 감독 | 운영 전반을 사람이 이해하고 감시하는 체계 | 개입 지점은 감독을 실제로 구현하는 장치입니다. |
Anthropic 문서는 통제를 유지하려고 최대 반복 횟수 같은 중단 조건을 두는 경우가 흔하다고 설명합니다. 다만 중단 조건만으로는 멈춘 뒤 누가 무엇을 결정하는지 정해지지 않습니다.
NIST 프레임워크는 사람의 감독 절차를 정의하고 평가하고 문서로 남기라고 합니다. 사람과 AI가 함께 일하는 구성에서는 역할과 책임을 구분해 정하라고 적습니다. 개입 지점은 이 문서에 「어디서, 누가, 무엇을」로 적히는 항목입니다.
개입 지점 하나는 어떤 요소로 정의하나요?
OpenAI의 Agents SDK 문서는 실행 전 승인이 실제로 동작하는 방식을 보여 줍니다. 도구에 승인이 필요하다고 지정하면, 에이전트가 그 도구를 부를 때 실행이 멈춥니다. 이때 에이전트 이름, 도구 이름, 인자가 담긴 대기 항목이 반환됩니다.
사람은 항목마다 승인하거나 거절하고, 거절할 때는 에이전트에 전달할 메시지를 붙일 수 있습니다. 멈춘 실행 상태는 저장했다가 결정 뒤 이어서 실행할 수 있습니다.
같은 문서는 인자를 안전하게 검사할 수 없으면 승인 규칙이 닫힌 쪽(fail closed)으로 동작한다고 적습니다. 자동 판단을 건너뛰고 사람의 승인을 요구한다는 뜻입니다.
저장된 실행 상태를 다시 불러올 때는 그 내용이나 제출한 사람을 인증하지 않는다고도 설명합니다. 그래서 결정을 받는 서버에서 검토자를 인증하라고 안내합니다.
이 구조를 운영 문서로 옮기면 개입 지점 하나는 다음 일곱 요소로 정의됩니다.
- 위치: 어느 단계, 어떤 도구 호출 직전인지
- 발동 조건: 매번인지, 특정 조건일 때만인지
- 보여 줄 정보: 실행할 행동, 대상, 근거, 되돌리는 방법
- 선택지: 승인, 사유를 붙인 거절, 수정 후 재요청, 전체 중단
- 결정자: 결정 권한이 있는 사람과 부재 시 대리인
- 응답이 없을 때: 정한 시간이 지나면 거절로 처리할지 여부
- 기록: 누가 언제 무엇을 근거로 결정했는지
예를 들어 가상의 ○○ 기업이 블로그 게시에 개입 지점을 둔다면 다음과 같이 적을 수 있습니다.
- 위치: 블로그 게시 도구 호출 직전
- 발동 조건: 모든 게시. 예외는 두지 않습니다.
- 보여 줄 정보: 제목, 메타 설명, 본문 미리보기, 사실 확인 목록, 게시 취소 방법
- 선택지: 승인, 거절(사유 필수), 수정 후 재요청
- 결정자: 콘텐츠 책임자. 부재 시 팀장
- 응답이 없을 때: 24시간이 지나면 거절로 처리하고 담당자에게 알림
- 기록: 결정자, 결정 시각, 결정 사유, 게시 주소
에이전트가 사람에게 보내는 승인 요청도 양식을 고정하면 판단이 빨라집니다. 다음 문안을 그대로 쓸 수 있습니다.
- [승인 요청] 작업 이름:
- 실행할 행동과 대상:
- 이 행동이 필요한 근거:
- 실행 뒤 되돌리는 방법:
- 확인하지 못한 사항:
- 선택: 승인 / 거절(사유) / 수정 후 재요청
SEO·GEO 운영에서는 어디에 개입 지점을 두나요?
개입 지점을 고르는 기준은 네 가지입니다. 되돌리기 어려운가, 외부에 보이는가, 사실 판단이 필요한가, 권한이나 설정을 바꾸는가. 하나라도 해당하면 실행 전 승인을 두는 방법을 권합니다.
OWASP의 대규모 언어 모델 위험 목록은 영향이 큰 행동을 실행하기 전에 사람이 승인하게 하라고 권고합니다. 메일 예시에서는 에이전트가 쓴 초안을 사용자가 직접 검토하고 발송하는 방식을 제시합니다.
Google 검색 센터의 생성형 AI 콘텐츠 안내는 게시 전에 AI가 생성한 모든 콘텐츠를 직접 사실 확인하고 검토해야 한다고 설명합니다. 이 검토는 검색 결과에 나타날 수 있는 제목, 메타 설명, 구조화 데이터, 이미지 대체 텍스트에도 적용됩니다.
같은 안내는 사용자에게 가치를 더하지 않는 페이지를 대량으로 생성하면 스팸 정책 위반이 될 수 있다고 적습니다. 일괄 생성 작업에 수량 상한과 승인을 함께 두어야 하는 이유입니다.
권한·설정 변경 기준과 관련해서는 Search Console 도움말을 참고할 수 있습니다. 이 도움말은 다른 사용자를 추가하거나 삭제하는 일을 속성 소유자만 할 수 있다고 설명합니다.
| SEO·GEO 작업 | 개입 유형(실무 제안) | 사람이 확인할 것 |
|---|---|---|
| 글과 메타데이터 게시 | 실행 전 승인 | 사실, 제목, 메타 설명, 구조화 데이터, 대체 텍스트 |
| 여러 페이지 일괄 생성·게시 | 실행 전 승인과 1회 수량 상한 | 각 페이지가 독자에게 주는 가치 |
| 고객·제휴처 메일 | 사람이 직접 발송 | 수신자, 첨부, 약속하는 문구 |
| Search Console 사용자 추가·삭제 | 에이전트에 맡기지 않음 | 소유자가 직접 처리 |
| 사이트맵 제출 | 결과 검토 | 제출한 주소 목록과 처리 결과 |
| 검색 실적 정리 보고 | 결과 검토 | 기간과 분모가 원천 자료와 같은지 |
사람 개입 지점에 대한 흔한 오해는 무엇인가요?
오해: 지시문에 「게시 전에 물어보라」고 쓰면 개입 지점이 생긴다
지시문 속 요청은 에이전트가 따를 수도, 놓칠 수도 있습니다. OWASP 문서는 어떤 행동이 허용되는지를 언어 모델이 판단하게 두지 말라고 합니다. 그 권한 확인은 하위 시스템에서 강제하라고 권고합니다.
개입 지점은 도구 호출 단계에서 에이전트 판단과 관계없이 실행이 멈추도록 설정해야 성립합니다. 지시문의 문장은 보조 수단으로 둡니다.
오해: 승인 버튼이 있으면 사람이 판단한 것이다
승인 화면에 글 제목과 승인 버튼만 있으면 사람은 판단할 재료가 없습니다. 결국 내용을 보지 않고 누르게 되며, 이 경우 개입 지점은 형식만 남습니다.
Agents SDK의 대기 항목이 도구 이름과 인자를 함께 넘기는 이유도 여기에 있습니다. 앞의 승인 요청 양식처럼 근거와 되돌리는 방법까지 보여 주어야 실제 판단이 이루어집니다.
오해: 「항상 승인」은 한 번 정하면 계속 안전하다
Agents SDK 문서는 「항상 승인」 같은 고정 결정이 저장된 실행 상태에 함께 담긴다고 설명합니다. 저장된 상태로 실행을 재개하면 새 맥락 객체를 넘겨도 그 승인이 그대로 유지됩니다.
처음 승인한 상황과 다른 인자로 같은 도구를 호출해도 다시 묻지 않을 수 있다는 뜻입니다. 실무에서는 「항상 승인」을 영향이 작은 도구에만 쓰고, 저장된 상태를 재개하기 전에 남아 있는 고정 결정을 점검하는 방법을 권합니다.
오해: 개입 지점은 많을수록 안전하다
모든 단계에서 승인을 받으면 요청이 쌓이고, 결정자는 하나하나를 깊이 검토하지 못합니다. Anthropic 문서는 에이전트의 자율성 때문에 비용이 늘고 오류가 누적될 수 있다고 적습니다. 그래서 개입 지점은 수보다 위치가 중요합니다.
실무에서는 앞의 네 기준에 해당하는 행동에만 실행 전 승인을 두는 방법을 권합니다. 나머지 작업은 결과 기록을 표본으로 사후 검토합니다.
정리
- 에이전트가 쓰는 도구를 모두 적고, 되돌리기 어려움·외부 노출·사실 판단·설정 변경 기준으로 표시합니다.
- 표시된 도구마다 일곱 요소로 개입 지점을 정의하고 결정자와 대리인을 지정합니다.
- 지시문이 아니라 도구 호출 단계에서 실행이 멈추도록 설정하고, 승인 요청 양식을 고정합니다.
- 한 달간 승인·거절 기록을 모아 거절 사유가 반복되는 개입 지점부터 조건과 보여 줄 정보를 고칩니다.
참고 자료
- Human-in-the-loop (OpenAI Agents SDK 문서, 확인일 2026-10-21)
- Building effective agents (Anthropic, 확인일 2026-10-21)
- LLM06:2025 Excessive Agency (OWASP Gen AI Security Project, 확인일 2026-10-21)
- AI RMF Core (NIST AI Resource Center, 확인일 2026-10-21)
- Google 검색 센터 생성형 AI 콘텐츠 사용 안내 (Google Search Central, 확인일 2026-10-21)
- Search Console 속성의 사용자 및 권한 관리 (Search Console 고객센터, 확인일 2026-10-21)