AI 에이전트 도입 전 정할 운영 규칙 6가지와 흔한 오해
AI 에이전트 도입을 앞두고 먼저 정할 운영 규칙은 여섯 가지입니다. 책임자와 대상 업무, 권한 범위, 사람 승인 지점, 검수 기준, 작업 기록, 중단 절차입니다. 모델과 도구는 이 여섯 가지를 정한 뒤에 골라도 늦지 않습니다.
AI 에이전트 운영 규칙이란 무엇이고 사용 정책과 무엇이 다른가요?
운영 규칙은 에이전트가 맡을 업무와 행동의 경계를 정한 문서입니다. 먼저 누가 책임지는지, 어떤 도구와 권한을 쓰는지 적습니다. 어디서 멈추고 사람 승인을 받는지도 적습니다. 결과를 어떻게 검수하고 기록하는지, 언제 중단하는지도 이 문서에 들어갑니다.
이런 규칙이 따로 필요한 이유는 에이전트가 움직이는 방식에 있습니다. Anthropic의 에이전트 설계 글은 미리 정한 코드 경로를 따르는 시스템을 워크플로(workflow)라고 부릅니다. 모델이 절차와 도구 사용을 스스로 정하는 시스템은 에이전트로 따로 구분합니다. 같은 글은 에이전트가 자율적으로 움직이는 만큼 비용이 커지고 오류가 쌓일 수 있다고 설명합니다. 단계를 미리 다 정할 수 없으니 행동의 경계를 규칙으로 정해야 합니다.
| 구분 | 대상 | 정하는 내용 | 운영 규칙과의 관계 |
|---|---|---|---|
| AI 사용 정책 | 직원 전체 | 사용할 수 있는 서비스, 입력하면 안 되는 정보 | 회사 전체에 적용되는 상위 원칙 |
| 지시문(프롬프트) | 개별 작업 | 이번 작업의 목적, 자료, 형식 | 운영 규칙 안에서 작업마다 바뀜 |
| 워크플로 설정 | 순서가 고정된 처리 | 단계와 조건 분기 | 순서를 미리 정할 수 있는 업무에 적합 |
| 에이전트 운영 규칙 | 특정 에이전트와 담당 업무 | 책임자, 권한, 승인, 검수, 기록, 중단 | 에이전트가 스스로 판단하는 구간의 경계 |
지시문을 자세히 쓴다고 운영 규칙을 대신할 수는 없습니다. 지시문은 작업마다 바뀌지만 권한과 승인 지점은 작업이 바뀌어도 그대로 유지되어야 하기 때문입니다.
도입 전에 정할 여섯 가지 규칙은 무엇인가요?
여섯 가지 규칙은 공개된 위험 관리 기준과 검색·에이전트 설계 문서의 권고를 바탕으로 정리할 수 있습니다. 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크(AI RMF)는 역할과 책임의 문서화, 안전한 폐기 절차를 거버넌스 항목으로 둡니다. 웹 보안 비영리 단체 OWASP는 LLM 애플리케이션 위험 목록을 펴냅니다. 이 목록은 과도한 권한 위험에 대한 대책으로 최소 권한, 사람 승인, 활동 기록을 제시합니다.
| 규칙 | 정할 내용 | 근거 문서 |
|---|---|---|
| 1. 책임자와 대상 업무 | 에이전트별 담당자, 맡길 업무와 맡기지 않을 업무 | NIST AI RMF GOVERN 2.1(역할과 책임 문서화) |
| 2. 권한 범위 | 사용할 도구, 접근할 시스템, 읽기와 쓰기 구분 | OWASP 과도한 권한(Excessive Agency) |
| 3. 승인 지점 | 사람이 승인해야 실행되는 작업 목록 | OWASP 사람 승인, Anthropic 점검 지점 |
| 4. 검수 기준 | 사실 확인 범위, 검수자, 통과 조건 | Google 생성형 AI 콘텐츠 안내 |
| 5. 작업 기록 | 남길 항목, 보관 위치, 볼 수 있는 사람 | OWASP 기록·모니터링, Anthropic 투명성 원칙 |
| 6. 중단과 폐기 | 반복 한도, 바로 중단할 조건, 용도와 맞지 않을 때의 교체·폐기 절차 | Anthropic 반복 한도, NIST GOVERN 1.7, MANAGE 2.4 |
여섯 번째 규칙은 도입한 뒤에도 계속 쓰입니다. NIST AI RMF의 MANAGE 2.4는 의도한 용도와 맞지 않는 결과를 내는 AI 시스템을 대체하거나 중단할 장치를 마련하고, 그 책임자를 정하라고 합니다. 그래서 도입 규칙에는 정기 점검 주기와 교체를 결정할 사람까지 적어야 합니다. 각 규칙은 운영 단계에서 업무 분담, 지시서 작성, 검수 체계, 정기 점검이라는 세부 업무로 이어집니다.
따라 쓸 운영 규칙 한 장 양식
예를 들어 가상의 ○○ 기업이 블로그 초안 작성을 에이전트에 맡긴다면 다음처럼 한 장으로 적을 수 있습니다.
- 에이전트 이름과 책임자: 블로그 초안 에이전트, 콘텐츠팀 담당자 1명
- 맡기는 업무: 승인된 주제의 초안 작성, 참고 문서 요약, 메타 설명 초안
- 맡기지 않는 업무: 글 공개, 기존 글 삭제, 고객 메일 발송
- 권한: CMS(콘텐츠 관리 시스템)에는 초안 저장만 허용하고 공개 전환 권한은 주지 않음
- 승인 지점: 주제 확정, 공개 전환, 이미 공개된 글의 주소 변경
- 검수 기준: 아래 검수 절의 항목 전체
- 기록: 아래 기록 양식을 작업마다 한 줄씩 작성
- 중단 조건: 수정 반복이 정한 횟수를 넘거나 근거 없는 수치가 나왔을 때
- 점검: 월 1회 책임자가 기록을 검토하고 계속 사용·조정·교체 여부를 결정
권한과 승인 지점은 어떻게 나누면 되나요?
OWASP는 과도한 권한 위험의 원인을 세 가지로 설명합니다. 첫째는 필요 없는 기능까지 가진 도구입니다(과도한 기능). 둘째는 필요 이상으로 넓은 접근권입니다(과도한 권한). 셋째는 영향이 큰 행동을 따로 검증하지 않고 실행하는 구조입니다(과도한 자율성). 오작동의 계기로는 환각(사실과 다른 생성), 프롬프트 인젝션(외부 입력에 숨겨진 지시), 악성이거나 손상된 확장 기능 등을 듭니다.
OWASP가 제시하는 대책은 다음과 같습니다. 꼭 필요한 도구만 주고 읽기 전용처럼 가장 낮은 권한을 줍니다. 영향이 큰 작업은 사람이 승인한 뒤에 실행합니다. 권한 판단은 모델에 맡기지 않고 연결된 시스템에서 직접 통제합니다. 실무에서는 SEO(검색엔진 최적화)·GEO(생성형 AI 검색 대응) 작업을 세 등급으로 나누는 방법을 권합니다.
| 등급 | 처리 방식 | SEO·GEO 업무 예 |
|---|---|---|
| 자동 허용 | 에이전트가 실행하고 기록만 남김 | 검색 성과 데이터 조회, 키워드 목록 정리, 초안 작성 |
| 사람 승인 | 담당자가 확인한 뒤 실행 | 글 공개, 제목과 메타 설명 수정, 내부 링크 일괄 변경 |
| 허용하지 않음 | 권한 자체를 주지 않음 | 사이트 전체 설정(robots.txt 등) 변경, 공개 글 삭제, 외부 발송 |
승인 등급은 지시문이 아니라 권한 설정으로 지켜야 합니다. 지시문에 「공개하지 말 것」이라고 적어도 공개 권한이 있으면 실수나 조작으로 글이 공개될 수 있습니다. CMS 계정을 초안 저장 전용으로 만드는 것이 OWASP가 말하는 시스템 쪽 통제에 해당합니다. 실무에서는 실제 사이트와 분리된 시험 환경에서 먼저 운영하는 방법을 권합니다. 그 환경에서 승인 지점과 권한 설정이 의도대로 막히는지 확인합니다.
SEO·GEO 업무에서는 검수와 기록을 어디까지 정해야 하나요?
Google 검색 센터의 생성형 AI 콘텐츠 안내는 생성형 모델이 사실을 찾아오지 않는다고 설명합니다. 학습 자료를 바탕으로 가능성이 높은 단어 순서를 예측한다는 것입니다. 그래서 게시 전에 AI가 만든 콘텐츠 전체를 직접 사실 확인하고 정확성과 신뢰성을 검토하라고 안내합니다. 이 검토는 검색 결과에 보일 수 있는 메타데이터에도 적용됩니다. 제목, 메타 설명, 구조화 데이터, 이미지 대체 텍스트가 여기에 해당합니다.
같은 문서는 사용자에게 가치를 더하지 않는 페이지를 AI로 대량 생성하면 스팸 정책의 대규모 콘텐츠 악용(scaled content abuse)에 해당할 수 있다고 설명합니다. OWASP도 일정 시간 동안 실행되는 행동 수를 제한하는 방법(rate limiting)을 피해를 줄이는 대책으로 듭니다. Google의 유용한 콘텐츠 안내는 독자가 「어떻게 만들었는가」를 궁금해할 만한 경우 자동화나 AI 사용을 밝히는 방안을 다룹니다. 이를 반영한 검수 규칙은 다음 순서로 정할 수 있습니다.
- 본문의 수치, 인용, 기관명을 원문과 대조할 담당자를 정합니다.
- 앞 문단의 메타데이터 네 가지를 본문과 별도의 검수 칸으로 둡니다.
- 구조화 데이터는 게시 전에 검증 도구로 오류를 확인합니다.
- 검수 인력이 감당할 수 있는 만큼으로 하루·주간 발행 상한을 정합니다.
- AI 사용을 독자에게 밝힐지 정하고, 밝힌다면 어떤 문구로 쓸지 정합니다.
기록은 검수 결과를 다음 작업에 반영하기 위한 장치입니다. OWASP는 활동 기록과 모니터링을 피해를 줄이는 대책으로 듭니다. Anthropic 글은 에이전트의 계획 단계를 드러내는 투명성을 원칙으로 둡니다. 실무에서는 작업 한 건마다 다음 항목을 한 줄로 남기는 방법을 권합니다. 예시 값은 가상의 ○○ 기업 사례입니다.
| 항목 | 적는 내용 | 예시(가상) |
|---|---|---|
| 작업 번호·일시 | 작업을 구분할 번호와 시작 시각 | B-014, 10월 15일 오전 |
| 지시 요약 | 목적과 대상 독자 한 줄 | 신제품 설치 방법 초안 |
| 사용 자료 | 참고한 문서 이름과 기준일 | 제품 설명서 3판 |
| 원고 버전 | 검수를 받은 버전 번호 | v3 |
| 검수 지적 | 지적 내용과 지적한 사람 | 설치 단계 수 불일치(콘텐츠팀) |
| 반영 여부 | 반영, 미반영과 그 이유 | 반영, v4에서 수정 |
| 승인자·결과 | 승인한 사람과 공개·보류·중단 여부 | 콘텐츠팀장, 공개 |
같은 지적이 여러 번 기록되면 그 항목을 지시문이나 검수 기준으로 옮깁니다. 이 기록은 월 점검에서 에이전트를 계속 쓸지 판단하는 근거가 됩니다.
도입 단계에서 흔한 오해는 무엇인가요?
성능 좋은 모델을 고르면 규칙은 나중에 정해도 된다
OWASP는 과도한 권한으로 생기는 피해가 에이전트가 접근할 수 있는 시스템 범위에 따라 달라진다고 설명합니다. 환각은 잘못 설계된 평범한 지시문에서도 생길 수 있습니다. 프롬프트 인젝션과 손상된 확장 기능은 모델 바깥에서 들어옵니다. 모델을 바꾸어도 접근 권한이 넓으면 피해가 미칠 수 있는 범위는 그대로입니다. 권한과 승인 규칙을 먼저 정하는 이유가 여기에 있습니다.
마지막에 사람이 한 번 보면 충분하다
Anthropic 글은 에이전트가 점검 지점이나 막히는 지점에서 멈추고 사람 의견을 받도록 설계하라고 설명합니다. 단계마다 도구 실행 결과 같은 실제 환경 신호로 진행 상황을 확인하라고도 합니다. 반복 횟수 상한 같은 중단 조건을 두라는 내용도 있습니다. 최종 검수만 두면 주제를 잘못 잡은 사실을 원고가 다 끝난 뒤에야 발견합니다. 그래서 주제 확정 같은 앞 단계에도 승인 지점을 둡니다.
AI로 만든 글은 검색에서 불리하다
Google 문서는 생성형 AI가 주제를 조사하고 원고에 구조를 더하는 데 특히 유용할 수 있다고 설명합니다. Google이 문제로 보는 것은 제작 도구보다 목적과 가치입니다. 유용한 콘텐츠 안내는 검색 유입을 주목적으로 만든 콘텐츠가 Google 시스템이 보상하는 방향과 맞지 않는다고 설명합니다. 스팸 정책은 사용자에게 도움 없이 페이지를 대량 생성하는 경우를 문제 사례로 듭니다. 따라서 규칙으로 정할 대상은 AI 사용 여부가 아니라 검수 기준과 발행량입니다.
정리
운영 규칙은 업무 하나, 에이전트 하나로 시작해 넓혀 가는 편이 관리하기 쉽습니다. 다음 순서로 시작할 수 있습니다.
- 에이전트에 맡길 업무 한 가지를 고르고 책임자 1명을 지정합니다.
- 한 장 양식에 맡기는 업무와 맡기지 않는 업무, 점검 주기를 적습니다.
- 작업을 자동 허용, 사람 승인, 허용하지 않음으로 나누고 계정 권한을 그 등급에 맞춥니다.
- 검수 절의 항목과 발행 상한, 한 줄 기록 양식을 만듭니다.
- 반복 한도와 중단 조건을 정하고, 시험 환경에서 승인·중단 조건이 작동하는지 확인한 뒤 실제 사이트에 적용합니다.
참고 자료
- LLM06:2025 Excessive Agency (OWASP Gen AI Security Project, 확인일 2026-10-15)
- Building effective agents (Anthropic, 확인일 2026-10-15)
- Google Search's guidance on using generative AI content on your website (Google Search Central, 확인일 2026-10-15)
- Creating helpful, reliable, people-first content (Google Search Central, 확인일 2026-10-15)
- Spam policies for Google web search (Google Search Central, 확인일 2026-10-15)
- AI Risk Management Framework (NIST, 확인일 2026-10-15)
- AI RMF Core: Govern, Map, Measure, Manage (NIST AI Resource Center, 확인일 2026-10-15)