AI 에이전트 플랫폼 비교는 맡길 업무부터, 시연 질문지와 기록표
AI 에이전트 플랫폼은 기능 개수가 아니라 일곱 기준으로 비교합니다. 일곱 기준은 실행 방식, 데이터·도구 연결, 도구 설명과 시험, 권한 범위, 승인과 중단, 기록과 투명성, 비용과 한도입니다.
후보 업체가 달라도 같은 질문지로 시연을 받고 같은 양식에 기록하면 공정하게 비교할 수 있습니다.
비교는 왜 맡길 업무 형태에서 시작하나요?
Anthropic의 에이전트 구축 안내 문서는 두 방식을 구분합니다. 워크플로(workflow)는 미리 정한 코드 경로로 모델과 도구를 잇는 방식입니다. 에이전트는 모델이 절차와 도구 사용을 스스로 정하는 방식입니다.
같은 문서는 가장 단순한 방법에서 시작하고, 필요할 때만 복잡도를 높이라고 권합니다. 에이전트 방식은 더 나은 성능을 얻는 대가로 지연과 비용이 늘어납니다. 문서는 자율성 때문에 오류가 누적될 수 있다고도 설명합니다.
실무에서는 플랫폼을 보기 전에 맡길 업무를 세 묶음으로 나누는 방법을 권합니다. 비중이 가장 큰 묶음으로 후보를 좁히되, 변경 업무가 포함되면 승인과 중단 기준을 함께 봅니다.
| 업무 묶음 | SEO·GEO 업무 예 | 플랫폼에서 먼저 볼 기능 |
|---|---|---|
| 순서가 정해진 반복 업무 | 주간 검색 실적 수집, 사이트맵 상태 점검 | 일정 실행, 단계 고정, 실패 시 재시도와 알림 |
| 단계 수를 미리 알 수 없는 조사 업무 | 색인 누락 원인 조사, 기존 글의 공백 분석 | 도구를 스스로 고르는 실행, 중간 결과 확인, 최대 반복 횟수 설정 |
| 외부에 영향을 주는 변경 업무 | 글 게시, 제목·메타 설명 수정 | 실행 전 승인 단계, 변경 전후 기록 |
한 플랫폼이 세 묶음을 모두 잘 처리한다고 가정하지 않습니다. 예를 들어 가상의 ○○ 기업의 목적이 주간 보고 자동화라면, 자율 실행보다 일정 실행과 실패 알림이 더 중요한 비교 항목입니다.
비교표에는 어떤 기준을 넣어야 하나요?
각 기준은 시연에서 확인할 질문과 함께 적습니다. 칸에는 업체의 설명이 아니라 시연에서 직접 본 결과를 적습니다.
| 기준 | 시연에서 확인할 질문 | 판단 근거 |
|---|---|---|
| 1. 실행 방식 | 업무마다 고정 단계와 자율 실행을 골라 쓸 수 있는가 | Anthropic 안내의 워크플로·에이전트 구분 |
| 2. 데이터·도구 연결 | 표준 연결 방식인 MCP(모델 컨텍스트 프로토콜)를 지원하는가 | MCP 공식 문서(표준 연결 방식) |
| 3. 도구 설명과 시험 | 연결한 도구의 설명과 입력 형식을 직접 고치고, 여러 입력으로 시험할 수 있는가 | Anthropic 안내의 도구 설계 권고 |
| 4. 권한 범위 | 도구별·작업별로 읽기와 쓰기 권한을 나눠 줄 수 있는가 | OWASP 과도한 행위 권한 항목, MCP 보안 모범 사례 |
| 5. 승인과 중단 | 영향이 큰 행동 앞에 사람 승인을 강제하고, 반복 상한을 정할 수 있는가 | OWASP 항목(사용자 승인), Anthropic 안내(중단 조건) |
| 6. 기록과 투명성 | 에이전트의 계획 단계와 도구 호출 기록을 사람이 열어 볼 수 있는가 | Anthropic 안내(계획 단계 공개), OWASP 항목(활동 기록·감시) |
| 7. 비용과 한도 | 작업당 비용 산정 방식과 외부 API 할당량을 넘었을 때의 동작이 정해져 있는가 | Anthropic 안내(비용·지연), Search Console API 사용 한도 문서(할당량) |
2번 기준에서는 실무상 질문 하나를 더하는 방법을 권합니다. 업무에 필요한 데이터에 해당 서비스의 공식 API로 연결되는지입니다. 검색 실적처럼 공식 API가 있는 데이터라면 그 경로로 받는지 확인합니다.
3번 기준은 시연에서 따로 요청해야 확인할 수 있습니다. Anthropic 문서는 도구 정의에 사용 예시, 예외 상황, 입력 형식 요건, 다른 도구와의 경계를 담으라고 권합니다. 여러 입력으로 도구를 돌려 모델이 어떤 실수를 하는지 보고 고치라는 설명도 덧붙입니다. 문서는 코딩 시험(SWE-bench)용 에이전트를 만들 때 전체 지시문보다 도구를 다듬는 데 더 많은 시간을 썼다고 밝힙니다.
6번 기준에서 Anthropic 문서는 에이전트의 계획 단계를 명시적으로 보여 주어 투명성을 우선하라고 권합니다. 프레임워크(개발용 틀)가 추상화 층을 더해 실제 지시와 응답을 가릴 수 있다는 경고도 함께 적혀 있습니다. 실무에서는 여기에 더해 도구 호출 기록까지 열어 보는 방법을 권합니다. 시연 중 일부러 오류를 내고, 그 원인을 화면에서 찾을 수 있는지가 확인 기준입니다.
권한과 데이터 연결은 어떻게 확인하나요?
OWASP 생성형 AI 보안 프로젝트는 과도한 행위 권한(Excessive Agency)의 원인을 세 가지로 봅니다. 업무에 필요 없는 기능, 필요한 범위를 넘는 권한, 영향이 큰 행동을 따로 검증하지 않는 자율성입니다.
같은 문서는 연결하는 도구를 꼭 필요한 것만 남기라고 권합니다. 셸 실행이나 임의 주소 열기 같은 범용 도구는 피하고, 허용 여부는 모델이 아니라 연결된 시스템 쪽에서 판단하게 하는 것이 문서의 기준입니다. 영향이 큰 행동에는 사람 승인을 두고, 도구와 연결 시스템의 활동은 기록하고 감시하라고 설명합니다.
MCP 사양 2025-11-25판의 보안 모범 사례 문서도 같은 방향입니다. 처음에는 조회·읽기처럼 위험이 낮은 작업만 담은 최소 권한으로 시작하고, 권한이 필요한 작업을 처음 시도할 때 단계적으로 넓히는 방식을 제시합니다. 전체 접근 같은 포괄 권한을 쓰거나 관련 없는 권한을 미리 묶어 요청하는 것은 흔한 실수로 분류합니다.
Search Console에 연결할 때도 이 원칙을 그대로 적용합니다. 도움말 문서에 따르면 제한된 사용자도 실적 보고서를 볼 수 있습니다. 사이트맵 제출은 전체 사용자 이상의 권한이 있어야 하고, 사용자 추가와 삭제는 소유자만 할 수 있습니다.
시연에서는 아래 다섯 가지를 차례로 확인합니다.
- 연결 도구마다 읽기 권한과 쓰기 권한을 따로 줄 수 있는가
- 검색 실적 수집만 맡길 때 Search Console 제한된 사용자 계정으로 동작하는가
- 게시·수정·삭제처럼 영향이 큰 행동 앞에 사람 승인을 강제할 수 있는가
- 셸 실행, 임의 주소 열기 같은 범용 도구를 끌 수 있는가
- 권한 확대와 승인 기록이 날짜·담당자와 함께 남는가
시연과 시험 운영에서는 무엇을 직접 보여 달라고 하나요?
Anthropic 문서는 격리된 시험 환경(샌드박스)에서 충분히 시험하고 적절한 안전장치를 두라고 권합니다. 통제를 유지하려고 최대 반복 횟수 같은 중단 조건을 두는 경우가 많다는 설명도 있습니다. 따라서 실제 사이트와 분리된 시험 환경을 제공하는지부터 묻습니다.
Google 검색 센터의 생성형 AI 콘텐츠 안내는 정확성·품질·관련성에 집중하라고 설명합니다. AI가 만든 콘텐츠는 게시 전에 정확성과 신뢰성을 직접 사실 확인하고 검토해야 하며, 이 검토는 제목, 메타 설명, 구조화 데이터, 이미지 대체 텍스트에도 적용된다고 밝힙니다. 실무에서는 글 작성까지 맡길 플랫폼이라면 이 항목들을 게시 전에 한 화면에서 검토할 수 있는지 확인하는 방법을 권합니다.
업체에 보낼 질문지 문안
- 「실제 사이트와 분리된 시험 환경에서 실행할 수 있습니까? 시험 결과를 운영으로 옮기는 절차를 보여 주십시오.」
- 「한 작업에서 에이전트의 계획 단계와 도구 호출 순서를 화면에서 열어 볼 수 있습니까?」
- 「최대 반복 횟수와 실패 시 멈춤 조건을 작업별로 정할 수 있습니까?」
- 「초안의 제목, 메타 설명, 구조화 데이터, 이미지 대체 텍스트를 게시 전에 한 화면에서 검토할 수 있습니까?」
- 「외부 API 할당량을 넘으면 작업은 어떻게 처리되고, 담당자는 어떻게 알게 됩니까?」
- 「작업당 비용은 어떤 단위로 계산됩니까? 월 상한을 설정할 수 있습니까?」
5번 질문은 구체적인 숫자로 확인할 수 있습니다. Search Console API 사용 한도 문서는 URL 검사를 사이트당 하루 2,000회, 분당 600회로 제한합니다. 페이지가 수천 개인 사이트에서 매일 전체 URL을 검사한다는 설명을 들으면, 이 한도를 어떻게 나눠 처리하는지 되묻습니다.
평가 기록 양식
| 항목 | 기록 예시 |
|---|---|
| 후보와 시연일 | 후보 A, 시연 날짜 |
| 시험한 업무 | 주간 검색 실적 수집과 요약 보고 |
| 부여한 권한 | Search Console 제한된 사용자, 쓰기 권한 없음 |
| 기준별 판정 | 일곱 기준 각각 충족·부분 충족·미충족 |
| 직접 본 근거 | 도구 호출 기록 화면에서 실패 원인을 찾음 |
| 남은 질문 | 할당량 초과 시 재시도 간격, 업체 회신 대기 |
| 판정자 | 마케팅 담당 1명, 보안 담당 1명 |
상황별로 어떤 기준에 무게를 두나요?
일곱 기준의 무게는 조직 상황에 따라 달라집니다. 아래 표에 상황별로 먼저 볼 기준과 시연에서 확인할 장면을 정리했습니다. 여러 상황에 해당하면 위험이 큰 쪽의 기준을 먼저 봅니다.
| 상황 | 먼저 볼 기준 | 시연에서 확인할 장면 |
|---|---|---|
| 담당자 1~2명이 반복 보고 업무를 줄이려는 경우 | 1. 실행 방식, 7. 비용과 한도 | 설정 화면만으로 일정 실행과 실패 알림을 만들 수 있는지 |
| 여러 사이트나 계열사 계정을 함께 운영하는 경우 | 4. 권한 범위, 6. 기록과 투명성 | 사이트별로 권한과 작업 기록이 분리되는지 |
| 사내 데이터나 시스템을 연결해야 하는 경우 | 2. 데이터·도구 연결, 3. 도구 설명과 시험 | 표준 연결 방식으로 사내 도구를 붙이고 도구 설명을 고칠 수 있는지 |
| 게시와 수정까지 맡길 계획인 경우 | 5. 승인과 중단 | 승인 없이는 게시가 막히는지, 변경 전후 기록이 남는지 |
| 사내 보안 검토를 거쳐야 하는 경우 | 4. 권한 범위, 6. 기록과 투명성 | 범용 도구를 끌 수 있는지, 권한 변경 기록을 내보낼 수 있는지 |
업체가 「모든 기능을 지원합니다」라고 답하면 「해당 기능을 지금 시험 환경에서 실행해 보여 주십시오.」라고 다시 요청합니다.
정리
- 맡길 업무를 반복 업무, 조사 업무, 변경 업무로 나누고 각각의 비중을 적습니다.
- 일곱 기준 비교표를 복사해 후보마다 한 장씩 만듭니다.
- 질문지 여섯 문항을 시연 요청 메일에 붙여 보냅니다.
- 시험 환경에서 같은 업무 하나를 최소 권한으로 실행하고, 결과를 평가 기록 양식에 적습니다.
- 상황별 선택표에서 해당 상황의 기준을 먼저 적용해 최종 후보를 정합니다.
참고 자료
- Building effective agents (Anthropic, 확인일 2026-10-22)
- LLM06:2025 Excessive Agency (OWASP Gen AI Security Project, 확인일 2026-10-22)
- What is the Model Context Protocol (MCP)? (Model Context Protocol, 확인일 2026-10-20)
- Security Best Practices, 사양 2025-11-25판 (Model Context Protocol, 확인일 2026-10-22)
- Google Search's guidance on using generative AI content on your website (Google Search Central, 확인일 2026-10-22)
- Manage owners, users, and permissions (Search Console 도움말, 확인일 2026-10-22)
- Usage limits (Google Search Console API, 확인일 2026-10-22)