AI가 말하는 시대에서
행동하는 시대로
지난 2년간 기업 AI 보안의 질문은 하나였습니다. "직원이 채팅창에 무엇을 입력했는가." MCP와 에이전트가 확산되면서 질문이 바뀌고 있습니다. "AI가 우리 시스템에서 무엇을 했는가."
이 글은 특정 제품 소개가 아니라, FlowGuard AI가 보는 이 전환의 구조와 기업이 지금 점검해야 할 항목을 정리한 것입니다.
통제 지점은 세 번 이동했습니다
각 단계는 이전 단계를 대체하지 않고 위에 쌓입니다. 문제는 대부분의 보안 체계가 아직 1세대에 머물러 있다는 점입니다.
AI가 '읽고 답하던' 시기
직원이 채팅창에 무언가를 붙여넣고 답을 받습니다. 위험은 '무엇을 입력했는가' 한 가지였고, 통제 지점도 입력창 하나였습니다.
통제 지점 · 프롬프트AI가 '연결되는' 시기
MCP를 통해 AI가 사내 위키, DB, 티켓, 코드 저장소에 직접 붙습니다. 직원이 아무것도 입력하지 않아도 AI가 스스로 데이터를 가져옵니다.
통제 지점 · 연결과 권한AI가 '행동하는' 시기
에이전트가 스스로 판단해 도구를 호출합니다. 티켓을 닫고, 설정을 바꾸고, 메일을 보내고, 코드를 커밋합니다. 위험은 '무엇을 말했는가'가 아니라 '무엇을 했는가'입니다.
통제 지점 · 도구 호출과 행동프롬프트 검사만으로는 보이지 않는 것
아래 시나리오에서 직원은 민감정보를 한 글자도 입력하지 않았습니다.
- 1직원이 에이전트에 "지난주 이탈 고객 원인 정리해줘"라고 요청합니다.
- 2에이전트가 MCP로 고객 DB에 접속해 실제 고객 레코드를 조회합니다.
- 3조회한 내용을 요약해 외부 협업 도구의 공개 채널에 정리 문서를 생성합니다.
- 4프롬프트 DLP 로그에는 위반이 없습니다. 입력값은 평범한 업무 요청이었기 때문입니다.
유출은 입력이 아니라 행동에서 일어났습니다. 통제가 필요한 지점은 프롬프트가 아니라 "고객 DB 조회"와 "외부 공개 채널에 쓰기" 사이입니다.
MCP 환경의 5가지 위험
프로토콜 자체의 결함이 아니라, 연결이 늘어나면서 생기는 구조적 위험입니다.
MCP 서버가 제공하는 도구 설명문 자체에 숨은 지시를 심어 에이전트 행동을 유도합니다. 사용자 화면에는 정상적인 도구로 보입니다.
에이전트가 읽어온 문서·티켓·이슈 본문에 삽입된 문장이 명령으로 해석됩니다. 공격자는 AI에 직접 접근할 필요조차 없습니다.
연동 편의를 위해 넓은 범위의 토큰을 발급하면, 에이전트는 업무에 필요 없는 시스템까지 상시 접근할 수 있게 됩니다.
한 도구로 읽은 내부 데이터가 다른 도구를 거쳐 외부로 나갑니다. 개별 호출은 모두 정상이지만 연결하면 유출 경로가 됩니다.
에이전트가 어떤 도구를 어떤 인자로 호출했고 무엇을 바꿨는지 기록이 없으면, 사고 후 원인 규명도 규제 대응도 불가능합니다.
AI 가드레일의 3계층
가드레일은 하나의 기능이 아니라 세 개의 계층입니다. 세 번째 계층이 에이전트 시대의 실질적 승부처입니다.
입력 가드레일
— 사람과 시스템이 AI에 넣는 것프롬프트 내 민감정보, 프롬프트 인젝션 패턴, 정책 위반 요청을 모델에 도달하기 전에 검사합니다. 오늘날 대부분의 'AI 보안'이 여기까지입니다.
업계 성숙도 높음출력 가드레일
— AI가 사람에게 돌려주는 것응답에 포함된 민감정보, 내부 자격증명, 부적절하거나 근거 없는 내용을 검사합니다. RAG·사내 지식 연동이 늘수록 중요해집니다.
업계 성숙도 보통행동 가드레일
— AI가 시스템에 실제로 하는 것에이전트가 호출하려는 도구와 인자를 실행 직전에 검사합니다. 어떤 MCP 서버에 연결됐는지, 어떤 권한으로, 어떤 대상에 무슨 작업을 하려는지가 대상입니다. 되돌릴 수 없는 행동은 승인 절차로 보냅니다.
업계 성숙도 낮음 · 가장 큰 공백지금 점검할 6가지
특정 솔루션과 무관하게, 에이전트를 도입하는 조직이라면 답할 수 있어야 하는 질문들입니다.
가시성이 없으면 나머지 통제는 성립하지 않습니다. 개발자가 개인 계정으로 붙인 서버가 가장 흔한 사각지대입니다.
'일단 넓게 열고 나중에 좁히자'는 실무에서 거의 좁혀지지 않습니다. 발급 시점이 유일한 통제 기회입니다.
간접 프롬프트 인젝션 방어의 핵심입니다. 문서·티켓·웹 응답에 담긴 문장이 정책을 바꾸게 두면 안 됩니다.
삭제·전송·결제·권한 변경은 실행 후 복구가 어렵습니다. 자동화 범위와 승인 범위를 문서로 갈라두어야 합니다.
규제 대응과 사고 조사 모두 '누가 시켰고 에이전트가 무엇을 했는가'를 요구합니다. 대화 로그만으로는 부족합니다.
기술 통제보다 먼저 정해져야 하는 문제입니다. 에이전트가 일으킨 사고의 담당 조직이 없으면 통제도 운영되지 않습니다.
FlowGuard AI의 위치
현재 제공 중인 것과 앞으로 확장하려는 방향을 구분해 밝힙니다.
- 엔드포인트 기반 AI 사용 가시성 — 어떤 AI 도구가 어디서 쓰이는지
- 프롬프트·응답 민감정보 탐지 및 차단
- AI 코드 어시스턴트를 포함한 Shadow AI 탐지
- 조직별 정책 기반 통제와 감사 로그
- MCP 연동 가시성 — 어떤 에이전트가 어떤 시스템에 붙어 있는가
- 도구 호출 단위의 정책 검사와 행동 가드레일
- 간접 프롬프트 인젝션 탐지
- 에이전트 행동 감사 증적과 승인 워크플로
이 항목들은 현재 제품에 포함된 기능이 아니라 개발 중인 확장 방향입니다. 구체적인 일정과 범위는 문의해 주십시오.