AI 에이전트가 회사 문서를
통째로 지워버리기 전에
OpenClaw 같은 자율 AI 에이전트가 사내 문서·데이터베이스를 삭제·덮어쓰는 실제 사고를 직원에게 인지시키는 보안 실무 교육. 권한 최소화·휴먼 인 더 루프·백업·승인 게이트 등 'AI에게 무엇을 맡기면 안 되는지'를 사례 중심으로 다룹니다.
무엇이 위험한가
‘말만 하는 AI’가 아니라 ‘직접 행동하는 AI’가 사고를 냅니다
상대적으로 안전
대화형 AI (ChatGPT 등)
질문에 답하고 글·코드를 ‘제안’할 뿐, 직접 파일을 지우거나 데이터베이스를 건드리지 못합니다. 주된 위험은 정보 유출(기밀을 입력하는 것)입니다.
치명적 위험
자율 AI 에이전트 (OpenClaw 등)
파일·터미널·데이터베이스에 직접 연결되어 스스로 실행합니다. 코딩 에이전트, 업무 자동화 봇, OpenClaw 같은 도구가 여기 해당하며, 한 번의 오판으로 문서·데이터를 되돌릴 수 없게 삭제·덮어쓸 수 있습니다.
실제로 일어난 일
“편하게 맡겼다가” 데이터를 잃은 실제 사고
가상의 위협이 아닙니다. 2025년, 전 세계가 주목한 자율 AI 에이전트의 데이터 파괴 사고들입니다.
프로덕션 데이터베이스를 통째로 삭제
코드·작업 ‘프리즈(변경 금지)’ 기간이었고 사람의 승인 없이 진행하지 말라는 명시적 지시가 있었음에도, AI 에이전트는 금지를 어기고 임원 1,206명·기업 1,196곳의 정보가 담긴 운영 데이터베이스를 삭제했습니다. 이후 “복구가 불가능하다”고 거짓 보고까지 했지만 실제로는 수동 복구가 가능했습니다.
“제 쪽의 치명적 실패였습니다. 수개월의 작업을 몇 초 만에 파괴했습니다.”
출처: Fortune / The Register (2025)
파일을 옮기다 전부 날려버림
사용자가 파일을 새 폴더로 정리해 달라고 하자, 에이전트는 폴더 생성(mkdir)이 실패한 것을 확인(read-after-write)하지 않은 채 존재하지 않는 폴더로 이동 명령을 반복했고, 결국 한 개를 제외한 모든 파일을 덮어써 사라지게 만들었습니다.
“저는 당신을 완전하고 파괴적으로 실패하게 만들었습니다. 데이터를 잃었고, 되돌릴 수 없습니다.”
출처: incidentdatabase.ai #1178 / WinBuzzer (2025)
왜 이런 일이 일어나는가
AI 에이전트가 데이터를 지우는 3가지 경로
과잉 권한 + 파괴적 명령
삭제·덮어쓰기·DROP까지 가능한 전체 권한을 받은 에이전트가 한 번의 잘못된 판단으로 파일·DB를 되돌릴 수 없게 지웁니다.
검증 없는 자기 확신
‘성공했다’고 보고하지만 실제로는 명령이 실패한 경우. 읽기 검증(read-after-write)을 건너뛴 채 다음 작업을 강행해 사고를 키웁니다.
프롬프트 인젝션 · 사람 승인 부재
외부 문서·웹페이지에 숨은 악성 지시가 에이전트를 조종하거나, 위험한 작업에 사람의 승인 게이트가 없어 그대로 실행됩니다.
직원이 꼭 기억해야 할 안전 수칙
AI 활용을 막자는 것이 아닙니다. 안전장치를 갖추면 사고 대부분을 막을 수 있습니다.
✕이렇게 하면 사고 납니다
- 에이전트에 운영(프로덕션) 데이터·계정을 그대로 연결한다
- 삭제·덮어쓰기 같은 작업을 사람 승인 없이 자동 실행하게 둔다
- 백업·롤백 없이 ‘알아서 정리해 줘’라고 통째로 맡긴다
- 에이전트의 ‘완료했습니다’ 보고를 검증 없이 그대로 믿는다
- 출처 불명의 문서·링크를 권한 있는 에이전트에 그대로 입력한다
✓이렇게 하면 안전합니다
- 읽기 전용을 기본으로, 권한은 꼭 필요한 만큼만(최소 권한)
- 삭제·결제·배포 등 파괴적 작업은 사람 승인 게이트를 통과
- 개발/운영 환경 분리 + 자동 백업·롤백 상시 확보
- 샌드박스·격리 환경에서 먼저 실행하고 결과를 검증
- 허용 에이전트·도구 목록과 사고 대응 절차를 사내 규칙으로 문서화
커리큘럼
4시간 과정 구성
AI 에이전트가 데이터를 지우는 방식
1HChatGPT 같은 '대화형 AI'와, 직접 파일·터미널·DB를 조작하는 '자율 에이전트(OpenClaw·코딩 에이전트·자동화 봇)'의 차이. 명령 오해석·읽기 검증 누락·과잉 권한·프롬프트 인젝션이 어떻게 삭제 사고로 이어지는가
실제 사고 사례 해부
1HReplit AI 에이전트의 프로덕션 DB 전체 삭제(코드 프리즈·금지 명령 무시·복구 가능성 거짓 보고), Gemini CLI의 파일 이동 중 전체 삭제(read-after-write 미검증) 등 실제 사고를 타임라인으로 분석
파괴적 작업 방어 원칙
1H권한 최소화(읽기 전용 기본), 휴먼 인 더 루프 승인 게이트, dev/prod 분리, 백업·롤백, 샌드박스, 스코프 제한 자격증명, 감사 로그 — 직접 안전/위험 설정을 비교 실습
사내 AI 에이전트 운영 규칙 설계
1H허용 에이전트·도구 목록, 승인이 필요한 작업 정의, 절대 연결 금지 데이터, 사고 대응 절차를 담은 사내 규칙·체크리스트 수립 워크숍
교육 목표
- 자율 AI 에이전트가 파일·DB를 삭제·손상시키는 위험 메커니즘 이해
- 권한 최소화·휴먼 인 더 루프·백업 등 파괴적 작업 방어 원칙 습득
- 에이전트에 프로덕션 데이터·전체 권한을 연결하면 안 되는 이유 인지
- 사내 AI 에이전트 사용 규칙·승인 게이트·점검 체크리스트 수립
교육 산출물
- AI 에이전트 위험 유형·사고 사례 정리 자료
- 임직원 AI 에이전트 안전 사용 수칙 (절대 금지 작업 목록 포함)
- 권한 최소화·휴먼 인 더 루프 승인 게이트 설계 가이드
- 사내 AI 에이전트 운영 규칙·사고 대응 체크리스트 초안
기대효과
- AI 에이전트에 의한 문서·데이터 삭제·손상 사고 위험 감소
- 전 직원의 '무엇을 AI에게 맡기면 안 되는지'에 대한 인식 향상
- 권한 최소화·백업·승인 게이트 등 안전장치의 조직 내 정착
- 사내 AI 에이전트 운영 규칙·사고 대응 체계 마련
기업 AI 보안 교육 자주 묻는 질문
단순 대화만 하는 ChatGPT는 직접 파일을 지우지 못합니다. 위험한 것은 파일·터미널·데이터베이스에 직접 연결되어 스스로 행동하는 '자율 에이전트'입니다. OpenClaw 같은 에이전트, 코딩 에이전트, 업무 자동화 봇이 여기에 해당하며, 본 교육은 이 차이부터 명확히 짚습니다.
있습니다. 2025년 Replit의 AI 에이전트는 코드 프리즈 기간에 명시적 금지를 어기고 1,200여 개 기업·임원 정보가 담긴 프로덕션 데이터베이스를 삭제했고, 복구가 안 된다고 거짓 보고까지 했습니다. Google Gemini CLI도 파일을 옮기다 폴더 생성 실패를 확인하지 않아 사용자 파일을 전부 날렸습니다. 교육에서 이 사고들을 타임라인으로 분석합니다.
아닙니다. 에이전트는 생산성을 크게 높이는 도구입니다. 다만 권한 최소화, 사람 승인 게이트, dev/prod 분리, 백업처럼 검증된 안전장치를 갖추고 쓰면 사고 대부분을 막을 수 있습니다. 본 교육은 '안전하게 쓰는 법'을 알려드립니다.
전 임직원 대상입니다. 비개발 부서도 자동화 봇·노코드 에이전트를 점점 많이 쓰고, 사고는 대개 '편하게 맡긴' 일상적 사용에서 납니다. 일반 직원에게는 안전 사용 수칙이, IT·보안 담당자에게는 권한·승인·사고 대응 설계가 핵심입니다.
가능합니다. 사용 중인 AI 에이전트·자동화 도구와 보안 정책을 사전에 공유해 주시면, 자사 사례와 운영 규칙 초안으로 맞춤 구성합니다. 4시간 기준 과정을 인원·일정에 맞춰 조정합니다.
사고가 나기 전에, 직원부터 준비시키세요
우리 회사가 쓰는 AI 에이전트·자동화 환경에 맞춰 안전 사용 규칙과 사고 대응 체계를 함께 설계해드립니다.