AI 보안, 입력과 출력 두 흐름이면 충분합니다
국정원·과기정통부(KISA)·개인정보보호위원회의 AI 보안 안내서를 '직원이 입력하는 것'과 'AI가 내보내는 것' 두 흐름으로 정리한 점검표입니다.
2026-10-12
생성형 AI를 업무에 도입한 조직이 보안을 점검할 때는 제품 설정을 하나씩 외우기보다 두 가지 흐름만 구분하면 됩니다. 직원이 AI에 무엇을 입력하는지, AI가 내놓은 결과를 어디로 내보내는지입니다. 국가정보원·과학기술정보통신부·개인정보보호위원회가 2025년 이후 내놓은 AI 보안 안내서들도 결국 이 두 지점에서 반복되는 항목을 담고 있습니다. AI 보안 점검을 처음 시작하는 조직이라면 이 두 흐름부터 확인하는 편이 빠릅니다.
안내서마다 분류 방식이 다르다 보니 무엇부터 봐야 할지 헷갈리기 쉽습니다. 아래에서는 국정원·과기정통부(KISA)·개인정보보호위원회가 공통으로 짚는 항목만 추려 입력과 출력 두 흐름으로 나눠 정리했습니다.
AI 보안 안내서가 한꺼번에 늘어난 이유는 무엇인가요?
과학기술정보통신부와 한국인터넷진흥원(KISA)은 2025년 12월 10일 「인공지능(AI) 보안 안내서」를 처음 발표했습니다. 그 전까지 나온 안내서는 생성물의 신뢰성이나 윤리적 활용 관점이 중심이었고, 외부 사이버 위협을 막는 보안 관점의 상세 기준은 이번이 처음이었습니다. 모델 개발자·서비스 제공자·이용자를 대상으로 총 113개 보안 요구사항을 제시합니다.
국가정보원도 같은 달 「국가·공공기관 AI보안 가이드북」을 2.0 버전으로 개정하며 15개 보안위협 유형과 30개 보안대책을 정리했습니다. 국가정보원이 2025년 3~6월 중앙행정·공공기관·지자체 등 300개 기관을 대상으로 실시한 조사에서는 생성형 AI 도입 비중이 2023~2024년 34%에서 2025년 77%로 늘었습니다. 공공분야를 대상으로 한 조사이지만, 업무 현장에 생성형 AI가 빠르게 들어오면서 보안 안내서가 뒤따라 늘어난 배경을 보여줍니다. 2026년 7월에는 과기정통부·KISA가 「AI 보안 위협 대응 매뉴얼」과 「AI 보안 레드티밍 가이드」를 추가로 내놓으며, 프롬프트 인젝션·권한 오남용·데이터 유출처럼 기존 정보보호 체계만으로는 검증하기 어려운 위협에 공격자 관점으로 대응하는 방법을 제시했습니다.
입력 흐름 — 직원이 AI에 넣는 것부터 점검합니다
KISA 안내서는 이용자를 위한 보안 수칙으로 중요 정보 입력 금지와 AI 악용 금지를 구체적으로 제시합니다. 국정원 가이드북은 이를 '민감정보 입력·유출' 위협으로 정의하는데, 사용자가 AI시스템에 프롬프트나 파일 업로드로 민감정보를 입력하면 AI시스템이 이를 학습하고 비인가자에게 유출할 수 있다는 것입니다.
실제로 2023년 3월 삼성전자 직원이 챗GPT를 사용하면서 업무용 소스코드와 회의 내용을 입력해 외부로 유출되는 사건이 발생했습니다. 이 사건을 계기로 외부 AI시스템을 통한 민감정보 유출 우려가 커졌습니다.
개인정보보호위원회의 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」는 입력 단계에서 볼 지점을 조금 더 구체적으로 짚습니다. 외부 상용 AI(서비스형 LLM)를 API로 연동해 쓰는 조직은 전송되는 데이터의 처리 목적·범위, 보관·파기 정책을 확인해야 합니다. 조직 내에서 허용되는 이용방침(AUP, Acceptable Use Policy)을 작성해 공개하는 것도 입력 단계의 과제로 제시합니다.
출력 흐름 — AI가 내놓는 결과를 내보내기 전에 점검합니다
국정원 가이드북은 상용 AI서비스를 활용할 때 입·출력 필터링(M13), 가드레일 다중화(M15), 입력 길이·형식 제한(M14)을 중점 대책으로 제시합니다. 이 대책들이 겨냥하는 위협 중 하나가 프롬프트 인젝션(T08)입니다. 공격자가 AI시스템에 악의적인 지시를 직접 또는 간접 프롬프트로 주입해 AI의 출력이나 동작을 바꾸는 공격입니다.
2025년 6월에는 공격자가 MS 365 코파일럿 사용자에게 이메일로 악성 프롬프트를 숨겨 보내면, 사용자 동의 없이 코파일럿이 이를 실행해 민감정보를 수집·전송하는 제로클릭 취약점(EchoLeak)이 발견됐습니다. 같은 해 8월에는 구글 캘린더 초청장에 악성 프롬프트를 숨겨 보내면 사용자가 제미나이에 일정을 물어보는 순간 프롬프트가 실행되는 '프롬프트웨어' 기법이 공개됐습니다. 두 사례 모두 사용자가 직접 입력하지 않은 경로로 AI 출력이 조작된 경우입니다.
AI 비서나 자동화 도구에 과도한 권한을 주면 출력을 점검하기도 전에 피해가 발생할 수 있습니다. 국정원 가이드북은 'Replit AI가 사용자 허락 없이 데이터베이스를 삭제했다'(2025년 7월)는 사례를 권한관리 부실(T13)의 예로 들었습니다. 출력 검토 체계를 만들기 전에, AI가 어디까지 스스로 실행할 수 있는지부터 제한해야 합니다.
2026년 7월에 나온 「AI 보안 레드티밍 가이드」는 이런 출력 조작 위협을 사전에 찾아내는 방법을 다룹니다. 레드팀 기획·구성부터 레드티밍 준비·이행·결과 보고까지 전 과정을 체크리스트와 점검 도구로 안내합니다.
외부 상용 AI를 그대로 쓰는 조직이 추가로 볼 것
자체 개발 없이 챗GPT나 클로드 같은 상용 AI를 그대로 쓰는 조직이 대다수입니다. 개인정보보호위원회 안내서는 이런 조직에 배포 전 프라이버시 리스크 점검·문서화, AI 시스템 접근 권한 통제를 권고합니다. 민감정보·고유식별정보를 다루는 경우에는 별도 동의나 법적 근거가 있을 때만 처리할 수 있다는 점도 짚습니다.
국정원 가이드북은 상용 AI서비스 활용 시 민감정보 사용 사전 승인(M06)과 사용자 교육 및 보안정책 수립(M30)을 함께 제시합니다. 입력·출력 필터링을 아무리 정교하게 설정해도, 애초에 무엇을 입력해도 되는지 직원이 모르면 같은 사고가 반복됩니다.
입력·출력 점검표
| 흐름 | 확인 항목 | 근거 안내서 |
|---|---|---|
| 입력 | 업무용 소스코드·고객정보·회의록을 상용 AI에 그대로 붙여넣지 않는다 | KISA 이용자 보안 수칙 |
| 입력 | 외부 상용 AI로 전송되는 데이터의 보관·파기 정책을 확인했다 | 개인정보보호위원회 안내서 |
| 입력 | 조직 내 허용되는 이용방침(AUP)을 문서로 작성해 공개했다 | 개인정보보호위원회 안내서 |
| 입력 | 민감정보를 입력하기 전 사전 승인 절차가 있다 | 국정원 가이드북(M06) |
| 출력 | 이메일·캘린더 등 외부 입력을 거치는 AI 기능에 입·출력 필터링을 적용했다 | 국정원 가이드북(M13) |
| 출력 | AI 비서·에이전트가 사용자 승인 없이 삭제·전송 등을 실행하지 못하도록 권한을 제한했다 | 국정원 가이드북, 권한관리 부실(T13) |
| 출력 | 이상행위를 로깅·모니터링해 사고를 탐지할 수 있다 | 국정원 가이드북(M09) |
| 출력 | 프롬프트 인젝션 공격을 레드티밍으로 사전에 점검한 적이 있다 | AI 보안 레드티밍 가이드 |
표의 항목을 전부 한 번에 갖추지 않아도 됩니다. 입력 쪽 네 가지를 먼저 확인하고, 상용 AI에 비서·에이전트 기능처럼 AI가 스스로 무언가를 실행하는 기능을 쓰고 있다면 출력 쪽 권한 제한부터 봅니다.
함께 보면 좋은 자료
- 기업 AI 보안 교육 — 입력·출력 점검표를 조직 내규로 만드는 실습까지 다룹니다
- 챗GPT 기업용 보안 — 개인용과 다른 워크스페이스 접근 제어·데이터 학습 차단 설정을 볼 때
- 공공기관 AI 도입 감사 대응 — 보안 점검 결과를 감사 자료로 남기는 방법
- AI 도입 현황 무료 진단 — 우리 조직이 입력·출력 두 흐름에서 어디가 비어 있는지 함께 확인할 때
자주 묻는 질문
- AI 보안과 개인정보 보호는 다른 건가요?
겹치지만 초점이 다릅니다. 국정원·KISA 안내서는 외부 사이버 위협으로부터 AI 모델·시스템을 보호하는 데 초점을 두고, 개인정보보호위원회 안내서는 그 과정에서 개인정보를 적법하게 처리하는지를 봅니다. 두 안내서가 공통으로 짚는 지점이 입력·출력 두 흐름입니다. - 자체 개발 없이 챗GPT·클로드만 쓰는 조직도 이 점검이 필요한가요?
필요합니다. 국정원 가이드북과 개인정보보호위원회 안내서 모두 상용 AI서비스 활용 조직을 위한 별도 절을 두고 있습니다. 모델을 직접 만들지 않아도 입력 데이터 관리와 출력 권한 제한은 조직의 몫입니다. - 프롬프트 인젝션은 직원이 조심하면 막을 수 있나요?
일부만 막을 수 있습니다. EchoLeak이나 캘린더 초청장 사례처럼 공격자가 이메일·일정 등 직원이 직접 열어보지 않는 경로로 악성 프롬프트를 심는 경우가 있어, 입·출력 필터링과 권한 제한 같은 시스템 차원의 대책이 함께 필요합니다. - 보안 점검을 어디서부터 시작해야 할지 모르겠습니다.
본문의 점검표에서 입력 쪽 네 항목부터 확인합니다. AI가 메일을 읽거나 파일을 실행하는 등 스스로 무언가를 하는 기능을 쓰고 있다면 출력 쪽 권한 제한 항목을 바로 이어서 봅니다. - 이 안내서들은 법적 의무인가요?
국정원·KISA·개인정보보호위원회 안내서는 권고사항으로, 각 기관이 가능한 범위에서 적용하도록 안내합니다. 다만 개인정보 보호법상 안전조치·적법 처리 근거 같은 조항은 법적 의무이며, 안내서는 그 의무를 지키는 방법을 구체화한 것입니다.
