AI 활용법, 프롬프트 모음이 아니라 네 가지 기준이 필요합니다

"AI 활용법"을 검색하면 좋은 프롬프트 모음이나 도구별 사용 팁이 먼저 나옵니다. 하지만 기업·공공기관 담당자에게 필요한 AI 활용법은 챗봇에 무엇을 입력하느냐의 문제가 아닙니다. 조직이 어떤 업무에 AI를 쓰도록 허용하고, 입력에 어떤 데이터를 넣을 수 있는지, 결과물을 누가 검증하는지, 그 과정을 어떻게 기록하는지를 정하는 네 가지 기준이 AI 활용법입니다. 이 기준이 없으면 직원 각자가 이미 자기 방식대로 AI를 쓰고 있을 뿐, 조직 차원의 활용법은 존재하지 않습니다.

기준을 정하기 전에 먼저 확인할 것이 있습니다. 조직이 손을 대기도 전에 이미 무슨 일이 벌어지고 있는가입니다.

"AI 활용법"을 검색하는 사람은 사실 다른 답을 찾고 있습니다

개인이 "AI 활용법"을 검색하면 프롬프트 예시나 특정 도구의 기능 소개로 충분합니다. 그런데 담당자가 조직 차원에서 같은 단어를 검색하는 이유는 다릅니다. 어떤 업무에 AI를 허용할지, 입력한 자료가 외부로 새지 않을지, 결과물을 믿고 바로 써도 되는지를 판단할 기준이 없어서입니다. 프롬프트 모음을 더 찾아본다고 이 판단 기준이 생기지는 않습니다.

직원들은 이미 AI를 쓰고 있습니다 — 허락을 기다리지 않았을 뿐입니다

Microsoft와 LinkedIn이 31개국 지식근로자를 조사한 2024 Work Trend Index 연례 보고서에 따르면, 지식근로자의 75%가 이미 업무에 AI를 쓰고 있고, 그중 46%는 최근 6개월 안에 시작했습니다. 조직이 활용법을 정하기 전에 현장에서 먼저 쓰기 시작한 것입니다.

더 눈여겨볼 수치는 AI 사용자의 78%가 조직이 제공하지 않은 개인용 AI 도구를 업무에 그대로 가져다 쓰는 BYOAI(Bring Your Own AI)를 하고 있다는 점입니다. 중소기업에서는 이 비율이 80%로 더 높습니다. 같은 보고서는 AI 사용자 절반 이상(52%)이 가장 중요한 업무에 AI를 썼다는 사실을 밝히기를 꺼린다고 전합니다. 조직이 허용 범위를 정해 주지 않으니 직원들은 몰래 쓰면서 회사 데이터를 외부 도구에 그대로 입력하고 있는 셈입니다.

조직이 "AI를 써도 된다/안 된다"만 정하고 멈추면, 직원은 금지된 업무를 몰래 다른 도구로 처리합니다. 허용 여부보다 허용 범위와 입력 데이터 기준을 먼저 정해야 하는 이유입니다.

첫 번째 기준 — 어떤 업무에 AI를 써도 되는지 먼저 정합니다

OECD가 7개국 근로자 5,334명과 기업 2,053곳을 설문한 「Using AI in the workplace」 보고서는 AI 사용자의 약 80%가 AI 덕분에 업무 성과가 개선됐다고 답했다고 밝혔습니다. 다만 이 수치는 자발적으로 AI를 택한 사람들의 응답이라, 어떤 업무에 AI를 썼는지는 사람마다 제각각입니다.

개인정보보호위원회가 공개한 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」는 AI 활용 방식을 서비스형 LLM 활용(예: ChatGPT API 연계), 기성 LLM 활용(예: 오픈소스 모델 활용), 자체개발 세 유형으로 나눕니다. 조직이 업무별로 어떤 유형을 쓸지부터 정해야 그 다음 기준(입력 데이터, 검증, 기록)도 유형에 맞게 달라집니다. 유형을 구분하지 않고 "AI 써도 됩니다"로만 공지하면, 외부 서비스에 자료를 올리는 업무와 내부에서만 돌리는 업무가 같은 기준으로 묶여 버립니다.

두 번째 기준 — 입력에 넣을 수 있는 데이터를 통제합니다

같은 안내서는 생성형 AI 개발·활용 생애주기를 목적 설정, 전략 수립, 학습 및 개발, 적용 및 관리 4단계로 나누고 각 단계에서 확인할 최소 안전조치를 제시합니다. 특히 목적 설정 단계에서는 개인정보 종류·출처별로 AI 학습에 쓸 수 있는 적법한 근거가 있는지를 먼저 따지도록 요구합니다.

공공기관은 여기서 한 단계 더 나갑니다. 개인정보위는 「개인정보 영향평가에 관한 고시」 개정안을 통해 2025년 9월 5일부터 '인공지능 시스템 학습 및 개발'과 '인공지능 시스템 운영 및 관리' 두 평가분야를 신설했습니다. 학습·개발 분야는 민감정보나 14세 미만 아동정보가 불필요하게 포함되지 않는지, AI 학습용 데이터의 보유·파기 기준이 명확한지를 확인합니다. 영향평가 의무 자체는 민감·고유식별정보 5만 명 이상, 다른 개인정보파일과 연계한 정보 50만 명 이상, 개인정보 100만 명 이상인 공공기관에 적용되지만, 개인정보위는 이 기준이 민간기업에도 참고자료로 쓰일 수 있다고 밝혔습니다. 민간 조직이라도 "AI 입력창에 어떤 정보까지 넣을 수 있는지"를 정할 때는 이 두 질문(불필요한 민감정보 포함 여부, 보유·파기 기준)을 그대로 가져올 수 있습니다.

세 번째 기준 — 결과물은 누가, 무엇을 검증하는지 정합니다

NIST가 2024년 7월 발표한 생성형 AI 리스크 관리 프레임워크(NIST AI 600-1)는 생성형 AI 특유의 위험 중 하나로 '컨퍼뷸레이션(confabulation)'을 꼽습니다. 그럴듯하지만 사실이 아닌 내용을 AI가 확신에 찬 말투로 내놓아 사용자가 그대로 믿게 되는 현상입니다. 같은 문서는 사람이 AI 결과물을 자동으로 신뢰해 버리는 '오토메이션 바이어스(automation bias)'가 이 위험을 더 키운다고 설명합니다.

검증 기준을 정한다는 것은 모든 결과물을 똑같이 재확인하라는 뜻이 아닙니다. 어떤 업무의 결과물에서 사실 확인이 특히 중요한지(수치, 법령, 고객 응답 등), 그 확인을 누가 맡는지를 미리 정해 두는 것입니다. 기준이 없으면 바쁠 때는 검증 없이 그대로 쓰고, 여유 있을 때만 다시 확인하는 식으로 품질이 들쭉날쭉해집니다.

네 번째 기준 — 검증을 통과한 사용법을 기록하고 교육합니다

세 번째 기준을 통과한 업무 방식은 누군가의 기억에만 남기지 말고 문서로 남겨야 재현됩니다. Anthropic의 프롬프트 작성 가이드는 지시·맥락·예시가 섞인 복잡한 프롬프트일수록 XML 태그로 내용을 구분하면 AI가 오해 없이 처리한다고 안내합니다. 예시는 3~5개를 포함하는 것이 효과적이고, 긴 문서를 다룰 때는 문서를 지시문보다 앞쪽에 배치하는 편이 응답 품질을 높입니다.

이 원칙 자체를 외워서 쓸 필요는 없습니다. 중요한 것은 검증을 통과한 지시문을 아무 형식 없이 메모로만 남기지 않고, 누가 봐도 같은 결과를 낼 수 있는 형태로 기록해 두는 것입니다. 수집한 지시문을 검증하고 부서 전체에 배포하는 절차는 별도로 다룰 만큼 내용이 많아, 아래 "함께 보면 좋은 자료"에 연결해 두었습니다.

함께 보면 좋은 자료

• 프롬프트 엔지니어링, 잘 쓰는 사람의 방식을 조직 표준으로 옮기는 법 — 네 번째 기준(기록·교육)의 수집·검증·배포 절차를 자세히 다룹니다.
• AI 보안, 입력과 출력 두 흐름이면 충분합니다 — 두 번째·세 번째 기준을 보안 관점에서 점검표로 정리한 글입니다.
• AI 거버넌스, 전담 조직 없이 지침부터 만드는 순서 — 네 가지 기준을 전담 조직 없이 먼저 문서화하는 순서를 다룹니다.
• 무료 AI 활용 진단 — 우리 조직이 네 기준 중 어디부터 비어 있는지 먼저 확인해 보세요.

자주 묻는 질문

• AI 활용법과 프롬프트 엔지니어링은 같은 건가요?
  다릅니다. AI 활용법은 업무 선택·입력 데이터·결과 검증·기록까지 네 가지를 정하는 조직 기준이고, 프롬프트 엔지니어링은 그중 네 번째 기준(기록·교육)을 실행하는 세부 절차입니다.
• 직원들이 이미 각자 방식으로 AI를 쓰고 있다면 무엇부터 정해야 하나요?
  Microsoft·LinkedIn 조사에서 드러난 BYOAI 현상처럼 입력 데이터가 외부로 새는 경로가 가장 먼저 막아야 할 지점입니다. 업무 허용 범위보다 입력 데이터 통제 기준을 먼저 정하는 쪽이 리스크를 더 빨리 줄입니다.
• 공공기관이 아니어도 개인정보위의 영향평가 기준을 참고해야 하나요?
  영향평가 의무 자체는 일정 규모 이상 공공기관에 적용되지만, 개인정보위는 이 기준이 민간기업에도 참고자료로 활용될 수 있다고 밝혔습니다. 민감정보 포함 여부와 데이터 보유·파기 기준은 민간 조직도 그대로 가져다 쓸 수 있습니다.
• AI 결과물은 매번 검증해야 하나요?
  전부 똑같이 재확인할 필요는 없습니다. 수치·법령·고객 응대처럼 사실 오류의 영향이 큰 업무를 먼저 정해 검증 대상과 담당자를 지정하는 것이 우선입니다.

참고한 자료

• 개인정보보호위원회 (2025.08), 「생성형 인공지능(AI) 개발·활용 위한 개인정보 처리 기준 제시한다」, 원문 보기
• 개인정보보호위원회 (2025.09), 「공공기관 인공지능 활용 시 개인정보 보호 강화된다」, 원문 보기
• NIST (2024.07), 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」, 원문 보기
• OECD (2024.03), 「Using AI in the workplace: Opportunities, risks and policy responses」, 원문 보기
• Microsoft·LinkedIn (2024.05), 「2024 Work Trend Index Annual Report」, 원문 보기
• Anthropic (확인일 2026-10-08), 「Prompting best practices」, 원문 보기