삼성전자가 ChatGPT를 업무에 도입한 지 20일 만에 세 건의 기밀이 새어나갔어요.
반도체 설비 계측 자료, 수율 정보, 내부 회의록. 한번 올라간 내용은 회수도 삭제도 불가능했고, 다른 사람의 질문에 대한 답변으로 활용될 수 있다는 경고문을 임직원에게 배포한 뒤에야 부랴부랴 전사 사용 금지령이 내려졌어요.
그런데 이건 삼성만의 이야기가 아니에요. 실제 조사에 따르면 직원의 77%가 ChatGPT 등 AI 도구를 통해 민감한 회사 데이터를 공유하고 있어요. AI 도입이 2배 늘어나는 동안 AI 보안 사고는 7.5배 늘었다는 보도도 나왔고요. 기업이 LLM(대규모 언어 모델)을 도입할 때 데이터 보안을 어떻게 설계하느냐는, 이제 선택이 아니라 의무에 가까워지고 있어요.
LLM이 기업 데이터를 위협하는 구체적인 경로
OWASP(오픈 보안 프로젝트)가 2025년에 공개한 LLM Top 10 취약점 목록을 보면, 위협이 생각보다 훨씬 구체적이에요.
가장 흔한 건 프롬프트 인젝션이에요. 사용자 입력값을 악의적으로 조작해서 AI가 의도하지 않은 정보를 뱉어내도록 만드는 공격인데, 데이터 유출부터 시스템 접근까지 악용 범위가 넓어요.
두 번째는 시스템 프롬프트 유출이에요. 내부 지침이나 API 키가 담긴 시스템 프롬프트가 외부에 노출되면, 공격자가 제한을 우회하거나 시스템 전체를 장악할 수 있어요.
세 번째가 요즘 특히 주목받는 RAG 파이프라인 취약점이에요. RAG(검색 증강 생성)는 LLM을 사내 문서 DB와 연결하는 방식인데, 벡터 DB에 저장된 기밀 문서가 임베딩 역추적 공격으로 재구성될 수 있어요. OWASP 2025에서 새로 추가된 항목(LLM08)이기도 해요.
근데 기술적 공격보다 실제로 더 빈번한 건 Shadow AI 문제예요.
Shadow AI는 직원이 IT·보안 부서의 감시 없이 승인되지 않은 AI 도구를 쓰는 현상이에요. AI 사용을 금지해도 직원들은 개인 스마트폰으로 ChatGPT에 접속하고, 자비로 결제한 ChatGPT Plus를 개인 노트북에서 쓰면서 업무 자료를 입력해요. 보안팀이 보이지 않는 곳에서 데이터가 새어나가는 거죠.
포브스 AI 50 기업의 65%가 API 키나 인증 정보 같은 민감 기밀을 실제로 유출했다는 조사 결과도 있으니, 이건 특정 기업만의 문제가 아니에요.
기술적 방어: 세 가지 핵심 레이어
데이터 보안을 설계할 때 "AI를 금지하면 되지 않나요?"라고 묻는 분들도 있는데, 삼성 사례가 보여주듯 금지만으로는 Shadow AI를 막을 수 없어요. 핵심은 쓸 수 있는 안전한 채널을 만드는 것이에요.
기술적 방어는 크게 세 레이어로 나뉘어요.
첫 번째 레이어는 배포 방식 선택이에요. 온프레미스(사내 서버) LLM을 구축하면 데이터가 구조적으로 사내망을 벗어나지 않아요. LG CNS가 2025년 1,110억 파라미터 규모 LLM을 온프레미스 방식으로 출시한 것도 이 맥락이에요. 클라우드 방식을 쓴다면, OpenAI ChatGPT Enterprise처럼 제로 데이터 보존(ZDR) 정책을 지원하는 제품을 선택해야 해요. 2025년 6월부터 OpenAI는 관리자 콘솔에서 데이터 보존 기간을 직접 설정할 수 있는 기능을 도입했고, EU 데이터센터도 운영해 GDPR을 충족하도록 했어요.
두 번째 레이어는 접근권한 관리(RBAC)예요. 역할 기반 접근제어를 적용해서 AI가 접근할 수 있는 데이터 범위를 직무별로 제한해야 해요. 내부 사용자 권한 관리가 미흡하면 AI가 권한을 넘는 데이터를 요약·노출하는 사고가 생기거든요. 로그 암호화와 개인정보·기밀 마스킹 정책도 함께 적용해야 해요.
세 번째 레이어는 입력 필터링과 DLP(데이터 유출 방지)예요. 특정 키워드, 패턴, 데이터 유형을 사전에 필터링해서 민감 정보가 프롬프트에 포함되는 걸 차단하는 거예요. 요즘 DLP는 원본 형식이 변환된 경우에도 의미론적 의도를 분석해서 유출을 감지할 수 있어야 해요. 단순한 키워드 차단만으로는 부족한 시대가 됐어요.
법적 의무와 거버넌스: 과징금부터 안내서까지
기술 대책만큼 중요한 게 법적·제도적 대응이에요.
한국에서는 2025년 8월 개인정보보호위원회가 「생성형 AI 개발·활용을 위한 개인정보 처리 안내서」를 공개했어요. 목적 설정, 전략 수립, AI 학습 및 개발, 시스템 적용 및 관리의 4단계로 기업이 지켜야 할 최소 기준을 제시하고 있어요. 개인정보보호법 위반 시 전체 매출의 3%까지 과징금이 부과될 수 있고요.
EU는 더 까다로워요. GDPR 누적 과징금이 2026년까지 약 58억 8,000만 유로에 달했어요. GDPR 제35조는 자동화된 결정·프로파일링이나 대규모 민감정보 처리 시 개인정보 영향평가(DPIA)를 의무화하고 있어요. AI를 도입하는 기업이라면 DPIA 절차를 반드시 밟아야 한다는 얘기예요.
그리고 내부 거버넌스 측면에서, NIST AI 위험 관리 프레임워크를 기반으로 AI 사용 정책을 수립하는 기업이 늘고 있어요. LLM 운영 보안의 핵심은 네 가지예요. 프롬프트 검증·필터링(입력 처리), RBAC(민감 데이터 접근 제한), 에이전트 권한 범위 통제(외부 행위 제한), 감사 로그·모니터링(검증 절차). 이 네 가지 레이어를 갖추지 못한 기업은 언제든 삼성 사례의 재현에 노출돼 있어요.
AI 거버넌스 커뮤니티나 CISO 포럼에서 가장 많이 나오는 이야기가 바로 이 부분이에요. "우리 회사는 아직 AI 정책이 없어요"라는 말이 부끄럽지 않던 시대는 이미 끝났다는 거예요.
결국 LLM 도입은 생산성의 문제만이 아니에요.
데이터가 어디에 저장되는지, 누가 접근할 수 있는지, 사고가 났을 때 법적 책임은 어떻게 되는지. 이 세 가지 질문에 답을 갖추지 않은 상태에서 직원들에게 AI를 쓰게 하는 건, 문을 열어둔 채 금고를 자랑하는 것과 비슷해요.
기술이 빠르게 바뀌는 만큼 위협도 계속 진화하고 있고, 규제는 그 뒤를 빠르게 따라오고 있어요.
참고: 개인정보보호위원회 생성형 AI 개인정보 처리 안내서, OWASP LLM Top 10 2025 한국어판