AI 불법 조작물 탐지, 전국 전문인력 배치
AI 불법 조작물 탐지 체계가 영상과 이미지에 이어 음성, 문자까지 함께 살피는 방식으로 고도화된다. 조작 여부를 가려내는 데 그치지 않고 어떤 도구로 만들어져 어떤 과정을 거쳐 퍼졌는지 추적하는 수사 역량도 확충된다.
경찰청 국가수사본부는 딥페이크 성범죄는 물론 명예훼손, 투자사기, 보이스피싱 등 여러 범죄로 번지는 인공지능 악용에 대응하기 위해 ‘AI 불법 조작물 탐지·분석체계 고도화 기본계획’을 수립해 시행한다.
이번 계획의 핵심은 불법 조작물을 더 빠르고 정확하게 판별하고, 조작물이 만들어진 시점부터 유포된 단계까지 범행 전반을 분석할 수 있는 기반을 갖추는 것이다. 기술과 시스템뿐 아니라 전문인력, 업무 절차, 외부 전문가 협업 체계도 함께 정비한다.
정밀 탐지 체계 어떻게 달라지나
경찰은 AI 조작물 정밀 탐지 시스템 구축, 자동화 분석 도구 개발과 분석 기법 고도화, AI 전문분석관 운영, 표준 절차 정립, 전문가 그룹 운영 등을 포함한 8대 세부 과제를 진행한다.
우선 AI로 만든 불법 조작물인지 신속하게 판단할 수 있는 차세대 정밀 탐지 시스템을 구축한다. 경찰이 2024년부터 활용하고 있는 딥페이크 탐지 시스템에는 한국인 맞춤형 자료를 학습시켜 국내 실정에 맞도록 성능을 개선하고 있다.
기존 영상과 이미지 중심의 판별 범위도 넓힌다. 영상, 이미지, 음성, 문자를 복합적으로 살피는 멀티모달 딥페이크 탐지 기술을 연구·개발하고 있다. 멀티모달은 서로 다른 형태의 정보를 한꺼번에 분석하는 기술을 뜻한다.
구체적으로는 영상 속 인물의 입 모양과 목소리가 서로 맞는지, 음성으로 말한 내용과 화면에 표시된 자막이 일치하는지 등을 종합적으로 확인한다. 하나의 요소만 보는 것이 아니라 여러 정보 사이의 관계를 함께 살펴 탐지 성능을 높이는 방식이다.
2027년까지 91억 원 규모 연구
이 같은 기술을 개발하는 ‘허위조작 콘텐츠 진위여부 판별 시스템 개발’ 사업은 2025년부터 2027년까지 3년 동안 진행된다. 투입 예산은 총 91억 원 규모다.
연구개발이 끝나면 경찰만 사용하는 데 머물지 않고 모든 수사기관이 공동으로 활용할 수 있는 시스템을 구축하는 방안도 이어서 진행할 계획이다. 수사기관이 AI 조작물을 판별할 때 활용할 수 있는 공통 기반을 갖추겠다는 취지다.
| 사업 | 기간 | 예산 | 주요 내용 |
|---|---|---|---|
| 허위조작 콘텐츠 진위여부 판별 시스템 개발 | 2025년부터 2027년 | 91억 원 | 영상·이미지·음성·문자를 함께 분석하는 탐지 기술 개발 |
| 로컬환경 인공지능 모델 대상 포렌식 기술개발 | 2026년부터 2029년 | 100억 원 | 불법 조작물 생성·유포 과정 분석과 증거 추출 자동화 |
생성과 유포 과정까지 추적
생성형 AI 등을 이용해 조작물을 만들고 퍼뜨린 과정에 대한 분석 기술도 고도화한다. 경찰은 이용 빈도가 높은 주요 생성형 AI 서비스를 대상으로 범행 과정을 확인할 수 있는 분석 기법을 개발하고 있다.
분석 대상에는 프로그램 실행 이력과 명령어 기록, 조작에 사용된 특정 프로그램의 흔적, 변형된 자료 등이 포함된다. 어떤 프로그램이 이용됐는지를 식별하고 자료가 어떤 방식으로 바뀌었는지를 확인할 수 있도록 관련 기법을 개발해 설명서도 보급하고 있다.
새롭게 유행하는 기술에 관한 연구도 계속한다. AI 기술과 이를 악용하는 수법이 빠르게 달라지는 만큼 새로운 프로그램과 변형 방식에 관한 분석 성과를 수사 현장에 반영한다는 계획이다.
불법 조작물이 생성되고 유포되는 전체 과정을 분석해 증거를 추출하는 자동화 도구도 개발한다. 관련 사업인 ‘로컬환경 인공지능 모델 대상 포렌식 기술개발’은 2026년부터 2029년까지 4년 동안 총 100억 원 규모로 진행된다.
AI 전문분석관 전국 배치
기술 개발과 함께 전문인력과 조직도 확충한다. 경찰은 조작물 분석에 특화된 AI 전문분석관을 전국 시도경찰청에 배치해 운영한다. 현장 수사관과 분석관을 대상으로 한 전문교육도 대폭 확대한다.
AI 조작물 수사에서 필요한 탐지와 분석 역량을 전국 단위로 갖추고, 관련 사건을 맡는 현장 인력의 전문성도 함께 높이겠다는 구상이다. 분석 업무의 기준이 될 표준 절차도 정립해 기술과 인력이 수사 과정에서 체계적으로 활용되도록 한다.
민관학 전문가와 분석 성과 공유
대내외 협업 체계도 확대한다. 경찰은 민간과 정부, 학계 전문가로 구성된 그룹을 운영해 최신 AI 기술 동향을 공유한다. 주요 탐지 사례와 새로 등장한 프로그램의 분석 성과도 지속적으로 나눌 예정이다.
이를 통해 빠르게 변하는 AI 범죄 수법에 공동으로 대응한다. 정밀 탐지 시스템과 자동화 분석 도구, 전문분석관, 표준 절차, 전문가 협업 체계를 함께 운용해 가짜 콘텐츠를 찾아내고 제작·유포 경로까지 추적하는 수사 기반을 갖추는 것이 이번 계획의 방향이다.
김종철 경찰청장 직무대행은 AI를 이용한 범죄 수법이 빠르게 변하는 만큼 경찰의 대응도 달라져야 한다고 밝혔다. 경찰은 AI로 만든 가짜를 신속히 찾아내는 동시에 제작과 유포 과정까지 효과적으로 추적할 첨단 수사 역량을 갖춰 국민이 안심하고 AI 기술을 이용할 수 있도록 하겠다는 방침이다.
