AI로 디지털성범죄 선제 대응 강화

AI 기반 디지털성범죄 모니터링 시스템 구축

정부가 디지털성범죄에 선제적으로 대응하기 위해 인공지능(AI) 기술을 활용한 지원시스템을 구축하며 피해 지원체계를 한층 강화하고 있다. 성평등가족부는 지난해 과학기술정보통신부 주관 <디지털 기반 사회현안 프로젝트> 공모에 참여해 'AI 기반 아동·청소년 온라인 성착취 선제 대응 시스템'을 개발했다고 밝혔다.

24시간 AI 모니터링으로 아동·청소년 성착취 정보 탐지

이 시스템은 AI를 활용해 랜덤채팅앱, 소셜미디어, 오픈채팅방 등에서 아동·청소년 대상 온라인 성착취 유인 행위와 성착취물을 자동으로 탐지·분석·신고한다. 크롤링 알고리즘을 통해 24시간 365일 끊임없이 관련 정보를 모니터링하며, AI 기반 유해성 분석으로 선별된 게시물은 검토 후 플랫폼에 신고 및 삭제 요청 조치가 이루어진다.

기존 수동 모니터링에서 AI 자동화로 전환

기존에는 직원들이 직접 검색하며 모니터링을 진행했으나, 이번 시스템 도입으로 AI 자동 모니터링 체계로 전환되어 온라인 성착취 징후를 신속히 탐지하고 피해 발생 전 선제적 대응이 가능해졌다. 중앙디지털성범죄피해자지원센터 삭제기술팀 박성혜 팀장은 "아동·청소년 대상 온라인 성착취 범죄가 빠르게 확산되는 상황에서 기존 사후 대응만으로는 한계가 있어 AI를 활용한 사전 대응 시스템을 개발했다"고 설명했다.

법적·윤리적 기준 충족하며 국내 최초 랜덤채팅앱 자동 탐지

박 팀장은 "랜덤채팅앱 자동 탐지는 국내 최초 시도로, 개발과 적용 과정에서 데이터 확보 및 활용에 엄격한 법적·윤리적 기준을 준수해야 해 신중한 접근이 필요했다"고 밝혔다. 현재 이 시스템은 시범운영 중이며, 안정성과 정확성을 보완한 뒤 본격적으로 업무에 활용할 계획이다.

피해영상물 삭제지원시스템 고도화 추진

성평등가족부는 지난해 5월 추경으로 10억 9000만 원의 예산을 확보해 오는 3월 완료를 목표로 '디지털성범죄 피해영상물 삭제지원시스템 고도화' 사업도 추진 중이다. 이 시스템은 중앙디지털성범죄피해자지원센터 내 업무 프로그램으로, 피해영상물의 'DNA'를 자동 검출하고 310여 개 성인사이트를 크롤링해 유포 현황을 파악한다.

삭제 요청 및 모니터링 자동화로 업무 효율성 향상

이번 고도화에서는 직원들이 수동으로 진행하던 삭제 요청과 삭제 완료 여부 모니터링 작업을 자동화해 업무 부담을 줄이고 삭제 지원 속도를 크게 높일 예정이다. 또한, 생성형 AI를 이용한 딥페이크 성범죄물 확산에 신속 대응하기 위해 AI 기반 딥페이크 탐지 솔루션을 도입해 이미지 판별과 생성 도구, 유포 이력 정보를 제공하며 삭제 지원에 활용할 계획이다.

안전한 온라인 환경 조성 위해 국민 신고 협조 당부

박성혜 팀장은 "성평등가족부와 중앙디지털성범죄피해자지원센터가 기술과 제도를 보완해 안전한 온라인 환경을 만들기 위해 최선을 다하고 있다"며 "의심 콘텐츠 발견 시 적극적인 신고가 피해 확산 방지에 큰 도움이 된다"고 국민들의 철저한 신고를 요청했다.

방송미디어통신위원회와 업무협약 체결

성평등가족부는 지난 1월 23일 방송미디어통신위원회와 안전한 디지털 사회 실현을 위한 업무협약을 맺었다. 양 기관은 불법촬영물 유통 방지 및 피해 보호 지원을 강화하는 한편, AI 환경 변화에 대응한 법·제도 마련에 적극 협력하기로 했다.

특히 AI를 악용한 딥페이크 성범죄물 생성 및 유통 차단을 위한 기술적·관리적 보호조치와 피해 지원이 가능하도록 법·제도 구축에 협력할 방침이다.