독자 AI 파운데이션 모델 데이터 3544만 건 무료 개방
독자 AI 파운데이션 모델 데이터 3544만 건 무료 개방
정부가 추진하는 '독자 인공지능(AI) 파운데이션 모델' 프로젝트에서 확보한 29종의 AI 학습용 데이터 3544만 건이 국민 누구나 이용할 수 있도록 무료로 개방된다. 이번 데이터는 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 5개 정예팀의 1차 단계평가 과정에서 구축한 자료로, AI허브 누리집을 통해 공개된다.
이번에 공개된 데이터는 지난해 150억 원의 예산을 투입해 구축·가공한 것으로, 대규모 사전학습용 데이터셋부터 영상, 음성 등 멀티모달 데이터, 그리고 AI 안전성 확보를 위한 레드티밍 데이터까지 다양하게 포함되어 있다. 전체 데이터는 약 1조 5600억 토큰에 달하며, 이는 70~80B 규모의 대형 AI 모델 학습에 활용 가능한 수준이다.
네이버클라우드는 영상 234만 건과 방송 영상 52만 건, 영상 클립 기반 텍스트 1550만 건, 음성 질의응답 1200만 건을 구축했다. 텍스트 데이터는 장면을 문장 단위로 설명하는 캡션 등으로 AI의 영상 이해 및 이미지 생성 모델 학습에 활용된다.
업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만 건의 사후 학습 데이터를 마련했다. 사전학습 데이터는 AI 모델을 처음부터 학습하는 데 쓰이며, 사후학습 데이터는 추론, 판단, 실행 등 AI 에이전트 개발에 활용된다.
SK텔레콤은 수학, 과학, 법률 등 전문 분야의 고난도 다단계 추론 데이터와 음성, 이미지 사후학습용 데이터, 그리고 국내 법령과 사회적 가치관을 반영한 한국형 레드티밍 데이터 약 1만 건을 구축해 AI 모델의 실무 역량 강화와 안전성 향상에 기여한다.
엔씨에이아이는 제조 분야 기술문서와 민원 상담 음성 등 실제 현장 데이터를 바탕으로 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의응답, 멀티모달리티 등 LLM 핵심 역량 데이터 7종을 구축해 산업 현장에 필요한 통합 학습에 활용할 수 있도록 했다.
LG AI연구원은 국내 50개 가정 환경에서 50종 이상의 가사 활동을 촬영한 17만 개 이상의 영상 클립과 다층 라벨링 데이터를 구축해 비전 및 VLM 학습과 연구, 상용 서비스 개발에 활용할 수 있도록 했다.
이번 데이터 개방을 위해 NIA와 한국정보통신기술협회(TTA)는 1차 단계평가 완료 후 각 정예팀으로부터 데이터를 제공받아 품질 검증, 개인정보 및 유해성 검증, 라이선스 제약 데이터 제외 등의 절차를 거쳤다. 사업 공고상 데이터 구축·가공 예산으로 확보한 데이터 중 50% 이상을 개방해야 하는 조건에 따라 네이버클라우드, 업스테이지, SK텔레콤, 엔씨에이아이의 데이터는 전량 개방되며, LG AI연구원은 의무 개방량을 준수해 일부 데이터를 선별해 공개한다.
이번에 공개된 29종의 AI 학습용 데이터는 국내 기업, 연구자, 학생 등 대한민국 국민이라면 누구나 AI허브를 통해 무료로 다운로드 받아 활용할 수 있다.
과학기술정보통신부 인공지능정책실 김경만 실장은 "독자 AI 파운데이션 모델 프로젝트는 AI 모델 개발뿐 아니라 개발 과정에서 축적된 경험과 노하우를 통해 AI 생태계 전반의 질적 성장에 크게 기여한다"며 "개방된 데이터는 정예팀의 AI 학습 전략이 담긴 귀중한 자산으로 AI 생태계 성장과 자생력 강화의 밑거름이 될 것"이라고 밝혔다.
