엔씨소프트, 고려대와 공동 연구한 AI 대화 데이터셋 공개

엔씨소프트가 14일, 고려대학교 임희석 교수 연구팀과 공동연구를 통해 구축한 AI 대화 데이터 FoCus Dataset(For Customized conversation dataset)을 공개했다.

FoCus Dataset은 사용자 개인의 페르소나(Persona)와 외부 지식을 모두 활용하는 세계 최초의 AI 대화 데이터셋이다. 8,000여 개의 주제를 다룬 1만 5,000개 이상의 대화로 구성되어 있다.

이 데이터셋을 적용한 AI는 대화하는 사용자의 경험, 선호, 소유, 흥미 등을 파악하고, 위키피디아에서 주제에 대한 최신 지식을 실시간으로 습득해 자연스러운 대화를 이어갈 수 있다.

특히, 초거대 언어 모델을 사용하지 않고도 같은 성능의 대화 기술 구현이 가능하다. 현재 일반적인 대용량 언어모델은 학습과 추론에 많은 비용이 소요됨에도 불구하고, 실시간 지식과 개인 경험을 반영하는데 한계를 나타내고 있다.

공동연구팀은 지난 2월 세계 최고 권위 인공지능 학회 AAAI 2022에서 해당 연구 논문을 게재 및 발표했다. 오는 10월에는 세계 전산언어학회인 COLING 2022에서 고려대와 공동으로 데이터 활용 경진대회를 비롯한 연구 성과를 공유하는 워크샵을 개최한다.

엔씨 이연수 랭귀지(Language) AI Lab 실장은 "최근 NLP 학계에서는 비용 및 환경 문제로 초거대 언어모델 기반의 대화 기술에 필적할 수 있는 새로운 대화 기술들이 제안되고 있다"며 "이러한 연구 방향에 공감하는 차원에서 이번 데이터 공개를 결정하였으며, 글로벌 연구 커뮤니티에서 활발한 논의와 기술 개발이 이루어지기를 기대한다"고 설명했다.