Cohere for AI, 101개 언어 지원 LLM 선보여

Aya 모델, 다국어 데이터 지원 중요성 강조

 

▶ Cohere for AI가 101개 언어를 지원하는 대형 언어 모델( LLM) ‘Aya’를 공개함

- 기존 오픈 소스 모델에서 지원하는 언어 수의 두 배 이상을 지원함

 

▶ 코히어 관계자는 Aya 데이터 세트도 함께 공개하면서, 새로운 모델과 데이터가 다양한 언어와 문화에 대한 대형 언어 모델의 잠재력을 발휘하고 활용하는 데 도움이 될 것이라고 밝힘

▶ Aya 데이터 세트는 현존 최대 규모의 다국어 훈련 버전으로, 114개 언어를 포괄하는 5억1300만개 데이터 포인트 크기를 갖춤

 

▶ 특히 전문가들은 다국어 데이터 부족으로 어려움을 겪는 언어에 대한 모델 성능 향상을 위한 글로벌 협력이 중요하다고 강조함

 

▶ 2023년 1월 시작된 Aya 프로젝트는 119개국의 팀과 3천 명 이상이 참가함

 

▶ Aya 모델과 데이터는 허깅 페이스(Hugging Face)에서 사용 가능함

<동향리포트>는 글로벌 과학기술문화, 과학·수학·정보 교육 분야의 정책 의사결정자들을 위한

국가별 정책, 연구조사보고서, 유관기관 동향 등 시의성 있는 유용한 정보를 제공합니다.