UNIST 김태환 교수팀, 여러 신경망 층이 전문가 모듈 공유하는 언어모델 ‘GMoE’ 공개

챗GPT 같은 대형언어모델(LLM)은 여러 작은 인공지능 모듈인 ‘전문가’를 두고 그 중 일부만 토큰에 따라 골라 쓰는 ‘전문가 혼합’ 방식이 주로 활용된다.이러한 방식은 각 신경망 층마다 전문가를 따로 둬 비슷한 기능과 매개변수가 중복되는 문제가 있었는데, 국내 연구진은 여러 층이 같은 전문가를 공유하도록 해 언어 이해 능력은 유지하면서 매개변수를 줄이는