[스크랩] 화웨이, GPT-3 넘는 최대 2,000억 개의 매개변수 포함한 초거대 언어 AI 모델 '판구 알파(PanGu Alpha)' 공개

1. 내용

GPT-3가 공개된 지 11개월이 지났습니다. 1,750억 개의 매개변수를 갖고 있던 GPT-3는 역사사 가장 뛰어난 언어 인공지능 모델로 평가받으며, 그만큼의 언어 생성 성능을 보여줬습니다. 그러나 대부분 영어에서 우수한 성능을 보인다는 점, 공학·자연과학 분야에서는 비교적 약한 모습을 보인다는 점 등에서 아직은 한계를 보여주기도 했습니다.

여기에서 지난 5월 26일, 중국 화웨이에서 GPT-3를 넘는 최대 2,000억 개의 매개변수를 포함하는 750GB로 대규모 자연어 처리(NLP) 모델인 '판구 알파(PanGu Alpha)'를 개발 및 공개했습니다. 화웨이 연구팀은 이 초거대 언어 모델 설계에서 트랜스포머 기반 자기 회귀 언어(Autoregressive Language) 모델을 기본 아키텍처로 선택하고, 다른 쿼리 레이어가 트랜스포머 레이어 위에 추가하며 최대 2,000억 개의 매개변수 확장이 가능했다고 합니다.

화웨이 연구팀은 중국어로 된 전자책, 백과사전, 뉴스, SNS, 웹페이지 등 80TB의 원시 데이터를 수집, 저품질 데이터 정리 및 필터링과 중복 제거, 품질 평가, 기타 처리 절차 등을 통해 약 1.1TB의 고품질 중국 말뭉치 데이터 세트를 구축했다고 합니다.

 

2. 고찰

우선, GPT-3가 공개된 지 1년 채 되지 않아서 매개변수가 약 250억 개 더 많은 인공지능 언어 모델이 나왔다는 점에서 SW, AI 시장의 속도를 보여주는 것 같습니다. 그만큼 전세계에서 각종 AI, 특히 자연어 처리(NLP) 모델에 대한 연구 및 개발이 활발하게 진행되고 있다는 점을 보여줍니다. 하지만 아직은 특정 국가 언어에 특화된 언어 모델을 만든다는 점에서 조금은 한계가 있는 것으로 보입니다. 그도 그럴 것이 언어란 무엇보다 현지의 특색과 문화를 반영한 고유의 것으로, 한 언어의 특징 자체를 완전히 파악하고 이를 인공지능 코드로써 풀어내는 것은 당연히 쉽지 않은 일일 것입니다. 그렇기 때문에 현재까지 영어 기반 GPT-3, 중국어 기반 판구 알파 등의 모델만으로도 대단하고, 그에 대한 평가도 좋습니다.

또, 우리나라는 현재 네이버가 HyperCLOVA라는 거대 인공지능 모델 공개를 앞두고 있기 때문에, 과연 공개된다면 어떤 성능을 보여주고, 우리나라와 해외에서 어떤 평가를 받을지 기대가 됩니다. 그리고 이렇게 각 국가에서 우선 자신만의 언어에 특화된 인공지능 언어 모델을 만드는 와중에, 구글에서는 구글 번역기를 기반으로 다양한 나라의 언어 번역에 대한 인공지능 모델을 공개하지 않을까 하는 생각도 들었습니다.

이렇게 인공지능에 대한 다양한 기술, 모델이 공개되는 상황을 보며, 정말 이제는 인공지능이 우리 일상으로 다가오고, 우리가 그 힘을 체감할 날이 머지 않았다고 느껴지는 글이었습니다.

 

3. 출처

1) 기사 원문:

http://www.aitimes.kr/news/articleView.html?idxno=20985 

[이슈] GPT-3 넘었다!... 화웨이, 2천억개 매개변수의 초거대 언어 AI 모델 '판구 알파' 공개 - 인공지

2) 판구 알파 오픈소스:

https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha

PanGu-Alpha