대형 언어 모델

대형 언어 모델() 또는 거대 언어 모델(巨大言語 - )은 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델이다. 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 상당한 양의 텍스트로 훈련된다. LLM은 2018년 즈음에 모습을 드러냈으며 다양한 작업을 위해 수행된다. 이전의 특정 작업의 특수한 지도 학습 모델의 훈련 패러다임에서 벗어나 자연어 처리 연구로 초점이 옮겨졌다.

 개요 
대규모 언어 모델(LLM) 은 AI 챗봇 기술을 가능하게 하는 요소이며 많은 화제를 불러일으키고 있는 주제 중 하나다. 대규모 언어 모델(LLM)의 작동 방식은 크게 3가지로 나뉘고 있다. 토큰화, 트랜스포머 모델, 프롬프트 등. 토큰화는 자연어 처리의 일부로 일반 인간 언어를 저수준 기계 시스템(LLMS)이 이해할 수 있는 시퀀스로 변환하는 작업을 말하며 여기에는 섹션에 숫자 값을 할당하고 빠른 분석을 위해 인코딩하는 작업이 수반된다. 이는 음성학의 AI 버전과 같으며 토큰화의 목적은 인공지능이 문장의 구조를 예측하기 위한 학습 가이드 또는 공식과 같은 컨텍스트 백터를 생성하는 것이 목적. 언어를 더 많이 연구하고 문장이 어떻게 구성되는지 이해할수록 특정 유형의 문장에서 다음 언어에 대한 예측이 더 정확해진다. 이로 인해 온라인에서 사람들이 사용하는 다양한 커뮤니케이션 스타일을 재현하는 모델을 개발할 수 있다.

 종류 
트랜스포머 모델은 순차적 데이터를 검사하여 어떤 단어가 서로 뒤따를 가능성이 높은지 관련 패턴을 식별하는 신경망의 일종으로 각각 다른 분석을 수행하여 어떤 단어가 호환되는지 결정하는 계층으로 구성된다. 이러한 모델은 언어를 학습하지 않고 알고리즘에 의존하여 사람이 쓴 단어를 이해하고 예를 들어, 힙스터 커피 블로그를 제공함으로써 커피에 대한 표준 글을 작성하도록 학습시킨다.

프롬프트는 개발자가 정보를 분석하고 토큰화하기 위해 대규모 언어 모델 LLM에 제공하는 정보로 프롬프트는 기본적으로 다양한 사용 사례에서 LLM에 도움이 되는 학습 데이터이다. 더 정확한 프롬프트를 받을수록 LLM은 다음 단어를 더 잘 예측하고 정확한 문장을 구성할 수 있다. 따라서 딥러닝 AI의 적절한 학습을 위해서는 적절한 프롬프트를 선택하는 것이 중요하다.

 역사 
섬네일|2010년부터 2024년까지 주요 대형 FLOP 모델의 학습 계산 결과와 출판일 비교. 전반적으로 주요 모델(왼쪽 상단), 프런티어 모델(오른쪽 상단), 상위 언어 모델(왼쪽 하단), 그리고 주요 기업 내 상위 모델(오른쪽 하단). 이 모델들의 대부분은 언어 모델이다.
섬네일|2017년부터 2024년까지 주요 대형 AI 모델의 FLOP 학습량 대비 학습 결과. 대부분의 대형 모델은 언어 모델이거나 언어 처리 능력을 갖춘 멀티모달 모델이다.
2017년 이전에도 당대 기준으로는 상당히 큰 언어 모델들이 존재했다. 1990년대에는 IBM의 정렬 모델(IBM aligned model)이 통계적 언어 모델링의 선구적 역할을 했다. 2001년에는 3억 단어 규모의 말뭉치로 학습한 스무딩된 n-그램 모델(smoothed n-gram model)이 당시 최고 수준의 퍼플렉시티(perplexity)를 기록하기도 했다. 2000년대에 접어들면서 인터넷 사용이 보편화되자 일부 연구자들은 웹 전체를 말뭉치로 활용하는 '웹을 말뭉치로(web as corpus)' 접근을 통해 인터넷 규모의 언어 데이터세트를 구축했고, 이를 기반으로 통계적 언어 모델을 학습시켰다. 2009년경에는 대부분의 자연어처리 과제에서 통계 기반 언어 모델이 기호 기반(symbolic) 언어 모델보다 우위를 점하게 되었는데, 이는 대규모 데이터를 효과적으로 활용할 수 있었기 때문이다.

2012년경 이미지 처리 분야에서 신경망이 주류가 된 이후, 언어 모델링에도 신경망이 적용되기 시작했다. 구글은 2016년 자사의 번역 시스템을 기존의 통계적 방식에서 신경망 기계번역(NMT) 방식으로 전환하였다. 이는 트랜스포머가 등장하기 전이었기 때문에, 순차적(seq2seq) 심층 LSTM 네트워크를 사용하였다.섬네일|upright=1.3|다중 헤드 주의가 진행되기 전이 아닌 이후에 레이어가 정규화된 원래 논문의 변압기 모델의 주요 구성 요소에 대한 그림

2017년 NeurIPS 학회에서 구글 연구진은 트랜스포머 아키텍처를 소개하는 기념비적인 논문 'Attention Is All You Need'를 발표했다. 이 논문은 2014년의 seq2seq 기술을 개선하는 것을 목표로 했으며, 주로 바다나우(Bahdanau) 등이 2014년에 개발한 어텐션 메커니즘을 기반으로 했다. 이듬해인 2018년에는 BERT가 등장했고, 빠르게 자연어 처리 분야에서 사실상의 표준이 되었다. 최초의 트랜스포머는 인코더와 디코더 블록을 모두 포함하고 있지만, BERT는 인코더만 가지고 있는 모델이다. 한편 2023년 이후에는 디코더 기반의 GPT 계열 모델이 프롬프트 기반 문제 해결 능력에서 뛰어난 성과를 보이며 BERT의 연구 활용은 점차 감소세를 보이고 있다.

디코더만 있는 GPT-1은 2018년에 처음 등장했지만, 대중의 주목을 받은 것은 2019년의 GPT-2였다. 이는 개발사인 오픈AI가 GPT-2가 악용될 가능성을 우려해 처음에는 공개를 보류하기도 할만큼 강력했기 때문이다. 2020년에 발표된 GPT-3는 이보다 더 진일보한 성능을 보였으며, 2024년 기준으로 API를 통해서만 접근 가능하고 모델 자체는 다운로드해 로컬에서 실행할 수 없다. 대중적 관심을 끌게 된 계기는 2022년 출시된 ChatGPT였는데, 이 소비자 대상의 브라우저 기반 챗봇은 대중의 상상력을 자극하며 큰 화제를 모았다. 2023년의 GPT-4는 정확도가 향상되었을 뿐만 아니라 멀티모달 기능 덕분에 '성배(Holy Grail)'라는 평가까지 받았다. 오픈AI는 GPT-4의 구체적인 아키텍처와 파라미터 수를 공개하지 않았다. ChatGPT의 등장은 로봇공학, 소프트웨어 공학, 사회적 영향 연구 등의 컴퓨터 과학의 여러 하위 분야에서 LLM의 사용 증가로 이어졌다. 2024년에는 오픈AI가 논리적 추론 기능을 강화한 모델 OpenAI o1을 출시했으며, 이 모델은 최종 답변을 생성하기 전에 장문의 사고 과정(Chains of Thought)을 먼저 생성하는 특징이 있다.

경쟁 언어 모델들은 주로 GPT 시리즈와 동일하거나 유사한 규모의 파라미터 수를 갖추는 것을 목표로 개발되고 있다.

2022년 이후에는 BLOOM, LLaMA 등의 오픈소스 기반 모델이 인기를 끌고 있다. 다만 이들 모델은 사용 용도에 제한이 있다. 반면 Mistral AI의 Mistral 7B 및 Mixtral 8x7B는 보다 자유로운 아파치 라이선스를 채택하였다. 2025년 1월에는 DeepSeek가 6,710억 개의 파라미터를 가진 가중치 공개 모델 DeepSeek R1을 발표했으며, 이는 OpenAI o1에 견줄 수 있는 성능을 훨씬 낮은 비용으로 제공한다.

2023년 이후에는 많은 LLM이 멀티모달(multimodal) 모델, 즉 이미지나 오디오 등의 데이터도 함께 처리할 수 있는 능력을 가진 모델로 훈련되고 있다. 이러한 LLM은 대형 멀티모달 모델 (Large Multimodal Model, LMM)이라 불린다.

2024년에는 가장 크고 강력한 언어 모델들은 여전히 트랜스포머 아키텍처를 기반으로 하고 있다. 다만 최근에는 순환 신경망(RNN) 변형이나 상태공간 모델(State Space Model)인 Mamba와 같은 새로운 아키텍처를 적용한 시도도 일부 진행되고 있다.

 평가 
 퍼플렉시티 
퍼플렉시티(perplexity)

 작업별 데이터 세트 및 벤치마크 
또한 더 구체적인 다운스트림 작업에서 언어 모델의 역량을 평가하기 위해 많은 수의 테스트 데이터 세트와 벤치마크가 개발되었다. 테스트는 일반 지식, 상식적 추론, 수학적 문제 해결을 포함한 다양한 역량을 평가하도록 설계될 수 있다.

 대형 언어 모델 목록 
+ 대형 언어 모델 목록 이름  출시일  개발  파라미터 수  코퍼스 크기  라이선스 BERT  2018년  구글     words   XLNet  2019년  Google     words  GPT-2  2019년  OpenAI    40GB (~ tokens)   GPT-3  2020년  OpenAI     tokens   GPT-Neo  2021년 3월  EleutherAI    825 GiB   GPT-J  2021년 6월  EleutherAI    825 GiB   Megatron-Turing NLG  2021년 10월  마이크로소프트 and Nvidia     tokens   Ernie 3.0 Titan  2021년 12월  Baidu    4 Tb   Claude  2021년 12월  Anthropic     tokens   GLaM (Generalist Language Model)  2021년 12월  Google     tokens   Gopher  2021년 12월  DeepMind     tokens   LaMDA (Language Models for Dialog Applications)  2022년 1월  Google     1.56T words,  tokens   GPT-NeoX  2022년 2월  EleutherAI    825 GiB   Chinchilla  2022년 3월  DeepMind     tokens   PaLM (Pathways Language Model)  2022년 4월  Google     tokens   OPT (Open Pretrained Transformer)  2022년 5월  Meta     tokens  YaLM 100B2022년 6월Yandex1.7TB Minerva  2022년 6월  Google    38.5B tokens from webpages filtered for mathematical content and from papers submitted to the arXiv preprint server    BLOOM  2022년 7월  Large collaboration led by Hugging Face     tokens (1.6TB)   Galactica  2022년 11월  Meta     tokens   AlexaTM (Teacher Models)  2022년 11월  Amazon       LLaMA (Large Language Model Meta AI)  2023년 2월  Meta       GPT-4  2023년 3월  OpenAI  정확한 수치 알 수 없음. 대략    알 수 없음  Cerebras-GPT2023년 3월Cerebras   Falcon  2023년 3월  Technology Innovation Institute     tokens (1TB)   BloombergGPT  2023년 3월  Bloomberg L.P.    363 billion token dataset based on Bloomberg's data sources, plus 345 billion tokens from general purpose datasets   PanGu-Σ  2023년 3월  Huawei    329 billion tokens   OpenAssistant  2023년 3월  LAION    1.5 trillion tokens   PaLM 2 (Pathways Language Model 2)  2023년 5월  Google     tokens  

 같이 보기 
 인공 초지능
 멀티모덜 학습
 검색증강생성
 생성문법
 잠재 지식

 각주 


분류:딥 러닝
분류:자연어 처리