대형 언어 모델

LLM 기계 학습 **대형 언어 모델**(large language model, **LLM**)확인날짜=2025-04-15 또는 **거대 언어 모델**(巨大言語 - )확인날짜=2025-04-15은 수많은 파라미터(보통 수십억 웨이트 이상)를 보유한 인공 신경망으로 구성되는 언어 모델이다. 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 상당한 양의 텍스트로 훈련된다.website=Analytics India Magazine LLM은 2018년 즈음에 모습을 드러냈으며 다양한 작업을 위해 수행된다. 이전의 특정 작업의 특수한 지도 학습 모델의 훈련 패러다임에서 벗어나 자연어 처리 연구로 초점이 옮겨졌다.
# 개요
대규모 언어 모델(LLM) 은 AI 챗봇 기술을 가능하게 하는 요소이며 많은 화제를 불러일으키고 있는 주제 중 하나다. 대규모 언어 모델(LLM)의 작동 방식은 크게 3가지로 나뉘고 있다. 토큰화, 트랜스포머 모델, 프롬프트 등. **토큰화**는 자연어 처리의 일부로 일반 인간 언어를 저수준 기계 시스템(LLMS)이 이해할 수 있는 시퀀스로 변환하는 작업을 말하며 여기에는 섹션에 숫자 값을 할당하고 빠른 분석을 위해 인코딩하는 작업이 수반된다. 이는 음성학의 AI 버전과 같으며 토큰화의 목적은 인공지능이 문장의 구조를 예측하기 위한 학습 가이드 또는 공식과 같은 컨텍스트 백터를 생성하는 것이 목적. 언어를 더 많이 연구하고 문장이 어떻게 구성되는지 이해할수록 특정 유형의 문장에서 다음 언어에 대한 예측이 더 정확해진다. 이로 인해 온라인에서 사람들이 사용하는 다양한 커뮤니케이션 스타일을 재현하는 모델을 개발할 수 있다.
# 종류
**트랜스포머 모델**은 순차적 데이터를 검사하여 어떤 단어가 서로 뒤따를 가능성이 높은지 관련 패턴을 식별하는 신경망의 일종으로 각각 다른 분석을 수행하여 어떤 단어가 호환되는지 결정하는 계층으로 구성된다. 이러한 모델은 언어를 학습하지 않고 알고리즘에 의존하여 사람이 쓴 단어를 이해하고 예를 들어, 힙스터 커피 블로그를 제공함으로써 커피에 대한 표준 글을 작성하도록 학습시킨다. **프롬프트**는 개발자가 정보를 분석하고 토큰화하기 위해 대규모 언어 모델 LLM에 제공하는 정보로 프롬프트는 기본적으로 다양한 사용 사례에서 LLM에 도움이 되는 학습 데이터이다. 더 정확한 프롬프트를 받을수록 LLM은 다음 단어를 더 잘 예측하고 정확한 문장을 구성할 수 있다. 따라서 딥러닝 AI의 적절한 학습을 위해서는 적절한 프롬프트를 선택하는 것이 중요하다.
# 역사
2010년부터 2024년까지 주요 대형 FLOP 모델의 학습 계산 결과와 출판일 비교. 전반적으로 주요 모델(왼쪽 상단), 프런티어 모델(오른쪽 상단), 상위 언어 모델(왼쪽 하단), 그리고 주요 기업 내 상위 모델(오른쪽 하단). 이 모델들의 대부분은 언어 모델이다. 2017년부터 2024년까지 주요 대형 AI 모델의 FLOP 학습량 대비 학습 결과. 대부분의 대형 모델은 언어 모델이거나 언어 처리 능력을 갖춘 멀티모달 모델이다. 2017년 이전에도 당대 기준으로는 상당히 큰 언어 모델들이 존재했다. 1990년대에는 IBM의 정렬 모델(IBM aligned model)이 통계적 언어 모델링의 선구적 역할을 했다. 2001년에는 3억 단어 규모의 말뭉치로 학습한 스무딩된 n-그램 모델(smoothed n-gram model)이 당시 최고 수준의 퍼플렉시티(perplexity)를 기록하기도 했다. 2000년대에 접어들면서 인터넷 사용이 보편화되자 일부 연구자들은 웹 전체를 말뭉치로 활용하는 '웹을 말뭉치로(web as corpus)'issn=0891-2017 접근을 통해 인터넷 규모의 언어 데이터세트를 구축했고, 이를 기반으로 통계적 언어 모델을 학습시켰다.doi=10.3115/1073012.1073017url-status=live 2009년경에는 대부분의 자연어처리 과제에서 통계 기반 언어 모델이 기호 기반(symbolic) 언어 모델보다 우위를 점하게 되었는데, 이는 대규모 데이터를 효과적으로 활용할 수 있었기 때문이다.issn=1541-1672 2012년경 이미지 처리 분야에서 신경망이 주류가 된 이후,bibcode=2021RemS...13.4712C 언어 모델링에도 신경망이 적용되기 시작했다. 구글은 2016년 자사의 번역 시스템을 기존의 통계적 방식에서 신경망 기계번역(NMT) 방식으로 전환하였다. 이는 트랜스포머가 등장하기 전이었기 때문에, 순차적(seq2seq) 심층 LSTM 네트워크를 사용하였다.다중 헤드 주의가 진행되기 전이 아닌 이후에 레이어가 정규화된 원래 논문의 변압기 모델의 주요 구성 요소에 대한 그림 2017년 NeurIPS 학회에서 구글 연구진은 트랜스포머 아키텍처를 소개하는 기념비적인 논문 'Attention Is All You Need'를 발표했다. 이 논문은 2014년의 seq2seq 기술을 개선하는 것을 목표로 했으며,url-status=live 주로 바다나우(Bahdanau) 등이 2014년에 개발한 어텐션 메커니즘을 기반으로 했다. 이듬해인 2018년에는 BERT가 등장했고, 빠르게 자연어 처리 분야에서 사실상의 표준이 되었다.url-status=live 최초의 트랜스포머는 인코더와 디코더 블록을 모두 포함하고 있지만, BERT는 인코더만 가지고 있는 모델이다. 한편 2023년 이후에는 디코더 기반의 GPT 계열 모델이 프롬프트 기반 문제 해결 능력에서 뛰어난 성과를 보이며 BERT의 연구 활용은 점차 감소세를 보이고 있다.access-date=2024-12-08 디코더만 있는 GPT-1은 2018년에 처음 등장했지만, 대중의 주목을 받은 것은 2019년의 GPT-2였다. 이는 개발사인 오픈AI가 GPT-2가 악용될 가능성을 우려해 처음에는 공개를 보류하기도 할만큼 강력했기 때문이다.url-status=live 2020년에 발표된 GPT-3는 이보다 더 진일보한 성능을 보였으며, 2024년 기준으로 API를 통해서만 접근 가능하고 모델 자체는 다운로드해 로컬에서 실행할 수 없다. 대중적 관심을 끌게 된 계기는 2022년 출시된 ChatGPT였는데, 이 소비자 대상의 브라우저 기반 챗봇은 대중의 상상력을 자극하며 큰 화제를 모았다.url-status=live 2023년의 GPT-4는 정확도가 향상되었을 뿐만 아니라 멀티모달 기능 덕분에 '성배(Holy Grail)'라는 평가까지 받았다.url-status=live 오픈AI는 GPT-4의 구체적인 아키텍처와 파라미터 수를 공개하지 않았다. ChatGPT의 등장은 로봇공학, 소프트웨어 공학, 사회적 영향 연구 등의 컴퓨터 과학의 여러 하위 분야에서 LLM의 사용 증가로 이어졌다.access-date=2024-12-08 2024년에는 오픈AI가 논리적 추론 기능을 강화한 모델 OpenAI o1을 출시했으며, 이 모델은 최종 답변을 생성하기 전에 장문의 사고 과정(Chains of Thought)을 먼저 생성하는 특징이 있다. 경쟁 언어 모델들은 주로 GPT 시리즈와 동일하거나 유사한 규모의 파라미터 수를 갖추는 것을 목표로 개발되고 있다.access-date=January 20, 2024 2022년 이후에는 BLOOM, LLaMA 등의 오픈소스 기반 모델이 인기를 끌고 있다. 다만 이들 모델은 사용 용도에 제한이 있다. 반면 Mistral AI의 Mistral 7B 및 Mixtral 8x7B는 보다 자유로운 아파치 라이선스를 채택하였다. 2025년 1월에는 DeepSeek가 6,710억 개의 파라미터를 가진 가중치 공개 모델 DeepSeek R1을 발표했으며, 이는 OpenAI o1에 견줄 수 있는 성능을 훨씬 낮은 비용으로 제공한다.language=en-US 2023년 이후에는 많은 LLM이 멀티모달(multimodal) 모델, 즉 이미지나 오디오 등의 데이터도 함께 처리할 수 있는 능력을 가진 모델로 훈련되고 있다. 이러한 LLM은 대형 멀티모달 모델 (Large Multimodal Model, LMM)이라 불린다.language=en-US 2024년에는 가장 크고 강력한 언어 모델들은 여전히 트랜스포머 아키텍처를 기반으로 하고 있다. 다만 최근에는 순환 신경망(RNN) 변형이나 상태공간 모델(State Space Model)인 Mamba와 같은 새로운 아키텍처를 적용한 시도도 일부 진행되고 있다.display-authors=1url-status=live
# 평가

## 퍼플렉시티
퍼플렉시티(perplexity)
## 작업별 데이터 세트 및 벤치마크
또한 더 구체적인 다운스트림 작업에서 언어 모델의 역량을 평가하기 위해 많은 수의 테스트 데이터 세트와 벤치마크가 개발되었다. 테스트는 일반 지식, 상식적 추론, 수학적 문제 해결을 포함한 다양한 역량을 평가하도록 설계될 수 있다. clear
# 대형 언어 모델 목록
{| class="wikitable sortable" |+ 대형 언어 모델 목록 |- ! 이름 !! 출시일This is the date that documentation describing the model's architecture was first released. !! 개발 !! 파라미터 수In many cases, researchers release or report on multiple versions of a model having different sizes. In these cases, the size of the largest model is listed here. !! 코퍼스 크기 !! 라이선스This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated. |- | BERT || 2018년 || 구글 || 340 millionclass=cs.CL || 3.3 billion words || Apache 2.0via=GitHub |- | XLNet || 2019년 || Google || ~340 milliontitle=BERT, RoBERTa, DistilBERT, XLNet: Which one to use?url=https://www.kdnuggets.com/bert-roberta-distilbert-xlnet-which-one-to-use.html || 33 billion words || |- | GPT-2 || 2019년 || OpenAI || 1.5 billionurl-status = live || 40GBwebsite=openai.com (~10 billion tokens)language=en || MITaccess-date=13 March 2023 |- | GPT-3 || 2020년 || OpenAI || 175 billionurl=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/ || 300 billion tokens || 공개 웹 API |- | GPT-Neo || 2021년 3월 || EleutherAI || 2.7 billionvia=GitHub || 825 GiBclass=cs.CL || MITurl=https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ |- | GPT-J || 2021년 6월 || EleutherAI || 6 billionurl-status= || 825 GiB || Apache 2.0 |- | Megatron-Turing NLG || 2021년 10월date=11 October 2021 || 마이크로소프트 and Nvidia || 530 billionarxiv=2201.11990 || 338.6 billion tokens || 제한된 웹 접근 |- | Ernie 3.0 Titan || 2021년 12월 || Baidu || 260 billionarxiv=2112.12731 || 4 Tb || 사유(Proprietary) |- | Claudelanguage=en || 2021년 12월 || Anthropic || 52 billionclass=cs.CL || 400 billion tokens || 클로즈드 베타 |- | GLaM (Generalist Language Model) || 2021년 12월 || Google || 1.2 trillionlanguage=en || 1.6 trillion tokens || 사유(Proprietary) |- | Gopher || 2021년 12월 || DeepMind || 280 billionlanguage=en || 300 billion tokens || 사유(Proprietary) |- | LaMDA (Language Models for Dialog Applications) || 2022년 1월 || Google || 137 billionlanguage=en || 1.56T words, 168 billion tokens || 사유(Proprietary) |- | GPT-NeoX || 2022년 2월 || EleutherAI || 20 billionaccessdate=2022-12-19 || 825 GiB || Apache 2.0 |- | Chinchilla || 2022년 3월 || DeepMind || 70 billionurl=https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training || 1.4 trillion tokensdisplay-authors=3 || 사유(Proprietary) |- | PaLM (Pathways Language Model) || 2022년 4월 || Google || 540 billionlanguage=en || 768 billion tokens || 사유(Proprietary) |- | OPT (Open Pretrained Transformer) || 2022년 5월 || Meta || 175 billionlanguage=en || 180 billion tokensclass=cs.CL || 비상업적 연구The smaller models including 66B are publicly available, while the 175B model is available on request. |- |YaLM 100B |2022년 6월 |Yandex |100 billion |1.7TB |Apache 2.0 |- | Minerva || 2022년 6월 || Google || 540 billion || 38.5B tokens from webpages filtered for mathematical content and from papers submitted to the arXiv preprint servereprint=2206.14858 || 사유(Proprietary) |- | BLOOM || 2022년 7월 || Large collaboration led by Hugging Face || 175 billionurl=https://www.nature.com/articles/d41586-023-00641-w || 350 billion tokens (1.6TB)website=huggingface.co || Responsible AI |- | Galactica || 2022년 11월 || Meta || 120 billion || 106 billion tokenseprint=2211.09085 || CC-BY-NC-4.0 |- | AlexaTM (Teacher Models) || 2022년 11월 || Amazon || 20 billiondate=2 August 2022 || 1.3 trillionclass=cs.CL || 공개 웹 APIdate=17 November 2022 |- | LLaMA (Large Language Model Meta AI) || 2023년 2월 || Meta || 65 billionurl=https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ || 1.4 trillion || 비상업적 연구Facebook's license and distribution scheme restricted access to approved researchers, but the model weights were leaked and became widely available. |- | GPT-4 || 2023년 3월 || OpenAI || 정확한 수치 알 수 없음. 대략 1 trillion url-status=live Approximate number in the comparison chart that compares the relative storage, from the same report. || 알 수 없음 || 공개 웹 API |- |Cerebras-GPT |2023년 3월 |Cerebras |13 billionwebsite=Cerebras | || Apache 2.0 |- | Falcon || 2023년 3월 || Technology Innovation Institute || 40 billionwebsite=tii.ae || 1 Trillion tokens (1TB) || 사유(Proprietary) |- | BloombergGPT || 2023년 3월 || Bloomberg L.P. || 50 billion || 363 billion token dataset based on Bloomberg's data sources, plus 345 billion tokens from general purpose datasetsarxiv=2303.17564 || 사유(Proprietary) |- | PanGu-Σ || 2023년 3월 || Huawei || 1.085 trillion || 329 billion tokensarxiv=2303.10845 || 사유(Proprietary) |- | OpenAssistantjournal=arXiv:2304.07327 [cs] || 2023년 3월 || LAION || 17 billion || 1.5 trillion tokens || Apache 2.0 |- | PaLM 2 (Pathways Language Model 2) || 2023년 5월 || Google || 340 billionaccess-date=18 May 2023 || 3.6 trillion tokens || 사유(Proprietary) |}