언어 모델

**언어 모델**(language model) 또는 **언어 모형**은 자연어를 생성하는 인간 두뇌 능력의 모델이다.doi-access=free"LLMs are supposed to model how utterances behave." url-status=live 언어 모델은 음성 인식,Kuhn, Roland, and Renato De Mori (1990). "A cache-based natural language model for speech recognition". IEEE transactions on pattern analysis and machine intelligence 12.6: 570–583. 기계 번역,Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). "Semantic parsing as machine translation" date=15 August 2020. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 자연어 생성(인간과 더 유사한 텍스트 생성), 광학 문자 인식, 경로 최적화,bibcode=2023Innov...400520L 필기 인식,Pham, Vu, et al (2014). "Dropout improves recurrent neural networks for handwriting recognition" date=11 November 2020. 14th International Conference on Frontiers in Handwriting Recognition. IEEE. 문법 추론,Htut, Phu Mon, Kyunghyun Cho, and Samuel R. Bowman (2018). "Grammar induction with neural language models: An unusual replication" date=14 August 2022. 1808.10000. 및 정보 검색을 포함한 다양한 작업에 유용하다.doi=10.1145/290941.291008doi= 10.1007/3-540-49653-X_34 현재 가장 발전된 형태인 대형 언어 모델(LLM)은 주로 더 큰 데이터셋(종종 공용 인터넷에서 스크래핑된 단어 사용)에서 훈련된 트랜스포머를 기반으로 한다. 이들은 이전에 워드 n-그램 언어 모델과 같은 순수 통계 모델을 대체했던 순환 신경망 기반 모델들을 능가했다.
# 역사
노엄 촘스키는 1950년대에 형식 문법 이론을 개발하여 언어 모델에 대한 선구적인 작업을 수행했다.url-access=subscription 1980년에는 통계적 접근 방식이 탐구되어 규칙 기반 형식 문법보다 많은 목적에 더 유용하다는 것이 밝혀졌다. 단어의 이산적 조합에 대한 확률을 가진 워드 n-그램 언어 모델과 같은 이산적 표현은 상당한 발전을 이루었다. 2000년대에는 워드 임베딩과 같은 단어의 연속 표현이 이산 표현을 대체하기 시작했다.url-status=live 일반적으로 표현은 실수값 벡터이며, 이 벡터는 단어의 의미를 벡터 공간에서 더 가까운 단어들이 의미상 유사할 것으로 예상되는 방식으로, 그리고 복수형이나 성별과 같은 단어 쌍 간의 일반적인 관계를 인코딩한다.
# 순수 통계 모델
1980년에 최초의 중요한 통계적 언어 모델이 제안되었고, 10년 동안 IBM은 '섀넌 스타일' 실험을 수행하여 인간 피험자가 텍스트를 예측하거나 수정하는 성능을 관찰하고 분석하여 언어 모델링 개선의 잠재적 원인을 식별했다.s2cid=10959945
## 워드 N-그램 기반 모델

## 지수형
최대 엔트로피 언어 모델은 특징 함수를 사용하여 단어와 n-그램 기록 간의 관계를 인코딩한다. 방정식은 다음과 같다. P(w_m \mid w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m)) 여기서 Z(w_1,\ldots,w_{m-1})는 분배 함수, a는 매개변수 벡터, f(w_1,\ldots,w_m)는 특징 함수이다. 가장 간단한 경우, 특징 함수는 특정 n-그램의 존재 여부를 나타내는 지표일 뿐이다. a에 대한 사전 또는 어떤 형태의 정칙화를 사용하는 것이 도움이 된다. 로그-이선형 모델은 지수형 언어 모델의 또 다른 예이다.
## 스킵-그램 모델

# 신경 모델

## 순환 신경망
연속 표현 또는 단어 임베딩은 순환 신경망 기반 언어 모델(연속 공간 언어 모델로도 알려져 있음)에서 생성된다.url-status=live 이러한 연속 공간 임베딩은 어휘 크기에 따라 가능한 단어 시퀀스의 수가 기하급수적으로 증가하여 데이터 희소성 문제를 야기하는 차원의 저주를 완화하는 데 도움이 된다. 신경망은 단어를 신경망의 가중치 비선형 조합으로 표현함으로써 이 문제를 피한다.url-status=live
## 대형 언어 모델
대형 언어 모델 때로는 인간의 성능과 일치하지만, 이들이 타당한 인지 모델인지 여부는 불분명하다. 적어도 순환 신경망의 경우, 인간은 배우지 못하는 패턴을 때때로 학습하지만, 인간이 일반적으로 학습하는 패턴은 학습하지 못하는 것으로 나타났다.url-status=live
# 평가 및 벤치마크
언어 모델의 품질 평가는 주로 일반적인 언어 중심 작업에서 인간이 생성한 샘플 벤치마크와의 비교를 통해 이루어진다. 덜 확립된 다른 품질 테스트는 언어 모델의 내재적 특성을 검사하거나 두 모델을 비교한다. 언어 모델은 일반적으로 동적이고 자신이 보는 데이터로부터 학습하도록 의도되므로, 일부 제안된 모델은 학습 곡선 검토 등을 통해 학습 속도를 조사한다. 언어 처리 시스템 평가에 사용하기 위해 다양한 데이터 세트가 개발되었다.class=cs.CL 여기에는 다음이 포함된다. * 대규모 다중 작업 언어 이해(Massive Multitask Language Understanding, MMLU) * 언어 수용성 말뭉치url-status=live * GLUE 벤치마크url-status=live * Microsoft Research Paraphrase Corpusurl-status=live * 다중 장르 자연어 추론 * 질문 자연어 추론 * 쿼라 퀘스천 페어스(Quora Question Pairs) * 텍스트 함의 인식url-status=dead * 의미 텍스트 유사성 벤치마크 * SQuAD 질의응답 테스트url-status=live * 스탠포드 감정 트리뱅크url-status=live * 위노그라드 NLI * BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairslanguage=en
# 더 읽어보기
참고 자료 시작 * pages=275–281 * pages=279–280 * url=https://citeseerx.ist.psu.edu/document?repid=rep1&type;=pdf&doi;=273adbdb43097636aa9260d9ecd60d0787b0ef4d 참고 자료 끝 자연어 처리 전거 통제 위키데이터 속성 추적 분류:통계적 자연어 처리 분류:마르코프 모형