언어 모델

언어 모델(language model) 또는 언어 모형은 자연어를 생성하는 인간 두뇌 능력의 모델이다."LLMs are supposed to model how utterances behave." 언어 모델은 음성 인식,Kuhn, Roland, and Renato De Mori (1990). "A cache-based natural language model for speech recognition". IEEE transactions on pattern analysis and machine intelligence 12.6: 570–583. 기계 번역,Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). "Semantic parsing as machine translation" . Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 자연어 생성(인간과 더 유사한 텍스트 생성), 광학 문자 인식, 경로 최적화, 필기 인식,Pham, Vu, et al (2014). "Dropout improves recurrent neural networks for handwriting recognition" . 14th International Conference on Frontiers in Handwriting Recognition. IEEE. 문법 추론,Htut, Phu Mon, Kyunghyun Cho, and Samuel R. Bowman (2018). "Grammar induction with neural language models: An unusual replication" . . 및 정보 검색을 포함한 다양한 작업에 유용하다.

현재 가장 발전된 형태인 대형 언어 모델(LLM)은 주로 더 큰 데이터셋(종종 공용 인터넷에서 스크래핑된 단어 사용)에서 훈련된 트랜스포머를 기반으로 한다. 이들은 이전에 워드 n-그램 언어 모델과 같은 순수 통계 모델을 대체했던 순환 신경망 기반 모델들을 능가했다.

 역사 
노엄 촘스키는 1950년대에 형식 문법 이론을 개발하여 언어 모델에 대한 선구적인 작업을 수행했다.

1980년에는 통계적 접근 방식이 탐구되어 규칙 기반 형식 문법보다 많은 목적에 더 유용하다는 것이 밝혀졌다. 단어의 이산적 조합에 대한 확률을 가진 워드 n-그램 언어 모델과 같은 이산적 표현은 상당한 발전을 이루었다.

2000년대에는 워드 임베딩과 같은 단어의 연속 표현이 이산 표현을 대체하기 시작했다. 일반적으로 표현은 실수값 벡터이며, 이 벡터는 단어의 의미를 벡터 공간에서 더 가까운 단어들이 의미상 유사할 것으로 예상되는 방식으로, 그리고 복수형이나 성별과 같은 단어 쌍 간의 일반적인 관계를 인코딩한다.

 순수 통계 모델 
1980년에 최초의 중요한 통계적 언어 모델이 제안되었고, 10년 동안 IBM은 '섀넌 스타일' 실험을 수행하여 인간 피험자가 텍스트를 예측하거나 수정하는 성능을 관찰하고 분석하여 언어 모델링 개선의 잠재적 원인을 식별했다.

 워드 N-그램 기반 모델 

 지수형 

최대 엔트로피 언어 모델은 특징 함수를 사용하여 단어와 n-그램 기록 간의 관계를 인코딩한다. 방정식은 다음과 같다.

여기서 는 분배 함수, 는 매개변수 벡터, 는 특징 함수이다. 가장 간단한 경우, 특징 함수는 특정 n-그램의 존재 여부를 나타내는 지표일 뿐이다. 에 대한 사전 또는 어떤 형태의 정칙화를 사용하는 것이 도움이 된다.

로그-이선형 모델은 지수형 언어 모델의 또 다른 예이다.

 스킵-그램 모델 

 신경 모델 
 순환 신경망 
연속 표현 또는 단어 임베딩은 순환 신경망 기반 언어 모델(연속 공간 언어 모델로도 알려져 있음)에서 생성된다. 이러한 연속 공간 임베딩은 어휘 크기에 따라 가능한 단어 시퀀스의 수가 기하급수적으로 증가하여 데이터 희소성 문제를 야기하는 차원의 저주를 완화하는 데 도움이 된다. 신경망은 단어를 신경망의 가중치 비선형 조합으로 표현함으로써 이 문제를 피한다.

 대형 언어 모델 

때로는 인간의 성능과 일치하지만, 이들이 타당한 인지 모델인지 여부는 불분명하다. 적어도 순환 신경망의 경우, 인간은 배우지 못하는 패턴을 때때로 학습하지만, 인간이 일반적으로 학습하는 패턴은 학습하지 못하는 것으로 나타났다.

 평가 및 벤치마크 

언어 모델의 품질 평가는 주로 일반적인 언어 중심 작업에서 인간이 생성한 샘플 벤치마크와의 비교를 통해 이루어진다. 덜 확립된 다른 품질 테스트는 언어 모델의 내재적 특성을 검사하거나 두 모델을 비교한다. 언어 모델은 일반적으로 동적이고 자신이 보는 데이터로부터 학습하도록 의도되므로, 일부 제안된 모델은 학습 곡선 검토 등을 통해 학습 속도를 조사한다.

언어 처리 시스템 평가에 사용하기 위해 다양한 데이터 세트가 개발되었다. 여기에는 다음이 포함된다.

 대규모 다중 작업 언어 이해(Massive Multitask Language Understanding, MMLU)
 언어 수용성 말뭉치
 GLUE 벤치마크
 Microsoft Research Paraphrase Corpus
 다중 장르 자연어 추론
 질문 자연어 추론
 쿼라 퀘스천 페어스(Quora Question Pairs)
 텍스트 함의 인식
 의미 텍스트 유사성 벤치마크
 SQuAD 질의응답 테스트
 스탠포드 감정 트리뱅크
 위노그라드 NLI
 BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairs

 같이 보기 


 캐시 언어 모델
 심층 언어 처리
 인공지능의 윤리
 요인 언어 모델
 GPT (언어 모델)
 카츠의 백오프 모델
 언어 기술
 의미 유사성 네트워크
 통계 모델

 각주 

 더 읽어보기 






분류:통계적 자연어 처리
분류:마르코프 모형