언어 모델

언어 모델(language model) 또는 언어 모형은 일련의 단어들의 확률 분포이다. 길이 m의 단어들의 시퀀스가 주어졌을 때 언어 모델은 확률 을 전체 시퀀스에 할당한다. 언어들이 무한하고 다양한, 유효한 문장들을 표현하기 위해 사용할 수 있을 때 언어 모델링은 0이 아닌 확률들을 언어적으로 유효한 (훈련 데이터에 마주친 적이 없을 수 있는) 문장들에 할당하는 문제에 직면한다. 이 문제를 극복하기 위한 여러 모델링 접근법들이 설계되고 있는데, 예를 들면 마르코프 추정을 적용하거나 순환 신경망 또는 변환기 등의 신경 아키텍처를 사용하는 것을 들 수 있다.

언어 모델은 전산언어학의 다양한 문제에 유용하다.

같이 보기 
 자연어 처리
 변환기 (기계 학습)
 통계 모델

각주

추가 문헌 

 
 
 

통계적 자연어 처리
마르코프 모형