語言模型 語言模型是一個自然語言中的詞語機率分佈模型例如提供一个长度为 m displaystyle m 的字詞序列 w   w       w m displaystyle wwwm 計算這些字詞的概率 P  w     w m  displaystyle Pwldots wm 通過语言模型可以确定哪个词语出现的可能性更大或者通過若干上文语境词来预测下一个最可能出现的词语 語言模型經常使用在許多自然語言處理方面的應用如語音識別機器翻譯詞性標註句法分析手写体识别和資訊檢索由於字詞與句子都是任意組合的長度因此在訓練過的語言模型中會出現未曾出現的字串資料稀疏的問題也使得在語料庫中估算字串的機率變得很困難這也是要使用近似的平滑n元語法Ngram模型之原因 在語音辨識和在資料壓縮的領域中這種模式試圖捕捉語言的特性並預測在語音串列中的下一個字 在语音识别中声音与单词序列相匹配当来自语言模型的证据与发音模型和声学模型相结合时歧义更容易解决 當用於資訊檢索語言模型是與文件有關的集合以查詢字Q作為輸入依據機率將文件作排序而該機率 P  Q  M d  displaystyle PQMd 代表該文件的語言模型所產生的語句之機率