確率文脈自由文法
別の問題として、言語として意味を成さない文章まで生成できてしまうという問題がある。確率文法は、これらの問題への対処として生成規則の使用頻度でそれらを順位付けし、結果として最もそれらしい解釈ができるが、定義上、その解釈も追加データによって無効化される。構文の使用パターンは時と共に変化するので、確率的生成規則も再学習が必要であり、それによって文法が更新される。
伝統的な形式文法の全非終端記号に実例データから推定した確率値を付与することで確率文法を構築することもできる。一般に、一から精密に構築した文法よりも、データから確率を調整した確率文法の方がすぐれている(もっとも、規則に基づいた文法でもSCFGの正確さに近いものが出現している)。
最近では、確率文法はある程度の認識的尤もらしさを得たように見える。異なる文法構造にアクセスするのが難しいことはよく知られている(例えば、関係節の接近度階層)。ミニマリスト文法の確率バージョンは、わかりやすさと生成の困難さについて言語心理学的データとよく相関するような情報理論的エントロピーを計算するのに使われている。