困惑度

困惑度反映一個概率分佈「有幾能夠預測個樣本」，一個離散概率分佈  嘅困惑度計法如下－
，當中

係個概率分佈嘅資訊熵。簡單講，困惑度愈高，就反映個概率分佈愈做唔到肯定嘅預測。

自然語言處理好興用「個程式對每隻字嘅困惑度」嚟做量度「個模型有幾掂」嘅基準。

資訊熵
概率論
自然語言處理

攷

訊息論
自然語言處理