想像一個簡單嘅例子，家陣個人工智能設計者想設計一個人工智能程式，教部電腦玩井字過三關，個程式內部要有一個數學模型用 MDP 表示個遊戲嘅環境， 包括咗「對手霸咗左上角，其他格仔全部都空」等嘅狀態， 包括咗「霸右下角個格仔」等嘅行動， 包括咗「我填咗右下角，跟住落嚟中間格仔會被霸佔嘅機會率」等嘅一柞機會率， 包括咗一柞數值代表（例如）變成呢個狀態會令自己贏嘅機會率提升幾多。