機械学習理論における MDP のもう一つの応用は学習オートマトン (Learning Automata) と呼ばれる。これは環境が確率的な挙動を示す場合における強化学習の一つでもある。学習オートマトンに関する最初の詳細な論文は 1974 年に Narendra と Thathachar によりまとめられた（そこでは有限状態オートマトンと明示的に記載されている）。強化学習と同様，学習オートマトンのアルゴリズムも確率や報酬が未知の場合の問題を解くことができる。Q学習の違いは，価値関数ではく学習の結果を探すために行動の確率を直接求めることである。学習オートマトンは収束性が厳密に証明されている．
状態遷移確率  や報酬関数  が未知の場合，環境との相互作用を通じてこれらの情報を得ながら行動を決定する必要がしばしば生じる．このような問題は強化学習の枠組みで議論される．強化学習における代表的な学習アルゴリズムはQ学習と呼ばれるものである。Q学習では、行動価値関数 (action-value function) と呼ばれる関数  に着目する。ここで  は次のように定義される:いま，最適政策のもとでの行動価値関数  は  を満たす。すなわち、 を学習することができれば（モデルのパラメータを直接求めることなく）最適政策を獲得することができる。Q学習では、各試行における遷移前後の状態と入力、および試行で得られる即時報酬の実現値をもとに  の値を逐次更新する。実際の学習プロセスでは、すべての状態を十分サンプリングするため確率的なゆらぎを含むよう学習時の行動が選択される。強化学習では最適化に必要なパラメータの学習を状態遷移確率・報酬関数を介することなくおこなうことが出来る（価値反復法や政策反復法ではそれらの明示的な仕様（各状態間の遷移可能性，報酬関数の関数形など）を与える必要がある）。状態数（および行動の選択肢）が膨大な場合、強化学習はしばしばニューラルネットワークなどの関数近似と組み合わせられる。
MDP では政策  を計算する際に現在の状態  が既知であることを仮定している。実際には状態観測に不確実性が伴う場合などこの仮定が成り立たない場合が多く、このような場合の一般化として部分観測マルコフ決定過程 (Partially Observable Markov Decision Process; POMDP) が用いられる。
価値反復法 (value iteration)は後ろ向き帰納法 (backward induction) とも呼ばれ、ベルマン方程式を満たす価値関数を繰り返し計算により求める。 ロイド・シャープレー が1953年に発表した確率ゲームに関する論文には価値反復法の特殊な場合が含まれるが、このことが認知されたのは後になってからである．ステップ における価値関数の計算結果を  と表記すると、価値反復法における更新式はつぎのように記述される:上式をすべての状態において値が収束するまで繰り返したときの値を  とし、最適政策   を次式で求める。
MDP は 線形計画法または動的計画法で解くことができる。ここでは後者によるアプローチを示す．いま，ある（定常な）政策  を採用した場合における割引報酬和  は現在の状態  のみに依存し、これを 状態価値関数 (state-value function) と呼ぶ（ は政策  の下での条件付き期待値）。この状態価値関数  は次式を満たす。ただし  は状態  において政策  を採用した場合における即時報酬の期待値である。任意の  および  に対し  を満たす政策  を最適政策 (optimal policy) と呼ぶ。を採用したときの状態価値関数の最大値  は次のベルマン方程式を満たす．
MDP における基本的な問題設定は、現在の状態が  が与えられたときに意思決定者の取る行動  を既定する政策 (policy) を求めることである。政策は通常  の条件付き分布  として規定され、状態  に 行動  を取る確率を  と表記する。政策を求める際に用いられるゴール（目的関数）は、典型的には現在時刻から無限区間先の未来までにおける「割引された」報酬の累積値が用いられる:ここで  は割引因子 (discount factor) と呼ばれる値であり、現在の報酬と未来の報酬との間における重要度 (importance) の差異を表している。状態が確率的に遷移することから上の値は確率変数となるため、通常はその期待値が用いられる。
ロシア連邦の連邦構成主体のチェチェン共和国を領土と宣言し、自称による領土は北西をスタヴロポリ地方、北東から東をダゲスタン共和国、南をグルジア、西をイングーシ共和国と北オセチア共和国に接し、カフカース山脈の北に位置するとしている。初代大統領ジョハル・ドゥダエフのソ連邦からの独立と建国宣言により建国されたが、これを阻止しようとするロシア連邦との間で勃発したのが第一次チェチェン紛争である。第一次チェチェン紛争中の1995年と第二次チェチェン紛争中の2000年に、ロシア連邦軍により首都としていたグロズヌイが陥落させられると、それ以降は政府としての実体を維持できなくなり、武装勢力化した。チェチェン・イチケリア共和国大統領を名乗っていた歴代指導者5名全員がロシア当局により殺害されている。2007年に第5代大統領のドク・ウマロフが北カフカースにイスラム国家の建設を目指してカフカース首長国の建国を宣言し、カフカース首長国と強硬派の勢力に分裂した。しかし、チェチェン独立派の中には穏健な独立を目指すアフメド・ザカエフのような者もおり、ザカエフは2003年からイギリスに政治亡命してチェチェン独立のための政治活動を行っている。ザカエフはドク・ウマロフのカフカース首長国建国宣言後、従来のチェチェン独立派であるカフカース首長国政権からの亡命政権としてのチェチェン・イチケリア共和国首相への就任を宣言した。ロシアはザカエフを国際指名手配しておりイギリスに対して引渡しを求めている。