確率行列
P S , S ] {\displaystyle P=\left[{\begin{matrix}P_{1,1}&P_{1,2}&\dots &P_{1,j}&\dots &P_{1,S}\\P_{2,1}&P_{2,2}&\dots &P_{2,j}&\dots &P_{2,S}\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{i,1}&P_{i,2}&\dots &P_{i,j}&\dots &P_{i,S}\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{S,1}&P_{S,2}&\dots &P_{S,j}&\dots &P_{S,S}\\\end{matrix}}\right]}
状態 i {\displaystyle i} から次の状態へ遷移する確率の総和は1なので、
∑ j = 1 S P i , j = 1 {\displaystyle \sum _{j=1}^{S}P_{i,j}=1}
となり右確率行列であるための条件を満たす。
行列 P {\displaystyle P} の各 i {\displaystyle i} 行成分の和は P 1 = 1 {\displaystyle P\mathbf {1} =\mathbf {1} } とより簡潔に書くこともできる。ここで 1 {\displaystyle \mathbf {1} } は全ての成分が1の S {\displaystyle S} 次元列ベクトル。これを使うと、2つの確率行列 P ′ {\displaystyle P^{\prime }} , P ′ ′ {\displaystyle P^{\prime \prime }} の積もまた右確率的であることがわかる: P ′ P ′ ′ 1 = P ′ ( P ′ ′ 1 ) = P ′ 1 = 1 {\displaystyle P^{\prime }P^{\prime \prime }\mathbf {1} =P^{\prime }(P^{\prime \prime }\mathbf {1} )=P^{\prime }\mathbf {1} =\mathbf {1} }