ここでformula_52は単位行列、formula_16は全ての成分が1の列ベクトルであり、各状態に対してその状態への遷移確率を合計するはたらきをする。