和文題目
マルコフ過程って何ですか？

著者
木村 元   

  

システム 制御 情報，   ½

 

アイ・サイ問答教室

マルコフ過程って何ですか？
とある大学の研究室へ所属したばかりのアイさんが，ら文字列や画像・動画データが通信路を使って君のデスクに数冊の教科書を積み上げて泣きそうになりなが 上のブラウザに表示されてるだろ？このとき，ら何やらため息をついています．そこへ先輩の大学院生

膨大なデータをやり取りするためにデータを圧縮しのサイ君がやってきました．

たり，通信路の途中でノイズが混入してデータが変

アイ 「うーん…」

わってしまうことがあるので，これを訂正する処理

サイ 「よっ，何悩んでるんだ？」を行ったりと，けっこう高度なことが行われている

アイ 「ああ，サイ先輩，さっき教授に呼ばれて，まずマんだよ．この通信路を流れる信号の規則性をマルコルコフ過程を勉強しろ，卒論研究の話はそれからだ

フ過程で表すことで，データの圧縮や誤り訂正の理と言われて，これらの教科書を渡されたんですよ．

論を構築しているんだ．例えば，一般的な英文の場

サイ 「そうか…．うちの学科の必修科目では教えて無合，文字 の次には や  が出現しやすかったり，文字  の次には や が出現しやすい，といったいもんね．
」
アイ 「でも，何だか数式やら行列ばかりで難しそうだ

特徴があるよね．そこで現在の時刻 で流れているし，そもそもマルコフ過程って何なんですか？なん

文字を状態  とし，その次に来る文字を時刻  か古いアニメのキャラやら過激な政治指導者とかをの状態 ·½ と置いて，通信路を英文が流れていく規則性を条件付き確率    で表せば，時間の連想するんですけど…」
サイ 「何だそりゃ？教科書を読む前から挫折してるの経過とともに変化していく文字をマルコフ過程で表したことになる．ここで    は，時刻 のときか．困った後輩だな…」
アイ 「サイ先輩〜，サルでも分かるように教えてくだ という文字だったら（条件部），次にくる文字が である確率を表す．ここで確率変数  はアルファ

さいよ〜」

ベット 〜 およびスペースコンマ・ピリオドなど

サイ 「じゃあ簡単に概要を説明するよ．まずこれは確の記号を状態量の値としてとる．
」

率過程，すなわち状態が時間の経過に伴って確率的

アイ 「画像や音声などの伝送もマルコフ過程で表すんに変化するようなシステムを表現したり解析するたですか？」

めのモデルの１つだ．特に，未来の状態が現在の状態だけで決まり，過去の挙動とは無関係になるといサイ 「うん．同じマルコフ過程で表すにしても状態量う『マルコフ性』を有する確率過程を『マルコフ過の定義によって表現法は様々だけどね．例えば画像

程  の場合，上左端のピクセルから右方向へ順番に輝度』と言うんだ．
」

アイ 「例えばどんな事がマルコフ過程で扱われている情報を見ていき，右端まで来たらその１つ下の行のんですか？」

ピクセルを再び左端から順に見ていく場合，ある位

サイ 「そうだな…工学分野では在庫管理，生産管理，待置にあるピクセルの輝度の値を状態量  とすると、ち行列，経営戦略，野球のようなゲームにおける戦次のピクセルの輝度の値  の規則性を条件付き確率略などのように，サービスの要求発生が客の気まぐ  

れ等などに左右されるような事に使われているのをの（時）系列はマルコフ過程になる．一般に，写真最初に読んだ教科書で勉強したよ．ほら，アイさんのような画像の場合，隣り合うピクセルの輝度は多が先生から渡された教科書の中に『オペレーション

くの場合あまり差が無いという特徴があるよね．
」

ズリサーチ（ ）』に関するのがあるだろ？それがアイ 「なるほどー．確率的な状態遷移の規則性を条件そうさ．
」と表すことが可能だ．するとこの輝度情報付き確率で表現するんですね．
」

アイ 「ふーん．経営工学の分野で使われているんです

サイ 「特に，状態量が離散的で，とりうる状態の種類ね．でも，こっちの教科書は，『情報理論』とか『通が有限の場合，離散マルコフ過程とかマルコフ連鎖信理論』みたいなことが書いてありますけど，これと呼ばれていて，状態遷移の条件付き確率を行列では何なんですか？」

簡潔に表して解析できるんだ．
」

サイ 「それは，通信路を情報が流れる様子をマルコフ

アイ 「でもサイ先輩，そんなふうに現象をマルコフ過過程で表して，通信システムを解析するんだよ．
」

程で表現して，どんな事が分かるんですか？」

アイ 「それってどういうことですか？」

サイ 「現在の状態から，未来についてを予測することが

サイ 「例えば，インターネットは遠い外国のサーバかできるんだよ．この未来というのは，１ステップ遷  

¾

第巻

システム 制御 情報第号



移後，２ステップ遷移後， ステップ遷移後から無限なかったということがあるんだ．そこでこれらをう時間経過後まで考えて，そのときそれぞれの状態にまく扱うための方法論のベースとしてマルコフ過程なる確率がどのくらいなのか、すなわち状態確率分が使われているということだと思うよ．

がゴールのような何らかの終端状態を持つ場合，そアイ 「不確実性を扱う作業って何ですか？」
サイ 「例えば音声認識なんかが典型かな．最新の音声のようなマルコフ過程を吸収マルコフ過程，終端状

認識では，音声信号の特徴量から言葉を認識するけ態のことを吸収状態と呼んで，ある状態からスターど，言葉を構成する文字の遷移はさっきの通信路にトして吸収状態に陥るまでの時間（平均吸収時間）おける英文みたいにマルコフ過程であると考え，さとか，吸収状態に陥るまでに特定の状態を訪問するらに音声信号の特徴量にはノイズが乗りまくってる平均回数なども単純な行列計算で求められる．逆にから，その不確実性についても条件付き確率と考え終端状態というのが存在せず、ずっと動き続けるよて定式化する．これは隠れマルコフ過程といって，うな現象においては，収束の速さといって，ある状

このモデルを利用すると音声認識の性能としては精態からスタートして定常な遷移過程になるまでに要度は高いが不完全な観測情報から状態を推定する必する時間の大小関係を評価することもできるよ．
」

要があり，かなりの計算量を要求されるので最近ま布を単純な行列の積で計算できるんだ．また，現象でリアルタイム処理は難しかったんだ．
」

アイ 「抽象的な話なのでマルコフ過程のありがたみがアイ 「さっきサイ先輩は って言っていましたけど，今一つ実感できないので，何か具体的な使用例で説ロボットの制御などにも使われるのですか？」

明してください〜」
サイ 「そうだな．教科書に出ている有名な応用例に老サイ 「実際の工場の中の組立てロボットや溶接ロボッ

齢患者の社会復帰プログラムの効果分析というのがトに使われることはほとんど無いと思うけど，研究ある ．高齢の患者が健康な状態，病気で自宅療養用の探査ロボットの制御などではマルコフ過程を利している状態，病気で入院している状態，死亡して用した研究がされているよ．実環境では，同じ状態いる状態（吸収状態）を考え，過去のデータから一で同じ動作を選択したとしても，摩擦や誤差などの定期間後に他の状態へ遷移する確率を求めてマルコ要因によって状態遷移結果が異なることがある．工フ過程によるモデルを作る．すると，一般的な高齢場内で動くロボットだとこういうのはエラーになっ患者が病院で過ごす期間や死亡に至るまでの平均年てしまうが，このような不確実性をいわば当然存在数などを計算できる．また，マルコフ過程では，状するものと想定し，ロボットが動き回る環境をマル態遷移確率に加えて状態遷移に伴うコストや報酬をコフ過程でモデル化してコストが最小になる行動モデルに組み込むことにより，平均コストやコストを求めていくことでうまく対処していこうという合計の平均値も計算できる．高齢者の医療費を補助新しい考え方だ．ロボットのように，ある状態におする政府にとって，その負担軽減は重要なので，同いて選択可能な行動が複数あり，各行動によって状じ予算で補助を行うのであれば，病院で入院中の患態遷移確率が異なるような場合，マルコフ決定過程者に対して補助を行うのと，自宅療養中の患者に対（    

して補助を行うのとでは，トータルの医療費削減にマルコフ過程を用いて表現することがあるよ．
」

おいてどちらがより効果的かを上記のマルコフモデ

アイ 「なるほど，状態遷移に不確実性が存在するシス ）という特殊なテムを解析する基本的な方法論だから，いろいろなルを使って評価したという例がある．
」
アイ 「なるほど．経営工学の分野ではこういう使い方を分野で使われているんですね．サイ先輩の説明でよするんですね．ところで最近はやりの学習システム

く分かりました．ありがとうございました．さあ，とか比較的最先端の分野でよくマルコフ過程という今日の勉強はこれで終わりにして動画サイトでも見言葉を目にするんですが，これはどうしてですか？」ようっと．
」
サイ 「おいコラ，まだ教科書を１ページも読んでないの

サイ 「うーん，ファクトリーオートメーション（）やに終わりでいいのか！
？」

オフィスオートメーション（ ）という言葉のように，コンピュータの発達によって様々な作業がコン

参 考 文 献

ピュータやロボットに置き換えられてきたけど，一方でそのような置き換えが未だに難しい作業がある．
その難しさの原因の一つに状態遷移や観測の『不確  森村 英典，高橋 幸雄 著： ライブラリー  マルコフ
解析，日科技連出版社 実性』を扱う必要があるのにこれをうまく扱えてい 九州大学大学院工学研究院海洋システム工学部門木村  元