【手続補正書】
【提出日】平成24年3月21日(2012.3.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
【図１】アクション環境を示す図である。
【図２】アクション環境の構造が変化する様子を示す図である。
【図３】エージェントが行うアクション、及び、エージェントが観測する観測値を示す図である。
【図４】本発明の情報処理装置を適用したエージェントの一実施の形態の構成例を示すブロック図である。
【図５】反射アクションモードの処理を説明するフローチャートである。
【図６】拡張HMMの状態遷移確率を説明する図である。
【図７】拡張HMMの学習の処理を説明するフローチャートである。
【図８】認識アクションモードの処理を説明するフローチャートである。
【図９】目標決定部１６が行う目標状態の決定の処理を説明するフローチャートである。
【図１０】アクション決定部２４によるアクションプランの算出を説明する図である。
【図１１】アクション決定部２４が行う、抑制子を用いての、拡張HMMの状態遷移確率の補正を説明する図である。
【図１２】状態認識部２３が行う抑制子の更新の処理を説明するフローチャートである。
【図１３】オープン端検出部３７が検出するオープン端である拡張HMMの状態を説明する図である。
【図１４】オープン端検出部３７が、観測値Okが閾値以上の確率で観測される状態Siをリストアップする処理を説明する図である。
【図１５】観測値Okに対してリストアップされた状態Siを用いて、アクションテンプレートCを生成する方法を説明する図である。
【図１６】観測確率に基づくアクション確率Dを算出する方法を説明する図である。
【図１７】状態遷移確率に基づくアクション確率Eを算出する方法を説明する図である。
【図１８】差分アクション確率Fを模式的に示す図である。
【図１９】オープン端の検出の処理を説明するフローチャートである。
【図２０】分岐構造検出部３６による分岐構造の状態の検出の方法を説明する図である。
【図２１】シミュレーションで採用したアクション環境を示す図である。
【図２２】シミュレーションでの学習後の拡張HMMを模式的に示す図である。
【図２３】シミュレーションの結果を示す図である。
【図２４】シミュレーションの結果を示す図である。
【図２５】シミュレーションの結果を示す図である。
【図２６】シミュレーションの結果を示す図である。
【図２７】シミュレーションの結果を示す図である。
【図２８】シミュレーションの結果を示す図である。
【図２９】シミュレーションの結果を示す図である。
【図３０】エージェントを応用した掃除ロボットの概要を示す図である。
【図３１】１状態１観測値制約を実現するための状態の分割の概要を説明する図である。
【図３２】分割対象状態の検出の方法を説明する図である。
【図３３】分割対象状態を、分割後状態に分割する方法を説明する図である。
【図３４】１状態１観測値制約を実現するための状態のマージの概要を説明する図である。
【図３５】マージ対象状態の検出の方法を説明する図である。
【図３６】複数の分岐先状態を、１つの代表状態にマージする方法を説明する図である。
【図３７】１状態１観測値制約の下で行われる、拡張HMMの学習の処理を説明するフローチャートである。
【図３８】分割対象状態の検出の処理を説明するフローチャートである。
【図３９】状態の分割の処理を説明するフローチャートである。
【図４０】マージ対象状態の検出の処理を説明するフローチャートである。
【図４１】マージ対象状態の検出の処理を説明するフローチャートである。
【図４２】状態のマージの処理を説明するフローチャートである。
【図４３】１状態１観測値制約の下での拡張HMMの学習のシミュレーションを説明する図である。
【図４４】認識アクションモードの処理を説明するフローチャートである。
【図４５】現況状態系列の候補の算出の処理を説明するフローチャートである。
【図４６】現況状態系列の候補の算出の処理を説明するフローチャートである。
【図４７】第１のストラテジに従ったアクションの決定の処理を説明するフローチャートである。
【図４８】第２のストラテジに従ったアクションの決定の概要を説明する図である。
【図４９】第２のストラテジに従ったアクションの決定の処理を説明するフローチャートである。
【図５０】第３のストラテジに従ったアクションの決定の概要を説明する図である。
【図５１】第３のストラテジに従ったアクションの決定の処理を説明するフローチャートである。
【図５２】複数のストラテジの中から、アクションを決定するときに従うストラテジを選択する処理を説明するフローチャートである。
【図５３】複数のストラテジの中から、アクションを決定するときに従うストラテジを選択する処理を説明するフローチャートである。
【図５４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
観測値O1は、上と、下と、左とが壁で、右が通路になっている観測単位で観測され、観測値O2は、上と、左と、右とが壁で、下が通路になっている観測単位で観測される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
なお、アクションUm（m=1,2,・・・,M（Mはアクションの（種類の）総数））、及び、観測値Ok（k=1,2,・・・,K（Kは観測値の総数））は、いずれも離散値である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
すなわち、ステップＳ２２では、学習部２１は、前向き確率(Forward probability)αt+1(j)と、後ろ向き確率(Backward probability)βt(i)とを算出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０３７４
【補正方法】変更
【補正の内容】
【０３７４】
その後、オープン端検出部３７は、拡張HMMの状態遷移確率A={aij(Um)}を用い、各観測値Okについて、その観測値Okに対してリストアップされた状態Siからの状態遷移のうちの、状態遷移確率aij(Um)が最大の状態遷移の状態遷移確率aij(Um)に対応する値である遷移確率対応値を、アクションUmごとに算出し、各観測値Okについて、アクションUmごとに算出された遷移確率対応値を、観測値Okが観測されたときにアクションUmが行われるアクション確率として、アクション確率を要素とする行列であるアクションテンプレートCを生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０４８９
【補正方法】変更
【補正の内容】
【０４８９】
図２８は、時刻t=t5（＝t4+1）のエージェントを示している。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０５０５
【補正方法】変更
【補正の内容】
【０５０５】
ホストコンピュータ５２は、アクセスポイント５３を介して、掃除ロボット５１との間で無線通信を行うことにより、必要なデータをやりとりし、これにより、掃除ロボット５１は、図４のエージェントと同様なアクションとしての移動を行う。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０５８９
【補正方法】変更
【補正の内容】
【０５８９】
ここで、式（２２）において、A(,,)は、３次元の配列であり、配列の要素A（S,S',U)は、アクションUが行われた場合に、状態Sを遷移元として、状態S'に状態遷移する状態遷移確率を表す。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０５９５
【補正方法】変更
【補正の内容】
【０５９５】
そして、すべてのアクションについて、観測値O1が割り当てられた分割後状態S3を遷移先とする状態遷移の状態遷移確率A(:,S3,:)が、補正値B(S3,O1)A(:,S3,:)に設定される（A(:,S3,:)=B(S3,O1)A(:,S3,:)）。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０６４２
【補正方法】変更
【補正の内容】
【０６４２】
また、式（２４）において、argmax(Bik)は、観測確率行列Bにおいて、状態SiのサフィックスがSの状態の、最大の観測確率BS,kのサフィックスkを表す。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０６６１
【補正方法】変更
【補正の内容】
【０６６１】
学習部２１は、以上のようにして、フォワード方向、及び、バックワード方向の分岐の分岐元状態と、その分岐元状態から分岐する複数の分岐先状態とを検出すると、その複数の分岐先状態を、１つの代表状態にマージする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０６７４
【補正方法】変更
【補正の内容】
【０６７４】
学習部２１は、代表状態S1において、観測値O1が観測される観測確率b1(O1)を、マージ対象状態S1及びS4それぞれにおいて、観測値O1が観測される観測確率b1(O1)及びb4(O1)の平均値(b1(O1)＋b4(O1))／2に設定する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０７２０
【補正方法】変更
【補正の内容】
【０７２０】
ステップＳ１１２では、学習部２１は、観測値Okのサフィックスを表す変数kを、例えば、1に初期化して、処理は、ステップＳ１１３に進む。
ステップＳ１１３では、学習部２１は、状態Siにおいて、観測値Okが観測される観測確率Bik＝bi(Ok)が、式（２０）のかっこ内の条件式1/K＜Bik＜bmax_thを満たすかどうかを判定する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０７４１
【補正方法】変更
【補正の内容】
【０７４１】
ステップＳ１４２において、分割対象状態のすべてを、まだ、注目状態に選択していないと判定された場合、処理は、ステップＳ１３１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１４２において、分割対象状態のすべてを、注目状態に選択したと判定された場合、すなわち、分割対象状態すべての分割が完了した場合、処理はリターンする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０７４４
【補正方法】変更
【補正の内容】
【０７４４】
ステップＳ１６２では、学習部２１は、状態Siのサフィックスを表す変数iを、例えば、1に初期化して、処理は、ステップＳ１６３に進む。
ステップＳ１６３では、学習部２１は、モデル記憶部２２に記憶された拡張HMMにおいて、アクションUmについての、状態Siを遷移元とする各状態Sjへの状態遷移の状態遷移確率Aijm=aij(Um)の中の最大値max(Aijm)を検出して、処理は、ステップＳ１６４に進む。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０７５４
【補正方法】変更
【補正の内容】
【０７５４】
また、ステップＳ１６９において、式（２５）のかっこ内の条件式amin_th2＜Ai'jmを満たす状態遷移の遷移元の状態Si'が複数存在すると判定された場合、処理は、ステップＳ１７０に進み、学習部２１は、状態Sjをバックワード方向の分岐の分岐元状態として検出する。
さらに、学習部２１は、アクションUmについての、バックワード方向の分岐の分岐元状態Sjを遷移先とする各状態Si'からの状態遷移の中で、状態遷移確率Ai'jm=ai'j(Um)が、式（２５）のかっこ内の条件式amin_th2＜Ai'jmを満たす状態遷移の、複数の遷移元の状態Si'を、バックワード方向の分岐の分岐先状態として検出し、処理は、ステップＳ１７０からステップＳ１７１に進む。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０７６６
【補正方法】変更
【補正の内容】
【０７６６】
ステップＳ１９５では、学習部２１は、分岐元状態のすべてを、注目状態に選択したかどうかを判定する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０７６７
【補正方法】変更
【補正の内容】
【０７６７】
ステップＳ１９５において、分岐元状態のすべてを、まだ、注目状態に選択していないと判定された場合、処理は、ステップＳ１９１に戻る。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０７９５
【補正方法】変更
【補正の内容】
【０７９５】
そこで、エージェントでは、認識アクションモードにおいて、エージェントの現在の状況が、未知の状況（いままでに観測したことがない観測値系列及びアクション系列が観測される状況）（拡張HMMで獲得されていない状況）であるか、又は、既知の状況（いままでに観測したことがある観測値系列及びアクション系列が観測される状況）（拡張HMMで獲得されている状況）であるかを判定し、その判定結果に基づいて、適切なアクションを決定することができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０８３０
【補正方法】変更
【補正の内容】
【０８３０】
ステップＳ３１２では、拡張HMMのＮ個の状態Sjそれぞれについて、最適状態確率δt(j)と、認識用状態系列（最適経路）ψt(j)）とが求められる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０９０３
【補正方法】変更
【補正の内容】
【０９０３】
ステップＳ３６２では、アクション決定部２４は、モデル記憶部２２に記憶された拡張HMMに基づき、注目状態系列に対して、注目状態系列の最後状態から、その最後状態の直前の直前状態への状態遷移の状態遷移確率を、アクションUmごとに、（第３のストラテジに従った）アクションUmを行う適正さを表すアクション適正度として求める。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０９５９
【補正方法】変更
【補正の内容】
【０９５９】
ここで、式（３８）のargmax{ Hj(Pm)}は、アクションUmのサフィックスmのうちの、かっこ内のエントロピーHj(Pm)を最大にするサフィックスm'を表す。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０９６３
【補正方法】変更
【補正の内容】
【０９６３】
ここで、式（３９）のargmin{Hj(Pm)}は、アクションUmのサフィックスmのうちの、かっこ内のエントロピーHj(Pm)を最小にするサフィックスm'を表す。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】１００４
【補正方法】変更
【補正の内容】
【１００４】
また、ステップＳ３９２において、未知率が、所定の閾値より大であると判定された場合、すなわち、エージェントの状況が未知状況になっている割合が、かなり多い場合、処理は、ステップＳ３９４に進み、アクション決定部２４は、アクションを決定するときに従うストラテジとして、第２及び第３のストラテジのうちの、認識可能化情報を増加させる第２のストラテジを選択して、処理は、ステップＳ３９１に戻る。
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】図３４
【補正方法】変更
【補正の内容】
【図３４】
2010287027.tif 000001
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図３８
【補正方法】変更
【補正の内容】
【図３８】
2010287027.tif 000002
【手続補正２７】
【補正対象書類名】図面
【補正対象項目名】図３９
【補正方法】変更
【補正の内容】
【図３９】
2010287027.tif 000003