(57)【要約】  本開示は、ユーザが行動学習に対する行動の教示を容易に行うことができるようにする情報処理装置および情報処理方法に関する。タッチパネルは、周囲の環境が未知の環境要素を含む場合、未知の環境要素を示す未知環境要素情報と、周囲の環境に対応する行動の教示を要求する教示要求情報とを出力する。本開示は、例えば、環境ｓにおいて掃除ロボットが行動ａを行う確率Ｐ(a|s)を求める行動モデルに基づいて行動を制御する掃除ロボット等に適用することができる。
2018135301.tif 000002
【特許請求の範囲】
【請求項１】
周囲の環境が未知の環境要素を含む場合、前記未知の環境要素を示す未知環境要素情報と、前記周囲の環境に対応する行動の教示を要求する教示要求情報とを出力する出力部
を備える情報処理装置。
【請求項２】
前記周囲の環境と前記教示要求情報に応じてユーザから教示された行動とに基づいて、所定の周囲の環境において前記情報処理装置が所定の行動を行う確率を求める行動モデルを学習する行動制御部
をさらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記行動制御部は、前記行動モデルにしたがって、前記周囲の環境において確率が最も高くなる行動を前記情報処理装置が行うように制御する
ように構成された
請求項２に記載の情報処理装置。
【請求項４】
前記行動制御部により学習された前記行動モデルに基づいて、前記周囲の環境に含まれる各環境要素が未知の環境要素であるかを判定する未知判定部
をさらに備え、
前記出力部は、前記未知判定部により未知の環境要素であると判定された環境要素に基づいて、前記未知環境要素情報を更新する
ように構成された
請求項２に記載の情報処理装置。
【請求項５】
前記出力部は、前記周囲の環境が、未知の環境要素を含み、前記教示要求情報に応じてユーザから行動が教示されなかった過去の周囲の環境と類似していない場合、前記未知環境要素情報と前記教示要求情報とを出力する
ように構成された
請求項１に記載の情報処理装置。
【請求項６】
前記周囲の環境が未知の環境要素を含まない場合、行動後の前記周囲の環境が未知の環境要素を含む行動を前記情報処理装置が行うように制御する行動制御部
をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
前記周囲の環境が未知の環境要素を含まない場合、行動後の前記周囲の環境が未知の環境要素を含まない行動を行う行動制御部
をさらに備える
請求項１に記載の情報処理装置。
【請求項８】
情報処理装置が、
周囲の環境が未知の環境要素を含む場合、前記未知の環境要素を示す未知環境要素情報と、前記周囲の環境に対応する行動の教示を要求する教示要求情報とを出力する出力ステップ
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関し、特に、ユーザが行動学習に対する行動の教示を容易に行うことができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
エージェント、環境、行動、および報酬が与えられた際に、報酬を最大化する方策を学習する強化学習モデルがある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】”Maximum Entropy Inverse Reinforcement Learning”, Brian D. Ziebart, Andrew Maas, J.Andrew Bagnell, and Anind K. Dey，the Association for the Advancement of Artificial Intelligence (AAAI),2008.7.13
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザが行動学習に対する行動の教示を容易に行うことを可能にする方法は考案されていなかった。【０００５】
本開示は、このような状況に鑑みてなされたものであり、ユーザが行動学習に対する行動の教示を容易に行うことができるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の一側面の情報処理装置は、周囲の環境が未知の環境要素を含む場合、前記未知の環境要素を示す未知環境要素情報と、前記周囲の環境に対応する行動の教示を要求する教示要求情報とを出力する出力部を備える情報処理装置である。【０００７】
本開示の一側面の情報処理方法は、本開示の一側面の情報処理装置に対応する。【０００８】
本開示の一側面においては、周囲の環境が未知の環境要素を含む場合、前記未知の環境要素を示す未知環境要素情報と、前記周囲の環境に対応する行動の教示を要求する教示要求情報とが出力される。【０００９】
なお、本開示の一側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１０】
また、本開示の一側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１１】
本開示の一側面によれば、ユーザが行動学習に対する行動の教示を容易に行うことができる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】掃除ロボットの一実施の形態の概要を説明する図である。
【図２】図１の掃除ロボットの構成例を示すブロック図である。
【図３】環境画面の第１の例を示す図である。
【図４】環境画面の第２の例を示す図である。
【図５】掃除ロボットの初期化処理を説明するフローチャートである。
【図６】通常モード時の掃除ロボットの行動制御処理の第１の例を説明するフローチャートである。
【図７】積極モード時の掃除ロボットの行動制御処理を説明するフローチャートである。
【図８】保守モード時の掃除ロボットの行動制御処理を説明するフローチャートである。
【図９】通常モード時の掃除ロボットの行動制御処理の第２の例を説明するフローチャートである。
【図１０】環境画面の他の表示方法を説明する図である。
【図１１】本開示を適用した情報処理装置としてのゲーム機の一実施の形態の概要を示す図である。
【図１２】ゲーム機の一実施の形態の構成例を示すブロック図である。
【図１３】サポートロボットの一実施の形態の概要を示す図である。
【図１４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：掃除ロボット（図１乃至図１０）
２．第２実施の形態：ゲーム機（図１１および図１２）
３．第３実施の形態：サポートロボット（図１３）
４．第４実施の形態：コンピュータ（図１４）
【００１５】
＜第１実施の形態＞
（掃除ロボットの一実施の形態の概要）
図１は、本開示を適用した情報処理装置としての掃除ロボットの一実施の形態の概要を説明する図である。
【００１６】
図１の掃除ロボット１１は、自分を行動の対象であるエージェントとして、カメラ等の各種のセンサによりエージェントの周囲の環境を検知し、その環境に基づいて、行動モデルにしたがって、掃除等の行動をエージェントに行わせる。
【００１７】
掃除ロボット１１は、例えば、掃除中にいままで周囲に存在しなかったカーペット１２を発見すると、掃除を中断する。そして、掃除ロボット１１は、未知の環境要素としてカーペット１２を示す未知環境要素情報と、ユーザに現在の周囲の環境に対応する行動の教示を要求する教示要求情報とをタッチパネル１１Ａに表示させる。
【００１８】
ユーザは、タッチパネル１１Ａに表示された未知環境要素情報を見て未知の環境要素がカーペット１２であることを認識する。そして、ユーザは、タッチパネル１１Ａ上で操作を行うことにより、カーペット１２を避けて掃除する行動、または、カーペット１２を横切って掃除する行動を教示する。
【００１９】
掃除ロボット１１は、ユーザから教示された行動に基づいて行動モデルを汎化学習することにより、これ以降は、教示された行動をカーペット１２に対して行う。
【００２０】
以上のように、ユーザは、教示要求情報が表示された場合に行動を教示すればよいため、機械の操作に不慣れなユーザであっても、行動学習に対する行動の教示を容易に行うことができる。
【００２１】
（掃除ロボットの構成例）
図２は、図１の掃除ロボット１１の構成例を示すブロック図である。
【００２２】
図２の掃除ロボット１１は、タッチパネル１１Ａ、行動制御部３１、環境検知部３２、未知判定部３３、要求部３４、および受信部３５により構成される。
【００２３】
掃除ロボット１１の行動制御部３１は、環境ｓにおいて掃除ロボット１１が行動ａを行う確率Ｐ（a|s）(環境ｓにおける掃除ロボット１１の行動ａの適切さ)を求める行動モデル（行動ルール）を初期化する。
【００２４】
具体的には、行動制御部３１は、環境検知部３２に周囲の環境の検知を要求し、その要求に応じて環境検知部３２から供給される周囲の環境を示す環境情報を取得する。また、行動制御部３１は、受信部３５から、ユーザの図示せぬリモートコントローラの操作を示すリモートコントローラ操作信号を取得する。行動制御部３１は、そのリモートコントローラ操作信号に基づいて、ユーザにより教示された、現在の周囲の環境に対応する掃除ロボット１１の行動を認識する。そして、行動制御部３１は、現在の環境情報が示す環境を環境ｓとし、その環境に対応する掃除ロボット１１の行動を行動ａとして、行動モデルを汎化学習することにより、行動モデルを初期化する。行動制御部３１は、初期化された行動モデルを未知判定部３３に供給する。
【００２５】
また、行動制御部３１は、タッチパネル１１Ａから供給されるユーザのタッチパネル１１Ａに対する操作を表すタッチ操作信号に基づいて、行動のモードを、積極モード、通常モード、または保守モードに設定する。
【００２６】
行動制御部３１は、行動のモードが積極モードに設定される場合、未知判定部３３から現在の周囲の環境が既知環境であると通知されるとき、環境モデル（詳細は後述する）と行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が閾値以上である行動のうち、行動後の周囲の環境が未知環境になる確率が最も高い行動を選択する。そして、行動制御部３１は、選択された行動を掃除ロボット１１が行うように制御する。
【００２７】
なお、既知環境とは、未知の環境要素を含まない環境であり、未知環境とは、未知の環境要素を含む環境である。また、掃除ロボット１１の行動としては、例えば、直進して掃除を行う行動、曲がりながら掃除を行う行動などがある。
【００２８】
さらに、環境モデルは、環境ｓにおいて掃除ロボット１１が行動ａを行ったときに環境ｓが環境ｓ´に変化する確率Ｐ（ｓ´｜ｓ，ａ）（の予測値）を求めるモデルである。ここでは、環境モデルは予め決められているものとするが、環境検知部３２により検知される環境と行動制御部３１により行われる行動に基づいて学習されるようにしてもよい。
【００２９】
一方、行動のモードが通常モードに設定される場合、未知判定部３３から現在の周囲の環境が既知環境であると通知されるとき、行動制御部３１は、行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が最も高くなる行動を、掃除ロボット１１が行うように制御する。
【００３０】
また、行動のモードが保守モードに設定される場合、未知判定部３３から現在の周囲の環境が既知環境であると通知されるとき、環境モデルと行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が閾値以上である行動のうち、行動後の周囲の環境が既知環境になる確率が最も高い行動を選択する。そして、行動制御部３１は、選択された行動を掃除ロボット１１が行うように制御する。
【００３１】
さらに、行動のモードによらず、未知判定部３３から現在の周囲の環境が既知の環境ではないと通知されるとき、行動制御部３１は、タッチパネル１１Ａから供給されるタッチ操作信号に基づいて、ユーザにより教示される行動を認識する。そして、行動制御部３１は、認識された行動と現在の周囲の環境に基づいて行動モデルを汎化学習し、汎化学習された行動モデルを未知判定部３３に供給する。また、行動制御部３１は、汎化学習された行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が最も高くなる行動を、掃除ロボット１１が行うように制御する。
【００３２】
環境検知部３２は、カメラなどの各種のセンサにより構成される。環境検知部３２は、行動制御部３１からの要求に応じて、掃除ロボット１１の周囲の環境の検知を開始し、検知された環境の環境情報（例えば、環境検知部３２により撮影された撮影画像）を行動制御部３１に供給する。また、環境検知部３２は、行動学習モデルの初期化後、掃除ロボット１１の周囲の環境の検知を開始し、検知された環境の環境情報を未知判定部３３に供給する。
【００３３】
未知判定部３３は、環境検知部３２から供給される環境情報と行動制御部３１から供給される行動モデルに基づいて、その環境情報が示す周囲の環境が、既知環境であるか、または、未知環境であるかを判定する。
【００３４】
具体的には、未知判定部３３は、周囲の環境を環境ｓとしたときに以下の式（１）または式（２）が成り立つ場合、環境ｓが未知環境であると判定する。
【００３５】
【数１】
2018135301.tif 000003
【数２】
2018135301.tif 000004
【００３６】
thresholdは、予め決められた閾値であり、Ａは、行動ａの集合である。式（１）によれば、確率Ｐ（a|s）の最大値が閾値thresholdより小さい場合、環境ｓが未知環境であると判定される。また、式（２）によれば、確率Ｐ（a|s）のエントロピーが閾値thresholdより大きい場合、環境ｓが未知環境であると判定される。
【００３７】
なお、未知判定部３３は、確率Ｐ（a|s）の最大値と確率Ｐ（a|s）の２番目に大きい値との差分が閾値以下である場合に環境ｓが未知環境であると判定するようにしてもよい。
【００３８】
また、行動モデルが環境モデルを用いた関数である場合、未知判定部３３は、周囲の環境を環境ｓとしたときに以下の式（３）または式（４）が成り立つ場合、環境ｓが未知環境であると判定するようにしてもよい。
【００３９】
【数３】
2018135301.tif 000005
【数４】
2018135301.tif 000006
【００４０】
Ｓは、環境ｓの集合である。式（３）によれば、確率Ｐ（ｓ´｜ｓ，ａ）の最大値が閾値thresholdより小さい場合、環境ｓが未知環境であると判定される。また、式（４）によれば、確率Ｐ（ｓ´｜ｓ，ａ）のエントロピーが閾値thresholdより大きい場合、環境ｓが未知環境であると判定される。
【００４１】
なお、この場合、未知判定部３３は、確率Ｐ（ｓ´｜ｓ，ａ）の最大値と確率Ｐ（ｓ´｜ｓ，ａ）の２番目に大きい値との差分が閾値以下である場合に環境ｓが未知環境であると判定するようにしてもよい。
【００４２】
未知判定部３３は、判定結果と環境情報を行動制御部３１に通知する。また、未知判定部３３は、環境情報が示す周囲の環境に含まれる１以上の環境要素ごとに、行動制御部３１から供給される行動モデルに基づいて、その環境要素が既知の環境要素であるか、または、未知の環境要素であるかを判定する。そして、未知判定部３３は、環境情報と未知の環境要素を特定する未知環境要素特定情報を要求部３４に供給する。なお、未知の環境要素が存在しない場合、未知環境要素特定情報は、いずれの環境要素も特定しない情報である。
【００４３】
要求部３４は、環境情報と未知環境要素特定情報に基づいて、未知環境要素情報を生成（更新）する。また、要求部３４は、未知環境要素特定情報がいずれかの環境要素を未知の環境要素として特定する情報である場合、教示要求情報を生成する。そして、要求部３４は、未知環境要素情報、教示要求情報など含む環境画面を生成し、タッチパネル１１Ａに供給する。
【００４４】
受信部３５は、図示せぬリモートコントローラに対するユーザの操作を受け付け、その操作を示すリモートコントローラ操作信号を行動制御部３１に供給する。
【００４５】
タッチパネル１１Ａ（出力部）は、要求部３４から供給される環境画面を表示（出力）する。タッチパネル１１Ａは、ユーザからの行動のモードを選択する操作を受け付け、その操作のタッチ操作信号を行動制御部３１に供給する。また、タッチパネル１１Ａは、ユーザからの行動を教示する操作を受け付け、その操作のタッチ操作信号を行動制御部３１に供給する。
【００４６】
（環境画面の第１の例）
図３は、環境画面の第１の例を示す図である。
【００４７】
図３の例では、掃除ロボット１１の周囲に未知の環境要素としてのカーペット１２と、既知の環境要素としてのピアノ５１が存在する。このことは、後述する図４においても同様である。
【００４８】
この場合、要求部３４は、図３のＡに示すように、カーペット１２を未知の環境要素として示す未知環境要素情報として、環境検知部３２により撮影された撮影画像内のカーペット１２を色等で強調表示した画像６１を生成する。また、要求部３４は、教示要求情報として、「どのようにすれば良いですか？」といった行動の教示を促すメッセージ６２を生成する。そして、要求部３４は、画像６１とメッセージ６２を含む環境画面６３を生成し、タッチパネル１１Ａに表示させる。
【００４９】
ユーザは、環境画面６３の画像６１を見ることにより、未知の環境要素がカーペット１２であることを認識する。そして、ユーザは、メッセージ６２を見て、タッチパネル１１Ａに対して、カーペット１２に対する掃除ロボット１１の移動経路などを入力する操作を行うことにより、カーペット１２に対する行動の教示を行う。
【００５０】
その結果、行動モデルが更新され、カーペット１２が既知の環境要素になると、要求部３４は、図３のＢに示すように、いずれの環境要素も未知の環境要素として示さない未知環境要素情報として、環境検知部３２により撮影された撮影画像７１を生成する。即ち、未知環境要素情報が、画像６１から撮影画像７１に更新される。そして、要求部３４は、撮影画像７１を含む環境画面７２を生成し、タッチパネル１１Ａに表示させる。
【００５１】
（環境画面の第２の例）
図４は、環境画面の第２の例を示す図である。
【００５２】
図４の例では、カーペット１２が未知の環境要素であると判定されると、要求部３４は、図４のＡに示すように、カーペット１２を未知の環境要素として示す未知環境要素情報として画像６１を生成し、その画像６１に候補となる行動に対応する移動経路９１乃至９３を重畳した画像９４を生成する。また、要求部３４は、教示要求情報としてメッセージ６２を生成する。そして、要求部３４は、画像９４とメッセージ６２を含む環境画面９５を生成し、タッチパネル１１Ａに表示させる。
【００５３】
ユーザは、環境画面９５の画像９４を見ることにより、未知の環境要素がカーペット１２であることを認識する。そして、ユーザは、メッセージ６２を見て、タッチパネル１１Ａに対して、移動経路９１乃至９３から所望の移動経路を選択する操作を行うことにより、その移動経路に対応する行動をカーペット１２に対する行動として教示する。
【００５４】
その結果、行動モデルが更新され、カーペット１２が既知の環境要素になると、要求部３４は、図４のＢに示すように、いずれの環境要素も未知の環境要素として示さない未知環境要素情報として、撮影画像７１を生成する。即ち、未知環境要素情報が、画像９４から撮影画像７１に更新される。そして、要求部３４は、撮影画像７１を含む環境画面７２を生成し、タッチパネル１１Ａに表示させる。なお、このとき、ユーザにより選択された移動経路が環境画面７２に重畳されて表示されるようにしてもよい。
【００５５】
図４の場合、ユーザは、候補となる行動に対応する移動経路９１乃至９３から所望の移動経路を選択することにより行動を教示することができるため、図３の場合のように教示する行動を直接入力する場合に比べて、ユーザの負荷が軽減される。候補となる行動は、例えば、現在の行動モデルに基づいて求められた確率Ｐ（a|s）が高い方から所定数の行動である。
【００５６】
なお、現在の周囲の環境との類似度が高い既知の環境に対応する行動モデルに基づく行動に対応する移動経路を画像６１に重畳した画像と、教示要求情報としての「この行動で良いですか？」というメッセージとを含む環境画面が、タッチパネル１１Ａに表示されるようにしてもよい。
【００５７】
この場合、ユーザは、タッチパネル１１Ａに対して、ＯＫ（許可）を入力する操作を行うことにより、環境画面に表示された移動経路に対応する行動を教示する。従って、図３の場合のように教示する行動を直接入力する場合に比べて、ユーザの負荷を軽減することができる。ユーザが、ＮＧ（不許可）を入力する操作を行った場合には、例えば、図３の環境画面６３または図４の環境画面９５がタッチパネル１１Ａに表示される。
【００５８】
以上のように、要求部３４は、未知環境要素情報を表示させるので、ユーザは、未知環境要素情報から未知の環境要素を認識することができる。従って、ユーザは、その未知の環境要素に対する行動を教示することにより、より効率的に行動を教示することができる。即ち、未知環境要素情報は、ユーザによる行動を教示する操作を補助するユーザ操作補助情報として機能する。
【００５９】
また、要求部３４は、行動の教示後に未知環境要素情報を更新するので、ユーザは、行動の教示による行動モデルへの影響、即ち行動の教示に対する掃除ロボット１１の理解度を認識することができる。
【００６０】
（掃除ロボットの初期化処理の説明）
図５は、図２の掃除ロボット１１の初期化処理を説明するフローチャートである。この初期化処理は、例えば、ユーザ１０１が、図示せぬリモートコントローラやタッチパネル１１Ａを操作して、初期化処理の開始を指示したとき、開始される。
【００６１】
図５のステップＳ１１において、ユーザ１０１は、図示せぬリモートコントローラを操作して、現在の周囲の環境に対応する行動を教示する。
【００６２】
ステップＳ２１において、掃除ロボット１１の受信部３５は、ステップＳ１１の処理による操作を受け付け、その操作のリモートコントローラ操作信号を行動制御部３１に供給する。行動制御部３１は、そのリモートコントローラ操作信号に基づいて、ユーザにより教示された、現在の周囲の環境に対応する掃除ロボット１１の行動を認識し、環境検知部３２に周囲の環境の検知を要求する。
【００６３】
ステップＳ２２において、環境検知部３２は、行動制御部３１からの要求に応じて、掃除ロボット１１の周囲の環境を検知し、検知された環境の環境情報を行動制御部３１に供給する。
【００６４】
ステップＳ２３において、行動制御部３１は、認識された掃除ロボット１１の行動と、環境検知部３２から供給される環境情報とに基づいて、行動モデルを汎化学習する。
【００６５】
ステップＳ２４において、行動制御部３１は、初期化処理を終了するかどうかを判定する。例えば、初期化処理が開始してから所定の時間が経過していない場合やユーザ１０１がリモートコントローラ等を操作して初期化処理の終了を指示していない場合、行動制御部３１は、ステップＳ２４で初期化処理を終了しないと判定する。そして、処理はステップＳ２１に戻り、ステップＳ２４で初期化処理を終了すると判定されるまで、ステップＳ１１およびステップＳ２１乃至Ｓ２４の処理が繰り返される。
【００６６】
一方、初期化処理が開始してから所定の時間が経過した場合やユーザ１０１がリモートコントローラ等を操作して初期化処理の終了を指示した場合、行動制御部３１は、ステップＳ２４で初期化処理を終了すると判定する。そして、行動制御部３１は、ステップＳ２３で汎化学習された行動モデルを、初期化された行動モデルとして未知判定部３３に供給し、初期化処理を終了する。
【００６７】
（通常モード時の掃除ロボットの行動制御処理の第１の例の説明）
図６は、通常モード時の掃除ロボット１１の行動制御処理の第１の例を説明するフローチャートである。この行動制御処理は、例えば、図５の初期化処理の終了後、ユーザ１０１が、図示せぬリモートコントローラやタッチパネル１１Ａを操作して、行動制御処理の開始を指示したとき、開始される。
【００６８】
図６のステップＳ４１において、掃除ロボット１１の環境検知部３２は、掃除ロボット１１の周囲の環境を検知し、検知された環境の環境情報を未知判定部３３に供給する。
【００６９】
ステップＳ４２において、未知判定部３３は、環境検知部３２から供給される環境情報と行動制御部３１から供給される行動モデルに基づいて、その環境情報が示す周囲の環境が、未知環境であるかどうかを判定し、判定結果を行動制御部３１に通知する。
【００７０】
ステップＳ４２で周辺の環境が未知環境であると判定された場合、処理はステップＳ４３に進む。ステップＳ４３において、未知判定部３３は、環境情報が示す周囲の環境に含まれる１以上の環境要素ごとに、行動制御部３１から供給される行動モデルに基づいて、その環境要素が既知の環境要素であるか、または、未知の環境要素であるかを判定する。そして、未知判定部３３は、判定結果に基づいて未知環境要素特定情報を生成し、環境情報とともに要求部３４に供給する。
【００７１】
ステップＳ４４において、要求部３４は、環境情報と未知環境要素特定情報に基づいて未知環境要素情報と教示要求情報を含む環境画面を生成し、タッチパネル１１Ａに供給して表示させる。
【００７２】
ステップＳ６１において、ユーザ１０１は、ステップＳ４４の処理によりタッチパネル１１Ａに表示された環境画面を見て、未知環境要素を認識する。ステップＳ６２において、ユーザ１０１は、タッチパネル１１Ａを操作して、認識された未知環境要素に対する行動を教示する。
【００７３】
ステップＳ４５において、タッチパネル１１Ａは、ステップＳ６２のユーザ１０１による行動を教示する操作を受け付けたかどうかを判定する。ステップＳ４５で、まだユーザ１０１による行動を教示する操作を受け付けていないと判定された場合、受け付けるまで待機する。
【００７４】
一方、ステップＳ４５で、ステップＳ６２のユーザ１０１による行動を教示する操作を受け付けたと判定された場合、処理はステップＳ４６に進む。ステップＳ４６において、タッチパネル１１Ａは、受け付けられた操作のタッチ操作信号を行動制御部３１に供給する。
【００７５】
ステップＳ４７において、行動制御部３１は、タッチパネル１１Ａから供給されるタッチ操作信号に基づいて、ユーザにより教示される行動を認識する。
【００７６】
ステップＳ４７において、行動制御部３１は、認識された行動と、ステップＳ４１で検知された周囲の環境に基づいて、行動モデルを汎化学習する。行動制御部３１は、汎化学習された行動モデルを未知判定部３３に供給する。
【００７７】
ステップＳ４８において、未知判定部３３は、環境情報が示す周囲の環境に含まれる１以上の環境要素ごとに、ステップＳ４７で汎化学習された行動モデルに基づいて、その環境要素が既知の環境要素であるか、または、未知の環境要素であるかを判定する。そして、未知判定部３３は、判定結果に基づいて未知環境要素特定情報を生成し、要求部３４に供給する。
【００７８】
ステップＳ４９において、要求部３４は、ステップＳ４３の処理で供給された環境情報とステップＳ４８の処理で供給された未知環境要素特定情報に基づいて、環境画面を更新し、タッチパネル１１Ａに供給して表示させる。これにより、未知環境要素特定情報がいずれの環境要素も未知の環境要素として特定しない情報である場合、未知環境要素情報と教示要求情報が含まれない環境画面がタッチパネル１１Ａに表示される。一方、未知環境要素特定情報が少なくとも１つの環境要素を特定する情報である場合、未知環境要素情報を含む環境画面がタッチパネル１１Ａに表示される。ステップＳ４９の処理後、処理はステップＳ５０に進む。
【００７９】
ステップＳ６３において、ユーザ１０１は、ステップＳ４９の処理によりタッチパネル１１Ａに表示された環境画面を見て、ステップＳ６２で行った行動の教示に対する掃除ロボット１１の理解度を認識する。
【００８０】
一方、ステップＳ４２で周辺の環境が未知環境ではないと判定された場合、即ち周辺の環境が既知環境である場合、処理はステップＳ５０に進む。
【００８１】
ステップＳ５０において、行動制御部３１は、行動モデルに基づいて、ステップＳ４１で検知された周囲の環境において確率Ｐ（a|s）が最も高くなる行動を、その環境に対応する行動として決定し、その行動を行うように掃除ロボット１１を制御する。
【００８２】
ステップＳ５１において、掃除ロボット１１は、行動制御処理を終了するかどうかを判定する。ステップＳ５１で行動制御処理を終了しないと判定された場合、処理はステップＳ４１に戻り、行動制御処理を終了すると判定されるまで待機する。
【００８３】
一方、ステップＳ５１で行動制御処理を終了すると判定された場合、処理は終了する。
【００８４】
（積極モード時の掃除ロボットの行動制御処理の説明）
図７は、積極モード時の掃除ロボット１１の行動制御処理を説明するフローチャートである。この行動制御処理は、例えば、図５の初期化処理の終了後、ユーザ１０１が、図示せぬリモートコントローラやタッチパネル１１Ａを操作して、行動制御処理の開始を指示したとき、開始される。ユーザ１０１は、例えば、掃除ロボット１１と同一の部屋や建物内にいるときに、行動のモードとして積極モードを選択する操作をタッチパネル１１Ａに対して行い、行動制御部３１は、その操作に応じて行動のモードを積極モードに設定する。
【００８５】
図７のステップＳ８１乃至Ｓ９０の処理は、図６のステップＳ４１乃至Ｓ５０の処理と同様であり、図７のステップＳ１０１乃至Ｓ１０３の処理は、図６のステップＳ６１乃至Ｓ６３の処理と同様であるので、説明は省略する。ステップＳ９０の処理後、処理はステップＳ９３に進む。
【００８６】
ステップＳ８２で周辺の環境が未知環境ではないと判定された場合、即ち周辺の環境が既知環境である場合、処理はステップＳ９１に進む。
【００８７】
ステップＳ９１において、行動制御部３１は、環境モデルと行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が閾値以上である行動のうち、行動後の周囲の環境が未知環境になる確率が最も高い行動を選択する。ステップＳ９２において、行動制御部３１は、選択された行動を行うように掃除ロボット１１を制御し、処理をステップＳ９３に進める。
【００８８】
ステップＳ９３において、掃除ロボット１１は、行動制御処理を終了するかどうかを判定する。ステップＳ９３で行動制御処理を終了しないと判定された場合、処理はステップＳ８１に戻り、行動制御処理を終了すると判定されるまで待機する。
【００８９】
一方、ステップＳ９３で行動制御処理を終了すると判定された場合、処理は終了する。
【００９０】
以上のように、積極モードでは、掃除ロボット１１は、周囲の環境が既知環境である場合、行動後の周囲の環境が未知環境となるように行動を行い、ユーザ１０１から積極的に行動の教示を獲得する。これにより、掃除ロボット１１は、行動モデルの汎化学習を素早く行うことができる。
【００９１】
（保守モード時の掃除ロボットの行動制御処理の説明）
図８は、保守モード時の掃除ロボット１１の行動制御処理を説明するフローチャートである。この行動制御処理は、例えば、図５の初期化処理の終了後、ユーザ１０１が、図示せぬリモートコントローラやタッチパネル１１Ａを操作して、行動制御処理の開始を指示したとき、開始される。ユーザ１０１は、例えば、掃除ロボット１１と同一の部屋や建物内にいないときに、行動のモードとして保守モードを選択する操作をタッチパネル１１Ａに対して行い、行動制御部３１は、その操作に応じて行動のモードを保守モードに設定する。
【００９２】
図８のステップＳ１２１乃至Ｓ１３０の処理は、図６のステップＳ４１乃至Ｓ５０の処理と同様であり、図８のステップＳ１５１乃至Ｓ１５３の処理は、図６のステップＳ６１乃至Ｓ６３の処理と同様であるので、説明は省略する。ステップＳ１３０の処理後、処理はステップＳ１３３に進む。
【００９３】
ステップＳ１２３で周辺の環境が未知環境ではないと判定された場合、即ち周辺の環境が既知環境である場合、処理はステップＳ１３１に進む。
【００９４】
ステップＳ１３１において、行動制御部３１は、環境モデルと行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が閾値以上である行動のうち、行動後の周囲の環境が既知環境になる確率が最も高い行動を選択する。ステップＳ１３２において、行動制御部３１は、選択された行動を行うように掃除ロボット１１を制御し、処理をステップＳ１３３に進める。
【００９５】
ステップＳ１３３において、掃除ロボット１１は、行動制御処理を終了するかどうかを判定する。ステップＳ１３３で行動制御処理を終了しないと判定された場合、処理はステップＳ１２１に戻り、行動制御処理を終了すると判定されるまで待機する。
【００９６】
一方、ステップＳ１３３で行動制御処理を終了すると判定された場合、処理は終了する。
【００９７】
以上のように、保守モードでは、掃除ロボット１１は、周囲の環境が既知環境である場合、行動後の周囲の環境が既知環境となるように行動を行う。これにより、掃除ロボット１１は、ユーザ１０１が行動を教示できない状態にある場合であっても、より確実に行動を行うことができる。
【００９８】
なお、ステップＳ１２５でユーザ１０１による行動を教示する操作を受け付けていないと判定された場合、未知判定部３３は、ステップＳ１２１で検知された周囲の環境を記録し、行動制御処理を終了するか、または、処理をステップＳ１３１に進めるようにしてもよい。この場合、ユーザ１０１は、行動の教示が可能になった際に、記録されている過去の周囲の環境に対応する行動を教示し、行動モデルの汎化学習を行わせることができる。
【００９９】
（通常モード時の掃除ロボットの行動制御処理の第２の例の説明）
図９は、通常モード時の掃除ロボット１１の行動制御処理の第２の例を説明するフローチャートである。この行動制御処理は、例えば、図５の初期化処理の終了後、ユーザ１０１が、図示せぬリモートコントローラやタッチパネル１１Ａを操作して、行動制御処理の開始を指示したとき、開始される。
【０１００】
図９のステップＳ１７１およびＳ１７２の処理は、図６のステップＳ４１およびＳ４２の処理と同様であるので、説明は省略する。
【０１０１】
ステップＳ１７２で周辺の環境が未知環境であると判定された場合、処理はステップＳ１７３に進む。ステップＳ１７３において、未知判定部３３は、環境検知部３２から供給される環境情報と、後述するステップＳ１８２の処理で保持された、教示要求情報に応じてユーザ１０１から行動が教示されなかった過去の環境情報との類似度を計算する。
【０１０２】
ステップＳ１７４において、未知判定部３３は、ステップＳ１７３で計算された類似度が閾値以上であるかどうかを判定する。ステップＳ１７４で類似度が閾値以上ではないと判定された場合、未知判定部３３は、環境検知部３２から供給される環境情報と、教示要求情報に応じてユーザ１０１から行動が教示されなかった過去の環境情報とが類似していないと判断する。そして、未知判定部３３は、ステップＳ１７２の処理の判定結果として周囲の環境が未知環境であるという判定結果を行動制御部３１に供給し、処理をステップＳ１７５に進める。
【０１０３】
ステップＳ１７５乃至Ｓ１７７の処理は、図６のステップＳ４３乃至Ｓ４５の処理と同様であり、ステップＳ２０１の処理はステップＳ６１の処理と同様であるので、説明は省略する。
【０１０４】
ステップＳ２０２において、ユーザ１０１は、認識された未知環境要素に対する行動を教示するかどうかを判断する。ステップＳ２０２で認識された未知環境要素に対する行動を教示すると判断した場合、ステップＳ２０３において、ユーザ１０１は、タッチパネル１１Ａを操作して、認識された未知環境要素に対する行動を教示する。
【０１０５】
ステップＳ１７７において、タッチパネル１１Ａは、ステップＳ２０３のユーザ１０１による行動を教示する操作を受け付けたかどうかを判定する。ステップＳ１７７で、ステップＳ２０３のユーザ１０１による行動を教示する操作を受け付けたと判定された場合、処理はステップＳ１７８に進む。
【０１０６】
ステップＳ１７８乃至Ｓ１８１の処理は、図６のステップＳ４６乃至Ｓ４９の処理と同様であり、ステップＳ２０４の処理はステップＳ６３の処理と同様であるので、説明は省略する。
【０１０７】
ステップＳ２０２で認識された未知環境要素に対する行動を教示しないと判断した場合、ユーザ１０１は、処理を終了する。
【０１０８】
また、ステップＳ１７７で、ステップＳ２０３のユーザ１０１による行動を教示する操作を受け付けていないと判定された場合、処理はステップＳ１８２に進む。ステップＳ１８２において、未知判定部３３は、ステップＳ１７１で環境検知部３２から供給される環境情報を、行動が教示されなかった過去の環境情報として保持する。この環境情報は、ステップＳ１７３の処理において類似度の計算に用いられる。ステップＳ１８２の処理後、処理はステップＳ１８３に進む。
【０１０９】
一方、ステップＳ１７２で周囲の環境が未知環境ではないと判定された場合、または、ステップＳ１７４で類似度が閾値以上であると判定された場合、未知判定部３３は、周囲の環境が既知環境であるという判定結果を行動制御部３１に供給する。そして、処理はステップＳ１８３に進む。
【０１１０】
ステップＳ１８３およびＳ１８４の処理は、図６のステップＳ５０およびＳ５１の処理と同様であるので、説明は省略する。
【０１１１】
積極モード時や保守モード時の行動制御処理においても、図９の通常モード時の行動制御処理と同様に、行動が教示されなかった過去の環境情報との類似度に基づいて環境画面を表示させるようにしてもよい。
【０１１２】
（環境画面の他の表示方法）
上述した説明では、環境画面６３（７２，９５）は、タッチパネル１１Ａに表示されるようにしたが、環境画面６３（７２，９５）の表示方法は、これに限定されない。
【０１１３】
図１０は、環境画面の他の表示方法を説明する図である。
【０１１４】
図１０に示すように、掃除ロボット１１は、ユーザが所持する携帯端末１２１に環境画面６３（７２，９５）を送信し、携帯端末１２１が有するディスプレイ１２１Ａに環境画面６３（７２，９５）を表示させるようにしてもよい。この場合、ユーザは、携帯端末１２１に対して未知環境情報に対応する行動を教示する操作を行い、携帯端末１２１は、その操作を表す信号を掃除ロボット１１に送信する。掃除ロボット１１は、その信号をタッチ操作信号の代わりに用いて行動モデルを汎化学習する。この場合、ユーザは、掃除ロボット１１と同一の部屋や建物内にいない場合であっても、行動の教示を行うことができる。
【０１１５】
また、掃除ロボット１１は、タッチパネル１１Ａの代わりにプロジェクタ１３１を有し、環境画面６３（７２，９５）をプロジェクション画像１３２として投影するようにしてもよい。この場合、ユーザは、図示せぬリモートコントローラ等を操作して未知環境情報に対応する行動を教示し、掃除ロボット１１は、その操作のリモートコントローラ操作信号をタッチ操作信号の代わりに用いて行動モデルを汎化学習する。
【０１１６】
さらに、ユーザが行動のモードを設定するのではなく、環境検知部３２が周囲にユーザが存在するかどうかを判定し、行動制御部３１が、その判定結果に基づいて行動のモードを設定するようにしてもよい。この場合、例えば、環境検知部３２が周囲にユーザが存在すると判定した場合、行動制御部３１は、行動のモードを積極モードに設定し、環境検知部３２が周囲にユーザが存在しないと判定した場合、行動制御部３１は、行動のモードを保守モードに設定する。
【０１１７】
＜第２実施の形態＞
（ゲーム機の一実施の形態の概要）
図１１は、本開示を適用した情報処理装置としてのゲーム機の一実施の形態の概要を示す図である。
【０１１８】
本開示を適用したゲーム機は、ゲーム上の所定のキャラクタ１４１をエージェントとして、ゲーム上の仮想世界のエージェントの周囲の環境に基づいて、行動モデルにしたがって、キャラクタ１４１に戦闘、逃走、移動等の行動をエージェントに行わせる。
【０１１９】
図１１に示すように、ゲーム機は、例えば、自動プレイ中にいままでキャラクタ１４１の周囲に存在しなかったキャラクタ１４１の敵のキャラクタである敵キャラ１４２を発見すると、自動プレイを中断する。そして、ゲーム機は、未知の環境要素として敵キャラ１４２を示す未知環境要素情報と教示要求情報とを表示する。
【０１２０】
ユーザは、表示された未知環境要素情報を見て未知の環境要素が敵キャラ１４２であることを認識し、敵キャラ１４２との戦闘、または、敵キャラ１４２からの逃走を教示する。
【０１２１】
ゲーム機は、ユーザから教示された行動に基づいて行動モデルを汎化学習することにより、これ以降は、教示された行動を敵キャラ１４２に対して行う。
【０１２２】
（ゲーム機の構成例）
図１２は、本開示を適用したゲーム機の一実施の形態の構成例を示すブロック図である。
【０１２３】
図１２に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２４】
図１２のゲーム機１５０は、未知判定部３３、行動制御部１５１、環境取得部１５２、要求部１５３、表示部１５４、および受信部１５５により構成される。
【０１２５】
ゲーム機１５０の行動制御部１５１は、環境ｓにおいてキャラクタ１４１が行動ａを行う確率Ｐ（a|s）(環境ｓにおけるキャラクタ１４１の行動ａの適切さ)を求める行動モデルを初期化する。
【０１２６】
具体的には、行動制御部１５１は、環境取得部１５２に環境情報の取得を要求し、その要求に応じて環境取得部１５２から供給される環境情報を取得する。また、行動制御部１５１は、受信部１５５から、ユーザの図示せぬコントローラの操作を示すコントローラ操作信号を取得する。行動制御部１５１は、そのコントローラ操作信号に基づいて、ユーザにより教示された、現在のキャラクタ１４１の周囲の環境に対応するキャラクタ１４１の行動を認識する。そして、行動制御部１５１は、現在の環境情報が示す環境を環境ｓとし、その環境に対応するキャラクタ１４１の行動を行動ａとして、行動モデルを汎化学習することにより、行動モデルを初期化する。行動制御部１５１は、初期化された行動モデルを未知判定部３３に供給する。
【０１２７】
また、行動制御部１５１は、受信部１５５から供給されるコントローラ操作信号に基づいて、行動のモードを、積極モード、通常モード、または保守モードに設定する。
【０１２８】
行動制御部１５１は、行動のモードが積極モードに設定される場合、未知判定部３３から現在の周囲の環境が既知環境であると通知されるとき、環境モデルと行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が閾値以上である行動のうち、行動後の周囲の環境が未知環境になる確率が最も高い行動を選択する。そして、行動制御部１５１は、選択された行動をキャラクタ１４１が行うように制御する。
【０１２９】
なお、キャラクタ１４１の行動としては、例えば、戦闘、逃走、移動などがある。また、環境モデルは、環境ｓにおいてキャラクタ１４１が行動ａを行ったときに環境ｓが環境ｓ´に変化する確率Ｐ（ｓ´｜ｓ，ａ）（の予測値）を求めるモデルである。ここでは、環境モデルは予め決められているものとするが、環境取得部１５２により取得される環境情報と行動制御部１５１により行われる行動に基づいて学習されるようにしてもよい。
【０１３０】
一方、行動のモードが通常モードに設定される場合、未知判定部３３から現在の周囲の環境が既知環境であると通知されるとき、行動制御部１５１は、行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が最も高くなる行動を、キャラクタ１４１が行うように制御する。
【０１３１】
また、行動のモードが保守モードに設定される場合、未知判定部３３から現在の周囲の環境が既知環境であると通知されるとき、環境モデルと行動モデルに基づいて、現在の周囲の環境において確率Ｐ（a|s）が閾値以上である行動のうち、行動後の周囲の環境が既知環境になる確率が最も高い行動を選択する。そして、行動制御部１５１は、選択された行動をキャラクタ１４１が行うように制御する。
【０１３２】
さらに、行動のモードによらず、未知判定部３３から現在の周囲の環境が既知の環境ではないと通知されるとき、行動制御部１５１は、受信部１５５から供給されるコントローラ操作信号に基づいて、ユーザにより教示される行動を認識する。そして、行動制御部１５１は、認識された行動と現在のキャラクタ１４１の周囲の環境に基づいて、行動モデルを汎化学習し、汎化学習された行動モデルを未知判定部３３に供給する。また、行動制御部１５１は、汎化学習された行動モデルに基づいて、現在のキャラクタ１４１の周囲の環境において確率Ｐ（a|s）が最も高くなる行動を、キャラクタ１４１が行うように制御する。
【０１３３】
環境取得部１５２は、行動制御部１５１からの要求に応じて、ゲーム上の仮想世界のキャラクタ１４１の位置、キャラクタ１４１の敵の位置、キャラクタ１４１の状態などを周囲の環境として示す環境情報を取得し、行動制御部１５１に供給する。また、環境取得部１５２は、行動学習モデルの初期化後、キャラクタ１４１の環境情報の取得を開始し、取得された環境情報を未知判定部３３に供給する。
【０１３４】
要求部１５３は、未知判定部３３から供給される環境情報と未知環境要素特定情報に基づいて、未知環境要素情報を生成（更新）する。また、要求部１５３は、未知環境要素特定情報がいずれかの環境要素を未知の環境要素として特定する情報である場合、教示要求情報を生成する。そして、要求部１５３は、未知環境要素情報、教示要求情報など含む環境画面を生成する。未知環境要素情報は、例えば、未知の環境要素を色などで強調表示した、キャラクタ１４１を含むキャラクタ１４１の周囲の環境の画像である。要求部１５３は、生成された環境画面を表示部１５４に供給する。
【０１３５】
表示部１５４（出力部）は、要求部１５３から供給される環境画面を表示（出力）する。
【０１３６】
受信部１５５は、図示せぬコントローラに対するユーザの操作を受け付け、その操作を示すコントローラ操作信号を行動制御部１５１に供給する。例えば、受信部１５５は、図示せぬコントローラに対する行動のモードを選択するユーザの操作を受け付け、その操作のコントローラ操作信号を行動制御部１５１に供給する。また、受信部１５５は、図示せぬコントローラに対する行動を教示するユーザの操作を受け付け、その操作のコントローラ操作信号を行動制御部１５１に供給する。
【０１３７】
＜第３実施の形態＞
（サポートロボットの一実施の形態の概要）
図１３は、本開示を適用した情報処理装置としてのサポートロボットの一実施の形態の概要を示す図である。
【０１３８】
図１３のサポートロボット１７０の構成は、行動が、子供への助言などである点を除いて、図２の掃除ロボット１１の構成と同様であるので、説明は省略する。
【０１３９】
図１３の例では、サポートロボット１７０が、例えば、１０時までには寝る、かつ、出来る限り勉強するよう、子供に助言を行うように、行動モデルを汎化学習している。この場合、サポートロボット１７０は、「勉強している子供」と「夜１０時過ぎ」を周囲の環境として検知すると、この環境が未知環境であると判定する。そして、サポートロボット１７０は、「勉強している子供」と「夜１０時過ぎ」を未知の環境要素として示す未知環境要素情報と教示要求情報を含む環境画面を表示する。これにより、サポートロボット１７０のユーザである親は、サポートロボット１７０の行動を教示する。
【０１４０】
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４１】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４２】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１４４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１４５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４６】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４７】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１４８】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１５０】
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５１】
例えば、未知環境要素情報と教示要求情報は、音声で出力されるようにしてもよい。
【０１５２】
また、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５５】
なお、本開示は、以下のような構成もとることができる。
【０１５６】
（１）
周囲の環境が未知の環境要素を含む場合、前記未知の環境要素を示す未知環境要素情報と、前記周囲の環境に対応する行動の教示を要求する教示要求情報とを出力する出力部
を備える情報処理装置。
（２）
前記周囲の環境と前記教示要求情報に応じてユーザから教示された行動とに基づいて、所定の周囲の環境において前記情報処理装置が所定の行動を行う確率を求める行動モデルを学習する行動制御部
をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記行動制御部は、前記行動モデルにしたがって、前記周囲の環境において確率が最も高くなる行動を前記情報処理装置が行うように制御する
ように構成された
前記（２）に記載の情報処理装置。
（４）
前記行動制御部により学習された前記行動モデルに基づいて、前記周囲の環境に含まれる各環境要素が未知の環境要素であるかを判定する未知判定部
をさらに備え、
前記出力部は、前記未知判定部により未知の環境要素であると判定された環境要素に基づいて、前記未知環境要素情報を更新する
ように構成された
前記（２）または（３）に記載の情報処理装置。
（５）
前記出力部は、前記周囲の環境が、未知の環境要素を含み、前記教示要求情報に応じてユーザから行動が教示されなかった過去の周囲の環境と類似していない場合、前記未知環境要素情報と前記教示要求情報とを出力する
ように構成された
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記周囲の環境が未知の環境要素を含まない場合、行動後の前記周囲の環境が未知の環境要素を含む行動を前記情報処理装置が行うように制御する行動制御部
をさらに備える
前記（１）に記載の情報処理装置。
（７）
前記周囲の環境が未知の環境要素を含まない場合、行動後の前記周囲の環境が未知の環境要素を含まない行動を行う行動制御部
をさらに備える
前記（１）に記載の情報処理装置。
（８）
情報処理装置が、
周囲の環境が未知の環境要素を含む場合、前記未知の環境要素を示す未知環境要素情報と、前記周囲の環境に対応する行動の教示を要求する教示要求情報とを出力する出力ステップ
を含む情報処理方法。
【符号の説明】
【０１５７】
１１  掃除ロボット，  １１Ａ  タッチパネル，  ３１  行動制御部,  ３３  未知判定部，  ６１  画像,  ６２  メッセージ，  １５０  ゲーム機，  １５１  行動制御部，  １５４  表示部，  １７０  サポートロボット
【図１】
2018135301.tif 000007
【図２】
2018135301.tif 000008
【図３】
2018135301.tif 000009
【図４】
2018135301.tif 000010
【図５】
2018135301.tif 000011
【図６】
2018135301.tif 000012
【図７】
2018135301.tif 000013
【図８】
2018135301.tif 000014
【図９】
2018135301.tif 000015
【図１０】
2018135301.tif 000016
【図１１】
2018135301.tif 000017
【図１２】
2018135301.tif 000018
【図１３】
2018135301.tif 000019
【図１４】
2018135301.tif 000020
【国際調査報告】
2018135301.tif 000021
2018135301.tif 000022
2018135301.tif 000023
2018135301.tif 000024