(57)【要約】【課題】ユーザとロボットの自然なインタラクションが可能な情報処理装置、情報処理システム、プログラム、及び情報処理方法を提供する。【解決手段】情報処理装置は、状態変化検出部を具備する。上記状態変化検出部は、ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する。【選択図】図１
2019235067.tif 000002
【特許請求の範囲】
【請求項１】
ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された前記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて前記自律行動ロボットの状態変化を検出する状態変化検出部
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記状態変化とは、前記自律行動ロボットに装着されるアクセサリの有無である
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記状態変化検出部による状態変化検出処理のために、前記自律行動ロボットが前記参照用画像と同じ姿勢となるように前記自律行動ロボットの行動制御信号を生成する行動制御信号生成部
を更に具備する情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記比較用画像情報は、前記参照用画像情報にあわせて動いた前記自律行動ロボットの画像情報である
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記状態変化検出部は、前記比較用画像情報と前記参照用画像情報との差分から、前記状態変化を検出する
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記参照用画像情報は参照用画像の特徴量を含み、
前記比較用画像情報は比較用画像の特徴量を含み、
前記状態変化検出部は、前記比較用画像の特徴量と前記参照用画像の特徴量とを比較し、前記状態変化を検出する
情報処理装置。
【請求項７】
請求項５に記載の情報処理装置であって、
前記参照用画像情報は、前記自律行動ロボットに属するピクセルのセグメンテーション情報を含み、
前記状態変化検出部は、前記セグメンテーション情報を用いて、前記比較用画像情報から、前記自律行動ロボットに属する領域を削除し、前記状態変化を検出する
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記自律行動ロボットは複数のパーツから構成され、
前記セグメンテーション情報は、互いに判別可能な複数の前記パーツ毎のピクセルセグメンテーション情報を含む
情報処理装置。
【請求項９】
請求項５に記載の情報処理装置であって、
前記自律行動ロボットと同型であると検出されたロボットが、前記自律行動ロボットであるか否かを検出する自己検出部
を更に具備する情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記自己検出部は、前記自律行動ロボットが行う動きと、前記同型であると検出されたロボットが行う動きを基に、前記同型であると検出されたロボットが、光の鏡面反射を利用して物体を映す部材に映しだされた前記自律行動ロボットであるか否かを検出する
情報処理装置。
【請求項１１】
請求項９に記載の情報処理装置であって、
前記自己検出部は、前記同型であると検出されたロボットのパーツ点を推定し、前記パーツ点の位置変化と、前記自律行動ロボットの動きを基に、前記同型であると検出されたロボットが、光の鏡面反射を利用して物体を映す部材に映しだされた前記自律行動ロボットであるか否かを検出する
情報処理装置。
【請求項１２】
請求項９に記載の情報処理装置であって、
前記自律行動ロボットは、音声を集音する音声取得部を有し、
前記状態変化検出部は、ある時点での前記音声取得部で取得された参照用音声と他の時点で取得された前記音声取得部で取得された比較用音声とを比較し、比較結果に基づいて自律行動ロボットの状態変化を検出する
を具備する情報処理装置。
【請求項１３】
請求項１２に記載の情報処理装置であって、
前記自律行動ロボットは、当該自律行動ロボットの動きを制御するアクチュエータを有し、
前記状態変化検出部は、ある時点での前記アクチュエータの参照用作動音と他の時点で取得された前記アクチュエータの比較用作動音とを比較し、比較結果に基づいて自律行動ロボットの状態変化を検出する
を具備する情報処理装置。
【請求項１４】
請求項１２に記載の情報処理装置であって、
前記自律行動ロボットの前記状態変化検出部による検出を行うか否かを判定するトリガーの発生の有無を監視するトリガー監視部
を更に具備する情報処理装置。
【請求項１５】
請求項１４に記載の情報処理装置であって、
前記トリガー監視部は、前記自律行動ロボットのある時点での影の画像情報と、前記自律行動ロボットの他の時点での影の画像情報とを比較して、前記トリガーの発生の有無を監視する
情報処理装置。
【請求項１６】
請求項１４に記載の情報処理装置であって、
前記トリガー監視部は、ユーザの発語を基に、前記トリガーの発生の有無を監視する
情報処理装置。
【請求項１７】
請求項１４に記載の情報処理装置であって、
前記トリガー監視部は、所定の経過時間を基に、前記トリガーの発生の有無を監視する
情報処理装置。
【請求項１８】
自律行動ロボットと、
ある時点で取得された前記自律行動ロボットの参照用画像情報と、他の時点で取得された前記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて前記自律行動ロボットの状態変化を検出する状態変化検出部を備える情報処理装置と
を具備する情報処理システム。
【請求項１９】
ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された前記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて前記自律行動ロボットの状態変化を検出するステップ
を含む処理を情報処理装置に実行させるためのプログラム。
【請求項２０】
ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された前記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて前記自律行動ロボットの状態変化を検出する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、自律行動ロボットに係る情報処理装置、情報処理システム、プログラム、及び情報処理方法に関する。
【背景技術】
【０００２】
最近では、人間のパートナーとして生活を支援するロボットの開発が進められている。このようなロボットには、犬、猫のように四足歩行の動物の身体メカニズムやその動作を模したペット型ロボット等がある（例えば特許文献１）。【０００３】
特許文献１には、ペット型ロボットに、本物の動物の表皮と同様の形態を合成繊維から形成した外装ユニットを装着させることによって、ペット型ロボットの動作や行動が個性的となるようにすることが記載されている。外装ユニットとペット型ロボットとは電気的に接続され、外装ユニットの装着の有無は電気的接続の有無により判断される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９１２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
自律行動ロボットには、ユーザとロボットとの自然なインタラクションが行えるように行動することが望まれている。
以上のような事情に鑑み、本技術の目的は、ユーザとロボットとのより自然なインタラクションが可能な情報処理装置、情報処理システム、プログラム、及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、状態変化検出部を具備する。
上記状態変化検出部は、ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する。【０００７】
このように状態変化を検出することにより、検出した状態変化に応じた行動を自律行動ロボットに実施させることができるので、ユーザとの自然なインタラクションが可能となる。【０００８】
上記状態変化とは、上記自律行動ロボットに装着されるアクセサリの有無であってもよい。【０００９】
上記状態変化検出部による状態変化検出処理のために、上記自律行動ロボットが上記参照用画像と同じ姿勢となるように上記自律行動ロボットの行動制御信号を生成する行動制御信号生成部を更に具備してもよい。【００１０】
上記比較用画像情報は、上記参照用画像情報にあわせて動いた上記自律行動ロボットの画像情報であってもよい。
このような構成によれば、比較用画像に映しだされる自律行動ロボットの位置、姿勢を参照用画像に映しだされる自律行動ロボットの位置、姿勢と同様とすることができる。【００１１】
上記状態変化検出部は、上記比較用画像情報と上記参照用画像情報との差分から、上記状態変化を検出してもよい。【００１２】
上記参照用画像情報は参照用画像の特徴量を含み、上記比較用画像情報は比較用画像の特徴量を含み、上記状態変化検出部は、上記比較用画像の特徴量と上記参照用画像の特徴量とを比較し、上記状態変化を検出してもよい。【００１３】
上記参照用画像情報は、上記自律行動ロボットに属するピクセルのセグメンテーション情報を含み、上記状態変化検出部は、上記セグメンテーション情報を用いて、上記比較用画像情報から、上記自律行動ロボットに属する領域を削除し、上記状態変化を検出してもよい。【００１４】
上記自律行動ロボットは複数のパーツから構成され、上記セグメンテーション情報は、互いに判別可能な複数の上記パーツ毎のピクセルセグメンテーション情報を含んでもよい。【００１５】
上記自律行動ロボットと同型であると検出されたロボットが、上記自律行動ロボットであるか否かを検出する自己検出部を更に具備してもよい。【００１６】
このような構成によれば、自分と同型のロボットが検出された際、検出された同型のロボットが、自律行動ロボットが鏡に映しだされた鏡像なのか、或いは、自律行動ロボットとは異なる他のロボットであるかを検出することができる。【００１７】
上記自己検出部は、上記自律行動ロボットが行う動きと、上記同型であると検出されたロボットが行う動きを基に、上記同型であると検出されたロボットが、光の鏡面反射を利用して物体を映す部材に映しだされた上記自律行動ロボットであるか否かを検出してもよい。【００１８】
上記自己検出部は、上記同型であると検出されたロボットのパーツ点を推定し、上記パーツ点の位置変化と、上記自律行動ロボットの動きを基に、上記同型であると検出されたロボットが、光の鏡面反射を利用して物体を映す部材に映しだされた上記自律行動ロボットであるか否かを検出してもよい。【００１９】
上記自律行動ロボットは、音声を集音する音声取得部を有し、上記状態変化検出部は、ある時点での上記音声取得部で取得された参照用音声と他の時点で取得された上記音声取得部で取得された比較用音声とを比較し、比較結果に基づいて自律行動ロボットの状態変化を検出してもよい。【００２０】
このように画像情報に加え、音声情報を用いて状態変化を検出してもよい。【００２１】
上記自律行動ロボットは、当該自律行動ロボットの動きを制御するアクチュエータを有し、上記状態変化検出部は、ある時点での上記アクチュエータの参照用作動音と他の時点で取得された上記アクチュエータの比較用作動音とを比較し、比較結果に基づいて自律行動ロボットの状態変化を検出してもよい。【００２２】
これにより、アクチュエータが位置する領域にアクセサリが装着された可能性があると想定され、状態変化検出領域を絞ることができ、効率的に状態変化検出を行うことができる。【００２３】
上記自律行動ロボットの上記状態変化検出部による検出を行うか否かを判定するトリガーの発生の有無を監視するトリガー監視部を更に具備してもよい。【００２４】
上記トリガー監視部は、上記自律行動ロボットのある時点での影の画像情報と、上記自律行動ロボットの他の時点での影の画像情報とを比較して、上記トリガーの発生の有無を監視してもよい。【００２５】
上記トリガー監視部は、ユーザの発語を基に、上記トリガーの発生の有無を監視してもよい。【００２６】
上記トリガー監視部は、所定の経過時間を基に、上記トリガーの発生の有無を監視してもよい。【００２７】
上記目的を達成するため、本技術の一形態に係る情報処理システムは、自律行動ロボットと、情報処理装置とを具備する。
上記情報処理装置は、ある時点で取得された上記自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する状態変化検出部を備える。【００２８】
上記目的を達成するため、本技術の一形態に係るプログラムは、ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出するステップを含む処理を情報処理装置に実行させる。【００２９】
上記目的を達成するため、本技術の一形態に係る情報処理方法は、ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する。
【発明の効果】
【００３０】
以上のように、本技術によれば、ユーザとロボットとのより自然なインタラクションが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３１】
【図１】本技術の第１の実施形態に係る自律行動ロボットの構成を示すブロック図である。
【図２】第１の実施形態における自律行動ロボットのアクセサリ装着による状態変化検出処理に係る一連の処理のフロー図である。
【図３】第１の実施形態における状態変化検出処理の一例を説明するフロー図である。
【図４】状態変化検出処理に用いる参照用画像情報の一例を説明するための図である。
【図５】参照用画像情報を用いて状態変化検出処理を行う例を示す図である。
【図６】第２の実施形態における自律行動ロボットの構成を示すブロック図である。
【図７】第２の実施形態における自律行動ロボットのアクセサリ装着による状態変化検出処理に係る一連の処理のフロー図である。
【図８】第２の実施形態における自己検出処理を説明するための図である。
【図９】第２の実施形態における状態変化検出処理を説明するための図である。
【図１０】第３の実施形態におけるセグメンテーションを用いた状態変化検出処理のフロー図である。
【図１１】第３の実施形態における状態変化検出処理を説明するための図である。
【図１２】第４の実施形態におけるパーツ検出を用いた状態変化検出処理のフロー図である。
【図１３】第４の実施形態における状態変化検出処理を説明するための図である。
【図１４】第５の実施形態における画像の特徴量を用いた状態変化検出処理のフロー図である。
【図１５】第６の実施形態におけるロボット情報データベースとの差分を利用しない場合の状態変化検出処理の一例のフロー図である。
【図１６】第７の実施形態におけるロボット情報データベースとの差分を利用しない場合の状態変化検出処理の一例のフロー図である。
【図１７】第８の実施形態に係る情報処理システムを示す図である。
【図１８】第９の実施形態に係る情報処理システムを示す図である。
【図１９】第１０の実施形態に係る情報処理システムを示す図である。
【図２０】状態変化検出処理を説明するための図である。
【図２１】第２の実施形態における自己検出処理の他の例を説明するための図である。
【図２２】状態変化検出処理の他の例を説明する図である。
【発明を実施するための形態】
【００３２】
本技術の各実施形態に係る自律行動ロボットについて、以下図面を参照しながら説明する。自律行動ロボットとしては、例えば、人間のパートナーとして生活を支援する、人間とのコミュニケーションを重視したペット型ロボットや人間型ロボット等がある。ここでは、自律行動ロボットとして四足歩行の犬型のペット型ロボットを例にあげて説明するが、これに限定されない。
【００３３】
以下に記載する各実施形態のペット型ロボットは、衣類、帽子、首輪、リボン、腕輪等のアクセサリが装着された、装着されていたアクセサリが取り外された、といったアクセサリの装着の有無等による状態変化を検出するように構成される。尚、装着されていたアクセサリが変わった、という状態変化は、装着されていたアクセサリが取り外されたという状態変化と、新たに他のアクセサリが装着されたという状態変化とから構成される。
【００３４】
このように状態変化を検出することにより、ペット型ロボットは、状態変化検出結果を基に、ユーザに対して検出結果に応じた行動を実施することができるので、ユーザとロボットとのインタラクションをより自然なものとすることができる。
以下、詳細に説明する。
【００３５】
＜第１の実施形態＞
（ペット型ロボットの構成）
図１は、本実施形態のペット型ロボット１の構成を示すブロック図を示す。
情報処理装置としてのペット型ロボット１は、制御部２と、マイク１５と、カメラ１６と、アクチュエータ１７と、ロボット情報データベース（ＤＢ）１１と、行動データベース（ＤＢ）１２と、記憶部１３と、を有する。
【００３６】
ペット型ロボット１は、頭部ユニットと、胴体部ユニットと、脚部ユニット（４脚分）と、尻尾部ユニットとを備える。アクチュエータ１７は、脚部ユニット（４脚分）の関節部、脚部ユニットのそれぞれと胴体部ユニットとの連結部、頭部ユニットと胴体部ユニットとの連結部、並びに尻尾部ユニット胴体ユニット部の連結部等にそれぞれ設置される。アクチュエータ１７は、ペット型ロボット１の動きを制御する。
【００３７】
また、ペット型ロボット１には、周囲の環境情報に係るデータを取得するために、カメラ１６、人感センサ（図示せず）、マイク１５、ＧＰＳ（Global Positioning System）（図示せず）等の各種センサが搭載されている。
【００３８】
カメラ１６は、例えばペット型ロボット１の頭部に搭載される。カメラ１６は、ペット型ロボット１の周囲やペット型ロボット１の体を可能な範囲で撮影する。マイク１５は、ペット型ロボット１の周囲の音声を集音する。
【００３９】
制御部２は、状態変化検出処理に係る制御を行う。制御部２は、音声取得部３と、画像取得部４と、トリガー監視部５と、状態変化検出部６と、行動制御信号生成部７と、カメラ制御部８と、を有する。
【００４０】
音声取得部３は、マイク１５で集音した音声に係る情報（音声情報）を取得する。画像取得部４は、カメラ１６で撮影された画像に係る情報（画像情報）を取得する。
【００４１】
トリガー監視部５は、ペット型ロボット１の状態変化検出を開始するためのきっかけとなるトリガーの発生の有無を監視する。トリガーには、ユーザからの発語、ある所定の経過時間、ペット型ロボット１の影の画像情報等がある。ここでは、トリガー監視部５が、ユーザからの発語からトリガーの発生の有無を監視する例をあげる。
【００４２】
トリガー監視部５は、音声取得部３により取得された音声情報を基に、ユーザが状態変化検出を開始するきっかけとなるキーワードを発語したことを認識すると、トリガーの発生有りと判定する。トリガーの発生有りと判定されると、状態変化検出部６により状態変化検出処理が実行される。トリガーの発生なしと判定されると、状態変化検出処理は実行されない。
【００４３】
トリガーの発生の有無を判定するキーワードは予め図示しないデータベースに登録されている。トリガー監視部５は、登録されているキーワードを参照して、トリガーの発生の有無を監視する。
【００４４】
キーワードとしては、例えば「可愛い」、「素敵」、「似合う」、「かっこいい」といった褒め言葉、「帽子」、「洋服」、「腕輪」といったアクセサリの名称等があるが、これらに限定されない。これらのキーワードは予め設定されており、学習してキーワードが随時追加され更新されるように構成してもよい。
【００４５】
このようなトリガー監視部５を設けることにより、状態変化検出処理の開始を早くすることができ、ユーザによるペット型ロボット１のアクセサリの装着、取り外し、交換等の行動に対して、素早くペット型ロボット１が反応することができ、より自然なインタラクションが可能となる。
【００４６】
状態変化検出部６は、画像取得部４で取得した画像情報を用いて状態変化検出処理を実行する。具体的には、ペット型ロボット１にアクセサリが装着された、ペット型ロボットに装着されていたアクセサリが取り外されたといったペット型ロボット１の状態変化を検出する。
【００４７】
状態変化検出部６は、ある時点で撮影されたペット型ロボット１の参照用画像情報と、他の時点で撮影されたペット型ロボット１の比較用画像情報とを比較し、比較結果に基づいてペット型ロボットの状態変化を検出する。参照用画像情報は、ロボット情報データベース（ロボット情報ＤＢ）１１に登録されている。情報処理方法としての状態変化検出処理の詳細については後述する。
【００４８】
行動制御信号生成部７は、状態変化検出処理のために、ペット型ロボット１が参照用画像と同じ位置、姿勢となるように、ペット型ロボット１の行動制御信号を生成する。
また、行動制御信号生成部７は、状態変化検出部６で検出された状態変化検出結果を基に、行動データベース１２から行動モデルを選択して、ペット型ロボット１の行動制御信号を生成する。
【００４９】
例えば、行動制御信号生成部７は、ペット型ロボット１に帽子が装着されたという状態変化検出結果を基に、ペット型ロボット１が喜びを表現するために、発音し、尻尾を振る行動を実施するように行動制御信号を生成する。
【００５０】
このような状態変化検出結果を基に生成される音声や行動には、ペット型ロボット１の情動、バッテリ残量やロボットの加熱状態などの生理状態といった内部状態が反映されてもよい。
【００５１】
例えば、状態変化がライオンのたてがみのアクセサリの装着であった場合、怒りの情動が反映されて、よく吠えるといった行動が実施されるようにしてもよい。
また、バッテリ残量が少ない場合は、消費電力が少なくなるようにあまり動かないといった行動が実施されるようにしてもよい。
また、長時間の動きなどによりペット型ロボットに熱がこもって加熱された状態である場合は、冷却のためあまり動かないといった行動が実施されるようにしてもよい。
【００５２】
カメラ制御部８は、状態変化検出処理時に、カメラ１６の光学パラメータが参照用画像情報の取得時と同じ光学パラメータとなるようにカメラ１６を制御する。
【００５３】
記憶部１３は、ＲＡＭ等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、ペット型ロボット１の状態変化検出処理を、情報処理装置であるペット型ロボット１に実行させるためのプログラムを記憶する。
【００５４】
記憶部１３に記憶されるプログラムは、ある時点で取得されたペット型ロボット１の参照用画像情報と、他の時点で取得されたペット型ロボット１の比較用画像情報とを比較し、比較結果に基づいてペット型ロボット１の状態変化を検出するステップを含む処理を、情報処理装置としてのペット型ロボット１に実行させるためのものである。
【００５５】
行動データベース（行動ＤＢ）１２には、ペット型ロボット１が、どのような状態のときにどのような行動を実行すべきかを規定した行動モデルと、その行動をペット型ロボット１に実行させるために、どのアクチュエータ１７をどのタイミングでどの程度駆動させるかを規定した行動毎のモーションファイルや、そのときペット型ロボット１が発音すべき音声の音声データが格納されたサウンドファイルなどの各種行動内容規定ファイルが登録されている。
【００５６】
ロボット情報データベース１１には、ペット型ロボット１に係る情報が登録されている。具体的には、ペット型ロボット１に係る情報として、ペット型ロボット１がある特定の姿勢をとったときのアクチュエータ１７の制御パラメータ情報、その特定の姿勢をとった時のペット型ロボット１の体の一部を自身に搭載されているカメラ１６で直接撮影した参照用画像の情報（参照用画像情報）、参照用画像を撮影したときのカメラ１６の光学パラメータ情報等のセンサ情報が互いに紐づけされて、異なる姿勢毎に登録されている。
【００５７】
参照用画像情報は、状態変化検出処理時に用いられる情報である。
ある時点で取得される参照用画像情報には、ペット型ロボット１の出荷当初に予め登録されている情報と、ペット型ロボット１の使用開始以降に取得され、登録される情報とがある。ここでは、参照用画像情報が、出荷当初時に既に登録されている、ペット型ロボット２１に何もアクセサリが装着されていないときの情報である場合を例にあげて説明する。
【００５８】
画像情報には、画像、この画像を基に生成されるロボット領域のマスク画像、ロボット領域のＲＧＢ画像、ロボット領域のデプス画像、ロボット領域だけを切り出した画像、ロボット領域の３Ｄ形状、これらの特徴量情報、ロボット領域に属するピクセルのセグメンテーション情報等が含まれる。
【００５９】
以下、ペット型ロボット１のとる特定の姿勢として、右前脚をあげたときの姿勢を例にあげ説明する。
【００６０】
ロボット情報データベース１１には、出荷当初時に既に登録されている参照用画像情報として、ペット型ロボット１が、自身の右前脚をあげたときの右前脚を、自身に搭載されたカメラ１６によって撮影した画像の画像情報が登録される。この画像情報は、ペット型ロボット１に何もアクセサリが装着されていないときの情報である。
【００６１】
更に、ロボット情報データベース１１には、カメラ１６による撮影時のペット型ロボット１の姿勢情報、具体的には、右前脚の関節部、頭部ユニットと胴体部ユニットとの連結部等にそれぞれ位置するアクチュエータ１７の制御パラメータ情報と、撮影時のカメラ１６の光学パラメータ情報等が、右前脚をあげるという姿勢と、その参照用画像情報が互いに紐づけされて登録される。
【００６２】
状態変化検出時、登録されているアクチュエータ１７の制御パラメータ情報に基づいてペット型ロボット１の姿勢を制御することにより、ペット型ロボット１は参照用画像に映しだされているペット型ロボット１と同じ位置、姿勢となる。この姿勢のペット型ロボット１を、登録されているカメラ１６の光学パラメータに基づいて撮影することにより比較用画像の画像情報（比較用画像情報）を得ることができる。そして、この比較用画像情報と登録されている参照用画像情報を比較することにより、ペット型ロボット１の状態変化を検出することができる。
【００６３】
図４（Ａ）は、出荷当初のアクセサリが何も装着されていないペット型ロボット１の参照用画像のロボット領域のマスク画像８０の例であり、図４（Ｂ）はロボット領域の形態画像であるＲＧＢ画像８１の例である。いずれの図も、ペット型ロボット１が自身に搭載されるカメラ１６を用いて自身の右前脚５１を撮影した画像を基に生成されたものである。
【００６４】
図４（Ａ）に示すように、参照用のマスク画像８０では、ロボット領域（ここではロボットの右前脚５１の領域）以外は例えば黒く塗られ、ロボット領域は透明なテンプレート画像となっている。
図４（Ｂ）に示すように、参照用のＲＧＢ画像８１は、ロボット領域の輝度分布情報及びＲＧＢ情報が含まれたテンプレート実画像となっている。
【００６５】
（状態変化検出に係る処理方法の概略）
次に、図２を用いて状態変化検出に係る処理方法について説明する。図２は、状態変化検出に係る一連の処理のフロー図の一例である。
【００６６】
図２に示すように、トリガー監視部５により状態変化検出のトリガーの監視が行われ（Ｓ１）、状態変化検出処理を行うか否かが判定される（Ｓ２）。
Ｓ２で状態変化検出処理を行わない（Ｎｏ）と判定されると、Ｓ１に戻る。
Ｓ２で状態変化検出処理を行う（Ｙｅｓ）と判定されるとＳ３に進む。
【００６７】
Ｓ３では、行動制御信号生成部７により、状態変化検出のために、ペット型ロボット１が特定の姿勢をとるように行動制御信号が生成される。ロボット情報データベース１１に登録されている特定の姿勢に紐づけされているアクチュエータ１７の制御パラメータ情報に基づいてアクチュエータ１７を駆動することにより、ペット型ロボット１に特定の姿勢をとらせることができる。
【００６８】
次に、Ｓ３で生成された行動制御信号に基づいて行動をしたペット型ロボット１の体の一部が、ロボット情報データベース１１に登録されている特定の姿勢に紐づけされている光学パラ―メタ情報に基づいて制御されたカメラ１６によって撮影される。撮影された画像は画像取得部４により比較用画像情報として取得される（Ｓ４）。
【００６９】
次に、状態変化検出部６により、ロボット情報データベース１１に登録されている特定の姿勢に紐づけされた参照用画像情報と比較用画像情報とが比較され、ロボット領域が抽出されることにより状態変化の領域が検出される（Ｓ５）。Ｓ３〜Ｓ５の具体的な状態変化検出方法については後述する。
【００７０】
次に、状態変化検出部６の検出結果に基づいて、行動制御信号生成部７により、ペット型ロボット１の行動制御信号が生成される（Ｓ６）。例えば、アクセサリの装着が検出されたとの検出結果に基づいて、行動制御信号生成部７は、ユーザに対して、ペット型ロボット１が喜びを表現して発音し、尻尾を振るといった行動を実施するように行動制御信号を生成する。
【００７１】
（状態変化検出方法の詳細）
次に、図２のＳ３〜Ｓ５の状態変化検出処理の具体例を、図３〜図５を参照しながら説明する。図３は、状態変化検出処理の一例を示すフロー図である。図５は、参照用画像情報を用いて状態変化検出処理を行う例を示す図である。図３におけるＳ１３〜Ｓ１５のステップは、図２のＳ３〜Ｓ５に相当する。
【００７２】
ここでは、右前脚に腕輪が装着され、状態変化検出時に行う特定の姿勢として右前脚をあげる姿勢を例にあげる。
【００７３】
図３に示すように、状態変化検出が開始されると、ロボット情報データベース１１に予め登録されている、右前脚をあげるという特定の姿勢に紐づけされた、関節部及び連結部にそれぞれ位置するアクチュエータ１７の制御パラメータ情報に基づいて、アクチュエータ１７が駆動する（Ｓ１３）。これにより、ペット型ロボット１は、右前脚をあげるという動作を実施する。
【００７４】
次に、カメラ１６により、右前脚をあげる姿勢に紐づけされたカメラ１６の光学パラメータに基づいて右前脚が撮影され、画像取得部４により、図５（Ａ）に示す画像（比較用画像）８２が取得される（Ｓ１４）。この比較用画像は、参照用画像情報にあわせて動いたペット型ロボット１の画像情報であり、比較用画像に映しだされるペット型ロボット１の位置、姿勢を参照用画像に映しだされるペット型ロボットの位置、姿勢と同様とすることができる。
【００７５】
図５（Ａ）は、画像の背景に床６０が写し出され、画像の右側にペット型ロボット１の右前脚５１が写し出された画像である。右前脚５１は、指部５１ａと腕部５１ｂを有し、腕部５１ｂには腕輪６１が装着されている。
【００７６】
次に、取得した比較用画像の画像情報（比較用画像情報）と、ロボット情報データベース１１に登録されている右前脚をあげる姿勢に紐づけされた参照用画像情報とが比較され、差分がとられ（Ｓ１５）、状態変化のある領域が検出される。
【００７７】
詳細には、図５（Ａ）に示す比較用画像８２と、図４（Ａ）に示す参照用画像のマスク画像８０とを重畳することによって、図５（Ｂ）に示すように、比較用画像８２からロボット領域、ここでは右前脚５１の領域が切り出された画像８３が取得される。或いは、予め登録されているロボット領域に属するピクセルのセグメンテーション結果を用いて、ロボット領域を抽出してもよい。
【００７８】
そして、ロボット領域が切り出された画像８３と、図４（Ｂ）のＲＧＢ画像８１とを比較し差分をとることにより、図５（Ｃ）に示す画像８４のように、事前に取得された参照用画像には存在しない腕輪６１が装着されている領域が状態変化のある領域として抽出される。ロボット領域を切り出した画像８３とＲＧＢ画像８１との比較は、画像の差分値が閾値を超えているかどうかで判断することができる。
【００７９】
ペット型ロボット１は、図５（Ｃ）に示す状態変化のある領域（腕輪６１が存在する領域）の画像を基に、物体認識処理により、図示しない物体情報データベースを参照して、データベースに予め対象の物体（ここでは腕輪）が登録されていれば、状態変化のある領域が腕輪６１であることを認識する。
【００８０】
ペット型ロボット１は、状態変化のある領域にある物体が何か認識できない場合、抽出した物体（状態変化のある領域にある物体）を、比較用画像が取得された時期や日時、天候、ユーザの発語や表情といった情報、比較用画像情報等と紐づけして記憶してもよい。
【００８１】
これにより、この物体が装着されているときはユーザが喜ぶ等の相関関係情報を取得することができ、以降同じような物体が装着される状況となったときに、ペット型ロボット１はユーザに対して喜びを表現する行動を実施したりすることができる。
【００８２】
また、他の例として、クリスマスの時期にある物体が装着されるという相関関係情報を取得していれば、その物体が装着される状況となったときに、クリスマスソングを歌う等の行動を実施することができる。
【００８３】
また、ペット型ロボット１が、状態変化のある領域に存在する物体の色や模様等を認識し、この色や模様の認識結果に基づいて行動を実施するようにしてもよい。例えば、物体の色が、ペット型ロボット１の好きな色であった場合、尻尾を振って喜びを表す等の行動を実施するようにしてもよい。
【００８４】
ペット型ロボット１の好きな色は、初期設定でユーザが任意に設定してもよい。或いは、ユーザの好みの色をペット型ロボット１の好きな色としてもよい。例えば、ペット型ロボット１が、ユーザとともに生活することにより蓄積したユーザに係る情報、例えばユーザの衣類、装飾品、持ち物等の情報から、最も多く使われる色をユーザの好みの色として判断し、その色をペット型ロボット１の好きな色としてもよい。
【００８５】
このように、ある特定の姿勢に紐づけされている参照用画像情報と、この参照用画像情報を取得したときと同じ位置、姿勢でペット型ロボット１に搭載されるカメラ１６を用いて撮影された自身の体の一部の比較用画像の画像情報とを比較することにより、アクセサリの装着の有無といった状態変化を検出することができる。
【００８６】
（ペット型ロボットの行動例）
以下、アクセサリの装着があったことを検出した場合のペット型ロボットの行動例について説明するが、ここに記載するものに限定されない。以下に説明する行動情報は、行動データベース１２に登録されている。
【００８７】
ペット型ロボット１は、自分の好きな色のアクセサリが装着されると、喜び度を増した行動を実施する。また、アクセサリが装着されたときに検出した人物を識別し、その人物からアクセサリを与えられたとして、その人物に対する愛着度をあげた行動を実施する。
【００８８】
ペット型ロボット１は、特徴的なアクセサリの組み合わせ等、お気に入りのコーディネートがされた場合、通常は行わないような特別な行動を実施する。
【００８９】
ペット型ロボット１は、赤い帽子、靴、白い袋等のサンタの衣装が装着されると、クリスマスの歌を歌う、クリスマスの曲を流す、クリスマスツリーの後ろにプレゼントを隠す、骨等の自分のお気に入りの品物をユーザにあげたがる、といった行動を実施する。
【００９０】
ペット型ロボット１は、あるスポーツのユニフォームが装着されると、そのスポーツのフォームを実施する。また、球団やクラブチーム等のロゴ情報が含まれるアクセサリが装着されると、その球団やクラブチームを応援する際の動き等、球団やクラブチームに応じた行動を実施する。
【００９１】
ペット型ロボット１は、何かの動物を模したアクセサリ、例えば猫耳のアクセサリやライオンのたてがみのアクセサリ、或いは着ぐるみなどが装着されると、その動物に応じた行動を実施する。例えば、ライオンのたてがみのアクセサリが装着されると、怒りの情動が反映された行動を実施する。猫耳のアクセサリが装着されると、「ニャー。」と発音する。
【００９２】
以上のように、本実施形態におけるペット型ロボット１は、電気的、物理的な接続をすることなく、自ら動いて状態変化を検出する。そして、その状態変化に応じた行動を実施するので、ユーザとの自然なインタラクションが可能となる。
【００９３】
＜第２の実施形態＞
第１の実施形態では、状態変化検出処理に用いる比較用画像は、ペット型ロボット１に搭載されるカメラ１６でペット型ロボット１の一部を直接撮影して取得されたものであったが、これに限定されない。
【００９４】
例えば、本実施形態のように、ペット型ロボットが、鏡に映しだされる自分を、自身に搭載されるカメラで撮影して比較用画像を取得してもよい。この場合、状態変化検出処理の前に、鏡に映しだされるペット型ロボットが自分自身であるかどうかを検出する自己検出処理が行われる。
【００９５】
以下第２の実施形態について説明するが、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合があり、主に異なる点について説明する。
【００９６】
図６は本実施形態における自律行動ロボットとしてのペット型ロボット２１のブロック図を示す。
情報処理装置としてのペット型ロボット２１は、制御部２２と、マイク１５と、カメラ１６と、アクチュエータ１７と、ロボット情報データベース（ＤＢ）１１と、行動データベース（ＤＢ）１２と、記憶部１３と、学習辞書１４と、を有する。
【００９７】
制御部２２は、自己検出処理及び状態変化検出処理に係る制御を行う。
自己検出処理では、ペット型ロボット２１と同型であるロボットが検出された場合、検出されたロボットが、ペット型ロボット２１であるか否かが検出される。
状態変化検出処理では、第１の実施形態と同様に、状態変化検出処理を行うか否かを判定する。本実施形態では、自己検出処理で、検出されたロボットがペット型ロボット２１（自分自身）であると判定されると、状態変化検出処理が行われる。
【００９８】
制御部２２は、音声取得部３と、画像取得部４と、トリガー監視部５と、状態変化検出部６と、行動制御信号生成部７と、カメラ制御部８と、自己検出部２３と、を有する。
【００９９】
トリガー監視部５は、ペット型ロボット２１の状態変化検出を開始するためのきっかけであるトリガーの発生の有無を監視する。トリガーには、第１の実施形態で示した、ユーザからの発語、ある所定の経過時間、ペット型ロボット２１の影の画像情報の他、ペット型ロボット２１と同じ型のロボットの検出等がある。
【０１００】
ここでは、トリガー監視部５が、ペット型ロボット２１と同じ型のロボットの検出からトリガーの発生の有無を監視する例をあげる。トリガー監視部５は、例えば鏡に映ったペット型ロボット２１の鏡像のロボットや、同じ型のペット型ロボット２１以外のペット型ロボット等、ペット型ロボット２１と同じ型のロボットが検出されると、トリガー発生ありと判定する。
【０１０１】
トリガー監視部５は、同じ型のロボットの検出を、学習辞書１４を用いて実行する。学習辞書１４には、ペット型ロボット２１により取得された画像内に映し出されるロボットが自身と同一の型のロボットであるか否かの判別を行う際に使用する特徴点や特徴量、または機械学習によって獲得されたモデルの係数等の情報が格納されている。
【０１０２】
トリガー監視部５により、ペット型ロボット２１と同型のロボットが検出され、トリガー発生有りと判定されると、自己検出部２３は、検出された同型のロボットがペット型ロボット２１（自分自身）であるか否かを検出する自己検出処理を実行する。
【０１０３】
詳細には、自己検出部２３は、まず検出された同型のロボットが撮影されて取得された第１の画像を取得する。その後、ペット型ロボット２１に第１の画像を取得したときと異なる姿勢をとらせた状態で撮影されて取得された第２の画像を取得する。
【０１０４】
次に、自己検出部２３は、第１の画像と第２の画像とから同型のロボットの動きを検出し、その動きがペット型ロボット２１の動きと一致するか否かを判定する。
自己検出部２３は、同型のロボットの動きとペット型ロボット２１の動きが一致しない場合は、検出された同型のロボットはペット型ロボット２１（自分自身）ではないと判定する。
自己検出部２３は、同型のロボットの動きとペット型ロボット２１の動きが鏡面対称の位置関係で一致した場合は、検出された同型のロボットは、鏡に映しだされたペット型ロボット２１の鏡像である、すなわち自分自身であると判定する。
【０１０５】
図８は、鏡６５の中に同型のロボット２８を検出した場合の自己検出処理の一例を説明する図である。
まず、図８（Ａ）に示すように、検出された同型のロボット２８がペット型ロボット２１のカメラ１６により撮影されて第１の画像が取得される。第１の画像取得時、ペット型ロボット２１は、両前脚を下している姿勢をとっている。
【０１０６】
その後、ペット型ロボット２１は左前脚をあげて姿勢をかえる。この姿勢を変化させたときに、図８（Ｂ）に示すように、検出された同型のロボット２８がペット型ロボット２１のカメラ１６により撮影されて第２の画像が取得される。
【０１０７】
ペット型ロボット２１の姿勢変化前後の２つの画像比較することにより、同型のロボット２８の動きが抽出される。そして、この動きと、ペット型ロボット２１自身がとった動きが鏡面対称の位置関係で一致した場合、鏡６５に映しだされた同型のロボット２８はペット型ロボット２１の鏡像であると判定する。
【０１０８】
一方、画像内の同型のロボット２８の動きと、ペット型ロボット２１の動きとが不一致の場合、検出された同型のロボット２８は他のロボットでありペット型ロボット２１でないと判定する。
【０１０９】
このような姿勢変化動作を複数回行い、それらの検出結果を基に検出された同型のロボットが自分自身であるか否かの検出精度を向上させてもよい。尚、ここでは、姿勢変化動作の例として左前脚の上げ下げを例にあげたが、これに限定されず、例えば左右に移動するなどしてもよい。
【０１１０】
行動制御信号生成部７は、自己検出処理のために、ペット型ロボット２１の姿勢を変化させる動作の行動制御信号を生成する。
行動制御信号生成部７は、状態変化検出処理のために、ペット型ロボット２１が参照用画像と同じ位置、姿勢となるように、ペット型ロボット１の行動制御信号を生成する。
また、行動制御信号生成部７は、状態変化検出部６で検出された状態変化検出結果を基に、行動データベース１２から行動モデルを選択して、ペット型ロボット１の行動制御信号を生成する。
【０１１１】
ロボット情報データベース１１には、ペット型ロボット２１に係る情報が登録されている。具体的には、ペット型ロボット１に係る情報として、ペット型ロボット２１がある特定の姿勢をとったときのアクチュエータ１７の制御パラメータ情報、ペット型ロボット２１がある特定の姿勢をとったときにペット型ロボット２１が鏡に映し出された自分自身を自身のカメラ１６で取得した参照用画像の情報（参照用画像情報）、参照用画像を撮影したときのカメラ１６の光学パラメータ情報等のセンサ情報が互いに紐づけされて、異なる姿勢毎に登録されている。
【０１１２】
ここでは、参照用画像情報が、出荷当初時に既に登録されている、ペット型ロボット２１に何もアクセサリが装着されていないときの情報である場合を例にあげて説明する。
【０１１３】
（状態変化検出に係る処理方法の概略）
次に、図７〜図９を用いて状態変化検出に係る処理方法について説明する。図７は、状態変化検出に係る一連の処理のフロー図である。図９は、状態変化検出処理を説明するための図である。
【０１１４】
ここでは、頭部に帽子が装着された場合を例にあげ、鏡に映し出される自分自身の姿を同型のロボットであると判定する場合について説明する。また、状態変化検出時にペット型ロボット２１がとる特定の姿勢として両前脚をおろした姿勢をとる場合を例にあげて説明する。
【０１１５】
図７に示すように、トリガー監視部５による監視が行われ（Ｓ２１）、学習辞書１４を用いて、カメラ１６により撮影された画像にペット型ロボット２１と同型のロボットを検出したか否か（トリガーの発生の有無）が判定される（Ｓ２２）。
Ｓ２２で同型のロボットを検出していない（Ｎｏ）と判定されるとＳ２１に戻る。
Ｓ２２で同型のロボット２８を検出した（Ｙｅｓ）と判定されるとＳ２３に進む。
【０１１６】
Ｓ２３では、自己検出のための行動制御信号の生成及び画像の取得が行われる。具体例として、両前脚を下した姿勢から左前脚をあげる姿勢をとるように行動制御信号が生成され、この信号に基づいてペット型ロボット２１は左前脚をあげる姿勢をとる。ペット型ロボット２１の姿勢が変化した状態で、同型のロボット２８の第２の画像が取得される。
【０１１７】
次に、自己検出部２３により、姿勢変化前の画像である、同型のロボット２８を検出したときの第１の画像と、ペット型ロボット２１の姿勢変化時に取得された同型のロボット２８の第２の画像とが比較され、画像内の同型のロボット２８の動きと、ペット型ロボット２１の動きとが一致するか否かの自己検出が行われる（Ｓ２４）。
【０１１８】
次に、Ｓ２４での検出結果を基に、検出した同型のロボット２８がペット型ロボット２１か否かが判定される（Ｓ２５）。
【０１１９】
画像内の同型のロボット２８が行う動きと、ペット型ロボット２１が行う動きとが、鏡面対称の位置関係で一致しないという検出結果を基に、検出された同型のロボットはペット型ロボット２１ではなく、他のロボットであると判定されると（Ｎｏ）、Ｓ２１に戻る。
【０１２０】
ここで、同型のロボット２８が他のロボットであると判定された場合、同型のロボット２８に、状態変化検出処理を実行させてもよい。この場合、ペット型ロボット２１が同型のロボット２８を撮影し、その撮影した画像を同型のロボット２８に送信することで、同型のロボット２８が、状態変化検出処理を行う対象のロボットがどれであるかを特定できるようにしてもよい。
【０１２１】
一方、画像内の同型のロボット２８が行う動きと、ペット型ロボット２１が行う動きとが、鏡面対称の位置関係で一致するという検出結果を基に、検出された同型のロボット２８はペット型ロボット２１であると判定されると（Ｙｅｓ）、Ｓ２６に進む。Ｓ２６以降では、状態変化検出処理が行われる。
【０１２２】
Ｓ２６では、状態変化検出のための行動制御信号が生成される。
具体的には、鏡６５に映し出されるペット型ロボット２１をカメラ１６により撮影した画像において、ペット型ロボット２１が、ロボット情報データベース１１に登録されている両前脚をおろした姿勢に紐づけされている参照用画像内のペット型ロボットと同じ位置となるように、ペット型ロボット２１の行動制御信号が生成される。ペット型ロボット２１はこの行動制御信号に基づいて動く。これにより、ペット型ロボット２１は、参照用画像と同様の位置、姿勢をとる。
【０１２３】
次に、鏡６５に映し出された、参照用画像のペット型ロボットと同じ位置、同じ姿勢をとったペット型ロボット２１は、両前脚をおろした姿勢に紐づけされているカメラの光学パラメータと同様の光学パラメータに設定されたカメラ１６により撮影され、比較用画像の画像情報が取得される（Ｓ２７）。
【０１２４】
次に、状態変化検出部６により、両前脚をおろした姿勢に紐づけされている参照用画像情報と比較用画像情報とが比較され、ロボット領域及び状態変化の領域が抽出され、図９に示すように帽子６２の領域が状態変化の領域として検出される（Ｓ２８）。
【０１２５】
このように、ペット型ロボット２１に搭載されるカメラ１６を用い、鏡に映し出されたペット型ロボットの比較用画像情報と、ロボット情報データベース１１に登録されている参照用画像情報とが比較されることにより、アクセサリの装着の有無を検出することができる。
【０１２６】
尚、ここでは、光の鏡面反射を利用して物体を写す部材として鏡を例にあげたが、鏡の他にガラスや水面などでもよい。
【０１２７】
以上のように、本実施形態におけるペット型ロボット２１は、電気的、物理的な接続をすることなく、自ら動いて状態変化を検出する。そして、その状態変化に応じた行動を実施するので、ユーザとの自然なインタラクションが可能となる。
【０１２８】
＜第３の実施形態＞
上述の実施形態において、状態変化検出処理にセグメンテーションを用いてもよく、以下、図１０及び図１１を用いて説明する。ここでは、第１の実施形態と同様に、ペット型ロボット１が自身に搭載されているカメラ１６を用いて自身の体の一部である右前脚を直接撮影する場合を例にあげて説明する。また、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
【０１２９】
尚、本実施形態の状態変化検出処理は、鏡に映し出されたロボットの画像情報を用いた第２の実施形態にも適用することができる。
【０１３０】
図１０は、状態変化検出処理の具体的な一例を示すフロー図である。図１１は、セグメンテーションを用いて状態変化検出処理を行う例を示す図である。
【０１３１】
ロボット情報データベース１１に登録される参照用画像情報は、ロボット領域に属するピクセルのセグメンテーション情報を含む。
【０１３２】
図１０に示すように、状態変化検出が開始されると、ロボット情報データベース１１に予め登録されている、右前脚をあげるという特定の姿勢に紐づけされた、関節部及び連結部にそれぞれ位置するアクチュエータ１７の制御パラメータ情報に基づいて、アクチュエータ１７が駆動する（Ｓ３３）。これにより、ペット型ロボット３１は、右前脚をあげるという動作を実施する。
【０１３３】
次に、カメラ１６により、右前脚をあげる姿勢に紐づけされたカメラ１６の光学パラメータに基づいて右前脚が撮影され、画像取得部４により、図１１（Ａ）に示すカメラ１６で撮影された画像（比較用画像）８２が取得される（Ｓ３４）。
【０１３４】
図１１（Ａ）は、画像の背景に床６０が写し出され、画像の右側にペット型ロボット１の右前脚５１が写し出された画像である。右前脚５１は、指部５１ａと腕部５１ｂを有し、腕部５１ｂに腕輪６１が装着されている。
【０１３５】
次に、比較用画像８２の画像内で似た特徴量を持つグループ毎に領域をまとめ、複数の領域に分割するセグメンテーションを実施する（Ｓ３５）。これにより、図１１（Ｂ）に示すように、右前脚５１のうち、腕輪６１が位置しないロボット領域が抽出される。
【０１３６】
セグメンテーションには、典型的にはクラスタリング手法が用いられる。画像に映された対象物に対応する画像は色や輝度などにおいて類似する特徴を有することから、画素をクラスタリングすることで、対象物に対応する領域に画像をセグメント化することができる。画素のクラスタリングの正解を教師データとして与える教師ありクラスタリングを用いても良い。
【０１３７】
次に、取得した比較用画像のセグメンテーション情報と、ロボット情報データベース１１に登録されている右前脚をあげる姿勢に紐づけされたロボット領域を判定するためのピクセルセグメンテーション情報との差分がとられ（Ｓ３６）、図１１（Ｃ）に示すように、腕輪６１が装着されて状態変化のある領域が検出される。
【０１３８】
以上のように、セグメンテーションを用いて状態変化検出処理を行ってもよい。
【０１３９】
＜第４の実施形態＞
状態変化検出処理にパーツ検出を用いてもよく、以下、図１２及び図１３を用いて説明する。ここでは、第２の実施形態と同様に、鏡に映しだされたロボット２１の画像情報を用いる場合を例にあげて説明する。また、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
【０１４０】
尚、本実施形態の状態検出処理は、ペット型ロボット１が自身に搭載されているカメラ１６を用いて自身の体の一部を直接撮影する第１の実施形態にも適用することができる。
【０１４１】
ペット型ロボット１は、胴体部、右前脚部の指部、右前脚部の腕部、左前脚部の指部、左前脚部の腕部、右後脚部の指部、右後脚部の腿部、左後脚部の指部、左後脚部の腿部、顔部、右耳部、左耳部、尻尾部等の複数のパーツから構成される。
【０１４２】
図１２は、状態変化検出処理の具体的な一例を示すフロー図である。
図１３は、ペット型ロボット２１の画像のロボット領域を、セグメンテーションにより体のパーツ毎にわけて判別可能に表示した参照用画像８７の図である。
図１３（Ａ）はアクセサリ未装着の状態を示し、図１３（Ｂ）はアクセサリとして帽子が装着された状態を示す。いずれの図も鏡に映しだされたペット型ロボット１を撮影した画像を示す。
【０１４３】
ロボット情報データベース１１には、鏡に映しだされたアクセサリ未装着時のペット型ロボット２１をペット型ロボット２１自身のカメラ１６で取得した参照用画像情報と、この参照用画像情報を取得したときのペット型ロボット１の姿勢等を規定するアクチュエータ１７の制御パラメータ情報やカメラ１６等のセンサ情報が互いに紐づけされて、登録される。
【０１４４】
ロボット情報データベース１１に登録される参照用画像情報は、ロボット領域に属するピクセルのセグメンテーション情報を含む。このセグメンテーション情報は、互いに判別可能なパーツ毎のピクセルセグメンテーション情報を含む。
パーツ検出では、登録されているペット型ロボット２１の体のパーツ毎のピクセルセグメンテーションにより各パーツを判別できるようになっている。
【０１４５】
図１３（Ａ）は、ロボット領域の各パーツを判別するためのピクセルセグメンテーション情報が含まれる参照用画像８７である。参照用画像８７では、ペット型ロボット１の上半身が写し出されている。図１３（Ａ）に示す図では、胴体部５３、顔部５２１、鏡像における右耳部５２２、鏡像における左耳部５２３のパーツに分けられている。これらのパーツ毎のピクセルセグメンテーション情報がロボット情報データベース１１に登録されている。
【０１４６】
図１２に示すように、状態変化検出が開始されると、鏡に映しだされたペット型ロボット１の画像上の位置、姿勢が、ロボット情報データベース１１に登録されている参照用画像と一致するように、行動制御信号が生成され、これに基づいてアクチュエータ１７が駆動する（Ｓ４３）。これにより、ペット型ロボット３１は、右前脚をあげるという動作を実施する。
【０１４７】
次に、カメラ１６により、鏡に映しだされたペット型ロボット２１が撮影され、画像取得部４により、比較用画像が取得される（Ｓ４４）。
【０１４８】
次に、比較用画像においてロボット領域のパーツ検出が行われる（Ｓ４５）。パーツ検出では、比較用画像内で似た特徴量を持つグループ毎に領域をまとめ、複数の領域に分割するセグメンテーションが実施される。これにより、図１３（Ｂ）に示すように、比較用画像情報として、パーツ毎に判別可能に領域がわけられてロボット領域が抽出されたセグメンテーション情報が含まれる比較用画像８８が得られる。
【０１４９】
次に、比較用画像８８と、ロボット情報データベース１１に登録されているロボット領域の各パーツを判定するためのピクセルセグメンテーション情報を含む参照用画像８７との差分がとられる（Ｓ４６）。これにより、どのパーツに状態変化が生じたかが検出され、状態変化の領域が検出される。
【０１５０】
以上のように、パーツ検出を用いて、どのパーツに状態変化が生じたかを検出してもよい。
【０１５１】
＜第５の実施形態＞
第１及び第２の実施形態において、状態変化検出処理に特徴量を用いてもよく、以下、図１４を用いて説明する。ここでは、第１の実施形態と同様に、ペット型ロボット１が自身に搭載されているカメラ１６を用いてあげた右前脚を直接撮影する場合を例にあげて説明する。また、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
【０１５２】
尚、本実施形態の状態変化検出処理は、鏡に映し出されたロボットの画像情報を用いた第２の実施形態にも適用することができる。
【０１５３】
図１４は、状態変化検出処理の具体的な一例を示すフロー図である。
ロボット情報データベース１１に登録される参照用画像情報は、参照用画像の特徴量を含む。
【０１５４】
図１４に示すように、状態変化検出が開始されると、ロボット情報データベース１１に予め登録されている、右前脚をあげるという特定の姿勢に紐づけされた、関節部及び連結部にそれぞれ位置するアクチュエータ１７の制御パラメータ情報に基づいて、アクチュエータ１７が駆動する（Ｓ５３）。これにより、ペット型ロボット３１は、右前脚をあげるという動作を実施する。
【０１５５】
次に、カメラ１６により、右前脚をあげる姿勢に紐づけされたカメラの光学パラメータに基づいて右前脚が撮影され、画像取得部４により比較用画像が取得される（Ｓ５４）。
【０１５６】
次に、比較用画像を特徴量に変換する（Ｓ５５）。
次に、取得した比較用画像情報としての比較用画像の特徴量とロボット情報データベース１１に登録されている右前脚をあげる姿勢に紐づけされた参照用画像の特徴量との差分がとられ（Ｓ５６）、状態変化のある領域が検出される。
【０１５７】
このように、比較用画像に映るロボット領域の位置や姿勢を画像特徴量のマッチングによって識別することできる。
【０１５８】
＜第６の実施形態＞
第１〜第５の実施形態では、ロボット情報データベースに登録されている参照用画像情報との差分を用いて状態変化検出処理を行っていたが、データベースに登録されている画像情報との差分を用いずに状態変化検出処理を行うこともできる。以下、図１５を用いて説明する。図１５は、状態変化検出処理のフロー図である。
【０１５９】
ここでは、第１の実施形態と同様に、ペット型ロボット１が自身に搭載されているカメラ１６を用いて自身の体の一部を直接撮影する場合を例にあげる。また、右前脚にアクセサリが装着される例をあげる。本実施形態においては、何もアクセサリがついていない状態からの状態変化が検出される。
【０１６０】
図１５に示すように、状態変化検出が開始されると、ペット型ロボット１に搭載されているカメラ１６を用いて自身の体が撮影できる姿勢となるようにペット型ロボット１の行動制御信号が生成され、これに基づいてアクチュエータ１７が駆動する（Ｓ６３）。ここでは、右前脚が撮影できる姿勢となるように行動制御信号が生成される。
【０１６１】
次に、カメラ１６により、右前脚が撮影され、画像取得部４により第１の画像が取得される（Ｓ６４）。
次に、第１の画像に対し、画像内で似た特徴量を持つグループ毎に領域をまとめ、複数の領域に分割するセグメンテーションを実施し（Ｓ６５）、ロボット領域を抽出する。この情報にはアクセサリ領域は含まれていない。
【０１６２】
次に、自身に搭載されているカメラ１６を用いて自身の体が撮影できる姿勢であって、Ｓ６３でとった姿勢とは異なる他の姿勢となるようにペット型ロボット１の行動制御信号が生成され、これに基づいてアクチュエータ１７が駆動する（Ｓ６６）。
【０１６３】
次に、カメラ１６により、右前脚が撮影され、画像取得部４により第２の画像が取得される（Ｓ６７）。
【０１６４】
次に、第１の画像と第２の画像とが比較され、ペット型ロボット１と同じ動きをする領域が抽出される（Ｓ６８）。アクセサリが装着された状態でペット型ロボット１が動くと、アクセサリはペット型ロボット１の動きに連動して動く。したがって、Ｓ６８で抽出される領域は、同じ動きをする領域であって、ロボットが存在すると推定される領域であり、本実施形態ではアクセサリ領域とロボット領域を含む。
【０１６５】
第１の画像、第２の画像、及びこれらの画像を用いて抽出されるロボット領域、アクセサリ領域等の画像情報は比較用画像情報に相当する。
【０１６６】
次に、Ｓ６８で抽出されたアクセサリとロボットを含む領域と、Ｓ６５で抽出されたロボット領域との差分からアクセサリ領域が検出される（Ｓ６９）。このアクセサリ領域は、アクセサリが何も装着されていない参照用画像情報と比較したときの状態変化領域に相当する。
【０１６７】
ここでは、Ｓ６８で、動き差分からアクセサリとロボットを含む領域を抽出したが、背景差分を用いてもよい。この場合、ペット型ロボット１の体が撮影されないように、背景のみの画像を取得し、背景のみの画像と、この背景と同じ背景が入りかる右前脚が画像に入るように撮影された画像とからアクセサリ領域とロボット領域を抽出してもよい。
【０１６８】
＜第７の実施形態＞
図１６を用いて、ロボット情報データベースに登録されている参照用画像情報との差分を用いずに状態変化検出処理を行う他の例について説明する。図１６は、状態変化検出処理のフロー図である。
【０１６９】
ここでは、第１の実施形態と同様に、ペット型ロボット１が自身に搭載されているカメラ１６を用いて自身の体の一部を直接撮影する場合を例にあげる。また、右前脚にアクセサリが装着される例をあげる。本実施形態においても、何もアクセサリがついていない状態からの状態変化が検出される。
【０１７０】
ペット型ロボット１は、デプスセンサを有している。例えば、赤外光を用いて、空間内の各位置のデプスセンサからの距離を示すデプス画像を得ることにより、センサから物体までの距離をセンシングすることができる。デプスセンサの方式にはＴＯＦ(Time  of  flight)方式、パターン照射方式、ステレオカメラ方式などの任意の方式を採用することが可能である。
【０１７１】
図１６に示すように、状態変化検出が開始されると、ペット型ロボット１に搭載されているカメラ１６を用いて自身の体が撮影できる姿勢となるようにペット型ロボット１の行動制御信号が生成され、これに基づいてアクチュエータ１７が駆動する（Ｓ７３）。ここでは、右前脚が撮影できる姿勢となるように行動制御信号が生成される。
【０１７２】
次に、カメラ１６により、右前脚が撮影され、画像取得部４により画像が取得される（Ｓ７４）。
次に、Ｓ７４で取得した画像に対し、画像内で似た特徴量を持つグループ毎に領域をまとめ、複数の領域に分割するセグメンテーションを実施し（Ｓ７５）、ロボット領域を抽出する。このロボット領域の情報にはアクセサリ領域は含まれていない。
【０１７３】
次に、デプスセンサにより、距離情報を取得する。この距離情報からＳ７５で抽出されたロボット領域と同じ距離情報をもつ領域を抽出する（Ｓ７６）。この抽出される領域は、アクセサリ領域とロボット領域を含む。
【０１７４】
Ｓ７４で取得された画像、及びこの画像を用いて抽出されたロボット領域、アクセサリ領域等の画像情報は比較用画像情報に相当する。
【０１７５】
次に、Ｓ７６で抽出された領域と、Ｓ７５で抽出された領域との差分からアクセサリ領域が検出される（Ｓ７７）。このアクセサリ領域は、アクセサリが何も装着されていない参照用画像情報と比較したときの状態変化領域に相当する。
【０１７６】
本実施形態では、ペット型ロボットに搭載されるカメラにより自身の体の部位を直接撮影する例をあげたが、鏡に映しだされたペット型ロボットを撮影する場合においてもデプスセンサを用いた処理が可能である。
【０１７７】
この場合、ペット型ロボットと鏡の距離がでるだけのＴＯＦ方式、パターン照射方式のデプスセンサは用いず、ステレオカメラ方式のデプスセンサを用いるのがよい。距離情報は、ペット型ロボットに搭載されるステレオカメラ方式のデプスセンサを用いて求めてもよいし、ＳＬＡＭ（Simultaneous Localization and Mapping）による自己位置推定を基に２つの異なる視点から撮影した画像を利用したステレオマッチングで求めることもできる。
【０１７８】
また、ロボット情報データベースとの差分を利用する状態変化検出処理に、デプス画像を用いても良い。
【０１７９】
＜第８の実施形態＞
上述の実施形態においては、状態変化検出処理をペット型ロボット側で行う例をあげたが、クラウドサーバ上で状態変化検出処理を行うようにしてもよい。以下、図１７を用いて説明するが、上述の実施形態と同様の構成については同様の符号を付し説明を省略する場合がある。
【０１８０】
図１７は、本実施形態の情報処理システム１００を説明する図であり、情報処理装置としてのサーバ１２０、自律行動ロボットとしてのペット型ロボット１１０の構成を示すブロック図である。ここでは、本実施形態を説明するにあたって必要な構成のみ図示している。
【０１８１】
図１７に示すように情報処理システム１００は、ペット型ロボット１１０と、サーバ１２０とを有する。ペット型ロボット１１０と、サーバ１２０とは互いに通信可能に構成される。
【０１８２】
ペット型ロボット１１０は、マイク１５と、カメラ１６と、アクチュエータ１７と、通信部１１１と、制御部１１２とを備える。
【０１８３】
通信部１１１は、サーバ１２０と通信する。制御部１１２は、通信部１１１を介してサーバ１２０から送信された行動制御信号に基づき、アクチュエータ１７を駆動する。制御部１１２は、通信部１１１を介してサーバ１２０から送信されたカメラの光学パラメータに基づき、カメラ１６を制御する。制御部１１２は、通信部１１１を介して、カメラ１６で撮影された画像の画像情報、マイク１５で取得された音声の音声情報をサーバ１２０に送信する。
【０１８４】
サーバ１２０は、通信部１２１と、制御部２と、記憶部１３と、ロボット情報データベース１１と、行動データベース１２と、記憶部１３と、を備える。制御部２は、第２の実施形態で説明した自己検出部２３を備えていてもよく、以下の第９及び第１０の実施形態においても同様である。
【０１８５】
通信部１２１は、ペット型ロボット１１０と通信する。制御部２は、第１の実施形態と同様に、状態変化検出処理に係る制御を行う。
制御部２は、通信部１２１を介してペット型ロボット１１０から送信された画像情報及び音声情報、ロボット情報データベース１１の情報を用いて、状態変化検出処理を行う。
【０１８６】
制御部２は、ロボット情報データベース１１に登録されている情報、状態変化検出処理結果、行動データベース１２に登録されている情報に基づいてペット型ロボット１１０の行動制御信号、カメラ１６の制御信号を生成する。生成された行動制御信号、カメラの制御信号は、通信部１２１を介してペット型ロボット１１０に送信される。
【０１８７】
＜第９の実施形態＞
第８の実施形態では、状態変化検出処理をサーバ側で行う例をあげたが、アクセサリが装着される第１のペット型ロボットとは異なる第２のペット型ロボットが、第１のペット型ロボットを撮影し、状態変化検出処理を行うようにしてもよい。以下、図１８を用いて説明するが、上述の実施形態と同様の構成については同様の符号を付し説明を省略する場合がある。
【０１８８】
図１８は、本実施形態の情報処理システム２００を説明する図であり、第１の自律行動ロボットとしての第１のペット型ロボット１１０と、第２の自律行動ロボットとしての第２のペット型ロボット２２０の構成を示すブロック図である。ここでは、本実施形態を説明するにあたって必要な構成のみ図示している。
【０１８９】
図１８に示すように情報処理システム２００は、第１のペット型ロボット１１０と、情報処理装置としての第２のペット型ロボット２２０とを有する。第１のペット型ロボット１１０と第２のペット型ロボット２２０は同型のロボットであってもよいし、異なる型のロボットでもよい。
【０１９０】
本実施形態では、第１のペット型ロボット１１０にアクセサリが装着される。第２のペット型ロボット２２０は、第１のペット型ロボット１１０を撮影し、更に第１のペット型ロボット１１０の状態変化を検出する。
【０１９１】
ここでは、第２のペット型ロボット２２０に搭載されるカメラ２１６によって、第１のペット型ロボット１１０が撮影される例をあげるので、第１のペット型ロボット１１０と第２のペット型ロボット２２０とは、相手を撮影可能な範囲の近い位置関係にある。
【０１９２】
第１のペット型ロボット１１０は、アクチュエータ１７と、通信部１１１と、制御部１１２とを備える。通信部１１１は、第２のペット型ロボット２２０と通信する。制御部１１２は、通信部１１１を介して第２のペット型ロボット２２０から受信した行動制御信号に基づいて、アクチュエータ１７を駆動する。
【０１９３】
第２のペット型ロボット２２０は、通信部１２１と、制御部２と、ロボット情報データベース１１と、行動データベース１２と、記憶部１３と、マイク２１５と、カメラ２１６と、を備える。
【０１９４】
通信部１２１は、第１のペット型ロボット１１０と通信する。
カメラ２１６は、第１のペット型ロボット１１０を撮影する。撮影された画像情報は画像取得部４に取得される。
【０１９５】
マイク２１５は、第２のペット型ロボット２２０の周囲の音声を集音する。本実施形態では、第１のペット型ロボット１１０と第２のペット型ロボット２２０とは近くにいるので、マイク２１５により第１のペット型ロボット１１０の周囲の音声も集音可能となっている。集音された音声情報は音声取得部３に取得される。
【０１９６】
制御部２は、マイク２１５、カメラ２１６から取得した音声情報、画像情報、ロボット情報データベース１１に登録された情報を用いて、第１の実施形態と同様に状態変化検出処理に係る処理を行う。
【０１９７】
制御部２は、ロボット情報データベース１１に登録されている情報、状態変化検出処理結果、行動データベース１２に登録されている情報に基づいて第１のペット型ロボット１１０の行動制御信号、カメラ２１６の制御信号を生成する。行動制御信号、カメラの制御信号は、通信部１２１を介して第１のペット型ロボット１１０に送信される。
【０１９８】
このように、アクセサリを装着している第１のペット型ロボット以外の第２のペット型ロボットが画像を取得し、状態変化検出処理を行ってもよい。
【０１９９】
また、第２のペット型ロボットの代わりに、自律行動しない例えば固定配置されたＡＩ（Artificial  Intelligence）装置や携帯端末等で、画像情報及び音声情報の取得、状態変化検出処理等が実行される構成としてもよい。
【０２００】
また、アクセサリを装着している第１のペット型ロボット側に搭載されるカメラ、マイクを用いて画像情報及び音声情報を取得し、これら情報を用いて第２のペット型ロボット２２０で状態変化検出処理を行う構成としてもよい。
【０２０１】
また、第２のペット型ロボット２２０により、アクセサリを装着している第１のペット型ロボット１１０の画像情報及び音声情報が取得され、これら情報を用いて第１のペット型ロボット１１０側で状態変化検出処理を行う構成としてもよい。
【０２０２】
例えば、第２のペット型ロボット２２０やセンサを備えたＡＩ装置等が、第１のペット型ロボット１１０を検出し、検出した第１のペット型ロボット１１０に対して、第２のペット型ロボット２２０やＡＩ装置が取得した画像情報や音声情報等のセンサ情報を送ることで、第１のペット型ロボット１１０は、このセンサ情報を用いて状態変化検出処理を行ってもよい。
【０２０３】
尚、第２のペット型ロボット２２０やＡＩ装置等は、取得したセンサ情報の送信先（ここでは第１のペット型ロボット１１０）を、空間地図やＧＰＳ、ロボット間通信等により特定することができる。
【０２０４】
＜第１０の実施形態＞
第９の実施形態では、画像取得及び状態変化検出処理を第２のペット型ロボットが行う例をあげたが、アクセサリが装着される第１のペット型ロボットとは異なる第２のペット型ロボットが第１のペット型ロボットを撮影し、クラウドサーバ側で状態変化検出処理を行うようにしてもよい。以下、図１９を用いて説明するが、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
【０２０５】
図１９は、本実施形態の情報処理システム３００を説明する図であり、第１の自律行動ロボットとしての第１のペット型ロボット１１０と、第２の自律行動ロボットとしての第２のペット型ロボット３２０と、サーバ１２０の構成を示すブロック図である。ここでは、本実施形態を説明するにあたって必要な構成のみ図示している。
【０２０６】
図１９に示すように情報処理システム３００は、第１のペット型ロボット１１０と、第２のペット型ロボット３２０と、情報処理装置としてのサーバ１２０を有する。
【０２０７】
本実施形態では、第１のペット型ロボット１１０にアクセサリが装着され、第２のペット型ロボット３２０によって第１のペット型ロボット１１０が撮影され、サーバ１２０によって状態変化が検出される例をあげる。第１のペット型ロボット１１０と第２のペット型ロボット３２０とは、相手を撮影可能な範囲の近い位置関係にある。
【０２０８】
第１のペット型ロボット１１０は、アクチュエータ１７と、通信部１１１と、制御部１１２とを備える。通信部１１１は、サーバ１２０と通信する。制御部１１２は、通信部１１１を介してサーバ１２０から受信した行動制御信号に基づいて、アクチュエータ１７を駆動する。
【０２０９】
第２のペット型ロボット３２０は、通信部３２１と、制御部３２２と、マイク２１５と、カメラ２１６と、を備える。通信部３２１は、サーバ１２０と通信する。カメラ２１６は、第１のペット型ロボット１１０を撮影する。撮影された画像情報は、サーバ１２０に送信され、画像取得部４に取得される。
【０２１０】
マイク２１５は、第２のペット型ロボット３２０の周囲の音声を集音する。本実施形態では、第１のペット型ロボット１１０と第２のペット型ロボット３２０とは近くにいるので、マイク２１５により第１のペット型ロボット１１０の周囲の音声も集音可能となっている。集音された音声情報は、サーバ１２０に送信され、音声取得部３に取得される。
【０２１１】
サーバ１２０は、通信部１２１と、制御部２と、ロボット情報データベース１１と、行動データベース１２と、記憶部１３と、を有する。
【０２１２】
制御部２は、第２のペット型ロボット３２０から取得した音声情報、画像情報、ロボット情報データベース１１に登録された情報を用いて、第１の実施形態と同様に状態変化検出処理に係る処理を行う。
【０２１３】
制御部２は、ロボット情報データベース１１に登録されている情報、状態変化検出処理結果、行動データベース１２に登録されている情報に基づいて第１のペット型ロボット１１０の行動制御信号を生成する。行動制御信号は、通信部１２１を介して第１のペット型ロボット１１０に送信される。
【０２１４】
また、制御部２は、ロボット情報データベース１１に登録されている情報に基づいて、第２のペット型ロボット３２０のカメラ２１６の制御信号を生成する。カメラの制御信号は、通信部１２１を介して第２のペット型ロボット３２０に送信される。
【０２１５】
このように、アクセサリを装着している第１のペット型ロボット以外の第２のペット型ロボットが画像を取得し、これらのペット型ロボットとは異なるサーバにて状態変化検出処理を行ってもよい。
尚、第２のペット型ロボットの代わりに、自律行動しない例えばＡＩ装置や携帯端末等で、画像情報及び音声情報の取得する構成としてもよい。
【０２１６】
以上のように、第８〜第１０の実施形態においても、ペット型ロボットは、電気的、物理的な接続をすることなく、自ら動いて状態変化を検出する。そして、その状態変化に応じた行動を実施するので、ユーザとの自然なインタラクションが可能となる。
【０２１７】
＜第１１の実施形態＞
上述の実施形態では、参照用画像情報として、出荷当初に既にロボット情報データベースに登録されている、アクセサリ未装着の状態の画像情報を用いる例をあげたが、これに限定されない。
【０２１８】
すなわち、ある時点で取得した参照用画像情報と、ある時点よりも後の他の時点（現時点）で取得した比較用画情報とを比較することにより状態変化検出を行ってもよい。
例えば、ある時点では右前脚に赤色の腕輪が装着され、それよりも後の他の時点で右前脚に青色の腕輪が装着されたとすると、それぞれの時点で取得された画像情報を比較することにより、赤色の腕輪が取り外され、青色の腕輪が装着されたという状態変化を検出することができる。
【０２１９】
また、上述の実施形態では、トリガー監視部５がユーザの発語を用いてトリガーの発生の有無を監視する例をあげたが、トリガー監視部５が、ある所定の経過時間を用いてトリガーの発生の有無を監視してもよい。
【０２２０】
所定の経過時間でトリガーを監視する例として、２４時間毎にトリガーが発生するように、毎日午後１４時がトリガーとなるように設定する。このように、定期的に自ら状態変化検出処理を実施するようにしてもよい。２４時間毎に取得される画像情報は時系列にロボット情報データベース１１に登録される。
【０２２１】
図２０は、毎日午後１４時に、ペット型ロボットが、同じ姿勢、光学パラメータで自身に搭載されるカメラを用いて自身の右前脚を直接撮影した画像を時系列に並べたものである。図２０では、４月１日から４月３０日までは、細い斜線柄の腕輪６３が装着され、５月１日に太い斜線柄の腕輪６４が装着される例を図示している。
【０２２２】
毎日同時刻に撮影される画像と、ロボット情報データベース１１に出荷当初から登録されている参照用画像のマスク画像とを重畳することによってロボット領域とアクセサリ領域が切り出された画像９０が生成される。
【０２２３】
例えば図２０では、４月１日〜４月３０日に取得された画像８９からロボット領域とアクセサリ領域が切り出された画像９０ａが取得される。ある期間で取得された画像を蓄積、或いは統合することで、例えば画像９０ａを４月１日〜４月３０日の期間における自己通常状態情報とすることができる。
【０２２４】
そして、５月１日に取得された画像９１からロボット領域とアクセサリ領域が切り出された画像９０ｂが生成される。比較用画像情報に相当する画像９０ｂと、この画像９０ｂの直前に取得された自己通常状態情報であって参照用画像情報に相当する画像９０ａとを比較することにより、アクセサリ領域が状態変化領域として検出される。これにより、ある一定期間装着されていたアクセサリが外され、他のアクセサリが装着されたことが状態変化として検出される。
【０２２５】
このように、ある時点で取得された参照用画像情報と、それよりも後の他の時点で取得された比較用画像情報を比較することにより、アクセサリの取り外し、アクセサリの装着といった状態変化を検出することができる。
【０２２６】
また、一定期間毎に画像を取得し、状態変化検出処理を行って、これらの情報を蓄積していくことにより、経年劣化による状態変化をアクセサリの装着として検出するといった誤検出の発生を抑制することができる。
【０２２７】
すなわち、一定期間毎に状態変化検出を行うことにより、直前に取得された画像情報（参照用画像情報）と現在の画像情報（比較用画像情報）とを比較して状態変化検出を行うことができるので、長期間にわたった経年劣化によるペット型ロボット自体の色の変化や傷等による状態変化を、アクセサリの装着として検出するといった誤検出の発生を抑制することができる。
【０２２８】
＜第１２の実施形態＞
第２の実施形態において、自己検出処理は、上記方法に限定されない。
図２１は、パーツ点を用いた自己検出処理を説明する図である。図２１に示すように、自己検出処理において、同型のロボット２８が検出されると、同型のロボット２８の画像が取得され、その画像から同型のロボット２８のパーツ点が推定される。パーツ点は、目、鼻、口といった体の部位、体を構成する複数のユニットの連結部等に位置する。
【０２２９】
例えば、パーツ点７３aは、右前脚部ユニット１５４における指部と腕部との連結部に位置する。パーツ点７３ｂは、右前脚部ユニット１５４と胴体部ユニット１５３との連結部に位置する。パーツ点７３ｃは、頭部ユニット１５２と胴体部ユニット１５３との連結部に位置する。パーツ点７３ｄは、左前足部ユニットと胴体部ユニット１５３との連結部に位置する。
【０２３０】
次に、ペット型ロボット２１が特定の姿勢をとったとき、同型のロボット２８が、鏡面対称の位置関係でペット型ロボット２１と同じ姿勢をとるかを、パーツ点を用いて判定し、自己検出を行う。
【０２３１】
例えば、ペット型ロボット２１が左前脚をおろしている状態から左前脚をあげる姿勢をとると想定する。同型のロボット２８のパーツ点７３aの位置座標が変化し、この変化が、ペット型ロボット２１の左前脚ユニットにおける指部と腕部との連結部の位置変化とが同じであると、同型のロボット２８はペット型ロボット２１とは鏡面対称の位置関係で同じ姿勢をとったとし、同型のロボット２８は鏡６５に映しだされたペット型ロボット２１（自分自身）の鏡像であると判定される。
【０２３２】
尚、ここでは、特定の姿勢をとることを例にあげたが、時系列のジェスチャ認識を利用してもよい。
【０２３３】
＜その他の実施形態＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３４】
例えば、トリガー監視部５は、ペット型ロボットの影の画像情報を用いてトリガーの発生の有無を監視してもよい。例えば、ある時点で取得されたアクセサリが何も装着されていないときのペット型ロボットの影の画像情報として影の輪郭形状と、現時点で取得されたペット型ロボットの影の画像情報としての影の輪郭形状とを比較することにより、アクセサリの装着の有無を推定してもよい。アクセサリが装着されているかもしれないと推定されるとトリガー発生有りとされ、状態変化検出に係る処理が開始される。
【０２３５】
また、上述の実施形態では、状態変化検出処理時に、画像、セグメンテーション、パーツ検出、特徴量等を用いる例をあげ、また、ロボット情報データベースを使う場合、使わない場合を例にあげて説明したが、これらを組み合わせて状態変化検出処理を行ってもよい。
【０２３６】
また、上述の実施形態では、画像情報を用いて状態変化検出を行う例をあげた。このような画像情報に加え、環境音、アクチュエータの作動音、ペット型ロボット自身が発する発生音等の音声情報を用いて状態変化検出処理を行ってもよい。
【０２３７】
例えば、マイクが集音する音声情報である環境音に変化があった場合、マイクが位置する領域にアクセサリが装着されている可能性があることが想定される。したがって、ある時点で音声取得部により取得された参照用音声と、他の時点で音声取得部により取得された比較用音声とを比較し、比較結果に基づいてペット型ロボットの状態変化を検出することができる。
【０２３８】
また、アクチュエータの作動音に変化があった場合、アクチュエータが位置する領域にアクセサリが装着されている可能性があることが想定される。したがって、ある時点で音声取得部により取得された参照用音声としてのアクチュエータの参照用作動音と、他の時点で音声取得部により取得された比較用音声としてのアクチュエータの比較用作動音とを比較し、比較結果に基づいてペット型ロボットの状態変化を検出することができる。
【０２３９】
また、ペット型ロボット自身が発する発生音に変化があった場合、ペット型ロボットのスピーカが位置する領域にアクセサリが装着され、アクセサリがスピーカを塞いでいる可能性があることが想定される。したがって、ある時点で音声取得部により取得された参照用音声と、他の時点で音声取得部により取得された比較用音声とを比較し、比較結果に基づいてペット型ロボットの状態変化を検出することができる。
【０２４０】
このような音声情報による想定結果を加味することにより、状態変化の領域を絞ることができ、効率的に状態変化検出を行うことができる。また、これらの音声情報が状態変化検出処理を開始するトリガーとなってもよい。
【０２４１】
また、第２の実施形態における自己検出処理の他の例としてパターン光を用いてもよい。検出した同型のロボット２８に対してパターン光を照射することにより、パターン光が照射される被対象物体の形状や位置を把握することができる。例えば、パターン光が照射される被対象物体が平面形状であると認識されると、検出された同型のロボット２８は鏡に映ったペット型ロボット２１の鏡像であることが推定される。一方、パターン光が照射される被対象物体が立体形状であれば、検出された同型のロボット２８はペット型ロボット２１とは異なる他のロボットであると判定される。
【０２４２】
また、自己検出処理の他の例として、デプスセンサを用いて、検出された同型のロボット２８が平面形状として検出された場合は、検出された同型のロボット２８は鏡に映ったペット型ロボット２１の鏡像であることが推定することもできる。
【０２４３】
また、自己検出処理の他の例として、例えば、ペット型ロボット２１の目の色を変える等して形態を変化させ、同型のロボット２８が同様に形態を変化させて目の色を変えた場合、検出された同型のロボット２８は鏡に映しだされたペット型ロボット２１の鏡像であると判定することができる。
【０２４４】
また、状態変化検出処理において、図２２に示すように、ペット型ロボット２１が動いたときに、ロボット領域と同じ動きをするロボット領域以外の領域を状態変化領域（帽子６２の領域）として抽出してもよい。
【０２４５】
図２２は、帽子６２を被ったペット型ロボット２１が左に移動したときの移動前後の様子を示す図であり、ロボット領域と同じ動きをするロボット領域以外の領域、ここでは帽子６２の領域を検出する様子を示している。移動前後において、画像内で動く領域は矩形７１で囲まれた領域である。
【０２４６】
また、上述の実施形態においては、自律行動ロボットとして四足歩行のペット型ロボットを例にあげて説明したが、これに限定されない。二足、又は、二足以上の多足歩行、その他の移動手段を備え、ユーザと自律的にコミュニケーションを行う自律行動ロボットであればよい。
【０２４７】
なお、本技術は以下のような構成もとることができる。
（１）  ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する状態変化検出部
を具備する情報処理装置。
（２）  上記（１）に記載の情報処理装置であって、
上記状態変化とは、上記自律行動ロボットに装着されるアクセサリの有無である
情報処理装置。
（３）  上記（１）又は（２）に記載の情報処理装置であって、
上記状態変化検出部による状態変化検出処理のために、上記自律行動ロボットが上記参照用画像と同じ姿勢となるように上記自律行動ロボットの行動制御信号を生成する行動制御信号生成部
を更に具備する情報処理装置。
（４）  上記（１）から（３）のいずれか１つに記載の情報処理装置であって、
上記比較用画像情報は、上記参照用画像情報にあわせて動いた上記自律行動ロボットの画像情報である
情報処理装置。
（５）  上記（１）から（４）のいずれか１つに記載の情報処理装置であって、
上記状態変化検出部は、上記比較用画像情報と上記参照用画像情報との差分から、上記状態変化を検出する
情報処理装置。
（６）  上記（１）から（５）のいずれか１つに記載の情報処理装置であって、
上記参照用画像情報は参照用画像の特徴量を含み、
上記比較用画像情報は比較用画像の特徴量を含み、
上記状態変化検出部は、上記比較用画像の特徴量と上記参照用画像の特徴量とを比較し、上記状態変化を検出する
情報処理装置。
（７）  上記（１）から（６）のいずれか１つに記載の情報処理装置であって、
上記参照用画像情報は、上記自律行動ロボットに属するピクセルのセグメンテーション情報を含み、
上記状態変化検出部は、上記セグメンテーション情報を用いて、上記比較用画像情報から、上記自律行動ロボットに属する領域を削除し、上記状態変化を検出する
情報処理装置。
（８）  上記（７）に記載の情報処理装置であって、
上記自律行動ロボットは複数のパーツから構成され、
上記セグメンテーション情報は、互いに判別可能な複数の上記パーツ毎のピクセルセグメンテーション情報を含む
情報処理装置。
（９）  上記（１）から（８）のいずれか１つに記載の情報処理装置であって、
上記自律行動ロボットと同型であると検出されたロボットが、上記自律行動ロボットであるか否かを検出する自己検出部
を更に具備する情報処理装置。
（１０）  上記（９）に記載の情報処理装置であって、
上記自己検出部は、上記自律行動ロボットが行う動きと、上記同型であると検出されたロボットが行う動きを基に、上記同型であると検出されたロボットが、光の鏡面反射を利用して物体を映す部材に映しだされた上記自律行動ロボットであるか否かを検出する
情報処理装置。
（１１）  上記（９）に記載の情報処理装置であって、
上記自己検出部は、上記同型であると検出されたロボットのパーツ点を推定し、上記パーツ点の位置変化と、上記自律行動ロボットの動きを基に、上記同型であると検出されたロボットが、光の鏡面反射を利用して物体を映す部材に映しだされた上記自律行動ロボットであるか否かを検出する
情報処理装置。
（１２）  上記（１）から（１１）のいずれか１つに記載の情報処理装置であって、
上記自律行動ロボットは、音声を集音する音声取得部を有し、
上記状態変化検出部は、ある時点での上記音声取得部で取得された参照用音声と他の時点で取得された上記音声取得部で取得された比較用音声とを比較し、比較結果に基づいて自律行動ロボットの状態変化を検出する
を具備する情報処理装置。
（１３）  上記（１）から（１２）のいずれか１つに記載の情報処理装置であって、
請求項１０に記載の情報処理装置であって、
上記自律行動ロボットは、当該自律行動ロボットの動きを制御するアクチュエータを有し、
上記状態変化検出部は、ある時点での上記アクチュエータの参照用作動音と他の時点で取得された上記アクチュエータの比較用作動音とを比較し、比較結果に基づいて自律行動ロボットの状態変化を検出する
を具備する情報処理装置。
（１４）  上記（１）から（１３）のいずれか１つに記載の情報処理装置であって、
上記自律行動ロボットの上記状態変化検出部による検出を行うか否かを判定するトリガーの発生の有無を監視するトリガー監視部
を更に具備する情報処理装置。
（１５）  上記（１４）に記載の情報処理装置であって、
上記トリガー監視部は、上記自律行動ロボットのある時点での影の画像情報と、上記自律行動ロボットの他の時点での影の画像情報とを比較して、上記トリガーの発生の有無を監視する
情報処理装置。
（１６）  上記（１４）又は（１５）記載の情報処理装置であって、
上記トリガー監視部は、ユーザの発語を基に、上記トリガーの発生の有無を監視する
情報処理装置。
（１７）  上記（１４）から（１６）のいずれか１つに記載の情報処理装置であって、
上記トリガー監視部は、所定の経過時間を基に、上記トリガーの発生の有無を監視する
情報処理装置。
（１８）  自律行動ロボットと、
ある時点で取得された上記自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する状態変化検出部を備える情報処理装置と
を具備する情報処理システム。
（１９）  ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出するステップ
を含む処理を情報処理装置に実行させるためのプログラム。
（２０）  ある時点で取得された自律行動ロボットの参照用画像情報と、他の時点で取得された上記自律行動ロボットの比較用画像情報とを比較し、比較結果に基づいて上記自律行動ロボットの状態変化を検出する
情報処理方法。
【符号の説明】
【０２４８】
１、２１…ペット型ロボット（自律行動ロボット、情報処理装置）
２…トリガー監視部
６…状態変化検出部
７…行動制御信号生成部
１７…アクチュエータ
５３…胴体部（パーツ）
６１、６３、６４…腕輪（アクセサリ）
６２…帽子（アクセサリ）
６５…鏡（光の鏡面反射を利用して物体を映す部材）
７３ａ〜７３ｄ…パーツ点
８０…参照用のマスク画像（参照用画像情報）
８１…参照用のＲＧＢ画像（参照用画像情報）
８２…比較用画像（比較用画像情報）
８７…パーツ毎のピクセルセグメンテーション情報が反映された参照用画像（参照画像情報）
１００、２００、３００…情報処理システム
１１０…ペット型ロボット、第１のペット型ロボット（自律行動ロボット）
１２０…サーバ（情報処理装置）
２２０…第２のペット型ロボット（情報処理装置）
５２１…顔部（パーツ）
５２２…右耳部（パーツ）
５２３…左耳部（パーツ）
【図１】
2019235067.tif 000003
【図２】
2019235067.tif 000004
【図３】
2019235067.tif 000005
【図４】
2019235067.tif 000006
【図５】
2019235067.tif 000007
【図６】
2019235067.tif 000008
【図７】
2019235067.tif 000009
【図８】
2019235067.tif 000010
【図９】
2019235067.tif 000011
【図１０】
2019235067.tif 000012
【図１１】
2019235067.tif 000013
【図１２】
2019235067.tif 000014
【図１３】
2019235067.tif 000015
【図１４】
2019235067.tif 000016
【図１５】
2019235067.tif 000017
【図１６】
2019235067.tif 000018
【図１７】
2019235067.tif 000019
【図１８】
2019235067.tif 000020
【図１９】
2019235067.tif 000021
【図２０】
2019235067.tif 000022
【図２１】
2019235067.tif 000023
【図２２】
2019235067.tif 000024
【国際調査報告】
2019235067.tif 000025
2019235067.tif 000026