(57)【要約】【課題】例えば、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行う。【解決手段】人体に着脱可能とされ、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する情報処理装置である。【選択図】図７
2020089947.tif 000002
【特許請求の範囲】
【請求項１】
センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、
前記リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する
情報処理装置。
【請求項２】
前記制御部は、前記判定結果に基づいて、前記オブジェクトに対する行動を決定する行動制御部である
請求項１に記載の情報処理装置。
【請求項３】
前記行動制御部は、前記オブジェクトがリアルオブジェクトである場合には前記オブジェクトに反応する行動を決定し、前記オブジェクトがアンリアルオブジェクトである場合には前記オブジェクトに反応しない行動を決定する
請求項２に記載の情報処理装置。
【請求項４】
前記行動制御部は、リアルオブジェクト及びアンリアルオブジェクトが前記センシングデータに混在する場合に、前記アンリアルオブジェクトに関する情報を取得するための行動を決定する
請求項１に記載の情報処理装置。
【請求項５】
複数のセンサを有し、
前記制御部は、前記判定結果に基づいて、前記複数のセンサのそれぞれのオン／オフを制御するセンサ制御部である
請求項１に記載の情報処理装置。
【請求項６】
前記センサ制御部は、前記オブジェクトがリアルオブジェクトである場合に全てのセンサをオンする制御を行い、前記オブジェクトがアンリアルオブジェクトである場合に前記複数のセンサのうち一部のセンサのみをオンする制御を行う
請求項５に記載の情報処理装置。
【請求項７】
前記センシングデータを取得する所定のセンサを有し、
前記センサ制御部は、前記オブジェクトがアンリアルオブジェクトである場合に、少なくとも前記所定のセンサをオンする制御を行う
請求項６に記載の情報処理装置。
【請求項８】
前記リアルオブジェクトは、前記情報処理装置との間でインタラクションが可能とされるオブジェクトであり、前記アンリアルオブジェクトは、前記情報処理装置との間でインタラクションが不可能とされるオブジェクトである
請求項１に記載の情報処理装置。
【請求項９】
前記センシングデータに基づいて前記オブジェクトを検出するオブジェクト検出部を有する
請求項１に記載の情報処理装置。
【請求項１０】
前記センシングデータに基づいて、前記オブジェクトに関する学習を行う学習部を有する
請求項１に記載の情報処理装置。
【請求項１１】
前記オブジェクトは、人物である
請求項１に記載の情報処理装置。
【請求項１２】
前記センシングデータは、画像データである
請求項１に記載の情報処理装置。
【請求項１３】
自走式のロボットとして構成される
請求項１に記載の情報処理装置。
【請求項１４】
リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
情報処理方法。
【請求項１５】
リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
人物を認識し、認識した人物とインタラクション（相互のやり取り）を行うロボット装置が記載されている。例えば、下記特許文献１には、ステレオカメラによって取得した画像から人物の存在とその位置を検出し、検出した人物とインタラクションを行う案内ロボットが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７６０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、案内ロボットが取得した画像に含まれる人物が、全てリアルな人物であることを前提としていた。かかる前提では、ロボット装置が不適切な動作を行ってしまう虞があった。
【０００５】
本開示は、上述した点に鑑みてなされたものであり、オブジェクトのリアル性を判定し、判定結果に基づいた制御を行う情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本開示は、例えば、
センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、
リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する
情報処理装置である。
【０００７】
本開示は、例えば、
リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
制御部が、リアル性判定部による判定結果に基づいて、所定の制御を行う
情報処理方法である。
【０００８】
本開示は、例えば、
リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
制御部が、リアル性判定部による判定結果に基づいて、所定の制御を行う
情報処理方法をコンピュータに実行させるプログラムである。
【図面の簡単な説明】
【０００９】
【図１】図１は、本開示の背景を説明する際に参照される図である。
【図２】図２は、実施の形態にかかるロボット装置の外観例を示す斜視図である。
【図３】図３は、実施の形態にかかるロボット装置の内部構成例を示すブロック図である。
【図４】図４は、リアルオブジェクト又はアンリアルオブジェクトと判定されるオブジェクトが混在する場合の具体例を説明するための図である。
【図５】図５は、リアルオブジェクトに関するセンシングデータ及びアンリアルオブジェクトに関するセンシングデータがデータベースに記憶されることを示す図である。
【図６】図６は、実施の形態にかかるセンシング状態制御部によるセンサ制御の一例を説明するための図である。
【図７】図７は、実施の形態にかかるロボット装置で行われる、全体の処理の流れを説明するためのフローチャートである。
【図８】図８は、リアルオブジェクト又はアンリアルオブジェクトと判定されるオブジェクトが混在する場合に、実施の形態にかかる行動制御部により行われる制御例を説明するためのフローチャートである。
【図９】図９は、リアルオブジェクトに関するセンシングデータ及びアンリアルオブジェクトに関するセンシングデータがデータベースに記憶されることを示す図である。
【図１０】図１０は、オブジェクトのリアル性を判定する処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜背景＞
＜実施の形態＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
【００１１】
＜背景＞
始めに、本開示の理解を容易とするために、本開示の背景について説明する。図１に示すように、ある空間（具体例として、居間ＡＲ）を考える。居間ＡＲでは、３人の人物ＨＵ１〜ＨＵ３がソファに座ってテレビジョン放送を視聴している。本例では、３人の人物ＨＵ１〜ＨＵ３は、父、母、子供を想定している。テレビジョン放送の映像が再生されるテレビジョン装置ＴＶの画面には、キャスターＨＵ４が映し出されている。居間ＡＲには、情報処理装置の一例である自走式の犬型のロボット（ロボット装置１）が存在する。
【００１２】
ロボット装置１は、例えば、カメラを有し、カメラにより取得された画像に含まれる人物を検出する。人物が検出された場合には、ロボット装置１は、人物に近づき手をあげたり、膝上に乗る等の愛嬌ある仕草を行う。ここで、上述した特許文献１に記載の技術のように、画像に含まれる人物が全てリアルであることを前提にした制御を行うと、例えば、人物としてキャスターＨＵ４を検出した場合に、ロボット装置１がキャスターＨＵ４に向かって近づいたり、手を差し出す動作を行ってしまう。そこで、ロボット装置１が認識したオブジェクトがリアルであるのかアンリアルであるのかを判定し、その判定結果に基づく制御を行う方が、ロボット装置１が適切な動作を行うことができる。以上の点を踏まえつつ、本開示の実施の形態について詳細に説明する。
【００１３】
なお、上述した例では、テレビジョン装置ＴＶに映し出されるオブジェクト（具体的には、キャスターＨＵ４）をアンリアルなオブジェクトの例として説明したが、表示画面に映るオブジェクトが全てアンリアルなオブジェクトとは限らない。例えば、表示画面に映る、ロボット装置１が認識済みの人物（具体的には、ロボット装置１の所有者）は、リアルなオブジェクトとして判定され得る。
【００１４】
＜実施の形態＞
［ロボット装置の外観例］
本開示の実施の形態では、図２に示すように、自走式であり犬型のロボット装置１を情報処理装置の一例として説明する。勿論、本開示は、他の形状のロボットや、スマートスピーカと称される各種のエージェント機器に対しても適用することができる。
【００１５】
ロボット装置１の関節等の適宜な位置の内部に、サーボモータ等の電動モータが内蔵されている。電動モータが動作することによりロボット装置１の４本足が適宜、駆動され、ロボット装置１が歩いたり、走ったり、手を差し出したりする。また、ロボット装置１は、電動モータ等の駆動機構が動作することにより、しっぽを振ったり、舌を出したり、耳を立てたりする等、任意の動作（行動）を行うことができるように構成されている。
【００１６】
また、ロボット装置１は、種々のセンサを備える。センサとしては、マイクロフォン、カメラ、ＴｏＦ（Time of Flight）センサ、人感センサ、ＰＳＤ（Position Sensitive Detector）センサ、タッチセンサ、照度センサ、足裏ボタン、慣性センサ、接触面センサ、赤外線センサ、超音波センサ等が挙げられる。これらのセンサは、ロボット装置１の適宜な箇所（例えば、図２における丸印を付した箇所）に設けられる。
【００１７】
［ロボット装置の内部構成例］
図３は、ロボット装置１の内部構成例を示すブロック図である。ロボット装置１は、情報取得部１０、情報処理部２０、行動状態推定部３０、行動制御部４０及び情報蓄積部５０を有している。
【００１８】
（情報取得部）
情報取得部１０は、複数のセンサと、オブジェクトのリアル性を判定した判定結果に基づいて各センサのオン／オフを制御するセンサ制御部としてのセンシング状態制御部１０１とを有している。センサの例は上述しているが、以下の説明では、イメージセンサ１１０、温湿度センサ１１１、触覚センサ１１２、音声センサ１１３、嗅覚センサ１１４及びデプスセンサ１１５をセンサの具体例として説明する。
【００１９】
イメージセンサは、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等から構成されており、被写体からの光を光電変換し、センシングデータの一つである画像データを取得する。温湿度センサ１１１は、ロボット装置１の周囲の温度及び湿度を測定する。触覚センサ１１２は、ロボット装置１が何らかの物体に接触したことを検出する。音声センサ１１３は、マイクロフォン等から構成されており、ロボット装置１の周囲の音を検出する。嗅覚センサ１１４は、ロボット装置１の周囲のにおいを検出する。デプスセンサ１１５は、ＴｏＦセンサやステレオカメラ等により構成されており、対象物までの距離を測定する。
【００２０】
なお、図示はしていないが、情報取得部１０が、ネットワークに接続される外部機器から情報を取得するための通信部を有していても良い。通信は、有線による通信でも良いし、無線による通信でも良い。無線通信としては、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、またはＷＵＳＢ（Wireless USB）等が挙げられる。
【００２１】
（情報処理部）
情報処理部２０は、情報取得部１０により取得されたセンシングデータを処理する構成を含む。具体的には、情報処理部２０は、イメージセンサ１１０及びデプスセンサ１１５のそれぞれにより取得されたセンシングデータを処理する画像情報処理エンジン２１０、温湿度センサ１１１により取得されたセンシングデータを処理する環境感知情報処理エンジン２１１、触覚センサ１１２により取得されたセンシングデータを処理する触覚情報処理エンジン２１２、音声センサ１１３により取得されたセンシングデータを処理する音声情報処理エンジン２１３及び嗅覚センサ１１４により取得されたセンシングデータを処理する嗅覚情報処理エンジン２１４を有している。
【００２２】
ここで、画像情報処理エンジン２１０は、画像データに対する公知の画像処理を行うと共に、センシングデータの一つである画像データに含まれるオブジェクトを検出するオブジェクト検出部として機能する。オブジェクトは、空間に位置する所定の物体（表示画面に映し出される物体や鏡、窓に写る物体を含む）であり、本実施の形態では、人物を例にして説明する。
【００２３】
情報処理部２０は、さらに、リアル性判定部２０１を有している。リアル性判定部２０１は、画像情報処理エンジン２１０により検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定する。画像情報処理エンジン２１０により複数のオブジェクトが検出された場合には、リアル性判定部２０１は、個々のオブジェクト毎に、当該オブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定する。なお、本明細書では、オブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定することを、リアル性を判定する、と適宜、称する。
【００２４】
本実施の形態では、リアルオブジェクトとはロボット装置１との間でインタラクションが可能とされるオブジェクトであり、アンリアルオブジェクトとはロボット装置１との間でインタラクションが不可能とされるオブジェクトである。かかる観点に基づけば、例えば、ロボット装置１と同じ空間に居る人物は、当該人物に対してロボット装置１が手を差し出す等のインタラクションが可能とされることからリアルオブジェクトと判定される。また、テレビジョン放送に含まれる人物や鏡に映った人物は、当該人物に対してロボット装置１が手を差し出す等の行動を行っても反応が返ってくることはない、即ち、インタラクションが不可能とされるので、アンリアルオブジェクトと判定される。
【００２５】
なお、リアルオブジェクト及びアンリアルオブジェクトの定義は、ロボット装置１の用途、操作環境等に応じて変更され得る。例えば、ロボット装置１に対する遠隔操作を考慮しない場合には、ロボット装置１と同じ空間に存在する３次元的なオブジェクトをリアルオブジェクトと判定し、それ以外のオブジェクトをアンリアルオブジェクトと判定するようにしても良い。かかる観点に基づけば、例えば、ロボット装置１と同じ空間に存在するコップはリアルオブジェクトと判定され、同じ空間に存在したとしても本に記載されているコップはアンリアルオブジェクトと判定される。また、ベランダにいる人物はロボット装置１からみて窓ガラス越し見えるためアンリアルオブジェクトと判定され、部屋に入った人物はリアルオブジェクトと判定される。
【００２６】
また、特定のセンサによるセンシングが可能なオブジェクトをリアルオブジェクトと判定し、一部のセンサのみによるセンシングが可能なオブジェクトをアンリアルオブジェクトと判定するようにしても良い。かかる観点に基づけば、例えば、ロボット装置１と同じ空間にいる現実世界の人物は、イメージセンサ１１０等、全てのセンサによるセンシングが可能であるため、リアルオブジェクトと判定される。また、テレビジョン放送における人物はイメージセンサ１１０及び音声センサ１１３のみによるセンシングが可能とされる、換言すれば、一部のセンサのみによるセンシングが可能とされるためアンリアルオブジェクトと判定される。
【００２７】
情報処理部２０は、さらに、学習部２０２を有している。学習部２０２は、センシングデータ（例えば、画像データ）に基づいて学習を行う。機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。学習部２０２は、これらの公知の学習方法に基づいた学習を行う。学習の結果は、例えば、リアル性判定部２０１によるリアル性の判定処理に反映される。
【００２８】
（行動状態推定部）
行動状態推定部３０は、例えば、ロボット装置１の自身の行動状態をリアルタイムに認識し、行動制御部４０により設定された一連の行動が終了したか否かを判定する。行動状態推定部３０は、例えば、関節等に設けられた電動モータ等の動作履歴に基づいて、自身の行動状態をリアルタイムに認識する。行動状態推定部３０により行動が終了したと判定された場合には、次に入力される画像データに含まれるオブジェクトのリアル性がリアル性判定部２０１により再度、行われる。行動状態推定部３０により行動が終了していないと判定された場合は、最新のリアル性の判定結果を保持したまま、行動制御部４０による行動制御等が継続される。
【００２９】
（行動制御部）
行動制御部４０は、リアル性判定部２０１の判定結果に基づいて、検出されたオブジェクトに対するロボット装置１の行動を決定する。行動制御部４０は、例えば、ＣＰＵ（Central Processing Unit）等により構成されている。行動制御部４０は、ロボット装置１が決定した行動を行うように、ロボット装置１の電動モータやアクチュエーター等の駆動機構を動作させる。一例として、行動制御部４０は、オブジェクトがリアルオブジェクトと判定された場合には、当該オブジェクトとの間ではインタラクションが可能とされることから、ロボット装置１がオブジェクトに対して何からの行動（例えば、手を差し出したり、しっぽを振る動作）を行うための制御を実行する。一方で、行動制御部４０は、オブジェクトがアンリアルオブジェクトと判定された場合には、当該オブジェクトとの間ではインタラクションが不可能とされることから、ロボット装置１がオブジェクトに対して何も反応しない制御を実行する。
【００３０】
このように、本実施の形態では、センシング状態制御部１０１及び行動制御部４０の少なくとも一方が、リアル性判定部２０１による判定結果に基づいて、所定の制御を行う制御部に対応している。
【００３１】
（情報蓄積部）
情報蓄積部５０は、各種の情報を蓄積（記憶）するデータベース（ＤＢ）である。情報蓄積部５０としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。情報蓄積部５０は、ロボット装置１に着脱可能とされる可搬型のメモリを含んでいても良い。本実施の形態における情報蓄積部５０は、オブジェクトがリアルオブジェクトと判定された場合に当該オブジェクトに関する情報を蓄積するリアルオブジェクトデータベース５０１、及び、オブジェクトがアンリアルオブジェクトと判定された場合に当該オブジェクトに関する情報を蓄積するアンリアルオブジェクトデータベース５０２を有している。
【００３２】
［行動制御部による行動制御の例］
次に、行動制御部４０による行動制御の例について説明する。行動制御部４０は、リアル性判定部２０１による判定の結果、画像データに含まれる人物のうち少なくとも一人の人物がリアルオブジェクトであると判定された場合には、所定のモード（以下、アクティブモードと称する）によりロボット装置１が行動するように制御する。また、行動制御部４０は、リアル性判定部２０１による判定の結果、画像データに含まれる人物の全てがアンリアルオブジェクトであると判定された場合には、他のモード（以下、パッシブモードと称する）によりロボット装置１が行動するように制御する。
【００３３】
（アクティブモードに基づくロボット装置の行動例）
アクティブモードに基づくロボット装置１の行動例としては、認識対象がリアルオブジェクトであることから、ロボット装置１の能動的な行動が想定される。具体的には、以下の行動例が考えられる。
【００３４】
「第１の行動例」
ロボット装置１がリアルオブジェクトと判定された人物に対して、自発的に発話する。発話する際にロボット装置１が人物に対して顔を向ける動作を行い、人物との間でコミュニケーションを取ろうとする。
「第２の行動例」
ロボット装置１がリアルオブジェクトと判定された人物に対して注意を喚起する（ロボット装置１に対して注目させる）行動を行う。例えば、ロボット装置１が「ワンワン」となく。
「第３の行動例」
ロボット装置１がリアルオブジェクトと判定された人物に物理的な接触をはかる。具体的には、ロボット装置１が、人物のそばや膝上に座る付き添い動作を行う。また、ハイタッチ、握手、握る、触る、噛む、舐める等の動作を行う。
「第４の行動例」
リアルオブジェクトと判定された人物に異常が発生した場合に、その旨を他者に通知する動作を行う。例えば、ロボット装置１が警報を鳴らしたり、ネットワーク上の警備システムに異常の発生を送信する。なお、人物がアンリアルオブジェクトと判定された場合（例えば、人物がテレビジョン装置に映し出されているドラマの人物）には、当該人物に異常が発生したとしてもロボット装置１は異常通知等の動作を行わない。
「第５の行動例」
ロボット装置１が、リアルオブジェクトと判定された人物と遊ぶ動作を行う。例えば、リアルオブジェクトと判定された人物が投げたボールをロボット装置１がくわえて持ち帰る動作を行う。
「第６の行動例」
ロボット装置１が人物を聴衆或いは観衆として設計されている場合もある。かかる場合は、ロボット装置１がリアルオブジェクトと判定された人物に対して、演技、演奏等の動作を行う。具体例としては、ロボット装置１がリアルオブジェクトと判定された人物に対して、曲に合わせて踊る動作を行う。
【００３５】
なお、イメージセンサ１１０により取得される画像データに複数の人物が含まれる場合に、複数の人物のうち一部の人物がリアルオブジェクトと判定され、他の人物がアンリアルオブジェクトと判定される場合もある。具体例として、図４に模式的に示すように、画像データＩＭ１に、実際の人物ＨＵ１０と当該人物の横に立てかけられている写真Ｐ１に人物（人物ＨＵ１１〜ＨＵ１３）が写っている場合を考える。リアル性判定部２０１によるリアル性を判定する処理により人物ＨＵ１０はリアルオブジェクトと判定され、写真に写っている人物ＨＵ１１〜ＨＵ１３はアンリアルオブジェクトと判定される。
【００３６】
このように、リアルオブジェクト又はアンリアルオブジェクトと判定されるオブジェクトが混在する場合は、行動制御部４０は、例えば、アンリアルオブジェクトに興味を示す行動を決定する。より具体的には、行動制御部４０は、アンリアルオブジェクトに関する情報を対話により取得し、学習する行動を決定する。
【００３７】
行動の具体例としては、ロボット装置１がアンリアルオブジェクト（写真の方向）に顔を向けまばたきする動作を行う。また、ロボット装置１がアンリアルオブジェクトに近づいたり、回したり、アンリアルオブジェクトに対して鳴いたり、対話によりアンリアルオブジェクトの情報を取得する。また、ロボット装置１が興味を有していることを示すライトがロボット装置１に設けられている場合には、当該ライトが点灯、点滅等される。
【００３８】
なお、図５に示すように、リアルオブジェクトである人物ＨＵ１０に関するセンシングデータは、リアルオブジェクトデータベース５０１に蓄積され、アンリアルオブジェクトである人物ＨＵ１１〜ＨＵ１３に関するセンシングデータは、アンリアルオブジェクトデータベース５０２に蓄積される。
【００３９】
（パッシブモードに基づくロボット装置の行動例）
パッシブモードに基づくロボット装置１の行動例としては、認識したオブジェクトの全てがアンリアルオブジェクトであることから、基本的には、ロボット装置１が何も反応しない。しかしながら、パッシブモードに基づく行動は無反応に限定されるものではない。例えば、ロボット装置１が、人物がアンリアルオブジェクトであると認識した場合でもわざと当該人物に対して近づき、何らかの行動をする。人物は、アンリアルオブジェクト（例えば、テレビジョン放送に出演中のキャスターや俳優）であることからロボット装置１の行動に対するアンリアルオブジェクトの反応はない。その際に、ロボット装置１が首をかしげる動作を行う。アンリアルオブジェクトに対するこのような動作を行うことで、ロボット装置１の可愛らしさを向上させることができる。
【００４０】
以上例示したようにして、行動制御部４０は、オブジェクトのリアル性判定結果に基づく行動を決定する。
【００４１】
［センシング状態制御部によるセンサ制御の例］
次に、センシング状態制御部１０１によるセンサ制御の例について説明する。センシング状態制御部１０１は、リアル性判定部２０１による判定結果に応じて、各センサのオン／オフを制御する。
【００４２】
図６は、センシング状態制御部１０１によるセンサ制御の一例を説明するための図である。画像情報処理エンジン２１０により、オブジェクトの一例としての人物が検出される。そして、リアル性判定部２０１によりオブジェクトに対するリアル性の判定が行われる。判定の結果、オブジェクトがリアルオブジェクトの場合（複数のオブジェクトのうち少なくとも１個のオブジェクトがリアルオブジェクトの場合）は、センシング状態制御部１０１はマルチセンシングを有効にするセンシングモードに基づいて、各センサを制御する。また、判定の結果、オブジェクトが全てアンリアルオブジェクトの場合（リアルオブジェクトが含まれない場合）は、センシング状態制御部１０１はマルチセンシングを無効とし、省電力モードに基づいて、各センサを制御する。
【００４３】
検出されたオブジェクトにリアルオブジェクトが含まれる場合には、上述したように、ロボット装置１がアクティブモードに基づいて能動的な動作を行う。また、複数のオブジェクトの中にアンリアルオブジェクトが含まれている場合であっても、画像認識や対話によって当該アンリアルオブジェクトに関する情報を取得する必要がある。そこで、センシング状態制御部１０１は、センシングモードでは、例えば、全てのセンサをオンするセンサ制御を行う（図６参照）。
【００４４】
なお、センシングモードに基づいて動作する各センサにより、リアルオブジェクトに関するセンシングデータが取得される。場合によっては、アンリアルオブジェクトに関するセンシングデータも取得される。リアルオブジェクトに関するセンシングデータは、リアルオブジェクトデータベース５０１に記憶され、アンリアルオブジェクトに関するセンシングデータは、アンリアルオブジェクトデータベース５０２に記憶される。
【００４５】
検出されたオブジェクトにリアルオブジェクトが含まれない場合には、ロボット装置１が能動的な動作を積極的に行うことはない。そこで、センシング状態制御部１０１は、省電力モードでは、例えば、必要最低限のセンサをオンにするセンサ制御を行う。必要最低限のセンサとは、例えば、次回以降入力されるオブジェクトを検出するためのセンサであり、具体例としては、少なくともイメージセンサ１１０を含むセンサである。本実施の形態では、省電力力モードでは、イメージセンサ１１０、音声センサ１１３及びデプスセンサ１１５がオンされる（図６参照）。かかるセンサ制御により、ロボット装置１における消費電力を低減することができる。なお、アンリアルオブジェクトに関するセンシングデータは、アンリアルオブジェクトデータベース５０２に記憶される。
【００４６】
なお、上述したように、検出されたオブジェクトがアンリアルオブジェクトであっても、ロボット装置１がわざと当該アンリアルオブジェクトに近づく動作等を行う場合もあり得る。そこで、センシング状態制御部１０１は、そのような動作を行う間の期間、センシングモードに基づいて各センサを制御しても良い。
【００４７】
以上説明した行動制御部４０による制御及びセンシング状態制御部１０１によるセンサ制御の一例をまとめると、下記の表１になる。
【００４８】
【表１】
2020089947.tif 000003
【００４９】
［処理の流れ］
（全体の処理の流れ）
次に、実施の形態にかかるロボット装置１で行われる主な処理の流れについて説明する。始めに、図７のフローチャートを参照して、実施の形態にかかるロボット装置１で行われる、全体の処理の流れについて説明する。
【００５０】
処理が開始されると、ステップＳＴ１１では、情報取得部１０の各センサが動作することによりセンシングデータが取得される。例えば、イメージセンサ１１０によりセンシングデータの一つである画像データが取得される。そして、処理がステップＳＴ１２に進む。
【００５１】
ステップＳＴ１２では、情報処理部２０が動作することにより各センシングデータに対する処理が行われる。例えば、イメージセンサ１１０により取得された画像データが画像情報処理エンジン２１０に供給される。画像情報処理エンジン２１０は、画像データにオブジェクトの一例としての人物が含まれているか否かを検出する。そして、処理がステップＳＴ１３に進む。
【００５２】
ステップＳＴ１３では、人物が検出されたか否かが判断される。判断処理の結果、画像データに人物が検出されない場合には、処理がステップＳＴ１２に戻る。画像データに人物が検出された場合は、処理がステップＳＴ１４に進む。
【００５３】
ステップＳＴ１４では、リアル性判定部２０１によりオブジェクトに対するリアル性を判定する処理が行われる。そして、処理がステップＳＴ１５に進む。
【００５４】
ステップＳＴ１５では、リアル性判定部２０１による判定処理の結果、リアルオブジェクトが含まれるか否かが、例えば、リアル性判定部２０１により判定される。リアル性判定部２０１は、判定結果を、行動制御部４０及びセンシング状態制御部１０１に対して出力する。ステップＳＴ１５における判定処理の結果、リアルオブジェクトが含まれる場合には、処理がステップＳＴ１６に進む。
【００５５】
ステップＳＴ１６では、リアルオブジェクトに対応する行動制御及びセンサ制御がなされる。行動制御は、例えば、アクティブモードに基づく行動制御である。センサ制御は、例えば、センシングモードに基づくセンサ制御である。アクティブモードに基づく行動制御及びセンシングモードに基づくセンサ制御の具体例は、上述した通りである。ステップＳＴ１６の処理が終了すると、処理がステップＳＴ１８に進む。
【００５６】
ステップＳＴ１５における判定処理の結果、リアルオブジェクトが含まれない場合には、処理がステップＳＴ１７に進む。ステップＳＴ１７では、アンリアルオブジェクトに対応する行動制御及びセンサ制御がなされる。行動制御は、例えば、パッシブモードに基づく行動制御である。センサ制御は、例えば、省電力モードに基づくセンサ制御である。パッシブモードに基づく行動制御及び省電力モードに基づくセンサ制御の具体例は、上述した通りである。ステップＳＴ１７の処理が終了すると、処理がステップＳＴ１８に進む。
【００５７】
ステップＳＴ１８では、行動状態推定部３０による行動状態推定処理が行われる。そして、処理がステップＳＴ１９に進む。
【００５８】
ステップＳＴ１９では、行動状態推定処理の結果、行動制御部４０による行動制御に基づく一連の行動が完了したか否かが判定される。一連の行動が完了したと判定された場合は処理が終了し、以降に取得されるセンシングデータに対して同様の処理が行われる。
【００５９】
ステップＳＴ１９の判定処理の結果、一連の行動が完了していないと判定された場合は、処理がステップＳＴ１５に戻る。なお、この場合は、リアル性の判定は以前の判定結果を全システムで共有及び保持し、保持したリアル性の判定結果を利用した行動制御及びセンサ制御が行われる。
【００６０】
なお、ステップＳＴ１５の判定処理において、画像データにリアルオブジェクトと判定されたオブジェクトとアンリアルオブジェクトと判定されたオブジェクトとが混在する場合もあり得る。その場合は、例えば、図８のフローチャートに示す処理が行われる。
【００６１】
図８のステップＳＴ２１では、オブジェクトに対するリアル性の判定の結果、画像データにリアルオブジェクトとアンリアルオブジェクトとが混在（存在）することが判定される。判定結果は、行動制御部４０に供給される。そして、処理がステップＳＴ２２に進む。
【００６２】
ステップＳＴ２２では、行動制御部４０は、例えば、対話モードをオンし、ロボット装置１が当該対話モードに基づく動作を行うように制御する。対話モードとは、ロボット装置１がリアルオブジェクトに対してアンリアルオブジェクトに関する情報を取得するための対話を行うモードである。そして、処理がステップＳＴ２３に進む。
【００６３】
ステップＳＴ２３では、行動制御部４０により対話モードに基づく行動制御が行われ、かかる行動制御に基づいてロボット装置１が動作する。行動の具体例は、上述したアンリアルオブジェクトに興味を示す行動の他、アンリアルオブジェクトに関する情報を取得するための発話もあり得る。以下は、リアルオブジェクトと判定された人物（例えば、図４における人物ＨＵ１０）とロボット装置１との間で行われる対話の例である。
ロボット装置１：「写真にうつっている人物はだれですか」
人物ＨＵ１０：「どの人？」
ロボット装置１：「（人物ＨＵ１１の方向を見ながら）今見ている人です。」
人物ＨＵ１０：「（ロボット装置１の視線をみて）あぁ〜、写真ね、それは友達だよ。」
ロボット装置１：「名前は？」
人物ＨＵ１０：「ナナだよ。」
【００６４】
このような対話により、ロボット装置１は、アンリアルオブジェクトに関する情報を取得する。図９に示すように、センサ及び対話により取得されたアンリアルオブジェクトがアンリアルオブジェクトデータベース５０２に記憶される。具体例としては、イメージセンサ１１０により取得された人物ＨＵ１１の画像と対話により取得された人物ＨＵ１１の名前とが対応付けられてアンリアルオブジェクトデータベース５０２に記憶される。また、リアルオブジェクトである人物ＨＵ１０に関しても各センサによるセンシングデータが取得されることから、取得されたセンシングデータがリアルオブジェクトデータベース５０１に記憶される。
【００６５】
なお、図９に示すように、リアルオブジェクトデータベース５０１に記憶された特徴量とアンリアルオブジェクトデータベース５０２に記憶された特徴量とを統合するようにしても良い。例えば、人物ＨＵ１０の特徴量に、人物ＨＵ１１が人物ＨＵ１０の友人であり、名前がナナという情報が対応付けられる。アンリアルオブジェクトデータベース５０２に記憶される特徴量（例えば、画像情報）が、人物ＨＵ１０がファンであるポスター等に描かれた人物である場合もあり得る。このような場合は、人物ＨＵ１０の特徴量に、人物ＨＵ１０がファンである人物の情報（顔画像の特徴や性別、年齢等）が対応付けられる。また、アンリアルオブジェクトデータベース５０２に蓄積される特徴量をロボット装置１の学習部２０２が学習することにより、ロボット装置１が例えば人物ＨＵ１０の嗜好等を学習することができる。
【００６６】
（リアル性を判定する処理の流れ）
次に、図１０に示すフローチャートを参照して、オブジェクトのリアル性を判定する処理の流れについて説明する。なお、以下に説明する処理は、例えば、画像情報処理エンジン２１０及びリアル性判定部２０１により行われる。
【００６７】
ステップＳＴ３１では、デプス画像がデプスセンサ１１５により取得される。また、ステップＳＴ３１の処理と並行して、ステップＳＴ３２では、イメージセンサ１１０によりＲＧＢ(Red/Green/Blue)画像が取得される。そして、処理がステップＳＴ３３に進む。
【００６８】
ステップＳＴ３３では、デプス画像とＲＧＢ画像との位置合わせを行う対応画素較正処理が行われる。そして、処理がステップＳＴ３４に進む。ステップＳＴ３４では、ステップＳＴ３３の対応画素較正処理により、ＲＧＢ情報及びデプス情報を含むＲＧＢＤ画像が生成される。
【００６９】
一方、ステップＳＴ３５の処理では、ステップＳＴ３２で取得されたＲＧＢ画像に基づいて人物を検出する人物検出処理が行われる。そして、処理がステップＳＴ３６に進む。ステップＳＴ３６では、人物検出処理の結果及びＲＧＢＤ画像に基づいて、人物領域のデプス値が取得される。そして、処理がステップＳＴ３７に進む。
【００７０】
ステップＳＴ３７では、平面フィッティング処理により人物が所定の平面にフィットするか否かが判定される。この判定処理の結果が肯定判定の場合は、人物がテレビジョン装置の画面、即ち平面に映し出されている人物である可能性が高い。従って、ステップＳＴ３７の結果が肯定判定の場合は、処理がステップＳＴ４０に進み、画像データに含まれる人物がアンリアルオブジェクトと判定される。
【００７１】
ステップＳＴ３７の判定処理の結果が否定判定の場合は、処理がステップＳＴ３８に進む。ステップＳＴ３８では、曲面フィッティング処理により人物が所定の曲面にフィットするか否かが判定される。近年、曲面のディスプレイも普及しつつある。そこで、ステップＳＴ３８の処理を行うことにより、曲面のディスプレイに映し出される人物がリアルオブジェクトと判定されてしまうことを防止することができる。ステップＳＴ３８の結果が肯定判定の場合は、画像データに含まれる人物が曲面ディスプレイ等に映し出されている人物と判定され、処理がステップＳＴ４０に進む。そして、画像データに含まれる人物がアンリアルオブジェクトと判定される。
【００７２】
ステップＳＴ３８の結果が否定判定の場合は、処理がステップＳＴ３９に進み、画像データに含まれる人物がリアルオブジェクトと判定される。
【００７３】
なお、上述した処理はオブジェクトのリアル性を判定する処理の一例であり、他の処理によりオブジェクトのリアル性を判定するようにしても良い。例えば、イメージセンサ１１０の前に偏光フィルターを設ける。偏光フィルターを解して得られる画像に基づいて、鏡面領域を取得する。鏡面領域は、鏡面反射により偏光度（ブルースター角又は偏光角）が１に近い領域となる。取得した鏡面領域をＲＧＢ画像にマッピングする。鏡面領域内に存在する人物は、鏡や液晶画面、窓等のガラス越しの人物として把握し、当該人物は、インタラクションが不可能である又はインタラクションがしづらいとしてアンリアルオブジェクトと判定するようにしても良い。また、情報蓄積部５０に人物（例えば、ロボット装置１の所有者（飼い主））の情報を蓄積しておき、平面や曲面にフィットする人物であっても情報蓄積部５０に蓄積した人物情報にマッチする人物であれば、リアルオブジェクトと判定するようにしても良い。これにより、人物とロボット装置１とが遠隔地でインタラクションを行う際に、画面に映し出される当該人物がアンリアルオブジェクトと判定されてしまうことを防止することができる。これらの判定方法を組み合わせて、オブジェクトのリアル性を判定するようにしても良い。
【００７４】
＜変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
【００７５】
上述した実施の形態では、オブジェクトを人物として説明したが、人物以外の動物でも良い。例えば、猫でも良い。猫がリアルオブジェクトである場合には、複数のセンサに基づいて、猫の様子、温湿度、柔らかさ、鳴き声、匂い等のセンシングデータが取得され、取得されたセンシングデータがリアルオブジェクトデータベース５０１に保存される。猫がアンリアルオブジェクトである場合には、例えば、イメージセンサ１１０を介して取得されるビジョン情報のみがアンリアルオブジェクトデータベース５０２に保存される。リアルオブジェクトデータベース５０１及びアンリアルオブジェクトデータベース５０２に保存された特徴量を統合して、学習部２０２がオブジェクト（猫）ついて学習するようにしても良い。なお、オブジェクトは、生物以外のものでも良い。
【００７６】
ロボット装置１が上述したセンサ以外のセンサを有していても良い。例えば、ロボット装置１が人物の生体情報（体温、脈拍等）を取得するためのセンサを有していても良い。ロボット装置１は、例えば、適度な強さで人物の指先を噛み、指先から体温、心拍等の生体情報を取得する。ロボット装置１は、取得した生体情報に基づいて人物の健康状態等を監視するようにしても良い。かかるロボット装置１の動作は、リアルオブジェクトと判定された人物に対して行われる。
【００７７】
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
【００７８】
なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。
【００７９】
本開示は、以下の構成も採ることができる。
（１）
センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、
前記リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する
情報処理装置。
（２）
前記制御部は、前記判定結果に基づいて、前記オブジェクトに対する行動を決定する行動制御部である
（１）に記載の情報処理装置。
（３）
前記行動制御部は、前記オブジェクトがリアルオブジェクトである場合には前記オブジェクトに反応する行動を決定し、前記オブジェクトがアンリアルオブジェクトである場合には前記オブジェクトに反応しない行動を決定する
（２）に記載の情報処理装置。
（４）
前記行動制御部は、リアルオブジェクト及びアンリアルオブジェクトが前記センシングデータに混在する場合に、前記アンリアルオブジェクトに関する情報を取得するための行動を決定する
（１）から（３）までの何れかに記載の情報処理装置。
（５）
複数のセンサを有し、
前記制御部は、前記判定結果に基づいて、前記複数のセンサのそれぞれのオン／オフを制御するセンサ制御部である
（１）から（４）までの何れかに記載の情報処理装置。
（６）
前記センサ制御部は、前記オブジェクトがリアルオブジェクトである場合に全てのセンサをオンする制御を行い、前記オブジェクトがアンリアルオブジェクトである場合に前記複数のセンサのうち一部のセンサのみをオンする制御を行う
（５）に記載の情報処理装置。
（７）
前記センシングデータを取得する所定のセンサを有し、
前記センサ制御部は、前記オブジェクトがアンリアルオブジェクトである場合に、少なくとも前記所定のセンサをオンする制御を行う
（６）に記載の情報処理装置。
（８）
前記リアルオブジェクトは、前記情報処理装置との間でインタラクションが可能とされるオブジェクトであり、前記アンリアルオブジェクトは、前記情報処理装置との間でインタラクションが不可能とされるオブジェクトである
（１）から（７）までの何れかに記載の情報処理装置。
（９）
前記センシングデータに基づいて前記オブジェクトを検出するオブジェクト検出部を有する
（１）から（８）までの何れかに記載の情報処理装置。
（１０）
前記センシングデータに基づいて、前記オブジェクトに関する学習を行う学習部を有する
（１）から（９）までの何れかに記載の情報処理装置。
（１１）
前記オブジェクトは、人物である
（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記センシングデータは、画像データである
（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
自走式のロボットとして構成される
（１）から（１２）までの何れかに記載の情報処理装置。
（１４）
リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
情報処理方法。
（１５）
リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
情報処理方法をコンピュータに実行させるプログラム。
【符号の説明】
【００８０】
１・・・ロボット装置、１０・・・情報取得部、２０・・・情報処理部、４０・・・行動制御部、１０１・・・センシング状態制御部、１１０・・・イメージセンサ、２０１・・・リアル性判定部、２０２・・・学習部、２１０・・・・画像情報処理エンジン、
【図１】
2020089947.tif 000004
【図２】
2020089947.tif 000005
【図３】
2020089947.tif 000006
【図４】
2020089947.tif 000007
【図５】
2020089947.tif 000008
【図６】
2020089947.tif 000009
【図７】
2020089947.tif 000010
【図８】
2020089947.tif 000011
【図９】
2020089947.tif 000012
【図１０】
2020089947.tif 000013