(57)【要約】【課題】例えば、未知物体を正確に認識する。【解決手段】入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて物体の領域である物体領域を識別する識別部と、識別部により識別された物体領域の中から未知物体の領域の候補である未知物体候補領域を特定する特定部と、未知物体候補領域に基づいて、物体が未知物体であるか否かを判別する判別部と、物体が未知物体である場合に、人物に対して未知物体の姿勢を変化させるためのフィードバック情報を生成する生成部とを有する情報処理装置である。【選択図】図１２
2019192145.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて前記物体の領域である物体領域を識別する識別部と、
前記識別部により識別された前記物体領域の中から未知物体の領域の候補である未知物体候補領域を特定する特定部と、
前記未知物体候補領域に基づいて、前記物体が未知物体であるか否かを判別する判別部と、
前記物体が未知物体である場合に、前記人物に対して前記未知物体の姿勢を変化させるためのフィードバック情報を生成する生成部と
を有する情報処理装置。
【請求項２】
前記フィードバック情報の出力に対応してなされる前記未知物体の姿勢変化に基づいて取得される複数の視点画像に対して、位置合わせ処理を行う位置合わせ処理部を有する
請求項１に記載の情報処理装置。
【請求項３】
前記複数の視点画像に基づいて得られる前記未知物体の特徴量を取得する特徴量取得部を有する
請求項２に記載の情報処理装置。
【請求項４】
前記未知物体の特徴量が所定の情報に対応付けられて記憶される
請求項３に記載の情報処理装置。
【請求項５】
前記所定の情報は、前記未知物体の名称及び前記未知物体の動作を制御するための制御情報の少なくとも一方を含む
請求項４に記載の情報処理装置。
【請求項６】
前記未知物体の特徴量を外部装置に供給し、当該外部装置から前記未知物体に関する情報を取得する情報取得部を有する
請求項３に記載の情報処理装置。
【請求項７】
前記フィードバック情報に基づく出力を行う出力部を有する
請求項１に記載の情報処理装置。
【請求項８】
前記出力部は、スピーカ装置及び表示装置の少なくとも一方である
請求項７に記載の情報処理装置。
【請求項９】
前記フィードバック情報に基づく出力が音声出力である
請求項１に記載の情報処理装置。
【請求項１０】
前記フィードバック情報に基づく出力が表示出力である
請求項１に記載の情報処理装置。
【請求項１１】
前記表示は、前記特定部により特定された未知物体領域を含む
請求項１０に記載の情報処理装置。
【請求項１２】
前記表示は、アニメーション表示を含む
請求項１０に記載の情報処理装置。
【請求項１３】
前記フィードバック情報に基づく出力が前記情報処理装置の所定の動作である
請求項１に記載の情報処理装置。
【請求項１４】
識別部が、入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて前記物体の領域である物体領域を識別し、
特定部が、前記識別部により識別された前記物体領域の中から未知物体の領域の候補である未知物体候補領域を特定し、
判別部が、前記未知物体候補領域に基づいて、前記物体が未知物体であるか否かを判別し、
生成部が、前記物体が未知物体である場合に、前記人物に対して前記未知物体の姿勢を変化させるためのフィードバック情報を生成する
情報処理方法。
【請求項１５】
識別部が、入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて前記物体の領域である物体領域を識別し、
特定部が、前記識別部により識別された前記物体領域の中から未知物体の領域の候補である未知物体候補領域を特定し、
判別部が、前記未知物体候補領域に基づいて、前記物体が未知物体であるか否かを判別し、
生成部が、前記物体が未知物体である場合に、前記人物に対して前記未知物体の姿勢を変化させるためのフィードバック情報を生成する
情報処理方法をコンピュータに実行させるためのプログラム。
【請求項１６】
位置合わせ処理部が、前記フィードバック情報の出力に対応してなされる前記未知物体の姿勢変化に基づいて取得される複数の視点画像に対して、位置合わせ処理を行う
情報処理方法をコンピュータに実行させる請求項１５に記載のプログラム。
【請求項１７】
特徴量取得部が、前記複数の視点画像に基づいて得られる前記未知物体の特徴量を取得する
情報処理方法をコンピュータに実行させる請求項１６に記載のプログラム。
【請求項１８】
前記未知物体の特徴量が所定の情報に対応付けられて記憶される
情報処理方法をコンピュータに実行させる請求項１７に記載のプログラム。
【請求項１９】
情報取得部が、前記未知物体の特徴量を外部装置に供給し、当該外部装置から前記物体に関する情報を取得する
情報処理方法をコンピュータに実行させる請求項１７に記載のプログラム。
【請求項２０】
出力部が、前記フィードバック情報に基づく出力を行う
情報処理方法をコンピュータに実行させる請求項１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
ロボット等の機器に未知物体を認識させ、当該未知物体の形状等を学習させる技術が提案されている。例えば、下記特許文献１には、ユーザから手渡された物体をロボットが回転等することにより、ロボットが複数視点に基づく画像を取得する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６１６４３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術によれば、ロボットが手渡された物体を回転することにより、複数視点の画像が得られるものの、ロボットの種類や、可動範囲によっては、得られる複数視点の画像の内容、例えば、画像における物体の姿勢等に制約が生じ得る。
【０００５】
そこで、本開示は、機器の認識対象である物体が未知物体である場合に、当該未知物体の姿勢を変化させるフィードバック情報を生成することができる情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本開示は、例えば、
入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて物体の領域である物体領域を識別する識別部と、
識別部により識別された物体領域の中から未知物体の領域の候補である未知物体候補領域を特定する特定部と、
未知物体候補領域に基づいて、物体が未知物体であるか否かを判別する判別部と、
物体が未知物体である場合に、人物に対して未知物体の姿勢を変化させるためのフィードバック情報を生成する生成部と
を有する情報処理装置である。
【０００７】
本開示は、例えば、
識別部が、入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて物体の領域である物体領域を識別し、
特定部が、識別部により識別された物体領域の中から未知物体の領域の候補である未知物体候補領域を特定し、
判別部が、未知物体候補領域に基づいて、物体が未知物体であるか否かを判別し、
生成部が、物体が未知物体である場合に、人物に対して未知物体の姿勢を変化させるためのフィードバック情報を生成する
情報処理方法である。
【０００８】
本開示は、例えば、
識別部が、入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて物体の領域である物体領域を識別し、
特定部が、識別部により識別された物体領域の中から未知物体の領域の候補である未知物体候補領域を特定し、
判別部が、未知物体候補領域に基づいて、物体が未知物体であるか否かを判別し、
生成部が、物体が未知物体である場合に、人物に対して未知物体の姿勢を変化させるためのフィードバック情報を生成する
情報処理方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００９】
本開示の少なくとも一つの実施の形態によれば、機器の認識対象である物体が未知物体である場合に、当該未知物体の姿勢を変化させるフィードバック情報を生成することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
【図面の簡単な説明】
【００１０】
【図１】図１は、一実施の形態の概要を説明するための図である。
【図２】図２は、一実施の形態に係る情報処理装置の構成例を示すブロック図である。
【図３】図３Ａは、一実施の形態に係る特徴量抽出部の機能を説明するための図であり、図３Ｂは、一実施の形態に係る領域抽出部の機能を説明するための図である。
【図４】図４Ａ及び図４Ｂは、一実施の形態に係る領域分割特徴量抽出部の機能の一例を説明するための図である。
【図５】図５Ａ及び図５Ｂは、一実施の形態に係る位置合わせ特徴量抽出部の機能の一例を説明するための図である。
【図６】図６は、一実施の形態に係る物体特徴量抽出部の機能の一例を説明するための図である。
【図７】図７Ａ及び図７Ｂは、一実施の形態に係る手領域抽出部の機能の一例を説明するための図である。
【図８】図８Ａ及び図８Ｂは、一実施の形態に係る物体候補領域抽出部の機能の一例を説明するための図である。
【図９】図９Ａ及び図９Ｂは、一実施の形態に係る未知物体候補領域抽出部の機能の一例を説明するための図である。
【図１０】図１０Ａ〜図１０Ｃは、ユーザに対してなされるフィードバックの例を説明するための図である。
【図１１】図１１Ａ及び図１１Ｂは、ユーザに対してなされるフィードバックの他の例を説明するための図である。
【図１２】図１２は、一実施の形態に係る情報処理装置で行われる処理の流れを示すフローチャートである。
【図１３】図１３は、図１２に示すフローチャートに、所定の処理で得られる情報を重畳して示した図である。
【図１４】図１４Ａ及び図１４Ｂは、本開示の応用例を説明するための図である。
【図１５】図１５は、本開示の他の応用例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜一実施の形態＞
＜応用例＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
【００１２】
＜一実施の形態＞
［一実施の形態において考慮すべき問題について］
始めに、本開示の理解を容易とするために、一実施の形態において考慮すべき問題について説明する。上述したように、ロボティクスやエージェントといった領域で、ロボット等の機械が物体を検出し認識する技術が提案されている。係る技術の分野では、ロボット等が、検出・認識するべき物体の形状や色といった特徴を予めデータから抽出し、その特徴に基づいて、画像中から既知の物体を認識している。そのため、ユーザが後から新しい物体を認識させる場合には、機械が未知物体の形状を知る必要がある。なお、未知物体とは、ロボット等の情報処理装置が、当該物体に関する形状、色等の特徴量に関する情報を有していない物体、即ち、ロボット側から見て未知の物体を意味する。
【００１３】
機械が未知物体に関して学習する際には、当該未知物体の領域を特定しなければならない。従って、どこからどこまでが未知物体であるかを正確に特定する必要がある。また、未知物体の形状等の特徴を精度良く判別する際には、異なる姿勢の未知物体を機械に提示することが好ましい。また、未知物体の姿勢を変化させるためには、可動範囲が制約され得るロボット側で行うのではなく、未知物体に接触しているユーザ（人物）が行うことが好ましい。なお、未知物体に接触しているとは、未知物体に対してユーザの手が触れている状態、若しくは未知物体がユーザの手で把持された状態を意味する。また、ユーザの手とは、ユーザの指、手のひら、腕の何れかでも良いし、それら全てでも良いし、それらの一部を組み合わせたものでも良い。係る観点を踏まえつつ、一実施の形態について詳細に説明する。
【００１４】
［一実施の形態の概要］
一実施の形態では、情報処理装置の一例として自律的な移動が可能なロボットを例にして説明する。情報処理装置は、ロボットに限定されることはなく、エージェントやスマートスピーカと称される、可搬可能な程度の大きさである音声入出力装置若しくはそれらの装置が有するユーザとの音声対話機能でも良いし、パーソナルコンピュータやスマートホン等であっても構わない。
【００１５】
図１は、一実施の形態の概要を説明するための図である。一実施の形態に係る処理では、センサからの入力（センサ入力１）が取得される。センサ入力１は、ＲＧＢ(Red/Green/Blue)及び奥行き情報（デプス情報）を含むものであり、一例として、画像センサにより得られる画像データを挙げることができる。
【００１６】
本実施の形態では、ユーザの手が触れている箇所に基づいて、未知物体の領域を推定するようにしている。即ち、画像データに含まれる手領域を推定する処理２を行う。また、センサ入力１や直近の推定結果から求められる物体候補領域３から手領域に接している領域を逐次的に選択する。また、時系列情報を用いて順次、物体領域を修正することでより正確な物体候補領域の推定を行い、推定物体候補領域４を得る。即ち、ユーザに対して物体の異なる持ち方を促すことで、未知物体の領域がより正確に推定されるような入力を得るようにする。
【００１７】
［情報処理装置の構成例］
次に、一実施の形態に係る情報処理装置（情報処理装置１０）の構成例を示すブロック図である。情報処理装置１０は、例えば、制御部１１と、画像センサ１２と、入力部１３と、出力部１４と、メモリ部１５と、記憶装置１６と、通信部１７とを有している。
【００１８】
制御部１１は、例えば、ＣＰＵ（Central Processing Unit）等から構成されており、情報処理装置１０の各部を制御する。制御部１１は、機能ブロックとして、特徴量抽出部２１と、領域抽出部２２と、未知物体判別部２３と、フィードバック情報生成部２４と、位置合わせ処理部２５とを有している。制御部１１の制御に応じて実行される処理の詳細は後述する。
【００１９】
画像センサ１２は、ＲＧＢ及びデプス情報を有する画像データを取得するセンサである。なお、画像データは、静止画データでも良いし、動画データでも良い。画像センサ１２としては、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサが挙げられる。画像センサ１２を介して取得された画像データが制御部１１に供給され、当該画像データに対して、制御部１１による種々の画像処理が行われる。
【００２０】
入力部１３は、ユーザからの操作入力を受け付けるものである。入力部１３としては、例えば、ボタン、レバー、スイッチ、タッチパネル、マイク、視線検出デバイス等が挙げられる。入力部１３は、自身に対してなされた入力に応じて操作信号を生成し、当該操作信号を制御部１１に供給する。制御部１１は、当該操作信号に応じた処理を実行する。
【００２１】
出力部１４は、制御部１１によって処理が行われた各種のデータをユーザに出力するものである。出力部１４としては、ユーザに対して音声を出力するスピーカ装置や、静止画や動画等を表示するディスプレイが挙げられる。ディスプレイとしては、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ（Electro Luminescence）ディスプレイ、プロジェクタ等が挙げられる。出力部１４は、後述するフィードバック情報に基づく出力を行う。
【００２２】
メモリ部１５は、制御部１１に接続されるメモリであり、例えば、ＲＯＭ(Read Only Memory)１５ａ及びＲＡＭ（Random Access Memory）１５ｂを含む。ＲＯＭ１５ａには、制御部１１によって実行されるプログラムが格納される。ＲＡＭ１５ｂは、制御部１１がプログラムを実行する際のワークメモリとして使用される。
【００２３】
記憶装置１６は、各種の情報を記憶する記憶部である。記憶装置１６としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。
【００２４】
情報取得部の一例である通信部１７は、インターネット等のネットワークを介して接続される他の装置と通信を行う。通信部１７は、通信規格に対応した変復調回路、アンテナ等の構成を有している。通信部１７により行われる通信は、有線による通信でも良いし、無線による通信でも良い。無線通信としては、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、またはＷＵＳＢ（Wireless USB）等が挙げられる。通信部１７は、例えば、未知物体の特徴量を外部装置に供給し、当該外部装置から未知物体に関する情報を取得する。このように、情報処理装置１０は、通信部１７の接続先から各種の情報を取得することができるように構成されている。
【００２５】
なお、情報処理装置１０は、商用電源から供給される電力に基づいて駆動する構成でも良いし、充放電可能なリチウムイオン二次電池等から供給される電力に基づいて駆動する構成でも良い。
【００２６】
以上、情報処理装置１０の構成例について説明したが、情報処理装置１０の構成は、適宜、変更可能である。即ち、情報処理装置１０は、図示した構成の一部を有しない構成でも良いし、図示した構成とは異なる構成を有するものであっても良い。
【００２７】
［制御部の機能ブロックについて］
特徴量抽出部２１は、図３Ａに示すように、領域分割特徴量抽出部２１ａと、位置合わせ特徴量抽出部２１ｂと、物体特徴量抽出部２１ｃとを有している。また、領域抽出部２２は、図３Ｂに示すように、手領域抽出部２２ａと、物体候補領域抽出部２２ｂと、未知物体候補領域抽出部２２ｃとを有している。以下、制御部１１が有する各機能ブロックの動作について説明する。
【００２８】
（領域分割特徴量抽出部について）
図４Ａ及び図４Ｂは、領域分割特徴量抽出部２１ａの機能の一例を説明するための図である。例えば、画像センサ１２を介して、図４Ａに示す画像が入力画像ＩＭ１として入力される。入力画像ＩＭ１は、例えば、ユーザの手ＨＡが、恐竜を模したぬいぐるみである物体３１を把持している静止画像である。なお、物体３１は、情報処理装置１０にとって未知物体であるものとして説明する。
【００２９】
領域分割特徴量抽出部２１ａは、物体の領域（以下、物体領域と適宜、称する）を求めるために必要な特徴量を画素（ピクセル）レベルで抽出する。例えば、領域分割特徴量抽出部２１ａは、入力画像ＩＭ１に対して公知の色検出処理やデプス検出処理等を行うことにより、図４Ｂに示すように、入力画像ＩＭ１のＲＧＢの色特徴ＣＨ１〜ＣＨ３、入力画像ＩＭ１の深度特徴ＣＨ４及び輝度勾配方向に対応するテキスチャ特徴ＣＨ５等を抽出する。テキスチャ特徴ＣＨ５は、例えば、入力画像ＩＭ１に対して所定の微分フィルタを適用することにより得られる。
【００３０】
（位置合わせ特徴量抽出部について）
次に、位置合わせ特徴量抽出部２１ｂについて説明する。図５Ａ及び図５Ｂは、位置合わせ特徴量抽出部２１ｂの機能の一例を説明するための図である。位置合わせ特徴量抽出部２１ｂは、初回処理時（ｔ＝０のとき）の物体姿勢と任意のフレームにおける物体姿勢とを合わせるため、換言すれば、物体姿勢の変化を把握するために、入力画像ＩＭ１に対して複数のトラッキング点（位置合わせ点）を設定する。図５Ａに模式的に示すように、入力画像ＩＭ１に対して、例えば４つのトラッキング点ＴＲ１〜ＴＲ４が設定される。なお、以下の説明において、各トラッキング点を区別する必要がない場合は、トラッキング点ＴＲと適宜、称する。トラッキング点ＴＲは、１画素でも良いし、複数の画素からなるブロックでも良い。
【００３１】
位置合わせ特徴量抽出部２１ｂは、トラッキング点ＴＲの特徴量（局所的な特徴量）を抽出する。例えば、トラッキング点ＴＲの周囲に、位置合わせ特徴量を抽出するためのフィルタＦＩ１を適用する。フィルタＦＩ１は、例えば、３×３のフィルタであるが、そのサイズは適宜、変更可能である。例えば、図５Ｂに示すように、トラッキング点ＴＲ１に対応するブロックの画素値に対して、フィルタＦＩ１のフィルタ係数が内積演算される。演算の結果、トラッキング点ＴＲ１に対応する位置合わせ特徴量が求まる。他のトラッキング点ＴＲに対しても同様の演算が行われる。次回以降に入力される入力画像内で、位置合わせ特徴量を使用した検索を行うことにより、当該入力画像内におけるトラッキング点ＴＲを検索することが可能となる。
【００３２】
（物体特徴量抽出部について）
次に、特徴量取得部の一例である物体特徴量抽出部２１ｃについて説明する。物体特徴量抽出部２１ｃは、物体３１が未知物体として認識された後、物体３１が含まれる画像が入力された場合に、物体３１に関する認識処理を実施するため、その物体らしさを特徴づけるベクトル、即ち、未知物体の特徴量（以下、物体特徴量と適宜、称する）を取得する。一例として、図６に模式的に示すように、物体特徴量抽出部２１ｃは、物体特徴量を抽出するための物体特徴量抽出フィルタＦＩ２を、未知物体の領域として推定した領域に内積演算することにより、物体３１の物体特徴量を得る。なお、位置合わせ特徴量抽出処理を未知物体の領域全体に対して行ったものを物体３１に関する物体特徴量としても良い。
【００３３】
（手領域抽出部について）
次に、手領域抽出部について説明する。手領域抽出部２２ａは、入力画像に含まれる物体に対して接触しているユーザの手領域を検出する。手領域抽出部２２ａが実行する処理例について図７を参照して説明する。例えば、図７Ａに示すように、手ＨＡ１を含む入力画像ＩＭ２を想定する。手領域抽出部２２ａは、入力画像ＩＭ２に対して、所定のサイズ及び係数を有する手領域を抽出するためのフィルタＦＩ３を適用する。係るフィルタ処理により、図７Ｂに示すように、手ＨＡ１の領域が手領域として抽出される。
【００３４】
（物体候補領域抽出部について）
次に、識別部の一例である物体候補領域抽出部２２ｂについて説明する。物体候補領域抽出部２２ｂは、ある物体が存在すると推定される同一の領域を抽出する。図８Ａ及び図８Ｂは、物体候補領域抽出部２２ｂが実行する処理例を説明するための図である。図８Ａに示すように、入力画像ＩＭ１内における所定の画素が注目画素として設定される。
【００３５】
そして、注目画素と、注目画素に隣接するそれぞれの周辺画素との類似度が計算される。例えば、領域分割特徴量抽出部２１ａの処理により得られる特徴量を使用し、特徴量の値が近いほど類似度が大きくする計算が行われる。図８Ｂは、注目画素の特徴量と当該注目画素に対する各周辺画素の特徴量との類似度の一例を示した図である。物体候補領域抽出部２２ｂは、例えば、類似度に閾値を設定し、類似度が閾値以上である画素は、注目画素と同一の領域であると判断する。閾値としては、例えば、０．５が設定される。
【００３６】
本実施の形態では、図８Ｂに示すように、ハッチングが付されていない５つの周辺画素が、中央の注目画素と同一の領域（物体候補領域１）と判断され、ハッチングが付されている３つの周辺画素が、中央の注目画素と異なる領域（物体候補領域２）と判断される。そして、物体候補領域抽出部２２ｂは、同一の領域と判断された画素同士を結合する。物体候補領域抽出部２２ｂは、注目画素を入力画像ＩＭ１内で変化させながら、物体候補領域を抽出する。
【００３７】
（未知物体候補領域抽出部について）
次に、特定部の一例である未知物体候補領域抽出部２２ｃについて説明する。手領域抽出部２２ａにより手ＨＡに対応する領域が抽出され、物体候補領域抽出部２２ｂにより同一の領域と判断された複数の物体候補領域が抽出される。未知物体候補領域抽出部２２ｃは、複数の物体候補領域の中から未知物体の領域の候補である未知物体候補領域を特定する。図９Ａは、複数の物体候補領域の一例を示している。
【００３８】
図９Ａに示すように、入力画像ＩＭ１内から手ＨＡの領域が抽出されている。また、入力画像ＩＭ１内から、物体候補領域抽出部２２ｂにより３つの物体候補領域ＡＲ１〜ＡＲ３が抽出されている。未知物体候補領域抽出部２２ｃは、物体候補領域ＡＲ１〜ＡＲ３から、手領域に隣接しており、且つ、手の深度と物体領域との深度が一定の近さにある領域を未知物体候補領域として選択する。なお、過去（例えば１フレーム前）に抽出された未知物体候補領域と位置合わせを行い、平均した領域を未知物体候補領域として出力しても良い。
【００３９】
具体例について説明する。物体候補領域ＡＲ１は、手領域と隣接しているため、未知物体候補領域として抽出される。物体候補領域ＡＲ２は、物体３１が背中に有する突起物に対応する領域であるが、本例では、手領域と隣接していないため、未知物体候補領域からは外れる。また、物体候補領域ＡＲ３は、手領域に隣接しているものの、本例では、手領域の深度（奥行き位置）と、物体候補領域ＡＲ３の深度とが所定以上離れているため、未知物体候補領域からは外れる。係る処理により、未知物体候補領域抽出部２２ｃは、未知物体候補領域を抽出する。未知物体候補領域抽出部２２ｃにより抽出された未知物体候補領域の一例が、図９Ｂに示されている。
【００４０】
なお、物体候補領域抽出部２２ｂが物体候補領域を抽出する際に、始めに設定される注目画素としては任意の画素を設定できるが、本実施の形態では、手領域抽出部２２ａにより抽出された手ＨＡの近傍の画素を注目画素として設定している。これにより、物体候補領域ＡＲ１〜ＡＲ３が抽出されて以降、注目画素が一様な背景の箇所に設定される場合には、注目画素と周辺画素との類似度が高いままとなる。係る状態となった場合に、処理を打ち切ることで、物体候補領域抽出部２２ｂが実行する処理を簡素化することができる。
【００４１】
（未知物体判別部について）
次に、未知物体判別部２３について説明する。未知物体判別部２３は、未知物体候補領域に基づいて、物体３１が未知物体であるか否かを判別する。未知物体判別部２３は、例えば、未知物体候補領域と一定の類似度を有する領域が記憶装置１６に記憶されているか否かを検索する。検索の結果、未知物体候補領域と一定の類似度を有する領域が記憶装置１６に記憶されている場合は、未知物体判別部２３は、物体３１が未知物体ではなく既知物体、即ち、学習済みの物体と判別する。検索の結果、未知物体候補領域と一定の類似度を有する領域が記憶装置１６に記憶されていない場合は、未知物体判別部２３は、物体３１が未知物体と判別する。
【００４２】
（フィードバック情報生成部について）
次に、フィードバック情報生成部２４について説明する。フィードバック情報生成部２４は、物体３１が未知物体である場合に、ユーザに対して、未知物体である物体３１の姿勢変化を促すためのフィードバック情報を生成する。フィードバック情報は、音声情報、表示情報、これらを組み合わせた情報等、何でも良い。フィードバック情報に基づくフィードバックが出力部１４を介してユーザに報知される。
【００４３】
（位置合わせ処理部について）
位置合わせ処理部２５は、物体３１が未知物体である場合に、フィードバック情報に対応してなされる物体３１の姿勢変化に基づいて取得される複数の視点画像に対して、位置合わせ処理を行う。
【００４４】
［フィードバック情報の一例］
ところで、上述した物体候補領域抽出部２２ｂにより抽出された物体候補領域ＡＲ２は、本来は、物体３１の領域であるものの、画像処理の精度等に起因して未知物体候補領域からは除外されてしまう。即ち、１回の処理だけでは、正確な未知物体の領域を得られない可能性が高い。従って、本実施の形態では、情報処理装置１０からユーザに対してフィードバック情報に基づくフィードバックを行うことにより、物体３１を把持する場所の変化等を促す。そして、上述した処理と同様の処理を複数回行うことにより、再度、未知物体候補領域を抽出する。係る処理を所定回数行い、複数の未知物体候補領域を得る。制御部１１は、得られた複数の未知物体候補領域を例えば位置合わせ処理後に統合等することにより正確な未知物体候補領域、換言すれば、未知物体の形状を求めることが可能となる。
【００４５】
このように、情報処理装置１０が未知物体の領域を正確に得るために、ユーザに対するフィードバックがなされる。フィードバック情報生成部２４が、ユーザに対するフィードバックを行うためのフィードバック情報を生成する。フィードバック情報に基づく出力は、音声出力、映像等の表示出力、これらを組み合わせたものでも良いし、情報処理装置１０の所定の動作でも良い。制御部１１は、生成したフィードバック情報を、フィードバック情報に対応する構成を有する出力部１４に供給する。これにより、ユーザに対するフィードバックがなされる。
【００４６】
ユーザに対してなされるフィードバックの一例について説明する。例えば、音声を用いたフィードバックがユーザに対してなされる。この場合は、出力部１４がスピーカ装置により構成される。そして、当該スピーカ装置から「お手持ちの物体の右側を見せてください。」や「次は、お手持ちの物体の左側を見せてください。」等のメッセージが再生される。ユーザは、メッセージに応じて、物体３１の姿勢を変化させる。ユーザ、即ち、人物は、自由に物体３１を持ち替えることができるので、フィードバックに応じて物体３１の姿勢を適切に変化させることができる。
【００４７】
また、表示によるフィードバックがユーザによってなされても良い。この場合は、出力部１４は、表示装置であるディスプレイやプロジェクタ等によって構成される。そして、当該ディスプレイに、例えば、図１０Ａに示すような矢印の向きが示される。ユーザは矢印の向きに従って物体３１を把持する箇所を変化させ、物体３１の姿勢を変化させる。勿論、ディスプレイ等に表示される内容は矢印に限定されるものではない。
【００４８】
情報処理装置１０が抽出した未知物体候補領域の識別結果をユーザに対してフィードバックしても良い。例えば、図１０Ｂに示すように、情報処理装置１０が抽出した未知物体候補領域ＢＢがディスプレイに表示される。係る未知物体候補領域ＢＢを見たユーザは、情報処理装置１０の画像センサ１２が、物体３１の頭部付近の情報を取得できていないことを理解することができる。これにより、ユーザは、頭部付近が映り込むように、画像センサ１２に対する物体３１の姿勢を適宜、変化させる。これにより、複数回の姿勢変化に伴う未知物体候補領域の抽出処理が複数回行われ、正確な未知物体候補領域が情報処理装置１０により抽出される。なお、図１０Ｂに示すように、抽出された未知物体候補領域を未知物体候補領域ＣＣとしてディスプレイに表示しても良い。
【００４９】
情報処理装置１０が自律的に移動可能な場合は、ある姿勢における未知物体候補領域を抽出した後に自律的に動き、異なる姿勢における未知物体候補領域を抽出するようにしても良い。例えば、図１０Ｃに示すように、情報処理装置１０が、犬型のロボットであり、未知物体が箱状の物体３２である場合を想定する。物体３２は、不図示のユーザの手によって把持されている。係る場合に、情報処理装置１０が自律的に左右等に動いて、異なる角度からの物体３２の画像を取得し、取得した画像に基づいて未知物体候補領域を抽出するようにしても良い。
【００５０】
また、情報処理装置１０が自律的に移動可能な場合は、情報処理装置１０自体の動きによって、ユーザに対するフィードバックがなされても良い。例えば、情報処理装置１０が、犬型のロボットであり、未知物体が箱状の物体３２である場合を想定する。犬型のロボットである情報処理装置１０が、例えば、図１１Ａに示すように、画像センサが設けられた頭部を物体３２の側面方向に向く動作をする。係る動作を見たユーザは、情報処理装置１０の動きに応じて、物体３２の側面等を情報処理装置１０に見せるように物体３２を持ち替える。このように、情報処理装置１０の動きによりフィードバックがなされても良い。
【００５１】
また、未知物体の姿勢変化を促すフィードバックであることをユーザが認識しないようにするフィードバックがなされても良い。係るフィードバックとしては、アニメーション表示を含むフィードバック、より具体的な例としては、ゲームを利用したフィードバックを挙げることができる（ゲーミフィケーション）。
【００５２】
例えば、図１１Ｂに示すように、出力部１４としてディスプレイを想定し、ディスプレイの上部に画像センサ１２を含む撮像装置を取り付ける。撮像装置は、ディスプレイの前方を撮像する位置に設けられる。撮像装置の撮像範囲において、ユーザが手ＨＡにより上述した物体３１を把持している。
【００５３】
ディスプレイに例えば「手に持っているものを振って倒そう！」との文字が表示されると共に、ゲームのキャラクタ等が表示される。即ち、手ＨＡの動きと画面中のオブジェクトの動きとを連動させるようにして物体３１を動かすことがユーザに対して促される。ゲーム的な表示に基づいて、ユーザは、把持している物体３１を振る等の動作をする。ユーザの動作に応じて、異なる姿勢の物体３１の画像が画像センサ１２により取得される。取得された複数の視点画像に基づいて、未知物体候補領域が抽出される。処理が完了した後、ディスプレイにはゲームが終了した旨が表示される。
【００５４】
このとき、ユーザは、感覚的には物体３１を動かしながらゲームを楽しんでいることになり、物体３１を情報処理装置１０に認識させるために物体３１を動かしていることを意識しない。このように、ユーザを楽しませつつ、未知物体の姿勢変化を自然に促すことができるフィードバックがなされても良い。
【００５５】
［処理の流れ］
次に、情報処理装置１０の処理の流れについて説明する。図１２は、情報処理装置１０で実行される処理の流れを示すフローチャートである。また、図１３は、図１２に示したフローチャートに、各処理で得られる情報等を重畳した図である。
【００５６】
ステップＳＴ１１では、初回（ｔ＝０）の処理が行われる。なお、制御部１１は、以下に説明する処理の回数ｔ（学習回数）を記憶する。そして、処理がステップＳＴ１２に進む。
【００５７】
ステップＳＴ１２では、情報処理装置１０に対してデータが入力される。データは、例えば、ユーザが未知物体を把持している様子を含む画像データであり、画像センサ１２により取得される。画像センサ１２により取得された画像データが入力画像として制御部１１に入力される。そして、処理がステップＳＴ１３に進む。
【００５８】
ステップＳＴ１３では、入力画像に対して手領域抽出部２２ａによる手領域抽出処理が行われる。処理の結果、入力画像に含まれる手領域が抽出される。そして、処理がステップＳＴ１４に進む。
【００５９】
ステップＳＴ１４では、領域分割特徴量抽出部２１ａが入力画像の画素毎の特徴量を抽出する。処理の結果、画素毎の特徴量（例えば、色情報や深度情報）である領域分割特徴量が抽出される。そして、処理がステップＳＴ１５に進む。
【００６０】
ステップＳＴ１５では、物体候補領域抽出部２２ｂが入力画像内の物体候補領域を抽出する。処理の結果、例えば、複数の物体候補領域が抽出される。そして、処理がステップＳＴ１６に進む。
【００６１】
ステップＳＴ１６及びステップＳＴ１６に続くステップＳＴ１７の処理は、未知物体候補領域抽出部２２ｃにより行われる。ステップＳＴ１６では、未知物体候補領域抽出部２２ｃが、ステップＳＴ１３、ＳＴ１５の処理で得られた手領域及び物体候補領域の抽出結果を使用して、手領域に隣接する物体候補領域を抽出する。そして、処理がステップＳＴ１７に進む。
【００６２】
ステップＳＴ１７では、未知物体候補領域抽出部２２ｃが、ステップＳＴ１４の処理で得られた領域分割特徴量の一つである深度情報を使用して、手領域から奥行き方向に一定距離離れた物体候補領域を除外する。処理の結果、複数の物体候補領域の中から未知物体候補領域が抽出される。そして、処理がステップＳＴ１８に進む。
【００６３】
ステップＳＴ１８では、ステップＳＴ１７で抽出された未知物体候補領域が、登録済みの物体であるか否かが未知物体判別部２３により判断される。例えば、未知物体判別部２３により、記憶装置１６に記憶されている学習済みの物体の領域と未知物体候補領域とを比較する。そして、未知物体判別部２３は、記憶装置１６に記憶されている学習済みの物体の領域の中に未知物体候補領域と一定以上、類似する領域が存在すれば、認識対象の物体が既に登録済みの物体、即ち、未知物体ではないと判断する。この場合は、処理がステップＳＴ１９に進み、入力画像に含まれる物体を認識する物体認識処理が行われ、物体認識処理の結果がアプリケーションに応じた用途で利用がされる。
【００６４】
ステップＳＴ１８における処理で、未知物体判別部２３は、記憶装置１６に記憶されている学習済みの物体の領域の中に未知物体候補領域と一定以上、類似する領域が存在しない場合には、未知物体候補領域を有する登録済みの物体が存在しない、即ち、認識対象の物体が未知物体であると判断する。この場合には、処理がステップＳＴ２０に進む。
【００６５】
ステップＳＴ２０では、初回の処理、即ち、ｔ＝０であるか否かが判断される。初回の処理、即ち、ｔ＝０である場合には、処理がステップＳＴ２１に進む。
【００６６】
ステップＳＴ２１では、位置合わせ特徴量抽出部２１ｂが、入力画像の所定位置にトラッキング点（位置合わせ点）を設定する。そして、位置合わせ特徴量抽出部２１ｂは、トラッキング点毎の特徴量である位置合わせ特徴量を求める。そして、処理がステップＳＴ２２に進む。ステップＳＴ２２では、ｔがインクリメント（＋１）される。
【００６７】
ステップＳＴ２０の判断処理において、ｔ＝０でない場合は、処理がステップＳＴ２３に進む。ステップＳＴ２３では、位置合わせ処理部２５が、フィードバック情報の出力に対応してなされる未知物体の姿勢変化に基づいて取得される複数の視点画像に対して、位置合わせ処理を行う。例えば、ｔ＝１以降の未知物体候補領域の抽出時に、画像中からトラッキング点を探索し、トラッキング点の位置変化を求めることにより、ｔ＝０時の物体の姿勢とｔ＝１以降における物体の姿勢との差異を判別することができる。
【００６８】
位置合わせ処理部２５は、トラッキング点を合わせる位置合わせ処理を行うことにより、現在のフレームにおける未知物体候補領域をｔ＝０の時と同様の姿勢に補正することができる。従って、ステップＳＴ２３における処理により、現在のフレームにおける未知物体の姿勢に関する情報（以下、未知物体姿勢情報と適宜、称する）が得られる。未知物体姿勢情報は、ｔ＝０における未知物体の姿勢に対して右方向等を向いているや上下方向に向いている等の情報である。未知物体姿勢情報は、ユーザへのフィードバックを行う際に利用される。ステップＳＴ２３の処理に続いて、処理がステップＳＴ２４に進む。
【００６９】
ステップＳＴ２４では、１フレーム手前の未知物体候補領域と現在の未知物体候補領域との統合処理が行われる。統合処理は、例えば領域の平均や領域の和集合のように用途に応じた処理を適用してもよい。例えば、制御部１１は、ステップＳＴ２３の処理で得られる位置合わせ済みの未知物体候補領域と、１フレーム手前（ｔ−１）で位置合わせをした未知物体候補領域との平均を求める。そして、処理がステップＳＴ２２に進む。上述したように、ステップＳＴ２２では、ｔがインクリメント（＋１）される。
【００７０】
ステップＳＴ２２の処理に続いて、ステップＳＴ２５の処理が行われる。ステップＳＴ２５では、未知物体に対する学習回数ｔが規定の学習回数Ｎに達したか否かが判断される。未知物体に対する学習回数ｔが規定の学習回数Ｎに達した場合は、処理がステップＳＴ２６に進む。
【００７１】
ステップＳＴ２６では、未知物体の異なる姿勢に基づく複数の視点画像に基づいて、未知物体候補領域の特徴量が物体特徴量抽出部２１ｃによって抽出される。そして、処理がステップＳＴ２７に進み、未知物体の特徴量である物体特徴量が記憶装置１６に登録される。以降の処理（例えば、ステップＳＴ１８の判断処理）では、未知物体が既知（学習済み）の物体として扱われる。なお、未知物体の物体特徴量を記憶装置１６に記憶する際に、当該物体特徴量が所定の付加情報に対応付けられて記憶されるようにしても良い。係る付加情報としては、例えば、登録対象の物体の物体名（名称）や用途、情報処理装置１０が次に登録対象の物体を認識した際の当該物体に対する情報処理装置１０の動作を制御する情報の少なくとも一つを挙げることができる。物体名は、音声入力や入力部１３を使用した文字入力等により登録される。
【００７２】
ステップＳＴ２５における処理で、未知物体に対する学習回数ｔが規定の学習回数Ｎ未満である場合には、処理がステップＳＴ２８に進む。ステップＳＴ２８では、フィードバック情報生成部２４がフィードバック情報を生成する。例えば、フィードバック情報生成部２４は、未知物体姿勢情報を参照して、まだ得られていない未知物体の姿勢を含む画像を入手できるようなフィードバック情報を生成する。そして、フィードバック情報生成部２４により生成されたフィードバック情報に基づくフィードバックがユーザに対してなされる。そして、処理がステップＳＴ１２に戻る。
【００７３】
＜応用例＞
次に、一実施の形態の応用例について説明する。なお、本開示の内容が以下に説明する応用例に限定されるものではない。
【００７４】
例えば、図１４Ａに示すように、ユーザＵがサッカーボール３５を持っている場面を想定する。また、情報処理装置１０としては、ロボットを想定する。サッカーボール３５はロボットに対して未知物体とする。ユーザＵは、一実施の形態で説明したように、サッカーボール３５を複数の姿勢でロボットに見せ、ロボットにサッカーボール３５を認識させる。その際に、ユーザＵは「これを追いかけて」という音声を発する。
【００７５】
ロボットは、異なる姿勢のサッカーボール３５の形状を学習すると共に、ユーザＵの発言内容を音声認識する。音声認識の結果に対応するロボットの制御情報が、サッカーボール３５の形状に対応付けられて記憶装置１６に記憶される。サッカーボール３５を学習した後、ロボットがサッカーボール３５を再度認識した場合には、ロボットは、サッカーボール３５の形状に対応付けられた制御情報に基づいて動作する。本例では、図１４Ｂに示すように、ロボットがサッカーボール３５を認識した場合に、サッカーボール３５を追いかけるようになる。このように、任意の形状の物体を情報処理装置１０に認識させると共に、当該物体への行動を規定することが可能となる。
【００７６】
また、ユーザの手が触れている物体を自動で認識しても良い。例えば、図１５に示すように、ユーザＵが飛行機の模型である物体３７を持っているとする。情報処理装置１０は、手領域に隣接する物体３７の形状を自動で認識する。この場合、一実施の形態と同様にユーザＵに対するフィードバックを行っても良いが、フィードバックを行わなくても物体３７の複数の姿勢に基づく画像をロボットが得られる場合（例えば、ロボットがユーザＵの手付近を常に認識する場合等）には、フィードバックを行わなくても良い。
【００７７】
ロボットは、物体３７の特徴量を一実施の形態と同様に抽出する。そして、抽出した物体３７の特徴量（物体の領域、色情報等）を、例えば、通信部１７を使用してサーバ装置４１に送信する。サーバ装置４１において、ロボットから送信された特徴量に基づくデータベースの検索が行われる。そして、当該特徴を有する物体の情報がロボットに送信される。物体の情報は、当該物体に関連する情報であり、本例では、「飛行機」という物体の名称や、飛行機に関係する書籍、イベント、ウエブページ、他の飛行機模型やその値段等の紹介である。ロボットは、サーバ装置４１から送信された物体の情報を音声や映像等によりユーザＵに報知する。
【００７８】
ユーザが手に持っている物体は、ユーザが当該物体に興味を抱いていることが想定される。情報処理装置１０が当該物体を一実施の形態と同様に認識し、当該物体に関する情報を取得してユーザに提示することにより、ユーザは何らかのアクションを行わなくても、自身が興味を抱く物体に関する情報を得ることができる。
【００７９】
情報処理装置１０が家庭内でなく、店頭に設置されても良い。そして、ユーザが購入したい物体を複数の姿勢で情報処理装置１０に提示する。情報処理装置１０は、当該物体の特徴量を抽出し、店舗内（店舗外でも良い）のサーバ装置に特徴量を送る。サーバ装置側で当該特徴量に対応する物体の値段等に関する情報を取得し、取得した情報をユーザに提示する。値段等が提示された後に、情報処理装置１０を使用した精算が行われるようにしても良い。このように、情報処理装置１０の設置場所は、適宜な場所とすることができる。
【００８０】
＜変形例＞
以上、本開示の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
【００８１】
上述した情報処理装置１０における一部の処理が、他の装置、例えば、クラウド上のサーバ装置で行われても良い。例えば、制御部１１の全部又は一部の機能がサーバ装置に設けられ、サーバ装置側で当該機能に対応する処理が行われても良い。また、入力部１３や出力部１４は、情報処理装置１０と別体とされたリモートコントロール装置でも良いし、情報処理装置１０とは別の装置（テレビジョン装置やスマートホン等）であっても良い。また、情報処理装置１０が画像センサ１２を有しない構成でも良く、係る構成の場合には、撮像装置から情報処理装置１０に対して画像データが供給される。
【００８２】
上述した複数の処理における処理順序は、技術的な矛盾が生じない範囲で、その順序が変更されても良い。また、複数の処理が時系列に行われてもよいし、一部の処理が並列的に行われても良い。
【００８３】
一実施の形態では、未知物体の複数の姿勢に基づいて得られる画像を使用した。そこで、各画像で得られ、位置合わせがなされた未知物体の領域及び深度情報を利用して、３Ｄモデルを生成し、これを物体の特徴量として登録しても良い。登録後の物体認識において、立体的な３Ｄモデルを使用した物体認識処理が可能となる。３Ｄモデルを生成する方法としては、公知の方法（例えば、視体積交差法と称される方法）を適用することができる。
【００８４】
上述の実施の形態および変形例において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよく、公知のもので置き換えることも可能である。また、実施の形態および変形例における構成、方法、工程、形状、材料および数値などは、技術的な矛盾が生じない範囲において、互いに組み合わせることが可能である。
【００８５】
本開示は、以下の構成も採ることができる。
（１）
入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて前記物体の領域である物体領域を識別する識別部と、
前記識別部により識別された前記物体領域の中から未知物体の領域の候補である未知物体候補領域を特定する特定部と、
前記未知物体候補領域に基づいて、前記物体が未知物体であるか否かを判別する判別部と、
前記物体が未知物体である場合に、前記人物に対して前記未知物体の姿勢を変化させるためのフィードバック情報を生成する生成部と
を有する情報処理装置。
（２）
前記フィードバック情報の出力に対応してなされる前記未知物体の姿勢変化に基づいて取得される複数の視点画像に対して、位置合わせ処理を行う位置合わせ処理部を有する
（１）に記載の情報処理装置。
（３）
前記複数の視点画像に基づいて得られる前記未知物体の特徴量を取得する特徴量取得部を有する
（２）に記載の情報処理装置。
（４）
前記未知物体の特徴量が所定の情報に対応付けられて記憶される
（３）に記載の情報処理装置。
（５）
前記所定の情報は、前記未知物体の名称及び前記未知物体の動作を制御するための制御情報の少なくとも一方を含む
（４）に記載の情報処理装置。
（６）
前記未知物体の特徴量を外部装置に供給し、当該外部装置から前記未知物体に関する情報を取得する情報取得部を有する
（３）から（５）までの何れかに記載の情報処理装置。
（７）
前記フィードバック情報に基づく出力を行う出力部を有する
（１）から（６）までの何れかに記載の情報処理装置。
（８）
前記出力部は、スピーカ装置及び表示装置の少なくとも一方である
（７）に記載の情報処理装置。
（９）
前記フィードバック情報に基づく出力が音声出力である
（１）から（８）までの何れかに記載の情報処理装置。
（１０）
前記フィードバック情報に基づく出力が表示出力である
（１から（９）までの何れかに記載の情報処理装置。
（１１）
前記表示は、前記特定部により特定された未知物体領域を含む
（１０）に記載の情報処理装置。
（１２）
前記表示は、アニメーション表示を含む
（１０）に記載の情報処理装置。
（１３）
前記フィードバック情報に基づく出力が前記情報処理装置の所定の動作である
（１）から（１２）までの何れかに記載の情報処理装置。
（１４）
識別部が、入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて前記物体の領域である物体領域を識別し、
特定部が、前記識別部により識別された前記物体領域の中から未知物体の領域の候補である未知物体候補領域を特定し、
判別部が、前記未知物体候補領域に基づいて、前記物体が未知物体であるか否かを判別し、
生成部が、前記物体が未知物体である場合に、前記人物に対して前記未知物体の姿勢を変化させるためのフィードバック情報を生成する
情報処理方法。
（１５）
識別部が、入力画像に含まれる物体に対して接触している人物の手領域を検出し、その結果に基づいて前記物体の領域である物体領域を識別し、
特定部が、前記識別部により識別された前記物体領域の中から未知物体の領域の候補である未知物体候補領域を特定し、
判別部が、前記未知物体候補領域に基づいて、前記物体が未知物体であるか否かを判別し、
生成部が、前記物体が未知物体である場合に、前記人物に対して前記未知物体の姿勢を変化させるためのフィードバック情報を生成する
情報処理方法をコンピュータに実行させるためのプログラム。
（１６）
位置合わせ処理部が、前記フィードバック情報の出力に対応してなされる前記未知物体の姿勢変化に基づいて取得される複数の視点画像に対して、位置合わせ処理を行う
情報処理方法をコンピュータに実行させる（１５）に記載のプログラム。
（１７）
特徴量取得部が、前記複数の視点画像に基づいて得られる前記未知物体の特徴量を取得する
情報処理方法をコンピュータに実行させる（１６）に記載のプログラム。
（１８）
前記未知物体の特徴量が所定の情報に対応付けられて記憶される
情報処理方法をコンピュータに実行させる（１７）に記載のプログラム。
（１９）
情報取得部が、前記未知物体の特徴量を外部装置に供給し、当該外部装置から前記物体に関する情報を取得する
情報処理方法をコンピュータに実行させる（１７）又は（１８）に記載のプログラム。
（２０）
出力部が、前記フィードバック情報に基づく出力を行う
情報処理方法をコンピュータに実行させる（１５）から（１９）までの何れかに記載のプログラム。
【符号の説明】
【００８６】
１０・・・情報処理装置、１１・・・制御部、１２・・・画像センサ、１４・・・出力部、１７・・・通信部、２３・・・未知物体判別部、２４・・・フィードバック情報生成部、２５・・・位置合わせ処理部
【図１】
2019192145.tif 000003
【図２】
2019192145.tif 000004
【図３】
2019192145.tif 000005
【図４】
2019192145.tif 000006
【図５】
2019192145.tif 000007
【図６】
2019192145.tif 000008
【図７】
2019192145.tif 000009
【図８】
2019192145.tif 000010
【図９】
2019192145.tif 000011
【図１０】
2019192145.tif 000012
【図１１】
2019192145.tif 000013
【図１２】
2019192145.tif 000014
【図１３】
2019192145.tif 000015
【図１４】
2019192145.tif 000016
【図１５】
2019192145.tif 000017