(57)【要約】【課題】直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、オブジェクトの位置を推定する推定部を備える、情報処理装置が提供される。【選択図】図８
2016148622.tif 000002
【特許請求の範囲】
【請求項１】
位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置。
【請求項２】
前記推定部は、
前記撮像画像ごとに、前記オブジェクトを検出する検出部と、
前記撮像画像ごとに、前記反射体の特徴を抽出する抽出部と、
前記撮像画像ごとに、抽出された前記特徴に基づいて、前記反射体の位置、または、前記反射体の位置および姿勢を推定する第１推定処理部と、
前記撮像画像ごとに、推定結果に基づいて、前記反射体に映っている前記オブジェクトから前記オブジェクトへのベクトルを算出する算出部と、
複数の前記撮像画像からそれぞれ算出された前記ベクトルに基づいて、前記オブジェクトの位置を推定する第２推定処理部と、
を有する、請求項１に記載の情報処理装置。
【請求項３】
前記反射体は、所定のパターンが表されている平面の反射体であり、
前記抽出部は、前記パターンにおける所定の位置を、前記特徴として抽出し、
前記第１推定処理部は、抽出された前記パターンにおける所定の位置に基づいて前記反射体の位置および姿勢を推定し、
前記算出部は、推定された前記平面の反射体の位置および姿勢に基づいて前記反射体の三次元平面を特定して、特定された前記三次元平面上の前記オブジェクトの位置を算出し、前記三次元平面の法線ベクトルと、前記三次元平面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、請求項２に記載の情報処理装置。
【請求項４】
前記反射体は、前記所定のパターンが印刷されている平面鏡、または、前記所定のパターンが表示されている表示デバイスの表示画面である、請求項３に記載の情報処理装置。
【請求項５】
前記反射体が前記表示画面である場合、
前記抽出部は、前記表示画面に関する情報に基づいて、前記パターンにおける所定の位置を抽出する、請求項４に記載の情報処理装置。
【請求項６】
前記反射体は、色分けされている球状の反射体であり、
前記抽出部は、色分けされた前記反射体の輪郭を、前記特徴として抽出し、
前記第１推定処理部は、抽出された前記反射体の輪郭に基づいて前記反射体の位置を推定し、
前記算出部は、推定された前記球状の反射体の位置に基づいて前記反射体の球面を特定して、特定された前記球面上の前記オブジェクトの位置を算出し、前記球面の法線ベクトルと、前記球面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、請求項２に記載の情報処理装置。
【請求項７】
前記第２推定処理部は、複数の前記撮像画像からそれぞれ算出された複数の前記ベクトルの交点、または、複数の前記ベクトルの最近傍点を、前記オブジェクトの位置として推定する、請求項２に記載の情報処理装置。
【請求項８】
前記反射体に複数の前記オブジェクトが映っている場合、
前記推定部は、オブジェクトごとに、前記オブジェクトの位置を推定する、請求項１に記載の情報処理装置。
【請求項９】
前記推定部は、設定されている拘束条件に基づいて、前記オブジェクトの位置を推定する、請求項１に記載の情報処理装置。
【請求項１０】
前記オブジェクトは、光源である、請求項１に記載の情報処理装置。
【請求項１１】
位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法。
【請求項１２】
位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
視線の検出に用いられる手法としては、例えば、ＩＲ  ＬＥＤ（InfraRed  Light  Emitting  Diode）などの光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を用いる角膜反射法を利用する方法がある。角膜反射法を利用した視線の検出に係る技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１８８３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１に記載の技術が用いられる場合には、赤外光パターンを表示させ、当該赤外光パターンの角膜反射像が映った対象者の眼を含む範囲が撮像された撮像画像から瞳孔と角膜反射像が抽出される。また、特許文献１に記載の技術が用いられる場合には、赤外光パターンの表示位置を移動させ、移動後に撮像された撮像画像から抽出された角膜反射像を用いて、角膜の曲率中心位置が算出される。ここで、例えば特許文献１に記載の技術が用いられる場合には、赤外光パターンの表示位置は、撮像画像から抽出された瞳孔の中心位置と角膜反射像の基準点の位置とのずれによって、光源の発光位置を移動させることによって移動される。
【０００５】
しかしながら、例えば特許文献１に記載の技術を用いたとしても、赤外光パターンの表示に係る上記光源のような、直接的に撮像されないオブジェクトの位置を推定することはできない。
【０００６】
本開示では、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置が提供される。
【０００８】
また、本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法が提供される。
【０００９】
また、本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１０】
本開示によれば、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る情報処理方法の一例を説明するための説明図である。
【図２】本実施形態に係る情報処理方法の一例を説明するための説明図である。
【図３】本実施形態に係る情報処理方法の一例を説明するための説明図である。
【図４】本実施形態に係る情報処理方法の一例を説明するための説明図である。
【図５】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図６】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図７】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図８】本実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図９】本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【図１０】本実施形態に係る情報処理装置が備える推定部における処理の一例を説明するためのブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム
【００１５】
（本実施形態に係る情報処理方法）
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
【００１６】
［１］本実施形態に係る情報処理方法の概要
角膜反射法を利用して視線の検出が行われる場合には、複数の角膜反射像（以下、「輝点」と示す場合がある。）が撮像された撮像画像に基づいて、角膜中心（角膜曲率中心）の３次元位置を求めることが可能である。ここで、角膜反射法を利用して視線の検出が行われる場合には、例えば、瞳孔や角膜中心の位置が０．１［ｍｍ］精度で求められ、瞳孔や角膜中心の位置の算出に係る計算では、撮像デバイス（以下、「Ｃａｍｅｒａ」と示す場合がある。）に対する光源の相対位置の情報（データ）が利用される。
【００１７】
上記のような撮像デバイスに対する光源の相対位置は、光源が設置される位置に依存し、光源が設置される位置には、設計上の位置に対して誤差が生じうる。そのため、光源が設置された後に、撮像デバイスに対する光源の位置を求めることが、望ましい。
【００１８】
ここで、例えば、撮像デバイスと、当該撮像装置の周辺のオブジェクトとの位置や姿勢に関する較正（以下、「キャリブレーション」と示す場合がある。）を行う方法が存在する。例えば、いわゆるステレオカメラキャリブレーションのような、２つの撮像装置同士におけるキャリブレーションは、例えば、チェッカーボードなどの形状が既知のオブジェクトを、２つの撮像装置それぞれで同時に撮像することによって、実現することが可能である。
【００１９】
しかしながら、角膜反射法を利用して視線の検出が行われる場合に用いられる光源は、一般的に、撮像デバイスでは直接的に撮像することができない位置に配置されるので、上記のような既存のキャリブレーションに係る方法を用いることはできない。
【００２０】
そこで、本実施形態に係る情報処理装置は、撮像デバイスにより直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定する。
【００２１】
より具体的には、本実施形態に係る情報処理装置は、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、当該オブジェクトの位置を推定する（推定処理）。
【００２２】
ここで、本実施形態に係る位置を推定する対象のオブジェクトとしては、例えば、角膜反射法を利用して視線の検出が行われる場合に用いられる、ＩＲ  ＬＥＤなどの光源が挙げられる。なお、本実施形態に係る位置を推定する対象のオブジェクトは、上記のような光源に限られない。例えば、本実施形態に係る位置を推定する対象のオブジェクトは、本実施形態に係る反射体に映ることが可能な、任意の物や生物などが挙げられる。
【００２３】
以下では、本実施形態に係る位置を推定する対象のオブジェクトが、ＩＲ  ＬＥＤなどの光源である場合を例に挙げる。また、以下では、本実施形態に係る位置を推定する対象のオブジェクトを、単に「オブジェクト」、または「ＬＥＤ」と示す場合がある。
【００２４】
また、本実施形態に係る反射体としては、例えば、所定のパターンが表されている平面の反射体や、色分けされている球状の反射体が挙げられる。
【００２５】
図１〜図４は、本実施形態に係る情報処理方法の一例を説明するための説明図である。図１〜図３は、撮像デバイスと複数の光源とが配置されている眼鏡型の装置において、当該撮像デバイスにより光源が映っている反射体Ｒｅｆｅｆを撮像し、反射体Ｒｅｆが撮像された撮像画像に基づいて光源の位置が推定される場合を示している。また、図４は、図３に示す反射体Ｒｅｆを示しており、図４のＡは、色分けされている球状の反射体の正面を示し、図４のＢは、色分けされている球状の反射体の側面を示している。
【００２６】
本実施形態に係る反射体としては、例えば下記に示す例が挙げられる。
・所定のパターンが印刷されている平面鏡（図１に示す反射体Ｒｅｆ。所定のパターンが表されている平面の反射体の一例）
・所定のパターンが表示されている表示デバイスの表示画面（図２に示す反射体Ｒｅｆ。所定のパターンが表されている平面の反射体の一例）
・色分けされている球面鏡（図３に示す反射体Ｒｅｆ。色分けされている球状の反射体の一例）
【００２７】
本実施形態に係る所定のパターンとは、平面の反射体の位置および姿勢を推定するために用いられる平面の反射体の特徴を、抽出するためのパターンである。
【００２８】
本実施形態に係る所定のパターンとしては、図１の反射体Ｒｅｆや、図２の反射体Ｒｅｆに示すように、格子状のパターンが挙げられる。本実施形態に係る所定のパターンが図１や図２に示すような格子状のパターンである場合、本実施形態に係る情報処理装置は、当該パターンの角の部分の点（コーナー点）を、反射体の特徴として抽出する。
【００２９】
ここで、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、表示デバイスの画面サイズやピクセルピッチなどによって、パターンの角の部分の点の位置関係が変わりうる。よって、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置は、表示画面に関する情報に基づいて、パターンにおける所定の位置を抽出する。
【００３０】
本実施形態に係る情報処理装置は、本実施形態に係る情報処理装置が備える通信部（後述する）、または本実施形態に係る情報処理装置に接続されている外部の通信デバイスを介して、表示デバイスと通信を行うことによって、表示画面に関する情報を取得する。そして、本実施形態に係る情報処理装置は、取得された表示画面に関する情報を用いて、表示画面の画面サイズやピクセルピッチなどを特定して、所定のパターンにおける所定の位置を抽出する。
【００３１】
本実施形態に係る表示画面に関する情報とは、例えば、画面サイズやピクセルピッチなどを示すデータである。本実施形態に係る表示画面に関する情報としては、画面サイズやピクセルピッチなどを直接的に示すデータが挙げられる。本実施形態に係る表示画面に関する情報が、画面サイズやピクセルピッチなどを直接的に示すデータである場合には、本実施形態に係る情報処理装置は、当該データを参照することによって、表示画面の画面サイズやピクセルピッチなどを特定する。
【００３２】
なお、本実施形態に係る表示画面に関する情報は、上記に示す例に限られない。例えば、本実施形態に係る表示画面に関する情報は、表示デバイスのＩＤや型番など、表示デバイスを示す識別情報（データ）であってもよい。
【００３３】
本実施形態に係る表示画面に関する情報が上記識別情報である場合には、本実施形態に係る情報処理装置は、例えば、識別情報と、画面サイズやピクセルピッチなどを直接的に示すデータとが対応付けられているテーブル（または、データベース）を用いて、表示画面の画面サイズやピクセルピッチなどを特定する。また、本実施形態に係る情報処理装置は、例えば、通信部（後述する）などを介してサーバなどの外部装置と通信を行い、当該外部装置から、上記識別情報に基づく画面サイズやピクセルピッチなどを直接的に示すデータを取得することによって、表示画面の画面サイズやピクセルピッチなどを特定することも可能である。
【００３４】
本実施形態に係る表示画面に関する情報を用いて表示画面の画面サイズやピクセルピッチなどを特定することによって、本実施形態に係る情報処理装置は、所定のパターンにおける所定の位置をより正確に特定することができる。
【００３５】
なお、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置では、例えば図２に示すような表示画面上に表示されているボタンが操作されることによって、本実施形態に係る推定処理が行われてもよい。
【００３６】
また、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、表示画面に、本実施形態に係る推定処理に係る操作手順や、本実施形態に係る推定処理の進捗状況が表示されてもよい。
【００３７】
なお、本実施形態に係る所定のパターンは、図１や図２に示す例に限られない。例えば、本実施形態に係る所定のパターンは、平面の反射体の位置および姿勢を推定することが可能な特徴を抽出することが可能な、任意の形状であってもよい。
【００３８】
また、本実施形態に係る反射体が、球面鏡である場合には、図４においてペイント部分と示されているように、球面鏡の一部が色づけされることにより、色分けがされる。本実施形態に係る反射体が、色分けされている球面鏡のような色分けされている球状の反射体である場合、本実施形態に係る情報処理装置は、球状の反射体の輪郭を、特徴として抽出する。
【００３９】
なお、本実施形態に係る球状の反射体における色分けの仕方は、図３、図４に示す例に限られない。例えば、本実施形態に係る球状の反射体には、球状の反射体の位置を推定することが可能な特徴を抽出することが可能な、任意の色付けがされていてもよく、また、本実施形態に係る球状の反射体には、球状の反射体の位置を推定することが可能な特徴を抽出することが可能な、任意の模様が付されていてもよい。
【００４０】
本実施形態に係る情報処理装置は、位置を推定する対象のオブジェクトが映っている、図１〜図４に示すような反射体が異なる角度から撮像された複数の撮像画像を処理することによって、オブジェクトの位置を推定する
【００４１】
より具体的には、本実施形態に係る情報処理装置は、複数の撮像画像それぞれから“反射体に映っているオブジェクトからオブジェクトへのベクトル”を算出する。そして、本実施形態に係る情報処理装置は、複数の撮像画像からそれぞれ算出されたベクトルに基づいて、オブジェクトの位置を推定する。本実施形態に係る情報処理装置は、複数の撮像画像からそれぞれ算出された複数のベクトルの交点、または、複数のベクトルの最近傍点を、オブジェクトの位置として推定する。
【００４２】
ここで、オブジェクトの位置が変わらない場合、ベクトルの算出誤差などがない理想的な状態では、複数の撮像画像からそれぞれ算出された複数のベクトルは、一点で交わる。つまり、複数の撮像画像からそれぞれ算出された複数のベクトルを用いて、上記一点（例えば上記理想的な状態の場合）、または複数のベクトルの最近傍点（例えば上記理想的な状態ではない場合）を求めることによって、オブジェクトの位置を推定することが可能である。
【００４３】
よって、本実施形態に係る情報処理装置は、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが映っている反射体が異なる角度から撮像された撮像画像、すなわち、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
【００４４】
以下、本実施形態に係る情報処理方法に係る推定処理について、より具体的に説明する。
【００４５】
［２］本実施形態に係る情報処理方法に係る処理
本実施形態に係る情報処理装置は、本実施形態に係る推定処理として、例えば、下記の（１）検出処理、（２）抽出処理、（３）第１推定処理、（４）算出処理、および（５）第２推定処理を行う。
【００４６】
（１）検出処理
本実施形態に係る情報処理装置は、撮像画像ごとに、オブジェクトを検出する。
【００４７】
本実施形態に係る情報処理装置は、例えば、オブジェクトの特徴が記録されている辞書データを用いて撮像画像からオブジェクトを検出する方法など、撮像画像からオブジェクトを検出することが可能な、任意の画像認識技術を用いて、撮像画像ごとに、オブジェクトを検出する。ここで、上記のような辞書データは、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶される。本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などから辞書データを適宜読み出して処理に用いる。
【００４８】
なお、本実施形態に係る検出処理は、上記に示すような画像認識技術を用いて行われることに限られない。
【００４９】
例えば、撮像画像においてオブジェクトが存在する位置が、ユーザ操作により指定される場合には、指定された位置に存在するオブジェクトを検出することも可能である。
【００５０】
（２）抽出処理
本実施形態に係る情報処理装置は、撮像画像ごとに、反射体の特徴を抽出する。
【００５１】
反射体が、所定のパターンが表されている平面の反射体である場合、本実施形態に係る情報処理装置は、上述したように、例えば、撮像画像に含まれる所定のパターンの角の部分の点（コーナー点）を、反射体の特徴として抽出する。また、反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置は、表示画面に関する情報に基づいて、パターンの角の部分の点を抽出する。
【００５２】
また、反射体が、色分けされている球状の反射体である場合、本実施形態に係る情報処理装置は、上述したように、例えば、球状の反射体の輪郭を、反射体の特徴として抽出する。
【００５３】
（３）第１推定処理
本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴に基づいて、反射体の位置、または、反射体の位置および姿勢を推定する。
【００５４】
反射体が、所定のパターンが表されている平面の反射体である場合には、本実施形態に係る情報処理装置は、抽出された特徴に基づいて、反射体の位置および姿勢を推定する。また、反射体が、色分けされている球状の反射体である場合には、本実施形態に係る情報処理装置は、抽出された特徴に基づいて、反射体の位置を推定する。本実施形態に係る第１推定処理の具体例については、後述する。
【００５５】
（４）算出処理
本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、反射体に映っているオブジェクトからオブジェクトへのベクトル（以下、「ベクトルＲ」と示す）を算出する。本実施形態に係る算出処理の具体例については、後述する。
【００５６】
（５）第２推定処理
本実施形態に係る情報処理装置は、撮像画像それぞれに対して上記（１）の処理（検出処理）〜上記（４）の処理（算出処理）が行われることにより算出されたベクトルＲに基づいて、オブジェクトの位置を推定する。本実施形態に係る算出処理の具体例については、後述する。
【００５７】
本実施形態に係る情報処理装置は、例えば上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）を行うことによって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが映っている反射体が異なる角度から撮像された撮像画像（当該オブジェクトが間接的に撮像された撮像画像）に基づいて推定する。
【００５８】
なお、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）は、便宜上、本実施形態に係る情報処理方法に係る推定処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る推定処理は、例えば、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る推定処理は、例えば、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
【００５９】
以下、本実施形態に係る推定処理の一例を示す。
【００６０】
［２−１］推定処理の第１の例：反射体が、所定のパターンが表されている平面の反射体である場合
まず、反射体が、所定のパターンが表されている平面の反射体である場合における推定処理の一例について説明する。以下では、反射体が、所定のパターンが印刷されている平面鏡（所定のパターンが表されている平面の反射体の一例）であり、オブジェクトが、ＬＥＤである場合を例に挙げる。
【００６１】
図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、反射体が、所定のパターンが印刷されている平面鏡（所定のパターンが表されている平面の反射体の一例）である場合における、オブジェクトの位置の推定の原理を示している。
【００６２】
本実施形態に係る情報処理装置は、例えば図５のＡに示す“ｔａｋｅ１”、“ｔａｋｅ２”、および“ｔａｋｅ３”のように、ＬＥＤが映っている平面鏡が、異なる複数の角度から撮像された撮像画像を、例えば下記の（Ｉ）〜（Ｖ）に示すように処理する。
【００６３】
（Ｉ）上記（１）の処理（検出処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、ＬＥＤ（オブジェクトの一例）を検出する。
【００６４】
（ＩＩ）上記（２）の処理（抽出処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、撮像画像に含まれる所定のパターンの角の部分の点（パターンにおける所定の位置の一例）を、任意の画像処理技術を利用して検出することによって、反射体の特徴を抽出する。以下では、所定のパターンの角の部分の点を、「特徴点」と示す。
【００６５】
（ＩＩＩ）上記（３）の処理（第１推定処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴であるパターンにおける所定の位置に基づいて、平面鏡の位置および姿勢を推定する。
【００６６】
本実施形態に係る情報処理装置は、例えば、特徴点の位置を示す特徴点位置情報（データ）と、撮像デバイスのパラメータ（例えば、画角や、倍率などを示すデータ）と、上記（２）の処理（抽出処理）において抽出された特徴点の位置を示す情報（データ）とに基づいて、平面鏡の位置および姿勢を推定する。
【００６７】
ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶されている特徴点位置情報を用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などに記憶されている撮像デバイスのパラメータを示す情報を用いる。なお、本実施形態に係る情報処理装置は、撮像画像から撮像デバイスのパラメータを推定し、推定されたパラメータを用いてもよい。
【００６８】
（ＩＶ）上記（４）の処理（算出処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、図５のＢに示すベクトルＲ（反射体に映っているオブジェクトからオブジェクトへのベクトルの一例）を算出する。
【００６９】
より具体的には、本実施形態に係る情報処理装置は、例えば、上記（３）の処理（第１推定処理）において推定された平面鏡の位置および姿勢に基づいて、３次元の平面方程式を算出して、平面鏡の三次元平面を特定する。
【００７０】
また、本実施形態に係る情報処理装置は、例えば、平面方程式に基づいて、特定された三次元平面上のオブジェクトの位置を算出する。本実施形態に係る情報処理装置は、例えば、平面方程式と、図５のＢに示す“平面鏡に映っているＬＥＤの位置（例えば、ｕ，ｖ座標系の座標で表される。）から算出される、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬ”との交点を求めることによって、三次元平面上のオブジェクトの位置を算出する。
【００７１】
そして、本実施形態に係る情報処理装置は、例えば、特定された三次元平面の法線ベクトル（例えば図５のＢに示すベクトルＮ）と、三次元平面上のオブジェクトの位置とに基づいて、ベクトルＲを算出する。
【００７２】
本実施形態に係る情報処理装置は、例えば、反射の法則を利用し、下記の数式１によって、ベクトルＲを算出する。ここで、下記の数式１に示す“Ｒ”は、反射体に映っているオブジェクトからオブジェクトへのベクトルＲであり、下記の数式１に示す“Ｌ”は、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬである。また、下記の数式１に示す“Ｎ”は、特定された三次元平面の法線ベクトルＮである。
【００７３】
【数１】
2016148622.tif 000003
【００７４】
本実施形態に係る情報処理装置は、上述したような上記（１）の処理（検出処理）〜上記（４）の処理（算出処理）を、複数の撮像画像分繰り返す。また、本実施形態に係る情報処理装置は、各撮像画像に基づき求められた、三次元平面上のオブジェクトの位置と、ベクトルＲとを、記憶部（後述する）などに記録させる。
【００７５】
（Ｖ）上記（５）の処理（第２推定処理）
本実施形態に係る情報処理装置は、上記（１）の処理（検出処理）〜上記（４）の処理（算出処理）によって、複数の撮像画像からそれぞれ算出された複数のベクトルＲの交点、または、複数のベクトルＲの最近傍点を、オブジェクトの位置として推定する。
【００７６】
複数のベクトルＲの交点をオブジェクトの位置として推定する場合、本実施形態に係る情報処理装置は、例えば、複数のベクトルＲの交点のうち、交点上を通るベクトルＲの数が最も多い交点の位置を、オブジェクトの位置として推定する。また、交点上を通るベクトルＲの数が最も多い交点が複数存在する場合には、本実施形態に係る情報処理装置は、ランダムに選択するなど任意の選択方法によって、１つの交点を選択し、選択された交点の位置をオブジェクトの位置として推定してもよい。
【００７７】
また、複数のベクトルＲの最近傍点をオブジェクトの位置として推定する場合には、本実施形態に係る情報処理装置は、例えば、最小二乗法を用いて最近傍点を算出し、算出された最近傍点の位置を、オブジェクトの位置として推定する。
【００７８】
ここで、図５のＢに示すベクトルＲ上の点を“Ｌ→ｉ”、法線ベクトルＮ上の点を“ｄ→ｉ”、平面鏡（反射体の一例）に映っているＬＥＤ（オブジェクトの一例）の位置を“Ｃ→ｉ”とおくと、ベクトルＲ上の点Ｌ→ｉは、例えば下記の数式２で表される。ここで、下記の数式２に示す“ｉ”は、撮像画像に付されている番号を示しており、また、下記の数式２に示す“ｔｉ”は、設定されている媒介変数である。媒介変数ｔｉは、固定値であってもよいし、ユーザ操作などに基づき設定可能な可変値であってもよい。
【００７９】
【数２】
2016148622.tif 000004
【００８０】
また、推定するＬＥＤ（オブジェクトの一例）の位置を“ｐ→”とおくと、ＬＥＤの位置ｐ→とベクトルＲ上の点Ｌ→ｉとの距離は、例えば下記の数式３で表される。
【００８１】
【数３】
2016148622.tif 000005
【００８２】
本実施形態に係る情報処理装置は、例えば全てのｉに対して点Ｌｉとの距離の二乗和を最小にする点を求め、求められた点を、推定するＬＥＤ（オブジェクトの一例）の位置ｐ→とする。具体的には、本実施形態に係る情報処理装置は、例えば下記の数式４に示すｎ＋１個（ｎは、正の整数）の連立方程式を解きｐ→の値を求める。ここで、下記の数式４に示す“Ｆ”は、例えば下記の数式５で表される。
【００８３】
【数４】
2016148622.tif 000006
【００８４】
【数５】
2016148622.tif 000007
【００８５】
反射体が、図１に示す反射体Ｒｅｆのような、所定のパターンが表されている平面の反射体である場合には、本実施形態に係る情報処理装置は、例えば、上記（Ｉ）に示す処理〜上記（Ｖ）に示す処理を推定処理として行うことによって、オブジェクトの位置を推定する。
【００８６】
また、反射体に複数のオブジェクトが映っている場合には、本実施形態に係る情報処理装置は、例えば、上記（Ｉ）に示す処理〜上記（Ｖ）に示す処理を、オブジェクトごとに行うことによって、オブジェクトの位置をそれぞれ推定することが可能である。
【００８７】
なお、本実施形態に係る推定処理は、上記（Ｉ）に示す処理〜上記（Ｖ）に示す処理に限られない。
【００８８】
例えば、本実施形態に係る情報処理装置は、設定されている拘束条件に基づいて、オブジェクトの位置を推定することも可能である。
【００８９】
図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図６のＡは、拘束条件の一例を示しており、図６のＢは、拘束条件の他の例を示している。
【００９０】
本実施形態に係る拘束条件としては、例えば下記に示す（ａ）〜（ｅ）が挙げられる。なお、本実施形態に係る拘束条件が、下記にに示す（ａ）〜（ｅ）に限られないことは、言うまでもない。
【００９１】
（ａ）オブジェクトと撮像デバイスとが、設定されている同一の平面上に存在する（図６のＡ）。
（ｂ）複数のオブジェクトが、設定されている同一の平面上に存在する（図６のＢ）。
（ｃ）複数のオブジェクトそれぞれの間の距離が、設定されている。
（ｄ）全てのオブジェクト同士の位置関係が設定されており、撮像デバイスに係る座標系とオブジェクトの座標系とにおける、オブジェクトの姿勢が異なる。
（ｅ）上記（ａ）〜上記（ｄ）の拘束条件のうちの、２以上を組み合わせた拘束条件。
【００９２】
例えば、上記（ａ）〜（ｅ）に示すような拘束条件が設定されることによって、例えば、オブジェクトの位置の推定精度の向上を図ることができる。
【００９３】
［２−２］推定処理の第２の例：反射体が、色分けされている球状の反射体である場合
次に、反射体が、色分けされている球状の反射体である場合における推定処理の一例について説明する。以下では、反射体が、色分けされている球面鏡（色分けされている球状の反射体の一例）であり、オブジェクトが、ＬＥＤである場合を例に挙げる。
【００９４】
図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、反射体が、色分けされている球面鏡（色分けされている球状の反射体の一例）である場合を示している。図７のＡは、ＬＥＤ（オブジェクトの一例）が映っている色分けされている球面鏡（図３に示す反射体Ｒｅｆ）が撮像された撮像画像の一例を示している。また、図７のＢは、反射体が、色分けされている球面鏡である場合における、オブジェクトの位置の推定の原理を示している。
【００９５】
本実施形態に係る情報処理装置は、ＬＥＤが映っている球面鏡が、異なる複数の角度から撮像された撮像画像を、例えば下記の（ｉ）〜（ｖ）に示すように処理する。
【００９６】
（ｉ）上記（１）の処理（検出処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、ＬＥＤ（オブジェクトの一例）を検出する。ここで、（ｉ）における処理は、上記第１の例に係る（Ｉ）の処理と同様である。
【００９７】
（ｉｉ）上記（２）の処理（抽出処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、色分けされた球面鏡の輪郭を検出することによって、反射体の特徴を抽出する。本実施形態に係る情報処理装置は、例えば、撮像画像から色が付されている領域を検出することによって、球面鏡の輪郭を検出する。なお、球面鏡の輪郭を検出する方法は、上記に限られず、本実施形態に係る情報処理装置は、例えば、撮像画像から球面鏡の輪郭を検出することが可能な、任意の方法を用いることが可能である。
【００９８】
（ｉｉｉ）上記（３）の処理（第１推定処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴である球面鏡の輪郭に基づいて、球面鏡の位置を推定する。
【００９９】
本実施形態に係る情報処理装置は、例えば、球面鏡のサイズを示す情報（データ）と、撮像デバイスのパラメータ（例えば、画角や、倍率などを示すデータ）と、上記（２）の処理（抽出処理）において抽出された球面鏡の輪郭を示す情報（データ）とに基づいて、球面鏡の位置を推定する。
【０１００】
ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶されている、球面鏡のサイズを示す情報を用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などに記憶されている撮像デバイスのパラメータを示す情報を用いる。なお、本実施形態に係る情報処理装置は、撮像画像から撮像デバイスのパラメータを推定し、推定されたパラメータを用いてもよい。
【０１０１】
（ｉｖ）上記（４）の処理（算出処理）
本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、図７のＢに示すベクトルＲ（反射体に映っているオブジェクトからオブジェクトへのベクトルの一例）を算出する。
【０１０２】
より具体的には、本実施形態に係る情報処理装置は、例えば、上記（３）の処理（第１推定処理）において推定された球面鏡の位置に基づいて、球面方程式を算出して、球面鏡の球面を特定する。ここで、球面方程式は、例えば、撮像画像に基づき抽出された球面鏡の輪郭（例えば図８のＡに示す“球の輪郭”）を用い、円フィッティングを行って球の中心座標と半径を求め、球のカメラ座標系における３次元位置と半径を求めることによって算出される。
【０１０３】
また、本実施形態に係る情報処理装置は、例えば、球面方程式に基づいて、特定された球面上のオブジェクトの位置を算出する。本実施形態に係る情報処理装置は、例えば、球面方程式と、図７のＢに示す“球面鏡に映っているＬＥＤの位置（例えば、ｕ，ｖ座標系の座標で表される。）から算出される、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬ”との交点を求めることによって、球面上のオブジェクトの位置を算出する。
【０１０４】
そして、本実施形態に係る情報処理装置は、例えば、第１の例に係る推定処理における上記（ＩＶ）の処理と同様に、特定された球面の法線ベクトル（例えば図７のＢに示すベクトルＮ）と、球面上のオブジェクトの位置とに基づいて、反射の法則を利用して、ベクトルＲを算出する。
【０１０５】
（ｖ）上記（５）の処理（第２推定処理）
本実施形態に係る情報処理装置は、例えば、第１の例に係る推定処理における上記（Ｖ）の処理と同様に、上記（１）の処理（検出処理）〜上記（４）の処理（算出処理）によって、複数の撮像画像からそれぞれ算出された複数のベクトルＲの交点、または、複数のベクトルＲの最近傍点を、オブジェクトの位置として推定する。
【０１０６】
反射体が、図３に示す反射体Ｒｅｆのような、色分けされている球状の反射体である場合には、本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理〜上記（ｖ）に示す処理を推定処理として行うことによって、オブジェクトの位置を推定する。
【０１０７】
また、反射体に複数のオブジェクトが映っている場合には、本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理〜上記（ｖ）に示す処理を、オブジェクトごとに行うことによって、オブジェクトの位置をそれぞれ推定することが可能である。
【０１０８】
なお、第２の例に係る推定処理は、上記（ｉ）に示す処理〜上記（ｖ）に示す処理に限られない。
【０１０９】
例えば、本実施形態に係る情報処理装置は、上記第１の例に係る推定処理と同様に、設定されている拘束条件に基づいて、オブジェクトの位置を推定することも可能である。
【０１１０】
［３］本実施形態に係る情報処理方法が用いられることにより奏される効果
本実施形態に係る情報処理方法に係る推定処理（例えば、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理））が行われることによって、直接的に撮像されないオブジェクトの位置を推定することができる。
【０１１１】
よって、本実施形態に係る情報処理方法に係る推定処理が行われることによって、例えば下記の効果を奏することができる。なお、本実施形態に係る情報処理方法に係る推定処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・撮像デバイスに対する周辺物体の高精度な位置決めが実現される。
・撮像デバイスに対する周辺物体の位置決め精度を取り付け精度で補償する必要がなくなるので、例えば角膜反射法を利用して視線を検出することが可能な装置（例えばアイウェアなど）の製造が容易になる。
・撮像デバイスと周辺物体の位置関係が、当該周辺物体の位置の推定後にずれた場合でも、再度当該周辺物体の位置を推定し直すことができる。
・平面鏡や球面鏡などの反射体の位置や姿勢を、撮像画像に基づき特定することが可能であるので、撮像デバイスに対する反射体の位置決めが不要である。
・図２に示すような表示画面を反射体として利用することによって、例えばスマートフォンなどの装置（表示デバイスの一例）のユーザが、本実施形態に係る情報処理方法に係る操作を実施することが可能となる。
【０１１２】
（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
【０１１３】
図８は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。
【０１１４】
また、情報処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【０１１５】
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【０１１６】
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、辞書データや、特徴点位置情報、撮像デバイスのパラメータを示す情報、推定結果を示すデータ（例えばベクトルＲを示すデータなど）など、本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
【０１１７】
ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
【０１１８】
通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。
【０１１９】
［情報処理装置１００のハードウェア構成例］
図９は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、ＩＲ  ＬＥＤ１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
【０１２０】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する推定部１１０の役目を果たす。
【０１２１】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１２２】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、推定結果を示すデータなどの本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
【０１２３】
記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
【０１２４】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）（登録商標）端子、各種処理回路などが挙げられる。
【０１２５】
操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
【０１２６】
表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などが挙げられる。
【０１２７】
なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１２８】
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像デバイスや外部の表示デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal  Serial  Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
【０１２９】
また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１３０】
撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する撮像部１０２として機能する。撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
【０１３１】
撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【０１３２】
ＩＲ  ＬＥＤ１６８は、情報処理装置１００が備える光源であり、例えば複数のＩＲ  ＬＥＤで構成される。ここで、ＩＲ  ＬＥＤ１６８が、角膜反射法によりユーザの視線を推定するために用いられる光源である場合には、ＩＲ  ＬＥＤ１６８は、例えば、光がユーザの眼に照射される位置に設けられる。なお、上述したように、情報処理装置１００が備える光源がＩＲ  ＬＥＤに限られないことは、言うまでもない。
【０１３３】
また、ＩＲ  ＬＥＤ１６８は、例えば、本実施形態に係る情報処理方法によって位置を推定する対象のオブジェクトに該当しうる。なお、本実施形態に係る情報処理方法によって位置を推定する対象のオブジェクトは、ＩＲ  ＬＥＤ１６８などの光源に限られず、例えば、本実施形態に係る反射体に映ることが可能な、任意の物や生物などであってもよい。
【０１３４】
情報処理装置１００は、例えば図９に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。
【０１３５】
例えば、外部の撮像デバイスにより撮像された撮像画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像デバイス１６６を備えていなくてもよい。
【０１３６】
また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２、ＩＲ  ＬＥＤ１６８を備えない構成をとることも可能である。
【０１３７】
再度、図８を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、撮像により画像（撮像画像）を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。
【０１３８】
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば推定部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０１３９】
推定部１１０は、本実施形態に係る情報処理方法に係る推定処理を主導的に行う役目を果たし、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、当該オブジェクトの位置を推定する。
【０１４０】
図１０は、本実施形態に係る情報処理装置１００が備える推定部１１０における処理の一例を説明するためのブロック図である。図１０は、推定部１１０が、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）を行う場合の処理の一例を示している。
【０１４１】
推定部１１０は、例えば、検出部１２０と、抽出部１２２と、第１推定処理部１２４と、算出部１２６と、第２推定処理部１２８とを有する。
【０１４２】
検出部１２０は、上記（１）の処理（検出処理）を主導的に行う役目を果たし、撮像画像ごとに、オブジェクトを検出する。検出部１２０は、例えば、上記（Ｉ）に示す処理や、上記（ｉ）に示す処理を行う。
【０１４３】
抽出部１２２は、上記（２）の処理（抽出処理）を主導的に行う役目を果たし、撮像画像ごとに、反射体の特徴を抽出する。抽出部１２２は、例えば、上記（ＩＩ）に示す処理や、上記（ｉｉ）に示す処理を行う。
【０１４４】
第１推定処理部１２４は、上記（３）の処理（第１推定処理）を主導的に行う役目を果たし、撮像画像ごとに、抽出部１２２において抽出された特徴に基づいて、反射体の位置、または、反射体の位置および姿勢を推定する。第１推定処理部１２４は、例えば、上記（ＩＩＩ）に示す処理や、上記（ｉｉｉ）に示す処理を行う。
【０１４５】
算出部１２６は、上記（４）の処理（算出処理）を主導的に行う役目を果たし、撮像画像ごとに、第１推定処理部１２４における推定結果に基づいて、反射体に映っているオブジェクトからオブジェクトへのベクトルＲを算出する。算出部１２６は、例えば、上記（ＩＶ）に示す処理や、上記（ｉｖ）に示す処理を行う。
【０１４６】
第２推定処理部１２８は、上記（５）の処理（第２推定処理）を主導的に行う役目を果たし、複数の撮像画像からそれぞれ算出されたベクトルＲに基づいて、オブジェクトの位置を推定する。第２推定処理部１２８は、例えば、上記（Ｖ）に示す処理や、上記（ｖ）に示す処理を行う。
【０１４７】
推定部１１０は、例えば、検出部１２０、抽出部１２２、第１推定処理部１２４、算出部１２６、および第２推定処理部１２８を有することによって、本実施形態に係る情報処理方法に係る推定処理を主導的に行う。
【０１４８】
なお、推定部１１０の構成は、図１０に示す構成に限られない。
【０１４９】
例えば、上述したように、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）は、便宜上、本実施形態に係る情報処理方法に係る推定処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る推定処理を実現するための構成は、図１０に示す検出部１２０、抽出部１２２、第１推定処理部１２４、算出部１２６、および第２推定処理部１２８に限られず、推定部１１０は、本実施形態に係る情報処理方法に係る推定処理の切り分け方に応じた構成をとることが可能である。
【０１５０】
制御部１０４は、例えば、推定部１１０を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
【０１５１】
情報処理装置１００は、例えば図８に示す構成によって、本実施形態に係る情報処理方法に係る推定処理（例えば、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理））を行う。
【０１５２】
したがって、情報処理装置１００は、例えば図８に示す構成によって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
【０１５３】
また、例えば図８に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０１５４】
なお、本実施形態に係る情報処理装置の構成は、図８に示す構成に限られない。
【０１５５】
例えば、本実施形態に係る情報処理装置は、図８に示す推定部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
【０１５６】
例えば、外部の撮像デバイスにより撮像された撮像画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像部１０２を備えていなくてもよい。
【０１５７】
また、本実施形態に係る情報処理装置は、例えば通信部（図示せず）など、他の構成要素をさらに備えていてもよい。
【０１５８】
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal  Computer）やサーバなどのコンピュータや、アイウェアやＨＭＤなどのユーザの頭部に装着されて用いられる装置、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated  Circuit）に適用することもできる。
【０１５９】
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
【０１６０】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、上記（１）の処理（検出処理）〜上記（５）の処理（第２推定処理）など、本実施形態に係る情報処理方法に係る推定処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
【０１６１】
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０１６２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６３】
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１６４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１６５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１６６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置。
（２）
前記推定部は、
前記撮像画像ごとに、前記オブジェクトを検出する検出部と、
前記撮像画像ごとに、前記反射体の特徴を抽出する抽出部と、
前記撮像画像ごとに、抽出された前記特徴に基づいて、前記反射体の位置、または、前記反射体の位置および姿勢を推定する第１推定処理部と、
前記撮像画像ごとに、推定結果に基づいて、前記反射体に映っている前記オブジェクトから前記オブジェクトへのベクトルを算出する算出部と、
複数の前記撮像画像からそれぞれ算出された前記ベクトルに基づいて、前記オブジェクトの位置を推定する第２推定処理部と、
を有する、（１）に記載の情報処理装置。
（３）
前記反射体は、所定のパターンが表されている平面の反射体であり、
前記抽出部は、前記パターンにおける所定の位置を、前記特徴として抽出し、
前記第１推定処理部は、抽出された前記パターンにおける所定の位置に基づいて前記反射体の位置および姿勢を推定し、
前記算出部は、推定された前記平面の反射体の位置および姿勢に基づいて前記反射体の三次元平面を特定して、特定された前記三次元平面上の前記オブジェクトの位置を算出し、前記三次元平面の法線ベクトルと、前記三次元平面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、（２）に記載の情報処理装置。
（４）
前記反射体は、前記所定のパターンが印刷されている平面鏡、または、前記所定のパターンが表示されている表示デバイスの表示画面である、（３）に記載の情報処理装置。
（５）
前記反射体が前記表示画面である場合、
前記抽出部は、前記表示画面に関する情報に基づいて、前記パターンにおける所定の位置を抽出する、（４）に記載の情報処理装置。
（６）
前記反射体は、色分けされている球状の反射体であり、
前記抽出部は、色分けされた前記反射体の輪郭を、前記特徴として抽出し、
前記第１推定処理部は、抽出された前記反射体の輪郭に基づいて前記反射体の位置を推定し、
前記算出部は、推定された前記球状の反射体の位置に基づいて前記反射体の球面を特定して、特定された前記球面上の前記オブジェクトの位置を算出し、前記球面の法線ベクトルと、前記球面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、（２）に記載の情報処理装置。
（７）
前記第２推定処理部は、複数の前記撮像画像からそれぞれ算出された複数の前記ベクトルの交点、または、複数の前記ベクトルの最近傍点を、前記オブジェクトの位置として推定する、（２）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記反射体に複数の前記オブジェクトが映っている場合、
前記推定部は、オブジェクトごとに、前記オブジェクトの位置を推定する、（１）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記推定部は、設定されている拘束条件に基づいて、前記オブジェクトの位置を推定する、（１）〜（７）のいずれか１つに記載の情報処理装置。
（１０）
前記オブジェクトは、光源である、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法。
（１２）
位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラム。
【符号の説明】
【０１６７】
１００    情報処理装置
１０２    撮像部
１０４    制御部
１１０    推定部
１２０    検出部
１２２    抽出部
１２４    第１推定処理部
１２６    算出部
１２８    第２推定処理部
【図１】
2016148622.tif 000008
【図２】
2016148622.tif 000009
【図３】
2016148622.tif 000010
【図４】
2016148622.tif 000011
【図５】
2016148622.tif 000012
【図６】
2016148622.tif 000013
【図７】
2016148622.tif 000014
【図８】
2016148622.tif 000015
【図９】
2016148622.tif 000016
【図１０】
2016148622.tif 000017