(57)【要約】      （修正有）【課題】虚像表示装置を装着している眼球と、装置の表示部との関係を考慮して、視認性を向上させる画像処理装置、処理方法及びプログラムを提供する。【解決手段】画像処理装置１００は、視界情報取得部１２０と、眼球情報取得部１５０と、表示制御部１６０とを具備する。視界情報取得部１５０は、画像処理装置１００が装着されている人物の視界に含まれる像に関する視界情報を取得するものである。眼球情報取得部１５０は、人物の眼球に関する眼球情報を取得するものである。表示制御部１６０は、人物の視界に含まれる像に表示対象オブジェクトを重ねて表示させる制御を行うものである。また、表示制御部１５０は、視界情報と眼球情報とに基づいて、人物の視界に含まれる像における表示対象オブジェクトの表示態様を変更する制御を行う。【選択図】図２
2017091190.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得部と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得部と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御を行う表示制御部と
を具備する画像処理装置。
【請求項２】
前記眼球情報取得部は、前記人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、前記人物の眼球の位置および前記眼球の視線方向を検出することにより前記眼球情報を取得する請求項１記載の画像処理装置。
【請求項３】
前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
前記複数の撮像部は、前記表示対象オブジェクトを表示する前記表示部の表示面における端部に設けられる
請求項２記載の画像処理装置。
【請求項４】
前記視界情報取得部は、前記人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、前記視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、前記視界に含まれる物体の深度を検出する深度検出処理とを行うことにより、前記視界に含まれる物体の位置に関する情報を前記視界情報として取得する請求項１記載の画像処理装置。
【請求項５】
前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
前記表示制御部は、前記表示部の位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
請求項１記載の画像処理装置。
【請求項６】
前記表示部は、前記人物の視界に含まれる像を透過する表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて前記表示面に前記表示対象オブジェクトを表示する屈折式表示部であり、
前記表示制御部は、前記表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
請求項５記載の画像処理装置。
【請求項７】
前記表示制御部は、前記表示対象オブジェクトの前記表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより前記表示態様を変更する請求項１記載の画像処理装置。
【請求項８】
前記表示制御部は、前記視界情報と前記眼球情報とに基づいて、前記表示対象オブジェクトの鮮鋭度を制御する請求項１記載の画像処理装置。
【請求項９】
前記表示制御部は、前記表示対象オブジェクトを表示すべき前記視界における３次元上の位置に基づいて、前記表示対象オブジェクトの鮮鋭度を制御する請求項８記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記表示対象オブジェクトに対するボケ処理を行うことにより前記鮮鋭度を制御する請求項８記載の画像処理装置。
【請求項１１】
前記画像処理装置の姿勢の変化に関する姿勢情報を取得する姿勢情報取得部をさらに具備し、
前記表示制御部は、前記視界情報と、前記眼球情報と、前記姿勢の変化に関する姿勢情報とに基づいて、前記表示態様を変更する制御を行う
請求項１記載の画像処理装置。
【請求項１２】
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
を具備する画像処理方法。
【請求項１３】
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、表示対象となる画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、ユーザの身体の一部に装着された状態でユーザに画像を提供する画像処理装置が存在する。例えば、外部オブジェクトに表示対象オブジェクトを重ねて表示することが可能なメガネタイプのウェアラブル機器が存在する。
【０００３】
また、例えば、表示対象オブジェクトを外部オブジェクトに対して固定された座標上に表示するための技術が提案されている。例えば、装着者の頭部の姿勢の変化を検出し、その検出結果に基づいて、虚像による画像の画面位置を、装着者の姿勢が変化する方向と逆方向に変化させるように調整する虚像表示装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２２５０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、装着者の姿勢が変化する方向と逆方向に変化させるように調整することにより、虚像表示装置の装着者の姿勢の変化に応じて、虚像による画像を調整することができる。
【０００６】
ここで、虚像表示装置を装着している装着者の眼球と、虚像表示装置の表示部との関係が変化することも想定される。この場合には、装着者の眼球と、虚像表示装置の表示部との関係も考慮して視認性を向上させることが好ましい。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、視認性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得部と、上記人物の眼球に関する眼球情報を取得する眼球情報取得部と、上記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、上記視界情報と上記眼球情報とに基づいて、上記視界に含まれる像における上記表示対象オブジェクトの表示態様を変更する制御を行う表示制御部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、視界情報と眼球情報とに基づいて、視界に含まれる像における表示対象オブジェクトの表示態様を変更するという作用をもたらす。
【０００９】
また、この第１の側面において、上記眼球情報取得部は、上記人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、上記人物の眼球の位置および上記眼球の視線方向を検出することにより上記眼球情報を取得するようにしてもよい。これにより、人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、人物の眼球の位置および眼球の視線方向を検出することにより眼球情報を取得するという作用をもたらす。
【００１０】
また、この第１の側面において、上記人物の視界に含まれる像を上記人物の眼に提供する表示部をさらに具備し、上記複数の撮像部は、上記表示対象オブジェクトを表示する上記表示部の表示面における端部に設けられるようにしてもよい。これにより、表示対象オブジェクトを表示する表示部の表示面における端部に設けられる複数の撮像部を用いるという作用をもたらす。
【００１１】
また、この第１の側面において、上記視界情報取得部は、上記人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、上記視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、上記視界に含まれる物体の深度を検出する深度検出処理とを行うことにより、上記視界に含まれる物体の位置に関する情報を上記視界情報として取得するようにしてもよい。これにより、人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、特徴点抽出処理および深度検出処理を行うことにより、視界に含まれる物体の位置に関する情報を視界情報として取得するという作用をもたらす。
【００１２】
また、この第１の側面において、上記人物の視界に含まれる像を上記人物の眼に提供する表示部をさらに具備し、上記表示制御部は、上記表示部の位置に関する位置情報と、上記視界情報と、上記眼球情報とに基づいて、上記表示態様を変更する制御を行うようにしてもよい。これにより、表示部の位置に関する位置情報と、視界情報と、眼球情報とに基づいて、表示態様を変更するという作用をもたらす。
【００１３】
また、この第１の側面において、上記表示部は、上記人物の視界に含まれる像を透過する表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて上記表示面に上記表示対象オブジェクトを表示する屈折式表示部であり、上記表示制御部は、上記表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、上記視界情報と、上記眼球情報とに基づいて、上記表示態様を変更する制御を行うようにしてもよい。これにより、表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、視界情報と、眼球情報とに基づいて、表示態様を変更するという作用をもたらす。
【００１４】
また、この第１の側面において、上記表示制御部は、上記表示対象オブジェクトの上記表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより上記表示態様を変更するようにしてもよい。これにより、表示対象オブジェクトの表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより表示態様を変更するという作用をもたらす。
【００１５】
また、この第１の側面において、上記表示制御部は、上記視界情報と上記眼球情報とに基づいて、上記表示対象オブジェクトの鮮鋭度を制御するようにしてもよい。これにより、視界情報と眼球情報とに基づいて、表示対象オブジェクトの鮮鋭度を制御するという作用をもたらす。
【００１６】
また、この第１の側面において、上記表示制御部は、上記表示対象オブジェクトを表示すべき上記視界における３次元上の位置に基づいて、上記表示対象オブジェクトの鮮鋭度を制御するようにしてもよい。これにより、表示対象オブジェクトを表示すべき視界における３次元上の位置に基づいて、表示対象オブジェクトの鮮鋭度を制御するという作用をもたらす。
【００１７】
また、この第１の側面において、上記表示制御部は、上記表示対象オブジェクトに対するボケ処理を行うことにより上記鮮鋭度を制御するようにしてもよい。これにより、表示対象オブジェクトに対するボケ処理を行うことにより鮮鋭度を制御するという作用をもたらす。
【００１８】
また、この第１の側面において、上記画像処理装置の姿勢の変化に関する姿勢情報を取得する姿勢情報取得部をさらに具備し、上記表示制御部は、上記視界情報と、上記眼球情報と、上記姿勢の変化に関する姿勢情報とに基づいて、上記表示態様を変更する制御を行うようにしてもよい。これにより、視界情報と眼球情報と姿勢情報とに基づいて、表示態様を変更するという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、視認性を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における画像処理装置１００の外観構成の一例を示す上面図である。
【図２】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【図４】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【図５】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【図６】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトのローカル座標系をグラスの表示座標系に変換する場合の手順の一例を示す図である。
【図７】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【図８】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。
【図９】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。
【図１０】本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。
【図１１】本技術の第１の実施の形態における画像処理装置１００によるスタビライザ処理の処理手順の一例を示すフローチャートである。
【図１２】本技術の第２の実施の形態における画像処理装置１００によるボケ処理の一例を模式的に示す図である。
【図１３】本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施した場合の表示例を示す図である。
【図１４】本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施する前の表示例（比較例）を示す図である。
【図１５】本技術の第２の実施の形態における画像処理装置１００によるボケ処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（視界情報および眼球情報に基づいて、表示対象オブジェクトの表示態様を補正する例）
２．第２の実施の形態（視界情報および眼球情報に基づいて、表示対象オブジェクトの鮮鋭度を制御する例）
【００２２】
＜１．第１の実施の形態＞
［画像処理装置の外観構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の外観構成の一例を示す上面図である。図１では、画像処理装置１００を人物の顔に装着した場合の眼球（右目）１１および眼球（左目）１２との関係を簡略化して示す。
【００２３】
画像処理装置１００は、外向き撮像部（Ｒ）１０１と、外向き撮像部（Ｌ）１０２と、内向き撮像部（Ｒ）１０３と、内向き撮像部（Ｌ）１０４と、表示部（Ｒ）１８１と、表示部（Ｌ）１８２と、赤外線発光装置１８３乃至１８６と、ブリッジ１９０とを備える。
【００２４】
画像処理装置１００は、例えば、ホログラム導光板方式光学技術を用いた透過式メガネ型の電子機器（例えば、メガネタイプのウェアラブル機器）とすることができる。また、例えば、画像処理装置１００は、イメージセンサ、加速度センサ、ジャイロスコープ、電子コンパス、照度センサ、マイク等の各種のセンシング機能を備えることができる。イメージセンサは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device Image Sensor）イメージセンサである。また、画像処理装置１００は、ＧＰＳ（Global Positioning System）による位置情報等を活用して、ユーザの状況に応じた情報を提供することができる。
【００２５】
赤外線発光装置１８３乃至１８６は、赤外線を発光する赤外線発光装置である。例えば、赤外線発光装置１８３、１８４を、表示部（Ｒ）１８１の表示面における両端部に設け、赤外線発光装置１８５、１８６を、表示部（Ｌ）１８２の表示面における両端部に設けることができる。ただし、各赤外線発光装置については、撮像動作を適切に行うことができる他の位置に配置するようにしてもよい。また、左右における各赤外線発光装置の設置数については、３以上とするようにしてもよい。
【００２６】
外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２は、画像処理装置１００を装着した人物の視界に含まれる被写体を撮像する撮像部である。すなわち、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２は、人物の視線方向に設けられている複数の撮像部である。
【００２７】
内向き撮像部（Ｒ）１０３と、内向き撮像部（Ｌ）１０４と、赤外線発光装置１８３乃至１８６とは、画像処理装置１００を装着した人物の目（例えば、眼球およびその周辺）を撮像する撮像部を構成するものである。すなわち、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４は、人物の眼球方向に設けられている複数の撮像部である。また、赤外線発光装置１８３、１８４が発光した赤外線が眼球に反射した光を、内向き撮像部（Ｒ）１０３が受像することにより、眼球（右目）１１の位置、視線の方向等を算出可能となる。同様に、赤外線発光装置１８５、１８６が発光した赤外線が眼球に反射した光を、内向き撮像部（Ｌ）１０４が受像することにより、眼球（左目）１２の位置、視線の方向等を算出可能となる。また、例えば、内向き撮像部（Ｒ）１０３は、表示部（Ｒ）１８１の表示面における端部に設け、内向き撮像部（Ｌ）１０４は、表示部（Ｌ）１８２の表示面における端部に設けることができる。
【００２８】
表示部（Ｒ）１８１および表示部（Ｌ）１８２は、画像処理装置１００を装着した人物に各種の画像を提供するためのグラス表示部である。例えば、ホログラム光学技術を採用する場合には、視野を遮るハーフミラーを使わず、高い透過性を有するホログラム光学素子を表示部（Ｒ）１８１、表示部（Ｌ）１８２とすることができる。
【００２９】
また、表示部（Ｒ）１８１、表示部（Ｌ）１８２として、ホログラム素子型の表示部以外に、ハーフミラー型の表示部、ビデオ透過型の表示部（例えば、シースルーではなく、外部カメラで外界を表示する表示部）、網膜投影型の表示部を用いるようにしてもよい。
【００３０】
ここで、ホログラム光学素子（表示部（Ｒ）１８１、表示部（Ｌ）１８２）は、ホログラム導光板技術により、光学エンジンから出射した映像光を表示させるための光学素子である。ここで、ホログラム導光板技術は、例えば、ガラス板の両端にホログラム光学素子を組み込むことにより、光学エンジンから出射した映像光を、非常に薄いガラス板の中を伝搬して、目まで届ける技術である。
【００３１】
このように、表示部（Ｒ）１８１、表示部（Ｌ）１８２は、人物の視界に含まれる像を透過する表示面を備え、人物の視界に含まれる像を人物の眼に提供する。また、画像処理装置１００を透過型メガネとする場合には、表示部（Ｒ）１８１、表示部（Ｌ）１８２のグラス部（表示面）の縁に配置されている光学エンジンからの屈折映像出力により、そのグラス部に像が結ばれる。すなわち、表示部（Ｒ）１８１、表示部（Ｌ）１８２を屈折式表示部とする場合には、表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて、表示面に表示対象オブジェクトを表示する。
【００３２】
ブリッジ１９０は、表示部（Ｒ）１８１、表示部（Ｌ）１８２をつなぐ部材である。ブリッジ１９０は、例えば、メガネのブリッジに相当する。
【００３３】
なお、図１では、説明の容易のため、外向き撮像部（Ｒ）１０１、外向き撮像部（Ｌ）１０２、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４のそれぞれを表示部（Ｒ）１８１、表示部（Ｌ）１８２の外側に配置する例を示す。ただし、これらの各撮像部については、撮像範囲（撮像方向（光軸方向）を含む）を適切に設定することができる他の位置に配置するようにしてもよい。
【００３４】
［画像処理装置の構成例］
図２は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００３５】
画像処理装置１００は、外向き撮像部（Ｒ）１０１と、外向き撮像部（Ｌ）１０２と、内向き撮像部（Ｒ）１０３と、内向き撮像部（Ｌ）１０４と、画像処理部１１１乃至１１４と、視界情報取得部１２０と、空間モデル作成部１３０と、ＤＢ（データベース）１４０と、眼球情報取得部１５０と、表示制御部１６０と、表示処理部１７０と、表示部（Ｒ）１８１と、表示部（Ｌ）１８２と、姿勢情報取得部１９５とを備える。
【００３６】
外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２は、ＳＬＡＭ（Simultaneous Localization and Mapping）に用いられる視野側を向いた複数のカメラである。なお、図２では、２つの外向き撮像部を設ける例を示すが、３以上の外向き撮像部を設けるようにしてもよい。
【００３７】
内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４は、画像処理装置１００を装着した人物の眼球の位置、動き、視線等を検出する際に用いる画像を生成するための複数の内向きカメラである。なお、図２では、２つの内向き撮像部を設ける例を示すが、３以上の内向き撮像部を設けるようにしてもよい。また、図２では、図示を省略するが、眼球の動きを撮影するための機器（例えば、赤外線発光装置（例えば、各撮像部に４個））は、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４のシステムに含まれるものとする。
【００３８】
画像処理部１１１は、外向き撮像部（Ｒ）１０１により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを視界情報取得部１２０に出力する。
【００３９】
画像処理部１１２は、外向き撮像部（Ｌ）１０２により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを視界情報取得部１２０に出力する。
【００４０】
画像処理部１１３は、内向き撮像部（Ｒ）１０３により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを眼球情報取得部１５０に出力する。
【００４１】
画像処理部１１４は、内向き撮像部（Ｌ）１０４により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを眼球情報取得部１５０に出力する。
【００４２】
視界情報取得部１２０は、画像処理部１１１、１１２から出力された画像データを用いて、視界情報（外向き撮像部（Ｒ）１０１、外向き撮像部（Ｌ）１０２の撮像範囲に含まれる物体に関する情報）を抽出するものである。そして、視界情報取得部１２０は、抽出された視界情報（例えば、物体の特徴点、物体の深度）を空間モデル作成部１３０に出力する。
【００４３】
例えば、視界情報取得部１２０は、周囲特徴点抽出処理により物体の特徴点を抽出する。なお、物体の特徴点は、例えば、物体の頂点とすることができる。
【００４４】
例えば、視界情報取得部１２０は、画像処理部１１１、１１２から出力された画像データに対応する画像（フレーム）全体から特徴点を抽出することができる。例えば、視界情報取得部１２０は、画像処理部１１１、１１２から出力された画像データに対応する画像（フレーム）のうち、最初の画像については、画像全体から特徴点を抽出する。また、最初の画像以外の画像（フレーム）については、直前の画像（フレーム）に対応する画像と比較して新しく撮像された領域部分から特徴点を抽出する。なお、特徴点として、例えば、縦方向および横方向にエッジの勾配が強い点を抽出することができる。この特徴点は、オプティカルフローの計算に強い特徴点であり、エッジ検出を用いて求めることができる。なお、ここでは、最初の画像については画像全体から特徴点を抽出し、最初の画像以外の画像については直前の画像と比較して新しく撮像された領域部分から特徴点を抽出する例を示す。しかしながら、処理能力等に応じて、最初の画像以外の各画像についても、画像全体から特徴点を抽出するようにしてもよい。
【００４５】
また、例えば、視界情報取得部１２０は、深度検出処理により物体の深度を検出する。なお、物体の深度は、例えば、奥行方向（視線方向）における距離である。
【００４６】
例えば、視界情報取得部１２０は、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２により生成された画像およびこの画像の生成時における各情報（例えば、レンズの位置および合焦位置）に基づいて、その画像に関する被写体距離を算出する。例えば、奥行マップ（デプスマップ（Depth Map））を生成し、この奥行マップに基づいて各領域に係る被写体距離を求めることができる。ここで、奥行マップは、被写体距離を表すデータにより構成されるマップである。この奥行マップの生成方法として、例えば、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等の方法を用いることができる。例えば、ＴＯＦ方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。
【００４７】
また、例えば、各撮像部の撮像素子として、例えば、射出瞳が異なる部分を透過した透過光を受光して位相差検出方式の焦点検出（位相差ＡＦ（Auto Focus））を行う撮像素子を用いることができる。この位相差ＡＦを行う撮像素子からは、画像信号（アナログ信号）とともに、位相差検出信号が出力される。このため、視界情報取得部１２０は、各撮像素子から出力された位相差検出信号に基づいて、各撮像素子から出力された画像信号に対応する画像における各領域の被写体距離を算出することができる。
【００４８】
また、例えば、視界情報取得部１２０は、ＳＬＡＭ技術により画像処理装置１００の位置推定と環境マップの作成とを同時に行うことができる。
【００４９】
このように、視界情報取得部１２０は、画像処理装置１００が装着されている人物の視界に含まれる像に関する視界情報（外部情報）を取得する。例えば、視界情報取得部１２０は、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２により生成された画像に基づいて、視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、視界に含まれる物体の深度を検出する深度検出処理とを行う。そして、視界情報取得部１２０は、その視界に含まれる物体の位置に関する情報を視界情報として取得する。なお、視界情報取得部１２０は、特許請求の範囲に記載の視線情報取得部の一例である。
【００５０】
ＤＢ（データベース）１４０は、表示部（Ｒ）１８１、表示部（Ｌ）１８２に仮想的なオブジェクト（空間モデル）を表示させるための情報（空間モデル情報）を記憶するデータベースであり、記憶されている空間モデル情報を空間モデル作成部１３０に供給する。また、過去に作成された空間モデル（例えば、特徴点および深度により特定されるオブジェクト）をＤＢ１４０に記憶しておき、この空間モデルと、これ以降に作成される空間モデルとを比較するようにしてもよい。
【００５１】
空間モデル作成部１３０は、視界情報取得部１２０から出力された視界情報と、ＤＢ１４０から供給された空間モデル情報とに基づいて、表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示させる物体に関する情報（空間モデル表示情報）を作成するものである。そして、空間モデル作成部１３０は、その作成した空間モデル表示情報を表示制御部１６０に供給する。
【００５２】
眼球情報取得部１５０は、画像処理部１１３、１１４から出力された画像データを用いて、眼球情報を検出するものであり、検出された眼球情報を表示制御部１６０に出力する。ここで、眼球情報は、例えば、眼球の位置、視線、眼球における虹彩の位置（例えば、虹彩中心）およびサイズ、眼球における瞳孔の位置およびサイズ、眼軸角度である。なお、虹彩は、眼球の色がついている部分である。また、瞳孔は、虹彩の真ん中に存在する部分（「黒目」と呼ばれている部分）である。また、眼球の位置として、例えば、眼球における位置、３次元上の位置、表示部（Ｒ）１８１、表示部（Ｌ）１８２の表示面からの距離等を求めることができる。
【００５３】
例えば、眼球情報取得部１５０は、画像認識技術を用いて、眼球情報（例えば、眼球の位置、眼球における虹彩の位置およびサイズ、眼球における瞳孔の位置およびサイズ）を検出することができる。また、例えば、眼球情報取得部１５０は、検出された眼球情報（例えば、眼球の位置、眼球における虹彩の位置、眼球における瞳孔の位置の各移動）を用いて、視線を検出することができる。
【００５４】
眼球検出方法として、例えば、眼球の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる眼球の色の部分や眼球の特徴量等に基づいた検出方法等を用いることができる。
【００５５】
また、他の眼球検出方法を用いるようにしてもよい。例えば、画像処理部１１３、１１４から出力された画像データを２値化し、１画面における２値化データに基づいて黒目を検出するようにしてもよい。例えば、画像処理部１１３、１１４から出力された画像データを２値化して、水平方向（左右方向）における各ラインの黒画素および白画素を判定する。そして、水平方向において、所定範囲内の数の白画素が連続した後に所定範囲内の数の黒画素が連続し、かつ、その連続する黒画素の後に所定範囲内の数の白画素が連続するラインを、黒目領域の候補ラインとして抽出する。そして、垂直方向（上下方向）において、その抽出された候補ラインとして、所定範囲内の数のラインが連続している領域を抽出して、その領域を黒目領域として検出することができる。
【００５６】
また、眼球運動の計測装置を用いて、黒目を検出するようにしてもよい。例えば、赤外ＬＥＤ（Light Emitting Diode）からの赤外光を眼球に当て、反射してきた光を受光器で検出することにより、黒目部分の位置を特定することができる。
【００５７】
また、例えば、他の赤外線発光装置を用いて眼球を検出することができる。例えば、瞳孔検出処理および輝点検出処理により視線認識を実現する場合に、外光の影響を受けないためと、角膜からの鏡面反射を防ぐために、赤外線を使用することができる。
【００５８】
また、視線検出の精度を上げる手段として、角膜曲率中心を求める場合には、最大４点の赤外光源の反射（輝点、赤円）を検出することができる。
【００５９】
なお、これらの眼球情報の検出方法（例えば、視線検出）は、一例であり、これら以外にも複数の技術を応用することにより、高精度の視線検出を実現することができる。
【００６０】
このように、眼球情報取得部１５０は、人物の眼球に関する眼球情報を取得する。例えば、眼球情報取得部１５０は、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４により生成された画像に基づいて、人物の眼球の位置および眼球の視線方向を検出することにより、眼球情報を取得する。
【００６１】
表示制御部１６０は、各画像（例えば、表示対象オブジェクト）を表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示させるための制御を行うものである。例えば、表示制御部１６０は、空間モデル作成部１３０から出力された空間モデル表示情報と、眼球情報取得部１５０から出力された眼球情報とに基づいて、表示位置算出処理、画像効果処理、画像重畳処理等を行う。
【００６２】
表示制御部１６０は、例えば、ホストＣＰＵ（Central Processing Unit）により実現される。なお、上述した各部のうちの一部をホストＣＰＵにより実現することができる。
【００６３】
表示処理部１７０は、表示制御部１６０の制御に基づいて、表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示させる画像について各種画像処理を行うものである。例えば、表示制御部１６０は、視界情報と、眼球情報と、姿勢の変化に関する姿勢情報とに基づいて、表示対象オブジェクトの表示態様を変更する制御を行う。
【００６４】
姿勢情報取得部１９５は、画像処理装置１００の加速度、動き、傾き等を検出することにより画像処理装置１００の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢情報を表示制御部１６０に出力する。なお、姿勢情報取得部１９５として、例えば、ジャイロセンサ、加速度センサ等の各種センサを用いることができる。
【００６５】
また、画像処理装置１００は、表示オブジェクトに対する２つの機能（スタビライザ、深度補正）を備える。
【００６６】
ここで、スタビライザは、表示オブジェクトを、外部座標における所望の位置に表示する機能である。言い換えると、スタビライザは、表示オブジェクトを、外部座標の期待した位置に見えるようにする機能である。このスタビライザによる表示例を図３に示す。
【００６７】
［スタビライザによる表示例］
図３は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【００６８】
図３では、画像処理装置１００と、外部オブジェクトＡ（２０１）、Ｂ（２０２）と、表示対象オブジェクトＸ（２０３）との関係を上から見た場合の例を示す。なお、画像処理装置１００の上面図については、図１に示す例と同様である。ただし、図３では、眼球（右目）１１および眼球（左目）１２が、表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示される表示対象オブジェクトＸ（２０３）を見る方向に移動している場合の例を示す。
【００６９】
外部オブジェクトＡ（２０１）、Ｂ（２０２）は、実際に存在する物体である。なお、図３では、説明の容易のため、外部オブジェクトＡ（２０１）、Ｂ（２０２）を矩形状の物体２０１、２０２として示す。
【００７０】
表示対象オブジェクトＸ（２０３）は、スタビライザにより表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示される物体を仮想的に示すものである。図３では、外部オブジェクトＡ（２０１）およびＢ（２０２）の間に、表示対象オブジェクトＸ（２０３）を表示する場合の例を示す。
【００７１】
ここで、上述したように、透過型メガネは、グラス部の縁に配置されている光学エンジンの屈折映像出力により、表示部（Ｒ）１８１、表示部（Ｌ）１８２のグラス部に像が結ばれる。このため、図３では、表示部（Ｒ）１８１、表示部（Ｌ）１８２の実際の表示位置に相当するものを仮想表示画面位置２１１、２１２として示す。
【００７２】
仮想表示画面位置２１１、２１２は、スタビライザにより表示対象オブジェクトＸ（２０３）を表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示する場合に、表示対象オブジェクトＸ（２０３）を表示する仮想的な表示位置である。
【００７３】
また、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０３）の表示位置を表示位置２１３で示す。また、仮想表示画面位置２１２における表示対象オブジェクトＸ（２０３）の表示位置を表示位置２１４で示す。
【００７４】
［画像処理装置が移動した場合の補正前の表示例（比較例）］
図４は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【００７５】
図４では、図３に示すように、表示対象オブジェクトＸが表示されている場合に、何らかの要因で、眼球および画像処理装置１００の位置が移動した場合の例（補正前の表示例）を示す。この例は、図５の比較例として示す。
【００７６】
図４では、移動前の画像処理装置１００、眼球（右目）１１、眼球（左目）１２を点線で示す。この点線で示す画像処理装置１００、眼球（右目）１１、眼球（左目）１２の各位置は、図３に示す位置に対応する。また、移動後の画像処理装置１００、眼球（右目）１１、眼球（左目）１２を実線で示す。
【００７７】
また、図４では、移動前の仮想表示画面位置２１１、２１２を通常の点線で示す。この通常の点線で示す仮想表示画面位置２１１、２１２の各位置は、図３に示す位置に対応する。また、移動後の仮想表示画面位置２１１、２１２を太い点線で示す。
【００７８】
図４に示すように、画像処理装置１００の位置の変化に応じて、仮想表示画面位置２１１、２１２が変化する。また、眼球（右目）１１、眼球（左目）１２の位置も変化する。このため、表示対象オブジェクトＸ（２０５）は、意図しない位置（物体２０２と同じ位置）に表示されることがある。
【００７９】
そこで、本技術の第１の実施の形態では、画像処理装置１００の位置や眼球の位置が変化したような場合であっても、表示対象オブジェクトＸの位置を適切に表示させる例を示す。
【００８０】
［画像処理装置が移動した場合の補正後の表示例］
図５は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
【００８１】
図６は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトのローカル座標系をグラスの表示座標系に変換する場合の手順の一例を示す図である。
【００８２】
図５では、図４に示す例において、表示対象オブジェクトＸの表示位置を移動させることにより、表示対象オブジェクトＸの位置を適切に表示させる例を示す。
【００８３】
例えば、表示部（Ｒ）１８１および表示部（Ｌ）１８２の表示面に対して垂直（または、略垂直）となる方向（視線方向）に延びる線分であって、表示対象オブジェクトＸ（２０４）を配置すべき位置から延びる線分を線分３０で示す。
【００８４】
また、水平方向における線分３０と眼球（右目）１１（虹彩中心）との距離をＷ１とし、水平方向における表示部（Ｒ）１８１の表示面と眼球（右目）１１との距離（線分３０上の距離）をＬ１とする。また、水平方向における表示部（Ｒ）１８１の表示面と表示対象オブジェクトＸ（２０４）との距離（線分３０上の距離）をＬ２とする。また、水平方向における表示部（Ｒ）１８１の表示面と仮想表示画面位置２１１との距離（線分３０上の距離）をＬ３とする。
【００８５】
なお、距離Ｌ１およびＷ１は、眼球情報取得部１５０から出力される眼球情報に基づいて求めることができる。また、距離Ｌ２およびＬ３は、表示対象オブジェクトＸに基づいて取得することができる。
【００８６】
この場合には、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０４）の水平方向における表示位置２２１は、次の式により求めることができる。
Ｗ２＝{（Ｌ２−Ｌ３）／（Ｌ２＋Ｌ１）}Ｗ１
【００８７】
ここで、Ｗ２は、仮想表示画面位置２１１と線分３０との交点から表示位置２２１までの距離である。
【００８８】
このように、三角関数の公式により、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０４）の水平方向における表示位置２２１（Ｗ２）を求めることができる。また、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０４）の垂直方向における表示位置２２１についても、同様に求めることができる。また、仮想表示画面位置２１２における表示対象オブジェクトＸ（２０４）の水平方向および垂直方向における表示位置２２２についても、同様に求めることができる。
【００８９】
また、視線方向を回転軸として眼球と画像処理装置１００との関係が回転した場合には、その回転に応じて、仮想表示画面位置における表示対象オブジェクトＸ（２０４）の表示態様を変更するようにする。例えば、その回転方向の反対方向に表示対象オブジェクトＸを回転させて表示するようにする。
【００９０】
また、距離Ｌ１の変化に応じて、仮想表示画面位置における表示対象オブジェクトＸ（２０４）の表示サイズを変更するようにする。
【００９１】
これらの各処理は行列式によって算出される。この手順の一例（ステップＳ７０１乃至Ｓ７０５）を、図６に示す。例えば、眼球の移動により、ビュー座標系が変化する。この場合に、その移動に対応する眼球の移動ベクトルを移動行列としてビュー変換行列Ｖに乗算して算出された行列をＶ'とすると、ビュー変換行列がＶ→Ｖ'に変化する。また、ビューポイントの変化により、プロジェクション変換行列Ｐ、スクリーン変換行列Ｓを算出するためのパラメータにも変化がある。このため、眼球の移動により、プロジェクション変換行列がＰ→Ｐ'となり、スクリーン変換行列がＳ→Ｓ'となる。また、これらの各値に基づいて最終的にグラスの表示座標を算出することができる。
【００９２】
このように、補正処理を実施することにより、表示対象オブジェクトＸの位置を、移動前の位置に留まるようにすることができる。
【００９３】
［人物の視線が移動した場合の補正例］
図７は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。図７では、画像処理装置１００を装着した人物の視線の動きに対するスタビライザ例を示す。
【００９４】
図７では、最初に、仮想表示画面位置３００における表示位置３０１に表示されている表示対象オブジェクト３０３を、眼球２０が見ている場合（視線３０５）の例を示す。この場合に、眼球２０が左側に移動して視線が移動した場合を想定する。このように、眼球２０が移動した場合には、仮想表示画面位置３００における表示位置３０１に表示されている表示対象オブジェクトを眼球２０が見ると、表示対象オブジェクト３０４が見えるようになる（線分３０６）。
【００９５】
そこで、眼球２０が左側に移動して視線が移動した場合には、上述した補正処理を行うことにより、仮想表示画面位置３００における表示位置３０１を表示位置３０２に移動するようにする。これにより、眼球２０が移動した場合でも、仮想表示画面位置３００における表示位置３０２に表示されている表示対象オブジェクト３０３を眼球２０が見ることができる（線分３０７）。
【００９６】
このように、画像処理装置１００を装着した人物が、左右に視線を移動したような場合には、上述した補正処理を行うことにより表示対象オブジェクトを適切に表示することができる。
【００９７】
［座標変換例］
ここで、表示対象オブジェクトをスクリーン上（表示部（Ｒ）１８１、表示部（Ｌ）１８２の表示画面上）に表示するための座標変換処理について説明する。
【００９８】
表示対象オブジェクトの情報は、ローカル座標であるため、スクリーン上に表示するためには、座標変換処理をする必要がある。
【００９９】
例えば、３Ｄのオブジェクトデータを２Ｄのスクリーン（例えば、透過型メガネ）に表示するために必要な一般的な処理について説明する。例えば、ローカル座標→ワールド座標変換処理、ワールド座標→ビュー座標変換処理、ビュー座標→プロジェクション座標変換処理、プロジェクション座標→スクリーン座標変換処理が一般的な処理となる。
【０１００】
ここで、ローカル座標→ワールド座標変換処理は、各オブジェクトが外界の何処に配置されているかを変換する処理である。
【０１０１】
また、ワールド座標→ビュー座標変換処理は、カメラ（画像処理装置１００）が外界の何処に配置されているかを変換するための処理である。
【０１０２】
また、ビュー座標→プロジェクション座標変換処理は、スクリーン（表示部（Ｒ）１８１、表示部（Ｌ）１８２の表示画面上）が何処に配置されているかを変換するための処理である。
【０１０３】
また、プロジェクション座標→スクリーン座標変換処理は、表示対象オブジェクトをスクリーン上の何処に表示するかを変換するための処理である。
【０１０４】
ただし、実際には、射影変換（前後関係により、他のオブジェクトの影に入れる処理）、テクスチャマッピング、ライティング等の処理も必要となる。ただし、ここでは、説明の容易のため、座標系に限定した処理についてのみ示す。
【０１０５】
例えば、画像処理装置１００を装着した人物の目の位置（カメラ位置）が、グラス（表示部（Ｒ）１８１、表示部（Ｌ）１８２）に対して固定されている場合において、目の位置がグラスに対して移動する場合を想定する。この場合には、内向きカメラ（内向き撮像部（Ｒ）１０３、内向き撮像部（Ｌ）１０４）により生成された画像に基づいて眼球位置を算出し、グラスに対する目の位置の移動を把握することができる。このため、上述したワールド座標→ビュー座標変換処理において、グラスに対する目の位置の移動に基づいて、固定されていた目の位置（カメラ位置）と、グラス（表示部（Ｒ）１８１、表示部（Ｌ）１８２）の位置との関係を補正する。
【０１０６】
また、上述したビュー座標→プロジェクション座標変換処理と、プロジェクション座標→スクリーン座標変換処理とにおいて、画像処理装置１００を装着した人物の目の位置およびスクリーン位置を考慮した座標変換を行う。
【０１０７】
ここで、ビュー座標変換では、表示対象オブジェクトのワールド座標、目のワールド座標、グラスの上方向座標の各座標情報に基づいて変換行列を求めることができる。
【０１０８】
［表示対象オブジェクトの表示例］
図８乃至図１０は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。なお、図８乃至図１０では、画像処理装置１００およびその周辺の一部のみを矩形内に示す。
【０１０９】
図８には、画像処理装置１００の表示部（Ｌ）１８２を保持するフレーム４０１と、表示部（Ｌ）１８２に表示される矢印（表示対象オブジェクト）４０２との関係を示す。図８に示すように、画像処理装置１００の表示部（Ｌ）１８２のレンズを通して、実際に存在するものを見ることができる。なお、図８では、説明の容易のため、実際に存在するものの一例としてマス目を示す。
【０１１０】
また、画像処理装置１００の表示部（Ｌ）１８２には、矢印（表示対象オブジェクト）４０２を表示させることができる。
【０１１１】
図９には、画像処理装置１００が傾いた場合の表示例を示す。図９のａには、画像処理装置１００の傾きに応じて矢印（表示対象オブジェクト）４０２を補正した場合の表示例を示す。図９のｂには、画像処理装置１００の傾きに応じた補正を行わない場合の表示例を示す。
【０１１２】
図９のｂに示すように、補正処理を行わない場合には、画像処理装置１００の傾きに応じて矢印（表示対象オブジェクト）４０２が傾く。
【０１１３】
一方、図９のａに示すように、補正処理を行う場合には、画像処理装置１００の傾きに応じて矢印（表示対象オブジェクト）４０２を補正するため、矢印（表示対象オブジェクト）４０２が傾かない。
【０１１４】
図１０には、画像処理装置１００が水平に移動した場合の表示例を示す。図１０のａには、画像処理装置１００の水平への移動に応じて矢印（表示対象オブジェクト）４０２を補正した場合の表示例を示す。図１０のｂには、画像処理装置１００の水平への移動に応じた補正を行わない場合の表示例を示す。
【０１１５】
図１０のｂに示すように、補正処理を行わない場合には、画像処理装置１００の水平への移動に応じて矢印（表示対象オブジェクト）４０２が移動する。
【０１１６】
一方、図１０のａに示すように、補正処理を行う場合には、画像処理装置１００の水平への移動に応じて矢印（表示対象オブジェクト）４０２を補正するため、矢印（表示対象オブジェクト）４０２が移動しない。
【０１１７】
このように、補正処理を行うことにより、外部オブジェクトに対して、矢印（表示対象オブジェクト）４０２が固定しているように見せることができる。
【０１１８】
［画像処理装置の動作例（スタビライザ処理例）］
図１１は、本技術の第１の実施の形態における画像処理装置１００によるスタビライザ処理の処理手順の一例を示すフローチャートである。
【０１１９】
最初に、視界情報取得部１２０は、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２のそれぞれにより生成された画像を用いて、視界情報を抽出する（ステップＳ８０１）。例えば、視界情報取得部１２０は、外部特異点および加速度センサ値を視界情報として取得する（ステップＳ８０１）。なお、この例では、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２のそれぞれにより生成された画像を用いて視界情報を取得する例を示すが、他の方法により視界情報を取得するようにしてもよい。例えば、姿勢情報取得部１９５（例えば、加速度センサ）から加速度センサ値を取得するようにしてもよい。なお、ステップＳ８０１は、特許請求の範囲に記載の視界情報取得手順の一例である。
【０１２０】
続いて、空間モデル作成部１３０は、視界情報取得部１２０により抽出された視界情報に基づいて、外部オブジェクトの絶対座標を算出する（ステップＳ８０２）。また、空間モデル作成部１３０は、視界情報取得部１２０により抽出された視界情報と、ＤＢ１４０に記憶されている表示対象オブジェクト情報とに基づいて、絶対座標上での表示対象オブジェクトＸの表示座標を確定する（ステップＳ８０２）。
【０１２１】
このように、複数の外向きカメラによるマルチＳＬＡＭにより、外部オブジェクトの絶対座標を算出し、絶対座標上での表示対象オブジェクトＸの表示座標を確定する。
【０１２２】
続いて、眼球情報取得部１５０は、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４のそれぞれにより生成された画像を用いて、眼球情報を抽出する（ステップＳ８０３）。例えば、眼球情報取得部１５０は、眼球における虹彩中心点の絶対座標と、眼球の視線ベクトルとを眼球情報として求める（ステップＳ８０３）。なお、ステップＳ８０３は、特許請求の範囲に記載の眼球情報取得手順の一例である。
【０１２３】
続いて、表示制御部１６０は、取得された各情報に基づいて、仮想表示画面位置２１１、２１２における表示対象オブジェクトＸの表示位置、表示サイズ、表示方向を決定する（ステップＳ８０４）。例えば、表示制御部１６０は、虹彩中心点の絶対座標と、表示対象オブジェクトＸの表示座標と、仮想表示画面位置２１１、２１２の絶対座標とに基づいて、仮想表示画面位置２１１、２１２における表示対象オブジェクトＸの表示位置、表示サイズ、表示方向を決定する。
【０１２４】
続いて、表示制御部１６０は、決定された内容（仮想表示画面位置２１１、２１２における表示対象オブジェクトＸの表示位置、表示サイズ、表示方向）に基づいて、表示対象オブジェクトＸの補正処理を行う（ステップＳ８０５）。なお、ステップＳ８０４、Ｓ８０５は、特許請求の範囲に記載の制御手順の一例である。
【０１２５】
続いて、表示対象オブジェクトの表示を終了するか否かが判断される（ステップＳ８０６）。表示対象オブジェクトの表示を終了する場合には（ステップＳ８０６）、スタビライザ処理の動作を終了する。一方、表示対象オブジェクトの表示を終了しない場合には（ステップＳ８０６）、ステップＳ８０１に戻る。
【０１２６】
このように、表示制御部１６０は、人物の視界に含まれる像に表示対象オブジェクトを重ねて表示させることができる。また、表示制御部１６０は、視界情報と眼球情報とに基づいて、人物の視界に含まれる像における表示対象オブジェクトの表示態様を変更する制御を行うことができる。例えば、表示制御部１６０は、表示対象オブジェクトの表示部（Ｒ）１８１および表示部（Ｌ）１８２の表示面における表示位置と、表示角度と、表示サイズとのうちの少なくとも１つを変更することにより、表示態様を変更することができる。
【０１２７】
例えば、表示制御部１６０は、表示部（Ｒ）１８１および表示部（Ｌ）１８２の位置に関する位置情報と、視界情報と、眼球情報とに基づいて、表示対象オブジェクトの表示態様を変更する制御を行うことができる。また、例えば、表示制御部１６０は、表示対象オブジェクトを仮想的に表示する表示位置（例えば、仮想表示画面位置）に関する位置情報と、視界情報と、眼球情報とに基づいて、表示対象オブジェクトの表示態様を変更する制御を行うことができる。例えば、これらの各情報により特定される各位置の相対関係に基づいて、表示対象オブジェクトの表示態様を変更することができる。
【０１２８】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、視界情報および眼球情報に基づいて、表示対象オブジェクトの表示態様を補正する例を示した。
【０１２９】
本技術の第２の実施の形態では、視界情報および眼球情報に基づいて、表示対象オブジェクトの鮮鋭度を制御する例を示す。すなわち、人物の視線検出に基づいて、奥行き方向のボケ処理（ピント処理、深度補正処理）を行う例を示す。なお、本技術の第２の実施の形態では、ボケ処理を行う例のみを示すが、スタビライズおよびボケ処理を同時に行うようにしてもよい。
【０１３０】
なお、本技術の第２の実施の形態における画像処理装置の構成については、図１および図２等に示す画像処理装置１００と略同一である。このため、本技術の第１の実施の形態と共通する部分については、本技術の第１の実施の形態と同一の符号を付してこれらの説明の一部を省略する。
【０１３１】
［視線検出に基づくボケ処理例］
図１２は、本技術の第２の実施の形態における画像処理装置１００によるボケ処理の一例を模式的に示す図である。
【０１３２】
図１２では、画像処理装置１００を装着した人物のピントが表示対象オブジェクトＸに合ってない場合には、表示対象オブジェクトＸにボケ処理を施す例（視線検出に基づくボケ処理例）を示す。具体的には、画像処理装置１００を装着した人物が遠くを見た場合と、近くを見た場合とを、その人物の視線によって検出する。そして、表示対象オブジェクトＸにピントが合ってない場合には、表示対象オブジェクトＸに深度に合わせたボケ処理を施す例（視線検出に基づくボケ処理例）を示す。
【０１３３】
ここで、被写体深度と視線とのボケ処理の関係について説明する。本技術の第２の実施の形態では、以下を考慮してボケ処理を行う例を示す。
【０１３４】
［視力に応じたボケ処理例（視線に関わらずかける処理）］
本技術の第２の実施の形態では、視力に応じたボケ処理を、焦点距離に関わらず、常に処理する例を示す。この視力に応じたボケ処理を行う場合には、グラス（画像処理装置１００）をかけている人物の視力を予め入力（または、調整）する必要がある。
【０１３５】
例えば、視力１．０の人物に関するボケ処理を行う場合を想定する。この場合には、視力１．０の人物に対して、１０ｍ先の対象オブジェクトで３０ｍｍのＧａｕｓｓｉａｎ  Ｂｌｕｒのボケ処理をかけるようにする。ここで、Ｇａｕｓｓｉａｎ  Ｂｌｕｒ（ガウシアンぼかし）は、ボケ処理を行う画像処理の一例である。
【０１３６】
例えば、視力１．０の人物は、１０ｍ先の１５ｃｍのランドルト環（「Ｃ」のマーク）を認識することができると定義されている。例えば、１５ｃｍのランドルト環を認識することができる分解能を３０ｍｍのＧａｕｓｓｉａｎ  ｂｌｕｒをかけたレベルとする場合には、視力係数と同じ計算式で表現すると、Ｋｇ＝１００００／３０＝３３３となる。
【０１３７】
そこで、表示対象オブジェクトＸまでの距離をＸ１ｃｍとすると、視力１．０で必要とされるＧａｕｓｓｉａｎ  ｂｌｕｒの直径は、ｘ／３３３となる。なお、この例では、説明の容易のため、比較的簡単な計算例を示したが、実際には、人間の視力により近いＧａｕｓｓｉａｎ  ｂｌｕｒを使用することが好ましい。
【０１３８】
［表示対象オブジェクトＸまでの距離Ｘ１と焦点位置Ｘ１'によるボケ処理例（視線によって変化する処理）］
例えば、人間の目の性能を、カメラ（例えば、デジタルスチルカメラ）の指標で表すと、人間の目のＦ値は、約１．０であると言われている。また、人間の目は、状況によって焦点距離が２８ｍｍ乃至１３０ｍｍぐらいの範囲で変化すると言われている。
【０１３９】
そこで、焦点距離５０ｍｍ、Ｆ値１．０に基づいて「焦点距離５０ｍｍ／Ｆ値１．０＝有効径５０」を標準有効径とし、視線検出によって焦点距離に合ったボケ処理を行うことができる。
【０１４０】
例えば、表示対象オブジェクトＸまでの距離Ｘ１によって次のように定義する。
【０１４１】
例えば、Ｘ１≦Ａ１（例えば、Ａ１は約１０ｃｍ）の場合には、調整不可処理を行う。この調整不可処理では、例えば、視線検出結果に関わらず、ｔｅｌｅボケ処理を実施する。この場合には、０に近づく程、ボケ処理を大きくする。
【０１４２】
また、例えば、Ａ１＜Ｘ１≦Ａ２（例えば、Ａ２は２０乃至５０ｃｍ）の場合には、マクロ処理を行う。このマクロ処理では、上述した調整不可処理の追加処理として、次の視線検出によるボケ処理を実施する。
（１）焦点距離が表示対象オブジェクトＸに合っている場合には、ボケ処理を実施しない。ただし、上述した視力に応じたボケ処理は実施する。
（２）焦点距離が表示対象オブジェクトＸよりも近い場合には、有効径５０乃至８５相当のボケ処理を実施する。すなわち、ボケ処理を大目に実施する。
（３）焦点距離が表示対象オブジェクトＸよりも遠い場合には、有効径２８乃至５０相当のボケ処理を実施する。すなわち、ボケ処理を少な目に実施する。
【０１４３】
また、Ａ２＜Ｘ１の場合には、標準処理を行う。この標準処理では、例えば、上述した調整不可処理の追加処理として、有効径５０相当のボケ処理を実施する。
【０１４４】
ここで、画像処理装置１００を装着している人物は、片目を瞑る、または、手で片目を隠す等により、片目で見ていることも想定される。この場合には、片目で見ている場合のボケ処理（片目用ボケ処理）を実施する。
【０１４５】
片目用ボケ処理では、例えば、上述したマクロ処理および標準処理を、有効径３５相当のボケ処理で実施する。
【０１４６】
このように、ボケ処理を実施することにより、例えば、表示対象オブジェクトしか視界に存在しないような場合（例えば、暗闇）でも、表示対象オブジェクトまでの距離を正しく認識することができる。このため、表示対象オブジェクトの大きさを正しく認識することができる。
【０１４７】
［ボケ処理を実施した場合の比較例］
ここでは、図１３および図１４を参照して、上述したボケ処理による効果の概要を示す。
【０１４８】
図１３は、本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施した場合の表示例を示す図である。
【０１４９】
図１４は、本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施する前の表示例（比較例）を示す図である。
【０１５０】
図１３および図１４には、表示部（Ｒ）１８１、表示部（Ｌ）１８２の何れかに表示される画像（人物の目に入射する像）の一例（画像６００、６１０）を示す。画像６００、６１０に対応する撮像範囲には、人物から比較的近い位置（手側前の位置）に配置されている物体（円錐）６０１と、人物から比較的離れている位置（奥側の位置）に配置されている物体（円柱）６０２とが含まれているものとする。また、人物の視線は、物体（円錐）６０１にピントが合っているが、物体（円柱）６０２はピントが合わずにボケて見えるものとする。
【０１５１】
このような場合に、表示対象オブジェクト（球）を物体（円柱）６０２とほぼ同じ位置（奥側の位置）に配置して表示させる場合を想定する。
【０１５２】
例えば、図１４に示すように、ボケ処理を行わずに、表示対象オブジェクト（球）６１１を表示させる場合を想定する。この場合には、物体（円柱）６０２はピントが合わずにボケて見えるにも関わらず、表示対象オブジェクト（球）６１１はピントが合って見える。このように、ほぼ同じ位置（奥側の位置）に配置されている一方の物体（物体（円柱）６０２）はボケて見え、他方の物体（表示対象オブジェクト（球）６１１）はピントが合って見えると、これらを見ている人物に違和感を与えることになる。
【０１５３】
そこで、図１３に示すように、上述したボケ処理を実施して表示対象オブジェクト（球）６０３を表示させる場合を想定する。この場合には、物体（円柱）６０２および表示対象オブジェクト（球）６１１はピントが合わずにボケて見える。このように、ほぼ同じ位置（奥側の位置）に配置されている２つの物体（物体（円柱）６０２および表示対象オブジェクト（球）６１１）が同じようにボケて見えるため、これらを見ている人物に違和感を与えない。
【０１５４】
［画像処理装置の動作例（ボケ処理例）］
図１５は、本技術の第２の実施の形態における画像処理装置１００によるボケ処理の処理手順の一例を示すフローチャートである。
【０１５５】
最初に、表示制御部１６０は、眼球情報取得部１５０からの眼球情報に基づいて、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２を両目で見ているか否かを判断する（ステップＳ８１１）。すなわち、表示制御部１６０は、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２の双方を見ているか否かを判断する（ステップＳ８１１）。
【０１５６】
画像処理装置１００を装着している人物が両目で見ていない場合には（ステップＳ８１１）、表示制御部１６０は、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２を片目で見ているか否かを判断する（ステップＳ８１２）。すなわち、表示制御部１６０は、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２のうちの何れか一方を見ているか否かを判断する（ステップＳ８１２）。画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２を片目で見ていない場合（すなわち、表示部（Ｒ）１８１および表示部（Ｌ）１８２の双方を見ていない場合）には（ステップＳ８１２）、ボケ処理等を行う必要がない。このため、ボケ処理の動作を終了する。
【０１５７】
画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２のうちの何れか一方を見ている場合には（ステップＳ８１２）、表示制御部１６０は、片目用ボケ処理を実施する（ステップＳ８１３）。例えば、上述したマクロ処理および標準処理を、有効径３５相当のボケ処理で実施する。
【０１５８】
画像処理装置１００を装着している人物が両目で見ている場合には（ステップＳ８１１）、表示制御部１６０は、表示対象オブジェクトＸまでの距離Ｘ１がＡ１以下であるか否かを判断する（ステップＳ８１４）。表示対象オブジェクトＸまでの距離Ｘ１がＡ１以下である場合には（ステップＳ８１４）、表示制御部１６０は、調整不可処理を行う（ステップＳ８１５）。この調整不可処理では、例えば、視線検出結果に関わらず、ｔｅｌｅボケ処理を実施する（ステップＳ８１５）。
【０１５９】
表示対象オブジェクトＸまでの距離Ｘ１がＡ１よりも長い場合には（ステップＳ８１４）、表示制御部１６０は、表示対象オブジェクトＸまでの距離Ｘ１がＡ２以下であるか否かを判断する（ステップＳ８１６）。表示対象オブジェクトＸまでの距離Ｘ１がＡ２よりも長い場合には（ステップＳ８１６）、表示制御部１６０は、標準処理を行う（ステップＳ８１７）。この標準処理では、例えば、上述した調整不可処理の追加処理として、有効径５０相当のボケ処理を実施する。
【０１６０】
表示対象オブジェクトＸまでの距離Ｘ１がＡ２以下である場合には（ステップＳ８１６）、表示制御部１６０は、焦点距離が表示対象オブジェクトＸに合っているか否かを判断する（ステップＳ８１８）。焦点距離が表示対象オブジェクトＸに合っている場合には（ステップＳ８１８）、表示制御部１６０は、視力に応じたボケ処理を実施する（ステップＳ８１９）。
【０１６１】
焦点距離が表示対象オブジェクトＸに合っていない場合には（ステップＳ８１８）、表示制御部１６０は、焦点距離が表示対象オブジェクトＸよりも近いか否かを判断する（ステップＳ８２０）。焦点距離が表示対象オブジェクトＸよりも近い場合には（ステップＳ８２０）、表示制御部１６０は、有効径５０乃至８５相当のボケ処理を実施する（ステップＳ８２２）。すなわち、ボケ処理を大目に実施する。
【０１６２】
焦点距離が表示対象オブジェクトＸよりも近くない場合（焦点距離が表示対象オブジェクトＸよりも遠い場合）には（ステップＳ８２０）、表示制御部１６０は、有効径２８乃至５０相当のボケ処理を実施する（ステップＳ８２１）。すなわち、ボケ処理を少な目に実施する。
【０１６３】
このように、表示制御部１６０は、視界情報および眼球情報に基づいて、表示対象オブジェクトの鮮鋭度を制御することができる。例えば、表示制御部１６０は、表示対象オブジェクトを表示すべき視界における３次元上の位置（例えば、被写体までの距離）に基づいて、表示対象オブジェクトの鮮鋭度を制御することができる。例えば、表示制御部１６０は、表示対象オブジェクトに対するボケ処理を行うことにより、その鮮鋭度を制御することができる。
【０１６４】
ここで、例えば、表示対象オブジェクトを外部オブジェクトに対して固定された座標上に表示する場合を想定する。例えば、加速度センサを用いて、表示対象オブジェクトの表示位置を、画像処理装置の動作方向とは逆方向に移動させることにより表示する方法（第１方法）が考えられる。また、例えば、ＳＬＡＭを用いて表示部の絶対位置を算出することにより、表示対象オブジェクトの座標軸を算出して表示する方法（第２方法）が考えられる。
【０１６５】
しかしながら、第１方法では、少し顔を動かすだけで表示対象オブジェクトが振動して見えるおそれがある。また、第１方法では、加速度センサの精度が低いことも想定される。この場合には、表示対象オブジェクトを適切な表示位置とすることができないおそれがある。また、仮に、加速度センサの精度として１００％の精度が得られたとしても、外部オブジェクトに対する精度は表示部に対してのみ有効となる。この場合にも、少し顔を動かすだけで表示対象オブジェクトが振動して見えるおそれがある。
【０１６６】
このため、第１方法では、表示対象オブジェクトが見難い、表示対象オブジェクトを見ていると酔う等の症状が出るおそれがある。
【０１６７】
また、第２方法では、表示された画像のピントが常に合っており、かつ、外部に起点となる対象物が無い場合（例えば、暗闇）には、表示対象オブジェクトが目の前（例えば、仮想表示部の位置）に表示されている錯覚に陥ってしまうおそれがある。また、第２方法では、外部オブジェクトの位置測定として、正確なカメラ位置出しを行えるＳＬＡＭは有効な手段であるが、精度は表示部に対してのみ有効となる。この場合にも、少し顔を動かすだけで表示対象オブジェクトが振動して見えるおそれがある。
【０１６８】
このため、第２方法では、表示対象オブジェクトが見難い、表示対象オブジェクトを見ていると酔う等の症状が出るおそれがある。
【０１６９】
ここで、例えば、画像処理装置を装着している人物が歩いている場合に、その歩く振動により表示部も振動してしまうことがある。この場合には、視認部の位置（例えば、左右の眼球位置）に対して表示部が変化することが想定される。また、例えば、画像処理装置を装着している人物が眉毛を動かす場合、近くを見た後に遠くを見る場合（または、その逆の場合）、左右に視線を移す場合等には、眼球位置が動く。この場合には、表示部に対して視認部の位置（例えば、左右の眼球位置）が変化することが想定される。
【０１７０】
しかしながら、第１方法および第２方法では、視認部の位置と表示部との関係が変化することについて考慮されていない。そこで、視認部の位置と表示部との関係が変化することを考慮して、表示対象オブジェクトを、外部オブジェクトに対して固定された座標軸上に正確に表示することが重要となる。
【０１７１】
そこで、本技術の第１の実施の形態では、複数の外向きカメラと、複数の内向きカメラとを用いて、外界の対象物、画像処理装置、眼球に関する各情報（例えば、位置情報）を検出して使用し、表示画像について適切な補正を行う。これにより、表示画像のブレを軽減することができる。また、仮想画面の位置を適切に制御することができる。
【０１７２】
これにより、表示対象オブジェクトの揺れを防止することができる。また、視認性を飛躍的に向上させることができる。また、より強い現実感を得ることができる。また、表示に対して、脳が受ける違和感を少なくすることができる。これにより、長時間視聴の疲労を緩和することができ、酔い止めを防止することができる。これらにより、透過型ウェアラブルグラスの快適なアプリケーションを実現することができる。
【０１７３】
言い換えると、表示対象オブジェクトを、外界に違和感なく溶け込んだ状態で表示することができる。また、視認性を向上させることができ、３Ｄ酔いを防止し、長時間視聴時の疲労を緩和することができる。
【０１７４】
言い換えると、視覚上、表示対象オブジェクトを、より安定、かつ、自然に、外部オブジェクトに対して固定された座標上に表示することができる。
【０１７５】
また、本技術の第２の実施の形態によれば、表示対象オブジェクトの目的とする深度に基づいて、表示対象オブジェクトの鮮鋭度を適切に制御することができる。
【０１７６】
このように、本技術の実施の形態によれば、視認性を向上させることができる。
【０１７７】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１７８】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１７９】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１８０】
なお、本技術は以下のような構成もとることができる。
（１）
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得部と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得部と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御を行う表示制御部と
を具備する画像処理装置。
（２）
前記眼球情報取得部は、前記人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、前記人物の眼球の位置および前記眼球の視線方向を検出することにより前記眼球情報を取得する前記（１）に記載の画像処理装置。
（３）
前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
前記複数の撮像部は、前記表示対象オブジェクトを表示する前記表示部の表示面における端部に設けられる
前記（２）に記載の画像処理装置。
（４）
前記視界情報取得部は、前記人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、前記視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、前記視界に含まれる物体の深度を検出する深度検出処理とを行うことにより、前記視界に含まれる物体の位置に関する情報を前記視界情報として取得する前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
前記表示制御部は、前記表示部の位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記表示部は、前記人物の視界に含まれる像を透過する表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて前記表示面に前記表示対象オブジェクトを表示する屈折式表示部であり、
前記表示制御部は、前記表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
前記（５）に記載の画像処理装置。
（７）
前記表示制御部は、前記表示対象オブジェクトの前記表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより前記表示態様を変更する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記表示制御部は、前記視界情報と前記眼球情報とに基づいて、前記表示対象オブジェクトの鮮鋭度を制御する前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
前記表示制御部は、前記表示対象オブジェクトを表示すべき前記視界における３次元上の位置に基づいて、前記表示対象オブジェクトの鮮鋭度を制御する前記（８）に記載の画像処理装置。
（１０）
前記表示制御部は、前記表示対象オブジェクトに対するボケ処理を行うことにより前記鮮鋭度を制御する前記（８）または（９）に記載の画像処理装置。
（１１）
前記画像処理装置の姿勢の変化に関する姿勢情報を取得する姿勢情報取得部をさらに具備し、
前記表示制御部は、前記視界情報と、前記眼球情報と、前記姿勢の変化に関する姿勢情報とに基づいて、前記表示態様を変更する制御を行う
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
を具備する画像処理方法。
（１３）
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１８１】
１００  画像処理装置
１０１  外向き撮像部（Ｒ）
１０２  外向き撮像部（Ｌ）
１０３  内向き撮像部（Ｒ）
１０４  内向き撮像部（Ｌ）
１１１〜１１４  画像処理部
１２０  視界情報取得部
１３０  空間モデル作成部
１４０  ＤＢ（データベース）
１５０  眼球情報取得部
１６０  表示制御部
１７０  表示処理部
１８１  表示部（Ｒ）
１８２  表示部（Ｌ）
１８３〜１８６  赤外線発光装置
１９０  ブリッジ
１９５  姿勢情報取得部
【図１】
2017091190.tif 000003
【図２】
2017091190.tif 000004
【図３】
2017091190.tif 000005
【図４】
2017091190.tif 000006
【図５】
2017091190.tif 000007
【図６】
2017091190.tif 000008
【図７】
2017091190.tif 000009
【図８】
2017091190.tif 000010
【図９】
2017091190.tif 000011
【図１０】
2017091190.tif 000012
【図１１】
2017091190.tif 000013
【図１２】
2017091190.tif 000014
【図１３】
2017091190.tif 000015
【図１４】
2017091190.tif 000016
【図１５】
2017091190.tif 000017