(57)【要約】【課題】非平面環境においても実環境とのずれがより少ないビデオシースルー表示を行う。【解決手段】表示装置であって、表示手段と、内側カメラと、外側カメラと、前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、特徴点の位置情報を取得する位置情報取得手段と、ユーザの視点位置を表す視点位置情報を取得する視点位置情報取得手段と、前記外側カメラの姿勢を表す姿勢情報を取得する姿勢情報取得手段と、前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出する変換行列算出手段と、前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換する変換手段と、を含み、前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する。【選択図】図３
2015022589.tif 000002
【特許請求の範囲】
【請求項１】
スクリーンを含む表示手段と、
前記表示手段の表示方向と同じ方向に向けて配置された内側カメラと、
前記表示方向と反対方向に向けて配置された外側カメラと、
前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、前記３次元空間における特徴点の位置情報を取得する位置情報取得手段と、
前記内側カメラにより取得された画像情報に基づいてユーザの視点位置を表す視点位置情報を取得する視点位置情報取得手段と、
前記外側カメラの姿勢を表す姿勢情報を取得する姿勢情報取得手段と、
前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出する変換行列算出手段と、
前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換する変換手段と、を含み、
前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する、
ことを特徴とする表示装置。
【請求項２】
前記ホモグラフィ変換行列算出手段は、前記特徴点を前記スクリーン上に透視投影変換した位置と、前記変換行列を用いて前記特徴点を前記スクリーン上にホモグラフィ変換した位置との距離が最小となる変換行列を算出することを特徴とする請求項１記載の表示装置。
【請求項３】
前記特徴点は複数の特徴点であって、
前記ホモグラフィ変換行列算出手段は、前記各特徴点を前記スクリーン上に透視投影変換した位置と、前記変換行列を用いて前記各特徴点を前記スクリーン上にホモグラフィ変換した位置との各距離に特徴点毎に所定の重み付けをした値の和が最小となる変換行列を算出することを特徴とする請求項１記載の表示装置。
【請求項４】
前記表示装置は、更に、
前記内側カメラにより取得された画像情報に基づいて、ユーザの注目対象を抽出する注目領域検出手段と、
前記複数の特徴点のうち、前記注目領域に含まれる各特徴点への重み付け値が他の特徴点よりも大きくなるように重み付け値を求める重み付け手段と、を含み、
前記重み付けは、前記重み付け値に基づいて行われる、
ことを特徴とする請求項３記載の表示装置。
【請求項５】
前記表示装置は、更に、前記ホモグラフィ変換された画像情報に仮想オブジェクトを重畳する重畳手段を含むことを特徴とする請求項１乃至４のいずれかに記載の表示装置。
【請求項６】
前記重畳手段は、前記仮想オブジェクトを前記スクリーンへ透過投影変換して、前記ホモグラフィ変換された画像情報に重畳することを特徴とする請求項５に記載の表示装置。
【請求項７】
前記重畳手段は、前記仮想オブジェクトを前記外側カメラの画像面上に透視投影変換した上で前記ホモグラフィ変換した画像情報を、前記ホモグラフィ変換された画像情報に重畳することを特徴とする請求項５に記載の表示装置。
【請求項８】
前記表示装置は、更に、前記仮想オブジェクト上の特徴点の位置情報を表す仮想オブジェクト情報を取得する仮想オブジェクト情報取得手段を含み、
前記変換行列算出手段は、更に、前記仮想オブジェクトの位置情報に基づいて、前記ホモグラフィ変換行列を算出することを特徴とする請求項５に記載の表示装置。
【請求項９】
前記重畳手段は、前記仮想オブジェクトを前記外側カメラの画像面上に透視投影変換した上で前記ホモグラフィ変換した画像情報を、前記ホモグラフィ変換された画像情報に重畳することを特徴とする請求項８に記載の表示装置。
【請求項１０】
スクリーンを含む表示手段と、
前記表示手段の表示方向と同じ方向に向けて配置された内側カメラと、
前記表示方向と反対方向に向けて配置された外側カメラと、を含む表示装置において、
位置情報取得手段により、前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、前記３次元空間における特徴点の位置情報を取得し、
視点位置情報取得手段により、前記内側カメラにより取得された画像情報に基づいてユーザの視点位置を表す視点位置情報を取得し、
姿勢情報取得手段により、前記外側カメラの姿勢を表す姿勢情報を取得し、
変換行列算出手段により、前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出し、
変換手段により、前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換し、
前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する、
ことを特徴とする表示方法。
【請求項１１】
スクリーンを含む表示手段と、
前記表示手段の表示方向と同じ方向に向けて配置された内側カメラと、
前記表示方向と反対方向に向けて配置された外側カメラとを含むコンピュータシステムにおいて、
前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、前記３次元空間における特徴点の位置情報を取得する位置情報取得手段、
前記内側カメラにより取得された画像情報に基づいてユーザの視点位置を表す視点位置情報を取得する視点位置情報取得手段、
前記外側カメラの姿勢を表す姿勢情報を取得する姿勢情報取得手段、
前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出する変換行列算出手段、及び
前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換する変換手段、
としてコンピュータシステムを機能させ、
前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する、
ことを特徴とする表示プログラム。
【請求項１２】
請求項１１に記載の表示プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示方法、表示プログラム、及び、表示プログラムを記憶した情報記憶媒体に関する。
【背景技術】
【０００２】
近年、拡張現実(Augmented Reality)技術が利用されている。具体的には、例えば、下記非特許文献１には、内側カメラ及び外側カメラを有するとともに表示画面を有するタブレット端末において、三次元空間における平面環境の三次元位置が与えられたとき内側カメラからユーザ視点の三次元位置を取得し、ホモグラフィ(homography)変換により、端末の画面部分が透けているように画像を表示（ビデオシースルー表示）する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】タブレット型情報端末における拡張現実感のための実映像の幾何学的補正法、喜瀬川  拓也、奈良先端科学技術大学院大学修士論文（NAIST-IS-MT0851027）、2012年2月2日
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、適用される環境が限定されるという問題がある。具体的には、上記従来技術内で使用されるホモグラフィ変換は、平面環境に限定して適用できるにすぎず、非平面環境への適用が課題であった。
【０００５】
本発明は、上記課題に鑑みて上記のような撮影環境に限定されず、非平面環境においても実環境とのずれがより少なく端末の画面部分が透けて見えるような画像を表示することのできる表示装置、表示方法、表示プログラム、表示プログラムを記憶した情報記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、スクリーンを含む表示手段と、前記表示手段の表示方向と同じ方向に向けて配置された内側カメラと、前記表示方向と反対方向に向けて配置された外側カメラと、前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、前記３次元空間における特徴点の位置情報を取得する位置情報取得手段と、前記内側カメラにより取得された画像情報に基づいてユーザの視点位置を表す視点位置情報を取得する視点位置情報取得手段と、前記外側カメラの姿勢を表す姿勢情報を取得する姿勢情報取得手段と、前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出する変換行列算出手段と、前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換する変換手段と、を含み、前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する、ことを特徴とする。
【０００７】
本発明の表示方法は、スクリーンを含む表示手段と、前記表示手段の表示方向と同じ方向に向けて配置された内側カメラと、前記表示方向と反対方向に向けて配置された外側カメラと、を含む表示装置において、位置情報取得手段により、前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、前記３次元空間における特徴点の位置情報を取得し、視点位置情報取得手段により、前記内側カメラにより取得された画像情報に基づいてユーザの視点位置を表す視点位置情報を取得し、姿勢情報取得手段により、前記外側カメラの姿勢を表す姿勢情報を取得し、変換行列算出手段により、前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出し、変換手段により、前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換し、前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する、ことを特徴とする。
【０００８】
本発明の表示プログラムは、スクリーンを含む表示手段と、前記表示手段の表示方向と同じ方向に向けて配置された内側カメラと、前記表示方向と反対方向に向けて配置された外側カメラとを含むコンピュータシステムにおいて、前記外側カメラにより取得された３次元空間における非平面環境を含む画像情報に基づいて、前記３次元空間における特徴点の位置情報を取得する位置情報取得手段、前記内側カメラにより取得された画像情報に基づいてユーザの視点位置を表す視点位置情報を取得する視点位置情報取得手段、前記外側カメラの姿勢を表す姿勢情報を取得する姿勢情報取得手段、前記特徴点の位置情報、前記ユーザ視点位置情報、及び、前記姿勢情報に基づいて、前記特徴点の前記スクリーンへの透過投影変換に近似するホモグラフィ変換を表す変換行列を算出する変換行列算出手段、及び、前記外側カメラにより取得された画像情報を、前記変換行列を用いてホモグラフィ変換する変換手段としてコンピュータシステムを機能させ、前記表示手段は、前記ホモグラフィ変換された画像情報を前記スクリーンに表示する、ことを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態における表示装置の外形の一例を示す図である。
【図２】第１の実施の形態における表示装置のハードウェア構成の概要を示す図である。
【図３】図２に示した制御部の機能的構成の一例を示す図である。
【図４】ピンホールカメラモデルを用いたユーザの視点位置と外側カメラによる透視投影変換について説明するための図である。
【図５】仮想オブジェクトの一例について説明するための図である。
【図６】仮想オブジェクトの他の一例について説明するための図である。
【図７】第１の実施の形態における表示装置のフローの概要の一例を示す図である。
【図８】第２の実施の形態における制御部の機能的構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【００１１】
[第１の実施形態]
図１は、本実施の形態における表示装置の外形の一例を示す図である。図１に示すように、表示装置１００は、例えば、タブレット等の携帯端末であって、スクリーン１０１と、内側カメラ１０２、及び、外側カメラ１０３を含む。
【００１２】
具体的には、例えば、図１（Ａ）に示すように、表示装置１００は、板状であって、当該表示装置１００の第１の面に平面状のスクリーン１０１を有する。当該スクリーン１０１は、例えば、画像を表示するスクリーン１０１として機能するとともに、タッチパネルとして機能してもよい。
【００１３】
表示装置１００はスクリーン１０１の周辺の所定の位置に、内側カメラ１０２を有する。また、図１（Ｂ）に示すように表示装置１００の第１の面に対向する第２の面の所定の位置に外側カメラ１０３を有する。ここで、内側カメラ１０２及び外側カメラ１０３としては、例えば、ＣＣＤカメラを用いる。
【００１４】
なお、図１に示した表示装置１００の形状や、スクリーン１０１、内側カメラ１０２、及び外側カメラ１０３の位置や大きさ等は、一例であって、本実施の形態はこれに限定されるものではない。
【００１５】
図２は、本実施の形態における表示装置のハードウェア構成の概要について説明するための図である。本実施の形態における表示装置１００は、図２に示すように、例えば、制御部２０１、記憶部２０２、操作部２０３、表示部２０４、内側カメラ１０２、外側カメラ１０３を含む。なお、各部は、内部バス１０９により互いに接続される。
【００１６】
制御部２０１は、例えば、ＭＰＵやＣＰＵであって、記憶部２０２に格納されたプログラムに従って動作する。
【００１７】
記憶部２０２は、例えば、ＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部２０１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部２０２は、制御部２０１のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワーク等を介して、ダウンロードされて提供されてもよいし、または、カード型メモリ等のコンピュータで読み取り可能な各種の情報記憶媒体によって提供されてもよい。
【００１８】
操作部２０３は、例えば、複数のボタンまたはタッチパネル等のインターフェースで構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部２０１に出力する。表示部２０４は、上記スクリーン１０１に対応し、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部２０１からの指示に従い、情報を表示する。なお、上記構成は一例であって、本実施の形態はこれに限定されるものではない。例えば、表示装置１００は、更に、電話機能や通信機能を有してもよい。
【００１９】
次に、制御部２０１の機能的構成の一例について説明する。図３は、図２に示した制御部の機能的構成の一例を示す図である。
【００２０】
図３に示すように、制御部２０１は、機能的に、例えば、内側カメラ画像情報取得部３０１、外側カメラ画像情報取得部３０２、視点位置情報取得部３０３、位置情報取得部３０４、姿勢情報取得部３０５、変換行列算出部３０６、変換部３０７、仮想オブジェクト情報取得部３０８、判定部３０９、及び重畳部３１０を含む。
【００２１】
内側カメラ画像情報取得部３０１は、内側カメラ１０２により撮影された画像情報を取得する。また、外側カメラ画像情報取得部３０２は、外側カメラ１０３により撮影された画像情報を取得する。
【００２２】
視点位置情報取得部３０３は、内側カメラ１０２により撮影された画像情報に基づいて、当該表示装置１００を使用するユーザの視点位置情報を取得する。具体的には、視点位置情報取得部３０３は、内側カメラ１０２により撮影された画像情報に含まれるユーザの目の位置に基づいて、視点位置を取得する。
【００２３】
位置情報取得部３０４は、外側カメラ１０３により取得された画像情報に基づいて、実環境における特徴点の位置情報を取得する。また、姿勢情報取得部３０５は、外側カメラ１０３の姿勢を表す姿勢情報を取得する。ここで、当該姿勢情報と当該特徴点の位置情報は、例えば、周知のVisual SLAMを用いて、同時に実時間で推定することによって取得される。
【００２４】
変換行列算出部３０６は、上記特徴点の位置情報、姿勢情報、及び、視点位置情報に基づいて、ホモグラフィ変換行列を算出する。具体的には、例えば、実環境における各特徴点をスクリーン１０１上に透視投影変換した位置と、当該各特徴点をスクリーン１０１上にホモグラフィ変換した位置との各距離ｄの和が最小になるホモグラフィ変換行列を算出する。より具体的には、例えば、下記式（１）を用いて算出する。なお、当該距離としては、例えば、二乗距離の他、その他の距離を用いてもよい。
【数１】
2015022589.tif 000003
【００２５】
上記式（１）において、Ｆは特徴点の３次元位置の集合を示し、Ｈはホモグラフィ変換行列を示す。また、ＰＵＰＲは、ユーザの視点位置を投影中心としたピンホールカメラモデルにおけるスクリーン１０１上の位置への透視投影変換を示す変換行列を表し、ＰＤＰＲは、外側カメラのレンズ中心を投影中心としたピンホールカメラモデルにおける特徴点の外側カメラの画像上の位置への変換を示す透視投影を示す変換行列を表す。
【００２６】
ここで、ピンホールカメラモデルとは、カメラによる結像の仕組みをレンズによる収差のない透視投影変換で近似したモデルである。図４において、Viewpointｖが上記視点位置情報に対応し、Display Dが上記スクリーン１０１に対応し、ｘが特徴点の位置情報に対応する。また、ｕＤが特徴点ｘがスクリーン１０１上に透視投影変換された位置に対応し、ｕＣ１が特徴点の外側カメラ１０３の画像上での位置に対応する。更に、カメラＣ１が外側カメラに対応する。なお、当該ピンホールモデル等の詳細については、周知であることから、詳細な説明については省略する。また、図４からわかるように、上記ｖ、ｘ、ｕＤ、ｕＣ１等はベクトルを表す。
【００２７】
変換部３０７は、上記のように算出されたホモグラフィ変換行列を用いて、外側カメラ１０３により取得された画像情報を算出されたホモグラフィ変換行列に基づいて、ホモグラフィ変換する。仮想オブジェクト情報取得部３０８は、例えば、予め記憶部２０２に記憶された１または複数の仮想オブジェクトの特徴点の位置情報を含む仮想オブジェクト情報を取得する。
【００２８】
ここで、仮想オブジェクトとは、例えば、広告表示や案内表示等であって、本実施の形態においては、後述するように、実環境に当該仮想オブジェクトに対応するオブジェクトが存在すると判定した場合には、スクリーン１０１上に表示されたオブジェクトに重畳して表示されるオブジェクトに相当する。より具体的には、例えば、図５に示すように、スクリーン１０１上にビデオシースルー表示されたＡ大学のビルを示すように表示されたＡ大学の文字を含むオブジェクトや、図６に示すように、スクリーン上にビデオシースルー表示された所定の本に重ねて所定の識別表示されたオブジェクトに相当する。なお、各仮想オブジェクトの画像情報は、例えば、対応する仮想オブジェクトの特徴点に関連付けられて、記憶部２０２に記憶される。
【００２９】
判定部３０９は、当該仮想オブジェクト情報と視点位置情報取得部３０３で取得された視点位値情報、位置情報取得部３０４で取得された特徴点の位置関係を比較し、外側カメラ１０３で取得された画像情報中に、あらかじめ設定された仮想オブジェクトを重畳するオブジェクトが存在するか否かを判定する。
【００３０】
重畳部３１０は、判定部３０９の判定結果に応じて、当該仮想オブジェクトをホモグラフィ変換された画像情報に重畳する。そして、表示部２０４は、判定部３０９が、仮想オブジェクトを重畳すべきオブジェクトが存在しないと判定した場合には、上記ホモグラフィ変換された画像情報を表示する。つまり、仮想オブジェクトは表示せずに、単に実環境をビデオシースルー表示する。
【００３１】
一方、判定部３０９が、仮想オブジェクトを重畳すべきオブジェクトが存在すると判定した場合には、当該仮想オブジェクトがホモグラフィ変換された画像情報に重畳された画像情報を表示する。例えば、この場合、重畳部３１０は、上記ホモグラフィ変換した画像情報と、仮想オブジェクト（仮想オブジェクトに対応する実環境におけるオブジェクト）を上記ＨＰＤＰＲで変換した（ＰＤＰＲを用いて外側カメラ１０３で取得された画像上の位置へ変換するとともにＨを用いてホモグラフィ変換した）画像情報を合成し、表示部２０４は、当該合成された画像情報を表示する。
【００３２】
なお、上記ホモグラフィ変換した画像情報に、仮想オブジェクトを視点位置が投影中心である透視投影変換（ＰＵＰＲで変換）した画像情報を合成してもよい。なお、上記においては実際に重畳する場合において説明したが、本実施の形態における重畳には、例えば、仮想オブジェクトに対応するオブジェクトを指示するなどその他の形式を表示する場合も含まれる。
【００３３】
次に、図７を用いて、当該表示装置１００のフローの概要の一例について説明する。なお、下記のフローは一例であって、本実施の形態におけるフローは下記に限定されるものではない。また、下記においては、説明の簡略化のため、仮想オブジェクトが重畳表示される場合を例として説明する。
【００３４】
まず、外側カメラ１０３及び内側カメラ１０２は、それぞれ画像情報を取得する（Ｓ１０１）。位置情報取得部３０４は、外側カメラ１０３により取得された画像情報に基づいて、特徴点の位置情報を取得する（Ｓ１０２）。姿勢情報取得部３０５は、表示装置１００の姿勢を表す姿勢情報を取得する（Ｓ１０３）。
【００３５】
視点位置情報取得部３０４は、内側カメラ１０２からの画像情報に基づいて、ユーザの視点位置情報を取得する（Ｓ１０４）。変換行列算出部３０６は、上記特徴点の位置情報、姿勢情報、視点位置情報に基づいて、変換行列を算出する（Ｓ１０５）。変換部３０７は、外側カメラ１０３により取得された画像情報を、上記変換行列に基づいて、ホモグラフィ変換する（Ｓ１０６）。
【００３６】
重畳部３１０は、上述した判定部３０９の判定結果に応じて、対応する仮想オブジェクトをホモグラフィ変換された画像情報に重畳する（Ｓ１０７）。表示部２０４は、上記ホモグラフィ変換された画像情報を、スクリーン１０１に表示する（Ｓ１０８）。
【００３７】
なお、図７に示した上記フローは、一例にすぎず、本実施の形態はこれに限られるものではない。例えば、Ｓ１０２の特徴点の位置情報取得やＳ１０３の姿勢情報取得は、上記のように同時に行ってもよい。また、Ｓ１０４の視点位置情報の取得は、Ｓ１０２やＳ１０３と同時に行ってもよい。更に、上記においては、仮想オブジェクトを重畳して、いわゆる拡張現実を実現する表示装置１００について説明したが、Ｓ１０７を省略して、仮想オブジェクトの重畳を行わないビデオシースルー型の表示装置１００を実現するように構成してもよいし、ユーザが選択できるように構成してもよい。
【００３８】
本実施の形態によれば、非平面環境においても実際の環境とのずれがより少ない、端末の画面部分が透けているように画像を表示（ビデオシースルー表示）することができる。また、例えば、タブレット等の携帯端末に搭載可能な装置のみで、実時間で上記のような画像を表示することができる。更に、仮想オブジェクトを重畳させる場合には、より少ない探索時間で当該仮想オブジェクトに対応する実物のオブジェクトをユーザに認識させることができる。
【００３９】
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。
【００４０】
例えば、変換行列算出部３０６によるホモグラフィ変換行列の算出においては、更に、仮想オブジェクトの特徴点に基づいてホモグラフィ変換行列を算出するように構成してもよい。具体的には、例えば、下記式（２）に示すように、特徴点に仮想オブジェクトの特徴点を含め、Ｅ（Ｈ’）を最小にするホモグラフィ変換行列（Ｈ’）を算出する。
【数２】
2015022589.tif 000004
【００４１】
この場合、変換部３０７は、上記Ｈ’で外側カメラ１０３からの画像情報をホモグラフィ変換するとともに、上記ＰＤＰＲで仮想オブジェクトを透視投影変換したのち上記Ｈ’でホモグラフィ変換し、重畳部３１０は、これらの変換結果を合成し、表示部２０４は当該合成された画像情報を表示する。    
【００４２】
[第２の実施形態]
次に、本発明の第２の実施形態を説明する。本実施の形態においては、主に、ホモグラフィ変換行列の算出において、各特徴点をスクリーン１０１上に透視投影変換した位置と、当該各特徴点をスクリーン１０１上にホモグラフィ変換した位置との各距離に所定の重み付けを行った上で、当該和が最小になるホモグラフィ変換行列を算出する点が、上記第１の実施形態と異なる。なお、下記においては、第１の実施形態と同様である点については説明を省略する。
【００４３】
図８は、本実施の形態における制御部の機能的構成の一例を示す図である。図８に示すように、本実施の形態においては、制御部２０１は、機能的に更に注目領域検出部３１１及び重み付け部３１２を有する。
【００４４】
注目領域検出部３１１は、内側カメラ１０２からの画像情報に基づいて、ユーザが注視する注目領域を抽出する。具体的には、例えば、ユーザの目線に基づく注視点から所定の範囲を注目領域として抽出する。重み付け部３１２は、上記注目領域に含まれる各特徴点への重み付け値が他の特徴点よりも大きくなるように重み付け値を求める。
【００４５】
そして、変換行列算出部３０６は、各特徴点をスクリーン１０１上に透視投影変換した位置と、当該各特徴点をスクリーン１０１上にホモグラフィ変換した位置との各距離に上記各特徴点に対応する重み付け値で重み付けを行った上で、当該和が最小になるホモグラフィ変換行列を算出する。具体的には、例えば、変換行列算出部３０６は、下記式（３）に基づいて、変換行列を算出する。
【数３】
2015022589.tif 000005
【００４６】
上記式（３）においては、ｗｘが重み付けする値を表す。また、重み付け部３１２は、重み付け値を、例えば、下記式（４）を用いて算出する。
【数４】
2015022589.tif 000006
【００４７】
ここで、ａは注視点の位置に対応し、ｒｔｈは、所定の閾値を示す。重み付け部３１２は、上記式（４）からわかるように、例えば、注視点ａとスクリーン１０１上に投影された特徴点との距離が所定の閾値ｒｔｈ以下の場合には、ｗ０（ｗ０は１よりも大きな値で、例えば２のｎ乗（ｎは自然数））を重み付け値とし、所定の閾値ｒｔｈより大きい場合には、１を重み付け値とする。その他の点は、上記第１の実施形態と同様であるため、説明を省略する。
【００４８】
本実施の形態によれば、上記第１の実施形態と同様に、非平面環境においても実際の環境とのずれがより少なく端末の画面部分が透けているように画像を表示することができる。また、例えば、タブレット等の携帯端末に搭載可能な装置のみで、実時間で上記のような画像を表示することができる。更に、仮想オブジェクトを重畳させる場合には、より少ない探索時間で当該仮想オブジェクトに対応する実物のオブジェクトをユーザに認識させることができる。
【００４９】
更に、本実施の形態によれば、ユーザが位置ずれを認識しやすい重要な部分に位置ずれが生じることを更に抑制することができる。
【００５０】
なお、上記重み付けは一例であって、本実施の形態はこれに限られるものではない。例えば、上記においては、注目領域に含まれる特徴点に他の特徴点よりも大きな重み付けを行う場合について説明したが、顕著性の高いパターンをあらかじめ記憶しておき、当該顕著性の高いパターンに含まれる特徴点に対応する距離により大きな重み付け値を付与するように構成してもよい。これにより、例えば、ユーザが位置ずれを認識しやすい重要な部分に位置ずれが生じることを抑制することができる。
【００５１】
また、特徴点が外側カメラ１０３の視野角周辺に至るに従い、当該特徴点に対応する距離への重み付けが小さくなるように構成してもよい。この場合、具体的には、例えば、重み付け部３１２は、下記式（５）を用いて、重み付け値を求める。
【数５】
2015022589.tif 000007
【００５２】
上記（５）式において、ｃは画像中心の位置を示し、γは所定の重みの増加率計数を示す。これにより、表示装置１００を移動させる際に外側カメラ１０３が取得する特徴点の集合が移動方向に移り変わっていくことにより生じる、表示画像のジッタを軽減することができる。なお、上記各重み付けは組み合わせて用いてもよいし、ユーザが選択できるように構成してもよい。
【００５３】
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。
【符号の説明】
【００５４】
１００  表示装置、１０１  スクリーン、１０２  内側カメラ、１０３  外側カメラ、２０１  制御部、２０２  記憶部、２０３  操作部、２０４  表示部、３０１  内側カメラ画像情報取得部、３０２  外側カメラ画像情報取得部、３０３  視点位置情報取得部、３０４  位置情報取得手段、３０５  姿勢情報取得手段、３０６  変換行列算出部、３０７  変換部、３０８  仮想オブジェクト情報取得部、３０９  判定部、３１０  重畳部、３１１  注目領域検出部、３１２  重み付け部。
【図１】
2015022589.tif 000008
【図２】
2015022589.tif 000009
【図３】
2015022589.tif 000010
【図４】
2015022589.tif 000011
【図５】
2015022589.tif 000012
【図６】
2015022589.tif 000013
【図７】
2015022589.tif 000014
【図８】
2015022589.tif 000015