(57)【要約】【課題】透過型HMDにより視認される現実環境に関連情報を付加して提示する際、透過型HMD画面上の最適な位置に対象物に関連する情報を付加提示すること。【解決手段】三次元位置取得手段14は、対象物の三次元位置情報を取得する。関連情報取得手段15は、画像認識手段12で特定された対象物の関連情報をデータベースなど取得する。表示位置特定手段16は、表示手段17で画面を介して現実環境で視認される対象物の領域あるいはその近傍にその関連情報の表示位置を特定し、表示手段18に表示させる。【選択図】図１
2010205030.tif 000002
【特許請求の範囲】
【請求項１】
二次元画像データを取得する第１のステップと、
前記第１のステップにより取得された二次元画像データから対象物を認識し、その固有情報および二次元画像での二次元位置情報を特定する第２のステップと、
深さ画像データを取得する第３のステップと、
前記第２のステップにより特定された対象物の二次元位置情報と前記第３のステップにより取得された深さ画像データとから対象物の三次元位置情報を取得する第４のステップと、
前記第２のステップにより特定された対象物の固有情報に基づいて該対象物についての関連情報を取得する第５のステップと、
前記第５のステップにより取得された関連情報の表示位置を、前記第２のステップにより特定された対象物の二次元位置情報および前記第４のステップにより取得された対象物の三次元位置情報を用いて特定する第６のステップと、
前記第５のステップにより取得された関連情報を、前記第６のステップにより特定された表示位置に表示する第７のステップを備え、
前記第７のステップは、表示画面を通して現実環境を視認可能に関連情報を表示し、前記第６のステップは、現実環境で視認される対象物の領域あるいはその近傍にその関連情報の表示位置を特定することを特徴とする関連情報表示位置特定方法。
【請求項２】
二次元画像データを取得する二次元画像取得手段と、
前記二次元画像取得手段により取得された二次元画像データから対象物を認識し、その固有情報および二次元画像での二次元位置情報を特定する画像認識手段と、
深さ画像データを取得する深さ画像取得手段と、
前記画像認識手段により特定された対象物の二次元位置情報と前記深さ画像取得手段により取得された深さ画像データとから対象物の三次元位置情報を取得する三次元位置取得手段と、
前記画像認識手段により特定された対象物の固有情報に基づいて該対象物についての関連情報を取得する関連情報取得手段と、
前記関連情報取得手段により取得された関連情報の表示位置を、前記画像認識手段により特定された対象物の二次元位置情報および前記三次元位置取得手段により取得された対象物の三次元位置情報を用いて特定する表示位置特定手段と、
前記関連情報取得手段により取得された関連情報を、前記表示位置特定手段により特定された表示位置に表示する表示手段を備え、
前記表示手段は、表示画面を通して現実環境を視認可能に関連情報を表示し、前記表示位置特定手段は、現実環境で視認される対象物の領域あるいはその近傍にその関連情報の表示位置を特定することを特徴とする関連情報表示位置特定システム。
【請求項３】
前記表示位置特定手段は、前記関連情報取得手段により取得された関連情報の表示位置を右眼用および左眼用に別々に特定し、前記表示手段は、前記関連情報取得手段により取得された関連情報を、右眼用および左眼用の画面の、前記表示位置特定手段により特定された表示位置にそれぞれ表示することを特徴とする請求項２に記載の関連情報表示位置特定システム。
【請求項４】
前記表示位置特定手段は、前記関連情報取得手段により取得された関連情報の表示位置を、両目の真ん中に位置あるいは利き目の位置を基にして特定し、前記表示手段は、前記関連情報取得手段により取得された関連情報を、右眼用および左眼用の画面の、前記表示位置特定手段により特定された表示位置に表示することを特徴とする請求項２に記載の関連情報表示位置特定システム。
【請求項５】
前記表示位置特定手段は、現実環境で視認される対象物に関連情報の吹き出しの始点あるいは関連情報の表示中心が重なるように関連情報の表示位置を特定することを特徴とする請求項２ないし４のいずれかに記載の関連情報表示位置特定システム。
【請求項６】
コンピュータに、
二次元画像データを取得する第１の機能と、
前記第１の機能により取得された二次元画像データから対象物を認識し、その固有情報および二次元画像での二次元位置情報を特定する第２の機能と、
深さ画像データを取得する第３の機能と、
前記第２の機能により特定された対象物の二次元位置情報と前記第３の機能により取得された深さ画像データとから対象物の三次元位置情報を取得する第４の機能と、
前記第２の機能により特定された対象物の固有情報に基づいて該対象物についての関連情報を取得する第５の機能と、
前記第５の機能により取得された関連情報の表示位置を、前記第２の機能により特定された対象物の二次元位置情報および前記第４の機能により取得された対象物の三次元位置情報を用いて特定する第６の機能と、
前記第５の機能により取得された関連情報を、前記第６の機能により特定された表示位置に表示する第７の機能を実現させ、
前記第７の機能は、表示画面を通して現実環境を視認可能に関連情報を表示し、前記第６の機能は、現実環境で視認される対象物の領域あるいはその近傍にその関連情報の表示位置を特定するものである関連情報表示位置特定用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラムに関し、特に、視認される現実環境の対象物に対して該対象物についての関連情報を透過型ヘッドマウントディスプレイにより電子的に付加表示する場合、その関連情報の表示位置を好適に特定できる関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラムに関する。
【背景技術】
【０００２】
従来から、装着することにより眼前にディスプレイが配置され、視界を覆ってディスプレイ画面のみを利用者に視認させる非透過型ヘッドマウントディスプレイ(Head Mounted Display:以下では、HMDと称する。)が存在する。この非透過型HMDによれば、ユーザは意識的に視線を向けなくても、それに提示される電子情報を確認することができ、かつ小型のディスプレイを用いて仮想的に大型の画面表示を実現できる。非透過型HMD(Vuzix iWear vr920)は、非特許文献１に記載されている
【０００３】
近年では、視界を確保しながら電子情報を付加表示することが可能な透過型HMDも実現されている。透過型HMDでは視界を確保することができるため、視界上に実在する対象物についての関連情報をHMD上に付加表示する拡張現実サービスへの適用が期待されている。透過型HMD(LUMUS)は、非特許文献２に記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】http://www.vuzix.com/iwear/ products_vr920.html
【非特許文献２】http://www.lumusvision.com/
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視界上に実在する対象物についての関連情報を透過型HMDにより電子的に付加表示する場合、付加される関連情報が該対象物に関連していることが容易に認識できるようにHMD上の適切な位置に関連情報を付加表示する必要がある。例えば、対象物についての関連情報を吹き出しを用いて付加表示する場合、吹き出しの始点が対象物の位置に重なることが望まれる。逆に、吹き出しの始点が対象物の位置に重なっていないと、付加表示された関連情報がどの物体に関連するものであるのかを容易に認識することができない。
【０００６】
電子画像上の対象物に対して、その関連情報を付加表示する場合には、物体認識技術などにより電子画像上の対象物を認識し、該対象物が認識された位置をそのまま関連情報の付加表示に好適な位置とすることができる。
【０００７】
しかしながら、透過型HMDにおける対象物は、電子画像上にあるものではなく、現実環境においてユーザの視界上に認識されるものであるため、対象物についての関連情報を付加表示する場合、上記の手法で該関連情報を付加表示する好適な位置を得ることができない。
【０００８】
図３は、透過型HMDを通して現実環境の対象物が視認される状況を示す説明図である。同図(a),(b)はそれぞれ、対象物Oが近距離にある場合、遠距離にある場合を示す。同図に示すように、対象物Oは、それが近距離にある場合、HMD画面上では眼の中心線から比較的離れた位置に視認され、遠距離にある場合には、眼の中心線に比較的近い位置に視認される。このように、対象物Oが近距離にある場合と遠距離にある場合とでHMD画面上での対象物Oの位置が異なり、対象物Oに対して関連情報を付加するのに好適な位置も異なる。
【０００９】
本発明の目的は、上記課題を解決し、透過型HMDにより視認される現実環境の対象物に対し、該対象物についての関連情報を付加表示する場合、透過型HMD画面上の好適な位置に関連情報を付加表示することができる関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の関連情報表示位置特定システムは、二次元画像データを取得する二次元画像取得手段と、前記二次元画像取得手段により取得された二次元画像データから対象物を認識し、その固有情報および二次元画像での二次元位置情報を特定する画像認識手段と、深さ画像データを取得する深さ画像取得手段と、前記画像認識手段により特定された対象物の二次元位置情報と前記深さ画像取得手段により取得された深さ画像データとから対象物の三次元位置情報を取得する三次元位置取得手段と、前記画像認識手段により特定された対象物の固有情報に基づいて該対象物についての関連情報を取得する関連情報取得手段と、前記関連情報取得手段により取得された関連情報の表示位置を、前記画像認識手段により特定された対象物の二次元位置情報および前記三次元位置取得手段により取得された対象物の三次元位置情報を用いて特定する表示位置特定手段と、前記関連情報取得手段により取得された関連情報を、前記表示位置特定手段により特定された表示位置に表示する表示手段を備え、前記表示手段は、表示画面を通して現実環境を視認可能に関連情報を表示し、前記表示位置特定手段は、現実環境で視認される対象物の領域あるいはその近傍にその関連情報の表示位置を特定することを特徴としている。
【００１１】
また、本発明の関連情報表示位置特定システムは、前記表示位置特定手段が、前記関連情報取得手段により取得された関連情報の表示位置を右眼用および左眼用に別々に特定し、前記表示手段は、前記関連情報取得手段により取得された関連情報を、右眼用および左眼用の画面の、前記表示位置特定手段により特定された表示位置にそれぞれ表示することを特徴としている。
【００１２】
また、本発明の関連情報表示位置特定システムは、前記表示位置特定手段が、前記関連情報取得手段により取得された関連情報の表示位置を、両目の真ん中に位置あるいは利き目の位置を基にして特定し、前記表示手段は、前記関連情報取得手段により取得された関連情報を、右眼用および左眼用の画面の、前記表示位置特定手段により特定された表示位置に表示することを特徴としている。
【００１３】
さらに、本発明の関連情報表示位置特定システムは、前記表示位置特定手段が、現実環境で視認される対象物に関連情報の吹き出しの始点あるいは関連情報の表示中心が重なるように関連情報の表示位置を特定することを特徴としている。
【００１４】
なお、本発明は、関連情報表示位置特定システムとしてだけでなく、関連情報表示位置特定方法あるいは関連情報表示位置特定用プログラムとしても実現できる
【発明の効果】
【００１５】
本発明によれば、ユーザが透過型HMDを通して視認する現実環境での対象物の位置に応じて、HMD画面上の好適な位置に該対象物の関連情報を表示することができる。したがって、ユーザは、HMD画面上に付加表示された関連情報と現実環境で視認される物体の対応関係を容易かつ正しく認識することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態を示す機能ブロック図である。
【図２】関連情報の表示位置の特定方法を示す説明図である。
【図３】透過型HMDを通して現実環境の対象物が視認される状況を示す説明図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明を説明する。図１は、本発明の一実施形態を示す機能ブロック図である。本実施形態は、本発明を関連情報表示位置特定システムとして実現したものであり、二次元画像取得手段11、画像認識手段12、深さ画像取得手段13、三次元位置取得手段14、関連情報取得手段15、表示位置特定手段16、表示制御手段17および表示手段18を備える。画像認識手段12、三次元位置取得手段14、関連情報取得手段15、および表示位置特定手段16および表示制御手段17は、関連情報処理装置として機能し、例えば携帯電話などに設けられる。これらの各手段はハードウエアでもソフトウエアでも実現できる。
【００１８】
二次元画像取得手段11は、カメラによって二次元画像データを取得する。カメラは、透過型HMD(以下、単にHMDと称する。)に搭載されてもよいし、関連情報処理装置に搭載されてもよい。また、単独の装置としてもよい。
【００１９】
画像認識手段12は、二次元画像取得手段11によって取得された二次元画像データから対象物の固有情報および二次元画像での二次元位置情報を特定する。対象物の固有情報および二次元位置情報は、例えば、予め登録された物体の二次元画像データと取得された二次元画像データを比較し、両者の画像パターンの類似性に基づいて特定することができる。なお、ここで特定する対象物の二次元位置は、対象物の中心や端部など、対象物領域の適宜の位置でよい。
【００２０】
深さ画像取得手段13は、深さ画像データを取得する。深さ画像データは、例えば、深さ認識カメラによって取得されたピクセルごとの深さ(Z値)である。深さ認識カメラは、深さ情報の認識が可能なカメラであり、例えばZCAM(http://www.3dvsystems. com/)を用いることができる。
【００２１】
三次元位置取得手段14は、画像認識手段12により特定された対象物の二次元位置情報と深さ画像取得手段13により取得されたZ値のうちの二次元位置に対応するZ値を取得することで、対象物の三次元位置情報を取得する。ここで、二次元画像データを取得するカメラと深さ認識カメラの位置が異なる位置に設けられている場合やそれらの歪度が異なる場合には、互いに二次元位置を対応させてZ値を取得する。
【００２２】
なお、深さ画像取得手段13で先にZ値を取得し、Z値がある範囲(一定深さ)の、二次元位置のピクセル数が一定数以上の場合のみ画像認識手段12が画像認識を行う構成としてもよい。この場合には、深さ画像取得手段13が取得したZ値を画像認識手段12に与える。
【００２３】
関連情報取得手段15は、対象物の固有情報を基にして該対象物についての関連情報を取得する。例えば、対象物の固有情報に関連付けて該対象物の関連情報をデータベース(DB)に予め格納しておき、対象物の固有情報を検索キーとしてその関連情報をDBから取得する。関連情報は、例えば、対象物についての名称や詳細情報である。また、対象物についての詳細情報の取得先を示す情報、例えばWebサイトのURLのようなポインタ(参照先情報)であってもよい。DBは、関連情報取得手段15内に設けられたものでもよいし、ネットワークを介して参照されるものでもよい。
【００２４】
表示位置特定手段16は、HMDを装着したユーザの眼の位置と三次元位置取得手段14によって取得された対象物の三次元位置情報を元に、該対象物についての関連情報を表示するHMD画面上の位置を特定する。この位置は、現実環境で視認される対象物の領域あるいはその近傍でよい。関連情報の表示位置の特定方法については、後で詳述する。
【００２５】
表示制御手段17は、表示位置特定手段16により特定された位置に対象物についての関連情報が表示されるように表示制御する。
【００２６】
表示手段18は、透過型HMDとして構成され、表示制御手段17の表示制御に従って対象物についての関連情報を表示する。これにより、ユーザの眼前に対象物についての関連情報が電子的に付加表示される。対象物についての関連情報の付加表示は、ユーザ指示や関連情報付加表示モードの設定などに従って行わせるようにすることができる。もちろん、関連情報がDBに格納されていない物体については、関連情報は付加表示されない。なお、表示手段18は、表示制御手段17に画像出力用ケーブルで接続される。この接続方法は、有線接続でもよく、Bluetoooth, IEEE802.11，Wireless HDなどの無線接続でもよい。
【００２７】
図２は、関連情報の表示位置の特定方法を示す説明図である。ここでは、YおよびZ軸に関する位置を図示しているが、XおよびZ軸に関する位置も同様である。表示位置特定手段16は、以下に示す算定方法により特定される位置をHMD画面上の関連情報の表示位置として特定する。
【００２８】
三次元位置取得手段14により取得された対象物OのX軸、Y軸およびZ軸方向の三次元位置を(x,y,z)、HMDを装着しているユーザの一方の眼(例えば右眼)からHMD画面(レンズ)に垂線を引いた時の交点のHMD画面上の二次元位置を(u,v)とする。また、ユーザの右眼の位置とHMD画面との間の距離をrとし、ユーザの右眼の位置を原点としたときの、二次元画像取得手段(カメラ)11の位置を(dx,dy,dz)とする。ユーザの右眼の二次元位置(u,v)は既知であり、二次元画像取得手段11の位置(dx,dy,dz)およびユーザの右眼の位置とHMD画面との間の距離rも一意に決められる。
【００２９】
ユーザの右眼の位置を原点としたとき、ユーザがHMDを通して現実環境を視認した時の対象物Oの三次元位置は、図２に示すように、(x+dx,y+dy,z+dz)となり、対象物Oは、HMD画面(レンズ：画像投影面)上において、ユーザの右眼の位置と対象物Oの三次元位置を結ぶ線分とHMD画面が交差する点Pとなる。点PのX座標、Y座標はそれぞれ、式(1),(2)で算出される。なお、＊は乗算を表す。なお、ユーザの顔とカメラの向きが一致していない場合には、さらにその不一致による二次元位置(x,y)のずれを補正することが必要である。
【００３０】
点PのＸ座標：ｕ＋（ｘ＋ｄｘ）＊ｒ／（ｚ＋ｄｚ）           (1)
【００３１】
点PのＹ座標：ｖ＋（ｙ＋ｄｙ）＊ｒ／（ｚ＋ｄｚ）           (2)
【００３２】
そこで、対象物Oについての関連情報の表示中心あるいは関連情報の表示の吹き出しの始点などを点Pに特定する。すなわち、HMD画面の(u+(x+dx)*r/(z＋dz)、v+(y+dy)*r/(z＋dz))(長さ：単位m)の位置に関連情報を表示すればよい。コンピュータ上で処理する場合には、長さを画素数に換算するために定倍した座標を電子的な表示座標とする。例えば、HMD画面の大きさがX軸方向に0.02m、Y軸方向に0.015mで、画素数が800x600である場合、電子的な表示座標は、((u+(x+dx)*r/(z＋dz))/0.02*800、(v+(y+dy)*r/(z＋dz))/0.015*600)(ピクセル)となる。
【００３３】
以上はユーザの右眼についての、関連情報の表示位置の特定であるが、左眼についても同様に関連情報の表示位置を特定する。このように、ユーザの右眼と左眼に対する関連情報の表示位置を別々に算定し、HMDの右眼表示と左眼表示に対してそれぞれ特定することにより、関連情報の表示についても奥行きを感じさせることができる。なお、構成および処理の簡単化のため、ユーザの眼の位置を両眼の真ん中の位置あるいは利き眼の位置と考え、それに対する関連情報の表示位置を算定し、これをHMDの右眼表示と左眼表示の両方に対して特定するようにしてもよい。
【００３４】
以上のように対象物の関連情報の表示位置を算定し、特定することにより、その関連情報が現実環境で視認される対象物の領域あるいはその近傍に表示されるので、対象物と関連情報の対応が容易に分かるようになる。
【００３５】
以上実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形することができる。例えば、上記実施形態は、本発明を関連情報表示位置特定システムとして実現したものであるが、本発明は、システムとしての他、関連情報表示位置特定方法、あるいは携帯電話などに搭載してそれを関連情報表示位置特定システムとして機能させるアプリケーションプログラムとしても実現できる。
【符号の説明】
【００３６】
11・・・二次元画像取得手段、12・・・画像認識手段、13・・・深さ画像取得手段、14・・・三次元位置取得手段、15・・・関連情報取得手段、16・・・表示位置特定手段、17・・・表示制御手段、18・・・表示手段
【図１】
2010205030.tif 000003
【図２】
2010205030.tif 000004
【図３】
2010205030.tif 000005