(57)【特許請求の範囲】
【請求項１】
実世界の中のキャリブレーション用マーカを用い、透過型表示デバイスの装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラを用いた、前記透過型表示デバイスのキャリブレーション方法であって、
記憶手段から少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを読み出して、該透過型表示デバイス上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示し、
実世界の中のキャリブレーション用マーカと前記表示デバイスに表示された前記キャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示し、
前記実世界の中のキャリブレーション用マーカと前記表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、前記カメラによるカメラ画像をキャプチャし、
前記カメラ画像のキャプチャ画像から前記実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出し、
前記透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、前記透過型表示デバイスの下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いて前記カメラ画像での座標値と前記透過型表示デバイスの座標値とのキャリブレーションパラメータを算出する
ことを特徴とする表示デバイスのキャリブレーション方法。
【請求項２】
実世界の中のキャリブレーション用マーカを用い、透過型表示デバイスの装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラを用いた、前記透過型表示デバイスのキャリブレーション装置であって、
少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを格納した記憶手段と、
前記記憶手段から前記キャリブレーション用画像表示座標データを読み出して、前記透過型表示デバイス上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示するキャリブレーション用画像表示制御手段と、
実世界の中のキャリブレーション用マーカと前記透過型表示デバイスに表示された前記キャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示する方向指示手段と、
前記実世界の中のキャリブレーション用マーカと前記表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、前記カメラによるカメラ画像をキャプチャする映像キャプチャ手段と、
前記カメラ画像のキャプチャ画像から前記実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出するマーカ座標値算出手段と、
前記透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、前記透過型表示デバイスの下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いて前記カメラ画像での座標値と前記透過型表示デバイスの座標値とのキャリブレーションパラメータを算出するパラメータ算出手段と、
を有することを特徴とする表示デバイスのキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示デバイスのキャリブレーション方法及び装置に係り、実世界の映像と仮想空間の映像を重ね合わせて表示するための表示デバイスのキャリブレーション方法及び装置に関する。具体的には、透過型ヘッドマウントディスプレイに代表されるメガネ型の装置の中で、メガネのフレーム部分にカメラを配置した装置の上下方向のキャリブレーション方法・装置に関するものである。
【背景技術】
【０００２】
従来の透過型ヘッドマウントディスプレイは、図３１に示すように、プリズムとハーフミラーを用い、カメラと表示部（ＬＣＤ）を視線に対して、光学的に一致させるほう式がある（例えば、非特許文献１参照）。
【非特許文献１】A. Takagi, S. Yamazaki, Y. Saito and N. Taniguchi, "Development of a stereo video see-through HMD for AR systems," Proc. ISAR 2000, pp.68-77, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の方式では、光学的に視線を一致させるため、光学系の配置を正確に調整する必要があり、装着方法の自由度がなく、例えば、通常のメガネのように、装着位置がずれてしまう場合の光学系の調整が困難であった。また、ミラーをプリズムの前方に設置するという構成のため、光学系を形成するためのスペースが大きくなり、例えば、通常のメガネのように、日常装着できる大きさで実装するのが困難であった。
【０００４】
ヘッドマウントディスプレイを利用したアプリケーションの中には、多少のずれ、例えば、カメラをメガネのフレームに相当する部分に取り付けた場合に、カメラと目の横の位置のずれについては許容できるアプリケーションもあると考えられる。多少の位置のずれを許容できるアプリケーションのためには、従来技術での光学系を用いた厳密なキャリブレーションではなく、キャリブレーション精度は荒くとも簡便なキャリブレーション方法が適する。
【０００５】
本発明は、上記の点に鑑みなされたもので、複雑な光学系を必要とせず、利用者の装着方法にばらつきがあった場合でも容易に実空間のオブジェクト位置とシースルーディスプレイ上のポインタの位置の調整が可能な表示デバイスのキャリブレーション方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理を説明するための図である。
【０００７】
本発明（請求項１）は、実世界の中のキャリブレーション用マーカを用い、透過型表示デバイスの装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラを用いた、透過型表示デバイスのキャリブレーション方法であって、
記憶手段から少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを読み出して、該透過型表示デバイス上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示し（ステップ１）、
実世界の中のキャリブレーション用マーカと表示デバイスに表示されたキャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示し（ステップ２）、
実世界の中のキャリブレーション用マーカと表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、カメラによるカメラ画像をキャプチャし（ステップ３，４）、
カメラ画像のキャプチャ画像から実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出し（ステップ５）、
透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、透過型表示デバイスの下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いてカメラ画像での座標値と透過型表示デバイスの座標値とのキャリブレーションパラメータを算出する（ステップ６）。
【０００８】
図２は、本発明の原理構成図である。
【０００９】
本発明（請求項２）は、実世界の中のキャリブレーション用マーカを用い、透過型表示デバイス３の装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラ４を用いた、透過型表示デバイス３のキャリブレーション装置であって、
少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを格納した記憶手段１７０と、
記憶手段１７０からキャリブレーション用画像表示座標データを読み出して、透過型表示デバイス３上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示するキャリブレーション用画像表示制御手段１２０と、
実世界の中のキャリブレーション用マーカと透過型表示デバイス３に表示されたキャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示する方向指示手段１６１と、
実世界の中のキャリブレーション用マーカと表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、カメラによるカメラ画像をキャプチャする映像キャプチャ手段１１０と、
カメラ画像のキャプチャ画像から実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出するマーカ座標値算出手段１５０と、
透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、透過型表示デバイス３の下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いてカメラ画像での座標値と透過型表示デバイス３の座標値とのキャリブレーションパラメータを算出するパラメータ算出手段１６０と、を有する。
【発明の効果】
【００１０】
上記のように、本発明によれば、カメラを視線位置と略同じ高さに設置し、キャリブレーションの方向を重畳表示に最も影響が発生する上下方向に限定し、オブジェクト選択を行うことで、複雑な光学系を組む必要がなく、実装スペースの削減が可能になる。また、マーカを使ったキャリブレーションにより、利用者の装着方法にばらつきが合った場開いでも、容易に実空間のオブジェクト位置とシースルーディスプレイ上のポインタの位置の調整が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、図面と共に本発明の実施の形態を説明する。
【００１２】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における装置構成を示す。
【００１３】
同図に示す装置は、カメラ４、シースルーディスプレイ３、制御部１００から構成される。
【００１４】
制御部１００は、映像キャプチャ部１１０、表示位置制御部１２０、オブジェクト画像抽出部１３０、ポインタ座標算出部１４０、マーカ座標算出部１５０、キャリブレーション部１６０、記憶部１７０から構成される。
【００１５】
記憶部１７０には、シースルーディスプレイ３の装着者が実世界の物体をポインティング際のポインティング動作を一連の画像から検出するために用いるポインティング特徴量、ポインティング動作が検出された座標値（あるいは画像領域）とポインタ座標値との関係（例：ポインティング動作が検出された画像領域の重心位置をポインタ座標値とする）と、そのポインティング動作に対応付けられたアクション（例１：座標値を決定、例：シースルーディスプレイ３に制御部１００が持つ操作メニューを表示）を予め記録する。検出対象となるポインティング動作は複数種類あってもよい。
【００１６】
制御部１００の映像キャプチャ部１１０は、カメラ４から入力された画像を解析可能なディジタル信号に変換し、カメラ画像として出力する。
【００１７】
ポインタ座標算出部１４０は、映像キャプチャ部１１０でキャプチャされたカメラ画像から記憶部１７０に記録されているポインティング特徴量を用いて、ポインティング動作を検出する。検出された動作と、画像内での検出位置（座標値や画像領域）に応じて、記憶部１７０に予め記録された情報に従ってポインタ座標値を算出する。
【００１８】
オブジェクト画像抽出部１３０は、ポインタ座標算出部１４０から座標情報を受け取り、受け取った座標値を用いてカメラ画像からオブジェクト画像を抽出視する。例えば、ポインタ座標算出部１４０から１つの座標のみを受け取った場合には、その座標の周囲の、予め定めた領域を抽出対象領域としてもよい。ポインタ座標算出部１４０から２つの座標値が与えられた場合、２つの座標値を対角の頂点として持つ矩形領域を抽出対象領域としてもよい。
【００１９】
表示位置制御部１２０は、ポインタ座標算出部１４０から受け取った座標値を、キャリブレーションにより求めた変換式を用いて表示用座標値に変換し、シースルーディスプレイ３に表示する。
【００２０】
マーカ座標算出部１５０は、映像キャプチャ部１１０でキャプチャされたカメラ画像からキャリブレーションに用いるマーカを検出する。検出されたキャリブレーションに用いるマーカの画像内での重心座標値を、マーカ座標値として出力する。
【００２１】
キャリブレーション部１６０は、キャリブレーションを行い、カメラ画像の中での座標位置と、シースルーディスプレイでの表示座標位置との対応関係式を算出する。
【００２２】
図４は、本発明の第１の実施の形態におけるキャリブレーション動作のフローチャートである。同図に示す動作は、カメラ画像での座標位置と、表示装置の座標位置との対応関係を算出するものである。
【００２３】
キャリブレーションに用いる実空間上のマーカの種類については、予め定めておいてもよい。例えば、画面中で明るい点光源をマーカに用いることを予め定めておいてもよい。また、シースルーディスプレイ３に初期設定用の画面を表示し、シースルーディスプレイ３の装着者がメニュー形式で選択してもよい。例えば、マーカの選択肢として、"明るい点光源"を含む複数の選択肢を表示し、シースルーディスプレイ３の装着者がメニューの中からマーカの種類を選択することにより、マーカの種類が選択される。
【００２４】
シースルーディスプレイ３の装着者が、制御部１００のメニューを用いて、キャリブレーションを開始することにより、キャリブレーションが開始する。以下、シースルーディスプレイ３の装着者がキャリブレーションに用いる種類を指定する場合でのキャリブレーションパラメータを算出する動作を説明する。
【００２５】
ステップ１０１）  キャリブレーション部１６０は、キャリブレーションのための初期設定を実施する。
【００２６】
まず、キャリブレーション部１６０は、シースルーディスプレイ３の装着者（以下、ユーザと記す）が指定した、キャリブレーション用のマーカを検出するアルゴリズムを記憶部１７０から読み出し、マーカ座標算出部１５０に設定する。
【００２７】
次に、キャリブレーション部１６０は、記憶部１７０のキャリブレーション用データからキャリブレーション用画像データと、シースルーディスプレイ上でのキャリブレーション用画像表示座標値データを取得する。キャリブレーション用画像表示座標値データは、シースルーディスプレイ３の上端のいずれかの位置を示す座標値と、下端のいずれかの位置を示す座標値の２つの座標値を含む、２つ以上の座標値からなる。以後の、ステップ１０２からステップ１０５までの処理は、キャリブレーション用画像表示座標値データに含まれる、全ての座標値に対して実施される。
【００２８】
ステップ１０２）  キャリブレーション部１６０は、表示位置制御部１２０にキャリブレーション用画像データと、シースルーディスプレイ３上でのキャリブレーション用画像表示財表値を受け渡す。表示位置制御部１２０がシースルーディスプレイ３にキャリブレーション用画像を表示する。
【００２９】
ステップ１０３）  キャリブレーション部１６０は、シースルーディスプレイ３に表示されたキャリブレーション用画像と、実世界にあるキャリブレーション用マーカ（例えば、遠くの点光源）が重なって見えるように顔の向きを変えて、実世界にあるキャリブレーション用マーカ（例えば、遠くの点光源）が重なって見えたら予め定めた所定のアクションをとるよう、ユーザに指示する。ユーザへの指示方法としては、例えば、シースルーディスプレイに指示内容を示すメッセージを表示する。スピーカを備える装置の場合、スピーカを用いて音声で指示を与えてもよい。
【００３０】
ステップ１０４）  キャリブレーション部１６０は、ユーザがシースルーディスプレイ３に表示されたキャリブレーション用画像と、実世界にあるキャリブレーション用マーカ（例えば、遠くの点光源）が重なって見える位置にあることを示す所定のアクションをとったことを示すコマンドを受信し、そのコマンドを受信した時点でのカメラ画像を映像キャプチャ部１１０から取得する。
【００３１】
キャリブレーション用画像と、実世界にあるキャリブレーション用マーカが重なって見える位置にあることを示す所定のアクションとしては、例えば、予めキャリブレーション用画像と、実世界にあるキャリブレーション用マーカが重なって見える位置にあることを示すポインティング動作を定めて、カメラ撮影範囲の中で、ユーザにこのポインティング動作を実施してもらうこととしてもよい。この場合、記憶部１７０のポインティング特徴量に、実世界にあるキャリブレーション用マーカが重なって見える位置にあることを示す所定のアクションに該当するポインティング特徴量を予め格納し、ポインタ座標算出部１４０でこのポインティング動作がなされたかどうか、及び、このポインティング動作が行われた座標値を検出する。キャリブレーション部１６０が、ポインタ座標算出部１４０よりポインティング動作がなされたかどうかと、このポインティング動作が行われた座標値を受け取る。キャリブレーション部１６０は、これらの情報を受け取ると、カメラ画像を映像キャプチャ部１１０から取得する。
【００３２】
ステップ１０５）  キャリブレーション部１６０は、ステップ１０４で取得した画像をマーカ座標算出部１５０に入力して、マーカ座標算出部１５０からマーカ座標値を取得し、この値を出力する。なお、マーカ座標算出部１５０は、ステップ１０４でキャプチャされたカメラ画像の中から、記憶部１７０に格納されているマーカ特徴量を用いてマーカを抽出し、カメラ画像内でのマーカの座標値を出力とする。
【００３３】
ステップ１０６）  ステップ１０２からステップ１０５までの処理を、キャリブレーション用画像表示座標値に含まれるすべての座標値に対して実施したかどうかを判断する。実施していないキャリブレーション用画像表示座標値がある場合には、ステップ１０２に戻る。全てのキャリブレーション用画像表示座標値に対してステップ１０２からステップ１０５までの処理を実施済みの場合は、ステップ１０７に移行する。
【００３４】
ステップ１０７）キャリブレーション用画像をシースルーディスプレイ３の上端に表示した場合、下端に表示した場合の２つの場合に対しての、ステップ１０２でキャリブレーション用画像を表示したシースルーディスプレイ３上での座標位置と、ステップ１０５で検出したカメラ画像でのマーカの座標位置の組み合わせ（２組の組み合わせ）を用いて、カメラ画像とシースルーディスプレイ３の座標の変換パラメタを算出する。
【００３５】
ステップ１０６で検出した全ての座標値のうち、キャリブレーション用画像をシースルーディスプレイ３の上端の座標値に表示した場合と、下端の座標値に表示した場合の２つの場合の映像キャプチャ部１１０で取得した画像上の座標値を算出する。
【００３６】
図５において、抽出した２つの座標値の、上端を（ｘｃ１，ｙｃ１）、下端を（ｘｃ２、ｙｃ２）とする。
【００３７】
また、シースルーディスプレイ３の表示デバイスの、鉛直方向の画素数をＮとする。このとき、キャリブレーション用パラメータα、βを、
α＝ｙｃ１
β＝│ｙｃ１−ｙｃ２│／Ｎ
として求める。
【００３８】
なお、シースルーディスプレイの表示デバイスの鉛直方向の画素数Ｎについては、予め記憶部１７０に格納しておくこととする。
【００３９】
このとき、シースルーディスプレイ３の（ｘｄ，ｙｄ）の座標値にポインタを表示する場合、シースルーディスプレイの装着者から見て、このポインタが重なって見える物体が、キャプチャ画像の中で写りこんでいる座標位置（ｘｃ，ｙｃ）は、
ｘｃ＝ｘｄ
ｙｃ=ｙｄ×β＋α
として求めることができる。
【００４０】
このα、βを求めることにより、カメラ座標系と、シースルーディスプレイの座標系のキャリブレーションが実現される。
【００４１】
［第２の実施の形態］
本発明のキャリブレーション技術を用いて表示デバイスのキャリブレーションを実施し、カメラ映像から人の指の特定の形状を検出する処理を加えることで、実空間の物体を選択し、選択された物体に関する情報を検索するアプリケーション（以下、実空間情報検索）に適用した例を示す。
【００４２】
図６は、本発明の第２の実施の形態におけるキャリブレーション装置の構成を示す。
【００４３】
同図に示す装置は、メガネ本体１、シースルーディスプレイ３、カメラ４、制御装置１０、無線通信装置２０から構成される。
【００４４】
ユーザは、メガネ本体１を装着し、シースルーディスプレイ３を通して、対象オブジェクト２を見る。カメラ４は、ユーザの効き目の近くに配置され、ユーザの効き目で見える画像に近い映像を撮影し、撮影された実空間情報を制御装置１０に送る。制御装置１０では、カメラ４で撮影されたユーザの指の動き情報あるいは無線通信装置２０から取得した加速度センサ情報を利用し、ユーザが選択したオブジェクト属性情報及びオブジェクト位置を含む画像情報を無線通信装置２０に送る。無線通信装置２０は、入手したオブジェクト属性情報、オブジェクト画像情報に加え、ＧＰＳ等により取得したユーザの位置情報、無線通信装置が内蔵している時刻情報のいずれかあるいは両方の情報を検索キーとして、遠隔地にあるサーバあるいは、無線通信装置２０が保持しているオブジェクト情報を検索する。検索結果は、制御装置１０に送信され、制御装置１０では、検索結果の表示画像を合成し、シースルーディスプレイ３に表示する。ユーザは、対象オブジェクトに関する検索結果を実際に見ている実空間にオーバレイした情報としてみることができる。
【００４５】
メガネの形状をしており、メガネのレンズ部分に透過型表示デバイスを設置した表示デバイス（「ビデオグラス」と呼ばれることもある）の市販製品としては以下のようなものがある。
【００４６】
・Video Eyeglasses  （イスラエル、LUMUS社）
(http://www.lumus-optical.com/index.php?optioon=com_content&task=view&id=9&Itemid=15) " 
・Eye-Trek  （オリンパス社）
(http://www.watch.impress.co.jp/av/docs/20011010/olymus.htm)
次に、カメラ４、シースルーパネル（ディスプレイ）３の配置について説明する。
【００４７】
図７は、本発明のカメラ、シースルーパネルの配置の例を示す。同図に示すように、利用者の焦点位置とカメラの焦点位置を近くするため、カメラ４は効き目側に配置し、且つ、カメラ４の焦点位置は、利用者の目の焦点位置に近い奥行きになるように配置する。また、オブジェクト選択及びポインタ表示における上下方向の誤差を少なくするため、カメラの焦点位置、シースルーディスプレイ３の中心及び利用者の目の焦点位置は上下方向では一致するように配置する。オブジェクト選択においては、シースルーディスプレイ３とオブジェクトが存在する平面の上下方向の関係を利用し、シースルーディスプレイ上のポインタ位置と実時間のオブジェクト位置を一致させているため、上下方向の誤差を抑えることは有効である。
【００４８】
図８は、本発明の第２の実施の形態における制御装置と無線通信装置の構成を示す。
【００４９】
制御装置１０は、映像キャプチャ部１１、オブジェクト画像抽出部１２、ポインタ座標算出部１３、表示位置制御部１４、表示情報生成部１５からから構成される。
【００５０】
無線通信部２０は、検索制御部２１、GPS機能部２２、日時取得部２３、通信制御部２４から構成される。
【００５１】
制御装置１０の映像キャプチャ部１１は、カメラ４から入力された画像を解析可能なディジタル信号に変換する。
【００５２】
オブジェクト画像抽出部１２は、ポインタ座標算出部１３からの座標情報を使用し、検索対象となるオブジェクトのディジタル情報切り出す。
【００５３】
ポインタ座標算出部１３は、映像キャプチャ部１１から受け取ったディジタル情報からの指のアクションを検出し、ユーザが選択したオブジェクト位置、あるいは選択したメニュー位置を特定する機能を有する。
【００５４】
図９は、本発明の第２の実施の形態におけるポインタ座標算出部における指検出アルゴリズムを説明するための図（その１）である。
【００５５】
同図のイメージＡに示すように、撮影しているカメラの前方で、指先を閉じた後、イメージＢのように指の付け根の位置を大きく変えずに、オブジェクトを挟むように人差し指と親指を開く。このアクションは、指が背景に比べて前方にあり、かつ、背景に比べ、画像における変化量が大きいことから、イメージＡとイメージＢの間の動きについて、イメージＣに示すように、動き情報を検出することができる。イメージＣに示すように、動きが最大であった場所の終端（黒丸で示す部分）をオブジェクトの上端及び下端として抽出する。
【００５６】
なお、指の動き情報の検出には、例えば、「映情学技報、VIS2001-103, Vol.25, No. 85, pp.47-52 (2001)」で提案されている方法などを利用する（http://www.is.aist.go.jp/weavy/paper/distribution/2001/ITE2001-kurata.pdf）。
【００５７】
図１０は、本発明の第２の実施の形態におけるポインタ座標算出部における指検出アルゴリズムを説明するための図（その２）である。
【００５８】
図９に示すアルゴリズムとの違いは、指の動きを検出しやすいように、背景色との識別が容易なマーカを指に装着しているところにある。図９に示すイメージＡのように、視界を撮影しているカメラ前方で、指先を閉じた後、イメージＢのように指の付け根の位置を大きく変えずに、オブジェクトを挟むように人差し指と親指を開く。撮影した画像からイメージＣのようにマーカ部分を抽出し、マーカの上端、下端よりオブジェクトの上端と下端を検出することができる。
【００５９】
図１１は、本発明の第２の実施の形態におけるポインタ座標算出部のポインタ座標決定アルゴリズムを説明するための図である。
【００６０】
シースルーディスプレイ３に対して垂直方句をＸ軸、シースルーディスプレイ３に対して平行でかつ上下方向の軸をＹ軸として説明する。
【００６１】
（Ｘ０，Ｙ０）は目及びカメラ４の焦点位置であり、本説明においては、目及びカメラ４の焦点位置はＸ軸及びＹ軸上で略同じであると仮定する。Ｘ１はメガネ４に含まれルシースルーディスプレイ３のＸ軸上の位置を示している。Ｘ３はキャプチャ画像上のＸ軸上の位置を示している。Ｙ０は、焦点位置からシースルーディスプレイ３に下ろした垂線の延長線上のＹ軸上の位置を示している。（Ｘ３，Ｙ１）及び（Ｘ３，Ｙ２）は、オブジェクトの上端と下端の座標を示している。（Ｘ１，ｙ１）及び（Ｘ１，ｙ２）は、シースルーディスプレイ３上でのオブジェクトの上端と下端に対応する座標（Ｘ３，ｙｃ１）及び（Ｘ３，ｙｃ２）はカメラ４の画像をキャプチャした画像のうち、シースルーディスプレイ３の上端（Ｘ１，ａ１）及び下端（Ｘ１，ａ２）に対応するＸ３軸上の位置を示している。
カメラ画像は、メガネ本体１に付属のカメラ４により取得されている画像イメージを示している。
【００６２】
上記の図９、図１０に示すアルゴリズムにより検出された指の位置は、カメラ画像上の黒丸の位置に相当する。カメラ画像上の黒丸の位置と、シースルーディスプレイ３上の黒丸の位置の関係は、以下のようにして決定することができる。
【００６３】
Ｙ１＝ｙ１×β＋α
Ｙ２＝ｙ２×β＋α
なお、αとβは、第１の実施の形態で算出したものを用いる。本例では、N=│ａ1−ａ2│である。従って、表示するポインタ位置は、画像中の指の位置から以下のように算出することができる。
【００６４】
ｙ１＝（Ｙ１−α）／β
ｙ２＝（Ｙ２−α）／β
表示位置制御部１４は、ポインタ座標算出部１３から受け取った画像の表示位置の調整及び合成を行う。
【００６５】
表示情報生成部１５は、無線通信装置２０の検索制御部２１から受け取った検索結果の情報を画像情報に変換する。
【００６６】
無線通信装置２０の検索制御部２１は、制御装置１０のオブジェクト画像抽出部１２から受け取ったディジタル情報、GPS機能部２２から受け取った位置情報及び日時取得部２３から受け取った日時情報を使用し、オブジェクト情報の検索指示及び結果受け取りを行う。また、文字認識などの処理の指示を行う。
【００６７】
通信制御部２４は、検索制御部２１からの指示により、遠隔地にあるサーバとの通信を行う。
【００６８】
次に、上記の構成における動作を説明する。
【００６９】
図１３は、本発明の第２の実施の形態におけるオブジェクト選択のフローチャートであり、図１４は、当該動作の画面イメージであり、を説明するための図であり、同図（A）のＰ０は、指の出現を検出した時のポインタの初期位置を示す。同図（B）のＰ１、Ｐ２は指のアクションを検出して得られた人差し指及び親指の先端の位置、Ｐ３はマーク表示したエリアの画像をオブジェクト画像抽出部１２でキャプチャした画像を表示する位置を示す。
【００７０】
ステップ３０１）利用者が効き目の前方に指をかざすと、ポインタ座標算出部１３において、指の出現を検出し、表示位置制御部１４においてP０にポインタを表示する。
【００７１】
ステップ３０２）  利用者は、人差し指と親指をポインタが見えている位置に移動させ、両指を合わせることにより、ポインタを仮想的につかむ。
【００７２】
ステップ３０３）  親指と人差し指を閉じたまま、検索対象のオブジェクト位置までポインタを移動させ、オブジェクトの位置で指を開く。
【００７３】
ステップ３０４）  ポインタ座標算出部１３において、指の開くアクションを検出し、人差し指及び親指の先端の位置から、上端P１、下端Ｐ２を決定する。
【００７４】
ステップ３０５）  表示位置制御部１４は、上端P１、下端Ｐ２に囲まれた円形あるいは正方形のエリアにマークを表示する。
【００７５】
ステップ３０６）  マーク表示したエリアの画像をオブジェクト画像抽出部１２でキャプチャする。
【００７６】
ステップ３０７）  キャプチャした画像をＰ３位置に表示する。
【００７７】
図１４は、本発明の第２の実施の形態におけるオブジェクト検索動作のフローチャートであり、図１５、図１６は、オブジェクト検索のイメージ図である。図１５（Ａ）のＱ０は、対象オブジェクトの種別リストの選択画面の表示位置を示しており、図１５（Ｂ）のＱ１は、選択された所望のオブジェクト種別の背景色を変更して表示する位置を示している。図１６（Ｃ）のＲ０は、検索結果の表示位置を示している。図１６（Ｄ）のＲ１は選択した所望のオブジェクト候補の位置、Ｓ１は、オブジェクト情報の表示位置を示している。
【００７８】
ステップ４０１）  上記の図１２の処理により、オブジェクトを選択後、利用者が再び指を閉じると、オブジェクト画像抽出部１２において、指を再び閉じるアクションを検出し、表示位置制御部１４において対象オブジェクトの種別リストの選択画面を表示位置Ｑ０に表示する。
【００７９】
ステップ４０２）  利用者が指でポインタを掴み、ポインタをＱ０に移動させる。
【００８０】
ステップ４０３）  利用者は、指を開いて、再び閉じることで、所望のオブジェクト種別Ｑ１を選択する。
【００８１】
ステップ４０４）  無線通信装置２０の検索制御部２１は、日時取得部２３、ＧＰＳ機能部２２から現在の日時、場所を取得する。
【００８２】
ステップ４０５）  無線通信装置２０の検索制御部２１は、オブジェクト種別から対象ＤＢを決定し、キャプチャ画像、日時、場所からオブジェクト情報を検索する。
【００８３】
ステップ４０６）  制御装置２０の表示情報生成部１５は、検索制御部２１から検索結果を受け取ると、画像情報に変換し、シースルーディスプレイ３のＲ０の位置に類似度の高い順に候補を出力する。
【００８４】
ステップ４０７）  指でポインタを掴み、ポインタをシースルーディスプレイ３のＲ１に移動させ、指を開いて、再び閉じることで、詳細情報をシースルーディスプレイ３のＳ１に表示する。
【００８５】
次に、オブジェクト種別として、文字あるは看板を選択した場合の動作を説明する。
【００８６】
図１７は、本発明の第２の実施の形態における文字認識動作のフローチャートであり、図１８、図１９は、文字認識のイメージ図である。図１８（Ａ）のＱ０は、対象オブジェクトの種別リストの選択画面の表示位置を示しており、同図（Ｂ）のＱ１は、選択された所望のオブジェクト種別の背景色を変更して表示する位置を示している。図１９（Ｃ）のＲ０は、検索結果の表示位置を示しており、同図（Ｄ）のＲ１は選択した所望のオブジェクト候補の位置、Ｓ１はオブジェクト情報の表示位置を示している。
【００８７】
ステップ５０１）  対象オブジェクトを含む画像が表示され、指を再び閉じるアクションを検出し、対象オブジェクトの種別リストの選択画面を表示位置Ｑ０（図１８（Ａ））に表示する。
【００８８】
ステップ５０２）  利用者は、指でポインタをつまみ、ポインタをＱ０に移動させる。
【００８９】
ステップ５０３）  指を開いて、再び閉じることで所望のオブジェクト種別Ｑ１（看板、あるいはラベル（図１８（Ｂ））を選択する。
【００９０】
ステップ５０４）  対象オブジェクト領域に対して文字認識を実施し、認識結果候補を信頼性の高い順にＲ０（図１９（Ｃ））に表示する。
【００９１】
ステップ５０５）  Ｒ０のエリアに類似度の高い順に候補を表示する。
【００９２】
ステップ５０６）  指でポインタをつまみ、ポインタをＲ１（図１９（Ｄ））に移動させる。
【００９３】
ステップ５０７）  再び指を閉じることで、商品、店舗、駅などの検索を実施し、検索結果をＳ０（図１９（Ｄ））に表示する。
【００９４】
［第３の実施の形態］
本実施の形態は、前述の第２の実施の形態における図８の無線通信装置２０の構成に加速度センサ及び操作部を設けた点において、第２の実施の形態と異なる。
【００９５】
図２０は、本発明の第３の実施の形態における制御装置と無線通信装置の構成を示す。同図において、図８と同一構成部分には同一符号を付し、その説明を省略する。
【００９６】
図２０に示す無線通信装置２０は、図８の構成に、加速度センサ２５と操作部２６が付加された構成である。加速度センサ２５と操作部２６は、図２１に示すように、タッチパネル３４の下部に、利用者がポインタ位置を決定するための決定ボタン３１、ポインタ位置を解除し、再設定するためのキャンセルボタン３２、オブジェクト選択を最初からやり直すためのホームポジションボタン３３を有し、タッチパネル３４の上部に加速センサ２５とＧＰＳ機能部２２を設けた構成である。
【００９７】
図８におけるポインタ座標算出部１３は、指のアクションを検出し、ユーザが選択したオブジェクト位置、あるいは、選択したメニュー位置を特定していたが、本実施の形態では、加速度センサ２５からの動き情報により、ユーザが選択したオブジェクト位置、あるいは、選択したメニュー位置を特定する。
【００９８】
加速度センサ２５は、無線通信装置２０の動きを検出し、ポインタ座標算出部１３に送る。操作部２６は、ユーザが決定ボタン３１を押したことを検出し、操作情報をポインタ座標算出部１３に送る。ポインタ座標算出部１３では、加速度センサ２５からの動きをシースルーディスプレイ平面状の動きに射影変換する。
【００９９】
次に、本実施の形態におけるポインタ座標算出部１３の動作を説明する。
【０１００】
図２２は、本発明の第３の実施の形態におけるポインタ座標算出部におけるポインタ座標からの画像抽出範囲の決定アルゴリズムを示している。
【０１０１】
図２０に示す構成の場合は、カメラ画像からポインタ位置を検出するのではなく、無線通信装置２０に付属している加速度センサ２５によりシースルーディスプレイ３に表示されているポインタを動かして、オブジェクトを選択するため、ポインタ位置から、カメラ画像上の対応するオブジェクト位置を決定する必要がある。（Ｘ０，Ｙ０）は目及びカメラ４の焦点位置であり、本発明においては、目及びカメラ４の焦点位置はＸ軸及びＹ軸上で、略同じであると仮定する。Ｘ１は、メガネ１に含まれるシースルーディスプレイ３のＸ軸上の位置を示している。Ｘ３はオブジェクトが存在するＸ軸上の位置を示している。Ｙ０は、焦点位置からシースルーディスプレイに下ろした垂線の延長線上のＹ軸上の位置を示している。（Ｘ３，Ｙ１）及び（Ｘ３，Ｙ２）は、オブジェクトの上端と下端の座標を示している。（Ｘ１，ｙ１）及び（Ｘ１，ｙ２）は、シースルーディスプレイ３上でのオブジェクトの上端と下端に対応する座標を示している。（Ｘ３，ｙｃ１）及び（Ｘ３，ｙｃ２）は、カメラ４の画像をキャプチャした画像のうち、シースルーディスプレイ３の上端（Ｘ１，ａ１）及び下端（Ｘ１，ａ２）に対応するＸ３軸上の位置を示している。カメラ画像は、カメラ４により取得されている画像イメージを示している。
【０１０２】
（Ｘ１，ａ１）及び（Ｘ１，ａ２）は、利用者が無線通信装置２０の決定ボタンを押下することによって座標が決まる。カメラ画像上のオブジェクトの位置は以下のように算出される。
【０１０３】
Ｙ１＝ｙ１×β＋α
Ｙ２＝ｙ２×β＋α
なお、αとβは第１の実施の形態で算出したものを用いる。本例では、N=│ａ1−ａ2│である。
【０１０４】
図２３は、本発明の第２の実施の形態におけるオブジェクト選択時のフローチャートであり、図２４は、オブジェクト選択のイメージ図であり、図２４（Ａ）のＰ０は無線通信装置２０の決定ボタン３１を押下したときのポインタの初期位置を示す。同図（Ｂ）のＰ１、Ｐ２は、無線通信装置２０でポインタを移動させ、決定ボタン３１の押下で設定したオブジェクトの上端と下端の位置、Ｐ３はマーク表示したエリアの画像をオブジェクト画像抽出部１２でキャプチャした画像を表示する位置を示す。
【０１０５】
ステップ６０１）  ユーザが無線通信装置２０の決定ボタン３１を押下すると、Ｐ０（図２４（Ａ））にポインタを表示する。
【０１０６】
ステップ６０２）  加速度センサ２５付きの無線通信装置２０を動かすことにより、検索対象のオブジェクト位置までポインタを左右上下に移動させる。
【０１０７】
ステップ６０３）  加速度センサ２５から情報により、ポインタがその表示位置をＰ１（図２４（Ｂ））に移動させる。
【０１０８】
ステップ６０４）  オブジェクトの上端Ｐ１で無線通信装置２０の決定ボタン３１を押下して、オブジェクトの上端を決定する。
【０１０９】
ステップ６０５）  加速度センサ２５からの情報により、ポインタ画像の中心位置をＰ２（図２４（Ｂ））に移動する。
【０１１０】
ステップ６０６）  再び、加速度センサ２５付きの無線通信装置２０をオブジェクトの下端Ｐ２に移動させ、Ｐ２を決定し、選択されたエリアであることを示すために、Ｐ１，Ｐ２に囲まれた円形あるいは正方形のエリアにマークを表示する。
【０１１１】
ステップ６０７）  決定されたＰ１，Ｐ２に囲まれた領域の画像を対象オブジェクトとしてキャプチャし、キャプチャした画像をＰ３（図２４（Ｂ））位置に表示する。
【０１１２】
ステップ６０８）  Ｐ１，Ｐ２に囲まれた領域に選択したことを示すマークを表示する。
【０１１３】
次に、オブジェクト検索動作時の例を説明する。
【０１１４】
図２５は、本発明の第３の実施の形態におけるオブジェクト検索時のフローチャートであり、図２６，図２７はオブジェクト検索のイメージ図である。図２６（Ａ）のＱ０は、対象オブジェクトの種別リストの選択画面の表示位置を示している。図２６（Ｂ）のＱ１は、選択された所望のオブジェクト種別の背景色を変更して表示する位置を示している。図２７（Ｃ）のＲ０は検索結果の表示位置を示している。同図（Ｄ）のＲ１は、選択した所望のオブジェクト候補の位置、Ｓ１はオブジェクト情報の表示位置を示している。
【０１１５】
ステップ７０１）  対象オブジェクトを含む画像が表示されると、当該対象オブジェクトの種別リストの選択画面を表示位置Ｑ０（図２６（Ａ））に表示する。
【０１１６】
ステップ７０２）  加速度センサ２５付きの無線通信装置２０を移動させ、ポインタをＱ０に移動する。
【０１１７】
ステップ７０３）  無線通信装置２０の決定ボタン３１を押下して、所望のオブジェクト種別Ｑ１（図２６（Ｂ））を選択する。
【０１１８】
ステップ７０４）  検索制御部２１は、日時取得部２３、ＧＰＳ機能部２２から日時及び場所の情報を取得する。
【０１１９】
ステップ７０５）  検索制御部２１は、オブジェクト種別から対象ＤＢを決定し、キャプチャ画像、日時、場所から候補を検索する。
【０１２０】
ステップ７０６）  表示情報生成部１５は、Ｒ０（図２７（Ｃ））の位置に類似度の高い順に候補を出力する。
【０１２１】
ステップ７０７）  加速度センサ２５付き無線通信装置２０を移動させ、ポインタＲ０（図２７（Ｃ））の位置に類似度の高い順に候補を出力する。
【０１２２】
ステップ７０８）  無線通信装置２０を移動させ、ポインタをＲ１（図２７（Ｄ））に移動させ、無線通信装置２０の決定ボタン３１を押下すると、詳細情報をＳ０（図２７（Ｄ））に表示する。
【０１２３】
次に、オブジェクト種別として文字あるいは看板を選択した場合について説明する。
【０１２４】
図２８は、本発明の第３の実施の形態における文字認識動作のフローチャートであり、図２９、図３０は、文字認識動作時の画面イメージを示す。図２９（Ａ）のＱ０は対象オブジェクトの種別リストの選択画面の表示位置を示し、図２９（Ｂ）のＱ１は選択された所望のオブジェクト種別の背景色を変更して表示する位置を示し、図３０（Ｃ）のＲ０は、検索結果の表示位置を示し、図３０（Ｄ）のＲ１は選択した所望のオブジェクト候補の位置、Ｓ１はオブジェクト情報の表示位置を示している。
【０１２５】
ステップ８０１）  対象オブジェクトの種別リストの選択画面を表示位置Ｑ０（図２９（Ａ））に表示する。
【０１２６】
ステップ８０２）  加速度センサ２５付きの無線通信装置２０を移動させ、ポインタをＱ０に移動させる。
【０１２７】
ステップ８０３）  無線通信装置２０の決定ボタン３１を押下して所望のオブジェクト種別Ｑ１（看板あるいはラベル）を選択する。
【０１２８】
ステップ８０４）  オブジェクト画像抽出部１２は、対象オブジェクトエリアから看板あるいはラベル候補を抽出する。
【０１２９】
ステップ８０５）  対象オブジェクト領域に対して文字認識を実施し、認識結果候補を信頼性高い順にＲ０（図３０（Ｃ））に表示する。
【０１３０】
ステップ８０６）  加速度センサ２５付き無線通信装置２０を移動させ、ポインタをＲ１（図３０（Ｄ））に移動する。
【０１３１】
ステップ８０７）  無線通信装置２０の決定ボタン３１を押下すると、検索制御部２１において翻訳あるいは、商品、店舗、駅などの検索を実施する。
【０１３２】
ステップ８０８）  表示情報生成部１５は、Ｓ０（図３０（Ｄ））に翻訳結果や検索結果を表示する。
【０１３３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１３４】
本発明は、キャリブレーション技術に適用可能である。
【図面の簡単な説明】
【０１３５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態におけるキャリブレーション装置構成図である。
【図４】本発明の第１の実施の形態におけるキャリブレーション動作のフローチャートである。
【図５】本発明の第１の実施の形態における座標値を説明するための図である。
【図６】本発明の第２の実施の形態におけるキャリブレーション装置の構成図である。
【図７】本発明の第２の実施の形態におけるカメラ、シースルーパネル配置の例である。
【図８】本発明の第２の実施の形態における制御装置と無線通信装置の構成図である。
【図９】本発明の第２の実施の形態におけるポインタ算出部における指検出アルゴリズムを説明するための図（その１）である。
【図１０】本発明の第２の実施の形態におけるポインタ算出部における指検出アルゴリズムを説明するための図（その２）である。
【図１１】本発明の第２の実施の形態におけるポインタ座標算出部のポインタ表示位置決定アルゴリズムを説明するための図である。
【図１２】本発明の第２の実施の形態におけるオブジェクト選択動作のフローチャートである。
【図１３】本発明の第２の実施の形態におけるオブジェクト選択動作の画面イメージである。
【図１４】本発明の第２の実施の形態におけるオブジェクト検索動作のフローチャートである。
【図１５】本発明の第２の実施の形態におけるオブジェクト検索動作の画面イメージ（ｓの１）である。
【図１６】本発明の第２の実施の形態におけるオブジェクト検索動作の画面イメージ（その２）である。
【図１７】本発明の第２の実施の形態における文字認識動作のフローチャートである。
【図１８】本発明の第２の実施の形態における文字認識動作の画面イメージ（その１）である。
【図１９】本発明の第２の実施の形態における文字認識動作の画面イメージ（その２）である。
【図２０】本発明の第３の実施の形態における制御装置と無線通信装置の構成図である。
【図２１】本発明の第３の実施の形態における無線通信装置の配置の例である。
【図２２】本発明の第３の実施の形態におけるポインタ位置からの画像抽出処理を説明するための図である。
【図２３】本発明の第３の実施の形態におけるオブジェクト選択時のフローチャートである。
【図２４】本発明の第３の実施の形態におけるオブジェクト選択動作の画面イメージである。
【図２５】本発明の第３の実施の形態におけるオブジェクト検索時のフローチャートである。
【図２６】本発明の第３の実施の形態におけるオブジェクト検索動作の画面イメージ（その１）である。
【図２７】本発明の第３の実施の形態におけるオブジェクト検索動作の画面イメージ（その２）である。
【図２８】本発明の第３の実施の形態における文字認識動作のフローチャートである。
【図２９】本発明の第３の実施の形態における文字認識動作の画面イメージ（その１）である。
【図３０】本発明の第３の実施の形態における文字認識動作の画面イメージ（その２）である。
【図３１】従来の透過型ヘッドマウントディスプレイの構成図である。
【符号の説明】
【０１３６】
１  メガネ本体
２  対象オブジェクト
３  透過型表示デバイス、シースルーディスプレイ
４  カメラ
１０  制御装置
１１  映像キャプチャ部
１２  オブジェクト画像抽出部
１３  ポインタ座標算出部
１４  表示位置制御部
１５  表示情報性西部
２０  無線通信装置
２１  検索制御部
２２  ＧＰＳ機能部
２３  日時取得部
２４  通信制御部
２５  加速度センサ
２６  操作部
３１  決定ボタン
３２  キャンセルボタン
３３  ホームポジションボタン
３４  タッチパネル
１００  制御装置
１１０  映像キャプチャ手段、映像キャプチャ部
１２０  キャリブレーション用画像表示制御手段、表示位置制御部
１３０  オブジェクト画像抽出部
１４０  ポインタ座標算出部
１５０  マーカ座標値算出手段、マーカ座標算出部
１６０  パラメータ算出手段、キャリブレーション部
１６１  方向指示手段
１７０  記憶手段、記憶部
【図１】
0004681629.tif 000002
【図２】
0004681629.tif 000003
【図３】
0004681629.tif 000004
【図４】
0004681629.tif 000005
【図５】
0004681629.tif 000006
【図６】
0004681629.tif 000007
【図７】
0004681629.tif 000008
【図８】
0004681629.tif 000009
【図９】
0004681629.tif 000010
【図１０】
0004681629.tif 000011
【図１１】
0004681629.tif 000012
【図１２】
0004681629.tif 000013
【図１３】
0004681629.tif 000014
【図１４】
0004681629.tif 000015
【図１５】
0004681629.tif 000016
【図１６】
0004681629.tif 000017
【図１７】
0004681629.tif 000018
【図１８】
0004681629.tif 000019
【図１９】
0004681629.tif 000020
【図２０】
0004681629.tif 000021
【図２１】
0004681629.tif 000022
【図２２】
0004681629.tif 000023
【図２３】
0004681629.tif 000024
【図２４】
0004681629.tif 000025
【図２５】
0004681629.tif 000026
【図２６】
0004681629.tif 000027
【図２７】
0004681629.tif 000028
【図２８】
0004681629.tif 000029
【図２９】
0004681629.tif 000030
【図３０】
0004681629.tif 000031
【図３１】
0004681629.tif 000032