(57)【要約】【課題】画像表示部を透過する外景に対して、表示画像の位置合わせを行なうキャリブレーションを容易に実行できる表示装置を提供する。【解決手段】透過型の頭部装着型表示装置は；外景を撮像する撮像部と；前記外景を透過可能で、画像を表示可能な画像表示部と；前記撮像部によって撮像されることで前記画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部と；を備える。【選択図】図１
2017022635.tif 000002
【特許請求の範囲】
【請求項１】
透過型の頭部装着型表示装置であって、
外景を撮像する撮像部と、
前記外景を透過可能で、画像を表示可能な画像表示部と、
前記撮像部によって撮像されることで前記画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部と、
を備える、頭部装着型表示装置。
【請求項２】
請求項１に記載の頭部装着型表示装置であって、さらに、
前記画像表示部が前記被識別部に対応付けられている識別対象画像を表示している場合であって、前記被識別部と前記識別対象画像とが所定の相対位置関係にあることを示す指示を受け付ける受付部と、
当該指示が受け付けられた場合に前記撮像部によって取得された前被記識別部の撮像画像に少なくとも基づいて、撮像された前記外景に含まれる対象物に位置、大きさ、向きの少なくとも一つを対応させて前記対象物に対応付けられたオブジェクト画像を表示させるためのパラメーターを設定する校正部と、を備える、頭部装着型表示装置。
【請求項３】
請求項２に記載の頭部装着型表示装置であって、
前記識別対象画像と前記被識別部の画像とは、同じ画像であり、
前記撮像部は、前記画像表示部に表示された前記識別対象画像に重なるような前記所定の相対位置関係になるように位置合わせされた状態の前記被識別部の画像を撮像し、
前記校正部は、前記撮像部によって撮像された前記被識別部の画像の座標値と、前記画像表示部に表示させた前記識別対象画像の座標値と、に基づいて前記パラメーターを設定する、頭部装着型表示装置。
【請求項４】
請求項２または請求項３に記載の頭部装着型表示装置であって、
前記撮像部は、前記画像表示部と一体で形成され、
前記被識別部は、前記校正部と一体で形成され、前記画像表示部とは別体で形成される、頭部装着型表示装置。
【請求項５】
透過型の頭部装着型表示装置と、画像を表示可能な画像表示装置と、を含む画像処理システムであって、
前記頭部装着型表示装置は、
外景を撮像する撮像部と、
前記外景を透過可能で、画像を表示可能な第１画像表示部と、
前記撮像部によって撮像されることで前記第１画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部の画像を他の装置へと送信する校正部と、を備え、
前記画像表示装置は、
前記校正部によって送信された前記被識別部の画像を受信する受信部と、
前記受信部によって受信された前記被識別部の画像を表示する第２画像表示部と、を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置の技術に関する。
【背景技術】
【０００２】
外景に表示画像を重畳させて使用者に視認させるために、画像表示部を透過する外景に対して表示画像の位置合わせを行なうキャリブレーションが知られている。従来では、例えば、非特許文献１に記載されているように、右眼に対応する右画像表示部および左眼に対応する左画像表示部のそれぞれに、大きさが異なる複数のキャリブレーション用画像が表示される。使用者がキャリブレーション画像と外景に含まれるマーカーとが重複するような位置に移動して、キャリブレーション用画像を撮像する動作が複数回行なわれることで、キャリブレーションが行なわれていた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Vuforia Calibration App、［online］、[平成２７年６月３日検索]、インターネット〈ＵＲＬ：https://developer.vuforia.com/library/articles/Training/Vuforia-Calibration-App〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術では、所定の位置に配置されたマーカーを撮像するために、使用者が移動する必要があった。そのため、使用者が移動しなくても容易にキャリブレーションを行ないたい課題があった。そのほか、従来のキャリブレーションの技術においては、低コスト化や使い勝手の向上等が望まれていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００６】
（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、外景を撮像する撮像部と；前記外景を透過可能で、画像を表示可能な画像表示部と；前記撮像部によって撮像されることで前記画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部と；を備える。この形態の頭部装着型表示装置によれば、被識別部の位置を動かすことで、撮像部の撮像範囲に被識別部が含まれるように容易にできるため、キャリブレーションを容易に実行できる。
【０００７】
（２）上記形態の頭部装着型表示装置において、さらに；前記画像表示部が前記被識別部に対応付けられている識別対象画像を表示している場合であって、前記被識別部と前記識別対象画像とが所定の相対位置関係にあることを示す指示を受け付ける受付部と；当該指示が受け付けられた場合に前記撮像部によって取得された前被記識別部の撮像画像に少なくとも基づいて、撮像された前記外景に含まれる対象物に位置、大きさ、向きの少なくとも一つを対応させて前記対象物に対応付けられたオブジェクト画像を表示させるためのパラメーターを設定する校正部と、を備えてもよい。この形態の頭部装着型表示装置によれば、画像表示部に表示された識別対象画像に位置合わせされて撮像された被識別部の画像が用いられて、オブジェクト画像の表示位置を決定するためのパラメーターが設定される。これにより、外景に含まれる対象物に対応付けられたオブジェクト画像を、対象物の位置に対応付けて表示させることができる。
【０００８】
（３）上記形態の頭部装着型表示装置において、前記識別対象画像と前記被識別部の画像とは、同じ画像であり；前記撮像部は、前記画像表示部に表示された前記識別対象画像に重なるような前記所定の相対位置関係になるように位置合わせされた状態の前記被識別部の画像を撮像し；前記校正部は、前記撮像部によって撮像された前記被識別部の画像の座標値と、前記画像表示部に表示させた前記識別対象画像の座標値と、に基づいて前記パラメーターを設定してもよい。この形態の頭部装着型表示装置によれば、画像表示部に表示された識別対象画像に、被識別部の画像を重なるように位置合わせをすればよいので、使用者は、容易にキャリブレーションを実行できる。
【０００９】
（４）上記形態の頭部装着型表示装置において、前記撮像部は、前記画像表示部と一体で形成され；前記被識別部は、前記校正部と一体で形成され、前記画像表示部とは別体で形成されてもよい。この形態の頭部装着型表示装置によれば、使用者は、校正部の位置を手で移動させ、頭部を動かすことで撮像部の位置を移動させられるため、キャリブレーションを容易に実行できる。
【００１０】
（５）本発明の他の形態によれば、透過型の頭部装着型表示装置と、画像を表示可能な画像表示装置と、を含む画像処理システムが提供される。この画像処理システムは、前記頭部装着型表示装置は；外景を撮像する撮像部と；前記外景を透過可能で、画像を表示可能な第１画像表示部と；前記撮像部によって撮像されることで前記第１画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部の画像を他の装置へと送信する校正部と、を備え；前記画像表示装置は；前記校正部によって送信された前記被識別部の画像を受信する受信部と；前記受信部によって受信された前記被識別部の画像を表示する第２画像表示部と、を備える。この形態の画像処理システムによれば、頭部装着型表示装置と異なる画像表示装置に表示させた被識別部の画像を用いて、キャリブレーションを実行できるため、被識別部の画像データと、被識別部の画像を表示できる装置があれば、どこでもキャリブレーションを実行できる。
【００１１】
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００１２】
例えば、本発明の一形態は、撮像部と、画像表示部と、被識別部と、の３つの要素の内の一部または全部を備えた装置として実現可能である。すなわち、この装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、被識別部を有していてもよく、有していなくてもよい。撮像部は、例えば、外景を撮像してもよい。画像表示部は、例えば、前記外景を透過可能で、画像を表示可能であってもよい。被識別部は、例えば、前記撮像部によって撮像されることで前記画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
【００１３】
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置または表示装置の制御方法、頭部装着型表示装置または表示装置を有するシステム、頭部装着型表示装置または表示装置の制御方法およびシステムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００１４】
【図１】キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。
【図２】制御部の裏面に配置されたマーカーを示す概略図である。
【図３】マーカーの詳細図である。
【図４】ＨＭＤの構成を機能的に示すブロック図である。
【図５】キャリブレーション実行処理のフローチャートである。
【図６】マーカー撮像処理のフローチャートである。
【図７】制御部の裏面に配置されたマーカーと使用者との位置関係を表す概略図である。
【図８】マーカーを見ている使用者の視野を示す説明図である。
【発明を実施するための形態】
【００１５】
Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、キャリブレーションを行なう頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０を透過する外景も使用者に視認させることができる。ＨＭＤ１００は、画像を表示する画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
【００１６】
画像表示部２０は、使用者の頭部に装着される装着体であり、眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
【００１７】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。
【００１８】
表示駆動部２２，２４は、図３で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。
【００１９】
カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。
【００２０】
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
【００２１】
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含み、制御部１０の前面に形成された操作部１３５と、制御部１０の裏面に配置されたマーカーＭＫ１（図示していない）と、を有する。マーカーＭＫ１は、カメラ６１によって撮像されることでキャリブレーションが行なわれるために必要な被識別部である。
【００２２】
図２は、制御部１０の裏面に配置されたマーカーＭＫ１を示す概略図である。図３は、マーカーＭＫ１の詳細図である。図２に示すように、制御部１０の裏面には、正方形の中に１０個の円が形成されたマーカーＭＫ１が配置されている。図３に示すように、マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の円が形成された２次元のマーカーである。マーカーＭＫ１では、図２および図３においてハッチングで表す黒色の部分に、ハッチングが施されないで図２および図３に表された白色の円が形成されている。後述するキャリブレーション実行処理では、白色の円の中心の座標値が用いられることで、カメラ６１によって撮像されたマーカーＭＫ１と後述するマーカーＭＫ１に対応するように予め用意された識別対象画像ＩＭＧ１との重複の度合いが判定される。なお、マーカーＭＫ１は、請求項における被識別部に相当する。
【００２３】
図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、識別対象記憶部１３９と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。
【００２４】
電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。
【００２５】
識別対象記憶部１３９は、制御部１０の裏面に配置されたマーカーＭＫ１と同じ画像を、識別対象画像ＩＭＧ１として記憶している。識別対象画像ＩＭＧ１は、後述するキャリブレーション実行処理において、右光学像表示部２６または左光学像表示部２８に表示される画像である。キャリブレーション実行処理では、表示された識別対象画像ＩＭＧ１と重複するようにマーカーＭＫ１が撮像されることで、識別対象画像ＩＭＧ１と撮像されたマーカーＭＫ１とが用いられて、キャリブレーションが実行される。
【００２６】
図４に示すＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、マーカー識別部１６５および演算部１６７として機能する。
【００２７】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
【００２８】
画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。
【００２９】
マーカー識別部１６５は、カメラ６１によって得られた撮像画像に対して、所定の階調値を閾値として２値化を行なう。マーカー識別部１６５は、２値化した画像の中から、識別対象記憶部１３９に記憶された識別対象画像ＩＭＧ１と同じマーカーＭＫ１を抽出する。本実施形態では、マーカー識別部１６５は、撮像画像に対して、初めに、予め設定された初期閾値で２値化を行なう。マーカー識別部１６５は、２値化した画像に対して、識別対象画像ＩＭＧ１の特徴点と同じと判定する画像を撮像画像の中から抽出する。識別対象画像ＩＭＧ１の特徴点としては、正方形の４個の頂点である頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３および正方形の中に含まれる白色の９個の円である。マーカー識別部１６５は、９個の円の特徴点として、対向する２つの頂点を結んだ対角線上に、識別対象画像ＩＭＧ１と同じ位置関係で円が並んでいるか否かの判定をすることで、撮像画像の中から識別対象画像ＩＭＧ１と同じと判定するマーカーＭＫ１を抽出する。例えば、マーカー識別部１６５は、図３において、頂点Ｐ０と頂点Ｐ２とを結んだ直線上、および／または頂点Ｐ１と頂点Ｐ３を結んだ直線上に、２値化された白色の円が黒色に対して５個並んでいるか否かや並んでいる白色の円の大きさや複数の円に挟まれる黒色の領域の大きさなどで判定する。
【００３０】
マーカー識別部１６５は、初期閾値を用いた２値化でマーカーＭＫ１を抽出できない場合には、予め設定された階調値である加算閾値を初期閾値に加えた新たな閾値として、撮像画像に対して、２値化を行ない、マーカーＭＫ１を抽出する。このように、マーカー識別部１６５は、いくつかの階調値を閾値として２値化することで、撮像画像の中からマーカーＭＫ１を抽出する。なお、マーカー識別部１６５は、複数の閾値を用いても撮像範囲からマーカーＭＫ１を抽出できない場合には、撮像範囲にマーカーＭＫ１が含まれないと判定する。
【００３１】
演算部１６７は、マーカー識別部１６５によって撮像画像の中から抽出されたマーカーＭＫ１に含まれる円の中心点を特定する。演算部１６７は、特定したマーカーＭＫ１の中心点の座標値を、マーカーＭＫ１の重心に形成された中心円の中心点を基準として設定する。演算部１６７は、抽出されたマーカーＭＫ１の形状が適切であるか否かを、設定した座標値を用いて判定する。具体的には、演算部１６７は、抽出されたマーカーＭＫ１の正方形を構成する四辺の比に基づいて、撮像されたマーカーＭＫ１の位置を判定する。例えば、抽出されたマーカーＭＫ１の外形が極端な辺の比の台形になる場合には、キャリブレーションを実行するための後述する座標変換の値を精度良く算出できないため、マーカーＭＫ１の位置を変更して撮像するように使用者に報知する。使用者への報知の方法としては、光学像表示部２６，２８への所定の画像の表示やイヤホン３２，３４への所定の音声の出力などがある。
【００３２】
演算部１６７は、表示された識別対象画像ＩＭＧ１に含まれる円の中心点の座標値と、撮像されたマーカーＭＫ１の円の中心点の座標値と、を用いて座標変換の値を算出する。座標変換の値は、右光学像表示部２６または左光学像表示部２８に表示される画像を外景に重畳させて使用者に視認させるための補正値である。なお、マーカー識別部１６５および演算部１６７は、請求項における校正部に相当する。
【００３３】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
【００３４】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。
【００３５】
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。
【００３６】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００３７】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。
【００３８】
Ａ−２．キャリブレーション実行処理：
図５は、キャリブレーション実行処理のフローチャートである。キャリブレーション実行処理は、ＣＰＵ１４０が右光学像表示部２６または左光学像表示部２８に表示された識別対象画像ＩＭＧ１に重なる位置で撮像されたマーカーＭＫ１を用いて、キャリブレーションを実行するための座標変換の値を算出する処理である。キャリブレーション実行処理では、初めに、ＣＰＵ１４０は、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させた後に、マーカーＭＫ１を撮像するマーカー撮像処理を実行する（ステップＳ１０）。
【００３９】
図６は、マーカー撮像処理のフローチャートである。本実施形態のマーカー撮像処理は、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させた場合の右眼ＲＥに対応するマーカー撮像処理と、左光学像表示部２８のみに識別対象画像ＩＭＧ１を表示させた場合の左眼ＬＥに対応するマーカー撮像処理と、のどちらにも対応する処理である。以下では、図５の右眼ＲＥに対応するマーカー撮像処理の例を説明する。
【００４０】
マーカー撮像処理では、初めに、マーカー識別部１６５は、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させる（ステップＳ１１）。マーカー識別部１６５は、識別対象画像ＩＭＧ１を右光学像表示部２６が画像を表示可能な領域の中心部分に、識別対象画像ＩＭＧ１の全外が表示されるように表示させる。次に、マーカー識別部１６５は、カメラ６１によって位置合わせされた制御部１０の裏面に配置されているマーカーＭＫ１を含む外景ＳＣを撮像する（ステップＳ１３）。本実施形態では、マーカー識別部１６５は、キャリブレーションを行なうために、表示された識別対象画像ＩＭＧ１に重複するように位置合わせされた制御部１０の裏面に配置されたマーカーＭＫ１を撮像する。なお、撮像は、操作部１３５の内に含まれる所定のボタンが使用者によって押下されることで行なわれる。言い換えると、マーカーＭＫ１と識別対象画像ＩＭＧ１とが、所定の位置としての重なる位置に位置合わせされた状態であることを決定した場合に、操作部１３５の内の所定のボタンが押下される。そのため、本実施形態における操作部１３５の内の所定のボタンは、請求項における受付部に相当する。なお、他の実施形態では、音声入力などによって所定の位置として位置合わせされた状態での撮像が行なわれてもよい。
【００４１】
図７は、制御部１０の裏面に配置されたマーカーＭＫ１と使用者ＵＳとの位置関係を表す概略図である。図７には、画像表示部２０を頭部に装着した使用者ＵＳが、右光学像表示部２６に表示された識別対象画像ＩＭＧ１にマーカーＭＫ１が重なるように位置合わせをしている状態が示されている。使用者ＵＳは、制御部１０の位置を変化させることで、右光学像表示部２６に表示された識別対象画像ＩＭＧ１とマーカーＭＫ１とが重なるように調整できる。
【００４２】
図８は、マーカーＭＫ１を見ている使用者ＵＳの視野ＶＲを示す説明図である。図８に示すように、使用者ＵＳの右眼ＲＥは、右光学像表示部２６に表示された識別対象画像ＩＭＧ１と、外景ＳＣに含まれるマーカーＭＫ１とを視認する。図８では、識別対象画像ＩＭＧ１の中心とマーカーＭＫ１の中心とが微妙にずれ、マーカーＭＫ１が識別対象画像ＩＭＧ１に対して、角度θ１傾いている状態が示されている。
【００４３】
図６のステップＳ１３において、制御部１０の裏面に配置されたマーカーＭＫ１が撮像されると、マーカー識別部１６５は、撮像画像の中からマーカーＭＫ１を抽出する（ステップＳ１５）。マーカー識別部１６５は、マーカーＭＫ１を抽出するために、所定の閾値によって撮像画像を２値化する。マーカー識別部１６５は、２値化した撮像画像の中から、識別対象画像ＩＭＧ１と同じと識別されるマーカーＭＫ１を抽出する。マーカー識別部１６５は、初期閾値による２値化でマーカーＭＫ１を抽出できない場合には、複数の閾値を用いて２値化した撮像画像からマーカーＭＫ１を抽出する。
【００４４】
マーカー識別部１６５は、複数の閾値を用いても、撮像画像の中からマーカーＭＫ１を抽出できない場合には（ステップＳ１５：ＮＯ）、マーカーＭＫ１を抽出するために、再度、ステップＳ１３の処理を行なう。撮像画像の中からマーカーＭＫ１を抽出された場合には（ステップＳ１５：ＹＥＳ）、演算部１６７は、抽出されたマーカーＭＫ１の中心を基準として、抽出されたマーカーＭＫ１に含まれる複数の円の中心点の座標値を特定する（ステップＳ１７）。
【００４５】
演算部１６７は、座標値を特定すると、抽出されたマーカーＭＫ１の形状が適切か否かを判定する。（ステップＳ１９）。本実施形態では、演算部１６７は、抽出したマーカーＭＫ１に含まれる複数の円の座標値およびマーカーＭＫ１の外形を特定する。演算部１６７は、特定した座標値に基づいて、抽出されたマーカーＭＫ１の位置が適切であると判定した場合には（ステップＳ１９：ＹＥＳ）、ＣＰＵ１４０は、右眼ＲＥに対応するマーカー撮像処理を終了する。
【００４６】
ステップＳ１７の処理において、演算部１６７は、抽出されたマーカーＭＫ１の位置が適切でないと判定した場合には（ステップＳ１９：ＮＯ）、使用者ＵＳに対して、マーカーＭＫ１の位置の変更を促す報知を行なう（ステップＳ２１）。
【００４７】
図５のキャリブレーション実行処理において、ＣＰＵ１４０は、ステップＳ１０の処理を行なうと、使用者ＵＳの左眼ＬＥに対しても、右眼ＲＥと同様である左眼ＬＥに対応するマーカー撮像処理を行なう（ステップＳ３０）。左眼ＬＥに対応するマーカー撮像処理については、右眼ＲＥに対応するマーカー撮像処理と同じ処理のため、説明を省略する。
【００４８】
その後、演算部１６７は、右光学像表示部２６に表示された識別対象画像ＩＭＧ１の座標値と、右眼ＲＥに対応するマーカー撮像処理において撮像されたマーカーＭＫ１の座標値と、を対応付ける。また、同様に、演算部１６７は、左光学像表示部２８に表示された識別対象画像ＩＭＧ１の座標値と、左眼ＬＥに対応するマーカー撮像処理において撮像されたマーカーＭＫ１の座標値と、を対応付ける。演算部１６７は、設定した右眼ＲＥの場合の座標値と、設定した左眼ＬＥの場合の座標値とに基づいて、カメラ６１によって撮像される外景ＳＣから使用者が視認する外景ＳＣへの座標変換の値を算出する。その後、ＣＰＵ１４０は、キャリブレーション実行処理を終了する。
【００４９】
以上説明したように、本実施形態のＨＭＤ１００は、画像表示部２０に表示される画像を外景ＳＣに重畳させて使用者に視認されるためのキャリブレーションに用いられ、移動可能な制御部１０の裏面に配置されたマーカーＭＫ１を有する。そのため、本実施形態のＨＭＤ１００では、使用者は、マーカーＭＫ１の位置を自由に移動させることができ、使用者の位置に関わらず、キャリブレーションを実行できる。また、使用者は、マーカーＭＫ１を自由に動かせるため、キャリブレーションを実行するための正確な位置にマーカーＭＫ１を移動させることで、精度の高いキャリブレーションを実現できる。
【００５０】
また、本実施形態のＨＭＤ１００では、マーカー識別部１６５は、撮像画像の中からマーカーＭＫ１を抽出する。また、演算部１６７は、抽出されたマーカーＭＫ１における特徴点の座標値を算出し、算出した座標値と識別対象画像ＩＭＧ１における特徴点の座標値とに基づいて、キャリブレーションを実行すするためのカメラ６１によって撮像される外景ＳＣから使用者が視認する外景ＳＣへの座標変換のパラメーター値を算出する。そのため、本実施形態のＨＭＤ１００では、撮像されたマーカーＭＫ１と識別対象画像ＩＭＧ１との座標値が用いられて、カメラ６１によって撮像されたカメラ６１を基準とする外景ＳＣの座標値を、使用者の眼を基準とする座標値へと変換できる。そのため、使用者は、外景ＳＣに精度良く重畳された画像を視認できる。
【００５１】
また、本実施形態のＨＭＤ１００では、マーカー識別部１６５は、識別対象画像ＩＭＧ１を右光学像表示部２６または左光学像表示部２８に表示させ、識別対象画像ＩＭＧ１と位置合わせされて撮像され、識別対象画像ＩＭＧ１と同じ形状のマーカーＭＫ１を抽出する。演算部１６７は、抽出されたマーカーＭＫ１の座標値を算出し、算出したマーカーＭＫ１の座標値と識別対象画像ＩＭＧ１の座標値とに基づいて、カメラ６１によって撮像される外景ＳＣから使用者が視認する外景ＳＣへの座標変換のパラメーター値を算出する。ＨＭＤ１００では、算出された座標変換の値が用いられて、キャリブレーションが実行される。そのため、本実施形態のＨＭＤ１００では、撮像されたマーカーＭＫ１における特徴点の座標値と、識別対象画像ＩＭＧ１における特徴点の座標値と、が同じ特徴点を表すとしてキャリブレーションが実行される。これにより、算出される座標変換のずれが少なく、精度の高いキャリブレーションを実行できる。
【００５２】
また、本実施形態のＨＭＤ１００では、カメラ６１が画像表示部２０に配置され、マーカーＭＫ１が制御部１０の裏面に配置される。そのため、本実施形態のＨＭＤ１００では、画像表示部２０を頭部に装着した使用者ＵＳは、自身の頭部の位置とコントローラーとしての制御部１０の位置とを動かすことで、マーカーＭＫ１を抽出してキャリブレーションを実行できる。よって、使用者ＵＳは、感覚的な操作によってキャリブレーションを実行でき、ＨＭＤ１００の使い勝手が向上する。
【００５３】
Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【００５４】
Ｂ−１．変形例１：
上記実施形態では、キャリブレーションのために撮像される被識別部としてのマーカーＭＫ１が２次元の画像として制御部１０の裏面に配置されたが、マーカーＭＫ１の態様については、種々変形可能である。例えば、ＨＭＤ１００とスマートフォンなどの携帯端末を有する画像処理システムにおいて、マーカー識別部１６５が識別対象記憶部１３９に記憶されているマーカーＭＫ１の画像データを、スマートフォンなどの携帯端末に送信する。携帯端末における受信部は、送信されたマーカーＭＫ１の画像を受信して、携帯端末の表示パネルにマーカーＭＫ１の画像が表示され、表示されたマーカーＭＫ１の画像が用いられてＨＭＤ１００のキャリブレーションが実行されてもよい。この変形例のＨＭＤ１００では、キャリブレーションを実行するＨＭＤ１００がマーカーＭＫ１の画像データを、表示パネル等の画像表示部を有する携帯端末などに送信できれば、キャリブレーションが実行される。そのため、マーカーＭＫ１は物ではなく、画像データとしてあればよく、キャリブレーションを行なう環境の制限が少なくなり、容易にキャリブレーションが実行される。
【００５５】
また、キャリブレーションに用いられるマーカーＭＫ１の形状などについても、種々変形可能である。上記実施形態では、マーカーＭＫ１は、黒色の正方形の中に白色の複数の円が含まれる形状であったが、被識別部としての色や正方形または円の形状については、マーカーＭＫ１の例に限られず、種々変形可能である。形状としては、円形の中に矩形や直線が形成されてもよいし、色についても、赤や青などが用いられてもよい。また、マーカーＭＫ１が配置される場所についても、種々変形可能である。上記実施形態では、制御部１０の裏面にマーカーＭＫ１が配置されたが、マーカーＭＫ１が配置される位置は、撮像部としてのカメラ６１の位置と連動しない場所であればよい。例えば、イヤホン３２，３４の一部にマーカーＭＫ１が配置されてもよく、操作部１３５の操作を行なうためのペンなどにマーカーＭＫ１が配置されてもよい。
【００５６】
上記実施形態のキャリブレーション実行処理では、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させた処理と、左光学像表示部２８のみに識別対象画像ＩＭＧ１を表示させた処理と、が行なわれることによってキャリブレーションが実行されたが、表示された識別対象画像ＩＭＧ１を撮像する処理については、種々変形可能である。例えば、右光学像表示部２６と左光学像表示部２８とに同じ識別対象画像ＩＭＧ１を表示させた状態で、位置合わせされたマーカーＭＫ１が撮像されてもよい。また、右光学像表示部２６のみまたは左光学像表示部２８のみに識別対象画像ＩＭＧ１が表示されて、表示された識別対象画像ＩＭＧ１に位置合わせされたマーカーＭＫ１が撮像されてもよい。また、上記実施形態では、右光学像表示部２６と左光学像表示部２８とは、別々の画像が表示されるように制御可能であったが、１つの画像表示部として、識別対象画像ＩＭＧ１が表示されてもよい。
【００５７】
キャリブレーションの変形例として、例えば、以下の構成が考えられる。
カメラ６１が外景ＳＣにおけるマーカーＭＫ１の撮像画像を取得する。演算部１６７は、当該撮像画像に基づいて、カメラ６１に対するマーカーＭＫ１の位置・姿勢Ａを推定する。この際、位置・姿勢Ａの推定には、ホモグラフィー法が利用できる。さらに演算部１６７は、右光学像表示部２６および左光学像表示部２８に対するカメラ６１の相対位置関係に基づいて、位置・姿勢Ａを、右光学像表示部２６および左光学像表示部２８に対するマーカーＭＫ１の位置・姿勢Ｂに変換する。そして、画像処理部１６０は、マーカーＭＫ１に相似するモデルマーカー（記憶されたマーカーＭＫ１の像または記憶されたコンピューターグラフィックス）を、位置・姿勢Ｂで、右画像表示部２６および／または左画像表示部２８に表示する。使用者は、位置・姿勢Ｂで表示されているモデルマーカーとマーカーＭＫ１とが一致するように、モデルマーカーの位置、使用者の頭部、またはマーカーＭＫ１を移動させる。使用者が、モデルマーカーとマーカーＭＫ１とを互いに一致して視認する場合に、制御部１６７は、ＨＭＤ１００の重畳表示に係る座標変換のパラメーター値を記憶（設定）すればよい。
【００５８】
上記キャリブレーションの実行後、例えば、以下のようにして、画像処理部１６０は、対象物に、当該対象物に対応したオブジェクトを重畳して表示することができる。この場合のオブジェクトは、対象物の構造と同じ構造を有する３Ｄオブジェクトでもよいし、アノテーションとして文字情報を含む２Ｄオブジェクトでもよい。カメラ６１が外景における対象物を撮像する。撮像後、演算部１６７は、撮像画像に基づいて、右光学像表示部２６および左光学像表示部２８に対する対象物の位置・姿勢を推定する。そこで、上記キャリブレーションによって設定（記憶）された座標変換のパラメーター値を用いて、画像処理部１６０は、使用者が当該対象物に対して、位置、大きさ、向きの少なくとも一つが対応して（好適には一致して）視認するようにオブジェクトを右画像表示部２６および左画像表示部２８に表示させる。このとき、外景ＳＣにおける対象物の任意の位置に一致して視認される表示画像上の位置から所定距離（オフセット）を加えた位置に当該オブジェクトを表示することもできる。
【００５９】
キャリブレーションに関する上記変形例はさらに変形されることができる。例えば、使用者が、右画像表示部２６または左画像表示部２８に表示されたモデルマーカーの画像を、マーカーＭＫ１に重ねた場合に、右画像表示部２６または左画像表示部２８に対するマーカーＭＫ１の位置・姿勢が予め規定された相対位置関係になるように、モデルマーカーを右画像表示部２６または左画像表示部２８に固定表示することもできる。
【００６０】
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【００６１】
１０…制御部
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ
１００…ＨＭＤ
１２１…ＲＯＭ
１２２…ＲＡＭ
１３０…電源
１３５…操作部（受付部）
１３９…識別対象記憶部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…マーカー識別部（校正部）
１６７…演算部（校正部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＡＰ…先端部
ＥＬ…左光学像表示部の端部
ＥＲ…右光学像表示部の端部
ＩＭＧ１…識別対象画像
ＬＥ…左眼
ＲＥ…右眼
ＭＫ１…マーカー（被識別部）
ＯＡ…外部機器
Ｐ０，Ｐ１，Ｐ２，Ｐ３…頂点
ＳＣ…外景
ＵＳ…使用者
ＶＲ…視野
【図１】
2017022635.tif 000003
【図２】
2017022635.tif 000004
【図３】
2017022635.tif 000005
【図４】
2017022635.tif 000006
【図５】
2017022635.tif 000007
【図６】
2017022635.tif 000008
【図７】
2017022635.tif 000009
【図８】
2017022635.tif 000010