(57)【要約】【課題】使用者に見える外界と表示内容とを効果的に組み合わせることが可能な表示装置、表示装置の制御方法、および、プログラムを提供する。【解決手段】頭部装着型表示装置１００は、使用者の身体に装着して使用され、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。頭部装着型表示装置１００は、使用者の視線方向の対象物を検出する対象検出部１７１と、画像表示部２０により表示する画像のデータを取得するデータ取得部ＤＡを備える。頭部装着型表示装置１００は、画像表示制御部１７６により、対象検出部１７１で検出した対象物の少なくとも一部に重なって視認される位置に、データ取得部により取得したデータに基づき画像を表示させる。【選択図】図２
2016033759.tif 000002
【特許請求の範囲】
【請求項１】
使用者の身体に装着して使用される表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
前記使用者の視線方向の対象物を検出する対象検出部と、
前記表示部により表示する画像のデータを取得するデータ取得部と、
前記対象検出部で検出した前記対象物の少なくとも一部に重なるように、前記データ取得部により取得したデータに基づき画像を表示させる画像表示制御部と、
を備えることを特徴とする表示装置。
【請求項２】
前記対象検出部は所定の属性を有する前記対象物を検出し、
前記画像表示制御部は、前記対象検出部で検出された前記対象物の属性と対応する属性を有する前記画像を、前記表示部に表示させること、
を特徴とする請求項１記載の表示装置。
【請求項３】
前記対象検出部が検出する前記対象物の特徴と、前記対象物の属性とを対応付ける特徴データとを記憶する記憶部を有し、
前記対象検出部は前記特徴データに該当する前記対象物を検出して、検出した前記対象物の属性を判定すること、
を特徴とする請求項２記載の表示装置。
【請求項４】
前記画像表示制御部は、前記対象検出部で検出された前記対象物の属性と対応する属性を有する前記画像を生成し、或いは、前記データ取得部により取得したデータに含まれる前記画像のうち前記対象物の属性に対応する前記画像を取得すること、を特徴とする請求項２または３記載の表示装置。
【請求項５】
前記使用者の視線方向を撮像する撮像部を備え、
前記対象検出部は、前記撮像部の撮像画像から前記対象物の特徴に該当する画像を検出することにより、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、
を特徴とする請求項１から４のいずれかに記載の表示装置。
【請求項６】
前記表示部の表示領域に対する前記対象物の位置を検出する位置検出部を備え、
前記画像表示制御部は、前記位置検出部で検出した前記対象物の位置に基づき画像の表示位置を決定し、前記表示部に画像を表示させること、
を特徴とする１から５のいずれかに表示装置。
【請求項７】
前記位置検出部は、前記使用者が前記表示部の表示領域を透過して前記対象物を視認する位置を検出すること、
を特徴とする請求項６記載の表示装置。
【請求項８】
外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、
前記使用者の視線方向の対象物を検出し、
前記表示部により表示する画像のデータを取得し、
前記対象物の少なくとも一部に重なるように、取得したデータに基づき画像を表示させること、
を特徴とする表示装置の制御方法。
【請求項９】
外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記使用者の視線方向の対象物を検出する対象検出部と、
前記表示部により表示する画像のデータを取得するデータ取得部と、
前記対象検出部で検出した前記対象物の少なくとも一部に重なるように、前記データ取得部により取得したデータに基づき画像を表示させる画像表示制御部と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、ウェアラブル表示装置において、外界視野と重畳して表示を行うものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、外界視野と文字を重畳して表示する構成を有し、表示する一部の文字又は単語について、フォントサイズや文字の色等の表示属性を変更して、例えば文章の一部の文字を識別しやすくする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−５６２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、ウェアラブル表示装置を使用する使用者が、表示装置が表示する文字か外界視野かのいずれかを見る場合の表示方法について記載されている。これに対し、使用者が外界とともに視認することを考慮した表示方法についての提案は、従来無かった。
本発明は、上述した事情に鑑みてなされたものであり、使用者に見える外界と表示内容とを効果的に組み合わせることが可能な表示装置、表示装置の制御方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の表示装置は、使用者の身体に装着して使用される表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記使用者の視線方向の対象物を検出する対象検出部と、前記表示部により表示する画像のデータを取得するデータ取得部と、前記対象検出部で検出した前記対象物の少なくとも一部に重なるように、前記データ取得部により取得したデータに基づき画像を表示させる画像表示制御部と、を備えることを特徴とする。
本発明によれば、外景として見える対象物に重なるように画像を表示し、表示装置の外部にある対象物の見え方を、表示装置の表示により変化させることができる。従って、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
【０００６】
また、本発明は、上記表示装置において、前記対象検出部は所定の属性を有する前記対象物を検出し、前記画像表示制御部は、前記対象検出部で検出された前記対象物の属性と対応する属性を有する前記画像を、前記表示部に表示させること、を特徴とする。
本発明によれば、外景として見える対象物の属性に対応した画像を、対象物に重なって見えるように表示する。このため、対象物の属性に対応して、表示装置が表示する画像により対象物の見え方を変化させることができる。
【０００７】
また、本発明は、上記表示装置において、前記対象検出部が検出する前記対象物の特徴と、前記対象物の属性とを対応付ける特徴データとを記憶する記憶部を有し、前記対象検出部は前記特徴データに該当する前記対象物を検出して、検出した前記対象物の属性を判定すること、を特徴とする。
本発明によれば、使用者の視線方向の対象物を速やかに検出し、検出した対象物の属性を判定できる。
【０００８】
また、本発明は、上記表示装置において、前記画像表示制御部は、前記対象検出部で検出された前記対象物の属性と対応する属性を有する前記画像を生成し、或いは、前記データ取得部により取得したデータに含まれる前記画像のうち前記対象物の属性に対応する前記画像を取得すること、を特徴とする。
本発明によれば、対象物の属性に対応する画像を適切に表示できる。
【０００９】
また、本発明は、上記表示装置において、前記使用者の視線方向を撮像する撮像部を備え、前記対象検出部は、前記撮像部の撮像画像から前記対象物の特徴に該当する画像を検出することにより、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、を特徴とする。
本発明によれば、撮像画像に基づき、使用者の視線方向にある対象物を容易に検出できる。
【００１０】
また、本発明は、上記表示装置において、前記表示部の表示領域に対する前記対象物の位置を検出する位置検出部を備え、前記画像表示制御部は、前記位置検出部で検出した前記対象物の位置に基づき画像の表示位置を決定し、前記表示部に画像を表示させること、を特徴とする。
本発明によれば、対象物の位置に合わせて画像を表示できる。
【００１１】
また、本発明は、上記表示装置において、前記位置検出部は、前記使用者が前記表示部の表示領域を透過して前記対象物を視認する位置を検出すること、を特徴とする。
本発明によれば、画像を表示する位置を適切に決めることができるので、表示領域を透過して見える対象物に重なるように画像を表示できる。
【００１２】
また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、前記使用者の視線方向の対象物を検出し、前記表示部により表示する画像のデータを取得し、前記対象物の少なくとも一部に重なるように、取得したデータに基づき画像を表示させること、を特徴とする。
本発明によれば、外景として見える対象物に重なるように画像を表示し、表示装置の外部にある対象物の見え方を、表示装置の表示により変化させることができる。従って、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
【００１３】
また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記使用者の視線方向の対象物を検出する対象検出部と、前記表示部により表示する画像のデータを取得するデータ取得部と、前記対象検出部で検出した前記対象物の少なくとも一部に重なるように、前記データ取得部により取得したデータに基づき画像を表示させる画像表示制御部と、して機能させるためのプログラムである。
本発明によれば、外景として見える対象物に重なるように画像を表示し、表示装置の外部にある対象物の見え方を、表示装置の表示により変化させることができる。従って、表示装置外部の外景と、表示内容とを効果的に組み合わせて、表示装置による表示の新たな活用方法を提供できる。
【図面の簡単な説明】
【００１４】
【図１】頭部装着型表示装置の外観構成を示す説明図である。
【図２】頭部装着型表示装置の機能的構成を示すブロック図である。
【図３】記憶部に記憶されるデータの例を示す説明図である。
【図４】頭部装着型表示装置の動作を示すフローチャートである。
【図５】対象物検出処理を詳細に示すフローチャートである。
【図６】表示処理を詳細に示すフローチャートである。
【図７】頭部装着型表示装置の典型的な適用例を示す説明図であり、（Ａ）は使用者の視野の例を示し、（Ｂ）は撮像画像の例を示す。（Ｃ）は画像を重畳する例を示し、（Ｄ）は画像を重畳した場合の使用者の視野の例を示す。
【発明を実施するための形態】
【００１５】
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
【００１６】
頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するためのコントローラーとしても機能する。画像表示部２０は、単に「表示部」とも呼ぶ。
【００１７】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
【００１８】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００１９】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００２０】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
【００２１】
カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界（外景）を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。
【００２２】
画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。
【００２３】
連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。
【００２４】
マイク６３の具体的な仕様は任意であり、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。指向性を有するマイクとしては、例えば単一指向性（Cardioid）、狭指向性（Super cardioid）、鋭指向性（Hypercardioid）、超指向性（Ultra Cardioid）等が挙げられる。マイク６３が指向性を有する場合、頭部装着型表示装置１００を装着した使用者の視線方向からの音声を特に良好に集音し、検出する構成とすればよい。この場合、マイク６３の指向性を確保するため、マイク６３またはマイク６３を収容する部品に構造的な特徴を持たせてもよい。例えば図１の例において、使用者が右イヤホン３２及び左イヤホン３４を装着した状態で、マイク６３の集音部が、使用者の視線方向を向くように、マイク６３及び連結部材４６が設計されていればよい。或いは、マイク６３を、右保持部２１または左保持部２３に埋込設置してもよい。この場合、右保持部２１または左保持部２３の前面側、すなわち右光学像表示部２６、左光学像表示部２８に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部２６及び左光学像表示部２８が面する方向、使用者が右光学像表示部２６及び左光学像表示部２８越しに見る視界の中心を向く方向、カメラ６１の撮影方向等と言い換えることができる。なお、マイク６３の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク６３の視線方向を調整する構成としてもよい。
【００２５】
なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。
【００２６】
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
【００２７】
制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。
【００２８】
決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとを切り替える信号を出力する。
【００２９】
トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。
【００３０】
図２は、実施形態に係る表示システム１を構成する各部の機能ブロック図である。
図２に示すように、表示システム１は、外部機器ＯＡと、頭部装着型表示装置１００とを備える。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置として用いられる。
【００３１】
頭部装着型表示装置１００の制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。
【００３２】
入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。
【００３３】
記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０には、頭部装着型表示装置１００の画像表示部２０に表示する画像データが格納されていても良い。
記憶部１２０は、後述する対象検出部１７１が参照する検出特徴データ１２４、及び、画像表示制御部１７６が処理する入替画像データ１２５を記憶する。
【００３４】
インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
【００３５】
制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、各部の機能を実現する。すなわち、制御部１４０は、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、音声処理部１７０、対象検出部１７１、位置検出部１７２、画像表示制御部１７６、及び、表示制御部１９０として機能する。
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
【００３６】
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１８０に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１８０より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７、及び、インターフェイス１８０を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡから、頭部装着型表示装置１００により表示するコンテンツデータを取得する。コンテンツデータは後述する画像データを含む。
【００３７】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００３８】
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００３９】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
【００４０】
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
【００４１】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備えている。
【００４２】
振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。
【００４３】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。
【００４４】
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
【００４５】
受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００４６】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
【００４７】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
【００４８】
頭部装着型表示装置１００は、使用者が右光学像表示部２６及び左光学像表示部２８を透過して外景を見ている場合に、この外景に重なるように画像データに基づく画像を表示する。
対象検出部１７１は、カメラ６１に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ６１から出力されるが、カメラ６１が画像信号を出力して、対象検出部１７１が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部１７１は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、カメラ６１の撮像方向すなわち使用者の視線方向に存在する物体または人である。
【００４９】
対象検出部１７１は、撮像画像において検出特徴データ１２４に適合する画像を検索し、適合する画像を対象物の画像として検出する。
図３は、記憶部１２０に記憶される検出特徴データ１２４及び入替画像データ１２５の構成例を示す図である。
検出特徴データ１２４は、撮像画像から検出する画像の特徴量のデータである。図３の例で、検出特徴データ１２４は、特徴量１〜８の８通りの特徴量を含む。各々の特徴量は、検出する画像に対応する。各特徴量には属性が対応付けられている。例えば、特徴量１は人間の顔の左横向きの画像を撮像画像から検出するための特徴量であり、属性として「顔・左横」が対応付けられている。また、例えば、特徴量２は人間の顔の正面の画像を撮像画像から検出するための特徴量であり、その属性は「顔・正面」となっている。他の特徴量３〜８も同様である。図３の例では、特徴量１〜８により、８通りの向きの人間の顔の画像を検出できる。なお、検出特徴データ１２４は、例えば検出する画像の形状、大きさ、色等を数値化したパラメーターや、数式を含む。検出特徴データ１２４は、図３に例示したような画像そのものの画像データを含む必要はない。また、図３の例では検出特徴データ１２４は８の特徴量を含んでいるが、特徴量の数に制限はなく、１の特徴量のみを含む構成であってもよい。
【００５０】
対象検出部１７１は、撮像画像から検出特徴データ１２４に基づいて対象物の画像を検出した場合に、検出した画像に適合した特徴量の属性を取得する。
【００５１】
検出特徴データ１２４は、（１）特定の人間または人間を模したキャラクターの顔の画像の特徴量であってもよいし、（２）一般的な人間の顔または人間の顔に類似する画像を検出するための画像の特徴量であってもよい。（１）の場合、対象検出部１７１は、撮像画像から特定の人間または人間を模したキャラクターの顔を検出するが、他の人間または他のキャラクターの顔は検出しない。（２）の場合、対象検出部１７１は人間の顔または人間の顔に類似する画像を検出し、人間の顔に類似しない形状や色合いの物体は検出しない。
【００５２】
位置検出部１７２は、対象検出部１７１が検出した対象物の、画像表示部２０が画像を表示する表示領域に対する位置を検出する。右光学像表示部２６及び左光学像表示部２８によって、使用者の両眼に画像が視認され、この画像は調光板２０Ａを透過する外光と重なる。このため、使用者は、外景と、右光学像表示部２６及び左光学像表示部２８が表示する画像とを重ねて視認する。ここで、右光学像表示部２６及び左光学像表示部２８が表示する画像が使用者に見える範囲を、画像表示部２０の表示領域とする。この表示領域は画像表示部２０が画像を視認させることができる最大の範囲であり、画像表示部２０は表示領域の全部または一部に画像を表示する。
【００５３】
位置検出部１７２は、カメラ６１の撮像画像における対象物の画像の位置をもとに、使用者に対象物が見える位置と、画像表示部２０が表示する画像が見える位置との相対位置を求める。この処理には、画像表示部２０の表示領域とカメラ６１の撮像範囲（画角）との位置関係を示す情報が必要である。この情報に代えて、使用者の視野（視界）とカメラ６１の撮像範囲（画角）との位置関係を示す情報、及び、使用者の視野（視界）と画像表示部２０の表示領域との位置関係を示す情報を用いてもよい。これらの情報は、例えば記憶部１２０に予め記憶されている。
また、位置検出部１７２は、対象物の位置とともに、表示領域に対する対象物のサイズを検出してもよい。この場合、画像表示部２０が表示する画像と、外景における対象物とが使用者に見える場合に、使用者が知覚する表示画像と対象物の像の大きさが所定の状態となるように、画像を表示できる。
【００５４】
画像表示制御部１７６は、対象検出部１７１、及び位置検出部１７２の処理結果に基づき、画像表示部２０によって、画像を表示させる。頭部装着型表示装置１００は、データ取得部ＤＡにより、動画像、静止画像、文字、記号等様々なデータを取得する構成としてもよく、これらのデータを表示に利用できる。本実施形態では、制御部１４０がデータ取得部ＤＡにより取得したデータのうち、記憶部１２０に入替画像データ１２５として記憶された画像データを表示する。
【００５５】
入替画像データ１２５の一例を図３に示す。入替画像データ１２５には属性が対応付けられた１または複数の画像データが含まれる。入替画像データ１２５に含まれる画像データは、好ましくは、検出特徴データ１２４に含まれる特徴量の属性に対応する。図３の例では、検出特徴データ１２４が、属性の異なる８の特徴量を含むので、入替画像データ１２５は、各特徴量の属性に対応する８の画像データを含む。
【００５６】
画像表示制御部１７６は、対象検出部１７１が検出した対象物の属性に対応する画像データを入替画像データ１２５から抽出し、表示制御部１９０により、位置検出部１７２が検出した位置に表示させる。この画像表示制御部１７６の機能により、頭部装着型表示装置１００は、使用者が外景とともに視認できるように、画像データを表示する。
対象物の属性とは、上述したように、例えば、（１）特定の人間または人間を模したキャラクターの顔、（２）一般的な人間の顔または人間の顔に類似するもの、が挙げられる。また、対象物が顔である場合は、使用者に見えるその顔の向きも、属性に含んでもよい。また、属性は顔に限定されず、二輪車、四輪車、自転車、飛行機、電車、信号機など、物体の種類を属性とすることもできる。或いは、注意すべき対象物であるか否かを属性に含めてもよい。例えば、信号機、踏切の遮断器、有料道路の料金所、横断歩道などを、注意すべき対象物とし、これ以外の物や人と区別してもよい。また、対象物が人である場合に、人の年齢、性別、体格、衣服の色等を属性に含めてもよい。その他、対象物の属性は、使用者が見ている対象物を対象者が区別する基準に合わせて適宜設定できる。
これらの属性は、対象検出部１７１が使用する特徴量を、属性毎に記憶部１２０に用意しておけばよい。例えば、記憶部１２０に、様々な属性に対応する特徴量を記憶し、制御装置１０の操作により、判定に使用する特徴量および属性を選択できるようにしてもよい。
【００５７】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示略）および左イヤホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
【００５８】
また、音声処理部１７０は、マイク６３により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部１７０は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。
【００５９】
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））やＢｌｕｅｔｏｏｔｈ（登録商標）規格に準じた無線データ通信を実行する。
【００６０】
インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ（登録商標）等の無線通信技術により送信する。
【００６１】
図４は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、画像表示制御部１７６の機能を利用した、データ表示処理を示す。データ処理は、使用者が右光学像表示部２６及び左光学像表示部２８を通して外景を見ているときに、その外景に対応する画像データを画像表示部２０により表示する処理である。
【００６２】
頭部装着型表示装置１００の制御部１４０では、対象検出部１７１が対象物検出処理を実行する（ステップＳ１）。ステップＳ１では、対象検出部１７１がカメラ６１の撮像画像から対象物の画像を検出し、位置検出部１７２が対象物の位置を検出する。続いて、画像表示制御部１７６が表示処理を実行し、対象検出部１７１、及び位置検出部１７２の処理結果に基づいて、表示制御部１９０を制御し、画像データに基づき画像を画像表示部２０により表示させる（ステップＳ２）。
ステップＳ１及びＳ２の各処理の詳細は後述する。
【００６３】
その後、制御部１４０は表示を終了するか否かを判定する（ステップＳ３）。表示を継続する場合（ステップＳ３；ＮＯ）、制御部１４０はステップＳ１に戻る。また、操作部１３５が検出した操作等に従って表示を終了する場合（ステップＳ３；ＹＥＳ）、制御部１４０は表示制御部１９０による表示を停止させて本処理を終了する。
【００６４】
図５は、図４のステップＳ１に示した対象物検出処理を詳細に示すフローチャートである。
対象検出部１７１は、カメラ６１に撮像を実行させて撮像画像を取得し（ステップＳ１１）、撮像画像から対象物の画像を検出する（ステップＳ１２）。ここで、対象検出部１７１は、記憶部１２０から検出特徴データ１２４を取得し、検出特徴データ１２４の特徴量を参照データとして撮像画像データに対しマッチングを行い、特徴量に適合する画像を検出する。なお、複数の画像が検出された場合、対象検出部１７１は、使用者の視線方向により近い１つの対象物を選択してもよい。例えば、カメラ６１の撮像画像において中心に近い対象物の画像を選択すればよい。
【００６５】
続いて、位置検出部１７２が、対象検出部１７１により検出された対象物の画像について、表示領域に対する位置を検出する（ステップＳ１３）。ステップＳ１３で、位置検出部１７２は、上述したように表示領域とカメラ６１の画角との位置関係を示す情報等を記憶部１２０から適宜取得する。
【００６６】
また、対象検出部１７１は、ステップＳ１２で検出した対象物の画像の属性を判定する（ステップＳ１４）。ここで判定される属性は、上述したように対象検出部１７１が判定する属性である。例えば、ステップＳ１２において撮像画像に適合した特徴量の属性である。
次いで、位置検出部１７２は、ステップＳ１３で検出した対象物の位置を出力し、対象検出部１７１は、ステップＳ１４で判定した対象物の属性を出力し、ステップＳ２（図３）に移行する（ステップＳ１５）。
【００６７】
図６は、表示処理を詳細に示すフローチャートである。また、図７は頭部装着型表示装置１００の典型的な適用例を示す説明図である。図７（Ａ）は使用者の視野ＶＲの例を示し、図７（Ｂ）は撮像画像Ｐの例を示し、図７（Ｃ）は撮像画像Ｐに基づき画像を重畳する様子を示し、図７（Ｄ）は画像を重畳した場合の使用者の視野ＶＲの例を示す。
【００６８】
図７（Ａ）に示す例では、使用者はスクリーンＳＣに投射される映画等の映像を見ており、視野ＶＲにはスクリーンＳＣの画像が写っている。スクリーンＳＣに投射されている画像には、人物画像Ａが含まれる。人物画像Ａは、例えば、映画の登場人物である。
この状態でカメラ６１が撮像する撮像画像を、図７（Ｂ）に示す。撮像画像ＰにはスクリーンＳＣの画像ＰＳＣ、人物画像Ａの画像ＰＡが含まれる。
対象検出部１７１は、人間の顔を検出するための特徴量を含む検出特徴データ１２４をもとに、撮像画像Ｐから、人物画像Ａの画像ＰＡの顔部分ＰＦを検出する。対象検出部１７１は、顔部分ＰＦを検出すると共に、顔部分ＰＦの属性を出力する。また、位置検出部１７２は、顔部分ＰＦを含む検出範囲ＤＰについて、位置を検出する。
【００６９】
画像表示制御部１７６は、記憶部１２０に記憶された入替画像データ１２５を取得する（ステップＳ２１）。ここで、画像表示制御部１７６は、対象検出部１７１が出力する属性に対応する画像データの属性を決定する（ステップＳ２２）。本実施形態では、検出特徴データ１２４の特徴量の属性と入替画像データ１２５が含む画像データの属性とが一対一で対応しているので、画像表示制御部１７６は、対象検出部１７１が検出した属性を、そのまま画像データの属性とする。
画像表示制御部１７６は、決定した属性に対応する画像データを入替画像データ１２５から選択する（ステップＳ２３）。ここで、画像表示制御部１７６は、入替画像データ１２５から選択した画像データをもとに、表示用の画像データを生成してもよい。例えば、画像表示制御部１７６は、入替画像データ１２５から選択した画像データに対して色合い（色調）や輝度の調整、カラー化またはモノクロ化、解像度変換、サイズ調整等の処理を行って、表示対象の画像データを生成してもよい。この場合、対象検出部１７１が検出した顔部分ＰＦに合わせて画像を調整できる。また、画像表示制御部１７６は、入替画像データ１２５から１または複数の画像データを抽出し、これら複数の画像データから表示用の画像データを生成してもよい。例えば、画像表示制御部１７６は、正面からみた顔の画像データと、横向きの顔の画像データとをもとに、斜め方向から見た顔の画像データを生成してもよい。
【００７０】
ここで、画像表示制御部１７６は、表示に用いる画像データを選択し、或いは生成した後に、画像を調整する処理を行ってもよい。画像調整処理の具体例としては、例えば、表示用の画像データに基づく画像が対象物に重なった場合に、画像の縁の表示色や輝度を調整する処理が挙げられる。この場合、画像の縁の色や輝度を、対象検出部１７１がカメラ６１の撮像画像から検出した対象物の画像の色や輝度に合わせて調整してもよい。具体的には、画像の縁の画素の色や輝度を、対象検出部１７１が検出した対象物の画像の色や輝度との中間の値にすればよい。この場合、画像表示制御部１７６が表示する画像と使用者が見る外景における対象物との境界が目立たなくなるという利点がある。
さらに、画像表示制御部１７６は、対象物の画像が画像表示部２０の表示可能領域において移動する場合に、この移動に合わせて表示位置を移動させてもよい。対象物の動きは、対象物そのものが移動する場合だけでなく、使用者の頭が動く場合にも発生する。そこで、画像表示制御部１７６は、位置検出部１７２が検出する対象物の位置の経時変化を検出し、その後の対象物の位置の変化を予測し、予測した位置の変化に合わせて、画像の表示位置を移動させてもよい。さらにまた、画像表示制御部１７６が表示する画像のブレを防止するフィルター係数を記憶部１２０に記憶してもよい。このフィルター係数はスタビライズ係数とも呼ばれ、動画像のブレ、移動（ワープ）を防止または抑制する。記憶部１２０は複数のフィルター係数を記憶し、画像表示制御部１７６は、フィルター係数を選択して使用してもよい。
【００７１】
その後、画像表示制御部１７６は、位置検出部１７２により検出された位置に基づき、画像データを表示制御部１９０に出力し、画像表示部２０により表示を実行させ、或いは実行中の表示を更新させて（ステップＳ２４）、ステップＳ３（図３）に移行する。
【００７２】
図７（Ｂ）の例では、対象検出部１７１が検出した対象物である顔部分ＰＦに重なるように、顔の画像ＰＦ´が表示される。画像表示部２０が顔部分ＰＦ´を表示する位置は、使用者が顔部分ＰＦを視認する位置である。
このため、使用者の視野ＶＲでは、図７（Ｄ）に示すように、人物画像Ａの顔部分に、画像ＰＦ´が重畳して見える。ここで、画像表示制御部１７６は、画像ＰＦ´の透明度を低くして、画像ＰＦ´が透けてみえないようにしてもよい。この場合、画像ＰＦ´越しにスクリーンＳＣに写っている人物画像Ａの顔が見えることはなく、人物画像Ａの顔が画像ＰＦ´に置き換わったように見える。透明度の調整は、例えば、画像ＰＦ´の輝度を高めることで容易に実行できる。
【００７３】
図７（Ｃ）、（Ｄ）の例に限らず、画像表示制御部１７６は、複数の対象物に画像を重ねて表示してもよい。また、対象検出部１７１が複数の対象物を検出した場合に、制御装置１０の操作により、使用者が１つまたは複数の対象物を選択し、選択された対象物に画像表示制御部１７６が画像を重ねて表示してもよい。また、画像表示制御部１７６は、対象検出部１７１が複数の対象物を検出した場合に、対象物の属性をもとに、１つまたは複数の対象物を選択してもよい。例えば、異なる向きの複数の顔が検出された場合に、正面を向く顔のみを選択してもよい。また、例えば、複数の人体が検出された場合に、着衣の色で対象物を選択してもよく、複数の車両が検出された場合に、特定の色の車両を選択してもよい。
【００７４】
なお、図４の処理において、ステップＳ１の対象物検出処理を繰り返し実行する場合、対象検出部１７１は、いったん検出した画像を追跡する処理を行ってもよい。すなわち、対象検出部１７１は、対象物として画像を検出した後、再び対象物検出処理を行う場合に、検出対象の撮像画像と、過去に検出を行った撮像画像とを比較する。対象検出部１７１は、検出対象の撮像画像と過去に検出を行った撮像画像とが類似する場合には画像の動き検出を行い、検出済みの対象物の画像の動きを追跡する。これにより、対象検出部１７１は、マッチング処理を行わなくても、検出対象の撮像画像から対象物を検出できる。このような手法は、例えば、カメラ６１により所定のフレームレート（例えば、３０フレーム／秒）で動画像を撮影し、各フレームに対して対象検出部１７１が対象物を検出する場合に、処理負荷を軽減でき、効果的である。
【００７５】
以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置１００は、使用者の身体に装着して使用される頭部装着型表示装置１００であって、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、頭部装着型表示装置１００は、使用者の視線方向の対象物を検出する対象検出部１７１と、画像表示部２０により表示する画像のデータを取得するデータ取得部ＤＡを備える。頭部装着型表示装置１００は、画像表示制御部１７６により、対象検出部１７１で検出した対象物の少なくとも一部に重なるように、データ取得部ＤＡにより取得したデータに基づき画像を表示させる。これにより、外景として見える対象物に重なるように画像を表示できるので、頭部装着型表示装置１００の外部にある対象物の見え方を、頭部装着型表示装置１００の表示により変化させることができる。従って、頭部装着型表示装置１００外部の外景と、表示内容とを効果的に組み合わせて、頭部装着型表示装置１００による表示の新たな活用方法を提供できる。
例えば、頭部装着型表示装置１００は、使用者が画像表示部２０越しに見る対象物に重なって見える位置に、画像を表示する。画像を表示する位置は、使用者が対象物を視認する位置に合わせて、画像表示制御部１７６が決定する。例えば、画像表示部２０の表示可能領域の全体に画像を表示してもよいし、位置検出部１７２が検出する対象物の位置に合わせて、画像を表示する位置を決定または調整してもよい。
【００７６】
また、対象検出部１７１は所定の属性を有する対象物を検出し、画像表示制御部１７６は、対象検出部１７１で検出された対象物の属性と対応する属性を有する画像を、画像表示部２０に表示させる。このため、外景として見える対象物の属性に対応した画像を、対象物に重ねて見えるように表示する。このため、対象物の属性に対応して、頭部装着型表示装置１００が表示する画像により対象物の見え方を変化させることができる。対象物の属性は、上記に例示したように、対象物となる人や物について種々決定することができ、人、或いは人の顔に限定されない。また、対象物の属性に対応して表示する画像の属性も任意であり、例えば、対象物の属性と画像の属性が１対１で対応していなくてもよい。
ここで、画像表示制御部１７６は、右光学像表示部２６及び左光学像表示部２８により、視差を有する画像を表示させて、使用者に立体（３Ｄ）画像を視認させるようにしてもよい。この場合、立体画像として表示するか平面画像として表示するかを、表示態様の１つとして画像表示制御部１７６が設定、変更してもよい。
また、頭部装着型表示装置１００は、対象検出部１７１が検出する対象物の特徴と、対象物の属性とを対応付ける検出特徴データ１２４を記憶する記憶部１２０を有する。対象検出部１７１は、検出特徴データ１２４に該当する対象物を検出して、検出した対象物の属性を、速やかに判定できる。
また、画像表示制御部１７６は、対象検出部１７１で検出された対象物の属性と対応する属性を有する画像を生成し、或いは、記憶部１２０が記憶する入替画像データ１２５から属性に対応する画像を取得するので、対象物の属性に対応する画像を適切に表示できる。
【００７７】
立体画像を視認させる場合、画像表示制御部１７６は、対象検出部１７１が検出する対象物までの距離を検出してもよい。この距離は、頭部装着型表示装置１００（画像表示部２０）から対象物までの距離であり、例えば、カメラ６１の撮像画像において対象検出部１７１が検出した対象物の画像のサイズに基づき求めることができる。また、頭部装着型表示装置１００は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の反射光を受光して対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部２０の右保持部２１または右表示駆動部２２に設けることが好ましく、例えば、調光板２０Ａと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ６１の撮像方向と同様に、使用者の視線方向であることが望ましい。
画像表示制御部１７６は、上記の各種方法により対象物までの距離を求めた場合、求めた距離に対応して、使用者に見せる画像の視差を決定してもよい。例えば、画像表示制御部１７６は、対象物までの距離が近いほど視差が小さく、距離が遠いほど視差が大きくなるように、データ取得部ＤＡにより取得したデータから表示用の立体画像データを生成する。また、画像表示制御部１７６は、対象物の属性に対応して立体画像データを生成してもよい。例えば、対象検出部１７１が検出する対象物が、特定の人間または人間を模したキャラクターの顔であるか、一般的な人間の顔または人間の顔に類似するものであるか、顔である場合は顔の向きは正面か、等に対応して、視差を変更してもよい。この場合、対象物が、使用者の正面から使用者を見る向きの顔である場合に、視差を小さくして、この顔に重なる画像が使用者の近くに見えるようにしてもよい。さらに、画像表示制御部１７６は、カメラ６１の撮像画像における対象物の画像のサイズに対応して、視差を大きくしたり、小さくしたりしてもよい。
【００７８】
また、頭部装着型表示装置１００は使用者の視線方向を撮像するカメラ６１を備え、対象検出部１７１は、カメラ６１の撮像画像から対象物の特徴に該当する画像を検出することにより、使用者が画像表示部２０を透過して視認する対象物を検出する。このため、撮像画像に基づき、使用者の視線方向にある対象物を容易に検出できる。
また、頭部装着型表示装置１００は、画像表示部２０の表示領域に対する対象物の位置を検出する位置検出部１７２を備える。画像表示制御部１７６は、位置検出部１７２で検出した対象物の位置に基づき画像の表示位置を決定し、画像表示部２０に画像を表示させる。これにより、対象物の位置に合わせて画像を表示できる。
また、位置検出部１７２は、使用者が画像表示部２０の表示領域を透過して対象物を視認する位置を検出するので、使用者に対象物が見える位置に合わせて画像を表示できる。
【００７９】
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、対象検出部１７１が人間の顔または人間の顔に類似する画像を検出する例について説明したが、本発明はこれに限定されず、対象物の形状や種類は任意である。また、上記実施形態では、対象検出部１７１が検出する対象物の画像の属性を、顔の向きとして説明したが、本発明はこれに限定されない。対象物の画像の属性は、対象検出部１７１が検出する画像と画像表示制御部１７６が表示させる画像とを対応付けることで、図７（Ｄ）に示すように画像を置き換え表示した場合の違和感を防止する効果がある。この効果を得られる範囲で、属性は、画像の明るさ、色合い、サイズ、或いは画像の種類など、任意のものとすることができる。
【００８０】
また、位置検出部１７２は、カメラ６１の撮像画像に基づいて対象物の位置を検出するものとして説明したが、本発明はこれに限定されない。例えば、位置検出部１７２は、外部の他の装置から送信される信号に基づいて、対象物の位置を検出してもよい。具体的には、対象物に装着された装置から可視領域外の光線（赤外線等）が送出された場合に、この光線を受光して、対象物の位置を検出してもよい。光線に代えて、外部の装置から無線信号を送出し、この無線信号を頭部装着型表示装置１００が受信して、位置検出部１７２が位置を検出してもよい。これらの具体例としては、公知の光ビーコンや電波ビーコンが採用できる。この場合、対象物と頭部装着型表示装置１００との距離を検出してもよい。さらに、対象物の位置を検出する外部の装置から送信される信号に基づいて対象物の位置を取得してもよい。さらに、位置検出部１７２は、カメラ６１の撮像画像と上記光線または信号など、複数の情報に基づいて対象物の位置を検出してもよい。
【００８１】
また、対象検出部１７１は、使用者の視線方向の対象物を検出するものであればよく、カメラ６１の撮像画像から検出するものに限定されない。例えば、対象検出部１７１は、外部の他の装置から送信される信号に基づいて、対象物の位置を検出してもよい。具体的には、対象物に装着された装置から可視領域外の光線（赤外線等）が送出された場合に、この光線を受光して、対象物を検出してもよい。光線に代えて、外部の装置から無線信号を送出し、この無線信号を頭部装着型表示装置１００が受信して、対象検出部１７１が対象物を検出してもよい。これらの具体例としては、公知の光ビーコンや電波ビーコンが採用できる。この場合、位置検出部１７２は、上述したように光または無線信号を受信して、対象物の位置を検出してもよい。
さらに、対象検出部１７１及び位置検出部１７２は、使用者の視線を検出する視線検出部を備えてもよい。例えば、画像表示部２０において使用者の目の側を向くカメラを設け、このカメラで使用者の光彩或いは瞳孔の方向または動きを検出することにより、撮像画像に基づき視線方向を特定してもよい。この場合、対象検出部１７１は、カメラ６１の撮像画像から、視線検出部が検出した使用者の視線方向に位置する対象物の画像を抽出して、対象物を検出すればよい。また、位置検出部１７２は、視線検出部が検出した視線方向と画像表示部２０の表示領域との交点を、使用者が対象物を視認する位置の基準（例えば、中心）に設定する。位置検出部１７２は、使用者が対象物を視認する位置、または、視認する範囲を、画像表示部２０の表示領域における位置として特定できる。
【００８２】
また、対象検出部１７１及び位置検出部１７２は、上述したように、制御部１４０が備える機能の一部として実現される構成に限定されず、制御部１４０とは別に設けられる機能部、及び、画像表示部２０とは別体として構成されるもののいずれであってもよい。
【００８３】
また、画像表示部として、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up  Display；ＨＵＤ）であってもよい。さらにまた、使用者の両眼の眼球（例えば、角膜上）に装着して使用する、いわゆるコンタクトレンズ型ディスプレイや、眼球内に埋め込まれるインプラント型ディスプレイなど、使用者の眼球において網膜に結像させるディスプレイを、画像表示部２０としてもよい。
【００８４】
また、本願発明は使用者の身体に装着されるものであればよく、他の手法による支持を必要とするか否かは問わず適用可能である。例えば、使用者が両手に持って使用する双眼鏡型のハンドヘルドディスプレイ（Hand Held Display）を、本願の画像表示部２０として採用してもよい。この種のディスプレイは、使用者に装着された状態を保持するために使用者が手に持つ必要があるが、使用者がディスプレイの表示を見る場合に使用者の頭部もしくは顔に添えられることから、本発明の表示装置に含まれる。さらに、支持脚等により床面や壁面に固定される表示装置であっても、使用者がディスプレイの表示を見る場合に使用者の頭部もしくは顔に添えられるものであれば、本発明の表示装置に含まれる。
さらに、画像表示部２０、または、画像表示部２０において画像の表示に係る構成を含む表示部のみが使用者の身体に装着され、この表示部以外の制御装置１０、或いは制御装置１０と制御部１４０を含む制御系を、物理的に別体として構成してもよい。例えば、画像表示部２０または画像表示部２０の一部からなる表示部に、他の制御系を備えた装置を無線接続して、頭部装着型表示装置１００と同様に表示装置としてもよい。この制御系を備えた装置としては、スマートフォン、携帯型電話機、タブレット型コンピューター、他の形状のパーソナルコンピューター等、従来からある電子機器を用いることができる。この種の表示装置も本願を適用可能であることは勿論である。
【００８５】
さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【００８６】
また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic  Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid  crystal  on  silicon,  LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
【００８７】
画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
【００８８】
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
【００８９】
また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
【００９０】
また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
【符号の説明】
【００９１】
１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮像部）、６３…マイク、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…音声処理部、１７１…対象検出部、１７２…位置検出部、１７６…画像表示制御部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、ＤＡ…データ取得部。
【図１】
2016033759.tif 000003
【図２】
2016033759.tif 000004
【図３】
2016033759.tif 000005
【図４】
2016033759.tif 000006
【図５】
2016033759.tif 000007
【図６】
2016033759.tif 000008
【図７】
2016033759.tif 000009