(57)【特許請求の範囲】
【請求項１】
外景とともに視認できるように画像を表示する表示部と、
撮像部と、
前記撮像部の撮像画像データを処理する処理部と、
前記撮像部の撮像条件を設定し、設定した撮像条件で撮像をさせる撮像制御部と、を備え、
前記処理部は、前記撮像画像データの表示を前記表示部で行うか否かに対応する処理条件に従って、前記撮像画像データを処理し、
前記処理部は、前記撮像制御部により、前記処理条件に対応する撮像条件を前記撮像部に設定させ、
前記表示部により前記撮像画像データの表示を行う場合の前記処理条件は、前記表示部による前記撮像画像データの表示を行わない場合よりも、前記処理部に入力する撮像画像データの容量を小さくする条件を含むこと、
を特徴とする表示装置。
【請求項２】
前記処理部は、前記撮像画像データを前記表示部で表示するか否かによって異なる前記処理条件に従って、前記撮像画像データを処理すること、
を特徴とする請求項１記載の表示装置。
【請求項３】
前記処理部は、前記撮像画像データに対し前記表示部で表示する処理、及び、前記撮像画像データに対する画像処理を実行可能に構成され、
前記撮像制御部は、前記処理部が実行する処理に対応する撮像条件を前記撮像部に設定すること、
を特徴とする請求項１記載の表示装置。
【請求項４】
前記撮像部と前記処理部とはバスにより接続され、
前記撮像部は、前記撮像制御部が設定する撮像条件に適した撮像画像データを、前記バスを介して前記処理部に転送すること、
を特徴とする請求項１または３記載の表示装置。
【請求項５】
前記撮像部は、前記撮像画像データの解像度及びフレームレートの少なくともいずれかに関する複数の動作モードを切り替えて実行可能であり、
前記撮像制御部は、前記撮像部が実行する動作モードを設定すること、
を特徴とする請求項１から４のいずれかに記載の表示装置。
【請求項６】
前記処理部は処理の実行状態を変更可能であり、
前記撮像部は、前記処理部の処理の実行状態に対応する複数の動作モードを切り替えて実行可能であり、前記撮像制御部は前記処理部の処理の実行状態に対応する動作モードを前記撮像部に設定すること、
を特徴とする請求項５記載の表示装置。
【請求項７】
前記撮像部の動作モードは、前記処理部が前記撮像画像データを用いてマーカー認識を行うか否かに対応する複数の動作モードを含むこと、
を特徴とする請求項５または６記載の表示装置。
【請求項８】
前記撮像部の撮像範囲は、前記表示部を透過して視認される前記外景に対応する範囲であること、
を特徴とする請求項１から７のいずれかに記載の表示装置。
【請求項９】
バッテリーを備え、前記バッテリーから、少なくとも前記撮像部及び前記処理部に電力を供給すること、
を特徴とする請求項１から８のいずれかに記載の表示装置。
【請求項１０】
外景とともに視認できるように画像を表示する表示部と、撮像部と、を有する表示装置を制御し、
前記撮像部の撮像画像データの表示を前記表示部で行うか否かに対応する処理条件に従って、前記撮像画像データを処理し、
前記処理条件に対応する撮像条件を前記撮像部に設定させ、
前記表示部により前記撮像画像データの表示を行う場合の前記処理条件は、前記表示部による前記撮像画像データの表示を行わない場合よりも、前記処理の対象となる撮像画像データの容量を小さくする条件を含むこと、
を特徴とする表示装置の制御方法。
【請求項１１】
外景とともに視認できるように画像を表示する表示部と、
撮像部と、
前記撮像部の撮像画像データを処理する処理部と、
前記撮像部の撮像条件を設定し、設定した撮像条件で撮像をさせる撮像制御部と、を備え、
前記処理部は、前記撮像画像データの表示を前記表示部で行うか否かに対応する処理条件に従って、前記撮像画像データを処理し、
前記処理部は、前記撮像制御部により、前記処理条件に対応する撮像条件を前記撮像部に設定させ、
前記撮像部は、前記撮像画像データの解像度及びフレームレートの少なくともいずれかに関する複数の動作モードを切り替えて実行可能であり、
前記撮像制御部は、前記撮像部が実行する動作モードを設定し、
前記撮像部の動作モードは、前記処理部が前記撮像画像データを用いてマーカー認識を行うか否かに対応する複数の動作モードを含むこと、
を特徴とする表示装置。
【請求項１２】
外景とともに視認できるように画像を表示する表示部と、撮像部と、を有する表示装置を制御し、
前記撮像部の撮像画像データの表示を前記表示部で行うか否かに対応する処理条件に従って、前記撮像画像データを処理し、
前記処理条件に対応する撮像条件を前記撮像部に設定させ、
前記撮像部は、前記撮像画像データの解像度及びフレームレートの少なくともいずれかに関する複数の動作モードを切り替えて実行可能であり、
前記撮像部が実行する動作モードを設定し、
前記撮像部の動作モードは、前記撮像画像データを用いてマーカー認識を行うか否かに対応する複数の動作モードを含むこと、
を特徴とする表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、及び、表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、撮像手段を備え、撮像した映像データから物体を認識する装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置は、撮像手段としてのカメラで利用可能な解像度及びフレームレートのうち、最高値の解像度及びフレームレートの映像データを用いて物体を認識し、その結果に基づいてカメラの制御パラメータを設定することで、解像度及びフレームレートを最適化する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３９８３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の装置は、解像度やフレームレート等を最適化することで負荷を軽減できるが、最適化のために、最高解像度の映像データを用いる負荷の高い認識処理を行う必要がある。このため、最適化の頻度によっては高負荷の状態が継続する可能性がある。
本発明は上記事情に鑑みてなされたものであり、撮像した映像データを利用する装置において、処理負荷を抑えることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の表示装置は、外景とともに視認できるように画像を表示する表示部と、撮像部と、前記撮像部の撮像画像データを処理する処理部と、を備え、前記処理部は、前記撮像画像データの表示を前記表示部で行うか否かに対応する処理条件に従って、前記撮像画像データを処理すること、を特徴とする。
本発明によれば、高負荷の処理を伴わずに、撮像画像データに基づき表示を行うか否かに対応して処理条件を最適化できるので、処理負荷を抑えることができる。
【０００６】
また、本発明は、上記表示装置において、前記処理部は、前記撮像画像データを前記表示部で表示するか否かによって異なる前記処理条件に従って、前記撮像画像データを処理すること、を特徴とする。
本発明によれば、撮像画像データを表示する場合としない場合とで処理条件を変えることにより、適切な条件で効率よく撮像画像データを処理できる。
【０００７】
また、本発明は、上記表示装置において、前記処理部は、前記撮像画像データを前記表示部で表示するか否かによって異なる前記処理条件に従って、前記撮像画像データを処理すること、を特徴とする。
本発明によれば、撮像画像データを表示部で表示する場合と、撮像画像データを表示部で表示しない場合とで、異なる処理条件で処理を行うので、処理の要求に対応して、処理の負荷を抑えるように処理条件を最適化できる。
【０００８】
また、本発明は、上記表示装置において、前記撮像部の撮像条件を設定し、設定した撮像条件で撮像をさせる撮像制御部を備え、前記処理部は、前記撮像制御部により、前記処理条件に対応する撮像条件を設定させること、を特徴とする。
本発明によれば、撮像部の撮像条件を適切に設定し、処理負荷を抑えることができる。
【０００９】
また、本発明は、上記表示装置において、前記撮像部と前記処理部とはバスにより接続され、前記撮像部は、前記撮像制御部が設定する撮像条件に適した撮像画像データを、前記バスを介して前記処理部に転送すること、を特徴とする。
本発明によれば、転送される撮像画像データを、設定される撮像条件に適したデータにするので、データの転送に係る処理負荷を軽減できる。
【００１０】
また、本発明は、上記表示装置において、前記撮像部は動画像を撮像して撮像画像データを出力するよう構成され、前記撮像画像データの解像度及びフレームレートの少なくともいずれかに関する複数の動作モードを切り替えて実行可能であり、前記撮像制御部は、前記撮像部が実行する動作モードを設定すること、を特徴とする。
本発明によれば、撮像部の動作モードを切り替えることにより、条件を容易に変更することができ、必要十分な処理条件を設定して処理負荷を抑えることができる。
【００１１】
また、本発明は、上記表示装置において、前記処理部は処理の実行状態を変更可能であり、前記撮像部は、前記処理部の処理の実行状態に対応する複数の動作モードを切り替えて実行可能であり、前記撮像制御部は前記処理部の処理の実行状態に対応する動作モードを前記撮像部に設定すること、を特徴とする。
本発明によれば、撮像部の動作モードを、撮像画像データに対する処理の実行状態に対応して切り替えるので、撮像部に適切な条件で動作を実行させることで、効率よく撮像及び処理を実行できる。
【００１２】
また、本発明は、上記表示装置において、前記撮像部の動作モードは、前記処理部が前記撮像画像データを用いてマーカー認識を行うか否かに対応する複数の動作モードを含むこと、を特徴とする。
本発明によれば、マーカー認識を行うか否かに対応して適切に処理の条件を設定することで、処理負荷を抑えることができる。
【００１３】
また、本発明は、上記表示装置において、前記表示部により前記撮像画像データに基づく表示を行う場合の前記処理条件は、前記表示部による前記撮像画像データに基づく表示を伴わない場合よりも、前記処理部に入力する撮像画像データの容量を小さくする条件を含むこと、を特徴とする。
本発明によれば、処理する撮像画像データの容量を小さくすることで、効果的に、処理負荷を抑えることができる。
【００１４】
また、本発明は、上記表示装置において、前記撮像部の撮像範囲は、前記表示部を透過して視認される前記外景に対応する範囲であること、を特徴とする。
本発明によれば、撮像画像データに基づき外景とともに視認される表示を行う場合であっても、表示をさせる必要のない場合であっても、適切な処理条件を設定できる。
【００１５】
また、本発明は、上記表示装置において、バッテリーを備え、前記バッテリーから、少なくとも前記撮像部及び前記処理部に電力を供給すること、を特徴とする。
本発明によれば、撮像部と処理部の負荷を軽減することで消費電力量を抑制でき、バッテリーの消耗を抑えることができる。
【００１６】
また、上記目的を達成するために、本発明の表示装置の制御方法は、外景とともに視認できるように画像を表示する表示部と、撮像部と、を有する表示装置を制御し、前記撮像部の撮像画像データの表示を前記表示部で行うか否かに対応する処理条件に従って、前記撮像画像データを処理すること、を特徴とする。
本発明によれば、高負荷の処理を伴わずに処理条件を最適化できるので、処理負荷を抑えることができる。
【図面の簡単な説明】
【００１７】
【図１】頭部装着型表示装置の外観構成を示す説明図。
【図２】頭部装着型表示装置を構成する各部の機能ブロック図。
【図３】撮像部の構成例を示す図。
【図４】撮像条件テーブルの構成例を示す図。
【図５】頭部装着型表示装置の動作を示すフローチャート。
【図６】マーカーの読み取りに関する動作の説明図。
【発明を実施するための形態】
【００１８】
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。
【００１９】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２（光射出部）と、左保持部２３と、左表示駆動部２４（光射出部）と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
【００２０】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００２１】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００２２】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
そして、頭部装着型表示装置１００は、内部で処理する画像の画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光による画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。
【００２３】
カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０（図２）の制御に従って撮像を実行し、撮像画像データを制御部１４０に出力する。カメラ６１の構成については図３を参照して後述する。
【００２４】
画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。
【００２５】
連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。
【００２６】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図３）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００２７】
右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。
【００２８】
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。
【００２９】
制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。
【００３０】
決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
【００３１】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。
【００３２】
図２は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
【００３３】
制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１１１から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部１３０を備える。電源部１３０は、一次電池、或いは、リチウムイオン電池、リチウムポリマー電池、ニッケル水素電池等の二次電池からなるバッテリーを備え、このバッテリーが蓄える電力により頭部装着型表示装置１００の各部に電源を供給する。
【００３４】
記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
【００３５】
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
【００３６】
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。
【００３７】
制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像制御部１８１、画像解析部１８２（処理部）、表示処理部１８５、及び、音声処理部１８７として機能する。
【００３８】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
【００３９】
画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。
【００４０】
表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。
【００４１】
撮像制御部１８１は、カメラ６１を制御して撮像を実行させ、カメラ６１が出力する撮像画像データを取得する。撮像制御部１８１は、カメラ６１に対し、設定された撮像条件に従って撮像を実行させる。
画像解析部１８２は、カメラ６１が出力する撮像画像データを解析して、予め設定されたマーカーの検出及び認識、人物や物体の画像の検出等を実行する。
表示処理部１８５は、画像解析部１８２の処理結果に基づく処理を実行する。例えば、画像解析部１８２がマーカーの認識を行う場合、表示処理部１８５は、画像解析部１８２の認識結果に基づいて、マーカーをテキストデータに変換する処理、マーカーのデータに対応する画像を画像表示部２０に表示させる処理等を実行する。また、表示処理部１８５は、カメラ６１の撮像画像データを画像表示部２０に表示させる処理を行ってもよい。
また、表示処理部１８５は、操作部１１１の操作に従い、頭部装着型表示装置１００の動作モードを選択する。本実施形態では、カメラ６１の撮像画像データの解像度、カメラ６１の撮像画像データのフレームレート、及び、画像解析部１８２によりマーカーの認識を行うか否か、に対応する動作モードを、切り替えて実行可能である。画像解析部１８２が検出、認識可能なマーカーは、例えばバーコード等の１次元コード、ＱＲコード（登録商標）等の２次元コード、その他、画像として機械認識可能なマーカーである。
【００４２】
音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。
【００４３】
画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６とを備えている。
【００４４】
振動センサー６５は、加速度センサーを利用して構成され、例えば図１に示すように、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。
【００４５】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。
【００４６】
インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、振動センサー６５及び９軸センサー６６を接続するインターフェイスである。振動センサー６５による振動の検出結果や、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。
【００４７】
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。
【００４８】
受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００４９】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。
【００５０】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。
【００５１】
受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。また、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００５２】
図３は、カメラ６１の構成例を詳細に示す図である。
図３（Ａ）には本実施形態のカメラ６１の構成を示し、（Ｂ）は変形例としてのカメラ６１Ａの構成を示す。
図３（Ａ）に示すように、カメラ６１は、撮像光学系１６１、撮像素子１６２、駆動回路１６３、カメラ制御部１６４、及び、カメラインターフェイス（Ｉ／Ｆ）１６５を備える。
撮像素子１６２は、ＣＣＤやＣＭＯＳ等の撮像素子である。撮像光学系１６１は、撮像素子に外光を導く撮像レンズ、或いは、複数のレンズを含む撮像レンズ群であり、レンズ以外にプリズム等の光学素子を備えてもよい。
また、カメラＩ／Ｆ１６５は、バス１６６を介してインターフェイス２５に接続する。バス１６６は、インターフェイス２５により接続部４０に接続し、接続部４０を経由して制御部１４０に接続する。従って、カメラ６１は、バス１６６、インターフェイス２５、及び接続部４０により、制御部１４０と接続する。これらバス１６６、インターフェイス２５、及び接続部４０を含む全体を、カメラ６１と制御部１４０とがデータを送受信するバスと呼ぶことができる。また、カメラＩ／Ｆ１６５を制御部１４０と接続する専用のバスを、制御装置１０と画像表示部２０との間に設けてもよい。
また、カメラＩ／Ｆ１６５は、無線通信インターフェイスにより制御部１４０に接続される構成としてもよい。例えば、インターフェイス２５が無線通信インターフェイスとして機能し、接続部４０を、無線のデータ通信回線で代替する構成が挙げられる。この場合、インターフェイス２５と制御部１４０とを繋ぐ無線のデータ通信回線が上記のバスとして機能する。
【００５３】
駆動回路１６３は、撮像素子１６２を駆動する回路である。具体的には、駆動回路１６３は、撮像素子１６２に駆動電圧を供給し、撮像素子１６２が受光した後に、撮像素子１６２から信号の読み出しを行う。駆動回路１６３は、撮像素子１６２から信号を読み出してカメラ制御部１６４に出力する。
カメラ制御部１６４は、駆動回路１６３に対して制御信号を出力し、駆動回路１６３が撮像素子１６２に駆動電圧を印加し、撮像素子１６２から信号を読み出す動作を制御する。また、カメラ制御部１６４は、駆動回路１６３が撮像素子１６２から読み出してカメラ制御部１６４に出力する信号に基づき、撮像画像のシリアルデータ（以下、撮像画像データという）を生成する。カメラ制御部１６４は、生成した撮像画像データを、カメラＩ／Ｆ１６５から制御部１４０に出力する。
【００５４】
カメラ６１の撮像解像度は可変であり、本実施形態では、複数段階の撮像解像度で撮像を行う例を記載する。カメラ６１の撮像解像度は、制御部１４０の制御によりカメラ制御部１６４に対して設定される。
一般に、ＣＣＤやＣＭＯＳ等が受光する素子数を変化させることは困難であるため、撮像素子１６２が備える所定数の素子が受光し、駆動回路１６３が、受光した素子数に対応する信号を読み出す。
【００５５】
ここで、駆動回路１６３及び／又はカメラ制御部１６４の動作により、設定された撮像解像度の撮像画像データが生成される。
第１の構成では、カメラ制御部１６４が、駆動回路１６３が出力する信号を量子化して撮像画像データを生成する処理において、設定された解像度と撮像素子１６２の撮像素子数とに基づき、信号の間引き処理を実行する。
第２の構成では、カメラ制御部１６４が、制御部１４０により設定された撮像解像度に対応して駆動回路１６３を動作させるための設定を行う。駆動回路１６３は、カメラ制御部１６４から入力される制御信号に従い、信号の間引きを実行し、撮像素子１６２から読み取った信号を間引きしてカメラ制御部１６４に出力する。
以上の第１または第２の構成は一例であるが、これらの構成により、カメラ６１は、制御部１４０が設定した撮像解像度に対応した撮像画像データを、制御部１４０に出力する。
【００５６】
また、カメラ制御部１６４は、駆動回路１６３を制御することで、撮像画像データのフレームレートを変更できる。カメラ制御部１６４は、制御部１４０により設定されるフレームレートに対応する周期で、駆動回路１６３を動作させることで、設定されたフレームレートの撮像画像データに対応する信号を取得できる。カメラ制御部１６４に対して設定可能なフレームレートは任意であり、本実施形態では、段階的に複数のフレームレートを設定できるものとする。
【００５７】
カメラ６１が備える撮像素子１６２、駆動回路１６３、カメラ制御部１６４、及びカメラＩ／Ｆ１６５は、それぞれ独立した基板や独立したデバイスとして構成してもよいし、これらの機能部のうちの複数をＳｏＣ（System on Chip）として一体に構成してもよく、具体的な実装形態は制限されない。少なくとも。カメラ６１は、制御部１４０と分離されたハードウェアで構成され、制御部１４０との間で、有線または無線のデータ通信路（バス）を経由して撮像画像データを送信する。
【００５８】
図３（Ｂ）に例示するカメラ６１Ａは、第１撮像部６２Ａと、第２撮像部６２Ｂとを備える。第１撮像部６２Ａは、撮像光学系１７１、撮像素子１７２、及び駆動回路１７３を備える。また、第２撮像部６２Ｂは、撮像光学系１７４、撮像素子１７５、及び駆動回路１７６を備える。
撮像光学系１７１、１７４は、撮像光学系１６１と同様に、レンズまたはレンズ群で構成される。撮像素子１７２、１７５は、撮像素子１６２と同様の、ＣＣＤやＣＭＯＳ等の撮像素子である。また、駆動回路１７３、１７６は、駆動回路１６３と同様、それぞれ撮像素子１７２、１７５を駆動する回路である。具体的には、駆動回路１７３、１７６は、撮像素子１７２、１７５に駆動電圧を供給し、撮像素子１７２、１７５が受光した後に、撮像素子１７２、１７５から信号の読み出しを行う。
駆動回路１７３は、撮像素子１７２から信号を読み出してカメラ制御部１７７に出力する。また、駆動回路１７６は、撮像素子１７５から信号を読み出してカメラ制御部１７７に出力する。
カメラＩ／Ｆ１７８は、カメラＩ／Ｆ１６５と同様に、カメラ６１Ａを制御部１４０に接続する。
【００５９】
カメラ制御部１７７は、カメラ制御部１６４と同様に、駆動回路１７３、１７６から入力される信号に基づいて撮像画像データを生成し、カメラＩ／Ｆ１７８を介して制御部１４０に撮像画像データを出力する。
【００６０】
カメラ６１Ａは、第１撮像部６２Ａ及び第２撮像部６２Ｂを切り替えて撮像を実行する。第１撮像部６２Ａと第２撮像部６２Ｂとは、互いに異なる撮像解像度に対応する。このため、第１撮像部６２Ａと第２撮像部６２Ｂとを切り替えることで、異なる撮像解像度での撮像を実行できる。
第１撮像部６２Ａと第２撮像部６２Ｂとの切り替えは、制御部１４０の制御に従って、カメラ制御部１７７が実行する。カメラ制御部１７７は、駆動回路１７３、１７６のそれぞれに制御信号を出力することで、第１撮像部６２Ａ、第２撮像部６２Ｂのいずれか一方をアクティブにして、撮像を実行させる。第１撮像部６２Ａ、第２撮像部６２Ｂは、撮像をするとき以外は省電力状態となる構成であってもよい。
【００６１】
上記のように、駆動回路１７３が出力する信号と、駆動回路１７６が出力する信号とは、異なる解像度（素子数）の撮像素子が出力する信号である。このため、カメラ制御部１７７は、駆動回路１７３、１７６が出力する信号を撮像画像データに変換する処理により、異なる撮像解像度の撮像画像データを生成できる。
また、カメラ制御部１７７は、カメラ制御部１６４と同様に駆動回路１７３、１７６を制御することで、撮像画像データのフレームレートを変更できる。
【００６２】
本実施形態の頭部装着型表示装置１００が備えるカメラ６１は、図３（Ａ）を参照して説明したように、複数の撮像解像度を切り替えて撮像を行い、撮像画像データを出力できる。また、カメラ６１を、図３（Ｂ）に示すカメラ６１Ａに置き換えた場合も、少なくとも２段階の撮像解像度を切り替えて撮像を行うことができる。
図３（Ａ）のカメラ６１は、カメラ６１の構成がシンプルであり、カメラ６１の小型化が容易である等の利点がある。また、図３（Ｂ）のカメラ６１Ａは、カメラ制御部１７７が撮像解像度を切り替える処理が簡単であること、及び、第１撮像部６２Ａと第２撮像部６２Ｂが、１つの撮像解像度に対応していればよいので、単純な構成の撮像素子等を利用できるという利点がある。
【００６３】
図３（Ｂ）に示したカメラ６１Ａは、第１撮像部６２Ａの撮像解像度と第２撮像部６２Ｂとがの撮像解像度とが同一となる構成としてもよい。この場合、第１撮像部６２Ａと第２撮像部６２Ｂは、設置位置が異なり、第１撮像部６２Ａの撮像範囲（画角）と第２撮像部６２Ｂの撮像範囲とが異なるように設置される。この構成では、撮像したい場所に応じて、第１撮像部６２Ａと第２撮像部６２Ｂとを切り替える使用方法が考えられる。また、第１撮像部６２Ａと第２撮像部６２Ｂの両方で撮像を行い、撮像画像を結合させる画像処理を実行して、より広い撮像範囲の撮像画像を得る使用方法も考えられる。  また、カメラ６１やカメラ６１Ａに代えて、第１撮像部６２Ａや第２撮像部６２Ｂに相当する撮像部を３以上備えるカメラを用いることも可能である。この場合、各撮像部の撮像解像度は、第１撮像部６２Ａ及び第２撮像部６２Ｂについて説明したように、異なる撮像解像度であっても同一の撮像解像度であってもよい。
【００６４】
図４は、頭部装着型表示装置１００の動作モードに関して、記憶部１２０が記憶する条件テーブル１２１、１２２、１２３の構成を示す図である。図４（Ａ）は条件テーブル１２１の構成例を示し、図４（Ｂ）は条件テーブル１２２の構成例を示し、図４（Ｃ）は条件テーブル１２３の構成例を示す。
本実施形態では、カメラ６１の撮像解像度を２段階に切り替え可能な構成を例示する。この２段階の解像度を、高解像度、及び、低解像度と呼ぶ。また、本実施形態では、カメラ６１が出力する撮像画像データのフレームレートを２段階に切り替え可能な構成を例示する。この２段階のフレームレートを、高速、及び、低速と呼ぶ。
【００６５】
図４（Ａ）の条件テーブル１２１は、モード１〜４の４通りの動作モードを規定する。モード１は、低解像度で、フレームレートは高速で、画像解析部１８２がマーカー認識を行わない動作モードである。モード１は低解像度モードと呼ぶことができる。モード２は、高解像度で、フレームレートが低速で、画像解析部１８２がマーカー認識を行わない動作モードであり、高解像度モードと呼ぶことができる。
モード３は、低解像度で、フレームレートが低速で、画像解析部１８２がマーカー認識を行う動作モードであり、低解像度マーカー認識モードと呼ぶことができる。モード４は、高解像度で、フレームレートが高速で、画像解析部１８２がマーカー認識を行う動作モードであり、高解像度マーカー認識モードと呼ぶことができる。
【００６６】
表示処理部１８５は、頭部装着型表示装置１００の動作に対応してカメラ６１、撮像制御部１８１、画像解析部１８２、及び表示処理部１８５の動作モードを、モード１〜４のいずれかに切り替える。
また、表示処理部１８５は、複数の動作モードを自動的に切り替えて実行することもできる。この動作モードは、例えば図４（Ｂ）の条件テーブル１２２に設定される。
条件テーブル１２２では、モード５、６の２つの動作モードが設定される。モード５はモード１とモード２を周期的に切り替える動作モードである。また、モード６はモード３とモード４を周期的に切り替える動作モードである。モード５の実行時にはモード１，２を間欠的に実行していると言うこともでき、モード６の実行時にはモード３，４を間欠的に実行していると言うこともできる。
また、モード５、６ではモード１〜４の条件の一部を変更してもよく、例えば、モード５、６では撮像画像データのフレームレートを低速に固定してもよい。
【００６７】
さらに、表示処理部１８５は、カメラ６１の撮像画像データを画像表示部２０により表示する動作を行うこともでき、この動作は、モード１〜６とは異なる。この動作のモードを、モード１０として図４（Ｃ）に示す。図４（Ｃ）はモード１０の動作条件を設定する条件テーブル１２３を例示する。モード１０は、低解像度で、フレームレートが低速で、画像解析部１８２がマーカー認識を行わず、撮像画像データを画像表示部２０で表示する動作モードであり、撮像画像表示モードと呼ぶことができる。
モード１〜６、１０は、撮像解像度及びフレームレートを指定するので、本発明の撮像条件を含む。
図４（Ａ）〜（Ｃ）に示す条件テーブル１２１、１２２、１２３は、全てが記憶部１２０に記憶されてもよいし、いずれかのテーブルのみ記憶部１２０に記憶される構成であってもよい。本実施形態では条件テーブル１２１、１２２、１２３が記憶部１２０に記憶される構成について説明する。
【００６８】
表示処理部１８５は、モード１〜６及び１０のいずれかを選択して、切り替えを行い、選択したモードの撮像解像度及びフレームレートを撮像制御部１８１及びカメラ６１に設定する。また、表示処理部１８５は、選択した動作モードの設定に従って、画像解析部１８２でマーカー認識を行うか否かを設定する。
【００６９】
図５は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、撮像解像度及びフレームレートの設定に関する動作を示す。
制御部１４０は、操作部１１１の操作や外部の機器等により入力される指示に基づき、頭部装着型表示装置１００が、カメラ６１の撮像画像データを表示する処理を行うか否かを判定する（ステップＳ１１）。
撮像画像データを表示する場合（ステップＳ１１；ＹＥＳ）、制御部１４０は、条件テーブル１２３に設定されたモード１０を、頭部装着型表示装置１００の動作モードとして選択して実行する（ステップＳ１２）。すなわち、制御部１４０は、モード１０の撮像解像度、フレームレート、及び、マーカー認識を行うか否かを、条件テーブル１２３に従って設定して動作する。その後、制御部１４０は、終了条件が成立した場合等に本処理を終了する。終了条件とは、例えば、操作部１１１で本処理の終了が指示されること、操作部１１１の操作がされない状態が所定時間継続すること、９軸センサー６６が画像表示部２０の動きを検出しない状態が所定時間継続すること、等である。
【００７０】
撮像画像データを表示しない場合（ステップＳ１１；ＮＯ）、制御部１４０は、マーカー認識を実行するか否かを判定する（ステップＳ１３）。例えば、操作部１１１の操作によりマーカー認識が指示された場合や、オペレーティングシステム１５０上で実行中のアプリケーションプログラムがマーカー認識機能を実行する場合、マーカー認識を実行すると判定する。
マーカー認識を実行する場合（ステップＳ１３；ＹＥＳ）、制御部１４０は、条件テーブル１２１のモード３を選択し、カメラ６１で撮像を実行させる（ステップＳ１４）。制御部１４０は、カメラ６１の撮像画像データを解析して、撮像画像データからマーカーを検出できたか否かを判定する（ステップＳ１５）。
【００７１】
図６は、頭部装着型表示装置１００のマーカーの読み取りに関する動作の説明図であり、制御部１４０がマーカーを認識する処理を示す。
図６（Ａ）には、読取対象のマーカーの一例として、二次元バーコードを示す。図６（Ｂ）及び（Ｃ）は読取方法の例を示す。
画像により機械読み取り可能なマーカーの多くは、それがマーカーであることを示す特徴と、データを表現するシンボルとを含む。図６（Ａ）に例示するマーカーＭは、ほぼ正方形の枠Ｍ１が特徴であり、枠Ｍ１の内部に、所定のフォーマットでデータを表すシンボルＭ２が配置される。
画像解析部１８２は、カメラ６１の撮像画像データを解析して、まず、マーカーＭの特徴である枠Ｍ１を、撮像画像データから検出し、撮像画像データにおける枠Ｍ１の位置等を取得する。この処理では、図６（Ｂ）に示すように枠Ｍ１を処理すればよいので、撮像画像データの解像度は低くてもよい。低解像度の撮像画像データを処理する場合、画像解析部１８２の処理負荷が軽減される。
【００７２】
また、画像解析部１８２は、カメラ６１の撮像画像データから、マーカーＭの特徴である枠Ｍ１と、枠Ｍ１を基準として予め設定された位置にあるシンボルＭ３を検出してもよい。すなわち、一部のシンボルＭ３について読取を行ってもよく、この場合、枠Ｍ１のみを検出する場合に比べて誤検出を減らすことができる。この処理は、図６（Ｃ）に示すように枠Ｍ１と、一部のシンボルＭ３を処理すればよく、シンボルＭ３の検出位置が離れている場合は撮像画像データの解像度は低くてもよい。低解像度の撮像画像データを処理する場合、画像解析部１８２の処理負荷が軽減される。
【００７３】
ステップＳ１４で、画像解析部１８２は、図６（Ｂ）、（Ｃ）に示すように枠Ｍ１やシンボルＭ３を検出する。その後、制御部１４０は、より高解像度の撮像画像データに基づき、図６（Ａ）に示すようにマーカーの全体を検出して、全てのシンボルが示すデータを読み取る。
すなわち、制御部１４０は、撮像解像度が高いモード４の条件を設定して、カメラ６１に撮像を実行させ（図５のステップＳ１６）、撮像画像データからマーカーを認識する（ステップＳ１７）。
【００７４】
制御部１４０は、最初にモード３の条件で撮像を実行して、マーカーの特徴を検出してから、モード４でマーカーを読み取るので、頭部装着型表示装置１００の消費電力を抑制できる。すなわち、仮に、ステップＳ１４で、マーカーが検出されるまでモード４で撮像を続ける場合は高解像度で撮像を実行すること、高解像度の撮像画像データがバスを経由して制御部１４０に送信されること、により高負荷の状態が継続する。この間、制御部１４０の負荷が高いため消費電力量が大きく、バスの消費電力量も大きい。本実施形態のようにモード３を利用することで、制御部１４０、及び、撮像画像データを転送するバスの消費電力量を抑えることができる。さらに、ステップＳ１７では、マーカーの特徴を検出していない状態で解析を行うため、解析の対象が撮像画像データ全体となり、処理の負荷が高くなる可能性がある。これに対し、本実施形態では低解像度の撮像画像データに基づいて検出したマーカーの特徴を使用することで処理負荷を軽減できる。
【００７５】
さらに、頭部装着型表示装置１００は、カメラ６１が撮像する範囲を、使用者が調光板２０Ａ越しに視認できる。このため、カメラ６１の撮像画像を、そのまま画像表示部２０で表示する必要はない。例えばマーカーをカメラ６１で撮像する場合、使用者は、調光板２０Ａ越しにマーカーを視認して、カメラ６１の撮像範囲にマーカーが収まるように、頭の向きや位置を調整すればよく、この間、カメラ６１の撮像画像を画像表示部２０に表示する必要はない。つまり、スマートフォンや携帯電話機のような携帯型デバイス等でマーカーを撮像する場合とは異なり、頭部装着型表示装置１００では、マーカーを撮像するために撮像画像を表示しなくてもよい。このような頭部装着型表示装置１００の特性を利用すれば、マーカー認識をする場合に、常に高解像度で撮像を行う必要がないので、頭部装着型表示装置１００は、消費電力を軽減することができる。
【００７６】
制御部１４０は、ステップＳ１７で認識したマーカーに基づく処理を実行する（ステップＳ１８）。例えば、制御部１４０は、マーカーから読み取ったデータをテキストデータにして画像表示部２０に表示する処理、読み取ったデータにより指定されるコンテンツを居、記憶部１２０または外部機器ＯＡから取得して再生表示する処理等を実行する。この処理では、例えば、使用者が調光板２０Ａ越しに視認する外景に、画像や文字が重なって視認されるように、画像や文字を表示して、ＡＲ（Augmented Reality）を実現する。
【００７７】
続いて、制御部１４０は、動作終了のトリガーを検出すると（ステップＳ１９）、モード６の条件を設定して、カメラ６１の撮像を実行する（ステップＳ２０）。動作終了のトリガーは、例えば、操作部１１１でステップＳ１８の動作の終了が指示されること、操作部１１１の操作がされない状態の継続時間が、予め設定された時間に達すること、９軸センサー６６が画像表示部２０の動きを検出しない状態の継続時間が、予め設定された時間に達すること、等である。ステップＳ１９で検出するトリガーは、いわゆるスリープ状態への移行のトリガーということができる。
【００７８】
そして、モード６に移行した後、制御部１４０は、通常動作への復帰のトリガーを検出したか否かを判定する（ステップＳ２１）。通常動作への復帰のトリガーとは、例えば、操作部１１１の操作、９軸センサー６６による画像表示部２０の動きの検出等である。通常動作の復帰のトリガーを検出した場合（ステップＳ２１；ＹＥＳ）、制御部１４０はステップＳ１４に戻る。
通常動作への復帰のトリガーを検出しない場合（ステップＳ２１；ＮＯ）、制御部１４０は、動作終了のトリガーを検出するまで待機し（ステップＳ２２）、動作終了のトリガーを検出すると、モード３の条件を設定して、カメラ６１で撮像を実行する（ステップＳ２３）。ステップＳ２２の動作終了のトリガーは、スリープ状態から、より深いスリープ状態への移行のトリガーということができる。例えば、操作部１１１で深いスリープ状態への移行が指示されること、操作部１１１の操作がされない状態または９軸センサー６６が画像表示部２０の動きを検出しない状態の継続時間が、ステップＳ１９のトリガーより長い所定時間に達すること等である。
【００７９】
その後、制御部１４０は、ステップＳ２１と同様に、通常動作への復帰のトリガーを検出したか否かを判定し（ステップＳ２４）。復帰のトリガーを検出した場合（ステップＳ２４；ＹＥＳ）、制御部１４０はステップＳ１４に戻る。復帰のトリガーを検出しない場合（ステップＳ２４；ＮＯ）、制御部１４０は、停止のトリガーを検出するまで待機して（ステップＳ２５）、停止のトリガーを検出したら本処理を終了する。
【００８０】
制御部１４０は、マーカー認識を実行しない場合（ステップＳ１３；ＮＯ）、制御部１４０は、モード１を選択し、カメラ６１で撮像を実行させる（ステップＳ２６）。制御部１４０は、カメラ６１の撮像画像データを解析して（ステップＳ２７）、解析結果をＲＡＭ（図示略）または記憶部１２０に一時的に保存する（ステップＳ２８）。そして、制御部１４０は、画像解析を開始するトリガーを検出するまで待機し、トリガーを検出した場合に（ステップＳ２９）、モード２を選択して、モード２の条件でカメラ６１の撮像を実行する（ステップＳ３０）。画像解析を開始するトリガーは、例えば、操作部１１１の操作や、振動センサー６５により特定のパターンの振動を検出すること等である。
【００８１】
制御部１４０は、ステップＳ３１の撮像画像を解析し（ステップＳ３１）、画像解析の結果に基づく動作を実行する（ステップＳ３２）。ステップＳ３２で実行する動作は、例えば、画像表示部２０により画像やテキスト等の情報を表示する動作である。この動作は、例えば、頭部装着型表示装置１００を装着する使用者が作業を行っている場合に、作業に関する情報を提供する、いわゆる作業支援動作である。ステップＳ３０で撮影した高解像度の撮像画像データから、作業の対象物（例えば、被加工物）の画像を検出し、この対象物に関連する情報を表示する動作等が挙げられる。この場合、制御部１４０は、ステップＳ２６の低解像度の撮像画像データから、作業の対象物の候補の検出を行う。そして、ステップＳ２７の解析で、対象物または対象物に類似する特徴を有する候補が検出された場合は、その検出位置をステップＳ２８で保存する。制御部１４０は、ステップＳ３０の高解像度の撮像画像データから、保存した位置に対応する位置で対象物の検出を行う。
【００８２】
このステップＳ２６〜Ｓ３１の動作では、図６（Ａ）〜（Ｃ）を参照して説明したマーカー認識と同様に、最初は低解像度の撮像画像データを解析し、その解析結果に基づき、より高解像度の撮像画像データを解析する。このため、カメラ６１、制御部１４０、及び、カメラ６１と制御部１４０とを接続するバスの消費電力量を抑制できる。また、ステップＳ２７では、対象物の候補を検出していない状態で解析を行うため、解析の対象が撮像画像データ全体となり、処理の負荷が高いが、本実施形態では低解像度の撮像画像データを使用することで処理負荷を軽減できる。
その後、制御部１４０は、動作モードの変更の指示が、操作部１１１または振動センサー６５により入力されたか否かを判定し（ステップＳ３３）、指示が入力された場合はステップＳ２６に戻り、指示が入力されない場合は、停止のトリガーを検出するまで待機する。そして、停止のトリガーを検出してから（ステップＳ３４）、本処理を終了する。停止のトリガーは、ステップＳ２５と同様、操作部１１１による停止の指示の入力等である。
制御部１４０は、ステップＳ２５及びＳ３４で停止のトリガーを検出しない場合に、ステップＳ１１に戻ってループ処理を行ってもよい。また、制御部１４０は、ステップＳ１２で、条件テーブル１２３に設定されたモード１０を実行した後に、ステップＳ１１に戻ってループ処理を行ってもよい。
【００８３】
以上説明したように、本発明を適用した実施形態の頭部装着型表示装置１００は、外景とともに視認できるように画像を表示する画像表示部２０と、カメラ６１と、カメラ６１の撮像画像データを処理する制御部１４０と、を備え、制御部１４０は、撮像画像データの表示を画像表示部２０で行うか否かに対応する処理条件であるモードを選択して、撮像画像データを処理する。例えば、撮像画像データを画像表示部２０で表示するか否かによって異なる処理条件に従って、撮像画像データを処理する。これにより、処理条件を最適化し、処理負荷を抑えることができる。
また、カメラ６１の撮像範囲は、画像表示部２０を透過して視認される外景に対応する範囲であるため、画像表示部２０に撮像画像データに基づく表示を行う場合であっても、表示をさせる必要のない場合であっても、適切な処理条件を設定できる。
また、制御部１４０は、撮像画像データを画像表示部２０で表示するか否かによって異なる処理条件に従って撮像画像データを処理する。このため、適切な条件で効率よく撮像画像データを処理できる。
【００８４】
また、制御部１４０は、画像表示部２０により撮像画像データに基づく表示を行う場合のモード、及び、画像表示部２０による撮像画像データに基づく表示を伴わない場合のモードを含むモードを選択する。このため、いずれの状態であっても適切な処理条件を設定でき、良好な表示品質を実現し、処理負荷を抑えることができる。
また、制御部１４０は、カメラ６１の撮像条件を設定し、設定した撮像条件で撮像をさせる撮像制御部１８１を備え、制御部１４０は、撮像制御部１８１により、処理条件に対応する撮像条件を設定させる。これにより、カメラ６１の撮像条件を適切に設定し、処理負荷を抑えることができる。
【００８５】
カメラ６１と制御部１４０とはバスにより接続され、カメラ６１は、撮像制御部が設定する撮像条件に適した撮像画像データを、バスを介して制御部１４０に転送する。この場合、データの転送に係る処理負荷を軽減できる。
また、カメラ６１は動画像を撮像して撮像画像データを出力するよう構成され、撮像画像データの解像度及びフレームレートの少なくともいずれかに関する複数の動作モードを切り替えて実行可能である。撮像制御部１８１は、カメラ６１が実行する動作モードを設定するので、カメラ６１の動作モードを切り替えることにより、条件を容易に変更することができ、必要十分な処理条件を設定して処理負荷を抑えることができる。
また、制御部１４０は、処理の実行状態を変更可能であり、カメラ６１は、制御部１４０の処理の実行状態に対応する複数の動作モードを切り替えて実行可能である。撮像制御部１８１は制御部１４０の処理の実行状態に対応する動作モードをカメラ６１に設定する。このように、カメラ６１の動作モードを、撮像画像データに対する処理の実行状態に対応して切り替えることにより、カメラ６１に適切な条件で動作を実行させ、効率よく撮像及び処理を実行できる。
【００８６】
カメラ６１の動作モードは、制御部１４０が撮像画像データを用いてマーカー認識を行うか否かに対応する複数の動作モードを含むので、適切に処理の条件を設定し、処理負荷を抑えることができる。
また、画像表示部２０により撮像画像データに基づく表示を行う場合の処理条件は、画像表示部２０による撮像画像データに基づく表示を伴わない場合よりも、制御部１４０に入力する撮像画像データの容量を小さくする条件を含む。これにより、処理する撮像画像データの容量を小さくすることで、効果的に、処理負荷を抑えることができる。
また、頭部装着型表示装置１００では、バッテリーを備える電源部１３０が、少なくともカメラ６１及び制御部１４０に電力を供給するので、カメラ６１と制御部１４０の負荷を軽減することで消費電力量を抑制でき、バッテリーの消耗を抑えることができる。
【００８７】
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、制御部１４０が、図４（Ａ）〜（Ｃ）に示すモード１〜６、１０を選択する構成としたが、これらのモードはあくまで一例である。例えば、モード２では、モード１に比べて撮像解像度は高いがフレームレートは低くなっているが、これは、カメラ６１と制御部１４０を接続するバスの容量の制約を回避する１つの方法である。上記バスの容量が十分に大きい場合、モード２では、フレームレートをモード１と同様にしてもよい。また、ステップＳ１４〜Ｓ１８で制御部１４０が検出するマーカーの種類は、予め設定されていてもよく、この場合、ステップＳ１７でマーカーの特徴を検出し、認識する処理の負荷をより軽減し、高速に処理できる。
【００８８】
さらに、カメラ６１は、モノクロの撮像画像データを出力するカメラであってもカラーの撮像画像データを出力するものであってもよい。カラーの撮像画像データを出力する場合、撮像画像データをカラーにするか、白黒にするか、グレースケールにするかを、条件テーブル１２１、１２２、１２３で設定してもよい。例えば白黒のマーカーを検出する場合は撮像条件としてモノクロ画像データを設定すれば、データ量をより低減できる。また、作業支援のため高解像度で撮像を実行する場合（例えば、ステップＳ３０）、カラーの撮像画像データを出力すれば、より的確な作業支援を行えるという利点がある。
また、カメラ６１は、赤外光を受光して撮像する赤外線カメラ、或いは、紫外光を受光して撮像する紫外線カメラであってもよい。この場合、可視光の光量が低い条件下であっても撮像を行うことができ、具体的には暗所であっても撮像を行える。また、カメラ６１が赤外線カメラである場合には放射熱量の計測を行うことも可能となる。
【００８９】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。
さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。この場合、制御装置１０と画像表示部２０の各々に、電源部１３０を設けてもよい。
【００９０】
また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon,  LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
【００９１】
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
【００９２】
さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【００９３】
また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。
【符号の説明】
【００９４】
１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部（光射出部）、２３…左保持部、２４…左表示駆動部（光射出部）、２５…インターフェイス、２６…右光学像表示部、２８…左光学像表示部、６１、６１Ａ…カメラ（撮像部）、６３…マイク、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１２５…インターフェイス、１４０…制御部（処理部）、１５０…オペレーティングシステム、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８２…画像解析部（処理部）、１８５…表示処理部（処理部）、１８７…音声処理部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板。
【図１】
0006492638.tif 000002
【図２】
0006492638.tif 000003
【図３】
0006492638.tif 000004
【図４】
0006492638.tif 000005
【図５】
0006492638.tif 000006
【図６】
0006492638.tif 000007