(57)【要約】【課題】  左右で同じ撮像パラメータに従った撮像を行うための技術を提供すること。【解決手段】  右目用の撮像ユニットによって撮像された画像、及び／又は左目用の撮像ユニットによって撮像された画像に基づいて、右目用、左目用の撮像ユニットで共通の撮像パラメータを算出し、算出された撮像パラメータを右目用、左目用の撮像ユニットに対して設定する。【選択図】  図２Ａ
2006295506.tif 000002
【特許請求の範囲】
【請求項１】
外界を撮像する右目用、左目用の撮像手段と、
前記右目用、左目用の撮像手段により撮像された画像を外部に出力する出力手段と、
外部から入力された右目用、左目用の画像信号に基づいた右目用画像、左目用画像を表示する右目用、左目用の表示手段とを備える画像表示装置であって、
前記右目用の撮像手段によって撮像された画像、及び／又は前記左目用の撮像手段によって撮像された画像に基づいて、前記右目用、左目用の撮像手段で共通の撮像パラメータを算出する算出手段と、
前記算出手段によって算出された撮像パラメータを前記右目用、左目用の撮像手段に対して設定する設定手段と
を備えることを特徴とする画像表示装置。
【請求項２】
前記算出手段は、
前記右目用の撮像手段によって撮像された画像内の所定のエリア内における第１の輝度情報を求める第１の手段と、
前記左目用の撮像手段によって撮像された画像内の所定のエリア内における第２の輝度情報を求める第２の手段と、
前記第１の輝度情報が示す輝度値、前記第２の輝度情報が示す輝度値に基づいて、前記撮像パラメータを求めるために用いる輝度情報として、前記第１の輝度情報、前記第２の輝度情報のうち一方、若しくは両方を決定する第３の手段とを備え、
前記第３の手段によって決定した輝度情報を用いて、前記撮像パラメータを求めることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記第３の手段は、
前記第１の輝度情報が示す輝度値、前記第２の輝度情報が示す輝度値の両方が規定範囲内の輝度値を示すものである場合には、前記撮像パラメータを求めるために前記第１の輝度情報、前記第２の輝度情報を用いると決定し、
前記第１の輝度情報が示す輝度値のみが規定範囲内の輝度値を示すものである場合には、前記撮像パラメータを求めるために前記第１の輝度情報を用いると決定し、
前記第２の輝度情報が示す輝度値のみが規定範囲内の輝度値を示すものである場合には、前記撮像パラメータを求めるために前記第２の輝度情報を用いると決定することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記第３の手段は、
前記第１の輝度情報が示す輝度値と前記第２の輝度情報が示す輝度値との差分値が規定範囲内である場合には、前記撮像パラメータを求めるために前記第１の輝度情報、前記第２の輝度情報を用いると決定し、
前記差分値が規定範囲内のものではない場合には、前記第１の輝度情報が示す輝度値、前記第２の輝度情報が示す輝度値のうち、予め定めた基準輝度値に近い方の輝度情報を用いると決定することを特徴とする請求項２に記載の画像表示装置。
【請求項５】
前記所定のエリアは、ＡＥエリア、ＡＷＢエリアであることを特徴とする請求項２に記載の画像表示装置。
【請求項６】
前記画像表示装置は、ＨＭＤ（ヘッドマウントディスプレイ）であることを特徴とする請求項１乃至５の何れか１項に記載の画像表示装置。
【請求項７】
外界を撮像する右目用、左目用の撮像手段と、
前記右目用、左目用の撮像手段により撮像された画像を外部に出力する出力手段と、
外部から入力された右目用、左目用の画像信号に基づいた右目用画像、左目用画像を表示する右目用、左目用の表示手段とを備える画像表示装置の制御方法であって、
前記右目用の撮像手段によって撮像された画像、及び／又は前記左目用の撮像手段によって撮像された画像に基づいて、前記右目用、左目用の撮像手段で共通の撮像パラメータを算出する算出工程と、
前記算出工程で算出された撮像パラメータを前記右目用、左目用の撮像手段に対して設定する設定工程と
を備えることを特徴とする画像表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界の撮像技術に関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者が観察できる技術が知られている。
【０００３】
図３は、一般的なビデオシースルーＨＭＤの概略構成を示す図である。右目用、左目用とで対の構成となるため片方のみ図示している。ＨＭＤは、右目用、左目用の小型の液晶ディスプレイなどからなる表示素子２０１と、それらに表示された右目用、左目用の画像を拡大表示するための自由曲面プリズムなどの表示光学系２０２と、ＨＭＤ装着者の瞳４０１の位置から観察される被写体と略一致する被写体を撮像するための撮像素子３０１と、ＨＭＤ装着者の瞳４０１の位置と撮像素子３０１の位置を略一致させるための撮像光学系３０２とで構成されている。図４は、ビデオシースルーＨＭＤ５０１を装着したときの外観図である。
【０００４】
図５は、ビデオシースルーＨＭＤ５００の主要なハードウェア構成を示すブロック図である。ビデオシースルーＨＭＤ５００は、外界を撮像する撮像ユニット１１０Ｒ、１１０Ｌ、外部の画像処理ユニット１４０によって生成されたＣＧと撮像ユニット１１０Ｒ、１１０Ｌから得られる撮像画像との合成画像を表示する表示ユニット１２０Ｒ、１２０Ｌ、撮像ユニット１１０Ｒ、１１０Ｌ、及び表示ユニット１２０Ｒ、１２０Ｌを制御するＭＰＵ１３０で構成される。
【０００５】
撮像ユニット１１０Ｒ、１１０Ｌは、ＣＣＤイメージセンサなどの撮像素子１１１Ｒ、１１１Ｌ、撮像素子１１１Ｒ、１１１Ｌを駆動する信号を生成するＴＧ（タイミングジェネレータ）１１６Ｒ、１１６Ｌ、ＴＧ（タイミングジェネレータ）１１６Ｒ、１１６Ｌからの信号を受けて垂直方向の信号を生成するＶ−Ｄｒ（Ｖドライバ）１１７Ｒ、１１７Ｌ、撮像素子１１１Ｒ、１１１Ｌから出力されるアナログ信号に対してＣＤＳ（相関２重サンプリング）、ゲイン調整等の処理を行うＣＤＳ／ＡＧＣ部１１２Ｒ、１１２Ｌ、アナログ信号をディジタル信号に変換するＡ／Ｄ変換部１１３Ｒ、１１３Ｌ、ディジタル信号に対してゲイン制御、色味制御、輝度制御、ガンマ補正などを行うディジタル信号処理部１１４Ｒ、１１４Ｌ、ディジタル信号処理部１１４Ｒ、１１４Ｌから出力される撮像画像信号をＵＳＢやＩＥＥＥ１３９４などの画像フォーマットに変換して画像処理ユニット１４０に出力する撮像画像出力部１１５Ｒ、１１５Ｌなどから構成される。
【０００６】
表示ユニット１２０Ｒ、１２０Ｌは、ｐ−ＳｉＴＦＴやＬＣＯＳなどの表示素子１２１Ｒ、１２１Ｌ、表示素子１２１Ｒ、１２１Ｌを制御、駆動するための表示駆動部１２２Ｒ、１２２Ｌ、画像処理ユニット１４０から入力される表示画像信号を受信する表示画像入力部１２３Ｒ、１２３Ｌなどから構成される。
【０００７】
画像処理ユニット１４０は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などで構成されるものであり、ＣＧを生成して、ビデオシースルーＨＭＤ５００から受けた撮像画像上に合成して再度、ビデオシースルーＨＭＤ５００に返信する。
【０００８】
以上の構成により、観察者はビデオシースルーＨＭＤを自身の頭部に装着することで、現実世界と仮想世界とがリアルタイムにシームレスに融合した複合現実世界を体験することができる。
【特許文献１】特開平８−１９４２７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一般的なビデオシースルーＨＭＤに内蔵されている右目用、左目用の撮像ユニットはそれぞれ独立な構成となっているため左右撮像ユニットでのそれぞれの撮像画像が全く同じにならず、左右の撮影条件は必ずしも一致しない。例えば、左右の撮像ユニットそれぞれでＡＥ（自動露光処理）やＡＷＢ（自動ホワイトバランス処理）を動作させた際に、アナログゲイン、シャッタースピード、ＲＧＢゲインなどの撮影条件が左右で一致せず、左右撮影画像の明るさ、色味などがそれぞれ異なる場合があった。
【００１０】
また、他の課題として、一方の撮像画面のみに局所的に明るい像が撮像されたり、一方の撮像画面だけが手などで覆われた場合も同様に左右で明るさや色味が異なってしまう場合があった。
【００１１】
本発明は以上の問題に鑑みてなされたものであり、左右で同じ撮像パラメータに従った撮像を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的を達成するために、例えば本発明の画像表示装置は以下の構成を備える。
【００１３】
即ち、外界を撮像する右目用、左目用の撮像手段と、
前記右目用、左目用の撮像手段により撮像された画像を外部に出力する出力手段と、
外部から入力された右目用、左目用の画像信号に基づいた右目用画像、左目用画像を表示する右目用、左目用の表示手段とを備える画像表示装置であって、
前記右目用の撮像手段によって撮像された画像、及び／又は前記左目用の撮像手段によって撮像された画像に基づいて、前記右目用、左目用の撮像手段で共通の撮像パラメータを算出する算出手段と、
前記算出手段によって算出された撮像パラメータを前記右目用、左目用の撮像手段に対して設定する設定手段と
を備えることを特徴とする。
【００１４】
本発明の目的を達成するために、例えば本発明の画像表示装置の制御方法は以下の構成を備える。
【００１５】
即ち、外界を撮像する右目用、左目用の撮像手段と、
前記右目用、左目用の撮像手段により撮像された画像を外部に出力する出力手段と、
外部から入力された右目用、左目用の画像信号に基づいた右目用画像、左目用画像を表示する右目用、左目用の表示手段とを備える画像表示装置の制御方法であって、
前記右目用の撮像手段によって撮像された画像、及び／又は前記左目用の撮像手段によって撮像された画像に基づいて、前記右目用、左目用の撮像手段で共通の撮像パラメータを算出する算出工程と、
前記算出工程で算出された撮像パラメータを前記右目用、左目用の撮像手段に対して設定する設定工程と
を備えることを特徴とする。
【発明の効果】
【００１６】
本発明の構成により、左右で同じ撮像パラメータに従った撮像を行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、以下では、本発明の画像表示装置を頭部装着型表示装置に適用した実施形態について説明するが、画像表示装置として適用可能なものはこれに限定するものではなく、例えば、１つの画面上に、ストライプ状に左眼用と右眼用の画像を表示する立体表示装置に適用しても良い。
【００１８】
［第１の実施形態］
図１は、本実施形態に係るビデオシースルーＨＭＤ（頭部装着型表示装置）において撮像処理を行う撮像システム部のハードウェア構成を示すブロック図である。なお、図５と同じ部分については同じ番号を付けている。
【００１９】
同図に示す如く、撮像システム部１００は、右目用の外界を撮像する撮像ユニット１１０Ｒ、左目用の外界を撮像する撮像ユニット１１０Ｌ、撮像ユニット１１０Ｒ、１１０Ｌを制御するＭＰＵ１３０で構成されている。また、ＴＧ１１６ＲとＴＧ１１６Ｌ、ＣＤＳ／ＡＧＧ部１１２ＲとＣＤＳ／ＡＧＧ部１１２Ｌ、ディジタル信号処理部１１４Ｒとディジタル信号処理部１１４Ｌ、はそれぞれ共通のバス１９０に接続されており、それぞれはＭＰＵ１３０によってバス１９０を介して制御可能である。
【００２０】
撮像ユニット１１０Ｒ、１１０Ｌは、ＣＣＤイメージセンサなどの撮像素子１１１Ｒ、１１１Ｌ、撮像素子１１１Ｒ、１１１Ｌを駆動する信号を生成するＴＧ（タイミングジェネレータ）１１６Ｒ、１１６Ｌ、ＴＧ１１６Ｒ、１１６Ｌからの信号を受けて垂直方向の信号を生成するＶ−Ｄｒ（Ｖドライバ）１１７Ｒ、１１７Ｌ、撮像素子１１１Ｒ、１１１Ｌから出力されるアナログ信号に対してＣＤＳ（相関２重サンプリング）、ゲイン調整等の処理を施すＣＤＳ／ＡＧＣ部１１２Ｒ、１１２Ｌ、ＣＤＳ／ＡＧＧ部１１２Ｒ、１１２Ｌから出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換部１１３Ｒ、１１３Ｌ、Ａ／Ｄ変換部１１３Ｒ、１１３Ｌから出力されたディジタル信号に対してゲイン制御、色味制御、輝度制御、ガンマ補正等の処理を施すディジタル信号処理部１１４Ｒ、１１４Ｌ、ディジタル信号処理部１１４Ｒ、１１４Ｌから出力されたディジタル信号としての撮像画像信号をＵＳＢやＩＥＥＥ１３９４などの画像フォーマットに変換して画像処理ユニット１４０に出力する撮像画像出力部１１５Ｒ、１１５Ｌなどから構成される。
【００２１】
画像処理ユニット１４０は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などで構成されるものであり、ＣＧを生成して、ビデオシースルーＨＭＤ１００から受けた撮像画像上に合成して再度、ビデオシースルーＨＭＤ１００に返信する。
【００２２】
なお、本実施形態に係るビデオシースルーＨＭＤにおいても、図５に示した表示ユニット１２０Ｒ、１２０Ｌは備わっているが、同様の処理を行うため、これに関する説明は省略する。
【００２３】
ＭＰＵ１３０は、ディジタル信号処理部１１４Ｒ、１１４Ｌから出力される画像内におけるＡＥ（自動露光処理）エリア内の輝度情報（ＡＥ輝度情報）、ＡＷＢ（自動ホワイトバランス処理）エリア内の輝度情報（ＡＷＢ輝度情報）を取得し、これに基づいて、右目用撮像ユニット１１０Ｒ、左目用撮像ユニット１１０Ｌに共通に設定される撮像パラメータ（アナログゲイン、シャッタースピード、ＲＧＢゲイン等）を算出する。算出されたアナログゲインはＣＤＳ／ＡＧＣ部１１２Ｒ、１１２Ｌへ、シャッタースピードはＴＧ（タイミングジェネレータ）１１６Ｒ、１１６Ｌへ、ＲＧＢゲインはディジタル信号処理部１１４Ｒ、１１４Ｌへそれぞれ設定される。
【００２４】
これにより、右目用撮像ユニット１１０Ｒ、左目用撮像ユニット１１０Ｌに共通の撮像パラメータ（カメラ設定パラメータ）を設定することができる。なお、撮像パラメータの算出処理については後述する。
【００２５】
次に、上記撮像システム部１００による１フレーム分の外界の画像撮像処理について、同処理のフローチャートを示す図２Ａを用いて説明する。なお、同図のフローチャートに従った処理は、ＭＰＵ１３０が撮像システム部１００を構成する各部を制御することで成されるものであるが、ＭＰＵ１３０がこのような制御処理を行うために用いるプログラムやデータは、ＭＰＵ１３０内の不図示のＲＯＭに格納されているので、これを用いてこのような制御処理を行う。
【００２６】
先ず、各撮像ユニット１１０Ｒ、１１０Ｌの撮像素子１１１Ｒ、１１１Ｌは、ビデオシースルーＨＭＤ１００の装着者の瞳位置から観察される画像に概略一致する画像、つまり、左右の瞳位置に対応した基線長分だけ異なる画像をそれぞれ撮影する（ステップＳ１０１）。
【００２７】
この撮像素子１１１Ｒ、１１１Ｌで撮影された物体像はアナログ信号としてそれぞれのＣＤＳ／ＡＧＣ部１１２Ｒ、１１２Ｌに入力されるので、ＣＤＳ／ＡＧＧ部１１２Ｒ、１１２Ｌは入力されたアナログ信号に対してＣＤＳ（相関２重サンプリング）、ゲイン調整等の処理を施した後にＡ／Ｄ変換部１１３Ｒ、１１３Ｌに出力し、Ａ／Ｄ変換部１１３Ｒ、１１３ＬはＡ／Ｄ変換部１１３Ｒ、１１３Ｌから受けた信号（アナログ信号）をディジタル信号に変換する（ステップＳ１０２）。
【００２８】
次に、Ａ／Ｄ変換部１１３Ｒ、１１３Ｌでディジタル信号に変換された画像信号は、ディジタル信号処理部１１４Ｒ、１１４Ｌに入力されるので、ディジタル信号処理部１１４Ｒ、１１４Ｌはこの画像信号に対してゲイン制御、色味制御、輝度制御、ガンマ補正等の処理を施す（ステップＳ１０３）。そして処理済みの画像信号を撮像画像出力部１１５Ｒ、１１５Ｌに出力するので、撮像画像出力部１１５Ｒ、１１５Ｌはこの画像信号を画像処理ユニット１４０に出力する（ステップＳ１０４）。
【００２９】
以上の処理により、１フレーム分の外界の画像（右目用の画像、左目用の画像）を撮像し、撮像した画像を画像処理ユニット１４０に送出することができる。
【００３０】
次に、左目用撮像ユニット１１０Ｌ、右目用撮像ユニット１１０Ｒに対して行うＡＥ（自動露光処理）、ＡＷＢ（自動ホワイトバランス処理）について、同処理のフローチャートを示す図２Ｂを用いて以下説明する。
【００３１】
ステップＳ２０１，Ｓ２０２ではそれぞれ、上記ステップＳ１０１，Ｓ１０２における処理を行う。即ち、１フレーム分の撮像処理を行うことで取得したディジタル信号としての画像信号を用いて以下の処理を行う。
【００３２】
次に、Ａ／Ｄ変換部１１３Ｒ、１１３Ｌでディジタル信号に変換された画像信号は、ディジタル信号処理部１１４Ｒ、１１４Ｌに入力されるので、ディジタル信号処理部１１４Ｒ、１１４Ｌはこの画像信号を参照し、画像中で予め定められたＡＥエリア、ＡＷＢエリアにおけるそれぞれの輝度情報を算出する（ステップＳ２０３）。
【００３３】
即ち、ディジタル信号処理部１１４Ｒは、Ａ／Ｄ変換部１１３Ｒから得られる画像中のＡＥエリア内の各画素値を参照して輝度情報を算出すると共に、ＡＷＢエリア内の各画素値を参照して輝度情報を算出する。同様に、ディジタル信号処理部１１４Ｌは、Ａ／Ｄ変換部１１３Ｌから得られる画像中のＡＥエリア内の各画素値を参照して輝度情報を算出すると共に、ＡＷＢエリア内の各画素値を参照して輝度情報を算出する。
【００３４】
次に、ＭＰＵ１３０は、左目用撮像ユニット１１０Ｌ、右目用撮像ユニット１１０Ｒに対して共通に設定するアナログゲイン、シャッタースピード、ＲＧＢゲイン等の撮像パラメータを求める処理を行うのであるが、撮像パラメータを求めるためには、ディジタル信号処理部１１４Ｒが求めた２つの輝度情報（ＡＥ輝度情報、ＡＷＢ輝度情報）、ディジタル信号処理部１１４Ｌが求めた２つの輝度情報（ＡＥ輝度情報、ＡＷＢ輝度情報）の両方若しくは一方を用いる。しかし、両方を用いるのか、一方を用いるのかについては状況に応じる。
【００３５】
例えば、右目用撮像ユニット１１０Ｒだけにハイライトが撮像された場合や、右目用撮像ユニット１１０Ｒだけが手で覆われて遮光された場合などは、ディジタル信号処理部１１４Ｒ、１１４Ｌのそれぞれから出力されるＡＥ輝度情報、ＡＷＢ輝度情報が各撮像ユニットで大きく異なってしまう。
【００３６】
よって、このような場合には、ディジタル信号処理部１１４Ｒ、１１４Ｌから出力されるそれぞれの輝度情報が予め定められた規定範囲外であるかどうかに基づいて、ディジタル信号処理部１１４Ｌから出力された輝度情報のみを用いて撮像パラメータを求めるのか、ディジタル信号処理部１１４Ｒから出力された輝度情報のみを用いて撮像パラメータを求めるのか、それとも両方を用いて撮像パラメータを求めるのかを判断する。
【００３７】
図２Ｃは、ステップＳ２０４における処理の詳細を示すフローチャートである。
【００３８】
先ず、ＭＰＵ１３０は、ディジタル信号処理部１１４Ｒから取得した２つの輝度情報を参照して、それぞれが予め定められた規定範囲内の輝度値であるのかを判断すると共に、ディジタル信号処理部１１４Ｌから取得した２つの輝度情報を参照して、それぞれが予め定められた規定範囲内の輝度値であるのかを判断する（ステップＳ３０１）。
【００３９】
その結果、ディジタル信号処理部１１４Ｒから取得した輝度情報、ディジタル信号処理部１１４Ｌから取得した輝度情報が共に規定範囲内の輝度値を示すものであった場合には処理をステップＳ３０２に進め、撮像パラメータを求めるために、ディジタル信号処理部１１４Ｒが求めた輝度情報と、ディジタル信号処理部１１４Ｌが求めた輝度情報とを用いると決定する（ステップＳ３０２）。
【００４０】
また、ステップＳ３０１における判断処理の結果、ディジタル信号処理部１１４Ｒから取得した輝度情報は規定範囲内の輝度値を示すものの、ディジタル信号処理部１１４Ｌから取得した輝度情報が規定範囲内の輝度値を示すものではない場合には処理をステップＳ３０３を介してステップＳ３０４に進め、撮像パラメータを求めるために、ディジタル信号処理部１１４Ｒが求めた輝度情報のみを用いると決定する（ステップＳ３０４）。
【００４１】
また、ステップＳ３０１における判断処理の結果、ディジタル信号処理部１１４Ｌから取得した輝度情報は規定範囲内の輝度値を示すものの、ディジタル信号処理部１１４Ｒから取得した輝度情報が規定範囲内の輝度値を示すものではない場合には処理をステップＳ３０３，Ｓ３０５を介してステップＳ３０６に進め、撮像パラメータを求めるために、ディジタル信号処理部１１４Ｌが求めた輝度情報のみを用いると決定する（ステップＳ３０６）。
【００４２】
以上のようにして、撮像パラメータを求めるために用いる輝度情報を決定することができる。
【００４３】
図２Ｂに戻って次に、ＭＰＵ１３０は、ステップＳ２０４における処理の結果、用いると決定した輝度情報を用いてアナログゲイン、シャッタースピード、ＲＧＢゲイン等の撮像パラメータを求める（ステップＳ２０５）。
【００４４】
ここで、ディジタル信号処理部１１４Ｌから取得した輝度情報、ディジタル信号処理部１１４Ｒから取得した輝度情報の両方を用いて撮像パラメータを求めると決定した場合には、ＭＰＵ１３０は先ず、ディジタル信号処理部１１４Ｒが求めたＡＥエリア内の輝度情報と、ディジタル信号処理部１１４Ｌが求めたＡＥエリア内の輝度情報との平均値（平均ＡＥエリア輝度情報）を求めると共に、ディジタル信号処理部１１４Ｒが求めたＡＷＢエリア内の輝度情報と、ディジタル信号処理部１１４Ｌが求めたＡＷＢエリア内の輝度情報との平均値（平均ＡＷＢエリア輝度情報）を求める。そして、求めた平均ＡＥエリア輝度情報、平均ＡＷＢエリア輝度情報に基づいて、アナログゲイン、シャッタースピード、ＲＧＢゲイン等の撮像パラメータを求める。
【００４５】
尚、一般に、ＡＥエリア内の輝度情報、ＡＷＢエリア内の輝度情報を用いてこのような撮像パラメータを求める処理については周知の技術であるので、これに関する説明は省略する。本実施形態では撮像パラメータとして求めるのは、アナログゲイン、シャッタースピード、ＲＧＢゲインの３つとするが、これ以外のパラメータを求めるようにしても良い。
【００４６】
また、ディジタル信号処理部１１４Ｒ、ディジタル信号処理部１１４Ｌの何れかから取得した輝度情報を用いて撮像パラメータを求めると決定した場合には、ＭＰＵ１３０は決定した方のディジタル信号処理部から取得したＡＥエリア輝度情報、ＡＷＢエリア輝度情報に基づいて、アナログゲイン、シャッタースピード、ＲＧＢゲイン等の撮像パラメータを求める。
【００４７】
これにより、一方の撮像ユニットから得られた画像全体が、他方の撮像ユニットから得られた画像全体よりも輝度値が全体的に暗い場合であるなど、それぞれの撮像ユニットから得た画像が大きく異なる場合であっても、それぞれの撮像ユニットに共通の撮像パラメータを求めることができるので、この撮像パラメータを設定すれば、それぞれの撮像ユニットが撮像するそれぞれの画像の明るさや色味などの条件が異なってしまうことがなくなる。
【００４８】
そして、ＭＰＵ１３０は、求めたアナログゲインをＣＤＳ／ＡＧＣ部１１２Ｒ、１１２Ｌへそれぞれ設定すると共に、求めたシャッタースピードをＴＧ１１６Ｒ、１１６Ｌへそれぞれ設定し、更に、求めたＲＧＢゲインをディジタル信号処理部１１４Ｒ、１１４Ｌへそれぞれ設定する（ステップＳ２０６）。
【００４９】
以上の説明により、本実施形態によって、左右の撮像ユニットで一致するアナログゲイン、シャッタースピード、ＲＧＢゲインなどのカメラパラメータを決定することができるため、左右の撮像ユニットで明るさや色味などの条件が異なってしまうことがなく、良好な画像撮影を行うことができる。
【００５０】
また、いずれかの撮像ユニットのみが手で覆われる、光源を撮影するなど、左右撮像ユニットの撮像画面の状態が著しく異なる場合であっても、左右の撮像ユニットで適切なカメラパラメータを用いて、良好な画像撮影を行うことができる。
【００５１】
［第２の実施形態］
本実施形態では、撮像パラメータを求めるために用いる輝度情報を決定するステップＳ２０４における処理として、第１の実施形態とは異なる別の処理を示す。
【００５２】
図２Ｄは、本実施形態に係るステップＳ２０４における処理の詳細を示すフローチャートである。
【００５３】
先ず、ＭＰＵ１３０は、ディジタル信号処理部１１４Ｒが求めたＡＥエリア内の輝度情報が示す輝度値と、ディジタル信号処理部１１４Ｌが求めたＡＥエリア内の輝度情報が示す輝度値との差分値（ＡＥ差分値）を求めると共に、ディジタル信号処理部１１４Ｒが求めたＡＷＢエリア内の輝度情報が示す輝度値と、ディジタル信号処理部１１４Ｌが求めたＡＷＢエリア内の輝度情報が示す輝度値との差分値（ＡＷＢ差分値）を求め、それぞれの差分値が規定範囲内のものであるのか否かを判断する（ステップＳ４０１）。
【００５４】
その結果、ＡＥ差分値、ＡＷＢ差分値が共に規定範囲内であった場合には処理をステップＳ４０２に進め、撮像パラメータを求めるために、ディジタル信号処理部１１４Ｒが求めた輝度情報と、ディジタル信号処理部１１４Ｌが求めた輝度情報とを用いると決定する（ステップＳ４０２）。
【００５５】
また、ＡＥ差分値、ＡＷＢ差分値が共に規定範囲内ではない場合には処理をステップＳ４０３に進め、ディジタル信号処理部１１４Ｒから取得した輝度情報の方がディジタル信号処理部１１４Ｌから取得した輝度情報よりも、予め定めた基準輝度情報に近い輝度値であるのか否かを判断し（ステップＳ４０３）、ディジタル信号処理部１１４Ｒから取得した輝度情報の方がディジタル信号処理部１１４Ｌから取得した輝度情報よりも、予め定めた基準輝度情報に近い輝度値である場合には処理をステップＳ４０４に進め、撮像パラメータを求めるために、ディジタル信号処理部１１４Ｒが求めた輝度情報のみを用いると決定する（ステップＳ４０４）。
【００５６】
一方、ディジタル信号処理部１１４Ｌから取得した輝度情報の方がディジタル信号処理部１１４Ｒから取得した輝度情報よりも、予め定めた基準輝度情報に近い輝度値である場合には処理をステップＳ４０５に進め、撮像パラメータを求めるために、ディジタル信号処理部１１４Ｌが求めた輝度情報のみを用いると決定する（ステップＳ４０４）。
【００５７】
以上のようにして、撮像パラメータを求めるために用いる輝度情報を決定することができる。
【００５８】
このように、撮像パラメータを求めるために用いる輝度情報を決定するための処理については様々なものが考えられるが、このほかにもたとえは以下のようなものが考えられる。例えば、一方の撮像ユニットから得られる輝度情報だけが規定範囲外である時間が所定時間（例えば５分）以上続くような場合、左右撮像ユニットから出力される輝度情報の差分が規定範囲外である時間が所定時間（例えば５分）以上続くような場合には、ＭＰＵ１３０は警告を報知するよう指示する。例えば、警告文をビデオシースルーＨＭＤが有する表示画面上に表示するようにしても良いし、音を発することのできる画像処理ユニット１４０に対して警告音を発するよう指示しても良い。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係るビデオシースルーＨＭＤ（頭部装着型表示装置）において撮像処理を行う撮像システム部のハードウェア構成を示すブロック図である。
【図２Ａ】撮像システム部１００による１フレーム分の外界の画像撮像処理のフローチャートである。
【図２Ｂ】左目用撮像ユニット１１０Ｌ、右目用撮像ユニット１１０Ｒに対して行うＡＥ（自動露光処理）、ＡＷＢ（自動ホワイトバランス処理）のフローチャートである。
【図２Ｃ】ステップＳ２０４における処理の詳細を示すフローチャートである。
【図２Ｄ】本発明の第２の実施形態に係るステップＳ２０４における処理の詳細を示すフローチャートである。
【図３】一般的なビデオシースルーＨＭＤの概略構成を示す図である。
【図４】ビデオシースルーＨＭＤ５０１を装着したときの外観図である。
【図５】ビデオシースルーＨＭＤ５００の主要なハードウェア構成を示すブロック図である。
【図１】
2006295506.tif 000003
【図２Ａ】
2006295506.tif 000004
【図２Ｂ】
2006295506.tif 000005
【図２Ｃ】
2006295506.tif 000006
【図２Ｄ】
2006295506.tif 000007
【図３】
2006295506.tif 000008
【図４】
2006295506.tif 000009
【図５】
2006295506.tif 000010