(57)【特許請求の範囲】
【請求項１】
第１の撮像装置によって撮像された第１の撮像画像と前記第１の撮像装置と異なる第２の撮像装置によって撮像された第２の撮像画像と、のそれぞれにおける色温度を取得する取得手段と、
前記取得手段が取得した色温度の一部もしくは全部の平均色温度を、前記第１の撮像装置と前記第２の撮像装置とで共通の色温度として決定する決定手段と、
前記決定手段が決定した色温度に基づいて、前記第１の撮像画像及び前記第２の撮像画像におけるカラーバランス調整を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、
前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度のうち最大の色温度と最小の色温度との差分を求め、該差分が許容範囲内であるかに基づいて、前記共通の色温度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段による前記共通の色温度の決定の処理は、前記差分が許容範囲内である場合と許容範囲内でない場合とで異なることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記差分が許容範囲内である場合には、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度の一部もしくは全部の平均色温度を前記共通の色温度として決定し、
前記差分が許容範囲内でない場合には、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度の一部もしくは全部の色温度のうち標準色温度として予め設定した色温度に最も近い色温度を前記共通の色温度として決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記差分が許容範囲内である場合には、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度の一部もしくは全部の平均色温度を前記共通の色温度として決定し、
前記差分が許容範囲内でない場合には、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度から求めた１つの色温度を前記共通の色温度として決定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度から求めた１つの色温度は、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度の統計量に基づいて決まる色温度であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記差分が許容範囲内である場合には、前記取得手段が取得した色温度の一部もしくは全部の平均色温度を前記共通の色温度として決定し、
前記差分が許容範囲内でない場合には、前記第１の撮像装置と前記第２の撮像装置のうち予め決定された撮像装置によって撮像された撮像画像について前記取得手段が取得した色温度を前記共通の色温度として決定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度の一部の平均色温度は、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて前記取得手段が取得した色温度から該色温度の平均色温度から差が最も大きい色温度を除いた残りの色温度の平均色温度であることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記取得手段は、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて、該撮像画像の色成分ごとの平均画素値を求め、該平均画素値を用いて該撮像画像における色温度を取得することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記取得手段は、前記第１の撮像画像及び前記第２の撮像画像のそれぞれについて、該撮像画像のＲ成分の平均画素値、Ｂ成分の平均画素値を求め、（Ｂ成分の平均画素値）／（Ｒ成分の平均画素値）に対応する色温度を取得することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、前記第１の撮像装置と前記第２の撮像装置と表示装置とを有する頭部装着型表示装置であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
更に、前記第１の撮像装置の位置姿勢を導出する導出手段と、
前記導出された前記第１の撮像装置の位置姿勢に基づいて生成される仮想物体を前記第１の撮像画像と合成する合成手段を備えることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記導出手段は、前記第２の撮像画像に基づいて前記第１の撮像装置の位置姿勢を導出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１の撮像装置のセンサの種類は、前記第２の撮像装置のセンサの種類と異なることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記第１の撮像装置のセンサはローリングシャッター方式であり、前記第２の撮像装置のセンサはグローバルシャッター方式であることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
第１の撮像装置によって撮像された第１の撮像画像と前記第１の撮像装置と異なる第２の撮像装置によって撮像された第２の撮像画像と、のそれぞれにおける色温度を取得し、
前記取得した色温度の一部もしくは全部の平均色温度を、前記第１の撮像装置と前記第２の撮像装置とで共通の色温度として決定し、
前記決定した色温度に基づいて、前記第１の撮像画像及び前記第２の撮像画像におけるカラーバランス調整を制御する
ことを特徴とする画像処理方法。
【請求項１７】
コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラ間におけるカラーバランス調整技術に関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者が観察できる技術が知られている。
【０００３】
特許文献１には、ビデオシースルー型ＨＭＤを用いたＭＲシステムとして、ＨＭＤ使用者の視界領域を撮像する第一のカメラと、ＨＭＤの位置姿勢を検出するための画像を撮像する第二のカメラと、を備えた、ＨＭＤを用いる技術が開示されている。
【０００４】
特許文献２には、ビデオシースルー型ＨＭＤを用いたＭＲシステムとして、右目用と左目用の複数のカメラ間で、撮像した輝度情報から左右の撮像画像で明るさや色味を一致させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０５７１１号公報
【特許文献２】特許第４５２２３０７号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献に開示されている技術には以下のような問題点があった。
【０００７】
特許文献２には、複数のカメラで撮像した複数の異なる輝度情報から輝度の平均化処理などによって得られる共通の輝度値を使って統一的なＷＢ（ホワイトバランス）補正制御を行うことが開示されている。しかし、特許文献２に開示されている技術では、複数のカメラ間で特性や設定等が許容範囲を超えるような場合には、該複数のカメラ間で色味があった統一的なＷＢ補正制御を行うことができなかった。
【０００８】
特許文献１についても同様で、特許文献１に開示されているような異なる種類のカメラ（撮像素子）を備えた構成では、異なる撮像素子であったり、異なる用途のため用途に応じた輝度調整処理がなされていたり、などの理由で複数カメラ間で共通の輝度値を持つことができず、統一的なＷＢ補正制御ができないという問題がある。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、複数のカメラ間で色味があった統一的なカラーバランス調整を行うための技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の一様態は、第１の撮像装置によって撮像された第１の撮像画像と前記第１の撮像装置と異なる第２の撮像装置によって撮像された第２の撮像画像と、のそれぞれにおける色温度を取得する取得手段と、
前記取得手段が取得した色温度の一部もしくは全部の平均色温度を、前記第１の撮像装置と前記第２の撮像装置とで共通の色温度として決定する決定手段と、
前記決定手段が決定した色温度に基づいて、前記第１の撮像画像及び前記第２の撮像画像におけるカラーバランス調整を制御する制御手段と
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、複数のカメラ間で色味があった統一的なカラーバランス調整を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】頭部装着型表示装置２００が行う処理のフローチャート。
【図２】ＭＲシステムの構成例を示す図。
【図３】頭部装着型表示装置２００内の主要な構成例を示す図。
【図４】頭部装着型表示装置２００の構成を説明する図。
【図５】画像処理部１１３のより詳細な構成例を示すブロック図。
【図６】画像中の自然特徴及びその特徴点を示す図。
【図７】ステップＳ１０１〜Ｓ１０４、Ｓ１６１〜Ｓ１６４の処理のフローチャート。
【図８】色温度検出テーブルの構成例を示す図。
【図９】色温度における色味を示す図。
【図１０】ステップＳ１９０で参照するテーブルの構成例を示す図。
【図１１】第１の実施形態の変形例１における頭部装着型表示装置２００の構成例を示す図。
【図１２】第２の実施形態における頭部装着型表示装置２００の構成例を示す図。
【図１３】頭部装着型表示装置２００が行う処理のフローチャート。
【図１４】色温度の検出精度がばらつく現象と優先カメラを決定する方法を説明する図。
【図１５】図１４（ｂ）に色温度検出テーブル１５０１、１５０２を重ねたものである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
以下では、次のような画像処理装置の一例について説明する。この画像処理装置は、第１の撮像装置によって撮像された第１の撮像画像と第１の撮像装置と異なる第２の撮像装置によって撮像された第２の撮像画像とのそれぞれにおける色温度を取得する。そして、この画像処理装置は、該取得した色温度に基づいて、第１の撮像装置と第２の撮像装置とで共通の色温度を決定し、該決定した色温度に基づいて、第１の撮像画像及び第２の撮像画像におけるカラーバランス調整を制御する。この一例では、画像処理装置が、ＨＭＤ等の頭部装着型表示装置である場合について説明するが、このような構成を有する画像処理装置の適用先は頭部装着型表示装置に限るものではなく、例えば、１つの画面上に、ストライプ状に左眼用と右眼用の画像を表示する立体表示装置に適用しても構わない。
【００１５】
先ず、本実施形態に係る頭部装着型表示装置を含むＭＲシステムの構成例について、図２を用いて説明する。図２に示す如くＭＲシステムは、ユーザの眼前に現実空間と仮想空間（仮想物体）とが融合した空間である複合現実空間の画像を提供する頭部装着型表示装置２００、複合現実空間の画像を生成して頭部装着型表示装置２００に提供するコンピュータ装置２５０、頭部装着型表示装置２００とコンピュータ装置２５０とを繋ぐケーブル２４０を有する。なお、ケーブル２４０は有線の通信経路として示しているが、代わりに無線の通信経路を用いても構わない。
【００１６】
次に、頭部装着型表示装置２００の構成についてより詳細に説明する。頭部装着型表示装置２００は、頭部装着型表示装置２００の位置姿勢を求めるために使用される画像を撮像するサブカメラ（右目用サブカメラ２１Ｒ及び左目用サブカメラ２１Ｌ）、複合現実空間の画像を生成する際に仮想空間の画像と合成する現実空間の画像を撮像するメインカメラ（右目用メインカメラ２０Ｒ及び左目用メインカメラ２０Ｌ）を有する、所謂ビデオシースルー型の頭部装着型表示装置である。
【００１７】
サブカメラは、現実空間中に配されているマーカ２１０を撮像するためのカメラであり、コンピュータ装置２５０は、サブカメラにより撮像されたマーカ２１０の画像を用いて周知の処理を実行することで頭部装着型表示装置２００の位置姿勢を計算することができる。より厳密には、左目用サブカメラ２１Ｌによる撮像画像を用いて左目用メインカメラ２０Ｌの位置姿勢を計算すると共に、右目用サブカメラ２１Ｒによる撮像画像を用いて右目用メインカメラ２０Ｒの位置姿勢を計算（導出）する。そしてコンピュータ装置２５０は、メインカメラの位置姿勢に基づいて該メインカメラの位置姿勢から見た仮想空間の画像を生成し、該生成した仮想空間の画像とメインカメラによる現実空間の撮像画像と合成することで、複合現実空間の画像を生成する。より厳密には、左目用メインカメラ２０Ｌの位置姿勢に基づいて該左目用メインカメラ２０Ｌの位置姿勢から見た仮想空間の画像を生成し、該生成した仮想空間の画像と左目用メインカメラ２０Ｌによる現実空間の撮像画像と合成することで、ユーザの左目に対して提供する複合現実空間の画像を生成する。また、右目用メインカメラ２０Ｒの位置姿勢に基づいて該右目用メインカメラ２０Ｒの位置姿勢から見た仮想空間の画像を生成し、該生成した仮想空間の画像と右目用メインカメラ２０Ｒによる現実空間の撮像画像と合成することで、ユーザの右目に対して提供する複合現実空間の画像を生成する。そしてコンピュータ装置２５０は、該生成した複合現実空間の画像（右目用の複合現実空間の画像及び左目用の複合現実空間の画像）を、頭部装着型表示装置２００に対して送出する。
【００１８】
このように、メインカメラとサブカメラとは、その用途が異なる。図２に示す如く、メインカメラは、ユーザに提供する現実空間の画像を撮像する（ユーザの視界領域を撮像する）ことを目的としているため、使用する撮像センサは左右方向の画角が広くてノイズが少ない、色域が広いなどの特徴を持ったタイプ（仮にＸタイプと定義する）の撮像センサを使用する。本実施形態では、Ｘタイプとして、ローリングシャッター方式のタイプを用いる。一方、サブカメラは、位置姿勢を求めるために使用される画像を撮像することを目的としているため、マーカがある上下方向の画角が広くて、像流れと呼ばれるマーカの動体歪みが発生しないグローバルシャッター方式のタイプ（仮にＹタイプと定義する）の撮像センサを使用する。
【００１９】
なお、サブカメラの数は、撮像範囲を広げてマーカの撮像可能性を高めるために２つ以上であっても良いし、検出精度は低くなるがコストを下げるため、または逆により左右方向にも画角の広い高性能カメラであれば１つだけでも良い。
【００２０】
頭部装着型表示装置２００内の主要な構成例を図３に示す。右目用、左目用とで対の構成となるため、図３では片方のみ図示している。頭部装着型表示装置２００は、右目用、左目用の小型の液晶ディスプレイなどからなる表示素子１２１と、それらに表示された右目用、左目用の画像を拡大表示するための自由曲面プリズムなどの表示光学系３２０と、頭部装着型表示装置２００装着者の瞳３００の位置から観察される被写体と略一致する被写体を撮像するためのメインカメラ２０と、瞳３００の位置とメインカメラ２０の位置を略一致させるための撮像光学系３１０と、を有する。不図示のサブカメラは、頭部装着型表示装置２００装着者の顔中心に対してメインカメラ２０より外側に配置している。
【００２１】
次に、頭部装着型表示装置２００のハードウェア構成例について、図４（ａ）のブロック図を用いて説明する。
【００２２】
右目メイン撮像ユニット１００Ｒは、右目用メインカメラ２０Ｒ、右目用メインカメラ２０Ｒの光学系、右目用メインカメラ２０Ｒ用の様々な処理回路、を含む撮像ユニットである。
【００２３】
左目メイン撮像ユニット１００Ｌは、左目用メインカメラ２０Ｌ、左目用メインカメラ２０Ｌの光学系、左目用メインカメラ２０Ｌ用の様々な処理回路、を含む撮像ユニットである。
【００２４】
右サブ撮像ユニット１１０Ｒは、右目用サブカメラ２１Ｒ、右目用サブカメラ２１Ｒの光学系、右目用サブカメラ２１Ｒ用の様々な処理回路、を含む撮像ユニットである。
【００２５】
左サブ撮像ユニット１１０Ｌは、左目用サブカメラ２１Ｌ、左目用サブカメラ２１Ｌの光学系、左目用サブカメラ２１Ｌ用の様々な処理回路、を含む撮像ユニットである。
【００２６】
右目用表示ユニット１２０Ｒは、頭部装着型表示装置２００を装着したユーザの右目の眼前に位置するように頭部装着型表示装置２００に取り付けられたものであり、コンピュータ装置２５０側で生成された右目用の複合現実空間の画像を表示するものである。
【００２７】
左目用表示ユニット１２０Ｌは、頭部装着型表示装置２００を装着したユーザの左目の眼前に位置するように頭部装着型表示装置２００に取り付けられたものであり、コンピュータ装置２５０側で生成された左目用の複合現実空間の画像を表示するものである。
【００２８】
ＭＰＵ１３０は、頭部装着型表示装置２００内のメモリ１３１に格納されているコンピュータプログラムやデータを用いて処理を実行することで、バス１９０に接続されている上記の各機能部の動作制御を行うと共に、頭部装着型表示装置２００全体の動作制御を行う。
【００２９】
メモリ１３１は、ＭＰＵ１３０が行うものとして後述する各処理をＭＰＵ１３０に実行させるためのコンピュータプログラムやデータ、以下の説明において既知の情報として説明する情報、を格納するためのメモリ、ＭＰＵ１３０が各種の処理を実行する際に用いるワークエリアを有するメモリ、等、様々なメモリを含むものである。
【００３０】
右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌ、のそれぞれに適用可能な撮像ユニットの構成例を図４（ｂ）に示す。
【００３１】
撮像素子１１１はＣＣＤイメージセンサ等、外界の光をアナログ電気信号に変換して出力するものであり、ＴＧ（タイミングジェネレータ）１１５、ＴＧ１１５からの信号を受けて垂直方向の信号を生成するＶ−Ｄｒ（Ｖドライバ）１１６、からの信号に応じて駆動される。
【００３２】
Ａ／Ｄ変換部１１２は、撮像素子１１１から出力されたアナログ電気信号をディジタル電気信号に変換する。
【００３３】
画像処理部１１３は、Ａ／Ｄ変換部１１２により変換されたディジタル電気信号に対して様々な画像処理を施すことで画像処理済みの撮像画像を生成して出力する。この画像処理には、後述するカラーバランスの調整処理も含まれている。
【００３４】
撮像画像出力部１１４は、画像処理部１１３により画像処理が施された撮像画像を適当な画像フォーマットでもってコンピュータ装置２５０に対して出力するものである。なお、撮像画像出力部１１４による出力先はコンピュータ装置２５０に限るものではない。
【００３５】
右目用表示ユニット１２０Ｒ、左目用表示ユニット１２０Ｌ、のそれぞれに適用可能な表示ユニットの構成例を図４（ｃ）に示す。
【００３６】
表示画像入力部１２３は、コンピュータ装置２５０から出力された複合現実空間の画像を受け、該受けた複合現実空間の画像を表示駆動部１２２に転送する。
【００３７】
表示駆動部１２２は、表示素子１２１を駆動して、表示画像入力部１２３から転送された複合現実空間の画像を表示させる。
【００３８】
表示素子１２１は、ｐ−ＳｉＴＦＴやＬＣＯＳなどの表示素子であって、表示駆動部１２２によって駆動され、表示画像入力部１２３がコンピュータ装置２５０から受けた複合現実空間の画像を表示する。
【００３９】
なお、上記の通り、コンピュータ装置２５０は、サブカメラによる撮像画像を用いてメインカメラの位置姿勢を算出するのであるが、より詳しくは、撮像画像から画像解析によりマーカを検出し、該検出したマーカの大きさや形、塗りつぶしのパターンなどの情報を取得する。そしてコンピュータ装置２５０は、マーカ検出により取得したこれらの情報から、マーカと頭部装着型表示装置２００との間の相対的な位置関係、頭部装着型表示装置２００を装着しているユーザがマーカを観察している方向、に関する三次元位置姿勢情報を算出する。このように、複数のマーカを使用し、指標配置情報として各マーカの位置関係をあらかじめ定義しておくことによって、それらの相対的位置関係から、マーカを観察している方向を算出することが可能となる。したがって、内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、カラーマーカや、ＬＥＤなどの発光素子のような方向性の情報を持たない一次元の情報を持つマーカを利用することも可能となる。また、図２で示すようなマーカ２１０ではなく、図６のように例えばドア６００、テーブル６０５、窓６１０の輪郭線のような画像中の自然特徴や、画像中の特定の色などを抽出し、それらを用いて三次元位置姿勢情報を算出することも可能である。６５０、６５５は「×」マークでドア６００の特徴点の一部を示している。同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の三次元位置姿勢情報を生成できる。
【００４０】
以上の構成により、観察者は頭部装着型表示装置２００を自身の頭部に装着することで、現実空間と仮想空間とがリアルタイムにシームレスに融合した複合現実空間を体験することができる。
【００４１】
次に、画像処理部１１３のより詳細な構成例を図５のブロック図を用いて説明する。
【００４２】
色補間部５０１は、Ａ／Ｄ変換部１１２から出力されたディジタル電気信号が表す画像（各画素がＲ，Ｇ，Ｂの何れかであって、例えばベイヤーパターンの画像）において隣接する画素（隣接する画素は互いに色が異なる画素）から補間法などによって、撮像画像を構成する各画素におけるＲ，Ｇ，Ｂのそれぞれの画素値を求める（復元する）。
【００４３】
ＷＢ検波部５０５は、色補間部５０１により生成された撮像画像全体若しくはその部分領域（例えば撮像画像の中央位置を中心とする規定サイズの部分領域）を対象領域とし、該対象領域内の平均画素値（Ｒの平均画素値、Ｇの平均画素値、Ｂの平均画素値）を求める。対象領域内のＲの平均画素値は、対象領域に含まれている全ての画素のＲ成分の画素値の合計値を求め、該合計値を対象領域に含まれている画素の数で割った結果である。これは、Ｇの平均画素値、Ｂの平均画素値を求める場合も同様である。そしてＷＢ検波部５０５は、対象領域について求めた、Ｒ，Ｇ，Ｂのそれぞれの平均画素値をＭＰＵ１３０に対して送出する。
【００４４】
ＷＢ補正部５０２は、ＭＰＵ１３０がＲの平均画素値及びＢの平均画素値に基づいて決定した、Ｒ用のＷＢ補正値、Ｇ用のＷＢ補正値、Ｂ用のＷＢ補正値、を受け、色補間部５０１により生成された撮像画像に対して、これらのＷＢ補正値に応じたゲイン補正等の処理を施すことで、無彩色のカラーバランスを調整し、これにより撮像画像に対するＷＢ補正を実現する。
【００４５】
色補正部５０３は、ＷＢ補正部５０２によりカラーバランスが調整された撮像画像の色味を補正し、ガンマ補正部５０４は、色補正部５０３により色味が補正された撮像画像の明るさの階調を補正する。
【００４６】
次に、頭部装着型表示装置２００（主に画像処理部１１３及びＭＰＵ１３０）が行う処理について、同処理のフローチャートを示す図１を用いて説明する。
【００４７】
＜ステップＳ１０１＞
右目メイン撮像ユニット１００Ｒ及びＭＰＵ１３０は図７（ａ）のフローチャートに従った処理を行うことで、該右目メイン撮像ユニット１００Ｒによる撮像画像全体若しくはその部分領域における色温度を取得する。
【００４８】
＜ステップＳ１０２＞
左目メイン撮像ユニット１００Ｌ及びＭＰＵ１３０は図７（ａ）のフローチャートに従った処理を行うことで、該左目メイン撮像ユニット１００Ｌによる撮像画像全体若しくはその部分領域における色温度を取得する。
【００４９】
＜ステップＳ１０３＞
右サブ撮像ユニット１１０Ｒ及びＭＰＵ１３０は図７（ａ）のフローチャートに従った処理を行うことで、該右サブ撮像ユニット１１０Ｒによる撮像画像全体若しくはその部分領域における色温度を取得する。
【００５０】
＜ステップＳ１０４＞
左サブ撮像ユニット１１０Ｌ及びＭＰＵ１３０は図７（ａ）のフローチャートに従った処理を行うことで、該左サブ撮像ユニット１１０Ｌによる撮像画像全体若しくはその部分領域における色温度を取得する。
【００５１】
以下では、ステップＳ１０１において図７（ａ）のフローチャートに従った処理を実行した場合について説明する。この場合、右目メイン撮像ユニット１００Ｒ内の機能部及びＭＰＵ１３０によって図７（ａ）のフローチャートに従った処理が実行される。なお、ステップＳ１０２において図７（ａ）のフローチャートに従った処理を実行する場合、左目メイン撮像ユニット１００Ｌ内の機能部及びＭＰＵ１３０によって図７（ａ）のフローチャートに従った処理が実行されることになる。また、ステップＳ１０３において図７（ａ）のフローチャートに従った処理を実行する場合、右サブ撮像ユニット１１０Ｒ内の機能部及びＭＰＵ１３０によって図７（ａ）のフローチャートに従った処理が実行されることになる。また、ステップＳ１０４において図７（ａ）のフローチャートに従った処理を実行する場合、左サブ撮像ユニット１１０Ｌ内の機能部及びＭＰＵ１３０によって図７（ａ）のフローチャートに従った処理が実行されることになる。
【００５２】
＜ステップＳ１８０＞
ＷＢ検波部５０５は、色補間部５０１により生成された撮像画像全体若しくはその部分領域を対象領域とし、該対象領域内の平均画素値（Ｒの平均画素値、Ｇの平均画素値、Ｂの平均画素値）を求める。そしてＷＢ検波部５０５は、対象領域について求めた、Ｒ，Ｇ，Ｂのそれぞれの平均画素値をＭＰＵ１３０に対して送出する。
【００５３】
＜ステップＳ１８１＞
ＭＰＵ１３０は、ＷＢ検波部５０５から受けたＢの平均画素値及びＲの平均画素値を用いて、ＷＢ比として（Ｂの平均画素値／Ｒの平均画素値）を求める。
【００５４】
＜ステップＳ１８２＞
ＭＰＵ１３０は、撮像ユニット毎に予め作成されている色温度検出テーブルを用いて、ステップＳ１８１で求めたＷＢ比に対応する色温度を取得する。色温度検出テーブルの構成例を図８に示す。図８において横軸はＷＢ比、縦軸は色温度を示している。８００は、メインカメラで使用している撮像センサ（Ｘタイプ）に対応した、ＷＢ比と色温度との対応関係を表した色温度検出テーブルを表しており、８０１は、サブカメラで使用している撮像センサ（Ｙタイプ）に対応した、ＷＢ比と色温度との対応関係を表した色温度検出テーブルを表している。色温度変換テーブルについては、撮像センサの同タイプの左右の個体差に比べ、撮像センサの各タイプによる特性差の方が大きいため、左右の個体差は無視できるとしてタイプ別による色温度検出テーブルのみが登録されているものとした。つまり、ステップＳ１０１とステップＳ１０２とでは共通の色温度検出テーブル８００を使ってそれぞれ色温度を取得し、ステップＳ１０３とステップＳ１０４とでは共通の色温度検出テーブル８０１を使ってそれぞれ色温度を取得する。
【００５５】
このように、ステップＳ１０１〜Ｓ１０４において図７（ａ）のフローチャートに従った処理を実行することで、右目メイン撮像ユニット１００Ｒによる撮像画像若しくはその部分領域における色温度Ｔ１、左目メイン撮像ユニット１００Ｌによる撮像画像若しくはその部分領域における色温度Ｔ２、右サブ撮像ユニット１１０Ｒによる撮像画像若しくはその部分領域における色温度Ｔ３、左サブ撮像ユニット１１０Ｌによる撮像画像若しくはその部分領域における色温度Ｔ４、を取得することができる。
【００５６】
＜ステップＳ１１０＞
ＭＰＵ１３０は、Ｔ１，Ｔ２，Ｔ３，Ｔ４間で最大の差（色温度差）ΔＴを求める。これは、先ず、Ｔｍａｘ＝ＭＡＸ（Ｔ１，Ｔ２，Ｔ３，Ｔ４）、Ｔｍｉｎ＝ＭＩＮ（Ｔ１，Ｔ２，Ｔ３，Ｔ４）を求める。ここで、ＭＡＸ（ｘ１，ｘ２，…，ｘｎ）はｘ１〜ｘｎのうち最大の値を返す関数、ＭＩＮ（ｘ１，ｘ２，…，ｘｎ）はｘ１〜ｘｎのうち最小の値を返す関数である。そしてΔＴ＝Ｔｍａｘ−Ｔｍｉｎを計算する。
【００５７】
例えば、Ｔ１＝３５００Ｋ、Ｔ２＝３５５０Ｋ、Ｔ３＝３６５０Ｋ、Ｔ４＝３９００Ｋである場合（色温度の単位Ｋはケルビンのことである）、色温度Ｔｍａｘ＝ＭＡＸ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）＝３９００Ｋ、色温度Ｔｍｉｎ＝ＭＩＮ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）＝３５００Ｋ、となるので、色温度差ΔＴ＝４００Ｋとなる。
【００５８】
なお、このようにそれぞれの撮像ユニットによる撮像画像から取得した色温度がばらつく原因について説明する。まず、図２に示したように、撮像ユニット（２０Ｒ，２０Ｌ，２１Ｒ，２１Ｌ）の取り付け位置が異なることによって環境光の光線入力が異なることで、撮像ユニット間で実際の色温度に差が発生する場合がある。特にサブカメラは、メインカメラより左右外側に配置したり、更に上下方向にも画角が広かったり、画像中心の向きも上下方向にずらしたりなどしてメインカメラとは異なる環境光を集光してしまうことがある。これは、天井ライトによる光や、天井ライトによる光が壁に反射した間接照明光、または窓から入ってくる太陽光など、様々な環境光が混じっていて場所や向きによって撮像ユニットに入ってくる光が異なる場合があるためである。また、色温度がばらつく別の原因としては、撮像ユニットにおけるセンサの個体差もある。
【００５９】
＜ステップＳ１２０＞
ＭＰＵ１３０は、ステップＳ１１０で求めた色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内（許容範囲内）であるか否かを判断する。例えば、色温度差ΔＴの絶対値が許容範囲ΔＴｅｒｒｏｒ以下であるか否かを判断する。
【００６０】
許容範囲ΔＴｅｒｒｏｒは、例えば、５００Ｋなどという値である。この許容範囲ΔＴｅｒｒｏｒの値は、撮像ユニットにおける撮像センサの個体差、撮像ユニットの取り付け位置による環境光の光線入り込み具合などによって生じる検出誤差から予め設定しておくものである。なお、この許容範囲ΔＴｅｒｒｏｒの値は、固定値に限るものではなく、全ての撮像ユニットの平均色温度か、またはある特定の撮像ユニットの色温度に応じて許容される誤差が異なるとして変動値であっても構わない。
【００６１】
この判断の結果、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内である場合には、処理はステップＳ１３０に進み、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内ではない場合には、処理はステップＳ１４０に進む。
【００６２】
＜ステップＳ１３０＞
ＭＰＵ１３０は、Ｔ１，Ｔ２，Ｔ３，Ｔ４の平均色温度Ｔａｖｅを、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度として決定する。平均色温度Ｔａｖｅは以下の式に従って計算することができる。
【００６３】
Ｔａｖｅ＝ＡＶＥ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）
ここで、ＡＶＥ（ｘ１，ｘ２，…，ｘｎ）はｘ１〜ｘｎの平均値を返す関数である。例えば、Ｔ１＝３５００Ｋ、Ｔ２＝３５５０Ｋ、Ｔ３＝３６５０Ｋ、Ｔ４＝３９００Ｋである場合、平均色温度Ｔａｖｅ＝３６５０Ｋとなる。
【００６４】
＜ステップＳ１４０＞
ＭＰＵ１３０は、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒを超えてしまい、全撮像ユニットの色温度を同等に扱うのが難しいとして、Ｔ１，Ｔ２，Ｔ３，Ｔ４のうち規定の基準に従って１つを、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度として選択する。本実施形態では、標準色温度を予め決めておき、Ｔ１，Ｔ２，Ｔ３，Ｔ４のうち標準色温度に最も近い色温度を、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度として選択する。例えば、標準光源がＤ５５として標準色温度を５５００Ｋとし、Ｔ１＝３５００Ｋ、Ｔ２＝３５５０Ｋ、Ｔ３＝３６５０Ｋ、Ｔ４＝３９００Ｋである場合、Ｔ１，Ｔ２，Ｔ３，Ｔ４のうち標準色温度に最も近い色温度はＴ４（３９００Ｋ）であるため、Ｔ４が、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度として選択される。
【００６５】
ここで、標準色温度に最も近い色温度を選択する理由について説明する。まず、標準環境光を設ける理由は、複数ある色温度の中でどの色温度でもＷＢ精度を最高に保つ設計が難しいため、頭部装着型表示装置２００を使用する時の環境光でよく使われるであろう色温度を設定し、その色温度でＷＢ精度が最も高くなる設計をするためである。そして、この標準色温度５５００Ｋの時のＷＢ補正した時のカラーバランスが設計上の基準となるため、どのような色温度の環境でもＷＢ補正後この標準色温度５５００Ｋの時のＷＢ具合に全て近づけることを意味する。
【００６６】
例えば、Ｔ１＝３５００Ｋ、Ｔ２＝３５５０Ｋ、Ｔ３＝３６５０Ｋ、Ｔ４＝３９００Ｋであるとすると、何れの色温度も標準色温度５５００Ｋより暖色系の値が出ており、ステップＳ１３０で算出した平均色温度Ｔａｖｅ＝３６５０Ｋからも赤よりの黄色であることがわかる。図９に色温度における色味を図示した。ここで、平均色温度Ｔａｖｅ＝３６５０Ｋが実際の環境光として正しい値であれば、ＷＢ補正後は、狙い通り標準色温度５５００Ｋの時のＷＢ具合にぴったりと一致する。しかし、もし検出した平均色温度Ｔａｖｅ＝３６５０Ｋが実際の環境光より赤よりにズレた値であった場合、これでＷＢ補正すると過補正したことになり、結果、寒色系の青系にズレたＷＢ具合になってしまう。この時、実際の環境光は暖色系なのに、ＷＢ補正した画像が寒色系になってしまうと、人間の視覚特性としてその補正誤差が大きいと認識される問題が発生する。よって、このようなＷＢ補正の過補正を発生させないように、色温度差が大きい場合は標準色温度５５００Ｋに近い色温度を選択してＷＢ補正することで、標準色温度５５００Ｋの時のＷＢ具合に近く実際の環境光である暖色系側のずれた値とさせることができる。以上の理由により、ＷＢ補正において過補正して寒色系になる時より、標準色温度５５００Ｋの時のＷＢ具合のずれ量が例え大きくなっても実際の環境光である暖色系側であればその方が補正誤差が小さいと認識されるため、ステップＳ１４０ではこの効果を狙う処理となっている。なお、ステップＳ１４０の効果と理由を、検出色温度が暖色系である場合で説明したものの、逆に検出色温度が標準色温度５５００Ｋより高い寒色系の場合であっても、同様の理由で過補正による問題を回避することができる。
【００６７】
＜ステップＳ１５０＞
ＭＰＵ１３０は、ステップＳ１３０において決定された色温度若しくはステップＳ１４０において選択された色温度を、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度（共通色温度）として設定する。
【００６８】
ここで、全撮像ユニットで共通の色温度を設定して統一的なＷＢ補正する理由について説明する。前述したように、複数の撮像ユニットの色温度が異なる理由が、撮像ユニットの配置によって異なる環境光が検出されてしまったり、撮像センサの個体差などによる検出誤差の場合、もし共通の色温度を使用せず、それぞれの撮像ユニットにおいて検出された色温度でＷＢ補正してしまうと、各撮像ユニットの撮像画像で異なる色味になってしまう問題が発生する。特に、ＡＷＢと呼ばれる短い一定時間間隔で自動でＷＢ検出するようなＷＢ制御ではなく、ワンプッシュと呼ばれるユーザ任意のタイミングでＷＢ検出するような場合だと、頭部装着型表示装置２００を装着したユーザがＷＢ検出した場所から移動してしまうと、撮像ユニット間で色味が異なって大きな違和感を該ユーザに与える問題が発生してしまう。以上のような理由から、全撮像ユニットで共通の色温度を使用して統一的なＷＢ補正することが必要となる。また、全撮像ユニットで統一的なＷＢ補正するのに色温度を用いた理由は、撮像センサのタイプが異なるなど各撮像ユニットで輝度値の特性が大きく違っている場合に対応するためである。つまり、環境光の検波で撮像ユニット毎に特性が異なる輝度値から各々逆特性をかけて環境光の色温度を算出することで、この色温度が撮像ユニット間で共通で使用できる指標となる。
【００６９】
＜ステップＳ１６１＞
ＭＰＵ１３０は、図７（ｂ）のフローチャートに従った処理を行うことで、共通色温度を用いて、右目メイン撮像ユニット１００Ｒによる撮像画像に対するＷＢ補正で用いるＷＢ補正値を求め、該求めたＷＢ補正値を右目メイン撮像ユニット１００Ｒに対して送出する。
【００７０】
＜ステップＳ１６２＞
ＭＰＵ１３０は、図７（ｂ）のフローチャートに従った処理を行うことで、共通色温度を用いて、左目メイン撮像ユニット１００Ｌによる撮像画像に対するＷＢ補正で用いるＷＢ補正値を求め、該求めたＷＢ補正値を左目メイン撮像ユニット１００Ｌに対して送出する。
【００７１】
＜ステップＳ１６３＞
ＭＰＵ１３０は、図７（ｂ）のフローチャートに従った処理を行うことで、共通色温度を用いて、右サブ撮像ユニット１１０Ｒによる撮像画像に対するＷＢ補正で用いるＷＢ補正値を求め、該求めたＷＢ補正値を右サブ撮像ユニット１１０Ｒに対して送出する。
【００７２】
＜ステップＳ１６４＞
ＭＰＵ１３０は、図７（ｂ）のフローチャートに従った処理を行うことで、共通色温度を用いて、左サブ撮像ユニット１１０Ｌによる撮像画像に対するＷＢ補正で用いるＷＢ補正値を求め、該求めたＷＢ補正値を左サブ撮像ユニット１１０Ｌに対して送出する。
【００７３】
以下では、ステップＳ１６１において図７（ｂ）のフローチャートに従った処理を実行した場合について説明する。この場合、ＭＰＵ１３０は、右目メイン撮像ユニット１００Ｒ用のＷＢ補正値を求めて該右目メイン撮像ユニット１００Ｒに対して送出する。なお、ステップＳ１６２において図７（ｂ）のフローチャートに従った処理を実行する場合、ＭＰＵ１３０は、左目メイン撮像ユニット１００Ｌ用のＷＢ補正値を求めて該左目メイン撮像ユニット１００Ｌに対して送出する。また、ステップＳ１６３において図７（ｂ）のフローチャートに従った処理を実行する場合、ＭＰＵ１３０は、右サブ撮像ユニット１１０Ｒ用のＷＢ補正値を求めて該右サブ撮像ユニット１１０Ｒに対して送出する。また、ステップＳ１６４において図７（ｂ）のフローチャートに従った処理を実行する場合、ＭＰＵ１３０は、左サブ撮像ユニット１１０Ｌ用のＷＢ補正値を求めて該左サブ撮像ユニット１１０Ｌに対して送出する
＜ステップＳ１９０＞
ＭＰＵ１３０は、共通色温度から、Ｒ用のＷＢ補正値、Ｇ用のＷＢ補正値、Ｂ用のＷＢ補正値を求める。その際、ＭＰＵ１３０は、図１０に例示するテーブルを参照する。図１０において横軸は色温度を示しており、縦軸は補正ゲイン値（ＷＢ補正値）を示している。図１０（ａ）のテーブルは、メインカメラで使用している撮像センサ（Ｘタイプ）に対応したテーブルで、図１０（ｂ）のテーブルは、サブカメラで使用している撮像センサ（Ｙタイプ）に対応したテーブルである。然るに、ステップＳ１６１，Ｓ１６２で図７（ｂ）のフローチャートに従った処理を実行する場合は、図１０（ａ）のテーブルを参照することになり、ステップＳ１６３，Ｓ１６４で図７（ｂ）のフローチャートに従った処理を実行する場合は、図１０（ｂ）のテーブルを参照することになる。
【００７４】
図１０（ａ）、（ｂ）において、ＲＧＢの補正ゲイン値は、Ｇを基準として、横軸色温度に対するＲ／Ｇ（１０１０、１０５０）とＢ／Ｇ（１０２０、１０６０）となっている。然るに、例えば、色温度Ｔ＝３６５０Ｋの場合、撮像センサ（Ｘタイプ）での補正ゲイン値は、図１０（ａ）のテーブルより（Ｒ、Ｇ、Ｂ）＝（０．９２５２、１．０、１．９６３３）となり、撮像センサ（Ｙタイプ）での補正ゲイン値は、図１０（ｂ）のテーブルより（Ｒ、Ｇ、Ｂ）＝（０．７８５７、１．０、１．５６７８）と算出される。
【００７５】
このようにして、図１０（ａ）若しくは図１０（ｂ）のテーブルを参照して、共通色温度に対応するＲ／Ｇ，Ｂ／Ｇを特定し、Ｇ＝１．０としたときのＲ，Ｂの値を特定する。そしてこのようにして特定したＲ，Ｇ，Ｂの値はそれぞれＲ用のＷＢ補正値、Ｇ用のＷＢ補正値、Ｂ用のＷＢ補正値となる。
【００７６】
＜ステップＳ１９２＞
ＭＰＵ１３０は、ステップＳ１９０で求めたＲ用のＷＢ補正値、Ｇ用のＷＢ補正値、Ｂ用のＷＢ補正値、を右目メイン撮像ユニット１００Ｒ内の画像処理部１１３が有するＷＢ補正部５０２に対して送出する。これにより該ＷＢ補正部５０２は、ＭＰＵ１３０から受けたＲ用のＷＢ補正値、Ｇ用のＷＢ補正値、Ｂ用のＷＢ補正値、を受け、色補間部５０１により生成された撮像画像に対して、これらのＷＢ補正値に応じたゲイン補正等の処理を施すことで、無彩色のカラーバランスを調整し、これにより撮像画像に対するＷＢ補正を実現する。
【００７７】
このように、本実施形態に係るＷＢ制御の処理によって、メインカメラ及びサブカメラのそれぞれによる撮像画像に対して統一的なＷＢ補正を行うことができる。
【００７８】
なお、本実施形態では、ステップＳ１８０では、Ｒ，Ｇ，Ｂのそれぞれの平均画素値を求めてＭＰＵ１３０に対して送出しているが、ステップＳ１８１では、Ｂの平均画素値及びＲの平均画素値を用いて処理を行っており、Ｇの平均画素値は使用していないため、Ｇの平均画素値は求めなくても構わない。
【００７９】
また、本実施形態では、画像の色成分がＲ成分，Ｇ成分，Ｂ成分である場合について説明したが、他の色成分であってもよく、例えば、Ｌａｂ色空間における色成分を対象としても本実施形態を同様に適用することができる。
【００８０】
また、本実施形態では、メインカメラ及びサブカメラのそれぞれによる撮像画像に対してＷＢ補正を行うようにしたが、ユーザの目に提供される画像、即ちメインカメラによる撮像画像についてはＷＢ補正し、ユーザの目には提供されない画像、即ちサブカメラによる撮像画像ついてはＷＢ補正しないようにしても構わない。
【００８１】
＜変形例１＞
第１の実施形態では、頭部装着型表示装置２００は、頭部装着型表示装置２００を頭部に装着するユーザの視界領域を撮像するための２台のメインカメラ（右目用カメラ及び左目用カメラ）と、位置姿勢を検出するために使用する画像を撮像する１つ以上のサブカメラと、の合計３眼以上のカメラを有するものとした。しかし、図１１に示す如く、右目メイン撮像ユニット１００Ｒの用途及び右サブ撮像ユニット１１０Ｒの用途を兼ねるカメラ２２Ｒと、左目メイン撮像ユニット１００Ｌの用途及び左サブ撮像ユニット１１０Ｌの用途を兼ねるカメラ２２Ｌと、の２つのカメラを有するようにしても構わない。
【００８２】
この場合、カメラ２２Ｒによる撮像画像は、頭部装着型表示装置２００を装着するユーザの右目に提示される複合現実空間の画像を生成する際に仮想空間の画像と合成される画像として使用されると共に、カメラ２２Ｒの位置姿勢を検出するためにも使用される。また、カメラ２２Ｌによる撮像画像は、頭部装着型表示装置２００を装着するユーザの左目に提示される複合現実空間の画像を生成する際に仮想空間の画像と合成される画像として使用されると共に、カメラ２２Ｌの位置姿勢を検出するためにも使用される。
【００８３】
そしてこのような頭部装着型表示装置２００の場合、カメラ２２Ｒとカメラ２２Ｌとで共通の色温度を、上記の処理と同様の処理によって取得し、該取得した共通の色温度からカメラ２２Ｒ用のＷＢ補正値及びカメラ２２Ｌ用のＷＢ補正値を求め、カメラ２２Ｒによる撮像画像をカメラ２２Ｒ用のＷＢ補正値を用いてＷＢ補正すると共に、カメラ２２Ｌによる撮像画像をカメラ２２Ｌ用のＷＢ補正値を用いてＷＢ補正することができる。
【００８４】
＜変形例２＞
第１の実施形態では、頭部装着型表示装置２００は、頭部装着型表示装置２００を頭部に装着するユーザの視界領域を撮像するための２台のメインカメラ（右目用カメラ及び左目用カメラ）と、位置姿勢を検出するために使用する画像を撮像するための２台のサブカメラ（右サブカメラ及び左サブカメラ）と、の合計４眼のカメラを有するものとして、平均化演算するなど異なる撮像センサのタイプが混合した構成で色温度を算出した。しかし、撮像センサが同タイプとなる組合せ同士で分けて共通の色温度を算出して、その算出されたタイプ毎に分けた共通の色温度を用いてそれぞれタイプ毎のカメラに対して共通のＷＢ補正するようにしても構わない。つまり、撮像センサのタイプ毎に独立して、同タイプの撮像センサを持った複数カメラ間で本実施形態のＷＢ補正制御を行うとしても構わない。
【００８５】
＜変形例３＞
第１の実施形態では、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内である場合には、処理はステップＳ１３０に進み、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内ではない場合には、処理はステップＳ１４０に進む、とした。しかし、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内である場合には、処理はステップＳ１４０に進み、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内ではない場合には、処理はステップＳ１３０に進むようにしても構わない。このようにすることで、ＷＢ補正における誤差が小さくなる場合等において有効となる。
【００８６】
＜変形例４＞
第１の実施形態では、ステップＳ１４０において、Ｔ１，Ｔ２，Ｔ３，Ｔ４のうち標準色温度に最も近い色温度を、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度として選択していた。しかし、ステップＳ１４０では、何らかの望ましい色温度を選択できればよいのであるから、それぞれの撮像ユニットで共通の色温度を決定する方法には様々な方法が考えられる。
【００８７】
例えば、Ｔ１，Ｔ２，Ｔ３，Ｔ４のうち、これらの中央値に最も近い色温度を選択するようにしても構わない。すなわち、Ｔ１，Ｔ２，Ｔ３，Ｔ４から求まる統計量に基づいて何れか１つを選択するようにしても構わない。また、頭部装着型表示装置２００に対して予め定めた規定値となる色温度を選択するようにしても構わない。
【００８８】
＜変形例５＞
第１の実施形態では、ステップＳ１３０において、Ｔ１，Ｔ２，Ｔ３，Ｔ４の全て（全部）の平均色温度Ｔａｖｅを、右目メイン撮像ユニット１００Ｒ、左目メイン撮像ユニット１００Ｌ、右サブ撮像ユニット１１０Ｒ、左サブ撮像ユニット１１０Ｌで共通の色温度として決定していた。しかし、Ｔ１，Ｔ２，Ｔ３，Ｔ４の全てではなく、その一部の平均色温度をＴａｖｅとしても構わない。例えば、Ｔ１，Ｔ２，Ｔ３，Ｔ４の全ての平均値を求め、Ｔ１，Ｔ２，Ｔ３，Ｔ４のうち、該平均値との差が最も大きい色温度を除いた残りの色温度についてその平均値をＴａｖｅとしても構わない。
【００８９】
［第２の実施形態］
第１の実施形態では、頭部装着型表示装置２００が、撮像センサのタイプが異なる撮像ユニット群を有するものとして説明したが、撮像センサが同タイプの撮像ユニット群を有する場合であっても構わない。このような構成の場合、撮像センサの個体差による撮像ユニット間の色温度検出結果の違いが主な問題となる。そのため、本実施形態では、撮像センサの個体差による撮像ユニット間のＷＢ補正誤差を低減するためのＷＢ補正制御を行う。
【００９０】
以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。
【００９１】
本実施形態に係る頭部装着型表示装置２００は、図１２に示す如く、右目メイン撮像ユニット１００Ｒの用途及び右サブ撮像ユニット１１０Ｒの用途を兼ねるカメラ２３Ｒと、左目メイン撮像ユニット１００Ｌの用途及び左サブ撮像ユニット１１０Ｌの用途を兼ねるカメラ２３Ｌと、の２つのカメラを有し、且つ何れのカメラも撮像センサが同じタイプ（Ｙタイプ）である。
【００９２】
このような頭部装着型表示装置２００においては、図１のフローチャートに従った処理の代わりに、図１３のフローチャートに従った処理が行われる。図１３において図１に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略若しくは簡単に行う。
【００９３】
＜ステップＳ２０１＞
カメラ２３Ｒ及びＭＰＵ１３０は図７（ａ）のフローチャートに従った処理を行うことで、該カメラ２３Ｒによる撮像画像全体若しくはその部分領域における色温度Ｔ１を取得する。
【００９４】
＜ステップＳ２０２＞
カメラ２３Ｌ及びＭＰＵ１３０は図７（ａ）のフローチャートに従った処理を行うことで、該カメラ２３Ｌによる撮像画像全体若しくはその部分領域における色温度Ｔ２を取得する。
【００９５】
ステップＳ１１０では、第１の実施形態では、４つの色温度（Ｔ１，Ｔ２，Ｔ３，Ｔ４）を対象としていたのに対し、本実施形態ではＴ１，Ｔ２の２つのであるため、ΔＴを、単にΔＴ＝｜Ｔ２−Ｔ１｜を計算することで求める。例えば、カメラ２３Ｒの色温度Ｔ１＝３６００Ｋ、カメラ２３Ｌの色温度Ｔ２＝３９５０Ｋとなった場合、色温度差ΔＴは３５０Ｋとなる。このように、左右のカメラ間で色温度に差が生じる原因は、撮像センサの性能ばらつきや、撮像センサとカメラレンズとのアライメント（メカ公差）などによるカメラの個体差である。
【００９６】
ステップＳ１２０において、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内である場合には、第１の実施形態と同様に、処理はステップＳ１３０に進むのであるが、色温度差ΔＴが許容範囲ΔＴｅｒｒｏｒ内ではない場合には、処理はステップＳ２４０に進む。
【００９７】
＜ステップＳ２４０＞
ＭＰＵ１３０は、カメラ２３Ｒ及びカメラ２３Ｌのうち、より色温度の検出精度が高いと考えられる優先カメラとして予め定められている一方のカメラについて取得した色温度を、選択する。
【００９８】
ここで、色温度の検出精度がばらつく現象と優先カメラを決定する方法について図１４を用いて説明する。図１４（ａ）は、撮像センサ（Ｙタイプ）の色温度検出テーブルを設計するために作成したデータを示した図である。１４０１〜１４０３はそれぞれ、環境光の色温度を２５００〜９５００Ｋまで変化させた時に撮像センサ（Ｙタイプ）を有するカメラ１個体でＷＢ検波（ステップＳ１８０における処理）して得たＲの平均画素値（平均輝度値）、Ｇの平均画素値、Ｂの平均画素値の推移を示す曲線である。ここで、Ｙタイプの撮像センサが搭載された他のカメラを用いて同様のデータを作成した時、図１４（ａ）と全く同じにはならず、少しずれた特性となる。これがカメラの個体差である。
【００９９】
図１４（ｂ）は、ＷＢ比を横軸にとり、縦軸に色温度をとった、色温度検出テーブル８０１を示しており、カメラの個体差を加味するため、複数のカメラ（何れも搭載している撮像センサはＹタイプ）のそれぞれについて作成した図１４（ａ）のデータから作成したものである。例えば、それぞれのカメラにおけるＲ，Ｂの平均画素値から、カメラ全体におけるＲ，Ｂの平均画素値を算出し、色温度毎にＷＢ比（カメラ全体におけるＢの平均画素値／カメラ全体におけるＲの平均画素値）を算出すれば、色温度検出テーブル８０１を作成することができる。もちろん、色温度検出テーブル８０１を作成する方法はこれ以外の方法も考えられる。図中のエラーバーは、測定したデータのうちＷＢ比の最大値と最小値となったバラつき範囲を示した。
【０１００】
本実施形態では、カメラ２３Ｒ、２３Ｌのそれぞれについて色温度を取得する場合には、この色温度検出テーブル８０１を使用する。このとき、カメラ２３Ｒ、２３Ｌではこのエラーバーの範囲でＷＢ比がばらつくため、例えばある色温度でカメラ２３Ｒが最大、カメラ２３Ｌが最小となるばらつきをもつカメラ組合せの場合は、それぞれのカメラについて取得される色温度の差が最悪となる。なお、この問題を根本的に解決する方法として、カメラ組立時に全数で測定をして個体ごとに正確に調整された色温度検出テーブルを設定することが考えられが、色温度を振った測定には大きな工数がかかるので、組立時に全数測定することは現実的ではない。しかし、カメラ組立時にある特定の環境光の色温度だけで、例えば標準色温度５５００Ｋの１条件だけで測定することは現実的である。そこで、測定した組立カメラが代表的な色温度検出テーブル８０１から＋／−どちらの方向にどの程度ずれているかある程度推定することはできる。
【０１０１】
図１５は、図１４（ｂ）に、全範囲の色温度を振った時のカメラ２３Ｒの正確な色温度検出テーブル１５０１、全範囲の色温度を振った時のカメラ２３Ｌの正確な色温度検出テーブル１５０２を重ねたものである。上記の通り、全範囲の色温度を振って色温度検出テーブル１５０１、１５０２を作成することは大変な手間であるが、本例の標準色温度５５００ＫにおけるＷＢ比を得ることは、全範囲の色温度を振って色温度検出テーブル１５０１、１５０２を作成することに比べれば手間ではない。そこで、標準色温度を５５００Ｋとした場合、色温度＝５５００Ｋにおけるカメラ２３Ｒ、２３ＬのそれぞれのＷＢ比を求めておき、色温度検出テーブル８０１において５５００Ｋに対応するＷＢ比により近いＷＢ比を求めたカメラを、上記の優先カメラとして決定する。図１５の場合は、色温度検出テーブル１５０１において５５００Ｋに対応するＷＢ比の方が、色温度検出テーブル１５０２において５５００Ｋに対応するＷＢ比よりも、色温度検出テーブル８０１において５５００Ｋに対応するＷＢ比により近いため、カメラ２３Ｒが上記の優先カメラとして決定される。
【０１０２】
なお、以上説明した、カメラ２３Ｒ、２３Ｌのうち優先カメラを決定する工程は、頭部装着型表示装置２００の出荷前に行われ、その決定した優先カメラを示す情報は頭部装着型表示装置２００内のメモリ１３１に登録されることになる。
【０１０３】
また、上記の説明は、標準色温度を５５００Ｋとした場合についてのものであるが、標準色温度として用いる色温度が変われば、優先カメラとして決定する対象も変わりうる。然るに、頭部装着型表示装置２００の使用環境を想定して、どのような色温度を標準色温度とするのかを決定しておけば、それに応じた望ましいカメラを優先カメラとして決定することができる。
【０１０４】
また、単に、標準色温度において、色温度検出テーブル８０１のＷＢ比に最も近いカメラを優先カメラとするのではなく、標準色温度近辺やそれ以上の色温度において平均的に色温度検出テーブル８０１のＷＢ比に最も近いカメラを優先カメラとして決定しても構わない。すなわち、頭部装着型表示装置２００の使用環境における色温度を想定した場合に、その想定した色温度で望ましい（上記の例では色温度検出テーブル８０１により近い）ＷＢ比が得られるカメラを優先カメラとして決定することができるのであれば、その決定方法には様々な方法が考えられる。
【０１０５】
これにより、代表的な色温度検出テーブル８０１からのずれが大きいカメラであっても、それよりはよいカメラと組合せて頭部装着型表示装置２００を組み立てることで、比較的安定したＷＢ制御を達成することが可能となる。
【０１０６】
そしてステップＳ１５０では、ＭＰＵ１３０は、ステップＳ１３０において決定された色温度若しくはステップＳ２４０において選択された色温度を、カメラ２３Ｒ、２３Ｌで共通の色温度（共通色温度）として設定する。
【０１０７】
＜ステップＳ２６１＞
ＭＰＵ１３０は、図７（ｂ）のフローチャートに従った処理を行うことで、共通色温度を用いて、カメラ２３Ｒによる撮像画像に対するＷＢ補正で用いるＷＢ補正値を求め、該求めたＷＢ補正値をカメラ２３Ｒに対して送出する。
【０１０８】
＜ステップＳ２６２＞
ＭＰＵ１３０は、図７（ｂ）のフローチャートに従った処理を行うことで、共通色温度を用いて、カメラ２３Ｌによる撮像画像に対するＷＢ補正で用いるＷＢ補正値を求め、該求めたＷＢ補正値をカメラ２３Ｌに対して送出する。
【０１０９】
このように、本実施形態によれば、撮像センサの個体差によるカメラ間のＷＢ補正誤差を低減するためのＷＢ制御が可能となる。
【０１１０】
＜変形例１＞
第２の実施形態では、頭部装着型表示装置２００が同じタイプの撮像センサを有するものとしていたが、タイプが同じ撮像センサやタイプが異なる撮像センサを有する頭部装着型表示装置２００である場合には、同タイプの撮像センサを有するカメラ間では第２の実施形態のＷＢ制御を使い、異なるタイプの撮像センサを有するカメラ間では第１の実施形態のＷＢ制御を使うなど、第１，２の実施形態を組み合わせて使用しても構わない。
【０１１１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１２】
１３０：ＭＰＵ  １００Ｒ：右目メイン撮像ユニット  １００Ｌ：左目メイン撮像ユニット  １１０Ｒ：右サブ撮像ユニット  １１０Ｌ：左サブ撮像ユニット
【図１】
0006735557.tif 000002
【図２】
0006735557.tif 000003
【図３】
0006735557.tif 000004
【図４】
0006735557.tif 000005
【図５】
0006735557.tif 000006
【図６】
0006735557.tif 000007
【図７】
0006735557.tif 000008
【図８】
0006735557.tif 000009
【図９】
0006735557.tif 000010
【図１０】
0006735557.tif 000011
【図１１】
0006735557.tif 000012
【図１２】
0006735557.tif 000013
【図１３】
0006735557.tif 000014
【図１４】
0006735557.tif 000015
【図１５】
0006735557.tif 000016