(57)【特許請求の範囲】
【請求項１】
画像処理装置であって、
複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、
前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、
前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、
前記第２のゲイン値の大きさと前記画像処理装置に出力される画像に生じる画像ノイズの大きさとの関係に基づいて、前記画像ノイズを低減するように、前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、
前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、
前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、
前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、
を有し、
前記規格化係数は前記第２の補正手段により補正された前記複数の第２のゲイン値のうちの最小値であり、
前記調整手段は、前記第２の補正手段により補正された前記複数の第２のゲイン値を前記算出した最小値で除算することにより前記複数の第２のゲイン値を調整することを特徴とする画像処理装置。
【請求項３】
複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、
前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、
前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、
前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、
を有し、
前記規格化係数は前記第２の補正手段により補正された前記複数の第２のゲイン値のうちの最大値であり、
前記調整手段は、前記第２の補正手段により補正された前記複数の第２のゲイン値を前記算出した最大値で除算することにより前記複数の第２のゲイン値を調整することを特徴とする画像処理装置。
【請求項４】
前記規格化係数は、前記撮像画像を表現するＲ、Ｇ、Ｂの３信号成分のうちＧに対応するゲイン値を用いて決定されることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記規格化係数は、前記撮像画像を表現するＲ、Ｇ、Ｂの３信号成分すべてに対応するゲイン値を用いて決定されることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１のゲイン処理手段は、アナログ電気信号における輝度を増幅することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の補正手段は、前記複数の撮像画像の輝度の平均値と前記目標輝度とに基づいて、前記第１のゲイン値を補正することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２のゲイン処理手段は、デジタル電気信号における輝度を増幅することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の補正手段は、前記複数の撮像画像の輝度が一致するように、前記第２のゲイン値を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記取得手段は、
前記複数の撮像装置により撮像された撮像画像の対象領域における輝度を取得する第１の取得手段と、
前記複数の撮像装置により撮像されたチャートの輝度を取得する第２の取得手段と、
を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記チャートは無彩色のチャートであることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記複数の撮像装置と、前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれを表示する複数の表示装置と、を有することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記複数の撮像装置は、前記画像処理装置を装着する装着者の右目と左目にそれぞれ対応する２つの撮像装置であることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
複数の撮像装置により撮像された画像に係る情報を処理する情報処理装置と、
前記撮像装置および前記情報処理装置により処理された画像を表示するための表示装置を備える画像処理装置と、を有する画像処理システムであって、
前記複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、
前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、
前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、
前記第２のゲイン値の大きさと前記情報処理装置に出力される画像に生じる画像ノイズの大きさとの関係に基づいて、前記画像ノイズを低減するように、前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、
を有することを特徴とする画像処理システム。
【請求項１５】
画像処理装置によって実行される画像処理方法であって、
複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理ステップと、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理ステップにより輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理ステップと、
前記第２のゲイン処理ステップにより輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得ステップと、
前記取得ステップにより取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正ステップと、
前記取得ステップにより取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正ステップと、
前記第２のゲイン値の大きさと前記画像処理装置に出力される画像に生じる画像ノイズの大きさとの関係に基づいて、前記画像ノイズを低減するように、前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整ステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
複数の撮像装置により撮像された画像に係る情報を処理する情報処理装置と、
前記撮像装置および前記情報処理装置により処理された画像を表示するための表示装置を備える画像処理装置と、を有する画像処理システムであって、
前記複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、
前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、
前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、
前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、
を有し、
前記規格化係数は前記第２の補正手段により補正された前記複数の第２のゲイン値のうちの最小値であり、
前記調整手段は、前記第２の補正手段により補正された前記複数の第２のゲイン値を前記算出した最小値で除算することにより前記複数の第２のゲイン値を調整することを特徴とすることを特徴とする画像処理システム。
【請求項１７】
複数の撮像装置により撮像された画像に係る情報を処理する情報処理装置と、
前記撮像装置および前記情報処理装置により処理された画像を表示するための表示装置を備える画像処理装置と、を有する画像処理システムであって、
前記複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、
前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、
前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、
前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、
前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、
を有し、
前記規格化係数は前記第２の補正手段により補正された前記複数の第２のゲイン値のうちの最大値であり、
前記調整手段は、前記第２の補正手段により補正された前記複数の第２のゲイン値を前記算出した最大値で除算することにより前記複数の第２のゲイン値を調整することを特徴とすることを特徴とする画像処理システム。
【請求項１８】
複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理ステップと、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理ステップにより輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理ステップと、
前記第２のゲイン処理ステップにより輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得ステップと、
前記取得ステップにより取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正ステップと、
前記取得ステップにより取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正ステップと、
前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整ステップと、
を有し、
前記規格化係数は前記第２の補正ステップにより補正された前記複数の第２のゲイン値のうちの最小値であり、
前記調整ステップでは、前記第２の補正ステップにより補正された前記複数の第２のゲイン値を前記算出した最小値で除算することにより前記複数の第２のゲイン値を調整することを特徴とすることを特徴とする画像処理方法。
【請求項１９】
複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理ステップと、
前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理ステップにより輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理ステップと、
前記第２のゲイン処理ステップにより輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得ステップと、
前記取得ステップにより取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正ステップと、
前記取得ステップにより取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正ステップと、
前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整ステップと、
を有し、
前記規格化係数は前記第２の補正ステップにより補正された前記複数の第２のゲイン値のうちの最大値であり、
前記調整ステップでは、前記第２の補正ステップにより補正された前記複数の第２のゲイン値を前記算出した最大値で除算することにより前記複数の第２のゲイン値を調整することを特徴とすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置により撮像される画像の輝度を調整する技術に関する。
【背景技術】
【０００２】
現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を利用するものがある。例えば、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体を複数のカメラで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者が観察できる技術が知られている。
【０００３】
上述の技術のように、複数のカメラ（撮像装置）を用いる場合、複数のカメラ間での調整が必要になる。特許文献１では、ステレオカメラの左右各カメラの撮像画像処理の輝度ゲイン値と輝度オフセット値を調整して、１対の撮像画像間の輝度バランスを調整する技術が提案されている。また、特許文献２には、ビデオシースルー型ＨＭＤを用いたＭＲシステムとして、右目用と左目用のカメラ間で共通の撮像パラメータを設定し、左右の撮像画像で明るさや色味を一致させる技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１５８６６８号公報
【特許文献２】特開２００６−２９５５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数のカメラを用いる際に、それら複数のカメラで撮像される画像の明るさや色味をより厳密に調整する構成として、上流の複数カメラ側と下流の画像処理側とにそれぞれ輝度信号を増幅するゲイン処理部を有する構成とすることが考えられる。すなわち、カメラデバイス側のゲイン値（アナログ）が一致するように、特許文献２のように、カメラ共通の撮像パラメータを設定するＡＥ制御（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）をする。その上でさらに、特許文献１のように、下流側の画像処理部側で各ゲイン値（デジタル）の左右のカメラ間の差を調整するものである。
【０００６】
しかしながら、このような構成において、画像処理部側のゲイン値（デジタル）の調整を適切に行わなければ、画像ノイズが悪化することがある。そこで、本発明は、画像処理部側でゲイン値（デジタル）を適切に行い、画像ノイズの悪化を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、画像処理装置であって、複数の撮像装置に共通に設定される第１のゲイン値に基づいて、前記複数の撮像装置によって撮像された複数の撮像画像それぞれの輝度を増幅する第１のゲイン処理手段と、前記複数の撮像装置それぞれに対応して設定される複数の第２のゲイン値に基づいて、前記第１のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれの輝度を増幅する第２のゲイン処理手段と、前記第２のゲイン処理手段により輝度を増幅した複数の撮像画像それぞれにおける輝度を取得する取得手段と、前記取得手段により取得した複数の撮像画像の輝度と目標輝度とに基づいて、前記第１のゲイン値を補正する第１の補正手段と、前記取得手段により取得した複数の撮像画像それぞれの輝度に基づいて、前記複数の第２のゲイン値を補正する第２の補正手段と、前記第２のゲイン値の大きさと前記画像処理装置に出力される画像に生じる画像ノイズの大きさとの関係に基づいて、前記画像ノイズを低減するように、前記補正された複数の第２のゲイン値から規格化係数を算出し、当該算出した規格化係数により前記複数の第２のゲイン値を調整する調整手段と、を有することを特徴とする。
【発明の効果】
【０００８】
以上の構成によれば、本発明では、画像ノイズの悪化を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に関わるＭＲシステムの構成例を示す概略図。
【図２】第１の実施形態に関わるＨＭＤ内部の主要なハードウェア構成を示す概略図。
【図３】第１の実施形態に関わるＨＭＤの主要なハードウェア構成を示す概略ブロック図。
【図４】第１の実施形態において撮像画像の自然特徴点から位置姿勢情報を算出する方法を説明する図。
【図５】第１の実施形態に関わる画像処理部の構成例を示す概略ブロック図。
【図６】第１の実施形態に関わるＡＥ制御のフローチャート。
【図７】第１の実施形態に関わるＲＧＢゲイン値の調整方法を示すフローチャート。
【図８】第１の実施形態においてＨＭＤのカメラによりチャートを撮影する様子を示す図。
【図９】第１の実施形態においてＲＧＢゲイン値の調整方法を説明するための図。
【図１０】第１の実施形態においてアナログゲイン値、デジタルゲイン値、画像ノイズの関係を示す図。
【図１１】第２の実施形態に関わるＲＧＢゲイン値の調整方法を示すフローチャート。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。
【００１１】
＜ＨＭＤハードウェア全体の説明＞
まず、本実施形態に係る頭部装着型表示装置（以下、ＨＭＤ）を含むＭＲシステムの構成例について説明する。図１は、本実施形態に係るＭＲシステムの構成例を示す概略図である。本実施形態のＭＲシステムは、ユーザの眼前に現実空間と仮想空間とが融合した空間である複合現実空間の画像を提供するＨＭＤ２００、複合現実空間の画像を生成してＨＭＤ２００に提供するコンピュータ装置（情報処理装置）２５０を有する。また、コンピュータ装置２５０により生成された複合現実空間の画像のデータをＨＭＤ２００へと転送するためのケーブル２４０を有している。なお、ここではＨＭＤ２００とコンピュータ装置２５０との接続方式として、ケーブル２４０を用いた有線の通信経路による方式の例を示しているが、代わりに無線の通信経路を用いても構わない。
【００１２】
次に、ＨＭＤ２００の構成について説明する。ＨＭＤ２００は、所謂ビデオシースルー型の頭部装着型表示装置であり、複合現実空間の画像を生成する際に仮想空間の画像と合成する現実空間の画像を撮像するカメラ（右目用カメラ２０Ｒ及び左目用カメラ２０Ｌ）を有している。また、このカメラで撮像した画像はＨＭＤ２００の位置姿勢を次に説明するような方法で求めるためにも使用される。つまり、コンピュータ装置２５０は、現実空間中に配されているマーカ２１０を撮像した画像から周知の処理を実行することで、ＨＭＤ２００の位置姿勢を計算することができる。具体的には、左目用カメラ２０Ｌによる撮像画像を用いて左目用カメラ２０Ｌの位置姿勢を計算すると共に、右目用カメラ２０Ｒによる撮像画像を用いて右目用カメラ２０Ｒの位置姿勢を計算する。そして、コンピュータ装置２５０は、カメラの位置姿勢に基づいて該カメラの位置姿勢から見た仮想空間の画像を生成し、該生成した仮想空間の画像とカメラによる現実空間の撮像画像と合成することで、複合現実空間の画像を生成する。
【００１３】
詳細には、左目用カメラ２０Ｌの位置姿勢に基づいて左目用カメラ２０Ｌの位置姿勢から見た仮想空間の画像を生成し、生成した仮想空間の画像と左目用カメラ２０Ｌによる現実空間の撮像画像とを合成して、ユーザの左目用の複合現実空間の画像を生成する。また、右目用カメラ２０Ｒの位置姿勢に基づいて右目用カメラ２０Ｒの位置姿勢から見た仮想空間の画像を生成し、生成した仮想空間の画像と右目用カメラ２０Ｒによる現実空間の撮像画像とを合成して、ユーザの右目用の複合現実空間の画像を生成する。そしてコンピュータ装置２５０は、生成した複合現実空間の画像（右目用の複合現実空間の画像及び左目用の複合現実空間の画像）を、ＨＭＤ２００に対して送出する。なお、カメラは、ＨＭＤ２００の位置姿勢をより高精度に計算などのために撮像範囲を広げてマーカの撮像可能性を高めるために別途複数設けてもよい。
【００１４】
図２は、ＨＭＤ２００の内部の主要なハードウェアの構成を示す概略図である。ＨＭＤ内部の構成は、右目用、左目用とで対の構成となるため、ここでは片方のみ図示している。ＨＭＤ２００は、右目用、左目用の小型の表示装置（液晶ディスプレイ）などからなる表示素子１２１と、それらに表示された右目用、左目用の画像を拡大表示するための自由曲面プリズムなどの表示光学系３２０を有する。また、ＨＭＤ２００装着者の瞳３００の位置から観察される被写体と略一致する被写体を撮像するためのカメラ２０と、瞳３００の位置とカメラ２０の位置を略一致させるための撮像光学系３１０とを有する。
【００１５】
次に、ＨＭＤ２００のハードウェア構成例について説明する。図３は、本実施形態に関わるＨＭＤのハードウェア構成を示す概略ブロック図であり、図３（ａ）はＨＭＤ２００全体に係る概略ブロック図である。同図において、右目用撮像ユニット１００Ｒは、右目用カメラ２０Ｒ、右目用カメラ２０Ｒの光学系、右目用カメラ２０Ｒ用の様々な処理回路を含む撮像ユニットである。左目用撮像ユニット１００Ｌは、左目用カメラ２０Ｌ、左目用カメラ２０Ｌの光学系、左目用カメラ２０Ｌ用の様々な処理回路を含む撮像ユニットである。
【００１６】
右目用表示ユニット１２０Ｒは、ＨＭＤ２００を装着したユーザの右目の眼前に位置するようにＨＭＤ２００に取り付けられたものであり、コンピュータ装置２５０側で生成された右目用の複合現実空間の画像を表示するものである。左目用表示ユニット１２０Ｌは、ＨＭＤ２００を装着したユーザの左目の眼前に位置するようにＨＭＤ２００に取り付けられたものであり、コンピュータ装置２５０側で生成された左目用の複合現実空間の画像を表示するものである。
【００１７】
ＭＰＵ１３０は、ＨＭＤ２００内のメモリ１３１に格納されているコンピュータプログラムやデータを用いて処理を実行することで、バス１９０に接続されている上記の各機能部の動作制御を行うと共に、ＨＭＤ２００全体の動作制御を行う。メモリ１３１は、後述の各処理をＭＰＵ１３０に実行させるためのコンピュータプログラムやデータ、以下に既知の情報として説明する情報等を格納するメモリ、ＭＰＵ１３０が各種処理を実行する際に用いるワークエリアを有するメモリ等の様々なメモリを含む。
【００１８】
続いて、右目用撮像ユニット１００Ｒ、左目用撮像ユニット１００Ｌのそれぞれに適用可能な撮像ユニットの構成例を図３（ｂ）に示す。撮像素子１１０は、ＣＣＤイメージセンサ等、外界の光をアナログ電気信号に変換して出力するものである。撮像素子１１０は、ＴＧ（タイミングジェネレータ）１１５、ＴＧ１１５からの信号を受けて垂直方向の信号を生成するＶ−Ｄｒ（Ｖドライバ）１１６からの信号に応じて駆動される。アナログゲイン１１１は、後述するＡＥ制御によって算出されたゲイン値を使って撮像素子１１０から出力されたアナログ電気信号を増幅する処理を行う。すなわち、アナログゲイン１１１は、撮像画像の輝度を増幅する第１のゲイン処理手段として機能する。
【００１９】
Ａ／Ｄ変換部１１２は、アナログゲイン１１１から出力されたアナログ電気信号をデジタル電気信号に変換する。画像処理部１１３は、Ａ／Ｄ変換部１１２により変換されたデジタル電気信号に対して様々な画像処理を施すことで画像処理済みの撮像画像を生成して出力する。この画像処理には、後述するＡＥ制御で使用するＡＥ検波や、本実施形態に係る調整方法でゲイン値調整するデジタルゲインの処理も含まれている。撮像画像出力部１１４は、画像処理部１１３により画像処理が施された撮像画像を適当な画像フォーマットでコンピュータ装置２５０に対して出力するものである。なお、撮像画像出力部１１４による出力先はコンピュータ装置２５０に限るものではない。
【００２０】
右目用表示ユニット１２０Ｒ、左目用表示ユニット１２０Ｌのそれぞれに適用可能な表示ユニットの構成例を図３（ｃ）に示す。表示画像入力部１２３は、コンピュータ装置２５０から出力された複合現実空間の画像を受け、該受けた複合現実空間の画像を表示駆動部１２２に転送する。表示駆動部１２２は、表示素子１２１を駆動して、表示画像入力部１２３から転送された複合現実空間の画像を表示させる。表示素子１２１は、ｐ−ＳｉＴＦＴやＬＣＯＳなどの表示素子であって、表示駆動部１２２によって駆動され、表示画像入力部１２３がコンピュータ装置２５０から受けた複合現実空間の画像を表示する。
【００２１】
なお、コンピュータ装置２５０は、上述したとおり、撮像画像を用いてカメラの位置姿勢を算出するのである。より詳しくは、撮像画像から画像解析によりマーカを検出し、該検出したマーカの大きさや形、塗りつぶしのパターンなどの情報を取得する。そして、コンピュータ装置２５０は、マーカ検出により取得したこれらの情報から、マーカとＨＭＤ２００との間の相対的な位置関係、ＨＭＤ２００を装着している装着者がマーカを観察している方向に関する三次元位置姿勢情報を算出する。このように、複数のマーカを使用し、指標配置情報として各マーカの位置関係をあらかじめ定義しておくことによって、それらの相対的位置関係から、マーカを観察している方向を算出することが可能となる。したがって、内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、カラーマーカや、ＬＥＤなどの発光素子のような方向性の情報を持たない一次元の情報を持つマーカを利用することも可能となる。
【００２２】
また、図１で示すようなマーカ２１０を用いる代わりに、画像中の特徴点の情報を抽出するようにしてもよい。図４は、カメラ２０により撮像した画像の自然特徴点から位置姿勢情報を算出する方法を説明する図である。同図に示すように、ドア６００、テーブル６０５、窓６１０の輪郭線のような画像中の自然特徴や、画像中の特定の色などを抽出し、それらを用いて三次元位置姿勢情報を算出することも可能である。６５０、６５５は「×」マークでドア６００の特徴点の一部を示している。同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の三次元位置姿勢情報を生成できる。以上の構成により、観察者はＨＭＤ２００を自身の頭部に装着することで、現実空間と仮想空間とがリアルタイムにシームレスに融合した複合現実空間を体験することができる。
【００２３】
＜撮像画像処理全体の説明＞
次に、画像処理部１１３による撮像画像の画像処理について説明する。図５は、画像処理部１１３の構成例を示す概略ブロック図である。色補間部５０１は、Ａ／Ｄ変換部１１２から出力されたデジタル電気信号が表現する画像（各画素がＲ、Ｇ、Ｂの何れかであって、例えばベイヤーパターンの画像）から、撮像画像を構成する各画素におけるＲ、Ｇ、Ｂのそれぞれの画素値を求める。具体的には、デジタル電気信号が表現する画像において隣接する画素（隣接する画素は互いに色が異なる画素）から補間法などによって、撮像画像を構成する各画素におけるＲ、Ｇ、Ｂのそれぞれの画素値を復元する。
【００２４】
デジタルＲＧＢゲイン５０２は、ＭＰＵ１３０が調整値として決定したＲ用のゲイン値、Ｇ用のゲイン値、Ｂ用のゲイン値を受ける。そして、色補間部５０１により生成された撮像画像に対してこれらデジタルＲＧＢゲイン値による補正処理を施し、無彩色のカラーバランスを調整する。また、デジタルＲＧＢゲイン５０２は、ＭＰＵ１３０が調整値として決定したデジタルＲＧＢゲイン値を、右目用カメラ２０Ｒと左目用カメラ２０Ｌの撮像画像の輝度値を一致させるように調整するものでもある。更に、デジタルＲＧＢゲイン５０２は、画像ノイズを低減させるようにデジタルＲＧＢゲイン値を調整するものである。このように、
ＡＥ検波部５０５は、色補間部５０１により生成された撮像画像全体、若しくはその部分領域（撮像画像の中央位置を中心とする規定サイズの領域）を対象領域とし、該対象領域内の平均画素値（Ｒの平均画素値、Ｇの平均画素値、Ｂの平均画素値）を求める。対象領域内のＲの平均画素値は、対象領域に含まれている全ての画素のＲ成分の画素値の合計値を求め、該合計値を対象領域に含まれている画素の数で割った結果である。これは、Ｇの平均画素値、Ｂの平均画素値を求める場合も同様である。そしてＡＥ検波部５０５は、対象領域について求めたＲ、Ｇ、Ｂのそれぞれの平均画素値Ｒ’、Ｇ’、Ｂ’をＭＰＵ１３０に対して送出し、ＭＰＵ１３０にて数式１のような計算式を用いて輝度値に変換する。このようにして、本実施形態では、ＡＥ検波部５０５は右目用カメラ２０Ｒと左目用カメラ２０Ｌの撮像画像の輝度値を取得する第１の取得手段として機能する。
輝度値＝０．２×Ｒ’＋０．７×Ｇ’＋０．１×Ｂ’      （数式１）
ＭＰＵ１３０は、この輝度値を元にカメラ２０のＡＥ制御を行う。そして、色補正部５０３は、デジタルＲＧＢゲイン５０２によりカラーバランスが調整された撮像画像の色味を補正する。ガンマ補正部５０４は、色補正部５０３により色味が補正された撮像画像の明るさの階調を補正する。
【００２５】
＜ＡＥ補正制御＞
ここで、ＭＰＵ１３０によるＡＥ制御について説明する。図６は、本実施形態に係るＡＥ制御のフローチャートである。まず、ステップＳ１７０において、右目用カメラ２０Ｒの撮像画像からＡＥ検波部５０５で得られた輝度値ＹＲと、同じく左目用カメラ２０Ｌの撮像画像からＡＥ検波部５０５で得られた輝度値ＹＬの左右２つの輝度値を同時に検出する。次に、ステップＳ１７１において、左右２つの輝度値ＹＲ、ＹＬを平均化処理して左右カメラの平均輝度値Ｙを算出する。
【００２６】
ステップＳ１７２において、左右カメラの平均輝度値Ｙが目標となる目標輝度ＹＴとなるように補正すべきゲイン値を算出し、アナログゲイン１１１に設定する。算出方法は、例えば、数式２のような計算式を用いてアナログゲイン値を決定するものである。
アナログゲイン値＝ＹＴ／Ｙ          （数式２）
以上のＡＥ制御のように、左右カメラで共通のアナログゲイン値を設定することで、左右カメラの挙動を揃えることができる。そのため、右目と左目で統一的な画像を見ることができて、ＨＭＤ２００装着者にとって違和感の少ない画像を提供できるようになる。このように、ＭＰＵ１３０はメモリ１３１に格納されたプログラムを実行することにより、左右カメラで共通に設定されるアナログゲイン値（第１のゲイン値）を目標輝度に基づいて補正する第１の補正手段として機能する。
【００２７】
＜ＲＧＢゲイン値の調整方法の概要＞
次に、デジタルＲＧＢゲイン５０２に設定すれるＲＧＢゲイン値の調整方法について説明する。図７は、ＭＰＵ１３０がメモリ１３１に格納された所定のプログラムを読み出すことにより実行される、ＲＧＢゲイン値の調整方法を示すフローチャートを用いて説明する。すなわち、ＭＰＵ１３０は本フローチャートの各工程を実行する各機能部として機能する。なお、本フローチャートの調整方法が実行される前に、アナログゲイン１１１には上述の方法により補正されたアナログゲイン値が設定されている。また、その状態で、予めＨＭＤ２００の左右カメラ２０によりチャートを撮影し、その撮像画像が取得されている。図８は、本実施形態において、ＨＭＤ２００の左右カメラ２０によってチャートを撮影する様子を示す図である。本実施形態では、図８（ａ）に示すように、ＨＭＤ２００の左右カメラ２０と正対させたグレイのチャート９０１を左右カメラ２０で撮影した撮像画像を取得する。図８（ｂ）は、グレイチャート９０１を右目用カメラ２０Ｒで撮影した撮像画像９１０Ｒと、左目用カメラ２０Ｌで撮像した撮像画像９１０Ｌとを示している。
【００２８】
ここで、図７のＲＧＢゲイン値の調整方法の説明に戻る。まず、ステップＳ１８１において、図８（ｂ）で示した撮像画像９１０から、グレイチャート９０１の画像領域を対象領域とした右目用カメラ２０Ｒでのチャート画像９１１Ｒと、左目用カメラ２０Ｌでのチャート画像９１１Ｌをそれぞれ画像抽出する。ここでは、図８（ｃ）に示すように、抽出したチャート画像９１１Ｒ内の平均画素値９２１Ｒを算出し、同じくチャート画像９１１Ｌ内の平均画素値９２１Ｌを算出する。本ステップでは、ＭＰＵ１３０が、撮像画像の輝度、具体的にはチャートの輝度を取得する第２の取得手段として機能する。
【００２９】
次に、ステップＳ１８２において、グレイチャート９０１のターゲットＲＧＢ画素値と一致するように、前ステップで算出した平均画素値９２１Ｒと平均画素値９２１Ｌとから、数式３によりＲＧＢゲイン値を算出する（ＧとＢについても同様）。
Ｒゲイン値＝Ｒターゲット画素値／Ｒ平均画素値          （数式３）
図９は、ＲＧＢゲイン値の補正方法を説明するための図であり、図９（ａ）は、グレイチャート９０１のターゲットＲＧＢ画素値を示している。また、図９（ｂ）には、ステップＳ１８２において算出したＲＧＢゲイン値を示した。ここで、算出した右目用カメラ２０ＲのＲＧＢゲイン値９３１Ｒと左目用カメラ２０ＬのＲＧＢゲイン値９３１ＬをデジタルＲＧＢゲイン５０２に設定することで、グレイチャート９０１を撮像した画像はターゲットＲＧＢ画素値と一致するようになる。つまり、ターゲットのカラーバランスの通り無彩色のカラーバランスを調整することができる。また、左右のカメラでばらついていた輝度値の差も補正され、左右でカメラの輝度値が一致するように補正することができる。このように、本ステップでは、左右カメラ間のＲＧＢゲイン値（第２のゲイン値）それぞれの値に基づいてそれらの値が一致するように補正する第２の補正手段として機能する。
【００３０】
ステップＳ１８３では、ステップＳ１８２で算出したＲＧＢゲイン値９３１Ｒと９３１Ｌから、それぞれＧゲイン値を抽出して、その値の比較をして最小値を算出する。算出したＧゲイン値の最小値をゲイン規格値Ｎｏｒｍとする。そして、ＲＧＢゲイン値９３１Ｒと９３１Ｌに対して規格値（規格化係数）Ｎｏｒｍで除算をして、図９（ｃ）に示すように規格化されたＲＧＢゲイン値９４１Ｒと９４１Ｌを算出する。ステップＳ１８４では、ステップＳ１８３で算出した右目用カメラ２０ＲのＲＧＢゲイン値９４１Ｒと、左目用カメラ２０ＬのＲＧＢゲイン値９４１Ｌを、デジタルＲＧＢゲイン５０２に設定する。このように、本ステップでは、ＭＰＵ１３０は、カメラ２０Ｒ、２０Ｌにそれぞれ対応して設定されるＲＧＢゲイン値（第２のゲイン値）を規格化係数により規格化して調整する調整手段として機能する。
【００３１】
本実施形態では、以上の調整方法に従って、デジタルＲＧＢゲイン５０２に設定するＲＧＢゲイン値９４１Ｒ、９４１Ｌを調整することによって、画像ノイズの悪化を抑制することができる。
【００３２】
＜ＲＧＢゲイン値の調整方法の詳細＞
本実施形態では、ステップＳ１８２においてグレイチャート９０１のターゲットＲＧＢ画素値と一致するように算出したＲＧＢゲイン値（図９（ｂ））を規格化し、規格化されたＲＧＢゲイン値（図９（ｃ））となるように調整して、画像ノイズの悪化を抑制する。本実施形態において、このような処理を実行することにより画像ノイズ発生の抑制が図れる理由について説明する。
【００３３】
まず、カメラ側のアナログゲイン１１１と画像処理部側のデジタルＲＧＢゲイン５０２との関係について説明する。ＲＧＢゲイン５０２に設定するゲイン値を大きくすると、前述のＡＥ補正制御では、目標となる輝度値ＹＴに揃えようとするため、同じ明るさの光源下においては、カメラ側のアナログゲイン１１１に設定されるゲイン値は小さくなる。つまり、アナログゲイン値とデジタルゲイン値の２つのゲイン値は輝度信号に対して線形の増幅作用が強いため、ＡＥ補正制御とＲＧＢゲイン値調整処理との関係は反比例の関係になる。よって、ＲＧＢゲイン５０２に設定するゲイン値を大きくすれば、カメラ側のアナログゲイン１１１に設定するゲイン値を下げることができる。図１０はアナログゲイン値、デジタルゲイン値、画像ノイズの関係を説明する図であり、図１０（ａ）はアナログゲイン値とデジタルゲイン値との関係を示している。図１０（ａ）に示すように、アナログゲイン１１１に設定するアナログゲイン値とＲＧＢゲイン５０２に設定するデジタルゲイン値とは反比例の関係にある。なお、図１０（ａ）で示す画像処理部側のデジタルゲイン値は、ＲＧＢゲイン値のうちのＧゲイン値である。これは、ＡＥ制御で用いるＡＥ検波部５０５での輝度値Ｙを算出するための数式１からわかるように、輝度値に作用する成分は主にＧの信号が支配的であるためである。
【００３４】
次に、画像ノイズの発生について説明する。画像ノイズは、まず撮像素子１１０で主に熱雑音として画素毎にランダムな信号ノイズが発生し、その後のアナログゲイン１１１やデジタルＲＧＢゲイン５０２の処理によってノイズが増幅される。しかし、この画像ノイズの増幅に関して、アナログゲイン１１１処理部とデジタルＲＧＢゲイン５０２とで、わずかに異なる状況があることが確認された。デジタルＲＧＢゲイン５０２の増幅は線形作用であるものの、アナログゲイン１１１の増幅はわずかに非線形作用が入るという相違が見られた。アナログゲイン１１１で非線形作用が入る原因は、画像の周波数帯によって増幅率が異なることが考えられる。例えば、高周波数帯に近づくに連れて増幅率が小さくなる傾向があったり、アナログゲイン１１１に設定されたゲイン値の大きさによってある周波数帯の増幅率が変化したりという回路特性によるものである。
【００３５】
図１０（ｂ）に、本実施形態におけるデジタルゲイン値と画像ノイズとの関係を示す。画像ノイズの評価値は、一様な明るさの撮像画像に対して輝度に一番作用するＧ画素値で、そのＧ画素値の標準偏差を計算したものである。また、ゲイン値はデジタルＲＧＢゲイン５０２に設定するＧゲイン値のことで、同じ明るさの光源下におけるＡＥ制御をした場合であるため、図１０（ａ）のようにアナログゲイン１１１の設定値も連動して変動している。つまり、デジタルＧゲイン値を上げても、同じ明るさになるようにＡＥ制御をしているため、アナログゲイン１１１のゲイン値とデジタルＲＧＢゲイン５０２のゲイン値を掛けあわせたトータルのゲイン値は略一致している。したがって、基本的には画像ノイズの増幅には影響なく、一定である。しかし、前述の説明の通りアナログゲインにおける非線形作用のために、アナログゲイン値の大きさによって一定となるはずの画像ノイズにわずかに変化が現れる。本実施形態のアナログゲイン１１１の回路特性によれば、図１０（ｂ）に示したように、デジタルゲイン値を上げた方が、つまりアナログゲイン値を下げた方が画像ノイズの発生を抑制できるという傾向が示された。
【００３６】
次に、左右の撮像画像で画像ノイズの大きさが異なることについて説明する。これは、前述のステップＳ１８２にて算出したデジタルＲＧＢゲイン５０２に設定するＲＧＢゲイン値が左右（９３１Ｒ、９３１Ｌ）で異なるのが原因で、本実施形態のようにカメラ側のアナログゲインで左右共通のゲイン値を使用する構成の問題でもある。本実施形態では、図１０（ｂ）に示すように、輝度に一番作用するＧ画素値のＧゲイン値を左右で比較すると、左のＧゲイン値の方が右のＧゲイン値に比べ３．３％（＝１．００２／０．９７）程度大きい。これは、同型の撮像素子を使ったカメラであっても出力輝度に個体差があるためで、輝度を揃えるようと調整したＲＧＢゲイン値では、どうしてもこの程度の差が左右で発生する。この調整されたデジタルＲＧＢゲインの左右差により、アナログゲイン１１１には左右カメラで共通のゲイン値が設定される。そのため、画像ノイズは画像処理部までは左右で同程度であるものの、最終的な画像ノイズはデジタルＲＧＢゲイン値の左右差の分だけノイズ増幅分に左右差が発生する。つまり、左カメラの撮像画像の画像ノイズが、右カメラに比べ３．３％程度悪化していることになる。この左右の撮像画像での画像ノイズ差があるため、絶対的な画像ノイズの量を少しでも下げて、できるだけ画質を悪化させないようにする必要がある。
【００３７】
次に、絶対的な画像ノイズの量を下げるために、デジタルＲＧＢゲイン値を左右で規格化する、本実施形態のＲＧＢゲイン値の調整処理について説明する。上述したように、絶対的な画像ノイズの量を下げるためには、左右差のあるデジタルＲＧＢゲイン値を左右同比率で大きくし、その結果として、アナログゲイン値を下げればよい。しかしながら、デジタルＲＧＢゲイン値をどこまでも大きくできるわけではなく、別の弊害が発生する。それは、非常に明るい光源下ではＲＧＢゲインで輝度を大きく増幅し過ぎると、アナログゲインで０ｄＢの下限に直ぐに到達してしまい適度な輝度にまで下げることができない。また、ＲＧＢゲインに大きな値のゲイン値を設定するためには、画像処理回路の演算ビットなどの規模も大きくする必要があるため回路規模が大きくなってしまう。よって、通常はデジタルＲＧＢゲイン値の適正な設定値は１近辺である。
【００３８】
本実施形態では、デジタルゲイン値を適正な範囲で少しでも大きくする目的で、設定するデジタルゲインの最小値を１と設定する。つまり、ステップＳ１８３のように、左右のゲイン値で最小値を算出し、その最小値で規格化することによりデジタルゲイン値を１以上に設定する。
【００３９】
以上のように、本実施形態では、デジタルＲＧＢゲイン５０２に設定されるデジタルゲイン値を補正し、その補正されたデジタルＲＧＢゲイン値から規格化係数を求めて規格化することによって、画像の悪化を抑制することができる。
【００４０】
［第１の実施形態の変形例］
上述の第１の実施形態では、左右のデジタルＲＧＢゲイン値を規格化する調整方法により、左右のＧゲイン値のうち、小さい方のゲイン値が１となるようにした。しかし、ゲイン値が１より大きく下回ることなくゲイン値が１近辺であればよいとして、左右のＧゲイン値の平均値で規格するとしてもよい。すなわち、左のＧゲイン値と右のＧゲイン値との平均値が１となるように規格化するもので、この場合、片方のゲイン値は１以上となるが、もう片方は１以下となる。
【００４１】
また、上述の第１の実施形態では、左右のＧゲイン値を比較して規格化係数を決定したが、この構成に限らず、Ｒゲイン値やＢゲイン値を使って規格化係数を決定したり、Ｒ、Ｇ、Ｂの３信号成分のすべてのゲイン値から規格化係数を決定したりするようにしてもよい。具体的には、デジタルゲイン値をＲＧＢ全てで１以上とするために、左右のＲＧＢのゲイン値のうち最小値を求めて、その最小値により規格化するようにすればよい。
【００４２】
また、輝度は上述した数式１により算出できるので、この輝度で規格化係数を決定してもよい。具体的には、算出した右目用ＲＧＢゲイン値９３１Ｒ、左目用９３１Ｌ（図９（ｂ））それぞれから、数式１を用いて輝度値を算出する。そして、大きい値の輝度値を小さい方の輝度値により除算し、その値を規格化係数とする。そして、この規格化係数を小さい方の輝度値のＲＧＢゲイン値それぞれに掛けることにより、調整されたＲＧＢゲイン値を決定できる。
【００４３】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、デジタルＲＧＢゲイン値を大きくすると画像ノイズが小さくなる傾向を示す回路特性の場合において、ＲＧＢゲイン値を規格化、調整する構成について説明した。本実施形態では、第１の実施形態とは逆に、デジタルＲＧＢゲインを大きくすると画像ノイズも大きくなる傾向を示す回路特性の場合について、そのゲイン値の補正、調整の方法について説明する。なお、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明を省略する。
【００４４】
まず、本実施形態で取り上げる、デジタルＲＧＢゲイン値を大きくすると画像ノイズが小さくなる回路特性について、このような回路特性が表れる理由を説明する。なお、本実施形態の撮像ユニットの構成も、図３（ｂ）の概略ブロック図として説明した第１の実施形態と同様の撮像ユニットの構成を有している。このとき、アナログゲイン１１１が処理した画像信号をＡ／Ｄ変換部１１２へ伝送するまでの伝送経路にノイズが入るような場合で、そのノイズが撮像素子で発生しアナログゲイン１１１で増幅したノイズより大きい場合には、上述の回路特性となる。すなわち、デジタルＲＧＢゲインを大きくすると、アナログゲイン以前の画像ノイズの抑制効果よりも、ノイズの増幅効果の方が大きくなるためノイズとしては悪化することになる。
【００４５】
次に、図１１のフローチャートを参照して、本実施形態におけるデジタルＲＧＢゲイン値の調整方法について説明する。図１１のフローチャートにおいて、第１の実施形態と異なる点は、ステップＳ１８１の処理に代えて、ステップＳ２８３の処理を有していることである。なお、その他のステップにおける処理は、第１の実施形態と同様であるため説明を省略する。
【００４６】
ステップＳ２８３では、前ステップＳ１８２で算出したＲＧＢゲイン値９３１Ｒと９３１Ｌから、それぞれＧゲイン値を抽出して、それら値の比較をして最大値を算出する。そして、算出したＧゲイン値の最大値をゲイン規格値Ｎｏｒｍとして、ＲＧＢゲイン値９３１Ｒと９３１Ｌに対して除算をして、規格化されたＲＧＢゲイン値を算出する。
【００４７】
以上のように、本実施形態では、ＲＧＢゲイン値を規格化、調整することによって、左右差のあるデジタルＲＧＢゲイン値を１以下の大きさにして、デジタルＲＧＢゲイン５０２に設定することで、画像ノイズの悪化を抑制することができる。つまり、デジタルＲＧＢゲイン値を１以下とすることで、結果として、アナログゲイン値が大きくなるため画像信号値も大きくなり、ノイズに対するＳＮ比が良化する。このように、本実施形態では、第１の実施形態と同様に、回路特性に合わせて、デジタルＲＧＢゲイン値を補正、調整することによって、画像ノイズの悪化を抑制することが可能となる。
【００４８】
［その他］
上述の各実施形態では、右目用カメラ２０Ｒと左目用カメラ２０Ｌの２つのカメラ（撮像装置）を有する場合を例に説明を行った。しかし、本発明の各実施形態は、３以上の撮像装置を含む、複数の撮像装置を有する構成に広く適用できるものである。また、上述の各実施形態では、アナログゲイン値、デジタルゲイン値の補正、および調整はＨＭＤ２００内のＭＰＵ１３０により処理するものとして説明した。しかし、これに限らず、例えば、ＨＭＤ２００に接続されたコンピュータ装置２５０側のリソース（ＭＰＵ）により処理するものでもあってもよい。更に言えば、本発明の各実施形態に係るゲイン値の補正、調整を実現するための構成、機能部は、ＨＭＤ２００またはコンピュータ装置２５０のいずれかに備えられていればよい。つまり、ＨＭＤ２００（画像処理装置）と、これに接続されたコンピュータ装置２５０（情報処理装置）とを有する画像処理システムに、各実施形態を実現するための構成、機能部が備えられていればよい。
【００４９】
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００５０】
２００  ＨＭＤ
１００Ｒ、Ｌ  撮像ユニット
１２０Ｒ、Ｌ  表示ユニット
１３０  ＭＰＵ
１１１  アナログゲイン
１１３  画像処理部
５０２  デジタルＲＧＢゲイン
２０Ｒ、Ｌ  カメラ
【図１】
0006622537.tif 000002
【図２】
0006622537.tif 000003
【図３】
0006622537.tif 000004
【図４】
0006622537.tif 000005
【図５】
0006622537.tif 000006
【図６】
0006622537.tif 000007
【図７】
0006622537.tif 000008
【図８】
0006622537.tif 000009
【図９】
0006622537.tif 000010
【図１０】
0006622537.tif 000011
【図１１】
0006622537.tif 000012