(57)【要約】【課題】撮像された画像の輝度分布が適切な範囲に収束しないことがあった。【解決手段】分割部２２は、撮像されたフレーム画像を複数の露光制御エリアに分割する。抽出部２６は、複数の露光制御エリアのうち、輝度レベルが所定の範囲内に収まるエリアをフレーム単位で抽出する。補正部２８は、抽出された露光制御エリアの出力信号を補正するよう、前段の回路素子に指示する。抽出部２６は、複数の露光制御エリアの輝度レベルから注目すべき輝度レベルを抽出し、抽出した輝度レベルに応じて、所定の範囲を適応的に変化させてもよい。【選択図】図２
2009010694.tif 000002
【特許請求の範囲】
【請求項１】
撮像されたフレーム画像を複数の露光制御エリアに分割する分割部と、
前記複数の露光制御エリアのうち補正すべきエリアを、前記フレーム画像の輝度レベルに応じて選択することを特徴とする制御部と、
を備えることを特徴とする露光制御回路。
【請求項２】
撮像されたフレーム画像を複数の露光制御エリアに分割する分割部と、
前記複数の露光制御エリアのうち、輝度レベルが所定の範囲内に収まるエリアをフレーム単位で抽出する抽出部と、
抽出された露光制御エリアの出力信号を補正するよう、前段の回路素子に指示する補正部と、
を備えることを特徴とする露光制御回路。
【請求項３】
前記抽出部は、前記複数の露光制御エリアの輝度レベルから注目すべき輝度レベルを抽出し、抽出した輝度レベルに応じて、前記所定の範囲を適応的に変化させることを特徴とする請求項２に記載の露光制御回路。
【請求項４】
前記複数の露光制御エリアごとに各画素の輝度値を積分して、輝度積分値を求める演算部をさらに備え、
前記フレーム画像には、合成されるべき低輝度用画像および高輝度用画像の少なくとも二種類があり、
前記抽出部は、前記フレーム画像が低輝度用画像の場合、前記輝度積分値のうちの最小値を抽出し、その最小値から増加方向に一定距離の範囲を前記所定の範囲に設定し、前記フレーム画像が高輝度用画像の場合、前記輝度積分値のうちの最大値を抽出し、その最大値から減少方向に一定距離の範囲を前記所定の範囲に設定することを特徴とする請求項２に記載の露光制御回路。
【請求項５】
前記補正部は、前記抽出部により抽出された露光制御エリアの輝度積分値の平均値を所定の値に近づけるよう、または前記抽出部により抽出された露光制御エリアの輝度積分値における最大値と最小値との平均値を所定の値に近づけるよう、抽出された露光制御エリアの輝度値を補正するよう、前段の回路素子に指示することを特徴とする請求項４に記載の露光制御回路。
【請求項６】
撮像されたフレーム画像を複数の露光制御エリアに分割する分割部と、
前記フレーム画像の黒つぶれ画素または飽和画素を検出する信号量判定部と、
前記フレーム画像に含まれる画素数とその画像フレームの黒つぶれ画素数または飽和画素数との割合を参照して、前記複数の露光制御エリアから抽出すべきエリア数を決定し、決定した数の露光制御エリアを輝度レベルが低い順または高い順に抽出する抽出部と、
抽出された露光制御エリアの出力信号を補正するよう、前段の回路素子に指示する補正部と、
を備えることを特徴とする露光制御回路。
【請求項７】
撮像素子と、
前記撮像素子により撮像されたフレーム画像の露光制御を行う請求項１から６のいずれかに記載の露光制御回路と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像される画像の露光状態を制御する露光制御回路、およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサを搭載したデジタルビデオカメラやデジタルスチルカメラが広く普及してきている。このようなカメラは、適正露光を得るための自動露光制御機能を搭載するものが多い。また、異なる露光条件で複数の画像を撮像し、それらを合成して、広ダイナミックレンジの画像を得る機能を搭載するものも多い。
【０００３】
特許文献１は、露光制御に関して、以下の技術を開示する。まず、第１の画像信号および第２画像信号をそれぞれ複数のエリアに分割し、エリアごとの輝度値を積算する。つぎに、輝度レベルの低い順にｎ個の低輝度エリアを第１の画像信号より抽出してその平均値を算出する。同様に、輝度レベルの高い順にｍ個の高輝度エリアを第２の画像信号より抽出してその平均値を算出する。最後に、それらの結果にもとづき第１の画像信号および第２の画像信号の露光時間を個別に制御する。
【０００４】
特許文献２は、露光制御に関して、以下の技術を開示する。まず、撮影映像の輝度分布を示すヒストグラム上で、所定の閾値によって仕切られた高輝度部分と低輝度部分におけるそれぞれの輝度積分値と画素数を検波する。つぎに、それぞれの輝度積分値と画素数をもとに、長時間露光制御用評価値と短時間露光制御用評価値とを別々に求め、各評価値にもとづいて長時間露光制御と短時間露光制御とを行う。
【特許文献１】特開２００３−３１９２５０号公報
【特許文献２】特開２００３−１７４５８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
露光時間の長い低輝度用画像と、露光時間の短い高輝度用画像を良好に合成させるには、それぞれの画像の輝度分布を適正な範囲に収束させる必要がある。しかしながら、従来の露光制御では、撮像された画像の輝度分布が適切な範囲に収束しないことがあった。たとえば、逆光状態や過順光状態で撮像される場合、補正が強くかかりすぎ、正常な範囲にあった画素の輝度値が適正な範囲から外れてしまうことがあった。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、撮像された画像の輝度分布を適正な範囲に収束させることができる露光制御回路、およびそれを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の露光制御回路は、撮像されたフレーム画像を複数の露光制御エリアに分割する分割部と、複数の露光制御エリアのうち、補正すべきエリアをフレーム画像の輝度レベルに応じて選択することを特徴とする制御部と、を備える。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、撮像された画像の輝度分布を適正な範囲に収束させることができる。
【発明を実施するための最良の形態】
【００１０】
図１は、実施の形態に係る撮像装置１００の構成図である。実施の形態に係る撮像装置１００は、撮像素子１０、ＡＧＣ回路１２、Ａ／Ｄ変換回路１４および信号処理回路１６を備える。
【００１１】
撮像素子１０は、ＣＣＤセンサまたはＣＭＯＳイメージセンサを備え、センサへの入射光を電気信号に変換し、ＡＧＣ回路１２に出力する。以下、ＣＣＤセンサを備える例で説明する。撮像素子１０は、電子シャッタ制御機能、電子増倍制御機能、および画素混合制御機能のうち、少なくとも一つを備え、受光電荷量を制御する。
【００１２】
電子シャッタ制御機能は、露光制御回路２０からの制御信号に応じて、露光時間を制御する。電子倍増制御機能は、露光制御回路２０からの制御信号により指定された回数、電子増倍する。画素混合制御機能は、露光制御回路２０からの制御信号により指定された複数画素の電荷を混合する。これらの制御は、画素単位で実行されることが可能である。
【００１３】
なお、図示しない絞りは、露光制御回路２０からの制御信号により、図示しないレンズで集光された光のうち、撮像素子１０に出力すべき光量を調整する。この制御は、フレーム単位で実行される。
【００１４】
ＡＧＣ（Automatic Gain Control)回路１２は、撮像素子１０の出力信号の振幅を所定の範囲内に収めるべく当該出力信号を増幅するための増幅率を調整する。その際、露光制御回路２０からの指示を加味して、当該増幅率を決定する。この制御も、画素単位で実行されることが可能である。以下、上述した電子シャッタ制御機能、電子増倍制御機能、画素混合制御機能、絞り機能、およびＡＧＣ制御機能の全部または一部を総称して露光制御機能と呼ぶ。Ａ／Ｄ変換回路１４は、ＡＧＣ回路１２から入力されるアナログ信号をデジタル信号に変換し、信号処理回路１６に出力する。
【００１５】
信号処理回路１６は、Ａ／Ｄ変換回路１４から入力されるデジタル信号に対し、各種の信号処理を施し、図示しないエンコーダなどに出力する。本実施の形態に関連する処理として、異なる露光条件で撮像された複数の画像のそれぞれの画像信号を合成することにより、ダイナミックレンジを拡大する処理を実行する。以下、低輝度用画像と高輝度用画像の二枚の画像を撮像素子１０に交互に撮像させ、二枚の画像のそれぞれの画像信号を合成する例を説明する。
【００１６】
信号処理回路１６は、露光制御回路２０を含み、露光制御回路２０に撮像素子１０で撮像される画像の露光制御を実行させる。
図２は、実施の形態の実施例１に係る露光制御回路２０の構成を示す。露光制御回路２０は、分割部２２、制御部２３および補正部２８を備える。制御部２３は、演算部２４および抽出部２６を含む。露光制御回路２０の構成は、ハードウェア的には、任意のＤＳＰ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１７】
分割部２２は、撮像素子１０で撮像されたフレーム画像を複数の露光制御エリアに分割する。露光制御エリアは、一以上の画素の集合であり、本実施の形態では、独立して補正されるべき単位である。なお、露光制御エリアはｘ×ｙ（ｘ、ｙは自然数）の長方形または正方形の領域に限らず、任意の形状をした領域であってよい。
【００１８】
また、各露光制御エリアの画素数は必ずしも同一でなくてもよい。意図的にフレーム画像内の中央付近に位置する露光制御エリアの画素数を多くしたり、少なくしてもよい。多くした場合、高輝度用画像にて中央付近の露光制御エリアが補正対象として抽出されやすくなり、少なくした場合、低輝度用画像にて中央付近の露光制御エリアが補正対象として抽出されやすくなる。ここで、高輝度用画像は、低輝度用画像より露光時間が短い関係にあり、それぞれの露光時間は設計者が任意に設計することができる。
【００１９】
なお、各露光制御エリアの画素数を等しくするほうが演算量を低減することができる。また、各露光制御エリアの画素数は、ノイズ画素の影響を低減するため、数画素以上であることが望ましい。
【００２０】
制御部２３は、分割部２２で分割された複数の露光制御エリアのうち補正すべきエリアを、フレーム画像の輝度レベルに応じてフレーム単位で選択する。輝度レベルは、明るさの程度を表す広義の意である。制御部２３は、輝度レベルとして、後述する、各露光制御エリアの輝度積分値を参照してもよい。また、輝度レベルは、被写体領域の輝度値で表されてもよいし、全画素数に対する黒つぶれ画素数または飽和画素数の比率で表されてもよい。補正すべきエリアの数は可変であり、制御部２３が所定の基準を満たすと判定したエリアが、すべて補正対象となる。
【００２１】
制御部２３は、低輝度用画像に含まれる比較的多くの画素の輝度値が、輝度分布の範囲を狭くしつつ、所定の低側基準値に近づくよう補正部２８に補正させる。また、高輝度用画像に含まれる比較的多くの画素の輝度値が、輝度分布の範囲を狭くしつつ、所定の高側基準値に近づくよう補正部２８に補正させる。所定の低側基準値および所定の高側基準値は、設計者が実験やシミュレーションにより求められ、それぞれの画像において適正な露光を得るための値に設定される。ここで、輝度値は明るさを表す広義の意であり、その信号形式は問わない。たとえば、ＲＧＢ系の信号で表されてもよいし、ＹＵＶ系の信号で表されてもよい。
【００２２】
以下、制御部２３の処理をより具体的に説明する。
演算部２４は、分割部２２により分割された複数の露光制御エリアごとに、各露光制御エリアに含まれる画素の輝度値を積分して、輝度積分値を求める。演算部２４は、複数の輝度積分値を抽出部２６に出力する。
【００２３】
抽出部２６は、分割部２２により分割された複数の露光制御エリアのうち、輝度レベルが所定の範囲内に収まる露光制御エリアをフレーム単位で抽出する。輝度レベルとして、輝度積分値を使用することができる。積分値に限らず、明るさの程度を十分に表現できれば他の演算値でもよい。抽出部２６は、抽出した露光制御エリアをフレーム単位で補正部２８に通知する。
【００２４】
また、抽出部２６は、分割部２２により分割された複数の露光制御エリアの輝度レベルから注目すべき輝度レベルを抽出し、抽出した輝度レベルに応じて、上記所定の範囲を適応的に変化させることができる。注目すべき特徴輝度レベルとして、上記輝度積分値のうち、最小値または最大値を抽出することができる。なお、最小値または最大値に限らず、最小値または最大値に所定の定数を加減算した値や、中央値などでもよい。
【００２５】
抽出部２６は、低輝度用画像の場合、複数の輝度積分値のうちの最小値を抽出し、その最小値から増加方向に一定距離の範囲を上記所定の範囲に設定することができる。ここで、一定距離は、設計者が実験やシミュレーションにより求めた値に設定することができる。この所定の範囲に含まれる露光制御エリアが補正対象となるため、設計者が求める補正が最も実現される値に設定されればよい。
【００２６】
抽出部２６は、高輝度用画像の場合、複数の輝度積分値のうちの最大値を抽出し、その最大値から減少方向に一定距離の範囲を上記所定の範囲に設定することができる。ここで、一定距離は、設計者が実験やシミュレーションにより求めた値に設定することができる。
【００２７】
補正部２８は、抽出部２６により抽出された露光制御エリアの出力信号、より具体的には抽出された各露光制御エリアに含まれる各画素の輝度値を補正するよう前段の回路素子に指示する。前段の回路素子には、撮像素子１０およびＡＧＣ回路１２の少なくとも一方が含まれ、それらの露光制御機能により各画素の輝度値が補正される。補正部２８は、ある補正方法として、抽出された露光制御エリアの輝度積分値の平均値を所定の値に等しくするよう、または近づけるよう指示する。ここで、所定の値は低輝度用画像の場合、低側基準値が用いられてもよく、高輝度用画像の場合、高側基準値が用いられてもよい。
【００２８】
以下、露光制御回路２０の処理を、具体例を参照しながら説明する。
図３は、フレーム画像３０を複数の露光制御エリアに分割した図である。ここでは、分割部２２は、フレーム画像３０を２５（縦５×横５）個の露光制御エリアに分割する。すべての露光制御エリアは等画素数で構成される。演算部２４は、各露光制御エリアの輝度積分値を求める。
【００２９】
図４は、実施例１に係る低輝度用画像における輝度積分値の分布を示す図である。この分布図は、横軸に輝度積分値をとり、縦軸に露光制御エリアの数をとる。抽出部２６は、上述した２５個に分割された露光制御エリアの各輝度積分値をプロットし、低側の所定の範囲ＬＲに存在する輝度積分値を抽出する。図４では斜線で描かれたブロックが該当する。低側の所定の範囲ＬＲは、プロットされた輝度積分値のうちの最小値Σｍｉｎから増加方向に一定距離を有する範囲である。最小値Σｍｉｎは、フレーム単位で可変するため、低側の所定の範囲ＬＲも可変する。一定距離として、図４では上述した所定の低側基準値ＬＣを用いる。
【００３０】
補正部２８は、抽出部２６により抽出された露光制御エリアを補正対象とする。実施例１では、補正部２８は、抽出部２６により抽出された露光制御エリアの輝度積分値の平均値を算出し、その平均値が所定の低側基準値ＬＣと等しくまたは近づくよう、補正対象の露光制御エリアの輝度値が補正されるよう上記露光制御機能を制御する。
【００３１】
以下、具体的な数値を挙げて説明する。前提として、抽出された輝度積分値がそれぞれ１０、１２、１５、２０、２５、２８、４０、５０、・・・１００とする。所定の低側基準値ＬＣが２０とする。この例では、抽出された輝度積分値の最小値Σｍｉｎが１０であるため、低側の所定の範囲ＬＲは１０〜３０（＝１０＋２０）となる。抽出された輝度積分値のうち、１０〜３０の間に存在するのは、１０、１２、１５、２０、２５、２８である。これらの平均値は、（１０＋１２＋１５＋２０＋２５＋２８）／６≒１８．３である。
【００３２】
補正部２８は、平均値（１８．３）を所定の低側基準値ＬＣ（２０）に近づけるため、抽出された露光制御エリアの各輝度値に対して、補正値（２０／１８．３）が掛けられるよう上記露光制御機能を制御する。この結果、つぎに抽出される輝度積分値は、それぞれ１０．９、１３．１、１６．４、２１．８、２７．３、３０．６、４３．７、５４．６、・・・１０９．３となる。低側の所定の範囲ＬＲ（１０．９〜３０．９）に存在する輝度積分値の平均値は、（１０．９＋１３．１＋１６．４＋２１．８＋２７．３＋３０．６）／６≒２０となる。
【００３３】
図５は、実施例１に係る高輝度用画像における輝度積分値の分布を示す図である。この分布図は、横軸に輝度積分値をとり、縦軸に露光制御エリアの数をとる。抽出部２６は、上述した２５個に分割された露光制御エリアの各輝度積分値をプロットし、高側の所定の範囲ＨＲに存在する輝度積分値を抽出する。図５では斜線で描かれたブロックが該当する。高側の所定の範囲ＨＲは、プロットされた輝度積分値のうちの最大値Σｍａｘから減少方向に一定距離を有する範囲である。最大値Σｍａｘは、フレーム単位で可変するため、高側の所定の範囲ＨＲも可変する。一定距離として、図５では、撮像素子１０の飽和値から上述した所定の高側基準値ＬＣを引いた値を用いる。
【００３４】
低輝度用画像における処理と同様に、補正部２８は、抽出部２６により抽出された露光制御エリアの輝度積分値の平均値を算出し、その平均値が所定の高側基準値ＨＣと等しくまたは近づくよう、補正対象の露光制御エリアの輝度値が補正されるよう上記露光制御機能を制御する。撮像素子１０は、高輝度用画像と低輝度用画像を交互に撮像し、信号処理回路１６は、補正された高輝度用画像と低輝度用画像とを合成する。
【００３５】
図６は、実施例１に係る露光制御回路２０の動作を示すフローチャートである。図６は低輝度用画像に対する露光制御を示す。まず、分割部２２は、フレーム画像を所定数の露光制御エリアに分割する（Ｓ１０）。演算部２４は、各露光制御エリアの輝度積分値を算出する（Ｓ１２）。抽出部２６は、算出された輝度成分値の中から最小値Σｍｉｎを抽出する（Ｓ１４）。抽出部２６は、抽出した最小値Σｍｉｎから増加方向に一定距離を有する所定の範囲ＬＲを設定する（Ｓ１６）。二枚目のフレーム画像からは、抽出した最小値Σｍｉｎが変化したとき、所定の範囲ＬＲを更新する。
【００３６】
抽出部２６は、所定の範囲ＬＲに存在する輝度積分値を抽出する（Ｓ１８）。抽出部２６は、抽出した輝度積分値の平均値を算出する（Ｓ２０）。補正部２８は、その平均値が所定の低側基準値ＬＣに近づくよう、抽出された輝度積分値の露光制御エリアに含まれる画素の輝度値が補正されるよう上記露光制御機能を制御する（Ｓ２２）。以上の処理がフレーム単位で実行される。すなわち、最後のフレーム画像でない場合（Ｓ２４のＮ）、ステップＳ１０に遷移し、最後のフレーム画像の場合（Ｓ２４のＹ）、処理を終了する。高輝度用画像についても、最小値Σｍｉｎと最大値Σｍａｘとの違い、所定の低側基準値ＬＣと所定の高側基準値ＨＣとの違い、および所定の範囲ＨＲが設定される位置の違いを除き、同様の処理となる。
【００３７】
なお、上述した例ではステップＳ２２における補正処理に関し、補正部２８は、補正対象の露光制御エリアに含まれる画素の輝度値に対し、所定の低側基準値ＬＣを上記平均値で割った補正値が掛けられ、補正されるよう上記露光制御機能を制御した。この手法は、一回の補正により、当該平均値を所定の低側基準値ＬＣと等しくまたは略等しくする処理である。
【００３８】
この点、当該平均値を段階的に所定の低側基準値ＬＣに近づけるよう処理してもよい。たとえば、補正値の５０％など、補正値の一定割合を上記露光制御エリアに含まれる画素の輝度値に掛けてもよい。同一シーンが続く場合、上記平均値は、目的とする位置または範囲に徐々に収束されていく。これにより、ハンチングを抑制することができる。また、シーンが切り替わった場合、補正対象の露光制御エリアの分布が大きく変化し、新たな補正処理が開始される。
【００３９】
以上説明したように実施例１によれば、撮像された画像の輝度分布を適正な範囲に収束させることができる。たとえば、低輝度用画像では、輝度積分値が低いほうから一つ以上の露光制御エリアを、適正な露光を得るための基準値に近づけることができる。これにより、黒つぶれ画素を低減することができる。一方、高輝度用画像では、輝度積分値が高いほうから一つ以上の露光制御エリアを、適正な露光を得るための基準値に近づけることができる。これにより、飽和画素を低減することができる。また、いずれの場合も、合成に適した輝度値の近辺に多くの画素を配置させることができる。
【００４０】
また、低輝度用画像では、輝度積分値が高い領域の露光制御エリアを補正しないため、それらの輝度値が必要以上に高く補正されることがなく、輝度分布全体を適正な範囲に収束させることができる。この点、フレーム全体の露光を制御する従来の手法では、輝度分布が全体としてシフトするだけであり、必要以上に高い輝度値が発生し得る。高輝度用画像についても同様の考察があてはまる。
【００４１】
また、フレーム画像内における被写体を含む露光制御エリアが、低輝度用画像における低輝度側または高輝度用画像における高輝度側に位置する場合、被写体を含む露光制御エリアがそれぞれの画像における基準値に近づけられることになる。この場合、被写体領域の露光状態を良好に保つことができる。
【００４２】
また、補正すべき露光制御エリアを抽出するための所定の範囲を可変にすることにより、その範囲に露光制御エリアが多数存在する確率を高めることができ、多数の露光制御エリアを基準値に近づけることができる。この点、所定の範囲が固定の場合、その範囲に露光制御エリアが零または極めて少数しか存在しない場合も生じる。また、所定の範囲を可変にすることにより、補正対象の露光制御エリアを、目標とすべき位置または範囲に段階的に近づけていく制御も可能となる。
【００４３】
また、所定の範囲に存在するか否かを基準に輝度積分値を抽出するため、輝度積分値のソート処理が必要なく、演算量を低減することができる。よって、露光制御回路２０をハードウェアで構成することも容易である。
【００４４】
つぎに実施例２について説明する。実施例２は、実施例１と比較し、演算量をさらに低減したものである。実施例２に係る露光制御回路２０の構成および動作は、基本的に実施例１と同様である。以下、相違点を説明する。実施例２では、補正部２８は、抽出部２６により抽出された露光制御エリアの輝度積分値のうち、その一部を用いて補正値を求める。たとえば、抽出された露光制御エリアの輝度積分値の最大値と最小値との平均値を、所定の値に近づけるよう、抽出された露光制御エリアの輝度値が補正されるよう上記露光制御機能を制御する。ここで、所定の値は低輝度用画像の場合、低側基準値が用いられてもよく、高輝度用画像の場合、高側基準値が用いられてもよい。
【００４５】
図７は、実施例２に係る低輝度用画像における輝度積分値の分布を示す図である。この分布図は、横軸に輝度積分値をとり、縦軸に露光制御エリアの数をとる。抽出部２６は、上述した２５個に分割された露光制御エリアの各輝度積分値をプロットし、低側の所定の範囲ＬＲに存在する輝度積分値を抽出する。抽出した輝度積分値のうち、それらの最大値と最小値との平均値を求める。図７では斜線で描かれたブロックが当該最大値および最小値である。
【００４６】
補正部２８は、抽出部２６により抽出された露光制御エリアを補正対象とする。実施例２では、実施例１のように抽出部２６により抽出された輝度積分値のすべての平均値を算出するのではなく、それらの最大値と最小値との平均値を算出する。この平均値が所定の低側基準値ＬＣと等しくまたは近づくよう、補正対象の露光制御エリアの輝度値が補正されるよう上記露光制御機能を制御する。より具体的には、補正部２８は、当該平均値を所定の低側基準値ＬＣに近づけるため、抽出された輝度積分値の露光制御エリアにおける各輝度値に対して、補正値が掛けられるよう上記露光制御機能を制御する。この補正値は、所定の低側基準値ＬＣを当該平均値で割った値である。
【００４７】
図８は、実施例２に係る高輝度用画像における輝度積分値の分布を示す図である。この分布図は、横軸に輝度積分値をとり、縦軸に露光制御エリアの数をとる。抽出部２６は、上述した２５個に分割された露光制御エリアの各輝度積分値をプロットし、高側の所定の範囲ＨＲに存在する輝度積分値を抽出する。抽出した輝度積分値のうち、それらの最大値と最小値との平均値を求める。図８では斜線で描かれたブロックが当該最大値および最小値である。
【００４８】
補正部２８は、抽出部２６により抽出された輝度積分値の露光制御エリアを補正対象とする。実施例２では、実施例１のように抽出部２６により抽出された輝度積分値のすべての平均値を算出するのではなく、それらの最大値と最小値との平均値を算出する。この平均値が所定の高側基準値ＨＣと等しくまたは近づくよう、補正対象の露光制御エリアの輝度値が補正されるよう上記露光制御機能を制御する。より具体的には、補正部２８は、当該平均値を所定の高側基準値ＬＣに近づけるため、抽出された露光制御エリアの各輝度値に対して、補正値が掛けられるよう上記露光制御機能を制御する。この補正値は、所定の高側基準値ＨＣを当該平均値で割った値である。
【００４９】
以上説明したように実施例２によれば、実施例１と同様の効果を奏する。さらに、補正対象の露光制御エリアの輝度値に掛けるべき補正値の算出方法を簡素化したことにより、演算量を低減することができる。
【００５０】
つぎに実施例３について説明する。
図９は、実施例３に係る露光制御回路２０の構成を示す図である。実施例３に係る露光制御回路２０は、図２に示した実施例１に係る露光制御回路２０に信号量判定部２１を付加した構成である。信号量判定部２１は、フレーム画像の黒つぶれ画素または飽和画素を検出する。より具体的には、低輝度用画像の場合、各画素の輝度値が零または所定の下限閾値を下回る画素を抽出し、フレーム画像ごとにその数を集計し、抽出部２６に通知する。所定の下限閾値は、設計者が黒つぶれと判定すべき輝度値の上限に設定されることができる。
【００５１】
信号量判定部２１は、高輝度用画像の場合、各画素の輝度値が飽和または所定の上限閾値を上回る画素を抽出し、フレーム画像ごとにその画素数を集計し、抽出部２６に通知する。所定の上限閾値は、設計者が飽和と判定すべき輝度値の下限に設定されることができる。
【００５２】
抽出部２６は、フレーム画像に含まれる画素数とその画像フレームの黒つぶれ画素数または飽和画素数との割合を参照して、複数の露光制御エリアから抽出すべきエリア数ｎ（ｎは自然数）を決定する。決定した数ｎの露光制御エリアを輝度レベルが低い順または輝度レベルが高い順に抽出する。低輝度用画像の場合、低い順に、高輝度用画像の場合、高い順に抽出する。
【００５３】
補正部２８は、抽出部２６により抽出された露光制御エリアの輝度積分値の平均値を算出し、その平均値を所定の値に等しくまたは近づける補正がなされるよう上記露光制御機能を制御する。ここで、所定の値は低輝度用画像の場合、低側基準値が用いられてもよく、高輝度用画像の場合、高側基準値が用いられてもよい。この補正において、信号量判定部２１により抽出される画素数と全体画素数との割合が、所定の収束目標範囲に収まるまでを一連の流れとする。ここで、所定の収束目標範囲は、設計者が実験やシミュレーションにより求めた値に設定されることができる。低輝度用画像の場合、全体画素数に対する黒つぶれ画素の含有比率の目標範囲に設定され、高輝度用画像の場合、全体画素数に対する飽和画素の含有比率の目標範囲に設定される。
【００５４】
以下、具体的な数値を挙げて低輝度用画像を補正する例を説明する。前提として、所定の収束目標範囲を５〜１０％とする。また、抽出部２６が最初に抽出すべき露光制御エリア数ｎを１０とする。このエリア数ｎは設計者が実験やシミュレーションにより求めた値に設定されることができる。抽出部２６は、分割された露光制御エリアの輝度積分値のうち、低い順に１０個、抽出する。補正部２８は、抽出された１０個の露光制御エリアの輝度積分値の平均値を算出する。そして、補正対象の露光制御エリアに含まれる画素の輝度値に対し、所定の低側基準値を上記平均値で割った補正値が掛けられるよう上記露光制御機能を制御する。
【００５５】
信号量判定部２１は、つぎのフレーム画像から、輝度値が零または所定の下限閾値を下回る画素を検出し、その画素数を集計し、抽出部２６に通知する。抽出部２６は、その画素数と全体画素数との割合を求め、その割合が所定の収束目標範囲に収まるか否か判定する。収まった場合、エリア数ｎを更新しない。当該割合が所定の収束目標範囲を上回る場合、エリア数ｎをデクリメントする。たとえば、当該割合が３０％になったとする。この場合、エリア数ｎを１０から９に更新する。抽出部２６は、分割された露光制御エリアの輝度積分値のうち、低い順に９個、抽出する。
【００５６】
補正部２８は、抽出された９個の露光制御エリアの輝度積分値の平均値を算出する。エリア数ｎが減ったため、その平均値も小さくなる。そして、補正対象の露光制御エリアに含まれる画素の輝度値に対し、上記補正値が掛けられるよう上記露光制御機能を制御する。これにより、それらの輝度値を高くし、黒つぶれ画素を減少させることができる。信号量判定部２１は、つぎのフレーム画像から、輝度値が零または所定の下限閾値を下回る画素を検出し、その画素数を集計し、抽出部２６に通知する。
【００５７】
抽出部２６は、その画素数と全体画素数との割合を求める。その結果が２０％になったとする。当該割合が所定の収束目標範囲を上回っているため、エリア数ｎをさらにデクリメントする。抽出部２６は、分割された露光制御エリアの輝度積分値のうち、低い順に８個、抽出する。補正部２８は、抽出された８個の露光制御エリアの輝度積分値の平均値を算出する。そして、補正対象の露光制御エリアに含まれる画素の輝度値に対し、上記補正値が掛けられるよう上記露光制御機能を制御する。
【００５８】
信号量判定部２１は、つぎのフレーム画像から、輝度値が零または所定の下限閾値を下回る画素を検出し、その画素数を集計し、抽出部２６に通知する。抽出部２６は、その画素数と全体画素数との割合を求める。その結果が８％になったとする。この値は、所定の収束目標範囲に収まるため、以下、同一シーンでは、エリア数ｎが固定される。なお、以上の処理において、上記割合が所定の収束目標範囲を下回った場合、エリア数ｎをインクリメントする。これにより、黒つぶれ画素を増やすことができる。
【００５９】
図１０は、実施例３に係る露光制御回路２０の動作を示すフローチャートである。図１０は低輝度用画像に対する露光制御を示す。説明を簡素化するため、所定の収束目標範囲の下限を零とし、エリア数ｎをインクリメントする処理を想定しない。
【００６０】
まず、抽出部２６は、抽出すべきエリア数ｎを基本値に設定する（Ｓ３０）。分割部２２は、フレーム画像を所定数の露光制御エリアに分割する（Ｓ３２）。演算部２４は、各露光制御エリアの輝度積分値を算出する（Ｓ３４）。信号量判定部２１は、フレーム画像内から、輝度値が零または所定の下限閾値を下回る画素を検出する（Ｓ３６）。抽出部２６は、抽出された画素数の全体画素数に対する比率を算出する（Ｓ３８）。
【００６１】
抽出部２６は、算出した比率が所定の収束目標範囲の上限値を上回るか否か判定し（Ｓ４０）、上回る場合（Ｓ４０のＹ）、エリア数ｎをデクリメントする（Ｓ４２）。図１０では一を引いているが、二以上でもよい。所定の収束目標範囲の上限値を下回る場合（Ｓ４０のＮ）、エリア数ｎを更新しない。
【００６２】
抽出部２６は、輝度積分値を低いほうから順番にｎ個抽出し（Ｓ４４）、それらの平均値を算出する（Ｓ４６）。補正部２８は、その平均値が所定の低側基準値に近づくよう、抽出された輝度積分値の露光制御エリアに含まれる画素の輝度値が補正されるよう上記露光制御機能を制御する（Ｓ４８）。以上の処理がフレーム単位で実行される。最後のフレーム画像の場合（Ｓ５０のＹ）、処理を終了する。最後のフレーム画像でない場合（Ｓ５０のＮ）、抽出部２６は、シーンが変化したか否か判定し（Ｓ５２）、変化した場合（Ｓ５２のＹ）、ステップＳ３０に遷移し、エリア数ｎを基本値に戻して処理を続行する。変化しない場合（Ｓ５２のＮ）、ステップＳ３２に遷移し、エリア数ｎを更新させずに処理を続行する。
【００６３】
以上、低輝度用画像を例に説明したが、高輝度用画像に対しても基本的に同様のアルゴリズムで処理することができる。以下、相違点について説明する。ステップＳ３６にて信号量判定部２１は、フレーム画像内から、輝度値が飽和しているまたは所定の上限閾値を上回る画素を検出する。ステップＳ４０、Ｓ４２にて、抽出部２６は、算出した比率が所定の収束目標範囲の下限値を下回るか否か判定し、下回る場合、エリア数ｎをインクリメントする。ステップＳ４４にて、抽出部２６は、輝度積分値を高いほうから順番にｎ個抽出する。
【００６４】
以上説明したように実施例３によれば、撮像された画像の輝度分布を適正な範囲に収束させることができる。とくに、実施例３では、全体画素数に対する黒つぶれ画素または飽和画素の比率を所望の範囲に収束させることができる。
【００６５】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６６】
上述した実施例では、低輝度用画像および高輝度用画像のいずれかのフレーム画像を複数の露光制御エリアに分割する例を説明した。この点、低輝度用画素および高輝度用画素が混在するフレーム画像にも本発明の実施の形態を適用することができる。
【００６７】
図１１は、変形例１に係る低輝度用画素および高輝度用画素が混在するフレーム画像４０を示す。図１１にて、斜線で描かれているブロックが高輝度用画素を示し、中が空白のブロックが低輝度用画素を示す。図１１に示すフレーム画像４０は、高輝度用画素と低輝度用画素が行方向に交互に配置される。
【００６８】
分割部２２は、高輝度用画素と低輝度画素を分離して、一枚の画像フレームから、高輝度用画像と低輝度用画像を生成し、それぞれの画像について上述した実施例１〜３のように、複数の露光制御エリアに分割する。以下、それぞれの画像について上述した実施例１〜３のように、露光制御することができる。
【００６９】
上述した実施例では、演算部２４は、分割された複数の露光制御エリアの輝度積分値を算出する際、すべてのエリアを同様に扱った。この点、演算部２４は、複数の露光制御エリアの輝度積分値に重み付けをしてもよい。
【００７０】
図１２は、変形例２に係るフレーム画像の各露光制御エリアに対する重み付け係数を示す図である。図１２（ａ）は、高輝度用画像に対する重み付け係数を示し、図１２（ｂ）は、低輝度用画像に対する重み付け係数を示す。これらの重み付けを実行することにより、露光制御全体に対する中央領域の寄与度を高めることができる。すなわち、中央領域に存在する露光制御エリアが補正対象として抽出されやすくなる。
【００７１】
図１２では、低輝度用画像に対する重み付け係数を、高輝度用画像に対する重み付け係数の逆数に設定しているが、必ずしも逆数にする必要はない。また、中央領域ではなく周辺領域など、設計者が任意の領域の寄与度を高めることができる。たとえば、黒つぶれや飽和が発生してもよいエリアに対して重み付けせず、それらを発生させたくないエリアに対して重み付けしてもよい。
【００７２】
上述した実施例では、低輝度用画像および高輝度用画像の二枚の画像を合成する例を説明した。この点、三枚以上の画像を合成する場合にも本発明の実施の形態を適用することができる。たとえば、低輝度用画像、中輝度用画像および高輝度用画像の三枚の画像を合成してもよい。この場合、実施例１、２にて、中輝度用画像の適正値として別の基準値を設け、輝度積分値の最小値と最大値との距離を三等分した場合の真ん中の範囲などを所定の範囲に設定することにより、低側および高側と同様の処理が可能である。実施例３についても、別の収束目標範囲を設定し、輝度積分値のうち中央値から最小値方向および最大値方向に交互にｎ個抽出するなどの処理により、低側および高側と同様の処理が可能である。
【００７３】
上述した説明では、合成すべき複数のフレーム画像すべてについて実施例に係る露光制御を施した。この点、一部のフレーム画像について実施例に係る露光制御を施し、他のフレーム画像に対して、既存の露光制御を施してもよい。
【図面の簡単な説明】
【００７４】
【図１】実施の形態に係る撮像装置の構成図である。
【図２】実施の形態の実施例１に係る露光制御回路の構成を示す図である。
【図３】フレーム画像を複数の露光制御エリアに分割した図である。
【図４】実施例１に係る低輝度用画像における輝度積分値の分布を示す図である。
【図５】実施例１に係る高輝度用画像における輝度積分値の分布を示す図である。
【図６】実施例１に係る露光制御回路の動作を示すフローチャートである。
【図７】実施例２に係る低輝度用画像における輝度積分値の分布を示す図である。
【図８】実施例２に係る高輝度用画像における輝度積分値の分布を示す図である。
【図９】実施例３に係る露光制御回路の構成を示す図である。
【図１０】実施例３に係る露光制御回路の動作を示すフローチャートである。
【図１１】変形例１に係る低輝度用画素および高輝度用画素が混在するフレーム画像を示す図である。
【図１２】図１２（ａ）は、変形例２に係る高輝度用画像に対する重み付け係数を示し、図１２（ｂ）は、変形例２に係る低輝度用画像に対する重み付け係数を示す図である。
【符号の説明】
【００７５】
１０  撮像素子、  １２  ＡＧＣ回路、  １４  Ａ／Ｄ変換回路、  １６  信号処理回路、  ２０  露光制御回路、  ２１  信号量判定部、  ２２  分割部、  ２３  制御部、  ２４  演算部、  ２６  抽出部、  ２８  補正部、  １００  撮像装置。  
【図１】
2009010694.tif 000003
【図２】
2009010694.tif 000004
【図３】
2009010694.tif 000005
【図４】
2009010694.tif 000006
【図５】
2009010694.tif 000007
【図６】
2009010694.tif 000008
【図７】
2009010694.tif 000009
【図８】
2009010694.tif 000010
【図９】
2009010694.tif 000011
【図１０】
2009010694.tif 000012
【図１１】
2009010694.tif 000013
【図１２】
2009010694.tif 000014