(57)【要約】【課題】自動露出制御装置及び方法を提供する。【解決手段】実施形態に係る自動露出制御方法は、入力された映像フレームの輝度値によってＥＳ（Ｅｌｅｃｔｒｉｃ  Ｓｈｕｔｔｅｒ）値とＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を比例積分制御方法で計算するステップと、計算されたＥＳ値とＡＧＣ値を利用して現在映像フレームに自動露出補正を行うステップと、を含む。現在映像フレームの輝度値を増加させる自動露出補正を行う場合、ＥＳ値を優先的に適用して自動露出補正を行い、ＥＳ値の調節範囲を超える自動露出補正が必要な場合、ＡＧＣ値を一緒に適用して自動露出補正を行う。【選択図】図１
2008086019.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像フレームの輝度値によってＥＳ（Ｅｌｅｃｔｒｉｃ  Ｓｈｕｔｔｅｒ）値とＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を比例積分制御方法で計算するステップと、
前記計算されたＥＳ値とＡＧＣ値を利用して現在映像フレームに自動露出補正を行うステップと、を含む自動露出制御方法。
【請求項２】
前記現在映像フレームの輝度値を増加させる自動露出補正を行う場合、前記ＥＳ値を優先的に適用して自動露出補正を行い、前記ＥＳ値の調節範囲を超える自動露出補正が必要な場合、前記ＡＧＣ値を一緒に適用して自動露出補正を行う請求項１に記載の自動露出制御方法。
【請求項３】
前記現在映像フレームの輝度値を減少させる自動露出補正を行う場合、前記ＡＧＣ値を優先的に適用して自動露出補正を行い、前記ＡＧＣ値の調節範囲を超える自動露出補正が必要な場合、前記ＥＳ値を一緒に適用して自動露出補正を行う請求項１に記載の自動露出制御方法。
【請求項４】
前記ＥＳ値及びＡＧＣ値は、前記入力された映像フレームの輝度値にフィードバック遅延変数を反映した請求項１に記載の自動露出制御方法。
【請求項５】
前記フィードバック遅延変数は、前記入力された輝度値を有する映像フレームと現在映像フレーム間の輝度変化値を含む請求項４に記載の自動露出制御方法。
【請求項６】
前記輝度変化値は、前記入力された輝度値を有する映像フレームと現在映像フレーム間に存在する映像フレームの輝度変化予想値と、現在映像フレームの輝度変化予想値を含む請求項５に記載の自動露出制御方法。
【請求項７】
前記入力された輝度値を有する映像フレームは、前記現在映像フレームの２フレーム前に位置する請求項５に記載の自動露出制御方法。
【請求項８】
前記ＥＳ値とＡＧＣ値は、
2008086019.tif 000012
を利用して各操作量を計算する請求項１に記載の自動露出制御方法。
（ここで、ＭＶｎは今回操作量、ＭＶｎ−１は前回操作量、ΔＭＶｎは今回操作量の微分）
【請求項９】
2008086019.tif 000013
である請求項８に記載の自動露出制御方法。
（ここで、Ｋｐは比例制御定数、Ｋｉは積分制御定数、ｅｎは今回操作量の偏差、ｅｎ−１は前回操作量の偏差）
【請求項１０】
フレーム遅延変数は、
2008086019.tif 000014
に反映されて計算される請求項４に記載の自動露出制御方法。
（ここで、ＣＦＤはフィードバックの最終値、ＦＤは現在フィードバック値、ＵＤはフレーム輝度値増加時の輝度変化値、ＤＤはフレーム輝度値減少時の輝度変化値）
【請求項１１】
ｅｎ＝Ｔ−ＣＦＤｎであり、ｅｎ−１＝Ｔ−ＣＦＤｎ−１であり、
2008086019.tif 000015
である請求項１０に記載の自動露出制御方法。
（ここで、Ｔは目標輝度値、ｅｎは今回操作量の偏差、ｅｎ−１は前回操作量の偏差、 ΔＭＶｎは今回操作量の微分、Ｋｐは比例制御定数、Ｋｉは積分制御定数）
【請求項１２】
入射した映像の光量をアナログ映像信号に変換するイメージセンサと、
前記イメージセンサからアナログ映像信号の入力を受信してデジタル映像信号に変換し、  前記イメージセンサの動作を制御するアナログフロントエンドと、
前記アナログフロントエンドから入力された映像信号の輝度値によって、ＥＳ（Ｅｌｅｃｔｒｉｃ  Ｓｈｕｔｔｅｒ）とＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を比例積分制御方法で計算して、前記イメージセンサの露出時間及び前記アナログフロントエンドのアナログ利得を制御するコントローラと、を含む自動露出制御装置。
【請求項１３】
前記コントローラは、ＥＳ値とＡＧＣ値を前記アナログフロントエンドのレジスタに記録して、前記イメージセンサ及びアナログフロントエンドを制御する請求項１２に記載の自動露出制御装置。
【請求項１４】
前記コントローラは、現在映像フレームの輝度値を増加させる自動露出補正を行う場合、ＥＳ値を優先的に適用して自動露出補正を行い、ＥＳ値の調節範囲を超える自動露出補正が必要な場合、ＡＧＣ値を一緒に適用して自動露出補正を行う請求項１２に記載の自動露出制御装置。
【請求項１５】
前記コントローラは、現在映像フレームの輝度値を減少させる自動露出補正を行う場合、ＡＧＣ値を優先的に適用して自動露出補正を行い、前記ＡＧＣ値の調節範囲を超える自動露出補正が必要な場合、ＥＳ値を一緒に適用して自動露出補正を行う請求項１２に記載の自動露出制御装置。
【請求項１６】
ＥＳ値及びＡＧＣ値は、前記入力された映像フレームの輝度値にフィードバック遅延変数を反映した請求項１２に記載の自動露出制御装置。
【請求項１７】
フィードバック遅延変数は、前記入力された輝度値を有する映像フレームと現在映像フレーム間の輝度変化値を含む請求項１２に記載の自動露出制御装置。
【請求項１８】
前記輝度変化値は、前記入力された輝度値を有する映像フレームと現在映像フレーム間に存在する映像フレームの輝度変化予想値と、現在映像フレームの輝度変化予想値を含む請求項１７に記載の自動露出制御装置。
【請求項１９】
前記入力された輝度値を有する映像フレームは、現在映像フレームの２フレーム前に位置する請求項１７に記載の自動露出制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、自動露出制御装置及び方法に関する。
【背景技術】
【０００２】
産業用ロボットや工作機械などに、高度の自動制御技術を採用して機器の性能向上を図っている。かかる自動制御技術の代表的な制御システムとして、開ループシステム（Ｏｐｅｎ  Ｌｏｏｐ  Ｓｙｓｔｅｍ）と閉ループシステム（Ｃｌｏｓｅｄ  Ｌｏｏｐ  Ｓｙｓｔｅｍ）がある。
【０００３】
代表的な前記開ループシステムとして、シーケンス制御（Ｓｅｑｕｅｎｃｅ  Ｃｏｎｔｒｏｌ）が挙げられるが、このようなＮｏｎ  Ｆｅｅｄｂａｃｋ  Ｓｙｓｔｅｍは極めて一部の制御システムで使用され、殆ど現在の値を正確に補償することができるフィードバックシステムのような閉ループシステムが使用される。
【０００４】
前記フィードバックシステムとしては、比例制御器、積分制御器、比例積分制御器、比例微分積分制御器、ファジー制御器、ファジー比例微分積分制御器などがある。それぞれの制御器は、システムの特性によって適切に利用されているが、比例積分制御器と比例微分積分制御器が最も多く利用されている。
【０００５】
前記比例積分制御方式は、主にＮｏｎ  Ｍｏｔｅｒｉｚｅｄシステムに使用されるが、システムの特性を考慮した比例変数と積分変数の設定によってシステムの応答速度を増加させながらも、過度なオーバーシュートの発生を防止し、安定度が向上する長所を有する。
【０００６】
一方、カメラモジュールの自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ、以下「ＡＥ」ともする）制御機能は、映像の輝度を光源の照度と関係なく最適の状態に維持する装置及びデジタル制御技術である。
【０００７】
自動露出制御機能は、被写体とその周辺環境の光量と被写体の光反射率などを考慮して、自動で映像の輝度を制御する。
【０００８】
デジタルカメラモジュールの場合には、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）内にＡＥアルゴリズムが搭載され、被写体周囲の照度変化または被写体の輝度に対応して入力映像フレーム単位で被写体の輝度レベルを調節する方式で、自動露出制御機能が行われる。
【０００９】
従来ＡＥアルゴリズムは、制御の観点でなく信号処理の観点で、自動露出補正制御の前段階であるフィードバック信号データの処理を主として構成されていて、単に目標輝度値と現在輝度値との差を補正する機能に限られていた。
【００１０】
従来ＡＥアルゴリズムは、ＥＳ（Ｅｌｅｃｔｒｉｃａｌ  Ｓｈｕｔｔｅｒ）値とＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を利用して自動露出補正を行うために、多数の実験を通して様々な場合の輝度値に対するＥＳ値とＡＧＣ値をデータベース化し、イメージシグナルプロセッシング（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）を通して処理された現在輝度データに該当するＥＳ値とＡＧＣ値を使用した。
【００１１】
しかし、このような従来方式は、ＩＳＰ内のメモリ使用量が増加し、アルゴリズム開発に大変時間が所要されるだけでなく、実験ができていない環境では誤作動をするなどの問題点があった。
【００１２】
また、映像信号処理時間が考慮されないため、ＡＥ正確度を高めるのに限界がある。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
実施形態は、上述の問題点に鑑みてなされたもので、比例積分（Ｐｒｏｐｏｒｔｉｏｎａｌ−Ｉｎｔｅｇｒａｌ）制御方式を利用する自動露出制御装置及び方法を提供する。
【００１４】
また、実施形態は、フィードバック遅延によるハンチングを補正した自動露出制御装置及び方法を提供する。
【課題を解決するための手段】
【００１５】
実施形態に係る自動露出制御方法は、入力された映像フレームの輝度値によってＥＳ（Ｅｌｅｃｔｒｉｃ  Ｓｈｕｔｔｅｒ）値とＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を比例積分制御方法で計算するステップと、前記計算されたＥＳ値とＡＧＣ値を利用して現在映像フレームに自動露出補正を行うステップと、を含む。
【００１６】
実施形態に係る自動露出制御装置は、入射した映像の光量をアナログ映像信号に変換するイメージセンサと、前記イメージセンサからアナログ映像信号の入力を受信してデジタル映像信号に変換し、前記イメージセンサの動作を制御するアナログフロントエンドと、前記アナログフロントエンドから入力された映像信号の輝度値によって、ＥＳ（Ｅｌｅｃｔｒｉｃ  Ｓｈｕｔｔｅｒ）値とＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を比例積分制御方法で計算して、前記イメージセンサの露出時間及び前記アナログフロントエンドのアナログゲインを制御するコントローラと、を含む。
【発明の効果】
【００１７】
実施形態に係る自動露出制御装置及び方法によれば、カメラモジュールの自動露出補正において比例積分制御方式を適用し、映像信号処理による映像フレームフィードバックの遅延を考慮することで、安定性及び速度をより向上させる効果が得られる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好ましい実施の形態を、添付図面に基づき詳細に説明する。
【００１９】
図１は、実施形態に係る自動露出制御装置を説明する図である。
【００２０】
図１に示すように、自動露出制御装置は、映像が入射するレンズ１０と、前記レンズ１０を通して入射した映像の光量を電気的信号であるアナログ映像信号に変換するイメージセンサ２０と、前記イメージセンサ２０からアナログ映像信号の入力を受信してデジタル映像信号に変換し、前記イメージセンサ２０を制御するアナログフロントエンド（ＡＦＥ：Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）３０と、前記アナログフロントエンド３０から出力されたデジタル映像信号を処理して出力し、前記アナログフロントエンド３０を制御するコントローラ４０とを含む。
【００２１】
前記イメージセンサ２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサまたはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサなどのイメージセンサで具現されることができる。
【００２２】
前記アナログフロントエンド３０は、ＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）を含むことができ、前記イメージセンサ２０から出力されたアナログ映像信号をデジタル映像信号に変換して、前記コントローラ４０に提供する。
【００２３】
また、前記アナログフロントエンド３０は、前記イメージセンサ２０が駆動できるように、ＨＳｙｎｃ、ＹＳｙｎｃ、ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）などの各種のクロックを発生することができる。
【００２４】
また、前記アナログフロントエンド３０は、前記コントローラ４０の制御によりアナログ映像信号のアナログゲインを調整する。
【００２５】
前記コントローラ４０は、ＩＳＰ及びＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ）を含むことができる。
【００２６】
前記コントローラ４０は、前記ＩＳＰを介して前記アナログフロントエンド３０から入力されたデジタルデータをＹＣｒＣｂデータに変換し、入力された映像信号の輝度を検出する。また、前記コントローラ４０は、前記ＩＳＰを介して映像信号に対してデジタルゲイン制御（Ｄｉｇｉｔａｌ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）を行うことができる。
【００２７】
そして、前記コントローラ４０は、前記ＭＣＵを介してＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）を行って、映像データを出力する。
【００２８】
実施形態に係る自動露出制御装置で、前記コントローラ４０は、前記イメージセンサ２０の露出時間（Ｅｘｐｏｓｕｒｅ  Ｔｉｍｅ）及び前記アナログフロントエンド３０のアナログゲイン（Ａｎａｌｏｇ  Ｇａｉｎ）を制御して、入力される光の強度によって自動でイメージ輝度（Ｉｍａｇｅ  Ｂｒｉｇｈｔｎｅｓｓ）を適合に補正して出力する。
【００２９】
前記コントローラ４０は、前記イメージセンサ２０の露出遅延時間を制御するＥＳ（Ｅｌｅｃｔｒｉｃ  Ｓｈｕｔｔｅｒ）値と前記アナログフロントエンド３０のアナログゲインを制御するＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）値を比例積分方式を利用して計算し、自動露出制御を行う。
【００３０】
ここで、前記自動露出制御を行う時、ノイズ成分による影響を考慮して、前記ＥＳ値及びＡＧＣ値が適用されるようにする。
【００３１】
すなわち、前記ＥＳ値を減少させて映像の輝度を増加させる場合ノイズ成分は変化しないが、前記ＡＧＣ値を増加させて映像の輝度を増加させる場合、ノイズ成分が増幅して画質に影響を与えるようになる。
【００３２】
従って、映像の輝度を増加させる自動露出制御をするとき、前記ＡＧＣ値を調節する前に前記ＥＳ値を優先的に調節し、映像の輝度を減少させる自動露出制御をするときは、前記ＥＳ値を調節する前に前記ＡＧＣ値を優先的に調節する。
【００３３】
一方、前記ＥＳ値は、イメージセンサ２０のピクセルに電荷が蓄積される露出時間が遅延される時間を意味し、ＥＳ値が増加するほど電荷が蓄積される時間が短くなるので、映像の輝度値が減少する。
【００３４】
例えば、前記ＥＳ値が１００である場合、前記イメージセンサ２０は１から１００までカウントした後、電荷の蓄積を始める。従って、前記ＥＳ値が大きいほど電荷の蓄積時間が短くなる。
【００３５】
前記ＡＧＣ値は映像信号のアナログゲインを意味し、ＡＧＣ値が増加するほど輝度値が増加する。
【００３６】
前記ＥＳ値とＡＧＣ値は前記アナログフロントエンド３０のレジスタ（Ｒｅｓｉｓｔｅｒ）に記録され、前記レジスタに記録された値によって露出遅延時間及びアナログゲインが決定される。
【００３７】
図２及び図３は、実施形態に係る自動露出制御装置及び方法におけるＥＳ値及びＡＧＣ値の調節を説明する図である。
【００３８】
映像の品質を決定する時、最も重要なことの一つはノイズ成分である。このような理由で、映像の輝度を増加させる自動露出制御をする時、ノイズ成分に少ない影響を与えるＥＳ値を先に調節し、ＥＳ値の調節範囲を超えた場合だけにＡＧＣ値を調節する。
【００３９】
図２において、まず、前記アナログフロントエンド３０のレジスタに記録されたＥＳ値が調節可能な最小値のＥＳ＿Ｍｉｎより大きく、調節可能な最大値のＥＳ＿Ｍａｘより小さいかを判断する（Ｓ２１０）。
【００４０】
前記ＥＳ値がＥＳ＿Ｍｉｎ＜ＥＳ＜ＥＳ＿Ｍａｘの範囲に含まれる場合、求める輝度の映像を得るためのＥＳ値を比例積分制御方法により計算する（Ｓ２２０）。
【００４１】
もし、前記ＥＳ値だけを調節して求める輝度の映像が得られる場合、前記ＥＳ値はＥＳ＿Ｍｉｎより大きくＥＳ＿Ｍａｘより小さい範囲の値で選択され、前記ＥＳ値と前記アナログフロントエンド３０に予め記録されているＡＧＣ値により自動露出制御が行われる（Ｓ２３０、Ｓ２４０）。
【００４２】
一方、前記ＥＳ値だけを調節して求める輝度の映像が得られない場合、前記ＥＳ値はＥＳ＿Ｍｉｎ値で計算されて前記アナログフロントエンド３０のレジスタに記録される（Ｓ２２０、Ｓ２３０、Ｓ２４０）。
【００４３】
そして、前記ＥＳ値がＥＳ＿Ｍｉｎ＜ＥＳ＜ＥＳ＿Ｍａｘの範囲に含まれるかを再び判断する（Ｓ２１０）。
【００４４】
前記ＥＳ値がＥＳ＿Ｍｉｎで記録されたので、前記アナログフロントエンド３０のレジスタに記録されたＡＧＣ値が調節可能な最小値のＡＧＣ＿Ｍｉｎより大きく、調節可能な最大値のＡＧＣ＿Ｍａｘより小さいかを判断する（Ｓ２５０、Ｓ２６０）。
【００４５】
前記ＡＧＣ値がＡＧＣ＿Ｍｉｎ＜ＡＧＣ＜ＡＧＣ＿Ｍａｘの範囲に含まれる場合、求める輝度の映像を得るためのＡＧＣ値を比例積分制御方法により計算する（Ｓ２７０）。
【００４６】
もし、前記ＡＧＣ値を調節して求める輝度の映像が得られる場合、前記ＡＧＣ値はＡＧＣ＿Ｍｉｎより大きくＡＧＣ＿Ｍａｘより小さい範囲の値で選択され、前記選択されたＡＧＣ値と前記アナログフロントエンド３０に記録された前記ＥＳ値により自動露出制御が行われる（Ｓ２３０、Ｓ２４０）。
【００４７】
一方、前記ＡＧＣ値を調節して求める輝度の映像が得られない場合、前記ＡＧＣ値はＡＧＣ＿Ｍａｘで計算されて、前記アナログフロントエンド３０のレジスタに記録される（Ｓ２７０、Ｓ２８０、Ｓ２３０、Ｓ２４０）。
【００４８】
このように、映像の輝度を増加させる自動露出制御を行う時、優先的にＥＳ値を調整して映像を最大限に明るく補正し、前記ＥＳ値の調整を通して求める輝度の映像が得られない場合、前記ＡＧＣ値を調整する。
【００４９】
図３は、映像の輝度を減少させる自動露出制御を説明する図である。
【００５０】
図３において、前記アナログフロントエンド３０のレジスタに記録されたＡＧＣ値が調節可能な最小値のＡＧＣ＿Ｍｉｎより大きく、調節可能な最大値のＡＧＣ＿Ｍａｘより小さいかを判断する（Ｓ３１０）。
【００５１】
前記ＡＧＣ値がＡＧＣ＿Ｍｉｎ＜ＡＧＣ＜ＡＧＣ＿Ｍａｘの範囲に含まれる場合、求める輝度の映像を得るためのＡＧＣ値を比例積分制御方法により計算する（Ｓ３２０）。
【００５２】
もし、前記ＡＣＧ値だけを調節して求める輝度の映像が得られる場合、前記ＡＧＣ値はＡＧＣ＿Ｍｉｎより大きくＡＧＣ＿Ｍａｘより小さい範囲の値で選択され、前記ＡＧＣ値と前記アナログフロントエンド３０に予め記録されているＥＳ値により自動露出制御が行われる（Ｓ３３０、Ｓ３４０）。
【００５３】
一方、前記ＡＧＣ値だけを調節して求める輝度の映像が得られない場合、前記ＡＧＣ値はＡＧＣ＿Ｍｉｎ値で計算されて前記アナログフロントエンド３０のレジスタに記録される（Ｓ３２０、Ｓ３３０、Ｓ３４０）。
【００５４】
そして、前記ＡＧＣ値がＡＧＣ＿Ｍｉｎ＜ＡＧＣ＜ＡＧＣ＿Ｍａｘの範囲に含まれるかを再び判断する（Ｓ３１０）。
【００５５】
前記ＡＧＣ値がＡＧＣ＿Ｍｉｎで記録されたので、現在のアナログフロントエンド３０のレジスタに記録されたＥＳ値が調節可能な最小値のＥＳ＿Ｍｉｎより大きく、調節可能な最大値のＥＳ＿Ｍａｘより小さいかを判断する（Ｓ３５０、Ｓ３６０）。
【００５６】
前記ＥＳ値がＥＳ＿Ｍｉｎ＜ＥＳ＜ＥＳ＿Ｍａｘの範囲に含まれる場合、求める輝度の映像を得るためのＥＳ値を比例積分制御方法により計算する（Ｓ３７０）。
【００５７】
もし、前記ＥＳ値を調節して求める輝度の映像が得られる場合、前記ＥＳ値はＥＳ＿Ｍｉｎより大きくＥＳ＿Ｍａｘより小さい範囲の値で選択され、前記選択されたＥＳ値と前記アナログフロントエンド３０に記録された前記ＡＧＣ値により自動露出制御が行われる（Ｓ３３０、Ｓ３４０）。
【００５８】
一方、前記ＥＳ値を調節して求める輝度の映像が得られない場合、前記ＥＳ値はＥＳ＿Ｍａｘで計算されて前記アナログフロントエンド３０のレジスタに記録される（Ｓ３７０、Ｓ３８０、Ｓ３３０、Ｓ３４０）。
【００５９】
このように、映像の輝度を減少させる自動露出制御をする時、優先的にＡＧＣ値を調整して映像を最大限に暗く補正し、前記ＡＧＣ値の調整を通して求める輝度の映像が得られない場合、前記ＥＳ値を調整する。
【００６０】
一方、実施形態に係る自動露出制御方法で前記ＥＳ値とＡＧＣ値を調節する時、例え映像の輝度値が目標値に補正されても、映像の輝度値が急に変わると使用者に視覚的な不便さを与えるおそれがある。
【００６１】
従って、自動露出補正を行いながらも、人の認知能力範囲の外で映像の輝度値が自然に変化するようにする。そのためにＥＳ操作量とＡＧＣ操作量を、比例積分制御方式を利用して計算する。
【００６２】
ＥＳ操作量とＡＧＣ操作量の計算において、下記の式１を利用して各操作量を計算する。
【００６３】
【数１】
2008086019.tif 000003
【００６４】
（ＭＶｎは今回操作量、ＭＶｎ−１は前回操作量、ΔＭＶｎは今回操作量の微分）
ここで、ΔＭＶｎは下記の式２のように表れる。
【００６５】
【数２】
2008086019.tif 000004
【００６６】
（Ｋｐは比例制御定数、Ｋｉは積分制御定数、ｅｎは今回操作量の偏差、ｅｎ−１は前回操作量の偏差）
式２に対して実際テストを行った結果、Ｋｐ＝０．４７、Ｋｉ＝０．５５でハンチング（ｈｕｎｔｉｎｇ）なしで柔軟に目標値に近づいた。
【００６７】
例えば、モバイルカメラシステムでのＡＥアルゴリズムは、早い速度も重要であるが、ハンチングなしで収斂することがもっと重要である。
【００６８】
しかし、このような式の比例積分制御でも、映像フレーム輝度値のフィードバックに遅延（ｄｅｌａｙ）が発生するため、ハンチングが発生し得る。
【００６９】
図４は、実施形態に係るフィードバック遅延（ｄｅｌａｙ）を説明するための図である。
【００７０】
図４で、ＦＤ（Ｆｅｅｄｂａｃｋ  Ｖａｌｕｅ）はフィードバック値であり、ＣＶ（Ｃｏｎｔｒｏｌ  Ｖａｌｕｅ）はＥＳ値、ＡＧＣ値のような制御値であり、Ｆ（Ｆｒａｍｅ）は各映像フレームを示す。
【００７１】
例えば、図４でＦｎ−３フレームが終わった時点でＣＶｎ−３値をレジスタに書き込むと（Ｗｒｉｔｅ）、Ｆｎ−２フレーム時点でその値が適用される。Ｆｎ−２フレームに適用された値は演算時間によりＦｎ−１フレームの進行中にＦＤｎ−２と値を読み取る（Ｒｅａｄ）。
【００７２】
ＩＳＰではＦＤｎ−２を目標値と比べて、その差だけＥＳ値とＡＧＣ値を補償する。結局、フレームの輝度値変化はすぐ前のフレームでない２フレーム前の輝度値がフィードバックされる結果となる。このような特性のため、全体ＡＥ区間でフレーム以前の値でフィードバックするので、ハンチングの問題が生じ得る。
【００７３】
実施形態では、このような映像フレーム輝度値のフィードバックで発生する遅延を補正するためのフレーム遅延変数を考慮して、自動露出補正を行う。
【００７４】
この時、フレーム遅延変数は、下記の式３により反映される。
【００７５】
【数３】
2008086019.tif 000005
【００７６】
（ＣＦＤはフィードバックの最終値、ＦＤは現在フィードバック値、ＵＤはフレーム輝度値増加時の輝度変化値、ＤＤはフレーム輝度値減少時の輝度変化値）
式３は、フィードバック最終値であるＣＦＤが現在フィードバック値のＦＤに２フレームの輝度変化値（ＵＤまたはＤＤ）を反映したことを意味する。
【００７７】
輝度値が増加した場合には、ＵＤデータを反映し、輝度値が減少した場合には、ＤＤデータを反映する。ここで、ＵＤとＤＤはＡＧＣ値、ＥＳ値による輝度変化予想値実験により求めることができる。ＵＤとＤＤを求めることを図５の実施形態を参照して説明すると、次の通りである。
【００７８】
図５は、実施形態に係るＡＧＣ値とＥＳ値の関係による映像フレームの輝度値を示すグラフである。（１）はＡＧＣ＝１４．１５ｄＢである時、（２）はＡＧＣ＝１５．９ｄＢである時、（３）はＡＧＣ＝１７．６５ｄＢである時のグラフである。
【００７９】
図５で、ＡＧＣ値とＥＳ値を利用して輝度変化値を求めることができる。
【００８０】
例えば、一番目フレームでＡＧＣ値が１４．１５ｄＢであり、ＥＳ値が４０６であれば、輝度値は約２１０である。そして、二番目フレームでＡＧＣ値が１５．９ｄＢであり、ＥＳ値が４０６であれば、輝度値は約２４０である。そして、三番目フレームでＡＧＣ値が１７．６５ｄＢであり、ＥＳ値が４０６であれば、輝度値は約２７０となる。ここで、一番目フレームから二番目フレームの間では輝度が約３０増加したので、ＵＤｎ−１＝３０となる。そして、二番目フレームから三番目フレームの間では輝度が約３０増加したので、ＵＤｎ＝３０となる。この例で、現在フィードバック値が３００だとしたら、式３で最終値はＣＦＤ＝３００＋３０＋３０＝３６０となる。
【００８１】
実施形態で式３を式２に適用するために下記の式４、５のようになる。
【００８２】
【数４】
2008086019.tif 000006
【数５】
2008086019.tif 000007
式４と式５をまとめると下記の式６、７のようになる。
【００８３】
【数６】
2008086019.tif 000008
【数７】
2008086019.tif 000009
前記で求めたｅｎとｅｎ−１を利用して比例項の偏差であるｅｎ−ｅｎ−１を求めると次の通りになる。
【００８４】
【数８】
2008086019.tif 000010
以上で求めたｅｎとｅｎ−ｅｎ−１を式２に代入すると、下記の式９のようになる。
【００８５】
【数９】
2008086019.tif 000011
式１０は、フレーム遅延変数まで考慮した比例積分制御方式の最終式である。
【００８６】
実施形態では、式９で求めたΔＭＶｎを式１に代入すると、ＥＳ値とＡＧＣ値の操作量を計算することができ、計算されたＥＳ値とＡＧＣ値によってカメラモジュールの自動露出補正を行う。
【００８７】
上述した本発明の好ましい実施の形態は、例示の目的のために開示されたものであり、本発明の属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形、及び変更が可能であり、このような置換、変更などは、特許請求の範囲に属するものである。
【図面の簡単な説明】
【００８８】
【図１】実施形態に係る自動露出制御装置を説明する図である。
【図２】実施形態に係る自動露出制御装置及び方法におけるＥＳ値及びＡＧＣ値の調節を説明する図である。
【図３】実施形態に係る自動露出制御装置及び方法におけるＥＳ値及びＡＧＣ値の調節を説明する図である。
【図４】実施形態に係るフィードバック遅延（ｄｅｌａｙ）を説明するための図である。
【図５】実施形態に係るＡＧＣ値とＥＳ値の関係による映像フレームの輝度値を示すグラフである。
【符号の説明】
【００８９】
１０  レンズ、  ２０  イメージセンサ、  ３０  アナログフロントエンド、  ４０  コントローラ。
【図１】
2008086019.tif 000016
【図２】
2008086019.tif 000017
【図３】
2008086019.tif 000018
【図４】
2008086019.tif 000019
【図５】
2008086019.tif 000020