(57)【要約】【課題】本発明は、モーションブラーを発生させず、画像の向上を図るように、露光パラメータを調整することを目的とする。【解決手段】電子カメラの画像間の動きの量を計算し、露光時間と、画像品質を向上する画像取得に用いられる１つ以上の他の露光パラメータとを、調整するために使用する。カメラの動き、または撮影中の場面内の被写体の動きにより生じるモーションブラーを、適切な露光パラメータを選択することで、低減する。さらに、検出された動きが少しまたは全くない場合、取得された画像において、被写体深度が改善され、ノイズが低減するように、露光パラメータを選択可能である。【選択図】図３
2009514435.tif 000002
【特許請求の範囲】
【請求項１】
画像取得前に、前記画像内の動きベクトルをモニターするモニターステップと、
前記画像のデータ取得に使用する継続時間を有する、１つ以上の露光パラメータを計算するために、前記画像内の前記動きベクトルをモニターすることで得られる情報を利用する利用ステップと、
その後、計算された１つ以上の前記露光パラメータの使用により、前記画像のデータを取得する取得ステップと、を備え、
１以上の画像データを取得する
ことを特徴とする電子画像装置の操作制御方法。
【請求項２】
前記継続時間に加えて、１以上の他のパラメータを計算して使用することにより、前記画像のデータを取得すること
を特徴とする請求項１に記載の電子画像装置の操作制御方法。
【請求項３】
計算された前記１以上の他のパラメータは、前記画像の光が通過したアパチャーのサイズを有すること
を特徴とする請求項２に記載の電子画像装置の操作制御方法。
【請求項４】
計算された前記１以上の他のパラメータは、利得を有すること
を特徴とする請求項２に記載の電子画像装置の操作制御方法。
【請求項５】
計算された前記利得は、アナログ信号の利得であること
を特徴とする請求項４に記載の電子画像装置の操作制御方法。
【請求項６】
計算された前記利得は、デジタル化された画像データに適用する利得であること
を特徴とする請求項４に記載の電子画像装置の操作制御方法。
【請求項７】
前記利用ステップが、前記画像のデータを取得するために使用する前記１つ以上の露光パラメータを計算する際に、前記画像の別の部分に対する一部分の動きを認識する方法で、前記画像の別個の領域における、少なくともいくつかの個々のベクトルを利用するステップを有する
ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
【請求項８】
前記利用ステップが、前記画像のデータを取得するために使用する前記１つ以上の露光パラメータを計算する際に、前記画像の少なくともいくつかの別個の領域における、個々のベクトルから計算される、１以上の総体的な動き量を利用するステップを有する
ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
【請求項９】
前記継続時間、及び前記１以上の他の露光パラメータを計算するための情報の利用は、最初に、事前継続時間と、前記動きベクトルをモニターして得られる前記情報を使用することなく、１以上の他の露光パラメータと、を計算し、その後、前記事前継続時間と、前記１以上の他の露光パラメータと、を前記動きベクトルをモニターして得られる前記情報を使用して調整するステップを有する
ことを特徴とする請求項２に記載の電子画像装置の操作制御方法。
【請求項１０】
前記事前継続時間の調整は、前記動きベクトルをモニターして得られる前記情報に応じて、前記継続時間を増やすステップを有する
ことを特徴とする請求項９に記載の電子画像装置の操作制御方法。
【請求項１１】
前記動きベクトルをモニターして得られる前記情報が、所定の閾値より低い画像の動きのレベルを示す
ことを特徴とする請求項１０に記載の電子画像装置の操作制御方法。
【請求項１２】
前記事前継続時間の調整は、前記動きベクトルをモニターして得られる前記情報に応じて、前記継続時間を減らすステップを有する
ことを特徴とする請求項９に記載の電子画像装置の操作制御方法。
【請求項１３】
前記動きベクトルをモニターして得られる前記情報が、所定の閾値より高い画像の動きのレベルを示す
ことを特徴とする請求項１０に記載の電子画像装置の操作制御方法。
【請求項１４】
前記画像のデータを取得する時間を予測するために、前記画面内の前記動きベクトルをモニターして得られる情報を利用するステップと、予測した前記時間に、前記画像のデータを利用するステップと、をさらに有する
ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
【請求項１５】
前記画像のデータを取得する前記時間は、前記動きが最小または所定の閾値より低いと予測される際に、所定の時間間隔内での時間を予測するように、決められる
ことを特徴とする請求項１４に記載の電子画像装置の操作制御方法。
【請求項１６】
前記画像から１つ以上の露光パラメータを計算し、前記画像内の前記動きベクトルをモニターして得られる情報は、前記画像のデータを取得する予測された前記時間において、前記動きを予測するステップを有する
ことを特徴とする請求項１４に記載の電子画像装置の操作制御方法。
【請求項１７】
前記モニターステップは、少なくとも２つの事前取得画像のデータを比較するステップを有する
ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
【請求項１８】
１つの場面の２つ以上の画像のデータを繰り返して取得するステップと、
前記その取得した前記データから、カメラに対する前記場面の少なくとも一部の動きの１以上の量を計算するステップと、
前記１つの場面の２つ以上の画像内の輝度情報から、相対的な動きを考慮することなく、前記場面の最終画像のデータを取得するための継続時間を有するパラメータを、事前に設定するステップと、
第１閾値より低い、相対的な動きの前記１以上の量に応じて、少なくとも露光の前記継続時間を増やすことにより、事前に設定された前記パラメータを調節するステップと、
第２閾値より高い、相対的な動きの前記１以上の量に応じて、少なくとも露光の前記継続時間を減らすことにより、事前設定された前記パラメータを調節するステップと、
その後、調整された前記継続時間と、アパチャーのサイズ及び利得からなるグループから選択される、１以上の他の調整された露光パラメータとを使用することで、前記場面の前記最終画像のデータを取得するステップとを有する
ことを特徴とする電子画像装置の操作方法。
【請求項１９】
前記第１閾値と前記第２閾値が、同じである
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項２０】
パラメータの事前設定は、１以上の他のパラメータを設定して、第１閾値より低い、相対的な動きの前記１以上の量に応じて、追加的に前記１以上の他のパラメータを低減することにより、事前設定された前記パラメータを調整し、第２閾値より高い、相対的な動きの前記１以上の量に応じて、追加的に前記１以上の他のパラメータを増すことにより、事前設定された前記パラメータを調整することを有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項２１】
前記第１閾値と前記第２閾値が、同じである
ことを特徴とする請求項２０に記載の電子画像装置の操作方法。
【請求項２２】
前記１以上の他のパラメータは、前記画像の光が通過するアパチャーのサイズを有する
ことを特徴とする請求項２０に記載の電子画像装置の操作方法。
【請求項２３】
前記１以上の他のパラメータは、画像利得を有する
ことを特徴とする請求項２０に記載の電子画像装置の操作方法。
【請求項２４】
前記画像利得は、前記データを取得する前に、画像情報を伝達するアナログ信号の利得レベルを有する
ことを特徴とする請求項２３に記載の電子画像装置の操作方法。
【請求項２５】
前記データの取得は、取得した前記データのデジタル化を有し、前記画像利得の調整は、デジタル化された画像の前記データの利得レベルの調整を有する
ことを特徴とする請求項２３に記載の電子画像装置の操作方法。
【請求項２６】
前記相対的な動きの前記１以上の量が、前記場面に対する前記カメラの動きを有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項２７】
前記相対的な動きの前記１以上の量が、前記場面の一部の動きを有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項２８】
前記相対的な動きの前記１以上の量を使用して、前記最終画像のデータを取得する時間を決定し、その後前記最終画像の前記データを取得するステップを、さらに有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項２９】
前記最終画像のデータを取得する前記時間が、決定され、前記相対的な動きが、最小または所定の閾値より低いと予測される場合に、所定の時間間隔内での時間を予測するステップを有する
ことを特徴とする請求項２８に記載の電子画像装置の操作方法。
【請求項３０】
相対的な動きの１以上の量を計算するステップは、前記最終画像のデータを取得するために決定された前記時間において、前記１以上の量を予測するステップを有する
ことを特徴とする請求項２８に記載の電子画像装置の操作方法。
【請求項３１】
事前に露光パラメータを設定した後、前記事前設定された露光パラメータが所定範囲に収まるか決定し、収まるならば、前記事前設定露光パラメータの調整を省くステップを、さらに有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項３２】
１つの場面の２つ以上の画像のデータを取得するステップは、前記最終画像の解像度よりも低い解像度を有する、２つ以上の連続する画像のデータを取得するステップを有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項３３】
１以上の動き量を計算するステップは、前記場面内の前記少なくも一部の動きベクトルを利用するステップを有する
ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
【請求項３４】
画像データの取得前に、場面と画像装置の少なくとも一部との間の相対的な動きの情報を取得するステップと、
取得した前記情報から、前記場面の少なくとも一部と前記画像装置との間の相対的な動き量が変化する、１以上の時間を計算するステップと、
前記相対的な動きが、最小または所定の閾値より低い際に、前記１以上の量から、将来時間を予測するステップと、
予測された前記将来時間に、前記相対的な動きに基づいて、取得された前記画像を向上する露光継続時間を有する、１つ以上の露光パラメータを計算するステップと、
計算された前記１つ以上の露光パラメータで、予測された前記将来時間に、前記場面の前記１以上の画像のデータを取得するステップと、を有し
１以上の場面の画像データを取得する
ことを特徴とする電子画像装置の操作方法。
【請求項３５】
前記場面と前記画像装置との間の相対的な動きの情報を取得するステップは、前記場面の複数の連続する画像のデータを、繰り返し取得するステップを有し、相対的な動きの量が変化する、１以上の時間を計算するステップは、少なくともいくつかの複数の連続する画像からのデータを使用する
ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
【請求項３６】
１つ以上の露光パラメータの計算するステップは、前記露光継続時間の計算に続いて、１以上の他の露光パラメータの計算するステップを有する
ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
【請求項３７】
計算された前記１以上の他の露光パラメータは、アパチャーの開口のサイズまたは画像利得うち、１以上を有する
ことを特徴とする請求項３６に記載の電子画像装置の操作方法。
【請求項３８】
前記画像利得は、前記データの取得前に、画像情報を伝達するアナログ信号の利得レベルを有する
ことを特徴とする請求項３７に記載の電子画像装置の操作方法。
【請求項３９】
前記データを取得するステップは、取得した前記データをデジタル化するステップを有し、計算された画像利得の前記露光パラメータは、デジタル化された画像の前記データの利得レベルを調整するステップを有する
ことを特徴とする請求項３７に記載の電子画像装置の操作方法。
【請求項４０】
相対的な動きの情報を取得するステップは、前記場面の別の部分に対する前記場面の一部分の移動の情報を取得するステップを有する
ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
【請求項４１】
相対的な動きの情報の取得は、前記画像装置に対する前記場面全体の移動の情報を取得することを有する
ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
【請求項４２】
相対的な動きの量が変化する、１以上の時間を計算するステップは、
前記少なくとも一部の前記場面内の動きベクトルを利用するステップを有する
ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
【請求項４３】
１つの場面の２つ以上の事前画像を取得するステップと、
前記画像装置の部分である映像ディスプレイ上に、取得したデータとして、前記事前画像を表示するステップと、
取得した前記２つ以上の事前画像のデータから、少なくとも前記場面の一部の動きの、１以上の量を計算するステップと、
取得した前記２つ以上の事前画像の１以上の中の輝度情報から、計算された前記動きの量を考慮することなく、最終画像のデータを取得するための継続時間を有するパラメータを、事前に設定するステップと、
前記２つ以上の事前画像内の動きをモニターして得られる情報を利用して、前記最終画像のデータを取得するために使用する継続時間を有する１つ以上の露光パラメータを計算するステップと、
その後、計算された前記１つ以上の露光パラメータを使用して、前記事前画像より高い解像度を有する、前記最終画像のデータを取得するステップと、を有する
ことを特徴とする電子画像装置の操作方法。
【請求項４４】
１以上の動き量の計算するステップは、前記少なくとも一部の前記場面内の動きベクトルを利用するステップを有する
ことを特徴とする請求項４３に記載の電子画像装置の操作方法。
【請求項４５】
光検出器と、
場面からの光を前記光検出器上へ投影する光学システムと、
前記光検出器上に投影された前記場面のデータを受信し、前記場面のデータを処理して取得された画像のデータを提供する電子処理ユニットと、を備え、
さらに、前記電子処理ユニットは、前記光検出器上に投影された前記場面のデータから、前記場面の動きの量を定量化し、この動きの量を使用して、前記取得された画像のデータを提供するために使用する利得を有する、１つ以上の露光パラメータを設定する
ことを特徴とする電子画像装置。
【請求項４６】
前記光学システムは、調整可能なアパチャーを有し、前記電子処理ユニットは、定量化された前記動きの量を使用して、前記アパチャーのサイズのパラメータを設定する
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項４７】
前記電子処理ユニットは、定量化された前記動きの量を使用して、前記装置内のアナログ利得のパラメータを設定する
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項４８】
前記電子処理ユニットは、定量化された前記動きの量を使用して、前記取得された画像のデータのデジタル利得のパラメータを設定する
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項４９】
前記電子処理ユニットは、前記取得された画像のデータを提供する前に、前記光検出器上に投影された２つ以上の前記場面の画像間において、少なくともいくつかの前記場面の別個の領域の動きベクトルを比較することで、前記場面での動きの量を定量化する
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項５０】
前記電子処理ユニットは、前記取得された画像のデータを提供する前に、２つ以上の前記画像間において、少なくともいくつかの前記場面の別個の領域の動きベクトルから、前記光検出器上に投影された２つ以上の前記場面の画像の総体的な動きを決定することで、前記場面での動きの量を定量化する
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項５１】
前記電子処理ユニットは、さらに、前記場面の定量化された前記動きの量を使用することはなく、少なくとも前記場面の輝度レベルに対する事前露光継続時間を計算するが、前記場面の定量化された前記動きの量を使用して、計算された前記事前露光継続時間を調整する
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項５２】
前記電子処理ユニットは、さらに、前記場面の定量化された前記動きの量を使用して、前記場面のデータを取得する時間を決定し、前記場面の前記データを、決定された前記時間に取得させる
ことを特徴とする請求項４５に記載の電子画像装置。
【請求項５３】
前記電子処理ユニットは、さらに、前記場面の前記動きの量が、最小または所定の閾値より低いと予測される場合に、所定の時間間隔内の時間を予測することで、前記場面のデータを取得する前記時間を決定する
ことを特徴とする請求項５２に記載の電子画像装置。
【請求項５４】
光検出器と、
場面からの光を前記光検出器上へ投影する光学システムと、
前記光検出器上に投影された前記場面のデータを受信し、前記場面のデータを処理して取得された画像のデータを提供する電子処理ユニットと、を備え、
さらに、前記電子処理ユニットは、前記光検出器上に投影された前記場面のデータから、前記場面の少なくともいくつかの別個の領域の個々の動きベクトルを計算し、計算された前記動きのベクトルを利用して、前記取得された画像のデータの提供に使用される露光継続時間を有する、１つ以上の露光パラメータの設定に用いる前記場面の動きを決定する
ことを特徴とする電子画像装置。
【請求項５５】
前記光検出器上に投影される、連続するプレビュー画像のデータを表示する電子ディスプレイを備え、さらに、前記電子処理ユニットは、前記プレビュー画像の解像度よりも高い解像度を有する、前記画面のデータを取得する前に現れるそのような２つ以上のプレビュー画像の前記データから、前記動きベクトルを計算する
ことを特徴とする請求項５４に記載の電子画像装置。
【請求項５６】
さらに、前記電子処理ユニットは、決定された前記場面の前記動きを利用して、取得した画像のデータを提供するために、前記場面のデータを処理する前に、電子的なアナログ利得の露光パラメータを設定する
ことを特徴とする請求項５４に記載の電子画像装置。
【請求項５７】
さらに、前記電子処理ユニットは、前記決定された前記場面の前記動きを利用して、前記場面のデータを処理することによる取得された画像のデータの提供に続いて、デジタル利得の露光パラメータを設定する
ことを特徴とする請求項５４に記載の電子画像装置。
【請求項５８】
さらに、前記電子処理ユニットは、前記決定された前記場面の前記動きを利用して、前記場面の光が通過する前記光学システム内のアパチャーのサイズの露光パラメータを設定する
ことを特徴とする請求項５４に記載の電子画像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、デジタルカメラ及び他のカラービデオ入力用デバイスの自動露光制御に関し、さらに詳しくは、静止画又は動画の取得データに対する最適な露光パラメータを計算し、利用することに関する。ここで参照されている、特許、特許出願、雑誌の記事や論文、その他の出版物などのすべては、参照することにより、全体として本書に援用される。
【背景技術】
【０００２】
電子カメラは、電荷結合素子（CCD）、相補型金属酸化膜半導体（CMOS）デバイス、または他の型の光センサなど、これら２次元（平面）センサ上に、場面を結像する。これらのデバイスは、大量の光検出器（２〜４百万以上）を備え、これらの光検出器は、小型の２次元平面上にわたって並んでおり、光の強さ、または素子と衝突する他の光線（可視光線に隣接するスペクトラムの、赤外線及び紫外線の領域を含む）に比例した信号を個々に発生する。画像のピクセルを形成するこれらの素子は、通常、ラスターパターンで走査され、それと同時に、１つの撮像素子から別の撮像素子へと、次々に衝突する光線の強度を表す、連続したデータストリームを生成する。色データは、撮像素子全体にわたり交互に分散された、個々の識別可能な色要素（赤、緑、青など）に対して繊細な光検出器を用いることで、普通に取得される。
【０００３】
この様な電子カメラで普及しているタイプは、静止画像といわれる「スナップショット」、または、動画をなす連続したフレームのいずれかの、大量のピクチャーフレームのデータを記録する、小型の携帯型のデジタルカメラである。通常、カメラ内では、大量の画像処理が、磁気テープカートリッジ、またはフラッシュメモリカードなどの脱着可能な不揮発性メモリに保存する前に、各フレームのデータに対して行われる。これらの処理されたデータは、大抵、カメラの外側に位置する液晶表示（LCD）デバイスに、解像度を落とした画像として表示される。また、通常は、各ピクチャーフレームが占める保存容量を減らすために、処理されたデータは、不揮発性メモリに保存する前に、圧縮される。
【０００４】
一般的に、撮像素子が取得したデータは、カメラの欠点部分を補うように処理されて、データから得られる画像の品質を、ほとんどの場合において向上する。処理機能の一つとして、撮像素子のどの欠陥ピクセル光検出素子に対しても補正を行うことである。また、もう一つには、ホワイトバランス補正があり、異なるピクセルにおける原色の相対的な大きさを、白色として設定する機能である。また、この処理は、空間的に隔たりのある、撮像素子の単色ピクセル検出器から、データを重ね合わせることで、重ね合わされた多色のピクセルを、画像データに描画する、個々のピクセルデータのデモザイキング（色変換処理）を備える。デモザイキングにより、データを処理することで、画像の境界がさらに滑らかになり、（画像が）さらに望ましいものとなる。画像全体にわたる、ノイズ及びカメラの光学システムのばらつきに関して、及び光検出器の撮像素子間のばらつきに関して、画像データの補償をカメラ内において実行する。他の処理として、通常、１つ以上の、ガンマ補正、コントラストストレッチング、色差フィルタリング、及びそれらと同様なものを、備える。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
電子カメラも、ほとんど大抵は、露光時間と、アパチャーの開口と、画像の輝度または使用する撮像素子のキャリブレーション及びユーザの好みに基づくあるレベルにおける連続する画像となる、撮像素子のアナログ電子利得と、を設定する、自動露光制御機能を備える。これらの露光パラメータは、写真を撮影する前に計算され、画像データの取得中にカメラを制御するために使用される。特定の輝度のレベルを有する場面に関して、露光時間の低下は、ある範囲の輝度内のデータを取得するために、アパチャーのサイズ、または撮像素子の利得、または両者の増加により行われる。アパチャーのサイズの増加は、被写体深度の低下及び光学的なぼやけの増加した画像となり、利得の増加により、画像内のノイズも増加する。逆に、場面が明るく輝いている場合など、露光時間が増加可能な場合、アパチャー及び／または利得が低減し、それにより、より大きな被写体深度有する画像及び／またはノイズの少ない画像となる。調整されるアナログ利得に加えて、またはそれに代わり、画像のデジタル利得は、データの取得後に、大抵、調整される。
【０００６】
特に、カメラが非常に小型で軽量な場合、ユーザが、露光の間、ある種の振動やブレを引き起こすことなしに、手でカメラを保持することは困難な場合が多い。その結果、撮影画像に、露光時間に応じた全体的なモーションブラーがかかっている場合があり、モーションブラーは、長時間の露光であるほど、画像内に多く発生する。さらに、場面が全体的にまたは部分的に動いている場合における長時間の露光でも、撮影画像にモーションブラーが発生することがある。例えば、場面を横切るような素早い動きの被写体では、モーションブラーが発生する場合がある。既存カメラの自動露光処理では、場面の画像を撮影するために使用される露光パラメータの計算時に、カメラの動き（手ブレ）、または場面内での動きを、考慮しない。
【課題を解決するための手段】
【０００７】
本発明によると、動きを検出し、画像データの取得前に、カメラ内の画像フレームに対する場面の動き量に基づいて、撮影画像を向上するレベルに露光パラメータを設定する。手ブレ、または場面内での局所的な動きによる画像のぼやけを、露光パラメータを適正化することで、最小限に、さらには防止することができる。逆に、画像データの取得前に、ほとんど、または全く動きがない場合、被写界深度の増加、及び／またはノイズレベルの低減させるために、露光時間を長くするなどの、画像の他の側面を最適化するように、露光パラメータを設定する。
【０００８】
好適には、最終画像のデータ取得前に、２つ以上の画像データから動きの量を計算して（事前取得画像）、動きを測定するのが良い。動き量とは、場面内の動きを含む、カメラに対する場面の画像の動きの量を定義するものであり、好適には、この動き量を計算する。この様な相対的な動き量に、方向を与えて、動きベクトルとする、または、単に、動きの大きさのみを表すこともできる。この技術により、画像内の別個のピクセルのブロックに関して、局所的な動きベクトルを個別に計算することで、露光パラメータの計算時に、場面内の動きが考慮される。また、手ブレなどにより生じる全体的な動きベクトルも、２つ以上の事前取得画像データから、計算可能である。モーションブラーの発生は、単一の画像データから検出可能ではあるが、２つ以上からの事前取得画像データから、動きベクトルを計算することで、より正確に算出でき、画像撮影に用いる露出パラメータの制御が向上する。機械的な動きセンサは、いくつかのカメラにおいて内蔵されており、任意の全体的な動きベクトルの指摘のみを行うことができ、撮影中の場面内における被写体または部分の個別の動きに対して、行うことができない。
【０００９】
動きの絶対速度が、少なくとも通常の範囲であり、出来る限り小さければ、画像データ取得時間が選択可能であるため、画像内の動きの計算結果を、次の動きの予測に用いることも可能である。特に、手ブレの場合、この場合の動きは周期性を持ち予測可能であり、全体的な動きがゼロまたはゼロに近いときに、写真を撮影することができる。局所的なモーションブラーが最小の場合、場面の一部分の速度も、同様の方法により予測可能であり、写真を撮影する時間を選択可能である。この予測を実行する場合、好適には、露光パラメータを、画像取得に関するスケジュールされた時間に存在する動き量から、計算することである。
【００１０】
好適な実施例では、既存のカメラと同様の方法で、いかなる手ブレまたは場面の画像の一部分の動きに関係なしに、事前に露光パラメータを計算する。この様な事前に用意されたパラメータが、画像の品質向上になんら寄与しないレベルである場合、そのまま画像は撮影され、動きの計算結果は使用されない。明るい場面でこの様な事象が発生する例において、事前の露光時間、アパチャー、及び利得も、カメラが許容できる範囲でほぼ最低である。この様な場合では、アパチャー及び利得レベルがほぼ最低なため、露光時間は、任意のモーションブラーを制限するために、著しく低下することもなく、著しい被写体深度の向上またはノイズの低減のために、増加することもない。しかし、この様な場合ではなければ、画像の動きを計算して、事前の露光パラメータを調整することで、取得画像の品質を向上する。
【発明を実施するための最良の形態】
【００１１】
一般的に、デジタルカメラが取得したビデオデータは、カメラの欠点部分を補うように処理されて、そのデータから取得可能な画像の品質を向上する。処理機能の１つとして、撮像素子のどの欠陥ピクセル光検出器に対しても補正を行うことである。また、もう１つには、ホワイトバランス補正があり、異なるピクセルにおける原色の相対的な大きさを、白色として設定する機能である。また、この処理は、空間的に隔たりのある、撮像素子の単色ピクセル検出器から、データを重ね合わせることで、重ね合わされた多色のピクセルを、画像データに描画する、個々のピクセルデータのデモザイキング（色変換処理）を備える。デモザイキングにより、データを処理することで、画像の境界がさらに滑らかになり、画像がさらに望ましいものとなる。画像全体にわたる、ノイズ及びカメラの光学システムのばらつきに関して、及び光検出器センサ間のばらつきに関して、画像データの補償をカメラ内において実行する。別の処理として、通常、１つ以上の、ガンマ補正、コントラストストレッチング、クロミナンスフィルタリング、及びそれらと同様なものを、備える。
【００１２】
画像の動きを考慮して取得したビデオデータを後処理するよりも、写真を撮影する前に場面の画像をモニターして、場面内の動き量に基づいて、出来上がりの画像を向上する値に、露光パラメータを設定する。この処理により、画像データの取得に使用される他の露光パラメータと一緒に、少なくとも最適な露光時間を計算する。ジャイロスコープ、または他の機械的なカメラの動き検出器があり、その様な動き検出器が代わりに用いられることもあるが、むしろ一般的には、最終的に取得する画像より低い解像度を有する、２つ以上の事前取得画像のデータを比較することで、カメラジッターの量を決定するのが望ましい。事前取得画像を用いて、撮影中の場面内の被写体の動き量を決定して、露光時間及びレベルを計算することで、その様な動きの量に基づく画像を向上することができる。
【００１３】
図１は、本発明を実装したカメラの例の概略を示したものであり、スチールカメラまたはビデオカメラであっても良い。この例では、ケース１１、画像光学システム１３、制御信号１７を発生及び受信するユーザ制御及び指示１５、内部の電気的な接続２１されたビデオ入出力レセプタクル１９、及び内部の電気的な接続２５されたカードスロット２３を備える。不揮発性メモリカード２７を、脱着可能なように、カードスロット２３に挿入する。カメラで撮影した画像データは、不揮発性メモリカード２７または内蔵の不揮発性メモリ（図示しない）に、保存可能である。また、画像データは、ビデオ入出力レセプタクル１９を介して別のビデオ装置に出力可能である。不揮発性メモリカード２７としては、カメラによりビデオデータが書き込み可能な、商業的に利用可能な半導体のフラッシュメモリ、脱着可能な小型の回転磁気ディスク、または他の不揮発性メモリが可能である。
【００１４】
画像光学システム１３は、単一のレンズのように図示しているが、通常、複数のレンズの組となっている。場面３１の画像２９は、アパチャー３２からシャッター３３を介して、撮像素子３５の２次元平面上のシャッター３３への可視光線で形成される。駆動要素（焦点アクチュエータ）３４により、イメージング光学システム１３の１つ以上の構成要素を動かして、撮像素子３５の画像２９に焦点を合わせる。撮像素子の電気的な出力３７により、画像２９が投影された撮像素子３５の表面上にある、個々の光検出器を走査することで生じるアナログ信号を、搬送する。一般的には、撮像素子３５は、画像２９の各ピクセルを検出するために、２次元的に縦横に配列された個々の光検出器を大量に備える。最上段の行から始まり、左から右へ、光検出器の行方向に、１回につき１行ほど走査することで、画像２９を再構成するビデオデータのフレームを、生成する場合、電気的な出力３７において、時間系列で、通常、ラスターパターンで走査することにより、個々の光検出器に当る光の強度に比例する信号を、取得する。アナログ信号（出力）３７は、回路４１での画像２９のデジタルデータを生成する、アナログ−デジタル変換回路チップ３９で、利用される。回路４１の信号は、通常、撮像素子３５の各光検出器に当る光の強度を表す、デジタルデータの各ブロックのシーケンスになっている。
【００１５】
一般的に、撮像素子３５の光検出器は、２つ以上の個々の色成分のうちの１つにおける、自身の光検出器に当る画像ピクセルの強度を検出する。初期の頃の撮像素子は、画像の２つの分離された色成分のみ検出するものである。赤・緑・青などの（ＲＧＢ）光の三原色の検出が、一般的であり、今日では、３色成分以上の検出する撮像素子の利用が可能である。
【００１６】
本実施形態では、単一ＩＣチップ（ビデオ信号プロセッサ）４３（アナログ−デジタル変換回路チップ３９の使用の代わりに、アナログ−デジタル変換を備えることも可能な）により、回路４１におけるビデオデータの処理、及びカメラの操作制御を行う。お互いに接続された、いくつかのＩＣチップにより、これらの機能は、実装されるが、単一チップが好ましい。回路１７、回路２１、回路２５、及び回路４１に接続されていることに加えて、単一ＩＣチップ４３は、制御及び状態ライン４５に接続されている。制御及び状態ライン４５は、順に、アパチャー３２、シャッター３３、焦点アクチュエータ３４、撮像素子３５、アナログ−デジタル変換回路チップ３９、及びこれらを同期動作させるカメラの他の部品に、接続されている。制御及び状態ライン４５のビデオ信号プロセッサ４３からの信号により、焦点アクチュエータ３４を駆動し、シャッター３３の操作と同様に、アパチャー３２の開口サイズの設定も行う。また、ビデオ信号プロセッサ４３により、制御及び状態ライン４５を通る信号の利得が設定される。通常、この利得は、ＣＣＤ撮像素子の場合、ＣＣＤ撮像素子の一部である、アナログ−デジタル変換器で生じ、ＣＭＯＳ撮像素子の場合では、図１に示す分離したアナログ−デジタル変換器の一部である、アナログ−デジタル変換器で生じる。
【００１７】
一時的にデータを保存するため、分離した揮発性のランダムアクセスメモリ回路チップ４７も、ライン４８を介して、ビデオ信号プロセッサ４３に接続されている。また、分離した不揮発性メモリチップ４９も、プロセッサプログラム、キャリブレーションデータなどを保存しておくために、ライン５０を介して、ビデオ信号プロセッサ４３に接続されている。不揮発性メモリチップ４９は、書き換え可能なフラッシュメモリ、または、マスクプログラマブル読取専用メモリ（ＰＲＯＭ）、または電気的プログラマブル読取専用メモリ（ＥＰＲＯＭ）など、１回のみプログラム可能なメモリを用いることが可能である。クロック信号を回路チップ及び他の構成部品に供給するために、汎用のクロック回路５１をカメラ内部に備える。分離した構成部品よりも、システムのクロック回路は、ビデオ信号プロセッサ４３に組み込まれたものも可能である。
【００１８】
図２は、動きの計算及び推測する部分を有する、ビデオ信号プロセッサ４３の一般的なブロック図である。汎用目的、または、ここでのタスクに特化した、プロセッサ５１は、フラッシュメモリ４９（図１）に保存されているファームウェアに従って、画像データに関する計算を実行し、カメラ操作の制御を行う。ビデオ信号プロセッサ４３の入力接点を通る、インターフェイス回路５５は、ライン４１からの、連続する画像フレームのデジタルデータを受信し、メモリ管理ユニット５７を介する接続により、そのデータが他のシステム部品と通信される。取得した画像フレームのビデオデータは、ビデオ信号プロセッサ４３の出力接点に接続された、インターフェイス回路５９からライン２１（図１のビデオ入出力レセプタクル１９）と、ライン２５（図１のフラッシュメモリカードスロット２３）と、に出力される。インターフェイス回路６１は、ライン１７、ライン４５、及びライン５０（図１参照）と、プロセッサ５１と、メモリ管理ユニット５７と、間で通信を行う。
【００１９】
図２の回路６３も、プロセッサ５１と、メモリ管理ユニット５７とに接続されており、回路６３は、連続する画像フレームのデータから、画像の動きを推測する最低限必要な計算を実行するために、選択的に備える。この方法は、一般的に、プロセッサ５１にファームウェアの制御に従って計算処理させるよりも、効率的であるが、プロセッサ５１に処理させることも可能である。
【００２０】
図３は、図１及び図２に示すような、画像データ取得に使用する露光パラメータを計算するための、カメラに実装された処理の例を示すフローチャートである。ユーザがカメラの電源を入れると、ステップ７１に示すように、毎秒３０フレーム以上の速さで、画像データを繰返し読み込み可能である。一般的なカメラでは、これらの事前取得画像を、カメラのシャッターボタンが押される際に撮影される画像のプレビューとして、解像度を落とした状態で、カメラのＬＣＤディスプレイに連続して表示するが、しかしそれらを表示する必要はない。他の２つの計算機能である、ステップ７３とステップ７５とを実行し、取得した新しい事前取得画像の各時間データを取得する。この処理は、カメラが使用されている間中、続けられる。写真撮影するために、カメラのユーザがシャッターボタンを押したことを、検出すると、ステップ７７に示すように、ステップ７３とステップ７５とで計算された、動き量及び露光パラメータを、いつでも使用できる状態にし、素早く写真を撮影できるようにカメラをセットアップする。また、ステップ７３及びステップ７５での計算は、ステップ７７で、シャッターボタンが押されたことを検出した後でも、実行可能である。
【００２１】
ステップ７３では、Ｎ枚の事前取得画像のデータを用いて、露光パラメータの設定に使用する動き量を計算する。ただし、Ｎ≧２であり、５以上も可能である。以下に詳細に述べるように、全体的（画像全体の動き）及び局所的（画像内の局所的な動き）な両方の視点で、連続する事前取得画像の変化を見ることにより、カメラの光検出器に対する、場面の画像の動きの如何なる変化も検出し、定量化する。好適には、運動ベクトル、速度ベクトル、及び加速度ベクトルを、Ｎ枚の事前取得画像のデータから計算することで、光検出器上での、場面の画像の将来位置、またはそれらの一部を、予測することが可能となる。
【００２２】
ステップ７５では、所定の範囲内の画像全体にわたる平均輝度を維持するために、画像の動きの関係なく、既存技術で露光パラメータを計算する。平均輝度は、事前取得画像から計測可能であり、このステップにおいて、露光時間及び１つ以上の露光パラメータが計算される。他の露光パラメータは、通常、アパチャーの開口及び利得のサイズを有する。しかしながら、これらのパラメータを直接使用して、現在のカメラに写真撮影の設定をするにもかかわらず、これらのパラメータは、ステップ７３での動きの計算結果による修正の影響を受けやすいため、図３に示すようなカメラ操作において、事前設定として扱われる。
【００２３】
ステップ７７において、一旦、シャッターボタンを押すと、その後できるだけ早く、写真が撮影される。しかしながら、ステップ７３において計算された動き量を、初めに調べるのが好ましい。画像のどの動きも最小限となると予測されるときまで、撮影画像中のモーションブラーが最小限となるように、写真撮影が延期され得る。その結果、ステップ７９で、写真撮影の最適な瞬間が、ステップ７３で計算された動き量から予測される。この予測は、ステップ７３の事前取得画像から計算される動き量を外挿して求められ、設定時間内で、ゼロまたは最小限の動きのいずれかを認識し、この瞬間に、写真が撮影される。しかしながら、仮に、動きが複雑なため、高い精度でゼロまたは最小限の動きの点を検出できない、遅延撮影オプションをオフにしてしまった場合、または、画像の動きが少し若しくはまったくないような動き量の値になった場合、写真撮影は延長されずに、直ちに撮影が行われる。
【００２４】
次のステップ８１では、ステップ７５で自動計算された露光パラメータが最適であり、動き量により置き換える必要がないかを判断する。例えば、露光時間（シャッタースピード）が、ある閾値以下に、ステップ７５で設定された場合、モーションブラーを低減するために、露光時間をこれ以上減少しない。また、アパチャー及び利得が、対応する閾値より低く設定された場合も、アパチャー及び利得を低くして、被写界深度の向上またはノイズの低減を行うため、シャッタースピードを上げるのに、画像内の動きが十分小さいかを、考慮する必要がない。例えば、非常に明るく輝いている場面において、発生するような場合では、ステップ７５で設定された露光パラメータで写真撮影を行う場合、ステップ８３に処理が進む。ステップ７３で計算された動き量は、使用されない、または参照さえもされない。ステップ７９での写真撮影の時間の計算も必要ではなく、直ちに、写真撮影が可能である。
【００２５】
しかしながら、大抵の状況では、場面が明るく輝いている場合は少ない。したがって、ステップ７５で計算された事前パラメータが、適正な範囲でない場合、ステップ７３まで計算された動き量に関して、パラメータを最適化するため、ステップ８５において調整される。一般的に、その動き量が高い場合、同じ平均画像信号輝度を維持するため、対応するアパチャーのサイズの増大及び／またはゲインの増大により、露光時間が低減される。これにより、モーションブラーを低減するが、通常、被写界深度の低下及び／または画像のノイズの増加が発生する場合がある。しかし、このトレードオフは、ほとんどの場合、モーションブラーを有する画像を取得するのに好ましい。
【００２６】
一方で、計算された動きが、低いまたはゼロの場合、アパチャー及び／または利得のサイズが減少可能なメリットにより、露光時間が増加する場合がある。これにより、より大きな被写界深度、より低い光学的なぼやけ及びより低いノイズを有する画像が撮影可能である。計算された動き量を使用せずに、この様な方法で、ステップ７５において計算された事前パラメータを調整することは、動きが存在する場合に、画像内のモーションブラーを増加させる結果となるため、不適当な場合がある。
【００２７】
図４は、ブロック８７（ｉｊ座標の３，６で表される）及びブロック８９（座標２，３）のような、複数のピクセルを、それぞれブロックにグループ化したピクセルを有する単一の画像を、概念的に示す。カメラの画像フレームに対する、撮影中の場面の動きを示している。画像の例では、ピクセルのブロックのそれぞれにおいて、矢印９１で表される全体的な運動ベクトルＭGが示されている。この動きは、水平的な前後の動きである、手ブレにより生じる。当然、他のカメラの動きであれば、異なるパターンとして示される。上下の動きの場合、例えば、全体的な動きを表す矢印は、垂直方向に示される。カメラが、円形または楕円形のような動きをする場合、２つの他の可能性があり、その動きは、円形または楕円形で、それぞれ表されることになる。
【００２８】
全体的な動きの大きさ及び方向を、Ｎ枚の事前取得画像のデータから計算するのがよく、好適には、回路６３（図２）により、事前取得画像間の総合的な動きを検出し定量化して計算を行う。全体の動きを計算する特定技術の例として、Pintoらにより、2004年7月21日に提出された、米国特許出願第10/897186号、現在では米国特許出願公開第2006/0017814 A1号明細書が挙げられる。また、機械的な動き検出器は、全体的な動きの信号を提供する目的で、カメラに内蔵されているが、好ましくはない。
【００２９】
図４の例では、画像の一部が、４つのブロックにおいて、どんな手ブレや他の全体的な動きからも独立している、局所運動ベクトルＭLの追加を示している。これは、残りの場面及びカメラを持っている人物に対する、撮影中の場面内での小さい部分的な動きを表している。それによる画像内での動きは、矢印の方向であり、矢印の長さにより表される相対ベクトルを有するものである。この様な動きは、場面内の人物、車両の移動や、風による枝の動き、または撮影中の場面内の様々な動きから、もたらされ得るものである。連続する画像間の画像内の動きを計算するアルゴリズムは、既に知られたものである。例えば、上述した米国特許出願公開第2006/0017814 A1号明細書である。運動ベクトルは、既知のビデオ圧縮アルゴリズムである、例えば、Moving Picture Experts Groupの最新であるMPEG-4を使用して、運動ベクトルの計算するのと、類似の方法で計算可能である。
【００３０】
１つの動き計算技術で、画像ピクセルの各ブロックの、動きベクトル、速度ベクトル、加速度ベクトルを計算する。各ブロックの動きを定量化することで、将来の位置、速度、及び方向を推測することが可能である。大きな被写体が場面を横切る場合、被写体を表すブロックは、被写体の移動方向を示す動きベクトル有する。手ブレのみによる画像の動きの場合、場面のブロックの動きベクトルの全てまたはほとんどが、通常、同一の方向を示している。この説明における局所運動ベクトルＭLは、全体運動ベクトルＭGが取り除かれた後の、これらの個々のブロックの動きベクトルである。その結果、局所運動ベクトルＭLは、場面の画像内の局所的な動きのみを示すことになる。局所運動ベクトルＭL及び全体運動ベクトルＭGは、その程度まで、互いに独立している。
【００３１】
図５Ａ〜図５Ｄのカーブは、ステップ７３及びステップ７９（図３）での計算を更に説明するために、時間の関数として、局所運動ベクトル及び全体運動ベクトルの絶対値の例と、それらを組み合わせたものを示している。図５Ａは、図４の矢印９１で表される全体的な動きを示す。この例では、この動き一端では速度ゼロで、他端でも速度ゼロであり、その間では、速度関数が増加・減少をしているので、カメラの前後の動きを表している。図５Ｃは、図４のピクセルのブロック８９の局所ベクトル９３の大きさの例を示している。説明のため、この動きが、ゼロから最大まで増加して、事前取得画像の間、減少していることを示している。図５Ｂは、ピクセルのブロック８９のみに関する、総合運動ベクトルＭT(2,3)の絶対値を示している。これは、図５Ａ及び図５Ｃにおけるカーブの大きさを算術的に組み合わせたものである。
【００３２】
図５Ｄは、全体的な画像フレームの総合的な動き量ＭTの例を表している。動きの計算は、個々の事前取得画像に関するＭTの１つの値となり、これはベクトル量ではない。露光時間の決定及び露光パラメータの調整するための、ステップ７９及びステップ８５（図３）で使用された主要量である。実際、露光のより良い時間を推測したい場合に、大量の連続する事前取得画像に関するＭTの量が使用される。これらの目的のため、図５Ａの全体的な動きと、画像内の個々のピクセルのブロックの局所的な動き量の加重平均と、を組み合わせる。図５Ｄに、画像フレームのＭTの計算式を示す。個々のピクセルのブロック（ｉ，ｊ）の重みＷは、画像フレーム内の位置、または画像の残り部分に対する相対輝度により、決定可能である。重みＷは、画像フレームの中心からのブロックの距離の関数である。したがって、画像の総合的な動きＭTは、局所的な動きを有するブロックの数、その局所的な動きの大きさ、及び画像内の動きを有するブロックの相対位置により、決まるものである。さらに、全体的な速度及び局所的な速度の平均に、異なる重みを与えられるように、全体的な動きのＭGに対して、図５Ｄの式に示すように、定数ｋを掛けても良い。ｋが、１より大きければ、全体的な動きに重みが置かれ、１より小さければ、局所的な動きにより大きな重みが置かれる。図５Ｄの最終の総合的な動きのカーブは、ピクセルのブロック１つのときの、図５Ｂの総合的な動きのカーブに類似しているが、平均的に含まれた、図４の画像フレームにおけるほとんどのピクセルのブロックの局所的な動きが、ゼロであるので、大きさが低くなっている。
【００３３】
図５Ａ〜図５Ｄの例では、時刻ｔ１の前の期間に、事前取得画像のデータを、取得している。ステップ７９（図３）が実行されると、時刻ｔ１で最後の事前取得画像を取得した後の動きは、図５Ａ〜図５Ｄの点線で示されるように、事前取得画像のデータから推測される。事前取得画像から検出された動きを、将来に外挿する。期間ｔ１〜ｔ３に関して、最小限の動きを探索し認識するような定義が好ましい。総合的な動き（図５Ｄ）は、この例において、最小限の動きを探索するための量であり、時刻ｔ２では、その総合的な動きはゼロである。したがって、時刻ｔ２の総合的な動き、すなわち写真撮影時の動きの影響は、最小限になると推測され、その結果、画像取得の時刻として、この瞬間が選択される。当然、実際の動きの関数は、期間ｔ１〜ｔ３において、ＭTの最小限の値を探索した場合の、図５Ａ〜図５Ｄに示したものよりも、さらに複雑である場合がある。
【００３４】
カメラの画像フレームに対する、場面の総合的な動きに基づく露光調整を行う選択肢として、場面の一部のみの局所的な動きを使用可能である。例えば、
カメラは、長方形のような、固定またはユーザ定義可能なアウトラインが与えられ、それにより、特に動き補正を行いたい画像の部分を囲むために、位置付けられる。図４の例では、ユーザが、ＭL(2,3)、ＭL(3,3)、ＭL(3,4)、及びＭL(2,4)のアウトラインを有する画像のブロックを、囲むことができる。画像のこの部分は、車両や人物など、場面の他の部分に対して動いている被写体である場合がある。これらのブロックのベクトルの大きさの平均など、単一の局所的な動き量を計算処理し、この量を使用して、場面内の被写体などのぼやけを、最小限にする。このことを実現するために、画像取得及び／または露光パラメータ調整の時間を決めるために、総合的な動きの代わりに、局所的な動き量を使用する。したがって、場面のアウトライン化された部分の局所的な動きは、考慮されるが、その一方で、場面の他の部分の動きは、考慮されない。
【００３５】
図６Ａ、図６Ｂ、及び図６Ｃは、自動露光計算のステップ７５（図３）と、これらの計算に基づいてステップ８１で行われる選択とを、説明する一助となる。例えば、デジタルカメラは、アパチャーの開口を何段階か選択するのみで、写真撮影を行うものが大半である。アパチャーの開口９５〜９８を、図６Ａに示す。個々のこれらのレベルに関して、図６Ｂに示すような利得関数及び図６Ｃに示すような露光時間（継続）関数がある。露光継続カーブ（図６Ｃ）の傾き部分１０１は、利得カーブ（図６Ｂ）の平坦部分１０３と同様の輝度レベルの間で、伸びる。主要な露光パラメータの自動露光（ＡＥ）の計算は、撮影中の場面における多彩な輝度レベルに対する、所定範囲内の画像における光検出器の平均出力信号を提供する、アパチャー、利得、及び継続時間の組み合わせの選択により実現される。境界内で、画像の平均輝度は、維持される。被写体深度、低い光学的なぼやけ（小さなアパチャーの開口）、及び低いノイズ（低い利得）への要求に対して逆行するような深刻な画像の動きがある場合、これらの計算は、画像の動き情報の利点を使用することなく実行され、短い露光時間への要求とのバランスを取る。あるレベルの画像の動きは、パラメータの計算において、前提とされる必要があるが、しかし、画像のどの特定の動きの情報も使用されない。それは、ステップ８５において、画像の品質を向上する場合には、これらの事前パラメータは、画像の動きに対して調整されるからである。
【００３６】
この例において、ステップ８１（図３）は、最初に、計算された自動露光量が、すべて、図６Ａ〜図６ＣのＴ１、Ｔ２、及びＴ３のレベル以下であるか判断を行う。そうであれば、以前に説明したように、動きの計算を考慮する必要はない。これは、露光パラメータの調整が画像の品質を、大幅に向上できないためである。露光時間が、ほぼ最大限に短いため、どのモーションブラーも大幅に低減不可能なためである。また、アパチャーの開口及び利得の低減の補償が不可能であり、既にカメラの許容範囲において、ほぼ最低であるので、露光時間を長くすることで、被写体深度または画像内のノイズを改善する可能性がない。
【００３７】
図７は、ステップ７３での動きの計算に対応する事前パラメータの調整に関する、図３のステップ８５の例を示している。簡略化のため、予測される露光時において、総合的な動きＭTの絶対的な大きさにより決まる調整に関して、４つの異なる組１０５〜１０８とする。最高レベルでは、露光時間は、著しく低下し、それにより失われる、画像の輝度の半分が、利得の増加により復元され、もう半分はアパチャーの開口を増加することで復元する。次のレベル１０６では、動きがより少ない状態であるため、露光時間は少し低下し、それにより失われる、画像の輝度は、利得またはアパチャーのどちらかの増加により復元される。動きが少しまたは全くない場合であるレベル１０８では、露光時間は増加するため、利得及びアパチャーの開口を低減することで、余分な輝度を低下させ、取得画像の品質を向上させる。ある程度小さな動きがある場合であるレベル１０７では、露光時間は少し増加するため、利得またはアパチャーの開口を低下させ、およそ元のレベルの輝度に画像信号を復元する。
【００３８】
上記の利得調整の例では、アナログ信号の利得レベルは、信号がデジタル化される前に調整され、この調整されたレベルが、画像取得の際に使用される。これに付け加えて、またはその代わりに、画像データを取得してデジタル化した後、画像の利得を調整することが可能である。例えば、デジタル利得調整を、画像処理の一部または画像の向上段階として、データをカメラ内蔵メモリ内に取得した後、ただし、データを圧縮し着脱可能な不揮発性メモリに書き込む前に、実行可能である。デジタル利得の増加は、大抵、アナログ利得の増加よりもノイズの多い画像となるにもかかわらず、デジタル利得の制御も同様に有用であり得る。必要とされるデジタル利得の量は、露光時間、アパチャー及び／またはアナログ利得の計算の一部として、画像取得前の露光パラメータを調整する処理間に、決定可能であるが、既に画像を取得した後に、画像のデジタルデータに適用されることになる。他に、または、それに加えて、画像の利得レベルは、後処理または取得画像データの向上の一部として、決定及び調整可能であり、その後、その段階において適用可能である。
【００３９】
図７のパラメータ調整の例は、調整の組１０５〜１０８の間のいくつかの動きの閾値を示している。１０６と１０７との間の閾値を越える任意の動きに関して、パラメータは、個別に一方向に調整され、動きが前記閾値より低い場合、パラメータは反対方向に調整される。この単一の閾値の変形として、２つの動きの閾値を定義することが可能である。動きが２つの閾値よりも高い場合、パラメータは、一方向に個別に調整され、最低の閾値より低い場合、反対方向に個別に調整される。その場合、閾値間の動きの値に関して、事前パラメータの調整は行われない。
【００４０】
本発明の様々な様態について、実施形態と共に説明してきたが、本発明に関して、請求項の範囲全体において保護される権利が与えられる。
【図面の簡単な説明】
【００４１】
本発明の別の特徴、優位性、及び機能は、以下の本発明に係る典型的な例の説明に包含され、説明は、添付の図面を用いて行われる。
【図１】本発明の露光制御技術が内蔵された、カメラまたはビデオ撮影装置を示した図である。
【図２】図１の装置のビデオ信号プロセッサに関する、いくつかの機能別のコンポーネントのブロック図である。
【図３】本発明の１つの特定の実施形態に係る、露光パラメータの計算及び使用のステップを示したフローチャート図である。
【図４】個々のピクセルのブロックに加えられた、典型的なカメラ及び場面に関する運動ベクトルを有する画像フレームを示した図である。
【図５Ａ】図４の画像フレームの動き量１を示した図である。
【図５Ｂ】図４の画像フレームの動き量２を示した図である。
【図５Ｃ】図４の画像フレームの動き量３を示した図である。
【図５Ｄ】図４の画像フレームの動き量４を示した図である。
【図６Ａ】取得画像の輝度の関数として、自動カメラ露光パラメータの例１を示した図である。
【図６Ｂ】取得画像の輝度の関数として、自動カメラ露光パラメータの例２を示した図である。
【図６Ｃ】取得画像の輝度の関数として、自動カメラ露光パラメータの例３を示した図である。
【図７】動きの異なるレベルに関して、自動カメラ露光パラメータを調整する特定の例について示した図である。
【符号の説明】
【００４２】
１３      光学システム
２７      メモリカード
３２      アパチャー
３３      シャッター
３５      撮像素子
４３      ビデオ信号プロセッサ（電子処理ユニット）
９３      局所的な動き
９１      全体的な動き
【図１】
2009514435.tif 000003
【図２】
2009514435.tif 000004
【図３】
2009514435.tif 000005
【図４】
2009514435.tif 000006
【図５Ａ】
2009514435.tif 000007
【図５Ｂ】
2009514435.tif 000008
【図５Ｃ】
2009514435.tif 000009
【図５Ｄ】
2009514435.tif 000010
【図６Ａ】
2009514435.tif 000011
【図６Ｂ】
2009514435.tif 000012
【図６Ｃ】
2009514435.tif 000013
【図７】
2009514435.tif 000014
【国際調査報告】
2009514435.tif 000015
2009514435.tif 000016
2009514435.tif 000017