(57)【要約】  本開示は、ビデオまたは静止画像のような、取り込まれる像の品質を向上させるフリッカ検出および補正技術を記述する。特に、本開示は、異なる画像フレームを比較して、フリッカを検出するフリッカ補正技術を記述する。いくつかの実施形態において、比較は、フレーム内の行に関係付けられた強度値を合計することと、行の合計を比較して、差信号を発生させることとを含む。フリッカの検出および補正は、差信号の１次微分を使用して実行される。差信号の１次微分は、フリッカを検出および補正するためのさまざまな方法において使用できる。【選択図】      図１
2009522948.tif 000002
【特許請求の範囲】
【請求項１】
方法において、
画像取込デバイスにより取り込まれた第１の画像フレームと、前記画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、
前記比較に基づいて、差信号を発生させることと、
前記差信号の微分を計算することと、
前記微分に基づいて、前記画像取込デバイスにより取り込まれた第３の画像フレーム中のフリッカを補正することとを含む方法。
【請求項２】
前記画像取込デバイスは、画像センサのアレイを含み、
前記方法は、前記アレイのうちの少なくともいくつかの行における、前記センサのうちの少なくともいくつかからの強度値を合計して、前記第１および第２のフレームに対する行の合計値を生成させることをさらに含み、
前記第１および第２の画像フレームを比較することは、前記第１および第２の画像フレームに対する行の合計値を比較することを含む請求項１記載の方法。
【請求項３】
ローパスフィルタを前記差信号に適用して、フィルタリングされた差信号を生成させることをさらに含み、
前記差信号の微分を計算することは、前記フィルタリングされた差信号の微分を計算することを含む請求項１記載の方法。
【請求項４】
前記画像取込デバイスは、画像センサのアレイを含み、フリッカを補正することは、前記差信号の微分に基づいて、前記センサのアレイの積分時間を調整することを含む請求項１記載の方法。
【請求項５】
フリッカを補正することは、
前記差信号の微分に基づいて、照明源の周波数を決定することと、
前記照明源の決定された周波数に基づいて、フリッカを補正することとを含む請求項１記載の方法。
【請求項６】
前記画像取込デバイスは、画像センサのアレイを含み、フリッカを補正することは、前記差信号の微分に基づいて、前記センサのアレイの積分時間を調整することを含む請求項５記載の方法。
【請求項７】
積分時間を調整することは、前記照明源の周期の整数倍にほぼ等しくなるように、前記積分時間を調整することを含む請求項６記載の方法。
【請求項８】
照明源の周波数を決定することは、
前記差信号の微分の零交差点間の距離を決定することと、
前記計算された距離の関数として、前記照明源の周波数を決定することとを含む請求項５記載の方法。
【請求項９】
フリッカを補正することは、
前記差信号の微分の零交差点間の距離を決定することと、
前記零交差点間の距離の標準偏差を決定することと、
前記標準偏差に基づいて、フリッカが存在するかどうかを決定することとを含む請求項５記載の方法。
【請求項１０】
フリッカを補正することは、フリッカが存在すると決定した際に、第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整することを含む請求項９記載の方法。
【請求項１１】
第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整後に、フリッカが存在し続ける場合、第２の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整することをさらに含む請求項１０記載の方法。
【請求項１２】
第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整することは、約８．３３ミリ秒と約１０ミリ秒とのうちの１つの整数倍に、前記積分時間を調整することを含み、
第２の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整することは、約８．３３ミリ秒と約１０ミリ秒とのうちのもう１つの方の整数倍に、前記積分時間を調整することを含む請求項１１記載の方法。
【請求項１３】
前記第１および第２のフレームは、前記画像取込デバイスにより連続して取り込まれる請求項１記載の方法。
【請求項１４】
フリッカを補正することは、画像取込デバイスの電源投入の際に、フリッカを補正することを含む請求項１記載の方法。
【請求項１５】
フリッカを補正することは、前記画像取込デバイスの動作中に、定期的にフリッカを補正することを含む請求項１記載の方法。
【請求項１６】
デバイスにおいて、
第１の画像フレームと第２の画像フレームとを取り込む画像センサアレイと、
前記第１の画像フレームと、前記第２の画像フレームとを比較し、前記比較に基づいて、差信号を発生させ、前記差信号の微分を計算し、前記微分に基づいて、前記センサアレイにより取り込まれた第３の画像フレーム中のフリッカを補正するフリッカ補正ユニットとを具備するデバイス。
【請求項１７】
前記センサアレイは、画像センサのアレイを含み、
前記フリッカ補正ユニットは、前記アレイのうちの少なくともいくつかの行における、前記センサのうちの少なくともいくつかからの強度値を合計して、前記第１および第２のフレームに対する行の合計値を生成させ、前記第１および第２の画像フレームに対する行の合計値を比較し、前記行の合計値の比較に基づいて、前記差信号を発生させる請求項１６記載のデバイス。
【請求項１８】
前記フィルタ補正ユニットは、前記差信号をフィルタリングして、フィルタリングされた差信号を生成させるローパスフィルタを含み、
前記差信号の微分は、前記フィルタリングされた差信号の微分である請求項１６記載のデバイス。
【請求項１９】
前記センサアレイは、画像センサのアレイを含み、前記フリッカ補正ユニットは、前記差信号の微分に基づいて、前記センサのアレイの積分時間を調整する請求項１６記載のデバイス。
【請求項２０】
前記フリッカ補正ユニットは、前記差信号の微分に基づいて、照明源の周波数を決定し、前記照明源の決定された周波数に基づいて、フリッカを補正する請求項１６記載のデバイス。
【請求項２１】
前記センサアレイは、画像センサのアレイを含み、前記フリッカ補正ユニットは、前記差信号の微分に基づいて、前記センサのアレイの積分時間を調整する請求項２０記載のデバイス。
【請求項２２】
前記フリッカ補正ユニットは、前記照明源の周期の整数倍にほぼ等しくなるように、前記積分時間を調整する請求項２１記載のデバイス。
【請求項２３】
前記フリッカ補正ユニットは、前記差信号の微分の零交差点間の距離を決定し、前記計算された距離の関数として、前記照明源の周波数を決定する請求項２０記載のデバイス。
【請求項２４】
前記フリッカ補正ユニットは、前記差信号の微分の零交差点間の距離を決定し、前記零交差点間の距離の標準偏差を決定し、前記標準偏差に基づいて、フリッカが存在するかどうかを決定する請求項２０記載のデバイス。
【請求項２５】
前記フリッカ補正ユニットは、フリッカが存在すると決定した際に、第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整する請求項２４記載のデバイス。
【請求項２６】
第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整後に、フリッカが存在し続ける場合、前記フリッカ補正ユニットは、第２の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整する請求項２５記載のデバイス。
【請求項２７】
前記フリッカ補正ユニットは、約８．３３ミリ秒と約１０ミリ秒とのうちの１つの整数倍に、前記積分時間を調整し、フリッカが存在し続ける場合、約８．３３ミリ秒と約１０ミリ秒とのうちのもう１つの方の整数倍に、前記積分時間を調整する請求項２６記載のデバイス。
【請求項２８】
前記第１および第２のフレームは、前記センサアレイにより連続して取り込まれる請求項１６記載のデバイス。
【請求項２９】
フリッカ検出ユニットは、前記デバイスの電源投入の際に、フリッカを補正する請求項１６記載のデバイス。
【請求項３０】
フリッカ検出ユニットは、前記センサアレイの動作中に、定期的にフリッカを補正する請求項１記載のデバイス。
【請求項３１】
方法において、
画像取込デバイスにより取り込まれた第１の画像フレームと、前記画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、
前記第１および第２の画像フレームの比較に基づいて、第１の差信号を発生させることと、
前記差信号に基づいて、前記第１および第２の画像フレーム中のフリッカを検出することと、
フリッカが、前記第１および第２の画像フレーム中で検出される場合、第１の照明源の周期の整数倍に、前記画像取込デバイスの積分時間を調整することと、
前記積分時間の調整後に、前記画像取込デバイスにより取り込まれた第３の画像フレームと、前記画像取込デバイスにより取り込まれた第４の画像フレームとを比較することと、
前記第３および第４の画像フレームの比較に基づいて、第２の差信号を発生させることと、
前記第２の差信号に基づいて、前記第３および第４の画像フレーム中のフリッカを検出することと、
フリッカが、前記第３および第４の画像フレーム中で検出される場合、第２の照明源の周期の整数倍に、前記画像取込デバイスの積分時間を調整することとを含む方法。
【請求項３２】
前記第１および第２の差信号の１次微分を計算することをさらに含み、
前記第１および第２の画像フレーム中のフリッカを検出することは、前記第１の差信号の１次微分に基づいて、フリッカを検出することを含み、
前記第３および第４の画像フレーム中のフリッカを検出することは、前記第２の差信号の１次微分に基づいて、フリッカを検出することを含む請求項３１記載の方法。
【請求項３３】
前記第１および第２の差信号にローパスフィルタを適用することをさらに含み、
前記第１および第２の差信号の１次微分を計算することは、前記フィルタリングされた第１の差信号と、前記フィルタリングされた第２の差信号との１次微分を計算することを含む請求項３２記載の方法。
【請求項３４】
デバイスにおいて、
第１の画像フレームと第２の画像フレームとを取り込む画像センサアレイと、
取り込まれた、前記第１の画像フレームと、前記第２の画像フレームとを比較し、前記第１および第２の画像フレームの比較に基づいて、第１の差信号を発生させ、前記差信号に基づいて、前記第１および第２の画像フレーム中のフリッカを検出し、フリッカが、前記第１および第２の画像フレーム中で検出される場合、第１の照明源の周期の整数倍に、前記画像センサアレイの積分時間を調整するフリッカ補正ユニットとを具備し、
前記画像センサアレイは、前記積分時間の調整後に、第３の画像フレームと第４の画像フレームとを取り込み、
前記フリッカ補正ユニットは、前記第３および第４の画像フレームを比較し、前記第３および第４の画像フレームの比較に基づいて、第２の差信号を発生させ、前記第２の差信号に基づいて、前記第３および第４の画像フレーム中のフリッカを検出し、フリッカが、前記第３および第４の画像フレーム中で検出される場合、第２の照明源の周期の整数倍に、前記画像取込デバイスの積分時間を調整するデバイス。
【請求項３５】
前記フリッカ補正ユニットは、前記第１および第２の差信号の１次微分を計算し、
前記第１の差信号の１次微分に基づいて、前記第１および第２の画像フレーム中のフリッカを検出し、前記第２の差信号の１次微分に基づいて、前記第３および第４の画像フレーム中のフリッカを検出する請求項３４記載のデバイス。
【請求項３６】
前記第１および第２の差信号をフィルタリングするローパスフィルタをさらに具備し、
前記フリッカ補正ユニットは、前記フィルタリングされた第１の差信号と、前記フィルタリングされた第２の差信号との１次微分を計算する請求項３５記載のデバイス。
【請求項３７】
方法において、
画像取込デバイスにより取り込まれた第１の画像フレームと、前記画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、
前記比較に基づいて、差信号を発生させることと、
ローパスフィルタを前記差信号に適用することと、
前記フィルタリングされた差信号の１次微分を計算することと、
前記フィルタリングされた差信号の１次微分に基づいて、前記画像取込デバイスにより取り込まれた第３の画像フレーム中のフリッカを補正することとを含む方法。
【請求項３８】
デバイスにおいて、
画像取込デバイスにより取り込まれた第１の画像フレームと、前記画像取込デバイスにより取り込まれた第２の画像フレームとを比較する手段と、
前記比較に基づいて、差信号を発生させる手段と、
ローパスフィルタを前記差信号に適用する手段と、
前記フィルタリングされた差信号の１次微分を計算する手段と、
前記フィルタリングされた差信号の１次微分に基づいて、前記画像取込デバイスにより取り込まれた第３の画像フレーム中のフリッカを補正する手段とを具備するデバイス。
【請求項３９】
コンピュータ読み取り可能媒体において、
画像取込デバイスにより取り込まれた第１の画像フレームと、前記画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、
前記比較に基づいて、差信号を発生させることと、
前記差信号の微分を計算することと、
前記微分に基づいて、前記画像取込デバイスにより取り込まれた第３の画像フレーム中のフリッカを補正することとをプロセッサに生じさせる命令を含むコンピュータ読み取り可能媒体。
【請求項４０】
前記画像取込デバイスは、画像センサのアレイを含み、
前記命令は、前記アレイのうちの少なくともいくつかの行における、前記センサのうちの少なくともいくつかからの強度値を合計して、前記第１および第２のフレームに対する行の合計値を生成させることを前記プロセッサにさらに生じさせ、
前記第１および第２の画像フレームの比較は、前記第１および第２の画像フレームに対する行の合計値の比較を含む請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４１】
ローパスフィルタを前記差信号に適用して、フィルタリングされた差信号を生成させることを前記プロセッサに生じさせる命令をさらに含み、
前記差信号の微分の計算は、前記フィルタリングされた差信号の微分の計算を含む請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４２】
前記画像取込デバイスは、画像センサのアレイを含み、前記命令は、前記差信号の微分に基づいて、前記センサのアレイの積分時間を調整して、フリッカを補正することを前記プロセッサに生じさせる請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４３】
前記命令は、
前記差信号の微分に基づいて、照明源の周波数を決定することと、
前記照明源の決定された周波数に基づいて、フリッカを補正することとを前記プロセッサに生じさせる請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４４】
前記命令は、前記差信号の微分の零交差点間の距離を決定することと、前記計算された距離の関数として、照明源の周波数を決定することとにより、前記照明源の周波数を決定することを前記プロセッサに生じさせる請求項４３記載のコンピュータ読み取り可能媒体。
【請求項４５】
前記命令は、
前記差信号の微分の零交差点間の距離を決定することと、
前記零交差点間の距離の標準偏差を決定することと、
前記標準偏差に基づいて、フリッカが存在するかどうかを決定すること、
フリッカが存在すると決定した際に、前記フリッカを補正することとを前記プロセッサに生じさせる請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４６】
前記画像取込デバイスは、画像センサのアレイを含み、
前記命令は、
フリッカが存在する場合、第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整することと、
前記第１の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整後に、フリッカが存在し続ける場合、第２の可能性のある照明源の周期の整数倍に、前記センサのアレイの積分時間を調整することとを前記プロセッサに生じさせる請求項４５記載のコンピュータ読み取り可能媒体。
【請求項４７】
前記第１および第２のフレームは、前記画像取込デバイスにより連続して取り込まれる請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４８】
前記命令は、画像取込デバイスの電源投入の際に、および前記画像取込デバイスの動作中に定期的に、フリッカを補正することを前記プロセッサに生じさせる請求項３９記載のコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像取込デバイスに関し、より詳細には、画像取込デバイス内のフリッカの補正に関する。
【背景】
【０００２】
デジタルビデオカメラまたはデジタル静止写真カメラのような画像取込デバイスは、異なるアプリケーションおよび環境中で使用される。画像取込デバイスは、さまざまな照明条件の下で、高品質の像を生成できる。例えば、屋外環境のような、自然光により照らされる環境中だけでなく、屋内環境のような、白熱光または蛍光により照らされる環境中でも、画像取込デバイスは、有効に動作できる。
【０００３】
しかしながら、屋内環境において、屋内の照明の強度における変動は、取り込まれる画像の品質を低下させることがある。変動は、屋内の照明源の交流（ＡＣ）電源周波数の関数である。相補型金属酸化膜半導体（ＣＭＯＳ）デバイスのようなソリッドステートの画像取込デバイスは、画像センサのアレイを含み、画像センサは、フレームを記録するために使用される画像情報のすべてを瞬時に取り込むわけではない。その結果、画像取込中の光強度における変動により、画像フレームの一部分は異なる強度レベルを示し、画像中に目に見える帯を結果として生じる。この帯状現象は、一般にフリッカと呼ばれている。
【０００４】
画像取込デバイスの積分時間を、照明源の周期の整数倍に設定することにより、フリッカは、除去できる。積分時間は、センサアレイが各フレームに対して光を取り込むための時間制限を指す。一般に、フリッカは、より短い積分時間に対してよりシビアである。屋内の照明のＡＣ電源周波数における変動は、世界中に存在する。例えば、いくつかの国では、６０ヘルツ（Ｈｚ）の電源を使用し、一方、他の国では、５０Ｈｚの電源を使用する。６０Ｈｚの照明源は、１２０Ｈｚにおいて帯状のもの生じさせ、一方、５０Ｈｚの照明源は、１００Ｈｚにおいて帯状のものを生じさせる。いくつかの国では、いくつかの例において、同一の建物内でさえ、５０および６０ＨｚのＡＣ電源の両方を使用する。
【０００５】
照明源が予想される周波数以外の周波数で動作しているような環境で、画像取込デバイスが使用されるとき、フリッカは生じる。例えば、画像取込デバイスの積分時間が、６０Ｈｚの照明源の周期の整数倍として設定される場合、５０Ｈｚの照明環境で像を取り込むときに、フリッカは生じる可能性があり、逆の場合も同様である。
【概要】
【０００６】
本開示は、ビデオまたは静止画像のような、取り込まれる像の品質を向上させる自動フリッカ検出および補正技術を記述する。特に、本開示は、異なる画像フレームを比較して、フリッカを検出するフリッカ補正技術を記述する。いくつかの実施形態において、比較は、フレーム内の行に関係付けられた強度値を合計することと、行の合計を比較して、差信号を発生させることとを含む。フリッカの検出および補正は、差信号の１次微分を使用して実行される。差信号の１次微分は、フリッカを検出および補正するためのさまざまな方法において使用できる。
【０００７】
例えば、フリッカ補正ユニットは、差信号の１次微分に基づいて、照明源の動作周波数を決定し、次に、決定された周波数に基づいて、フリッカを補正してもよい。このケースにおいて、フリッカ補正ユニットは、差信号の１次微分の零交差点間の距離を計算し、計算された距離に基づいて、照明源の周波数を決定する。フリッカ補正ユニットは、次に、決定された照明源の周波数に基づいて、フリッカを補正する。例えば、フリッカ補正ユニットは、画像取込デバイス中のセンサアレイの積分時間を、検出された周波数により決定されるような、照明源の周期の整数倍に調整してもよい。
【０００８】
代替として、フリッカ補正ユニットは、フリッカの存在を示す周期的パターンを識別し、周期的パターンを識別することに基づいて、フリッカを補正してもよい。このケースにおいて、画像取込デバイスは、差信号の１次微分の零交差点間の距離を計算する。零交差点間の距離の標準偏差に基づいて、例えば、標準偏差がしきい値より小さいとき、フリッカ補正ユニットは、フリッカを示す周期的パターンが存在することを決定する。周期的パターンが存在するとき、画像取込デバイスは、例えば、６０Ｈｚで、第１の可能性のある照明源の周期の整数倍に積分時間を設定してもよい。周期的パターンが存在し続ける場合、画像取込デバイスは、例えば、５０Ｈｚで、第２の可能性のある照明源の周期の整数倍に積分時間を再設定する。このケースにおいて、照明源の実際の周波数を決定する必要はない。
【０００９】
１つの実施形態において、本開示は、画像取込デバイスにより取り込まれた第１の画像フレームと、画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、比較に基づいて、差信号を発生させることと、差信号の微分を計算することと、微分に基づいて、画像取込デバイスにより取り込まれた第３の画像フレーム中のフリッカを補正することとを含む方法を提供する。
【００１０】
別の実施形態において、本開示は、第１の画像フレームと第２の画像フレームとを取り込む画像センサアレイと、第１の画像フレームと第２の画像フレームとを比較し、比較に基づいて、差信号を発生させ、差信号の微分を計算し、微分に基づいて、センサアレイにより取り込まれた第３の画像フレーム中のフリッカを補正するフリッカ補正ユニットとを備えるデバイスを提供する。
【００１１】
追加の実施形態において、本開示は、画像取込デバイスにより取り込まれた第１の画像フレームと、画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、第１および第２の画像フレームの比較に基づいて、第１の差信号を発生させることと、差信号に基づいて第１および第２の画像フレーム中のフリッカを検出することと、フリッカが第１および第２の画像フレーム中で検出される場合、第１の照明源の周期の整数倍に画像取込デバイスの積分時間を調整することと、積分時間の調整後に、画像取込デバイスにより取り込まれた第３の画像フレームと、画像取込デバイスにより取り込まれた第４の画像フレームとを比較することと、第３および第４の画像フレームの比較に基づいて、第２の差信号を発生させることと、第２の差信号に基づいて、第３および第４の画像フレーム中のフリッカを検出することと、フリッカが第３および第４の画像フレーム中で検出される場合、第２の照明源の周期の整数倍に画像取込デバイスの積分時間を調整することとを含む方法を提供する。
【００１２】
さらなる実施形態において、本開示は、第１の画像フレームと第２の画像フレームとを取り込む画像センサアレイと、第１の画像フレームと、取り込まれた第２の画像フレームとを比較し、第１および第２の画像フレームの比較に基づいて、第１の差信号を発生させ、差信号に基づいて、第１および第２の画像フレーム中のフリッカを検出し、フリッカが第１および第２の画像フレーム中で検出される場合、第１の照明源の周期整数倍に画像センサの積分時間を調整するフリッカ補正ユニットとを提供する。ここで画像センサアレイは、積分時間の調整後に、第３の画像フレームと第４の画像フレームとを取り込み、フリッカ補正ユニットは、第３および第４の画像フレームを比較し、第３および第４の画像フレームの比較に基づいて、第２の差信号を発生させ、第２の差信号に基づいて、第３および第４の画像フレーム中のフリッカを検出し、フリッカが第３および第４の画像フレーム中で検出される場合、第２の照明源の周期整数倍に画像取込デバイスの積分時間を調整する。
【００１３】
別の実施形態において、本開示は、画像取込デバイスにより取り込まれた第１の画像フレームと、画像取込デバイスにより取り込まれた第２の画像フレームとを比較することと、比較に基づいて差信号を発生させることと、ローパスフィルタを差信号に適用することと、フィルタリングされた差信号の１次微分を計算することと、フィルタリングされた差信号の１次微分に基づいて、画像取込デバイスにより取り込まれた第３の画像フレーム中のフリッカを補正することとを含む方法を提供する。
【００１４】
本開示の１つ以上の実施形態の詳細を、添付図面および以下の説明中で示す。本開示の他の、特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるだろう。
【詳細な説明】
【００１５】
図１は、画像情報を取り込む例示的な画像取込デバイス１０を図示するブロック図である。図１中で示したように、画像記録デバイス１０は、画像センサアレイ１２と、画像取込制御ユニット１４と、フリッカ補正ユニット１６と、画像プロセッサ１８と、画像記憶デバイス２０とを含む。図１中で図示した特徴は、ハードウェアおよび／またはソフトウェアコンポーネントの任意の適切な組み合わせにより実現してもよい。ユニットとしての異なる特徴の描写は、画像取込デバイス１２の異なる機能の観点をハイライトするように向けられており、別個のハードウェアおよび／またはソフトウェアコンポーネントにより、そのようなユニットを実現しなければならないことを必ずしも意味しない。むしろ、１つ以上のユニットに関係付けられた機能は、共通のハードウェアおよび／またはソフトウェアコンポーネント内に組み込まれていてもよい。
【００１６】
画像取込デバイス１０は、デジタルビデオカメラや、デジタル静止画像カメラや、または両方の組み合わせのようなデジタルカメラであってもよい。さらに、画像取込デバイス１０は、独立型のカメラのような独立型のデバイスであってもよく、または、ワイヤレス通信デバイスのような別のデバイス中に組み込まれていてもよい。例として、画像取込デバイス１０は、いわゆるカメラ電話機を形成する移動電話機中に組み込まれていてもよい。画像取込デバイス１０は、色画像、白黒画像、または両方を取り込むことを備えていることが好ましい。この開示において、用語“画像”、“像”、“画像情報”、または類似の用語は、ビデオまたは静止ピクチャのいずれかを区別なく指してもよい。同様に、用語“フレーム”は、画像取込デバイス１０により取得される、ビデオのフレームまたは静止ピクチャのフレームのいずれかを指してもよい。
【００１７】
センサアレイ１２は、対象のシーンに対する画像情報を捕捉する。センサアレイ１２は、例えば、行および列で配列されるような、個々の画像センサの２次元のアレイを含む。センサアレイ１２は、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）センサのようなソリッドステートのセンサのアレイを備えていてもよい。センサアレイ１２内の画像センサは、画像情報を取り込むために画像シーンにシーケンシャルに露出される。画像取込デバイス１０は、センサアレイ１２に対して積分時間を設定し、所定のフレームの取り込みのためにセンサアレイが光に露出される時間量を制限する。センサアレイ１２は、取り込まれた画像情報を画像プロセッサ１８に提供して、画像記憶デバイス２０中に記憶させる、画像情報の１つ以上のフレームを形成する。
【００１８】
センサアレイ１２中のソリッドステートのセンサは、フレームを記録するために使用される画像情報のすべてを瞬時に取り込むわけではない。代わりに、センサは、画像情報のフレーム全体を取得するために、シーケンシャルにスキャンされる。結果として、屋内の照明は、センサアレイ１２により取得される画像中に、フリッカと呼ばれる、目に見える帯状のものを生成することがある。センサアレイ１２の積分時間を制御して、所定のＡＣ周波数で動作する照明源に起因するフリッカを除去できる。特に、照明源の周期の整数倍になるように、積分時間を調整できる。しかしながら、照明源の周波数は、例えば、５０Ｈｚまたは６０Ｈｚのいずれかのように、異なることがある。したがって、フリッカを除去するために必要とされる積分時間は、画像取込デバイス１０が使用される環境にしたがって変わるかもしれない。
【００１９】
取込制御ユニット１４は、センサアレイ１２を制御して、１つ以上のフレームの形態で画像情報を取り込む。特に、取込制御ユニット１４は、選択された積分時間とフレームレートとに基づいて、画像シーンに対してセンサアレイ１２の露出を制御する。センサアレイ１２がフレームを取り込むフレームレートを制御して、フリッカが確実に“ロールする”ようにすることができる。帯の位置がフレームからフレームにわずかに変化するとき、フリッカは“ロールする”。フリッカがロールしない場合、フリッカは静止画像のように見える。フリッカが確実にロールするようにするために、フリッカ周波数がフレームレートにより分割できないような値に、フレームレートを設定すべきである。６０Ｈｚの電源により特徴付けられる照明環境において、例えば、取込制御ユニット１４は、１５．０３のフレームレートのような、１５．００よりもわずかに高いまたは低いフレームレートで画像情報を取り込んでもよい。
【００２０】
制御ユニット１４は、特定の照明環境におけるフリッカを除去するために設定された積分時間を使用して、画像を最初に取り込む。米国において販売される画像記録デバイスに対して、例えば、取込制御ユニット１４は、８．３３ミリ秒（１／１２０）の整数倍であるデフォルトの積分時間を有していてもよく、８．３３ミリ秒は、６０Ｈｚの電源により特徴付けられる照明環境により生成される変動の周期である。以下でより詳細に記述するように、フリッカの存在を検出した際に、フリッカ補正ユニット１６は、取込制御ユニット１４の積分時間を設定してもよい。１つの実施形態において、例えば、フリッカ補正ユニット１６は、照明源の検出された周波数に基づいて、取込制御ユニット１４の積分時間を設定する。別の実施形態において、フリッカ検出の際に、フリッカ補正ユニット１６は、フリッカが除去されるまで、異なる照明源の周波数に対して、適切な異なる積分時間を選択する。
【００２１】
画像プロセッサ１８は、センサアレイ１２から、取り込まれた画像データを受け取り、何らかの必要な処理を画像情報に実行する。プロセッサ１８は、例えば、フィルタリングすることや、クロップすることや、デモザイクにすることや、圧縮や、画像画質向上や、またはセンサアレイ１２により取り込まれた画像情報の他の処理を実行してもよい。マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、あるいは他の任意の等価ディスクリートまたは集積論理回路により、プロセッサ１８を実現してもよい。いくつかの実施形態において、画像プロセッサ１８は、エンコーダ−デコーダ（ＣＯＤＥＣ）の一部を形成してもよく、エンコーダ−デコーダ（ＣＯＤＥＣ）は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ  Ｈ．２６３、ＩＴＵ  Ｈ．２６４、ＪＰＥＧ、またはこれらに類似するもののような、特定のエンコーディング技術またはフォーマットにしたがって、画像情報をエンコードする。
【００２２】
プロセッサ１８は、画像情報を記憶デバイス２０中に記憶させる。プロセッサ１８は、生の画像情報や、処理された画像情報や、またはエンコードされた情報を記憶デバイス２０中に記憶させてもよい。像が音声情報を伴う場合、独立して、またはビデオ情報と共に、音声情報を記憶デバイス２０中に記憶させてもよい。記憶デバイス２０は、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリのような、あるいは、磁気データ記憶デバイスまたは光学データ記憶デバイスのような、任意の揮発性または不揮発性の、メモリまたは記憶デバイスを備えていてもよい。
【００２３】
フリッカ補正ユニット１６は、センサアレイ１２により取り込まれた画像情報内のフリッカを検出し、後続の画像に対してフリッカを補正して、画質を向上させる。以下で詳細に記述するように、フリッカ補正ユニット１６は、画像情報のフレームの対を使用して、画像情報内のフリッカを検出する。マイクロプロセッサ、ＤＳＰ、またはこれらに類似するもののような、独立のハードウェアコンポーネントとして、または論理デバイスのプログラム可能な機能として、フリッカ補正ユニット１６を実現できる。いくつかの実施形態において、フリッカ検出ユニット１６は、画像プロセッサ１８を実現する論理デバイスの、プログラム可能なまたは組み込まれた機能であってもよい。特に、このような論理デバイスにより実行される１つ以上のソフトウェアプロセスとして、フリッカ検出ユニット１６を実現してもよい。
【００２４】
画像取込デバイス１０が最初に電源供給されるときに、フリッカ補正ユニット１６は、フリッカ検出を実行してもよい。例えば、画像取込デバイス１０の自動露出制御（ＡＥＣ）が、特定の輝度レベル範囲に到達するときに、フリッカ補正ユニット１６は、フリッカ検出を最初に実行してもよい。さらに、画像取込デバイス１０が、例えば、数秒または数分の間隔で動作している間、フリッカ補正ユニット１６は、フリッカ検出を定期的に実行してもよい。１つの例として、フリッカ補正ユニット１６は、２０秒毎に、適切にフリッカ検出を実行してもよい。この方法において、フリッカの開始またはフリッカ周波数中の変化を結果として生じることがあるような、画像取込デバイス１０が使用される環境が変化しているという場合に、フリッカ検出を実行できる。
【００２５】
フリッカ補正ユニット１６は、センサアレイ１２により取得された２つのフレームを比較して、フリッカを検出する。フリッカ補正ユニット１６は、ビデオシーケンス中の連続したビデオフレームまたは連続した静止画像のような、連続したフレームを比較するのが好ましい。しかしながら、フレームは、連続している必要はない。いずれかのケースにおいて、フリッカ補正ユニット１６は、フレームの比較を使用して、フリッカを示す周期的パターンを識別するか、または照明源の動作周波数を識別する。フリッカ補正ユニット１６は、フレームの両方に対して、センサアレイ１２中の行のうちの少なくとも一部分におけるセンサのうちの、少なくとも一部分にわたって強度値を合計する。
【００２６】
例えば、フリッカ補正ユニット１６は、センサアレイ１２により生成されるＹＣｂＣｒ輝度およびクロミナンスデータを使用してもよい。より詳細には、フリッカ補正ユニット１６は、各センサに対する強度値として、ＹＣｂＣｒデータのうちのＹ輝度成分を使用し、行にわたってＹの値を合計して、行の合計強度値を生成してもよい。フリッカ補正ユニット１６により使用されるＹＣｂＣｒデータは、画像取込デバイス１０に関係付けられたビューファインダまたは他のディスプレイを駆動するために使用されるのと同一のデータであってもよく、クロップおよびスケーリングされていてもよい。フリッカ補正ユニット１６は、第１のフレームの行の合計を、第２のフレームの対応する行の合計から減算して、差信号を取得し、次に、すべての負の値をゼロにクリップする。正の値もゼロにクリップしてもよい。いくつかの実施形態において、フリッカ補正ユニット１６は、ローパスフィルタを差信号に適用して、フレーム間のハンドジッターまたは動きを取り除き、その結果、平滑化された差信号を生成する。
【００２７】
フリッカ補正ユニット１６は、フィルタリングされた差信号の１次微分を計算し、微分信号の零交差点の位置を突き止める。微分信号の零交差点を使用して、フリッカを示す周期的パターンが画像フレーム中に存在しているかどうかを、フリッカ補正ユニット１６は決定する。代わりに、フリッカ補正ユニット１６は、微分信号の零交差点を使用して、照明源の動作周波数を決定する。フリッカ補正ユニット１６は、これらの決定に基づいて、フリッカを補正する。フリッカ補正ユニット１６は、例えば、取込制御ユニット１４の積分時間を照明源の周期の整数倍に調整して、フリッカを除去する。
【００２８】
図２は、例示的なフリッカ補正ユニット１６をより詳細に図示するブロック図である。フリッカ補正ユニット１６は、行合計計算器２２と、フレーム比較器２３と、ローパスフィルタ２４と、微分計算器２６と、フリッカ補正モジュール２８とを含む。フリッカ補正ユニット１６のさまざまなコンポーネントは、異なるハードウェアおよび／またはソフトウェアコンポーネント、あるいは、共通のハードウェアおよび／またはソフトウェアコンポーネント、により実現してもよい。いくつかの実施形態において、このようなコンポーネントは、マイクロプロセッサまたはＤＳＰのような、共通の論理デバイスのプログラム可能な機能として実現してもよい。上述したように、フリッカ補正ユニット１６は、画像情報のフレームの比較に基づいて、画像情報内のフリッカを検出し、補正する。画像取込デバイス１０が最初に電源供給されるときだけでなく、画像取込デバイス１０が動作している間に定期的に、フリッカ補正ユニット１６は、フリッカ検出を実行してもよい。
【００２９】
行合計計算器２２は、（図２中で“フレーム１”および“フレーム２”とラベル表示された）センサアレイ１２により取り込まれたフレームの対に対する強度値を受け取る。フリッカ補正ユニット１６は、センサアレイ１２から直接、記憶デバイス２０から、またはこれらの組み合わせから、フレームの対に対する強度値を受け取ってもよい。行合計計算器２２は、一度に１つのフレームを処理してもよく、または２つのバッファリングされたフレームを処理してもよい。例えば、行合計計算器は、フレーム１を最初に処理し、結果をバッファリングし、次にフレーム２を処理してもよい。１つの実施形態において、フレーム１およびフレーム２は、連続して取り込まれたフレームである。しかしながら、いくつかの実施形態において、ここで記述した技術はまた、不連続なフレームに対して適用してもよい。
【００３０】
行合計計算器２２は、各フレーム中の行のうちの少なくとも一部分におけるセンサのうちの、少なくとも一部にわたってセンサの強度値を合計する（図２中で“行合計１”および“行合計２”とラベル表示されている）。したがって、センサアレイ１２のすべての行またはすべてのセンサに対して強度値を合計することは必要でない。行合計計算器２２が、１２００の行を有するセンサアレイ１２により出力されたフレームの行のそれぞれを合計する場合、行合計計算器２２は、１２００のデータポイントを有する行の合計データを計算する。代わりに、行合計計算器２２は、多数の行を共にグループ化し、グループ全体に対して単一の行の合計を計算してもよい。１２００の行を有するセンサアレイに対して、例えば、行合計計算器２２は、４行のグループを発生させ、各グループに対して単一の行の合計を計算してもよく、３００のデータポイントを有する行の合計データを結果として生じる。このケースにおいて、４行のグループは、単一の行の合計を生成するために結合される。
【００３１】
さらに、行合計計算器２２により実行される計算量を減少させるために、各グループ中の行のうちの一部分は、行の合計計算において使用されなくてもよい。上述した４行のグループを例として使用すると、行合計計算器２２は、グループのうちの最初の２行の強度値を合計し、グループのうちの他の２行を飛ばしてもよい。さらなる代替として、行合計計算器２２は、行の合計計算においてセンサ出力のそれぞれを使用してもよく、または、センサアレイ１２のセンサ出力の一部分だけを使用してもよい。例えば、行合計計算器２２は、センサアレイ１２の、各行または行のグループにおけるセンサのサブセットを使用してもよい。センサのサブセットは、センサアレイ１２の列のサブセットに対応する。行合計計算器２２は、シリアルに、またはパラレルに、行の合計を計算してもよい。
【００３２】
フレーム比較器２３は、フレーム１およびフレーム２に対して、行合計計算器２２により計算された行の合計値間の差を計算して、（図２中で差信号とラベル表示された）“差信号”を取得する。特に、フレーム比較器２３は、フレーム１に対する行の合計（行合計１）をフレーム２に対する対応する行の合計（行合計２）から減算する。連続したフレームの行の合計の差を計算することは、シーン情報を除去するが、フリッカ情報を維持する。フレーム比較器２３はまた、差信号の任意の負または正の部分をゼロにクリップしてもよい。
【００３３】
図２中でさらに示したように、フリッカ補正ユニット１６は、ローパスフィルタ２４を差信号に適用してもよい。ローパスフィルタ２４は、差信号から、不要な高周波数パターンを取り除く。例えば、ローパスフィルタ２４は、２つのフレーム間のハンドジッターまたは動きに起因する影響を減少させ、フィルタリングされた、平滑化された差信号を結果として生じさせる。ローパスフィルタ２４は、差信号を平滑化する機能を果たして、スプリアス情報を除去する。微分計算器２６は、（図２中で“フィルタ済み差信号”とラベル表示された）フィルタリングされた差信号の微分を計算する。
【００３４】
フリッカ補正モジュール２８は、１次微分信号を使用して、フリッカを補正する。特に、フリッカ補正モジュール２８は、フィルタリングされた差信号のピーク値に対応する、微分信号の零交差点の位置を突き止め、零交差点を使用して、（図２中で“フリッカ補正信号”とラベル表示された）フリッカ補正信号を発生させる。フリッカ補正信号は、画像取込制御ユニット１４により使用されて、センサアレイ１２の積分時間を調整し、その結果フリッカを除去する。
【００３５】
１つの実施形態において、フリッカ補正モジュール２８は、零交差点間の距離を計算し、計算された距離に基づいて、照明源の周波数を決定する。フリッカ補正モジュール２８は、識別された照明源の周波数に基づいて、フリッカを補正する。特に、フリッカ補正信号は、取込制御ユニット１４（図１）の積分時間が、照明源の周期の整数倍に設定されることを指定する。６０Ｈｚの照明源に対して、フリッカ補正モジュール２８は、取込制御ユニット１４の積分時間を、約８．３３ミリ秒（１／１２０）の整数倍に設定する。５０Ｈｚの照明源に対して、フリッカ補正モジュール２８は、取込制御ユニット１４の積分時間を、約１０ミリ秒（１／１００）の整数倍に設定する。
【００３６】
別の実施形態において、フリッカ補正モジュール２８は、零交差点間の距離と、零交差点間の距離の標準偏差とを計算する。計算に基づいて、フリッカ補正モジュール２８は、フリッカを示す周期的パターンが存在するかどうかを決定する。フリッカ補正モジュール２８は、例えば、標準偏差と、しきい値とを比較し、標準偏差がしきい値より小さいとき、フリッカを示す周期定期パターンが存在することを決定してもよい。
【００３７】
周期的パターンが存在するとき、フリッカ補正モジュール２８は、フリッカ補正信号を送って、第１の可能性のある照明源の周期の整数倍に、取込制御ユニット１４の積分時間を設定する。このケースにおいて、照明源の実際の周波数は知られていない。しかしながら、フリッカが存在し、そして、６０Ｈｚまたは５０Ｈｚの照明源のいずれかに起因する可能性が最も高いことは明白である。フリッカ補正モジュール２８は、フリッカ補正信号を最初に送って、６０Ｈｚの照明源の周期の整数倍（すなわち、８．３３ミリ秒の整数倍）に、取込制御ユニット１４の積分時間を設定してもよい。フリッカが検出されるとき、積分時間を設定してフリッカを除去する最初の試みにおいて、６０Ｈｚの照明源を使用する。代わりに、最初の試みにおいて、５０Ｈｚの照明源を使用してもよい。
【００３８】
積分時間を設定した後、新しくプログラムされた積分時間を使用して取り込まれた、フレームの別の対を使用して、フリッカ補正モジュール１６は、周期的パターンが依然として存在するかどうかを決定する。積分時間の最初の設定の後で、周期的パターンが存在しないことを標準偏差が示す場合、画像取込デバイス１０（図１）は、その積分時間を使用し続ける。しかしながら、周期的パターンが依然として存在する場合、照明源は、仮定した（例えば、６０Ｈｚ）周波数とは異なる周波数を有していると仮定できる。このケースにおいて、フリッカ補正モジュール２８は、例えば、５０Ｈｚの照明源のような、第２の可能性のある照明源の周期の整数倍に、取込制御ユニット１４の積分時間を設定する。繰り返すと、異なる照明源に対して、積分時間が選ばれる順序を逆にしてもよく、それにより、５０Ｈｚの照明源の積分時間が最初に試行され、フリッカが依然として検出される場合、６０Ｈｚの照明源に対する積分時間が次に試行される。
【００３９】
異なるフレームを比較して、フリッカを検出することにより、この開示において記述した技術は、一般的にシーン独立である。言い換えれば、比較的複雑な画像シーンは、フリッカ補正の効果に著しい影響を与えない。異なるフレームの比較、特に、時間的に接近して捕捉される、連続するフレームの比較は、シーン情報を抑制するが、フリッカ情報を強調する。特に、２つの連続した、または不連続の、フレームの減算は、シーン情報を取り除くが、フリッカを残す傾向がある。例えば、帯状のものがロールするとき、フリッカ信号だけがフレームからフレームに移動する。しかしながら、例えば、手、顔、または口のようなオブジェクトの動きを除いては、シーン情報は一般的に移動しない。フリッカ補正技術は、ユーザの介入なしで、自動的に実行でき、画像取込デバイス１０において、通常のビューファインダ動作の中断を必要としない。さらに、いくつかの実施形態において、フリッカ検出および補正のために必要な動作は、追加のハードウェアの補助を必要とせず、ソフトウェア中で実行できる。
【００４０】
図３は、フリッカを検出および補正する例示的な技術を図示するフロー図である。図３中で図示した技術は、図２のフリッカ補正ユニット１６により実行できる。フリッカ補正ユニット１６、より詳細には、行合計計算器２２は、センサアレイ１２により取り込まれたフレームの対を処理する。上述したように、行合計計算器２２は、センサアレイ１２から直接、プロセッサ１８から、フレームを受け取ってもよく、あるいは、記憶デバイス２０または他のいくつかのバッファからフレームを取り出してもよい。
【００４１】
行合計計算器２２は、フレームの両方に対して、行のうちの少なくとも一部分のセンサのうちの少なくとも一部分にわたって強度値を合計する（３２）。行合計計算器２２は、シリアルに、またはパラレルに、行の合計を計算してもよい。上述したように、行合計計算器２２は、センサアレイ１２により出力されたフレームの行のそれぞれを合計してもよく、または、多数の行を共にグループ化し、グループ全体に対して単一の行の合計を計算してもよい。代わりに、または付加的に、行の合計を計算する際に、行合計計算器２０は、行のセンサ出力のすべてを使用してもよく、または、行のセンサ出力の一部分だけを使用してもよい。
【００４２】
フレーム比較器２３は、２つのフレームの行の合計間の差を決定する（３４）。フレーム比較器２３は、例えば、第１のフレームのそれぞれの行の合計を、第２のフレームの対応する行の合計から減算して、２つのフレーム間の行の合計の差を示す差信号を取得する。上述したように、連続したフレームの、行の合計の差を計算することは、シーン情報を除去するが、その一方で、フリッカ情報を維持する。フリッカ補正ユニット１６は、差信号の負または正の部分をゼロにクリップする（３６）。
【００４３】
フリッカ補正ユニット１６は、フレーム比較器２３により発生された差信号にローパスフィルタ２４を適用する（３８）。ローパスフィルタ２４は、差信号から、不要な高周波数パターンを取り除き、それゆえに、２つのフレーム間のハンドジッターまたは動きに起因する影響を減少させる。微分計算器２６は、フィルタリングされた差信号の微分を計算する（４０）。フリッカ補正モジュール２８は、微分信号の零交差点を決定し（４２）、零交差点間の距離を計算する（４４）。零交差点間の距離は、フィルタリングされた差信号のピーク値間の距離に相当する。
【００４４】
フリッカ補正モジュール２８は、零交差値間の計算された距離に基づいて、照明源の周波数を決定する（４６）。フリッカ補正モジュール２８は、例えば、次の式にしたがって、照明源の周波数Ｆを計算する。
【数１】
2009522948.tif 000003
【００４５】
上の式（１）において、値“peak_distance”は、微分信号の零交差点により決定されるような、フィルタリングされた距離信号のピーク間の、行における距離を表す。値“row_time”は、個々の行を読み出すために画像取込デバイス１０により必要とされる時間、すなわち１行当たりのスキャン時間を表す。
【００４６】
例示的な実施形態において、照明源の周波数Ｆは、次の式にしたがって計算できる。
【数２】
2009522948.tif 000004
【００４７】
上の式（２）において、式（１）におけるように、値“peak_distance”は、微分信号の零交差点により決定されるような、フィルタリングされた距離信号のピーク間の、行における距離を表す。値“frame_rate”は、例えば、１秒当たりのフレームのような、フレームが画像取込デバイス１０により捕捉されるレートを表す。式（２）において、値“viewfinderRows”は、画像取込デバイスに関係付けられたビューファインダまたは他の画像表示デバイスを駆動するために画像取込デバイス１０により使用される行の数を表す。ビューファインダを駆動するために使用される行の数は、通常、画像取込デバイス１０により取得されるフレーム中の行の総数より少ない。
【００４８】
式（２）中の値“scale”は、ビューファインダビデオフレームを生成するために画像取込デバイス１０により取得された行の数に適用されるダウンサンプリング係数を表す。値“croppedRows”は、ビューファインダを駆動するために総フレームからクロップされた行の数を表す。より詳細には、値“croppedRows”は、スケーリングに関係付けられる、クロップされた行の数の合計や、デモザイク機能によりクロップされた行の数や、ＶＢＬＴ（垂直ブランク時間）に対して使用される行の数や、シーン情報を含まない“ダミー”の行の任意の数を表してもよい。この方法において、式（２）中の値“viewfinderRows*scale+croppedRows”は、取り込まれたフレーム中のすべての行を表す。
【００４９】
フリッカ補正モジュール２８は、識別された照明源の周波数Ｆに基づいて、フリッカを補正する（４８）。１つの実施形態において、フリッカ補正モジュール２８は、信号を送って、取込制御ユニット１４（図１）の積分時間を、照明源の周期の整数倍に設定する。例えば、フリッカ補正モジュール２８は、６０Ｈｚの照明源に対して、約８．３３ミリ秒の整数倍に、そして、５０Ｈｚの照明源に対して、約１０ミリ秒の整数倍に、積分時間を設定する。
【００５０】
図４は、フリッカを検出および補正する別の例示的な技術を図示するフロー図である。図２のフリッカ補正ユニット１６は、図４の技術を実行するように構成されていてもよい。照明源の実際の周波数を決定する代わりに、図４の技術は、フリッカを示す周期的パターンが存在するかどうかを単に決定する。そうである場合、周期的パターンが除去されるまで、フリッカ補正ユニット１６は、（例えば、６０Ｈｚまたは５０Ｈｚに対する）異なる積分時間を選択する。
【００５１】
行合計計算器２２は、センサアレイ１２により取り込まれたフレームの対に対して、行の合計を計算する（５２）。行合計計算器２２は、フレームの両方に対して、行のうちの少なくとも一部分におけるセンサのうちの、少なくとも一部分にわたって強度値を合計する。フレーム比較器２３は、２つのフレームの行の合計間の差を決定し（５４）、差信号の負または正の部分をゼロにクリップする（５６）。フリッカ補正ユニット１６は、フレーム比較器２３により発生された差信号にローパスフィルタ２４を適用して（５８）、差信号を平滑化する。
【００５２】
微分計算器２６は、フィルタリングされた差信号の微分を計算する（６０）。フリッカ補正モジュール２８は、微分信号の零交差点を識別し（６２）、零交差点間の距離と、零交差点間の距離の標準偏差とを計算する（６４）。フリッカ補正モジュール２８は、計算された標準偏差と、しきい値とを比較して、フリッカを示す周期的パターンが存在するかどうかを決定する（６６）。
【００５３】
標準偏差がしきい値よりも大きい場合、フリッカを示す周期的パターンは存在せず、画像取込デバイス１０は、現在の積分時間を使用して、動作し続ける（６８）。しかしながら、標準偏差がしきい値より小さい場合、フリッカを示す周期的パターンが存在する。周期的パターンが存在するとき、フリッカ補正モジュール２８は、フリッカ補正信号を送って、第１の可能性のある照明源の周期の整数倍に、取込制御ユニット１４の積分時間を設定する（７０）。フリッカ補正モジュール２８は、例えば、フリッカ補正信号を発生させて、取込制御ユニット１４の積分時間を、６０Ｈｚの照明源の周期の整数倍、すなわち、８．３３ミリ秒の整数倍に設定する。
【００５４】
新しくプログラムされた積分時間を使用して取り込まれたフレームの対を使用して、フリッカ検出モジュール１６は、周期的パターンが依然として存在するかどうかを決定する（７２）。新しいフレームの対に対して計算された差信号の１次微分を使用して、フリッカ検出モジュール１６は、周期的パターンが依存として存在するかどうかを決定する。特に、フリッカ検出モジュール１６は、５２ないし６６とラベル表示されたボックスにより識別された計算を繰り返してもよい。
【００５５】
周期的パターンが存在しない場合、画像取込デバイス１０は、現在の積分時間を使用し続ける（６８）。しかしながら、周期的パターンが依然として存在する場合、フリッカ補正モジュール２８は、例えば、５０Ｈｚの照明源のような第２の可能性のある照明源の周期の整数倍に、取込制御ユニット１４の積分時間を設定する（７４）。例えば、フリッカ補正モジュール２８は、信号を送って、取込制御ユニット１４の積分時間を１０ミリ秒の整数倍に設定する。
【００５６】
図５は、２つの連続したフレームの例示的な行の合計プロット８０Ａおよび８０Ｂを図示するグラフである。行の合計プロット８０Ａは、第１のフレームに対する行合計計算器２２の出力に対応し、行の合計プロット８０Ｂは、第２のフレームに対する行合計計算器２２の出力に対応する。第１および第２のフレームは、画像取込デバイス１０により取得された、連続した、または不連続のフレームであってもよいが、連続したフレームが好ましい。図５中で図示したグラフにおいて、行の合計データのプロットのそれぞれは、３００の行の合計データポイントを有している。図５中のｘ軸は、行のインデックスに対応し、行のインデックスは、各データポイントに対する、特定の行または行のグループを識別する。図５中のｙ軸は、行の合計強度値に対応する。
【００５７】
各データポイントは、センサアレイ１２中の特定の行または行のグループに対する行の合計を表す。１２００の行を有するセンサアレイに対して、例えば、行合計計算器２２は、４行のグループに対して行の合計強度（例えば、ＹＣｂＣｒデータからＹ）を計算してもよく、３００の行の合計データポイントの計算を結果として生じる。センサアレイが、１２００行×１２００列である場合、３００行のそれぞれは、１２００の画素を含む。上述したように、行合計計算器２２により実行される計算量を減少させるために、グループ中の行の一部分は、行の合計計算において使用されなくてもよい。各行の合計データポイントにおける４行のグループに対して、行合計計算器２２は、グループのうちの最初の２行を合計して、グループのうちの他の２行を飛ばしてもよい。さらに、行合計計算器２２は、行の合計計算において、センサ出力のそれぞれを使用してもよく、または、センサアレイ１２のセンサ出力のうちの一部分だけを使用してもよい。
【００５８】
図６は、例示的な差信号９０を図示するグラフである。差信号９０は、行の合計プロット８０Ｂ（図５）から行の合計プロット８０Ａを減算し、信号の負の部分をゼロにクリップ（３６）した結果である。図６において、ｘ軸は、行のインデックスに対応し、行のインデックスは、それぞれのデータポイントに対する、特定の行または行のグループを識別する。図６中のｙ軸は、行の合計の差の強度値に対応する。
【００５９】
図７は、画像フレームの例示的な対に対する、元のフルフレームからサブサンプリングされているビューファインダビデオフレームの例示的な差信号１００と、平滑化された差信号１０２と、平滑化された差信号の１次微分１０４とを図示するグラフである。差信号１００は、フレーム比較器２３により生成できる。平滑化された差信号１０２は、ローパスフィルタ２４により生成できる。１次微分１０４は、微分計算器２６により生成できる。図７中の信号が対応する例示的な画像は、色および／または空間的なディテールをほとんど持たない比較的単純な画像である。差信号１００は、負の値をゼロにクリップした、２つの連続したフレームの行の合計プロット間の差を図示する信号である。平滑化された差信号１０２は、ローパスフィルタ２４の適用後の差信号を示す信号である。微分信号１０４は、平滑化された差信号１０２の１次微分である。
【００６０】
図７中で図示したように、微分信号１０４の零交差点は、平滑化された差信号１０２のピーク値に対応する。フリッカ補正ユニット１６は、零交差点間の距離を使用して、フレーム中のフリッカを補正する。１つの実施形態において、例えば、フリッカ補正ユニット１４は、零交差点間の距離を使用して、光源の電源周波数を計算し、光源の計算された周波数に基づいて、積分時間を調整する。別の実施形態において、フリッカ補正ユニット１４は、零交差点間の距離の標準偏差を使用して、周期的パターンがあるかどうかを決定し、周期的パターンが、もはや存在しなくなるまで積分時間を調整する。図７において、ｘ軸は、４により除算された行のインデックスに対応し、ｙ軸は、行の合計の差の強度値に対応する。図７の例において、零交差点間の距離の標準偏差は、約３パーセントである。
【００６１】
図８は、ビューファインダ画像フレームの別の例示的な対に対する、差信号１１０と、平滑化された差信号１１２と、平滑化された差信号の１次微分１１４とを図示するグラフである。信号が対応している画像は、かなりの色と空間的なディテールとを有する比較的複雑な画像である。差信号１１０は、負の値をゼロにクリップした、２つの連続した画像のフレームの行の合計プロット間の差を図示する信号である。平滑化された差信号１１２は、ローパスフィルタ２４の適用後の差信号を示す信号である。微分信号１１４は、平滑化された差信号１１２の１次微分である。図８において、ｘ軸は、４により除算された行のインデックスに対応し、ｙ軸は、行の合計の差の強度値に対応する。図８の例において、零交差点間の距離の標準偏差は、約６パーセントである。
【００６２】
ここで記述した技術は、ハードウェアや、ソフトウェアや、ファームウェアや、またはそれらの任意の組み合わせ中で実現してもよい。ソフトウェア中で実現する場合、技術は、機械実行可能命令を提供するプログラムコードを備えるコンピュータ読み取り可能媒体に向けられ、画像を取り込むデバイスにおいて、機械実行可能命令が実行されるとき、画像を取り込むデバイスは、ここで記述した技術のうちの１つ以上を実行する。そのケースにおいて、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）や、読み出し専用メモリ（ＲＯＭ）や、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）や、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）や、フラッシュメモリや、これらに類似するものを備えていてもよい。
【００６３】
プログラムコードは、コンピュータ読み取り可能命令の形態で、メモリ上に記憶されていてもよい。そのケースにおいて、マイクロプロセッサまたはデジタル信号プロセッサ（ＤＳＰ）のようなプロセッサは、メモリ中に記憶された命令を実行して、ここで記述した技術のうちの１つ以上を実行してもよい。いくつかのケースにおいて、さまざまなハードウェアコンポーネントを呼び出すＤＳＰにより、技術を実行してもよい。他のケースにおいて、マイクロプロセッサや、１つ以上の特定用途向け集積回路（ＡＳＩＣ）や、１つ以上のフィールドプログラム可能ゲートアレイ（ＦＰＧＡ）や、または他のいくつかのハードウェアとソフトウェアとの組み合わせにより、この開示中で記述した技術を実現してもよい。
【００６４】
本開示のさまざまな実施形態を記述してきた。これらのおよび他の実施形態は、特許請求の範囲の範囲内である。
【図面の簡単な説明】
【００６５】
【図１】図１は、画像情報を取り込む例示的な画像取込デバイスを図示するブロック図である。
【図２】図２は、図１の画像取込デバイスに有用な例示的なフリッカ補正ユニットを図示するブロック図である。
【図３】図３は、フリッカを自動的に検出および補正する技術を図示するフロー図である。
【図４】図４は、フリッカを自動的に検出および補正する別の技術を図示するフロー図である。
【図５】図５は、２つの連続した画像フレームに対する例示的な行の合計プロットを図示するグラフである。
【図６】図６は、図５のフレーム間の差を表す例示的な差信号を図示するグラフである。
【図７】図７は、画像フレームの例示的な対に対する、差信号と、平滑化された差信号と、平滑化された差信号の１次微分とを図示するグラフである。
【図８】図８は、画像フレームの別の例示的な対に対する、差信号と、平滑化された差信号と、平滑化された差信号の１次微分とを図示するグラフである。
【図１】
2009522948.tif 000005
【図２】
2009522948.tif 000006
【図３】
2009522948.tif 000007
【図４】
2009522948.tif 000008
【図５】
2009522948.tif 000009
【図６】
2009522948.tif 000010
【図７】
2009522948.tif 000011
【図８】
2009522948.tif 000012
【国際調査報告】
2009522948.tif 000013
2009522948.tif 000014
2009522948.tif 000015