(57)【要約】【課題】周期性に乱れがある場合でもカラーローリングを精度よく検出し、補正する。【解決手段】原色信号の処理結果から、色遷移パターンを特定するための参照データを電源起動処理時などで発生し、その後の補正時に局所的な補正時データを発生するＯＰＤ１２およびＣＰＵ１０（データ発生部４Ａ）と、メモリ１１と、発生させた参照データから所定時間ごとに３色のＧａセットを算出して、これを参照データと関連付けてメモリ１１に記憶させる係数設定制御部と、補正時データの発生を制御し、発生した補正時データに類似する局部的な色遷移パターンを参照データの探索により特定する探索制御部と、特定された局部的な色遷移パターンに対応した１組のＧａセットを読み出す係数出力制御部と、当該Ｇａセットを用いて原色信号を色補正するＷＢ補正部２５と、を有する。【選択図】図４
2010141714.tif 000002
【特許請求の範囲】
【請求項１】
複数の色信号を色ごと処理し、色遷移パターンを特定するためのデータを時系列で発生するデータ発生部と、
発生したデータを記憶する記憶部と、
前記データ発生部を制御し、所定の参照期間に対応した区間の色信号に対して前記処理を色ごとに実行することにより参照データを発生させ、発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを算出し、当該算出を繰り返し、算出した複数組の係数セットを、関連する参照データとともに前記記憶部に記憶させる係数設定制御部と、
前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、前記データ発生部を制御し、当該短い期間に対応した区間の色信号に対し前記処理を色ごとに実行して補正時データを発生させ、発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部に記憶されている前記参照データ内の探索により特定する探索制御部と、
前記探索制御部が特定した局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から読み出す係数出力制御部と、
読み出された係数セットを用いて前記複数の色信号に対し色補正を行う色補正部と、
を有する色信号処理装置。
【請求項２】
前記データ発生部で発生する、前記参照データと前記補正時データは、それぞれ、
前記複数の色信号それぞれを画面単位で積分して色ごと、画面ごとに得られる第１データと、
連続した画面間で前記積分値を微分して色ごと、画面ごとに得られる第２データと、
前記第１データを所定の期間内で色ごとに合算して得られる第３データと、
を含む請求項１に記載の色信号処理装置。
【請求項３】
前記探索制御部は、前記補正時データが示す色遷移パターンと、前記記憶部内の前記参照データの局所的な色遷移パターンとを、前記第１〜第３データの組み合わせの類似性を指標として、前記局所的な色遷移パターンを変えながら繰り返し比較し、比較の結果に基づいて、前記組み合わせが最も類似するときの局所的な色遷移パターンを、色補正時に用いる前記１組の係数セットを読み出すために特定する
請求項２に記載の色信号処理装置。
【請求項４】
前記データ発生部は、前記第２データが繰り返し最もゼロに近づく極点の連続する２点間で、前記第１データを色ごとに積算することにより前記第３データを求める
請求項２に記載の色信号処理装置。
【請求項５】
前記係数設定制御部は、自動露光制御がオンかオフかを制御命令によって監視しており、自動露光制御がオフの期間内に、前記参照データを発生するときの前記処理を行う前記色信号の区間を設定する
請求項１に記載の色信号処理装置。
【請求項６】
前記係数設定制御部は、電源投入処理時の自動露光制御のオフ期間に、前記参照データを発生するときの前記処理を行う前記色信号の区間を設定する
請求項１に記載の色信号処理装置。
【請求項７】
前記色補正部は色ごとのゲインアンプを含み、
前記係数設定制御部が算出し、前記記憶部に記憶させる前記係数セットは、色ごとのゲイン値を組み合わせたものである
請求項１に記載の色信号処理装置。
【請求項８】
撮像素子と、
撮像素子からの信号を調整後に、当該調整後の信号から複数の色信号を分離し、得られた複数の色信号を色ごと処理する信号処理部と、
記憶部と、
色補正部と、
前記撮像素子、前記信号処理部、前記記憶部および前記色補正部を制御する制御部と、
を有し、
前記信号処理部および制御部が、
前記複数の色信号に対し、所定の参照期間に対応した区間で所定の処理を実行し、色遷移パターンの参照データを発生させるデータ発生部と、
発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを算出し、当該算出を繰り返し、算出した複数組の係数セットを、関連する参照データとともに前記記憶部に記憶させる係数設定制御部と、
前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、前記データ発生部を制御し、当該短い期間に対応した区間の色信号に対し前記所定の処理を色ごとに実行して補正時データを発生させ、発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部に記憶されている前記参照データ内の探索により特定する探索制御部と、
前記探索制御部が特定した局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から読み出す係数出力制御部と、
を含み、
前記色補正部は、読み出された係数セットを用いて前記複数の色信号に対し色補正を行う
画像入力処理装置。
【請求項９】
入力する複数の色信号に対し、所定の参照期間に対応した区間で所定の処理を実行し、色遷移パターンの参照データを発生する参照データ発生ステップと、
発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを算出し、当該算出を繰り返すステップと、
算出した複数組の係数セットを、前記参照データに関連付けて記憶部に記憶させるステップと、
前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、当該短い期間に対応した区間の色信号に対し、前記所定の処理を実行して補正時データを発生する補正時データ発生ステップと、
発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部内の前記参照データ内の探索により特定する探索ステップと、
前記探索ステップで特定した局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から読み出す係数出力ステップと、
読み出された係数セットを用いて前記複数の色信号に対し色補正を行う色補正ステップと、
を含む色補正方法。
【請求項１０】
複数の色信号の画面ごと、色ごとの積分値に対し、所定の参照期間に対応した区間で所定の演算を演算部で実行させ、色遷移パターンの参照データを発生するステップと、
発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを前記演算部で算出させ、当該算出を繰り返すステップと、
算出した複数組の係数セットを、前記参照データに関連付けて記憶部に記憶させるステップと、
前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、当該短い期間に対応した区間で、前記積分値に対する前記所定の演算を前記演算部に実行させ、補正時データを発生させるステップと、
発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部内の前記参照データ内の探索により特定させる探索ステップと、
前記探索ステップで特定された局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から、色補正のために読み出す係数出力ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆるカラーローリングなどの周期的な色付きを補正する色信号処理装置と、その色補正方法に関する。本発明は、撮像素子を有し、入力した画像に対して上記色付きを補正する画像入力処理装置に関する。本発明は、上記色付きの補正のための係数算出の手順をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
ビデオカメラ装置などの画像入力処理装置は、色補正として、いわゆる自動白バランス（ＡＷＢ）補正を行う。
ＡＷＢ補正は、光源の色温度の違いを補正することを主な目的とするため、撮影モード（例えば、屋外と屋内などの撮影場所や光源の違いに応じたモード）が切り替わったときに自動で実行される。ＡＷＢ補正では、原色信号からフィールドごと、色ごとの積分値を得て、その色ごとの積分値に応じて色をバランスさせるために色ごとに自動ゲイン制御(ＡＧＣ)を実行する。
【０００３】
一方、ビデオカメラ装置などにおいては、蛍光灯のように一定の発光周期を有する光源により照射される被写体を、ＣＣＤセンサやＣＭＯＳイメージセンサなどの固体撮像素子で撮像する場合がある。この場合、固体撮像素子のフィールド周波数（ＮＴＳＣ方式の場合、59.94[Hz]）と商用電源の電源周波数（60[Hz]）の差異が原因となって、撮像画像に長周期の色変化が生じることが知られている。これは、いわゆるカラーローリング（または、色フリッカ）と呼ばれる現象である。
【０００４】
カラーローリングの対策法として、現象そのものを発生しないようにする方法と、現象の発生を前提とし、映像表示に対し現象が与える悪影響を抑制する方法との、大きく分けて２つの考え方が存在する。
【０００５】
現象そのものを発生させないようにする方法の１つとして、露光時間のタイミング発生（ＴＧ）駆動を高精度に行って、上記周波数の差異の影響がでないような細かな露光制御を行うことが考えられる。また、垂直同期信号と電源とで同期をとることで周波数の差異そのものを補正する方法も考えられる。
【０００６】
しかし、露光時間の制御では、ビデオカメラ装置が独自に行う自動露光(ＡＥ)調整との調停が難しい。
【０００７】
周波数の同期をとる場合、一般的に外部同期（Line Lock）手法が用いられている。
しかし、ビデオカメラ装置において外部同期手法を適用すると、当該ビデオカメラ装置から出力される映像信号にビデオ信号規格に合致しない仕様の信号が含まれることとなる。また、外部同期のために外部の部品や周辺回路が必要になるなどの弊害があり、外部同期手法の適用は汎用性に乏しく、コンシューマ製品等には向かない。
【０００８】
そこで、発生したカラーローリングによる色変動を色信号処理により補正する方法が提案されている（例えば、特許文献１〜３参照）。
【０００９】
特許文献１に記載された補正方法では、ホワイトバランスの引き込み範囲を、カラーリングの発生に応じて設定する。ここで「引き込み」とは、色バランス調整量を抽出するため、色座標上での白バランスがとれた点からの色ごとのずれ量を計算により求める動作をいう。特許文献１では、この設定した引き込み範囲を用いてホワイトバランス調整を行うことにより、カラーローリングを補正する。
【００１０】
特許文献２および３に記載された補正方法では、蛍光灯照明下での周期的な色変化（カラーローリング）を検出し、その検出の前後での原色信号の積分値の差分をとって、差分を検出前の積分値に加算し、加算後の積分値に基づいてホワイトバランス調整を行う。
【特許文献１】特開２００５−１３０００４号公報
【特許文献２】特開２００５−１１７５３５号公報
【特許文献３】国際公開第ＷＯ ０３／１０５４８８ Ａ１パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００１１】
カラーローリングの補正は、カラーローリング（周期的な色付き）が発生していることを正しく検出することが前提となる。なぜなら、例えば蛍光灯などが起因する周期的な色付きが発生していないのに、カラーローリングのための補正を行うと、逆に色バランスが崩れるからである。
しかし、上述した特許文献１〜３の記載では、カラーローリングの検出方法が具体的に記載されていない、あるいは、記載されていても正しく検出できるとは限らない。
【００１２】
例えば特許文献１には、Ｒ／Ｇ座標、Ｂ／Ｇ座標へプロットした軌跡の周期性からカラーローリングを判断とある。しかし、特許文献１には、周期性があるかどうかをどのように判断するか、詳細な方法まで言及されていない。
より詳細には、特許文献１には色座標で楕円形の軌跡が生じると記載され、これが周期性を表すものと考えられる。しかし、実際にカラーローリングが生じている場合でも、自動露光調整やその他の環境要因で周期性は常に乱されている。そのような場合、どのようにして正しい軌跡を確定させるかが困難である。
【００１３】
また、特許文献１に記載の方法では、ＡＷＢ制御枠（引き込み枠）を、カラーローリングが補正可能に設定するようになっている。この方法では、カラーローリングの補正をホワイトバランス調整で同時に行う。このため、カラーローリングを補正することが、ホワイトバランスの本来の目的である、光源の色温度等による色付きを補正する動作に悪影響を与える懸念がある。
【００１４】
特許文献２には、青(Ｂ)信号の積分値が低下し、この積分値が元に戻ることが周期的に繰り返される情報によって、カラーローリングの発生を検出する方法が記載されている。しかし、色が周期的に変化している場合、被写体の影響で画面ごとに青みがかった画面から青が低下し、しばらくすると元に戻り、これが繰り返されるような被写体がないとも限らない。したがって、青の変化だけでカラーローリングと断定するには、カラーローリングの検出としては精度が悪い。また、自動露光調整など、他の処理の影響も排除できない。
なお、非常に長い期間で周期性を見れば、上記被写体の影響は排除できる。しかし、周期性をどのように判断するかは、上記特許文献２には記載されていない。
また、特許文献２には、他の色の積分値は大きく変化しないため、青の積分値のみ補正して、この積分値からホワイトバランスの青のゲインを求める方法が記載されている。しかし、実際には、青以外の色が全く変化しないわけではない。したがって、青色のみ補正する方法は、補正の精度としても十分でない。
【００１５】
特許文献３に記載の方法では、色信号の積分値を監視して、カラーローリングを検出する点で特許文献２の方法と似ている。ただし、特許文献３に記載の方法では、青(Ｂ)の積分値がある閾値より小さくなり再び大きくなる箇所で、カラーローリングの検出を行う。しかし、特許文献２と同様、周期性を見極めないとカラーローリングと断定できないと考えられる。また、一定の閾値で検出するため、精度よくカラーローリングの検出ができないと考えられる。さらに、自動露光調整など、他の処理の影響も排除できない。
【００１６】
本発明は、撮影時の光源の駆動周波数と撮影素子の駆動周波数の僅かな差に起因した色の周期的なずれを、他の処理による変動がある場合でも精度よく確実に検出できる手法を含むため、そのような色の周期的なずれの補正が正しく行える色信号処理装置を提供するためのものである。
本発明は、撮像素子と、上記周期的な色付きを補正する回路とを含む、カメラ装置などの画像入力処理装置を提供するためのものである。
本発明は、上記色の周期的なずれを正しく補正する色補正方法と、その色補正のための係数セットを算出する手順をコンピュータに実行させるためのプログラムとを提供するためのものである。
【課題を解決するための手段】
【００１７】
本発明の第１の観点に関わる色信号処理装置は、複数の色信号を色ごと処理し、色遷移パターンを特定するためのデータを時系列で発生するデータ発生部と、発生したデータを記憶する記憶部と、前記データ発生部を制御し、所定の参照期間に対応した区間の色信号に対して前記処理を色ごとに実行することにより参照データを発生させ、発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを算出し、当該算出を繰り返し、算出した複数組の係数セットを、関連する参照データとともに前記記憶部に記憶させる係数設定制御部と、前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、前記データ発生部を制御し、当該短い期間に対応した区間の色信号に対し前記処理を色ごとに実行して補正時データを発生させ、発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部に記憶されている前記参照データ内の探索により特定する探索制御部と、前記探索制御部が特定した局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から読み出す係数出力制御部と、読み出された係数セットを用いて前記複数の色信号に対し色補正を行う色補正部と、を有する。
【００１８】
本発明では好適に、前記データ発生部で発生する、前記参照データと前記補正時データは、それぞれ、前記複数の色信号それぞれを画面単位で積分して色ごと、画面ごとに得られる第１データと、連続した画面間で前記積分値を微分して色ごと、画面ごとに得られる第２データと、前記第１データを所定の期間内で色ごとに合算して得られる第３データと、を含む。
さらに好適に、前記探索制御部は、前記補正時データが示す色遷移パターンと、前記記憶部内の前記参照データの局所的な色遷移パターンとを、前記第１〜第３データの組み合わせの類似性を指標として、前記局所的な色遷移パターンを変えながら繰り返し比較し、比較の結果に基づいて、前記組み合わせが最も類似するときの局所的な色遷移パターンを、色補正時に用いる前記１組の係数セットを読み出すために特定する。
あるいは好適に、前記データ発生部は、前記第２データが繰り返し最もゼロに近づく極点の連続する２点間で、前記第１データを色ごとに積算することにより前記第３データを求める。
【００１９】
本発明では好適に、前記係数設定制御部は、自動露光制御がオンかオフかを制御命令によって監視しており、自動露光制御がオフの期間内に、前記参照データを発生するときの前記処理を行う前記色信号の区間を設定する。
あるいは好適に、前記係数設定制御部は、電源投入処理時の自動露光制御のオフ期間に、前記参照データを発生するときの前記処理を行う前記色信号の区間を設定する。
【００２０】
本発明の第２の観点に関わる画像入力処理装置は、撮像素子と、撮像素子からの信号を調整後に、当該調整後の信号から複数の色信号を分離し、得られた複数の色信号を色ごと処理する信号処理部と、記憶部と、色補正部と、前記撮像素子、前記信号処理部、前記記憶部および前記色補正部を制御する制御部と、を有する。
このうち前記信号処理部および制御部が、上記第１の観点に関わる色信号処理装置と同様な、前記データ発生部、前記係数設定制御部、前記探索制御部および前記係数出力制御部を含み、前記色補正部は、読み出された係数セットを用いて前記複数の色信号に対し色補正を行う。
【００２１】
以上の構成によれば、撮像素子からの信号が調整後に複数の色信号に分離され、得られた複数の色信号が信号処理部または色信号処理装置に入力される。
この色信号処理では、データ発生部を係数設定制御部が制御することによって、参照データと、当該参照データに対応した複数組の（補正）係数セットとが作成され、関係付けられて記憶部に記憶される。
参照データと係数セットの作成時期は、例えば電源投入処理時など自動露光制御がオフの期間である。よって、作成された参照データは色の周期的なずれの変化に、自動露光補正などによって変動がもたらされていない。この参照データは、後で補正時データを作成したときに、当該補正時データは周期的な色遷移パターンのどの位置にあるかを決める基準母体となるデータである。
【００２２】
つぎに、データ発生部を探索制御部が制御することによって、探索が行われる。探索とは、参照データのデータ量（所定数の画像）に対応する参照期間より短い期間の色信号に対し、補正時データを発生させて、この補正時データと類似する参照データ内の局部的な色遷移パターン部分を探す動作である。
このパターンの類似性は、色遷移パターンを特定するためのデータ構造が、類似性判断ができるようになっていれば容易に求まる。例えば、参照データや補正時データは、色ごとの積分値、それらの微分値（変化の割合と増減方向）、および、上記積分値の色ごとの積算値を、それぞれ第１〜第３データとして含む。そのため、それらが組み合わせとしてどの程度、近いかによってパターンの類似性は容易に求まる。これにより、例えば類似性が最も高い参照データの箇所（局部的な色遷移パターン）が特定される。
係数出力部は、特性された局部的な色遷移パターンに対応した１組の係数セットを、記憶部から読み出す。読み出された１組の係数セットは、色補正部に与えられ、この係数セットを用いて色補正部が色補正を行う。
【００２３】
自動露光制御などによって、色遷移パターンは常に変動するが、局部的な遷移パターンの類似性で判断すると、自動露光制御などによる他の変動要因が混在している場合でも、周期的な色付きが起こっている場合に、その色ずれの時間変化箇所がほぼ特定できる。つまり、色変化がピーク（山頂）からボトム（谷底）へ変化しているのか、逆に、色変化が谷底から山頂に向かっているのか、また、その谷や山のどの位置かが分かる。そして、その周期変化の位置に応じた補正量（１組の係数セット）が特定され、色補正に供せられる。
【００２４】
本発明の第３の観点に関わる色補正方法は、入力する複数の色信号に対し、所定の参照期間に対応した区間で所定の処理を実行し、色遷移パターンの参照データを発生する参照データ発生ステップと、発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを算出し、当該算出を繰り返すステップと、算出した複数組の係数セットを、前記参照データに関連付けて記憶部に記憶させるステップと、前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、当該短い期間に対応した区間の色信号に対し、前記所定の処理を実行して補正時データを発生する補正時データ発生ステップと、発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部内の前記参照データ内の探索により特定する探索ステップと、前記探索ステップで特定した局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から読み出す係数出力ステップと、読み出された係数セットを用いて前記複数の色信号に対し色補正を行う色補正ステップと、を含む。
【００２５】
本発明の第４の観点に関わるプログラムは、複数の色信号の画面ごと、色ごとの積分値に対し、所定の参照期間に対応した区間で所定の演算を演算部で実行させ、色遷移パターンの参照データを発生するステップと、発生した参照データから、所定数（１以上）の画面ごとに複数色で１組の係数セットを前記演算部で算出させ、当該算出を繰り返すステップと、算出した複数組の係数セットを、前記参照データに関連付けて記憶部に記憶させるステップと、前記参照期間よりも短い期間に対応した区間の色信号に対し色補正を行うときに、当該短い期間に対応した区間で、前記積分値に対する前記所定の演算を前記演算部に実行させ、補正時データを発生させるステップと、発生した補正時データが示す色遷移パターンと類似する、前記参照期間内での局部的な色遷移パターンを、前記記憶部内の前記参照データ内の探索により特定させる探索ステップと、前記探索ステップで特定された局部的な色遷移パターンに対応した１組の係数セットを、前記記憶部から、色補正のために読み出す係数出力ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２６】
本発明によれば、撮影時の光源の駆動周波数と撮影素子の駆動周波数の僅かな差に起因した色ずれの周期内の位置を、他の処理による変動がある場合でも精度よく確実に検出できる。この検出手法によって色ずれの周期内の位置が精度よく求まるため、色付きの補正が正しく行える。
本発明によって、そのような精度よい色ずれ位置の検出と正しい補正を行う色信号処理装置、画像入力処理装置、色補正方法、および、色補正のための係数セット算出を行うためのプログラムを提供できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態を、カメラ装置に本発明を適用した場合を例として、図面を参照して説明する。
【００２８】
図１は、本発明の実施形態に係る色信号処理回路を内蔵したカメラ装置のブロック図である。
当該カメラ装置が、本発明の「画像入力処理装置」の一態様に該当する。カメラ装置は動画撮影を主体としたビデオカメラ、静止画撮影を主体とし動画撮影の機能を備えるデジタルスチルカメラの何れでもよい。
但し、携帯されて動画を撮影するカメラ装置よりも、蛍光灯などのカラーローリングの原因となる光源下での撮影を前提とするビデオカメラ装置が本発明の適用にとって好適である。よって、以下、ある角度の画像を長時間撮影する据え置き型の室内監視カメラやテレビ会議用のカメラなどを前提とする。
【００２９】
図１に図解するカメラ装置は、レンズや光学フィルタを含む光学部品１、撮像デバイス２、アナログの撮像信号を処理するアナログ・フロント・エンド（ＡＦＥ）回路３、アナログの撮像信号をデジタル信号にＡ／Ｄ変換し、デジタルの映像信号として信号処理部に出力するＡＤコンバータ（ＡＤＣ）５、および、タイミングジェネレータ（ＴＧ）１３を有する。
【００３０】
光学部品１は、レンズ、絞り等をレンズ筐体に収納させている部品である。光学部品１は焦点制御、および、露光量制御のための絞り制御が可能であり、露光制御のための絞り駆動部、自動フォーカスのための駆動部、それらの制御回路も光学部品１内に含まれる。
【００３１】
撮像デバイス２は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２は、光学部品１を通して入射された被写体からの光（像）を、自身が持つ撮像面に結像可能にカメラ装置本体内に固定されている。また、撮像デバイス２は、光センサをマトリクス状に多数配置させた画素アレイに、カラーフィルタやマイクロレンズ（省略可能）を一体に集積化したデバイスである。
【００３２】
撮像デバイス２がＣＣＤセンサの場合、撮像デバイス２にＴＧ１３が接続されている。撮像デバイス２は、ＴＧ１３からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。撮像デバイス２がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３から供給される。
ＴＧ１３は、これらのタイミング制御のための信号を、ＣＰＵ１０（後述）の制御を受けて、不図示のシステムクロック信号から発生する回路である。撮像デバイス２は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。
なお、撮像デバイス２がＣＭＯＳセンサの場合、ＴＧ１３の機能は撮像デバイス２内に持たせることができる。
【００３３】
撮像デバイス２からの撮像信号（アナログ信号）が入力されるＡＦＥ回路３は、アナログ信号に対して行うべき処理、例えば相関２重サンプリングによるリセットノイズの除去（撮像デバイス２がＣＣＤの場合）、その他のノイズ除去、増幅等を行う回路である。
【００３４】
ＡＤＣ５は、処理後のアナログ信号を所定ビット、例えば８、１０ビット等のデジタル信号に変換する。このデジタル信号は、画素ごとに所定ビットの階調値を有する画素データ列が含まれる。
【００３５】
また、図１に図解するカメラ装置は、ＡＤＣ５からのデジタル信号を処理する信号処理部４を有する。
信号処理部４は、例えば、半導体チップとしてＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、当該カメラ装置に内蔵されてよい。信号処理部４は、各種信号処理として、前処理としての信号増幅、ノイズ低減（ＮＲ）処理、輝度信号と色信号の分離、輝度信号処理、色信号処理等を行う。
信号処理部４は、処理後の輝度信号と色信号の混合回路を内蔵してもよいが、ここでは、コンポーネント信号（ＣｏｍｐｏｎｅｎｔＹ,Ｃ）をそのまま出力する。
【００３６】
信号処理部４は、輝度（Ｙ）信号を分離して処理する輝度信号処理回路（Ｙ Ｐｒｏｃ）３０と、色（Ｃ）信号を分離して処理する色信号処理回路（Ｃ Ｐｒｏｃ）２０と、処理後のＹ信号とＣ信号をアナログ信号に変換するＤＡコンバータ(ＤＡＣ)３１,２１とを有する。
また、信号処理部４は、Ｙ信号、Ｃ信号それぞれで画素データをフィールドごとに積算（積分）するオプティカルディテクタ（ＯＰＤ）１２と、メモリ１１と、ＣＰＵ１０を有する。
【００３７】
ＣＰＵ１０は、信号処理部４内の他の回路を含む信号処理部４の制御と、外部の撮像デバイス２、ＡＦＥ回路３、信号処理部４およびＴＧ１３の統括制御を行う回路である。
ＣＰＵ１０には、制御パラメータ等を保持する書き換え可能なメモリ１１、例えば不揮発性メモリ（ＮＶＭ）が接続されている。
なお、モニタ表示部、信号処理部４から出力される映像信号をさらにエンコードしてモニタ表示部に出力する回路、音声の処理および出力のための回路等は、図１で図示を省略している。
【００３８】
図２に、信号処理部４内における色信号処理回路２０の主な機能ブロック（あるいは処理）を示す。
図２に図解する色信号処理回路２０は、マルチプレクス・デシメーションフィルタ(ＬＰＦ)２２と、ＹＣマトリクス部（ＹＣｍａｔ）２３と、ＲＧＢマトリクス部（ＲＧＢｍａｔ）２４とを有する。また、色信号処理回路２０は、ＷＢ補正部２５、ガンマ補正部（Ｇａｍ）２６、リニアマトリクス部（Ｌｎｍａｔ）２７、周波数変換部(ＳＦＣ)２８およびエンコーダ(ＥＮＣ)２９を有する。
【００３９】
信号処理部４に入力される、デジタルの映像信号は、撮像デバイス２のカラーフィルタの配置に依存した色配列となる。色配列に限定はないが、本実施形態では、カラーフィルタが補色系の市松配置である。
よって、本実施形態では、サブ画素ごとの４種の信号を１組として構成された画素信号が、時系列で出力され、これが映像信号として信号処理部４に入力される。４種類の（サブ画素）信号は、赤(Ｒ)を含むＲ系奇数行の信号Ｓ１ｒ、青(Ｂ)を含むＢ系奇数行の信号Ｓ１ｂ、Ｒ系偶数行の信号Ｓ２ｒ、および、Ｂ系偶数行の信号Ｓ２ｂである。
【００４０】
マルチプレクス・デシメーションフィルタ部２２には、入力信号の帯域（ダイナミックレンジを小さくして後の処理負担を軽減する。また、マルチプレクス・デシメーションフィルタ部２２は、上記４種類の信号を並び替えて、Ｓ１ｒ,Ｓ１ｂ,Ｓ２ｒ,Ｓ２ｂの順に繰り返す信号（Ｓ１ｒ／Ｓ１ｂ／Ｓ２ｒ／Ｓ２ｂ）を出力する。この繰り返し信号の表記法は、以下の他の信号でも同様である。
信号（Ｓ１ｒ／Ｓ１ｂ／Ｓ２ｒ／Ｓ２ｂ）はＹＣマトリクス部２３に入力される。
【００４１】
ＹＣマトリクス部２３は、別の回路で検出したオプティカルブラックを入力して、そのレベルで信号（Ｓ１ｒ／Ｓ１ｂ／Ｓ２ｒ／Ｓ２ｂ）の基準レベルをクランプするとともに、ＹＣ分離を実行する。これにより、ＹＣマトリクス部２３からは信号（Ｙｒ／Ｙｂ／Ｃｒ／Ｃｂ）が出力される。信号（Ｙｒ／Ｙｂ／Ｃｒ／Ｃｂ）は、ＲＧＢマトリクス部２４に入力される。
【００４２】
ＲＧＢマトリクス部２４は、所定のパラメータを用いた所定の式（図２参照）にしたがって、原色信号（Ｇｒ／Ｇｂ／Ｒ／Ｂ）を発生する。原色信号（Ｇｒ／Ｇｂ／Ｒ／Ｂ）は、ＷＢ補正部２５に出力されるとともに、ＯＰＤＣ信号としてＯＰＤ１２に出力される。またＲＧＢマトリクス部２４は、ＹＣマトリクス部２３の出力からＹ信号を抽出して時間圧縮し、Ｙ信号（Ｙｒ／Ｙｃ／Ｙｒ／Ｙｃ）を発生させる。この信号は、ＯＰＤＹ信号としてＯＰＤ１２に出力する。
【００４３】
ＷＢ補正部２５、ガンマ補正部（Ｇａｍ）２６、リニアマトリクス部（Ｌｎｍａｔ）２７、周波数変換部(ＳＦＣ)２８およびエンコーダ(ＥＮＣ)２９は、図２に示す所定の処理をそれぞれ実行する。
【００４４】
図３は、ＯＰＤ１２の処理をブロック化して示す図である。
図３に図解するＯＰＤ１２は、Ｇ平均化部１２１と、置換部（Ｇｒ→１）１２２と、Ｃ積分部１２３と、Ｙ平均化部１２４と、輝度別積分部１２５と、Ｙ積分部１２６とを有する。
【００４５】
Ｇ平均化部１２１は、Ｇｒ信号とＧｂ信号を平均化してＧ信号を発生する。発生したＧ信号は、例えばＧｂ信号と置き換えられる。
置換部１２２は、画素数カウントのためにＧｂ信号を“１”に置き換える。
Ｃ積分部１２３はそれぞれの画素の色信号を積分し、「第１データ」として、Ｇ積分値（Ｉｎｔｇ Ｇ）、Ｂ積分値（Ｉｎｔｇ Ｂ）、Ｒ積分値（Ｉｎｔｇ Ｒ）を求める。以下、この３色の積分値を、単に、積分値（Ｉｎｔｇ）と表記する。
また、Ｃ積分部１２３は、“１”を積分してカウント値（Ｃｏｕｎｔ）を求める。カウント値（Ｃｏｕｎｔ）は、他の処理に使うので、本発明に関しては、“１”の積分は必須ではない。
【００４６】
Ｙ平均化部１２４は、Ｙｒ信号とＹｂ信号を平均化してＹ信号を発生する。ここで発生したＹ信号は、Ｙｂ信号と置き換えられる。
輝度別積分部１２５はＹ信号を積分してＹ積分値（Ｉｎｔｇ Ｙ）を発生する。Ｙ積分値（Ｉｎｔｇ Ｙ）は自動露光制御などに用いられる。
Ｙ平均化部１２４は、Ｃ積分部１２３が積分するタイミングを、Ｙ信号から決めるための部分である。例えば白表示の明るい画素部分では、赤(Ｒ),緑(Ｇ),青(Ｂ)が飽和レベル付近まで達しているため、色の積分値に差がでない。したがって、白表示の画像から、カラーローリングの補正のための積分値を検出することは不適切である。そこで、輝度別積分部１２５は、程よい輝度の画面のみで色データを積分させるイネーブル制御を、Ｃ積分部１２３に対して行う。
【００４７】
図４に、図２および図３に示す構成から、本発明の適用に関係する要素ブロックを抜き出した図を示す。
図４に図解する構成としては、ＯＰＤ１２、ＣＰＵ１０、メモリ１１、ＲＧＢマトリクス部２４およびＷＢ補正部２５が存在する。
ＷＢ補正部２５は、ＣＰＵ１０から発生したゲインのセット（Ｇａ＿ｒ,Ｇａ＿ｇ,Ｇａ＿ｂ）により、ＲＧＢマトリクス部２４からの原色信号を増幅する３つのゲインアンプ２５ｒ,２５ｇ,２５ｂを含む。
【００４８】
図４に示すＯＰＤ１２とＣＰＵ１０のハードウエアは、ＣＰＵ１０によるソフトウエア（ファームウエア）の実行により、データ発生部４Ａ、係数設定制御部４Ｂ、探索制御部４Ｃおよび係数出力制御部４Ｄの機能を実行する。これら４つの制御部が行う処理の目的は、カラーローリングを抑制するための色補正に適したゲインセット（Ｇａ＿ｒ,Ｇａ＿ｇ,Ｇａ＿ｂ）を求め、ＷＢ補正部２５に与えることである。
データ発生部４Ａについては以下に説明するが、他の３つの制御部は、後述する動作説明でその機能を明らかにする。
【００４９】
データ発生部４Ａが発生するデータは、図３に示すＲ積分値（Ｉｎｔｇ Ｒ）、Ｇ積分値（Ｉｎｔｇ Ｇ）およびＢ積分値（Ｉｎｔｇ Ｂ）を含む（第１データ）。
さらに、データ発生部４Ａは第２データおよび第３データを、例えばＣＰＵ１０の計算により発生する。
【００５０】
図５は、第２データ（微分値：ＤＩＦ）、第３データ（積算値：ＳＵＭ）を、第１データ（積分値：Ｉｎｔｇ）とともに概念的に説明するための図である。
図５において縦軸は、１画面（１フィールド）の色ごとの、原色信号の積分値を表す。Ｒ積分値（Ｉｎｔｇ Ｒ）、Ｇ積分値（Ｉｎｔｇ Ｇ）およびＢ積分値（Ｉｎｔｇ Ｂ）は、図３に示す輝度別積分部１２５が決めた「適度な輝度」に応じて変わる、ある基準からの当該１Ｆの積分値を示す。
図５の横軸は、例えばフィールド（Ｆ）の数で示される時間情報を表す。
【００５１】
図４に示すデータ発生部４Ａの、例えばＣＰＵ１０は、ＯＰＤ１２が求めた色ごとの第１データ、即ち積分値（Ｉｎｔｇ）から、色ごとに１Ｆを単位とした時間微分をとる。これにより、微分値ＤＩＦ(Ｒ),ＤＩＦ(Ｇ),ＤＩＦ(Ｂ)が「第２データ」として求まる。以下、この第２データを、微分値（ＤＩＦ）と表す。
また、データ発生部４Ａの、例えばＣＰＵ１０は、ＯＰＤ１２が求めた色ごとの積分値（Ｉｎｔｇ）を色ごとに合計する。この合計範囲は、例えば、微分値（ＤＩＦ）を参照して、２つの極大点Ｓ１とＳ２間の範囲とする。あるいは、極小点Ｂ１とＢ２間の範囲をこの合計範囲としてもよい。また、他の合計範囲のとり方でもよい。
なお、後述する補正時データのマッチングのためには、合計範囲は、所定の１０数Ｆと一定期間に対応する範囲にする（図８のステップＳＴ９の説明参照）。
このようにして求めた第３データを、以下、合計値（ＳＵＭ）と表記する。
【００５２】
第１〜第３データは、色遷移パターンを特定するためのデータであれば、どのようなものでもよい。ここでは、色ごとに、積分値（Ｉｎｔｇ）、微分値（ＤＩＦ）、合計値（ＳＵＭ）を求める。なお、微分値（ＤＩＦ）は谷から山への過程ではプラス、逆に、山から谷への過程ではマイナスの符号をとる。これらの特徴抽出のためのデータは、メモリ１１に記憶される。このデータ算出は、カラーローリングの色遷移パターンを特定するために行う。
【００５３】
ここでカラーローリングについて説明し、第１〜第３データによる特徴抽出が有効なことを示す。
【００５４】
図６は、カラーローリングの発生の説明図である。
図６（Ａ）に、商用交流電源の周期を示している。ここでは、商用交流電源の周期が６０[Hz]の場合を例示する。
図６（Ｂ）に、蛍光灯からの光に含まれる、Ｒ(赤),Ｇ(緑),Ｂ(青)の各色成分の時間ｔに伴う変化を示す。図６（Ａ）に示す商用交流電源の周期に基づくと、蛍光灯の発光周波数は１２０[Hz]となる。
図６（Ｃ）に、垂直同期信号の周期を示す。例えばＮＴＳＣ方式規格に準拠したカメラ装置の場合、垂直同期信号の周波数は５９.９４[Hz]となる。
【００５５】
カメラ装置は、例えば撮像デバイス２がＣＣＤの場合、非撮影時（非露光時）には、垂直同期信号の周期内で、電子シャッタを制御して定期的に蓄積電荷を捨てている。露光が指令されるとこの制御を停止するため、その時点から露光時間が開始し、露光は次の垂直同期信号の入力まで続く。カメラ装置は、このような露光制御によってフィールドごとの撮像画像を得る。
この場合のカメラ装置の露光タイミングは、図６（Ｃ）に露光時間Ｔ１、Ｔ２、Ｔ３、Ｔ４と示すように、次の垂直同期信号の印加を終点とする期間である。
【００５６】
このようにしてフィールドごとの撮像を行うカメラ装置では、ＮＴＳＣのビデオ信号規格と日本の電源周波数の規格との僅かな周波数の不整合が発生している。
具体的には、蛍光灯の発光サイクルの２回分を１サイクルとした周波数６０[Hz]の周期内で、周波数５９.９４[Hz]で繰り返される露光のタイミングが、１露光ごとに僅かではあるが、「１／５９.９４−１／６０」ｓｅｃずつ徐々にずれていく。
【００５７】
蛍光灯の２発光周期内で露光タイミングが徐々にずれることによって、各露光時間Ｔ１〜Ｔ４において得られる蛍光灯のＲＧＢ成分の割合に変化が生じる。
例えば、図６中の時点ｔ１における垂直同期信号に対応した露光時間Ｔ１では、蛍光灯のＲＧＢ成分のうち、Ｒ成分の比率が大きい。
しかし、以降の露光時間Ｔ２、露光時間Ｔ３となるにつれて、図６のように蛍光灯の発光タイミングと露光タイミングとに徐々にずれが生じ、露光時間中に得られるＲ成分の割合は減少していく。そして、露光時間Ｔ４に至ると、よりＢ成分が多く含まれた撮像画像が得られる。
環境光（蛍光灯）の色成分の割合が、露光ごとに変化していくことは、２つの微妙に異なる周波数に起因する。このため、長い時間観測すると、周期的な色変化（カラーローリング）が発生することは容易に予想できる。
【００５８】
図７に、４万フィールドを越える長期間、補色系ＣＣＤを有するカメラ装置の映像信号の色成分を観測した結果を示す。図７の横軸はフィールド数を表し、縦軸は、図４に示すＯＰＤ１２から出力される色ごとのＯＰＤ値を表す。
このＯＰＤ値は、図５との対応では３つの「第１データ」に相当する。また、同時にＹ信号のＯＰＤ値（Ｉｎｔｇ Ｙ）も求めた。
この測定では、自動ホワイトバランス（ＡＷＢ）をオフさせて、１／１００００のシャッタスピードで白色蛍光灯を撮影した。このとき図４に示すデータ発生部４Ａの機能を使って、４つ（３色＋輝度）のＯＰＤ値をメモリ１１に蓄積した。そして、４５００フィールド、時間にして１２分超のデータをメモリ１１から読み出してプロットした図が、図７である。
【００５９】
図７からわかるように、Ｂ成分が、最大振幅の上限から下限まで大きなダイナミックレンジで変化している。これに対し、Ｒ成分の変化が小さく、Ｇ成分がその中間のダイナミックレンジで変化する。このように、Ｂ成分が大きく変化することは確かであるが、他の色成分も変化しており、Ｂ成分の色補正だけでは、カラーローリング補正処理としては不十分である。
また、色成分の割合は周期的に変化しているものの頻繁に乱されており、単純な周期変化でないことがわかる。この周期性の乱れ要因は、主に自動露光制御によって、図６（Ｃ）に示す露光時間（Ｔ１〜Ｔ４、…）が、時々変化することである。
【００６０】
このような観測結果から、短い期間で検出したカラーローリングを、その検出結果に基づいて補正する従来の補正では、精度が不十分なことがわかる。
本実施形態では、この知見に基づいて、長期的な色遷移パターンに基づく高精度な補正を、図４に示すハードウエアおよびソフトウエア構成で実現する。
以下、図４に示す構成が実行する処理を、図８に示すフローチャートに沿って説明する。
【００６１】
図８に示す処理は、ステップＳＴ０の電源投入開始を契機とした電源投入処理中に開始する。したがって、このとき自動露光の機能はオフしている。
【００６２】
ステップＳＴ１では、図４のデータ発生部４Ａが、ＯＰＤ１２によって色ごとのＯＰＤ値（第１データ）、すなわち、Ｒ積分値（Ｉｎｔｇ Ｒ）と、Ｇ積分値（Ｉｎｔｇ Ｇ）と、Ｂ積分値（Ｉｎｔｇ Ｂ）を測定する。この測定は、１〜数フィールドごとのサンプリングタイミングごとに繰り返される。測定の期間はメモリ容量や測定が可能な起動時間内の期間の制約が許せば可能な限り長くとるのが望ましい。また、短くても数秒以上が望ましい。この期間を、参照期間と称する。
【００６３】
ステップＳＴ２とＳＴ３では、図４のデータ発生部４Ａ、特にＣＰＵ１０が、測定した色ごとの積分値（Ｉｎｔｇ）から、色ごとに微分値（ＤＩＦ）と合計値（ＳＵＭ）とを算出する。
【００６４】
続くステップＳＴ４では、得られた上記積分値（Ｉｎｔｇ）、微分値（ＤＩＦ）および合計値（ＳＵＭ）が、ＣＰＵ１０の制御によってメモリ１１内に記憶される。
【００６５】
ステップＳＴ５は、図４の係数設定制御部４Ｂによって実行される。
具体的にステップＳＴ５では、係数設定制御部４Ｂの、特にＣＰＵ１０が、参照データを求めたときのサンプリング点（１〜数Ｆの所定間隔）ごとに、係数セットとして、図４に示すゲインセットＧａを算出する。続くステップＳＴ６で、このゲインセットＧａがＣＰＵ１０の制御によってメモリ１１内で、参照データに関連付けられて記憶される。
【００６６】
ここで、以上のステップＳＴ２〜ＳＴ３までの処理を、１サイクルの「データ発生処理」と定義する。
また、ステップＳＴ６まで終了したら待機状態となる。
【００６７】
待機状態のまま電源がオフされれば、カラーローリング補正はできない。しかし、通常は、電源投入時の処理が終わり通常動作になると、定期的にカラーローリング補正を行うシーケンスがＣＰＵ１０内のプログラム上で決められているなど、カラーローリング補正の機会は与えられている。あるいは、ユーザの指示によってカラーローリング補正を行う場合もある。
【００６８】
ステップＳＴ７で、この自動または手動による補正指示が検出されると、処理フローが次のステップＳＴ８に抜ける。
【００６９】
ステップＳＴ８では、上記のように定義したデータ発生処理（ＳＴ２〜３）を、ステップＳＴ７で検出される指示を契機とした現在の所定期間で繰り返す。この一定の所定期間を、「補正期間」と呼ぶ。補正期間は、参照データを求めた参照期間よりずっと短い、ある決められた期間である。図７を参照すると、カラーローリングの周期は数百フレームと推定されるから、通常は、補正期間を１０数フレームの程度の長さとするのが望ましい。
この短い補正期間に得られたデータを、「補正時データ」と呼ぶ。補正時データは、参照データと種類（第１〜第３データ）は同じであるが、期間としては短い。このため、参照データに対する特徴抽出のための局所的な色遷移パターンを示すものとして利用できる。
【００７０】
次のステップＳＴ９では、図４の探索制御部４Ｃが、このようにして得られた補正時データを、色遷移パターンとのマッチングを調べるために、メモリ１１にアクセスして参照データ内を探索する。探索とは、補正時データと最も類似する参照データ内の局所データを見つけ出す処理である。具体的には、参照データが１フィールド（Ｆ）ごとにサンプリングされ、補正時データが、例えば２０Ｆで取得されると、例えば１Ｆをステップに、そこから以後２０Ｆの範囲に関係するデータでの類似性を調べ、これを、フィールドを１つずつずらしながら繰り返す。なお、このときステップのフィールド数は１Ｆに限らず、もっと荒くすることもできる。通常、参照データのサンプリング間隔で探索も行うとよい。
ここでデータが類似するかどうかは、第１〜第３データの組み合わせが類似するかの判断である。例えば数値の近似度に度数をつけて、３つの度数を総合して判断する。また、そのときどきのデータを優先させるかの基準を決めていてもよい。
【００７１】
ステップＳＴ８での探索によって類似度が最も高い箇所（局所的な色遷移パターン）が、参照データ内で特定される。
ステップＳＴ９では、図４の探索制御部４Ｃが、特定された局所的な色遷移パターンに対応した１組の係数セット、すなわちゲインセットＧａを、メモリ１１から読み出してＷＢ補正部２５に出力する。
ステップＳＴ１０において、ＷＢ補正部２５は、入力される色ごとのゲインセットＧａに応じて、ＲＧＢマトリクス部２４からの原色信号の色バランスを補正する。これによりカラーローリングが補正される。
【００７２】
＜変形例１＞
以上の制御では、電源投入時の起動処理時に参照データを発生させた。これは、起動処理時にはＡＥ制御、ＡＷＢ制御などのカラーローリングの周期性を乱す要因となる自動制御が一切行っていない期間が存在するため、その期間を利用する意図がある。このような期間に参照データを発生すると、その発生したデータは、周期変化の基準としては正確な参照データとなる。
しかし、参照データの発生は、電源投入処理時に限らない。
【００７３】
例えば、電源投入処理が終了して通常動作に移行した後でも、ユーザがＡＥ制御、ＡＷＢ制御を手動でオフして、その期間に参照データを採取してもよい。
あるいは、ＡＥ制御、ＡＷＢ制御がオフしていることをカメラが自動で検出して、その期間に自動で参照データを採取してもよい。この場合、ＡＥやＡＷＢの自動制御のスイッチがオフしていることだけでなく、スイッチがオンしていても間欠的な制御タイミングの合間で制御が実際には行われていないことを自動で検出して、その間に参照データを採取してもよい。
なお、長期的に見ると蛍光灯の発光特性は変化しており、また、窓等からの外光の影響もある場合を考慮すると、参照データの採取は定期的に行うとよい。そして、最新の参照データをメモリ１１内で常時、更新することが望ましい。
【００７４】
とくに監視カメラ等は、電源が常時投入されているため、電源投入時の処理のみで参照データを採取することにすると、制約が厳しい。
よって、この場合、ＡＥやＡＷＢの自動制御のスイッチがオンしている場合でも、その間欠的な制御タイミングの合間で制御が実際には行われていないことをカメラが自動で検出して、その間に参照データを採取する。そして、ＣＰＵ１０が、メモリ１１内の参照データを常に更新する。
【００７５】
＜変形例２＞
図８の制御では、第３データは、補正期間（例えば１０数Ｆ）での積分値の合計値（ＳＵＭ）を用いた。これに変えて、あるいは、この合計値とともに、山の頂点（Ｓ１等）、谷の底（Ｂ１等）と補正期間の位置関係の情報を第３データに含ませてもよい。このような周期性内の位置情報は、単なる合算値では検出できないことがある。山が１つでも、山が２つ以上でも合算値としては同じとなる場合がある。よって、このような周期性内の位置情報を用いると、よりデータ類似性の検出（特徴抽出）の精度が向上する。
なお、周期的な色の割合が変化するものであれば、撮影環境の光源は蛍光灯に限らない。
【００７６】
以上の本実施形態によれば、蛍光灯などの照明下での撮像時に起こる被写体像の周期的な色変化が発生する状況を前提として、長期的な色遷移パターン（参照データ）に対する局所的な色遷移パターンの特定を行い、そのとき補正係数をメモリから読み出すことで補正量を求める。参照データや補正係数を求めてメモリに格納する処理の負担はあるが、この処理は前準備として電源投入処理時などで行う。よって、カラーローリング補正の指令を自動または手動で出したときからは、単に、数１０フレームといった短い期間のデータ採取と、その結果に応じた係数セットの読み出しのみの処理である。よって、指令を出してから補正が完了するまでの応答性は高い。このため、補正時データが採取されて、実際に補正が行われるときには参照データ内の位置が大きく変わってしまい、補正精度が低下することが、有効に防止される。
【００７７】
また、青などの特定の色に補正を行うものでないため、補正精度が、この意味でも高い。
さらに、ＡＥやＡＷＢなどの特定期間の色バランス検出に影響を与える自動制御の影響を有効に排除することができる。
【００７８】
例えば、ＡＷＢの引き込み枠の設定をカラーローリングに応じて、その補正ができるようにする技術では、ＡＷＢの機能自体を用い、本実施形態のような長期的な特徴抽出は不可能である。よって、その時々の補正になるが、カラーローリングの周期性は常に乱されているため、正確な補正とならない。青などの色からカラーローリングを検出する場合も、図７を見ると明らかなように、大体は他の色と連動して変化しているが、時々大きく色バランスが変化することがあるため、青だけカラーローリングを抽出することも補正精度を落とす原因となる。
【００７９】
本実施形態の色補正方法は、以上の点から非常に高い精度でカラーローリングを補正することができる点で、顕著な効果を有する。
なお、図４に示す本発明が適用される構成において、データを格納するメモリ１１の容量を増やすことが、補正係数を決定する精度の向上につながる。したがって、当該構成を適用したシステム（電子機器）は、将来的に精度をさらに高めるための拡張性を持つことも利点の１つである。
【００８０】
なお、本発明は、名称や商品カテゴリーがカメラ装置に限らず、カメラの機能を有する携帯電話、その他の電子機器に広く適用できる。
また、図８に示す補正係数の算出までの手順を記述したプログラムに関しては、図８の対応する手順説明を、このプログラムのステップの説明として読みかえることができる。
【図面の簡単な説明】
【００８１】
【図１】実施形態に関わるカメラ装置のブロック図である。
【図２】実施形態に関わる色信号処理回路の主な機能（または処理）ブロック図である。
【図３】実施形態に関わる色信号処理回路内のＯＰＤの処理ブロック図である。
【図４】図２および図３から、本実施形態で重要な回路ブロックを抜き出し、この回路ブロックを、ソフトウエアの機能を含む各種制御部の区分けとともに示す図である。
【図５】本実施形態に関わるデータ発生部が発生させる第１〜第３データの説明図である。
【図６】カラーローリング発生の説明図である。
【図７】カラーローリングの観測例を示すグラフである。
【図８】本実施形態に関わる色補正方法の手順を示すフローチャートである。
【符号の説明】
【００８２】
２…撮像デバイス、４…信号処理部、４Ａ…データ発生部、４Ｂ…係数設定制御部、４Ｃ…探索制御部、４Ｄ…係数出力制御部、１０…ＣＰＵ、１１…メモリ、１２…ＯＰＤ、２４…ＲＧＢマトリクス部、２５…ＷＢ補正部、２５ｒ,２５ｇ,２５ｂ…ゲインアンプ、１２１…Ｇ平均化部、１２３…Ｃ積分部、１２５…輝度別積分部、（Ｉｎｔｇ）…積分値、（ＤＩＦ）…微分値、（ＳＵＭ）…合計値、Ｆ…フィールド
【図１】
2010141714.tif 000003
【図２】
2010141714.tif 000004
【図３】
2010141714.tif 000005
【図４】
2010141714.tif 000006
【図５】
2010141714.tif 000007
【図６】
2010141714.tif 000008
【図７】
2010141714.tif 000009
【図８】
2010141714.tif 000010