(57)【要約】【課題】カメラの駆動周波数を変更せず、且つＡＷＢ調整の速度を切り換えることなくカラーローリングの抑圧を図ることができる画像処理装置を提供する。【解決手段】画像処理装置（１００、１０１、１０２）は、入力した色信号の中からカラーローリングに係る特定の色成分を含む色信号を検波して、当該検波した信号の色成分の時間的な変動からその周波数成分を解析する。解析の結果、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該色成分の変動に関する変動情報に基づいて前記色成分の変動を抑えるための補正信号を生成し、生成した補正信号を用いて前記特定の色成分のカラーローリングを抑圧するための制御を行う。【選択図】図１
2011130228.tif 000002
【特許請求の範囲】
【請求項１】
色信号を入力し、当該入力した色信号の中からカラーローリングに係る特定の色成分を含む色信号を検波して、カラーローリング検波信号を出力する検波部と、
少なくとも一つの画素における前記カラーローリング検波信号の色成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該色成分の変動に関する変動情報を出力する変動検出部と、
前記変動情報に基づいて前記色成分の変動を抑えるための補正信号を生成し、生成した補正信号を用いて前記特定の色成分のカラーローリングを抑圧するための制御を行うことで、入力する色信号を補正して出力するカラーローリング抑圧部と、を有する画像処理装置。
【請求項２】
前記変動情報は、カラーローリングに係る特定の色成分の基準となる色に対する変動量と、当該色成分の変動に係る周波数の情報を含む、請求項１記載の画像処理装置。
【請求項３】
前記画像処理装置は、色信号を入力し、当該色信号のホワイトバランス調整を行うホワイトバランス処理部を更に有し、
前記検波部は更に、前記入力した色信号の中から白色成分を含む色信号を検波して、白色成分検波信号出力し、
前記ホワイトバランス処理部は、前記白色成分検波信号に基づいて前記ホワイトバランス調整を行う、請求項２記載の画像処理装置。
【請求項４】
前記カラーローリング抑圧部は、前記ホワイトバランス処理部によって補正された色信号を入力し、前記カラーローリングを抑圧するための制御を行って、補正した色信号を出力する、請求項３記載の画像処理装置。
【請求項５】
前記ホワイトバランス処理部は、前記カラーローリング抑圧部によって補正された色信号を入力し、前記ホワイトバランス調整を行って補正した色信号を出力する、請求項３記載の画像処理装置。
【請求項６】
前記検波部に入力される色信号は、センサからの色信号、前記ホワイトバランス処理部によって補正された色信号、又は前記カラーローリング抑圧部によって補正された色信号である、請求項３乃至５の何れか一項記載の画像処理装置。
【請求項７】
前記検波部は、前記入力する色信号に対応する輝度信号を更に入力し、前記特定の色成分を含む色信号とともに特定の輝度成分を含む輝度信号を検波して、カラーローリング検波信号を出力し、
前記変動検出部は更に、前記特定の色成分に対応する輝度成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該輝度成分の変動に関する変動情報を出力し、
前記カラーローリング抑圧部は、前記輝度成分の変動に関する変動情報に基づいて前記色成分の変動を抑えるための補正信号を更に生成する、請求項１記載の画像処理装置。
【請求項８】
色信号を入力し、当該入力した色信号の中からカラーローリングに係る特定の色成分を含む色信号を検波してカラーローリング検波信号を出力するとともに、当該入力した色信号の中から白色成分を含む色信号を検波して白色成分検波信号を出力する検波部と、
少なくとも一つの画素における前記カラーローリング検波信号の色成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該色成分の変動に関する変動情報を出力する変動検出部と、
前記白色成分検波信号に基づいてホワイトバランス調整を行うための第１の補正信号を生成して出力する、ホワイトバランス調整信号生成部と、
前記変動情報を入力し、入力した変動情報に基づいて前記色成分の変動を抑えるための第２の補正信号を生成して出力する、カラーローリング抑圧信号生成部と、
前記第１の補正信号と、前記第２の補正信号とを入力し、前記夫々の補正信号の重み付けを行って第３の補正信号を生成する重み付け処理部と、
前記第３の補正信号を用いて、入力した色信号のホワイトバランス調整処理とカラーローリングの抑圧処理を行って補正した色信号を出力する抑圧処理部と、を有する画像処理装置。
【請求項９】
前記変動情報は、カラーローリングに係る特定の色成分の基準となる色に対する変動量と、当該色成分の変動に係る周波数の情報を含む、請求項８記載の画像処理装置。
【請求項１０】
前記検波部に入力される色信号は、センサからの色信号、又は前記抑圧処理部によって補正された色信号である、請求項９項記載の画像処理装置。
【請求項１１】
前記検波部は、前記入力する色信号に対応する輝度信号を更に入力し、前記特定の色成分を含む色信号とともに特定の輝度成分を含む輝度信号を検波して、カラーローリング検波信号を出力し、
前記変動検出部は更に、前記特定の色成分に対応する輝度成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該輝度成分の変動に関する変動情報を出力し、
前記カラーローリング抑圧信号生成部は、輝度成分の変動に関する変動情報を更に入力する、請求項８記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、例えばカメラ等の撮像装置によって撮影した画像の処理を行う画像処理装置に適用して有効な技術に関する。
【背景技術】
【０００２】
カメラ等の撮像装置で被写体の撮影を行なう場合に、その照明光に含まれる商用電源周波数に起因する照明光の発光強度の変動によって、撮影した映像に周期的な色の変動（以下、「カラーローリング」という。）が生じることが知られている。
【０００３】
ここで、カラーローリングの原理について図８を用いて説明する。
【０００４】
図８は、カラーローリングの原理を示す説明図である。
【０００５】
図８において、商用電源周波数は６０Ｈｚであり、また、カメラはＮＴＳＣ方式を採用しフィールド周波数が５９．９４Ｈｚであって、当該フィールド周波数に同期したタイミングでカメラの露光制御が行なわれる場合を例とする。
【０００６】
図８において横軸は時間を表す。図８の（ａ）は商用電源電圧を示し、図８の（ｂ）は商用電源により発光する蛍光灯の発光強度示し、図８の（ｃ）は当該蛍光灯の青色成分と黄色成分を表した分光特性を示している。また、図８の（ｄ）はカメラの垂直同期信号を示す。なお、図８では一例として、参照符号９００＿１〜９００＿６で示される露光期間は、１／１２０秒の２分の１以下の短い時間とする。
【０００７】
このとき、商用電源の周波数とカメラのフィールド周波数が異なるため、図８の（ｃ）に示すように、露光期間９００＿１〜９００＿６の蛍光灯の分光特性が徐々に変わることにより、撮影した画像の色に変動が生じ、色再現の不具合が起こる。例えば、露光期間９００＿１及び９００＿２においては黄色成分が多い画像になり、露光期間９００＿３及び９００＿４においては青色成分が多い画像となる。このような画像の色の変動は周期的に起こり、図８の場合には、商用電源周波数が６０Ｈｚであり、カメラの前記フィールド周波数が５９．９４Ｈｚであることから色の変動に係る変動周波数は０．０６Ｈｚとなり、約１６．７秒の周期で画像の色が変動するという、カラーローリングが起こる。
【０００８】
上記カラーローリングによる色再現の不具合の対策の従来技術として、例えば、下記の特許文献１及び特許文献２に開示がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３５４２９２号公報
【特許文献２】特開平１１−２８５０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載の方式では、垂直同期信号の出力タイミングを変化させることにより、露光期間を電源周波数と一致させてカラーローリングの発生を抑制している。また、特許文献２に記載の方法では、撮像素子の電荷蓄積時間、すなわちシャッタ速度が所定の速度より速くなったときに、オートホワイトバランス（以下、「ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）という。」）調整の速度を切り換えることにより調整速度を速くして、カラーローリングによる色の変動を抑圧している。
【００１１】
しかしながら、上記特許文献１及び特許文献２に記載の方法では、発明者が考えるところによると、以下のような問題がある。
【００１２】
特許文献１に記載の方法では、放送規格のフレームレート、例えば、ＮＴＳＣの場合には、５９．９４Ｈｚのフレームレートから逸脱したものとなってしまい、画像信号を出力する際には放送規格のフレームレートに合わせるためのフレームレート変換回路が必要となる。また、当該方法では、商用電源の周波数に同期したクロック信号に基づいて画像処理を実行することからサブキャリア周波数を生成するための基準クロック信号発生回路が別途必要となる。したがって、特許文献１に記載の方法では、部品点数の増加等といったコストの問題が発生すると考えられる。
【００１３】
特許文献２に記載の方法では、シャッタ速度に基づいてＡＷＢ調整の速度を切り換えることによりカラーローリングを抑圧していることから、カラーローリング以外の色の変動、例えば、通常の撮影被写体シーンの変化等、に応じてシャッタ速度が速くなった場合にもＡＷＢ調整が行われる誤動作の発生が考えられる。また、ＡＷＢ調整の速度を切り換えること自体が、本来のＡＷＢ調整の誤動作を招く可能性も考えられる。
【００１４】
本発明の目的は、放送規格に基づくカメラの駆動周波数を変更せず、且つＡＷＢ調整の速度を切り換えることなくカラーローリングの抑圧を図ることができる画像処理装置を提供することにある。
【００１５】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１６】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１７】
すなわち、画像処理装置は、入力した色信号の中からカラーローリングに係る特定の色成分を含む色信号を検波して、当該検波した信号の色成分の時間的な変動からその周波数成分を解析する。解析の結果、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、前記画像処理装置は、当該色成分の変動に関する変動情報に基づいて前記色成分の変動を抑えるための補正信号を生成し、生成した補正信号を用いて前記特定の色成分のカラーローリングを抑圧するための制御を行う。
【発明の効果】
【００１８】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１９】
すなわち、放送規格に基づくカメラの駆動周波数を変更せず、且つＡＷＢ調整の速度を切り換えることなくカラーローリングの抑圧を図ることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本実施の形態に係る画像処理装置１のブロック図である。
【図２】図２は、色成分の検波に関する説明図である。
【図３】図３は、色成分の時間変動を表す説明図である。
【図４Ａ】図４Ａは、ホワイトバランス調整の説明図である。
【図４Ｂ】図４Ｂは、カラーローリングによる色変動とその抑圧処理の説明図である。
【図５】図５は、カラーローリングに係る色成分の変動と利得の関数の説明図である。
【図６】図６は、本実施の形態に係る画像処理装置１０１のブロック図である。
【図７】図７は、本実施の形態に係る画像処理装置１０２のブロック図である。
【図８】図８は、カラーローリングの原理を示す説明図である。
【発明を実施するための形態】
【００２１】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００２２】
〔１〕本発明の代表的な実施の形態に係る画像処理装置（１００、１０１）は、色信号を入力し、当該入力した色信号の中からカラーローリングに係る特定の色成分を含む色信号を検波して、カラーローリング検波信号を出力する検波部（４）と、少なくとも一つの画素における前記カラーローリング検波信号の色成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該色成分の変動に関する変動情報を出力する変動検出部（５）と、前記変動情報に基づいて前記色成分の変動を抑えるための補正信号を生成し、生成した補正信号を用いて前記特定の色成分のカラーローリングを抑圧するための制御を行うことで、入力する色信号を補正して出力するカラーローリング抑圧部（３）と、を有する。これによれば、カラーローリングが発生しているか否かを判別した上で、カラーローリングにより変動している色成分に対して直接的に変動を抑圧することができる。
【００２３】
〔２〕項１に係る画像処理装置において、前記変動情報は、カラーローリングに係る特定の色成分の基準となる色に対する変動量と、当該色成分の変動に係る周波数の情報を含む。
【００２４】
〔３〕項２に係る画像処理装置は、色信号を入力し、当該色信号のホワイトバランス調整を行うホワイトバランス処理部（２）を更に有し、前記検波部は更に前記入力した色信号の中から白色成分を含む色信号を検波して白色成分検波信号出力し、前記ホワイトバランス処理部は、前記白色成分検波信号に基づいて前記ホワイトバランス調整を行う。これによれば、前記カラーローリングを抑圧するための制御とは別に、ホワイトバランス調整を行うことが可能となる。
【００２５】
〔４〕項３に係る画像処理装置において、前記カラーローリング抑圧部は、前記ホワイトバランス処理部によって補正された色信号を入力し、前記カラーローリングを抑圧するための制御を行って、補正した色信号を出力する。これによれば、ホワイトバランス調整を行った色信号に対してカラーローリングを抑圧するための制御が可能となる。
【００２６】
〔５〕項３に係る画像処理装置において、前記ホワイトバランス処理部は、前記カラーローリング抑圧部によって補正された色信号を入力し、前記ホワイトバランス調整を行って補正した色信号を出力する。これによれば、カラーローリングを抑圧するための制御が行われた色信号に対して、ホワイトバランス調整を行うことが可能となる。
【００２７】
〔６〕項３乃至５の何れか一項記載の画像処理装置において、前記検波部に入力される色信号は、センサからの色信号（１３）、前記ホワイトバランス処理部によって補正された色信号、又は前記カラーローリング抑圧部によって補正された色信号である。
【００２８】
〔７〕項１に係る画像処理装置において、前記検波部は、前記入力する色信号に対応する輝度信号（１４）を更に入力し、前記特定の色成分を含む色信号とともに特定の輝度成分を含む輝度信号を検波して、カラーローリング検波信号を出力する。前記変動検出部は更に、前記特定の色成分に対応する輝度成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該輝度成分の変動に関する変動情報を出力する。前記カラーローリング抑圧部は、前記輝度成分の変動に関する変動情報に基づいて前記色成分の変動を抑えるための補正信号を更に生成する。これによれば、カラーローリングによる色成分の変動情報に加えて、輝度成分の変動情報も考慮した制御を行うから、カラーローリングによる色の変動をより高い精度で抑圧することができる。
【００２９】
〔８〕本発明の代表的な実施の形態に係る画像処理装置（１０２）は、色信号を入力し、当該入力した色信号の中からカラーローリングに係る特定の色成分を含む色信号を検波してカラーローリング検波信号を出力するとともに、当該入力した色信号の中から白色成分を含む色信号を検波して白色成分検波信号を出力する検波部（４）と、少なくとも一つの画素における前記カラーローリング検波信号の色成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該色成分の変動に関する変動情報を出力する変動検出部（５）と、前記白色成分検波信号に基づいてホワイトバランス調整を行うための第１の補正信号を生成して出力する、ホワイトバランス調整信号生成部（６）と、前記変動情報を入力し、入力した変動情報に基づいて前記色成分の変動を抑えるための第２の補正信号を生成して出力する、カラーローリング抑圧信号生成部（７）と、前記第１の補正信号と、前記第２の補正信号とを入力し、前記夫々の補正信号の重み付けを行って第３の補正信号を生成する重み付け処理部（８）と、前記第３の補正信号を用いて、入力した色信号のホワイトバランス調整処理とカラーローリングの抑圧処理を行って補正した色信号を出力する抑圧処理部（９）と、を有する。これによれば、ホワイトバランス調整のための処理とカラーローリングによる色の変動を抑制するための処理を並行して行うから、他方の処理の影響を受けることなく、夫々の処理を行うことができる。
【００３０】
〔９〕項８に係る画像処理装置において、前記変動情報は、カラーローリングに係る特定の色成分の基準となる色に対する変動量と、当該色成分の変動に係る周波数の情報を含む。
【００３１】
〔１０〕項９に係る画像処理装置において、前記検波部に入力される色信号は、センサからの色信号（１３）、又は前記抑圧処理部によって補正された色信号である。
【００３２】
〔１１〕項８に係る画像処理装置において、前記検波部は、前記入力する色信号に対応する輝度信号を更に入力し、前記特定の色成分を含む色信号とともに特定の輝度成分を含む輝度信号を検波して、カラーローリング検波信号を出力し、前記変動検出部は更に、前記特定の色成分に対応する輝度成分の時間的な変動からその周波数成分を解析し、当該周波数成分の中にカラーローリングに係る特定の周波数成分が含まれている場合には、当該輝度成分の変動に関する変動情報を出力し、前記カラーローリング抑圧信号生成部は、輝度成分の変動に関する変動情報を更に入力する。これによれば、項７と同様の作用を奏する。
【００３３】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００３４】
≪実施の形態１≫
図１に本実施の形態に係る画像処理装置を示す。
【００３５】
図１に示す画像処理装置１００は、カメラ等の撮像装置の一部の機能を司るブロックであり、前記センサ部１で撮影した被写体像に係る画像信号に基づいて色信号及び輝度信号を生成する。このとき、前記画像処理装置１００は、色信号に対してホワイトバランス調整を行う。また、前記画像処理装置１００は、カラーローリングに係る特定の色成分を含む色信号を検波し、その検波した信号を解析することでカラーローリングの発生の有無を判断する。そして、カラーローリングが発生していると判断した場合には、前記画像処理装置１００は、ホワイトバランス調整を行った色信号に対してカラーローリングを抑圧するための制御を行って、補正した色信号を出力する。
【００３６】
前記画像処理装置１００は、センサ部１、ＡＤ変換部１０、輝度信号生成部１１、色信号生成部１２、検波部４、及び変動検出部５を有する。
【００３７】
前記センサ部１は撮像素子であり、図示されないレンズ及びアイリスを介して得られた被写体像を電気信号に変換し、当該信号を画像信号として出力する。前記センサ部１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ等の撮像素子である。
【００３８】
前記ＡＤ変換部１０は、アナログ／ディジタル変換回路（ＡＤＣ）を有し、前記センサ部１から出力されるアナログ信号の前記画像信号をディジタル信号に変換した色信号１３を出力する。たとえば、前記画像信号から、ＲＧＢの夫々の色成分に分けられた色信号を出力する。
【００３９】
前記輝度信号生成部１１は、前記色信号１３について所定の演算処理を行うことにより、輝度信号１４を生成して出力する。
【００４０】
前記色信号生成部１２は、ＡＷＢ処理部２及びカラーローリング抑圧部３を有する。
【００４１】
前記ＡＷＢ処理部２は、入力した前記色信号１３のホワイトバランス調整を行う。
【００４２】
前記カラーローリング抑圧部３は、前記ホワイトバランス調整が行われた色信号に対してカラーローリングを抑圧するための処理を行って、補正した色信号を出力する。
【００４３】
前記色信号生成部１２における前記ＡＷＢ処理部２と前記カラーローリング抑圧部３の具体的な処理内容については後述する。
【００４４】
前記検波部４は、ＡＷＢ検波部４１及びカラーローリング検波部４２を有する。
【００４５】
前記ＡＷＢ検波部４１は前記色信号１３を入力し当該色信号１３の中から白色成分を含む色信号を検波して出力する。当該検波の方法について図２を用いて詳細に説明する。
【００４６】
図２は、色成分の検波に関する説明図である。
【００４７】
図２において、色はＸ、Ｙ、Ｚの３種類の変数で定義されるものとする。前記３種類の変数は、ＲＧＢの３つの色成分でも良いし、輝度（Ｙ）成分及び色差（Ｃｂ，Ｃｒ）成分でも良い。全ての色は、図２に示すＸ軸、Ｙ軸、Ｚ軸から構成される３次元空間の何れかの座標によって表わされる。
【００４８】
この場合において、前記ＡＷＢ検波部４１は、白色成分の基準となる色を中心とした所定の範囲に含まれる色成分を含む色信号を検波する。すなわち、白色が（Ｘ０，Ｙ０，Ｚ０）という座標で表されるとき、前記ＡＷＢ検波部４１は、（Ｘ０，Ｙ０，Ｚ０）に示される座標から半径ｒの球面の範囲内の座標で表現される色を白色とみなして、当該範囲内の色成分を含む色信号を検波する。例えば、図２において、ＡＷＢ検波処理部４１は、座標（Ｘ０、Ｙ０、Ｚ０−ｒ）、座標（Ｘ０、Ｙ０＋ｒ、Ｚ０）、座標（Ｘ０、Ｙ０、Ｚ０＋ｒ）、座標（Ｘ０、Ｙ０−ｒ、Ｚ０）によって表される色成分を含む色信号を検波して出力する。
【００４９】
なお、上記説明では白色とみなす座標の範囲を半径ｒの球面の内側の範囲としたが、それに限られず、例えば、直方体で構成される空間の内側の範囲を白色とみなす範囲として定義しても良い。また、検波に際し、前記センサ部１の撮像素子の種類に応じて検波する周期や期間を調整しても良い。
【００５０】
前記カラーローリング検波部４２は、前記色信号１３を入力し、当該色信号１３の中からカラーローリングに係る特定の色成分を含む色信号を検波して出力する。具体的には、一画面分の色信号の中からカラーローリングによる色の変動が顕著に表れる色成分を含む色信号を検波して出力する。前記色の変動が顕著に現れる色成分としては、例えば、白色から青白色までの範囲の色成分や、青白色から黄色までの範囲の色成分である。これらの色成分を含む色信号を検波する方法は、前記ＡＷＢ検波部４１における白色成分の検波の方法と同様である。
【００５１】
なお、前記検波部４は、前記ＡＷＢ検波部４１や前記カラーローリング検波部４２による検波機能を有するだけでなく、自動露出制御（ＡＥＣ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ））のための明るさを示す信号レベルの検波や、自動焦点制御（ＡＦ（Ａｕｔｏｆｏｃｕｓ））のための鮮明さを表す高周波成分の検波等、一般的な検波処理に含まれる機能を有しても良い。
【００５２】
前記変動検出部５は、前記カラーローリング検波部４２によって検波された色信号の色成分についての時間経過による色の変動から、その変動の周波数を解析し、カラーローリングによる色の変動が起こっているか否かを判断する。
【００５３】
前記変動検出部５は先ず、例えば一つの画素における、前記検波された色信号の色成分の時間的な変動から色の変動に係る周波数成分を解析する。具体的には、前記検波された、一つの画素における前記特定の色成分を含む色信号をバッファリングしておき、高速フーリエ変換等の周波数解析手段を用いて色成分の変動に係る周波数成分を解析する。例えば、前述した図８の（Ｃ）において、前記露光期間９００＿１〜９００＿６における青色成分の値をプロットすることにより、当該青色成分の時間的な変動を得ることができる。
【００５４】
図３は、このように前記露光期間における色成分をプロットし、当該色成分の時間変動を表す説明図である。
【００５５】
図３において、カラーローリングに係る特定の色成分Ｘ、Ｙ、及びＺは、色成分毎に振幅及び位相は異なるが、周期Ｔは同一となる。前記変動検出部５は、このようにプロットした各色成分の変動からその変動に係る変動周波数を解析する。なお、ここで解析する前記変動周波数は、前述のように一つの画素における色成分の前記変動周波数でも良いし、前記特定の色成分を含む複数の画素における前記変動周波数の平均値でもよい。
【００５６】
そして、前記変動検出部５は、当該解析した周波数の中にカラーローリングに係る色成分の変動周波数と一致するものがあるか否かを判断する。具体的な方法としては、例えば、前記変動検出部５は、前記解析した周波数成分の中に、予めレジスタ等に格納された前記カラーローリングに係る色成分の変動周波数の値と一致するものがあるか否かを判別する。判別の結果、一致するものがある場合には、前記変動検出部５は、カラーローリングが発生していると判断する。
【００５７】
ここで、前記カラーローリングに係る色成分の変動周波数は、予めカメラの駆動周期と商用電源周波数から算出される周波数である。例えば、図８の例によれば、商用電源周波数が６０Ｈｚであり、カメラの前記フィールド周波数が５９．９４Ｈｚであることから、カラーローリングに係る色成分の変動周波数は０．０６Ｈｚとなる。
【００５８】
前記判別の結果、カラーローリングが発生していると判断された場合には、前記変動検出部５は前記解析した画素における前記特定の色成分（Ｘ、Ｙ、Ｚ）の変動に関する変動情報を取得する。当該変動情報としては、例えば、図３における変動周波数１／Ｔ、当該色成分の基準値Ｘ０、基準値Ｘ０に対する変動量ＸＷ１、ＸＷ２、最大値ＸＭＡＸ、及び最小値ＸＭＩＮ等である。
【００５９】
前記変動情報を取得した前記変動検出部５は、前記カラーローリング抑圧部３に対してカラーローリングが発生していることを通知するとともに、前記変動情報を与える。
【００６０】
以上のように前記変動検出部５によれば、カラーローリングによる色の変動が発生しているか否かを判断することが可能となる。
【００６１】
次に、前記色信号生成部１２における前記ＡＷＢ処理部２及び前記カラーローリング抑圧部３の動作について詳細に説明する。
【００６２】
前記ＡＷＢ処理部２は、前記ＡＷＢ検波部４１において検波された白色成分を含む色信号に基づいて、前記色信号１３のホワイトバランス調整を行う。例えば、前記ＡＷＢ処理部２は、図４Ａに示すように、前記ＡＷＢ検波部４１において白色とみなされて検波された色成分の値を基準となる色成分の値に変更することによりホワイトバランス調整を行う。
【００６３】
図４Ａは、ホワイトバランス調整の説明図である。
【００６４】
図４Ａにおいて、図２に示した３次元の色空間は、簡略化した２次元のＸＹ平面で表現されている。この場合において、前記ＡＷＢ処理部２は、前記ＡＷＢ検波部４１によって白色とみなされた色の値（Ｘ１、Ｙ１）を、白色の基準となる色の値（Ｘ０、Ｙ０）に移動させることにより、ホワイトバランス調整を行う。
【００６５】
このようにホワイトバランス調整された色信号は、前記カラーローリング抑圧部３に入力される。
【００６６】
前記カラーローリング抑圧部３は、前記変動検出部５から与えられた前記変動情報に基づいて、ホワイトバランス調整された色信号に対してカラーローリングを抑圧するための制御を行う。
【００６７】
図４Ｂは、カラーローリングによる色変動とその抑圧処理を表した説明図である。
【００６８】
ホワイトバランス調整は、図４Ａに示したように固定的に存在する１点を本来あるべき位置に移動させる処理である。これに対してカラーローリングの抑圧処理は、図４Ｂに示すように、時間経過によって移動する点を動かないようにする、又はその動きを小さくする処理である。
【００６９】
そこで、前記カラーローリング抑圧部３は、前記変動情報を用いてカラーローリングを抑圧するための補正信号を生成する。当該補正信号は、例えば、色成分の変動を抑えるための利得の関数である。
【００７０】
前記カラーローリング抑圧部３は、前記変動情報に基づいて前記利得の関数を算出し、当該算出した利得の関数と、カラーローリングに係る色成分の変動に係る関数との乗算を行うことで、カラーローリングによる色成分の変動を抑えた色信号を生成して出力する。
【００７１】
ここで、前記利得の関数について図５を用いて詳細に説明する。
【００７２】
図５は、カラーローリングに係る色成分の変動とその変動を抑制するための利得の関数についての説明図である。
【００７３】
図５の（ａ）は、図３におけるＸ成分の時間による関数を表示しており、図５の（ｂ）は、Ｘ成分の変動を抑えるための利得の関数を表している。また、図５の（ｃ）は、前記利得情報によって変動を抑えたＸ成分を表している。
【００７４】
図５の（ａ）において、Ｘ成分は、本来の値がＸ０であるのに対して変動幅（ＸＷ１＋ＸＷ２）で変動している。ここでは、このＸ成分の時間に関する関数をＦ（ｔ）とする。
【００７５】
図５の（ｂ）における利得の関数Ｇ（ｔ）は、Ｘ成分の変動に合わせて変化する利得の関数である。例えば、参照符号６０１で示される期間ではＦ（ｔ）≧Ｘ０であるから、Ｆ（ｔ）の値をＸ０に近づけるように、利得の値を１以下する。また、参照符号６０２で示される期間ではＦ（ｔ）＜Ｘ０であるから、Ｆ（ｔ）の値をＸ０に近づけるように、利得の値を１より大きい値とする。
【００７６】
このように、前記カラーローリング抑圧部３が、本来あるべき色の基準値Ｘ０に対する変動ＸＷ１及びＸＭ２を抑えるような利得の関数Ｇ（ｔ）を算出し、関数Ｆ（ｔ）と関数Ｇ（ｔ）を乗算することで、図５の（ｃ）に示されるようなＸ成分のカラーローリングによる変動を抑圧した関数Ｆ（ｔ）×Ｇ（ｔ）を得ることができる。
【００７７】
以上のように前記カラーローリング抑圧部３が、前記ＡＷＢ処理部２によってホワイトバランス調整が行われた色信号における前記特定の色成分に対して、上記のような抑圧処理を行うことで、カラーローリングによる色の変動を抑えた色信号を生成し出力することができる。
【００７８】
前記画像処理装置１００は、色信号だけでなく前記輝度信号１４も用いて前記カラーローリングによる色の変動を抑圧する処理を行う。例えば、前記カラーローリング検波部４２が、前記色信号１３における前記特定の色成分を含む色信号を検波するとともに当該検波した色信号に対応する輝度信号も検波して、当該検波した信号を出力する。そして、前記変動検出部５は、前記検波した色信号の色成分の変動周波数とともに、検波した輝度信号の輝度成分の変動周波数を解析し、カラーローリングに係る特定の周波数が含まれている場合には、色成分の前記変動情報とともに輝度成分の前記変動情報を前記カラーローリング抑圧部３に与える。これらの前記変動情報を受け取った前記カラーローリング抑圧部３は、当該変動情報に基づいて前記利得の関数Ｇ（ｔ）を生成し、前述の方法によりカラーローリングによる色の変動を抑圧する。
【００７９】
また、輝度成分を利用する別の方法としては、例えば、検波された輝度信号の輝度成分が所定の値よりも大きい場合や小さい場合に、前記変動検出部５が所定の制御信号を出力する方法がある。例えば、撮影した画像信号の輝度が十分暗い場合や十分明るい場合に、前記変動検出部５が所定の制御信号を出力する。そして、前記カラーローリング抑圧部３が色成分の前記変動情報とともに前記制御信号を受け取り、色成分の前記変動情報に基づいて算出した利得の関数を前記制御信号に基づいて補正する。これによれば、前記制御信号によって色成分の変動を抑圧する程度を変更することができる。
【００８０】
以上のように色成分のみならず輝度成分も考慮することによって、カラーローリングによる色の変動をより高い精度で抑圧し、より精度の高い色再現が可能となる。
【００８１】
以上実施の形態１に係る画像処理装置１００によれば、カラーローリングが発生しているか否かを判別した上で、カラーローリングによって変動している色成分に対して直接的に変動を抑圧することができる。また、前記画像処理装置１００は、カメラの駆動周期を変えることなくカラーローリングによる色の変動を抑圧するから、フレームレート変換回路等の追加は不要である。更に、ホワイトバランス調整とは別にカラーローリングの抑圧のための処理を行なうから、通常の撮影被写体シーンの変化等においてＡＷＢ調整が誤動作するようなことも起こらない。
【００８２】
なお、前記画像処理装置１００では、前記色信号１３に対して前記ＡＷＢ処理部２がホワイトバランス調整を行ってから、前記カラーローリング抑圧部３がカラーローリングによる色の変動を抑える処理を行った。これに対し、前記カラーローリング抑圧部３が前記色信号１３に対してカラーローリングによる色の変動を抑える処理を行ってから、前記ＡＷＢ処理部２がホワイトバランス調整を行うようにしても良い。
【００８３】
図６は、上記の処理手順を入れ替えた画像処理装置のブロック図である。
【００８４】
図６に示される画像処理装置１０１は、前記画像処理装置１００における前記カラーローリング抑圧部３と、前記ＡＷＢ処理部２とを入れ替えた構成であり、その他の構成要素及び接続関係は、前記画像処理装置１００と同様である。前記画像処理装置１０１によれば、カラーローリングを抑圧するための制御が行われた色信号に対してホワイトバランス調整を行うことが可能となり、カラーローリングによる色の変動の抑圧に関して前記画像処理装置１００と同様の作用を奏する。
【００８５】
また、前記画像処理装置１００及び前記画像処理装置１０１において、前記ＡＷＢ検波部４１及び前記カラーローリング検波部４２は前記色信号１３を入力して検波処理を行ったが、前記ＡＷＢ検波部４１及び前記カラーローリング検波部４２に入力する色信号は、前記ＡＷＢ処理部２によってホワイトバランス調整が行われた色信号でも良いし、前記カラーローリング抑圧部３によってカラーローリングの抑圧処理が行われた色信号でもよい。いずれの色信号を入力した場合においても、カラーローリングによる色の変動の抑圧に関して同様の作用を奏する。
【００８６】
≪実施の形態２≫
図７に本実施の形態にかかる画像処理装置１０２を示す。
【００８７】
実施の形態１に係る画像処理装置１００及び１０１では、色信号に対するホワイトバランス調整のための処理とカラーローリングの抑圧処理を直列的に行っていたが、図７に示される画像処理装置１０２は、上記の２つの処理を並列的に行って補正した色信号を出力する。
【００８８】
図７に示す画像処理装置１０２の構成要素において、前記画像処理装置１００及び１０１の構成要素と同一の構成要素には同一の符号を付して、その詳細な説明を省略する。
【００８９】
前記画像処理装置１０２は、前記色信号生成部１２の代わりに色信号生成部１５を有する。
【００９０】
前記色信号生成部１５は、ＡＷＢ調整信号生成部６、カラーローリング抑圧信号生成部７、重み付け処理部８、及び抑圧処理部９を有する。
【００９１】
前記ＡＷＢ調整信号生成部６は、前記ＡＷＢ処理部２における処理の一部を担うブロックに当たり、ホワイトバランス調整を行うための調整信号を生成するブロックである。
【００９２】
前記ＡＷＢ調整信号生成部６は、前記ＡＷＢ検波部４１によって検波された白色成分を含む色信号に基づいて、ホワイトバランス調整を行うための調整信号を生成する。前記調整信号は、例えば、ホワイトバランス調整のための利得の関数である。前述した図４Ａの例によれば、座標（Ｘ１、Ｙ１）の値を所定の演算処理により、基準の色の座標（Ｘ０、Ｙ０）の値にするための利得の関数である。
【００９３】
前記カラーローリング抑圧信号生成部７は、前記カラーローリング抑圧部３における処理の一部を担うブロックに当たり、カラーローリングによる色の変動を抑圧するための補正信号を生成するブロックである。
【００９４】
前記カラーローリング抑圧信号生成部７は、前記カラーローリング抑圧部３と同様の方法により、前記変動検出部５が出力する色成分及び輝度成分の前記変動情報に基づいて、色成分の変動を抑えるための利得の関数を生成する。
【００９５】
前記重み付け処理部８は、前記前記ＡＷＢ調整信号生成部６及び前記カラーローリング抑圧信号生成部７で生成された夫々の利得の関数を入力し、当該入力した夫々の利得の関数に重み付けを行なって、新たな利得の関数を生成する。例えば、前記重み付け処理部８は、前記夫々の利得の関数に対して所定の係数を乗算することにより夫々の利得の関数の重み付けをする。そして、当該重み付けされた夫々の利得の関数を加算することで、新たな利得の関数を生成する。ここで、前記所定の係数の値は、例えば、前記重み付け処理部８が、夫々の利得の値から白色成分のずれの程度やカラーローリングによる色の変動の程度等を判断し、ホワイトバランス調整とカラーローリング抑圧処理のどちらの処理による補正を優先させるかによって決定される。または、予めホワイトバランス調整とカラーローリング抑圧処理のどちらか一方を優先させるように前記所定の係数の値を決めておいてもよい。
【００９６】
前記抑圧処理部９は、前記重み付け処理部８で生成された利得の関数を用いて、前記色信号１３を補正して出力する。例えば、前記抑圧処理部９は、前記重み付け処理部８で生成された利得の関数と前記色信号１３との乗算を行うこと生成した色信号を出力する。これによれば、前記色信号１３に対してホワイトバランス調整とカラーローリング抑圧処理が行われて補正された色信号を得ることができる。
【００９７】
以上実施の形態２に係る画像処理装置１０２によれば、ホワイトバランス調整のための処理とカラーローリングによる色の変動を抑制するための処理を並行して行うから、他方の処理の影響を受けることなく夫々の処理を行うことができ、且つカラーローリングによる色の変動の抑圧に関して、前記画像処理装置１００及び１０１と同様の作用を奏する。
【００９８】
なお、前記画像処理装置１０２において、前記ＡＷＢ検波部４１及び前記カラーローリング検波部４２は前記色信号１３を入力して検波処理を行ったが、前記ＡＷＢ検波部４１及び前記カラーローリング検波部４２に入力する色信号は、前記抑圧処理部９によってホワイトバランス調整及びカラーローリングの抑圧処理が行われた色信号であってもよい。いずれの色信号を入力した場合においても、カラーローリングによる色の変動の抑圧に関して同様の作用を奏する。
【００９９】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１００】
例えば、前記画像処理装置１００、１０１及び１０２では、色成分及び輝度成分を考慮してカラーローリングによる色の変動の抑圧処理を行う場合を例としたが、輝度成分を考慮せずにカラーローリングによる色変動の抑圧処理を行ってもよい。この場合、前記検波部４は前記輝度信号１４の検波を行わず、前記変動検出部５は輝度成分の前記変動情報を出力しない。
【符号の説明】
【０１０１】
１００、１０１、１０２  画像処理装置
１  センサ部
２  ＡＷＢ処理部
３  カラーローリング抑圧部
４  検波部
４１  ＡＷＢ検波部
４２  カラーローリング検波部
５  変動検出部
１０  ＡＤ変換部
１１  輝度信号生成部
１２、１５  色信号生成部
１３  色信号
１４  輝度信号
６０１  成分Ｘの値がＸ０以上の期間
６０２  成分Ｘの値がＸ０より小さい期間
９００＿１〜９００＿６  露光期間
【図１】
2011130228.tif 000003
【図２】
2011130228.tif 000004
【図３】
2011130228.tif 000005
【図４Ａ】
2011130228.tif 000006
【図４Ｂ】
2011130228.tif 000007
【図５】
2011130228.tif 000008
【図６】
2011130228.tif 000009
【図７】
2011130228.tif 000010
【図８】
2011130228.tif 000011