(57)【要約】【課題】被写体に動きがあった場合や電源周波数の変動などにより、フリッカ成分の位相が変化する場合にも良好にフリッカ抑制が可能な画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】画像の動きを検出し、動きのない場合は画像信号の積算値から算出したフリッカ補正ゲインをそのまま適用すると共に、記憶部に記憶する。そして、画像に動きがある場合は、過去に記憶されたフリッカ補正ゲインを予測した位相変動量に基づいて位相を調整して使用する。これにより、被写体に動きがあった場合や、電源周波数に変動があった場合にも、良好なフリッカ抑制が可能となる。【選択図】図２
2014027496.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号からフリッカ成分を抑制する第一補正ゲインを算出する第一補正ゲイン算出部と、
前記入力画像信号に基づいて前記フリッカ成分の位相情報を算出し、過去の前記第一補正ゲインから前記位相情報に基づき位相を調整した第二補正ゲインを算出する第二補正ゲイン算出部と、
前記第一補正ゲイン及び前記第二補正ゲインを選択的に出力するか、または所定の比率で合成して出力する補正ゲイン調整部と、
前記補正ゲイン調整部の出力を入力画像信号に乗算する乗算器と
を具備する画像処理装置。
【請求項２】
前記画像処理装置は更に、
前記入力画像信号から被写体の動きを検出する動き検出部を備え、
前記補正ゲイン調整部は、前記動き検出部が前記被写体の動きを検出して、前記第一補正ゲインが有効であると判断した場合に、前記第一補正ゲインを前記乗算器に出力する、請求項１記載の画像処理装置。
【請求項３】
前記第二補正ゲイン算出部は、
前記第一補正ゲインを記憶する補正ゲインメモリと、
前記フリッカ成分の位相情報を算出するフリッカ解析部と、
前記フリッカ成分の位相情報から、前記フリッカ成分の位相変動量を予測する位相変動算出部と、
前記補正ゲインメモリに記憶された過去の第一補正ゲインに対し、前記位相変動算出部で予測した位相変動量に基づいて位相を調整して、前記第二補正ゲインとして出力する位相調整部と
を有する、請求項２記載の画像処理装置。
【請求項４】
前記位相変動算出部は、所定間隔のフレーム間における位相情報の差分値を算出し、過去の位相変動量とフィルタリングを行うことにより、対象フレームにおける前記位相変動量を予測する、請求項３記載の画像処理装置。
【請求項５】
入力画像信号からフリッカ成分を抑制する第一補正ゲインを算出する第一補正ゲイン算出ステップと、
前記入力画像信号に基づいて前記フリッカ成分の位相情報を算出し、過去の前記第一補正ゲインから前記位相情報に基づき位相を調整した第二補正ゲインを算出する第二補正ゲイン算出ステップと、
前記入力画像信号から算出した動き情報に基づいて、前記第一補正ゲイン、前記第二補正ゲイン、及び前記第一補正ゲインと前記第二補正ゲインを所定の比率で合成した第三補正ゲインの何れかを入力画像信号に乗算するフリッカ補正ステップと
を有する画像処理方法。
【請求項６】
計算機に、
入力画像信号からフリッカ成分を抑制する第一補正ゲインを算出する第一補正ゲイン算出ステップと、
前記入力画像信号に基づいて前記フリッカ成分の位相情報を算出し、過去の前記第一補正ゲインから前記位相情報に基づき位相を調整した第二補正ゲインを算出する第二補正ゲイン算出ステップと、
前記入力画像信号から算出した動き情報に基づいて、前記第一補正ゲイン、前記第二補正ゲイン、及び前記第一補正ゲインと前記第二補正ゲインを所定の比率で合成した第三補正ゲインの何れかを入力画像信号に乗算するフリッカ補正ステップと
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
蛍光灯などの商用交流電源で駆動される、商用交流電源に起因する点滅を繰り返す照明の下で、カメラなどの撮像装置により撮影を行うと、固体撮像素子の出力信号に時間的な変動が生じ、画面上で明暗が生じる、いわゆるフリッカが発生することがある。とりわけＣＭＯＳ撮像素子では、ライン毎に電荷の蓄積タイミングが異なるために露光量が変わり、画面垂直方向に縞状の明暗となって現れる。従来、フリッカを抑制する技術として、例えば特許文献１や特許文献２に開示される技術がある。これら従来技術は、撮像素子の露光時間、すなわちシャッター速度を、照明の光量が変化する周期の整数倍に設定することにより、各画素で電荷の蓄積タイミングによらず露光量を一定として、フリッカの発生自体を抑える。
一方、出力信号にフリッカ成分を打ち消すような補正ゲインをかけることによりフリッカを抑制する技術が特許文献３に開示されている。特許文献３に開示される技術は、画面を１ライン以上からなる複数の領域に分割し、各領域で画素値を積算し、その積算データを複数画面に渡って平均化して、背景成分に相当する平均値を算出し、積算データと平均値からフリッカ成分を求め、フリッカ補正ゲインを算出する。更に被写体の動きを検出し、動きがある場合には、過去の画像のフリッカ補正ゲインから補間する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２２４４６８号公報
【特許文献２】特開２００２−０８４４６６号公報
【特許文献３】特開平１１−２５２４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１や特許文献２に開示される従来技術では、シャッター速度を自由に選べず、更には照明の点滅周期より短い高速シャッターは使用できない、という問題がある。
また、特許文献３に開示される従来技術では、フレームレートのずれや電源周波数の変動がある場合、フリッカ成分の位相は時間と共に変化している。そのため、過去のゲインから単純に補間すると、フリッカ成分の位相がずれて上手く補正できないことがある。
【０００５】
本発明はかかる状況に鑑みてなされたものであり、任意のシャッター速度において精度よくフリッカ補正ゲインを算出し、また被写体に動きがあった場合や電源周波数の変動などによってフリッカ成分の位相が変化する場合にも、良好にフリッカ抑制が可能な、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、入力画像信号からフリッカ成分を抑制する第一補正ゲインを算出する第一補正ゲイン算出部と、入力画像信号に基づいてフリッカ成分の位相情報を算出し、過去の第一補正ゲインから位相情報に基づき位相を調整した第二補正ゲインを算出する第二補正ゲイン算出部と、第一補正ゲイン及び第二補正ゲインを選択的に出力するか、または所定の比率で合成して出力する補正ゲイン調整部と、補正ゲイン調整部の出力を入力画像信号に乗算する乗算器とを具備する。
【発明の効果】
【０００７】
本発明により、任意のシャッター速度において精度よくフリッカ補正ゲインを算出し、また被写体に動きがあった場合や電源周波数の変動などによってフリッカ成分の位相が変化する場合にも、良好にフリッカ抑制が可能な、画像処理装置、画像処理方法及び画像処理プログラムを提供できる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に関わる、動画像撮影装置の機能ブロック図である。
【図２】本発明の第一の実施形態に係る、フリッカ抑制部の機能ブロック図である。
【図３】フリッカ抑制部の各所にて扱われるデータを時系列を伴って示す概略図である。
【図４】本発明の第一の実施形態に係る、フリッカ抑制部の動作の流れを示すフローチャートである。
【図５】本発明の第一の実施形態に係る、フリッカ抑制部の動作の流れを示すフローチャートである。
【図６】フレーム毎のフリッカ成分の波形を模式的に示すグラフと、フリッカ成分の位相が変動する様子を模式的に示すグラフである。
【図７】本発明の第二の実施形態に係る、フリッカ抑制部の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
本実施形態にて開示する動画像撮影装置は、基本的には特許文献３に示される技術と類似する、動画像データに補正ゲインを適用する技術が用いられるが、特許文献３等に開示される技術と比べて、より改良された動き検出とフリッカ位相補償を実現する。
【００１０】
［動画像撮影装置の構成］
図１は、本発明の実施形態に関わる、動画像撮影装置の機能ブロック図である。なお、以下の実施形態では、電源周波数が５０Ｈｚ、フレームレートが６０ｆｐｓの画像信号の場合を仮定する。また、フリッカ抑制部への入力信号は例えば撮像素子から出力されたＲＡＷデータである。
レンズ駆動機構１０２によって駆動されるレンズ１０３から入った入射光は、撮像素子１０４の撮像面に光学像を形成する。周知のＣＭＯＳ固体撮像素子等である撮像素子１０４は、光学像を光電気変換する。撮像素子１０４はＡ／Ｄ変換処理部を内蔵しており、デジタル画像情報をカメラ画像信号処理部１０５へ出力する。
カメラ画像信号処理部１０５は、周知のホワイトバランス調整、色補間、色補正、ガンマ補正等の一般的なカメラ画像信号処理と共に、フリッカ抑制部１０６によってフリッカ抑制処理が行われる。さらに、カメラ画像信号処理部の出力信号は図示しない画像符号化部において、符号化処理が施される。こうして種々の処理が施されたデジタル画像情報は、動画像データとして不揮発性ストレージ１０７に記録される。
レンズ駆動機構１０２、撮像素子１０４、カメラ画像信号処理部１０５及び不揮発性ストレージ１０７は、制御部１０８によって制御される。制御部１０８には周知の表示部１０９と操作部１１０が接続され、操作情報を操作部１１０から受け取り、モニタ画像や状態情報等の、種々の情報を表示部１０９に表示する。
【００１１】
［第一の実施形態：フリッカ抑制部１０６の構成］
図２は、本発明の第一の実施形態に係る、フリッカ抑制部１０６の機能ブロック図である。
図３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）、（ｇ）、（ｈ）及び（ｉ）は、フリッカ抑制部１０６の各所にて扱われるデータを時系列を伴って示す概略図である。
図３（ａ）に示される、撮像素子１０４から出力されるデジタル画像情報は、積算部２０１と乗算器２０２に供給される。
積算部２０１は、入力されるデジタル画像情報に対し、所定数の複数ライン毎に、画像信号を積算して、画像信号積算値を算出する。この、所定数の複数ラインはブロックとして扱われる。
積算部２０１が算出したブロック毎の画像信号積算値は積算値メモリ２０３に格納される。積算値メモリ２０３は図３（ｂ）に示すように３フレーム分（１フレーム前、２フレーム前、３フレーム前）の画像信号積算値を格納しており、後述する動き検出部２０７が動き検出の判定処理を完遂した後に、現在フレームの画像信号積算値を３フレーム前の画像信号積算値に上書きして記憶する。
【００１２】
平均値算出部２０４は、図３（ｄ）に示すように、積算部２０１が算出した現在、１フレーム前及び２フレーム前の、三つの画像信号積算値の平均値を算出する。
除算部２０５は、平均値算出部２０４が算出した平均値を、図３（ｅ）に示すように、１フレーム前の画像信号積算値で除算して、第一補正ゲインを作成する。なお、図２中、「実」は除算の被除数を示し、「法」は除算の除数を示す。
平均値を求めるフレーム数は、例えば、フレーム間でフリッカの位相が一致する周期の倍数とすればよい。電源周波数が５０Ｈｚ、フレームレートが６０ｆｐｓの画像信号の場合、周期は３フレームとなるため、ここでは３フレームとする。
ブロック番号をy、フレーム番号をn、積算値をＳｎ(y)で表すと、第一補正ゲインＧ１ｎ(y)は次式（１）で表される。
【００１３】
Ｇ１ｎ(y) = ( Ｓｎ-1(y) + Ｓｎ(y) +Ｓｎ+1(y) ) / ( 3 × Ｓｎ(y) )  （１）
【００１４】
以上、積算部２０１、積算値メモリ２０３、平均値算出部２０４及び除算部２０５は、第一補正ゲイン算出部２０６を構成する。
【００１５】
一方、動き検出部２０７は現在フレームの画像信号積算値と、積算値メモリ２０３に格納されている３フレーム前の画像信号積算値との差分絶対値を算出し、この差分絶対値を所定の閾値と比較する。そして、差分絶対値を閾値と比較した結果の論理値を、内蔵する判定結果メモリ２１９に格納する。
判定結果メモリ２１９には図３（ｃ）に示すように３フレーム分（現在フレーム、１フレーム前、２フレーム前）の判定結果が格納されている。
動き検出部２０７は、判定結果メモリ２１９に格納されている３フレーム分の判定結果を見て、フリッカ有無判定有効フラグと、補正ゲイン有効フラグを設定する。なお、フリッカ有無判定有効フラグの判定に用いる閾値と、補正ゲイン有効フラグの判定に用いる閾値は、異なる値を使用してもよい。その場合、補正ゲイン有効フラグは被写体の動きに対して厳密に対応するために、補正ゲイン有効フラグの閾値はフリッカ有無判定有効フラグの閾値よりも低めに設定することが望ましい。またこの場合、判定結果メモリ２１９には、それぞれの閾値に対応する２つの判定結果が格納されることになる。
フリッカ有無判定有効フラグに対する閾値をＴ１、補正ゲイン有効フラグに対する閾値をＴ２とすると、フリッカ有無判定有効フラグと、補正ゲイン有効フラグは以下の様な基準で設定する。
【００１６】
《フリッカ有無判定有効フラグの設定基準》
３フレーム全て閾値Ｔ１以下である場合：フリッカ有無判定有効フラグを論理の真に設定する
それ以外の場合：フリッカ有無判定有効フラグを論理の偽に設定する
《補正ゲイン有効フラグの設定基準》
３フレーム全て閾値Ｔ２以下である場合：補正ゲイン有効フラグを論理の真に設定する
それ以外の場合：補正ゲイン有効フラグを論理の偽に設定する
【００１７】
画面に動きがあるとデジタル画像情報からフリッカ成分を分離することが難しくなり、フリッカ有無の判定や、補正ゲインの算出精度に影響を及ぼす。そこで、動き検出部２０７は画面の動きを検出し、その結果から、フリッカ有無の判定が有効か否かを示すフリッカ有無判定有効フラグと、算出した第一補正ゲインをフリッカ抑制に直接適用するか否かを示す補正ゲイン有効フラグを設定する。
動き検出の方法としては各種の方法が使用できるが、例えば積算値記憶部に記憶された所定間隔のフレーム間の積分値の差分を求め、閾値判定を行う。フリッカ成分の影響を避けるため、差分を求めるフレーム間隔は、フレーム間でフリッカの位相が一致する周期（本実施例では３フレーム）とする。各ブロックにおける積分値のフレーム間差分絶対値|dＳｎ(y)|は次式（２）で表わされる。
【００１８】
|ｄＳｎ(y)| = |Ｓｎ(y) -Ｓｎ−３(y)|  （２）
【００１９】
動き検出部２０７は、１フレーム中で、このフレーム間差分絶対値|ｄＳｎ（ｙ）｜の最大値を求め、この値に対して所定の閾値判定を行うことにより、フレームに対する動き判定結果を得る。
除算部２０５が算出した第一補正ゲインは、補正ゲイン調整部２０８と、フリッカ解析部２０９と、第一補正ゲインメモリ２１０に供給される。
フリッカ解析部２０９は周知のＤＦＴ（Discrete Fourier Transformation: 離散フーリエ変換）を内蔵している。
フリッカ解析部２０９は動き検出部２０７が出力するフリッカ有無判定有効フラグに従い、フリッカ有無判定有効フラグが有効を示す場合は、第一補正ゲインに含まれている周波数成分のうち、一次成分の周波数における振幅と位相（位相値）を求める。その上で、振幅を所定の閾値と比較して、フリッカの有無を示すフリッカ有無フラグを出力する。また、この時のフリッカ有無フラグを内蔵するフリッカ有無フラグメモリ２１１に記憶する。
【００２０】
フリッカの発生はフレームレートに依存し、フリッカは画面内に横縞模様となって現れる。
デジタル画像情報にフリッカが含まれている場合、このフリッカは蛍光灯の点滅、すなわち商用交流電源の周波数とフレームレートとの周波数差に基づく明るさの強弱として、デジタル画像情報に現れる。本実施形態では、フレームレートが６０ｆｐｓの画像信号の場合を仮定しているので、１００Ｈｚのフリッカを検出・抑制する。
したがって、フリッカの1周期である１／１００ｓｅｃの期間に相当する第一補正ゲインに対してＤＦＴを施せば、フリッカに依拠する周波数の成分が得られる。
【００２１】
フリッカ解析部２０９は、フリッカ有無判定有効フラグが無効を示す場合は、第一補正ゲインに含まれている周波数成分のうち、一次成分の周波数における位相のみを求める。そして、フリッカ有無フラグメモリ２１１を読み出して、その値をフリッカ有無フラグとして出力する。
フリッカ有無判定有効フラグが有効、無効の何れの場合も、フリッカ解析部２０９は一次成分の周波数における位相値を位相変動算出部２１２へ出力する。
【００２２】
フリッカ解析部２０９が出力する位相値は、位相変動算出部２１２に供給される。
位相変動算出部２１２は位相値メモリ２１３と位相変動量積算値メモリ２１４と、位相変動量メモリ２１５を内蔵する。
位相値メモリ２１３は、図３（ｆ）に示すように、位相値を３フレーム分（２フレーム前、３フレーム前、４フレーム前）記憶する。
位相変動量積算値メモリ２１４は、図３（ｇ）に示すように、位相変動量積算値を３フレーム分（２フレーム前、３フレーム前、４フレーム前）記憶する。
位相変動量メモリ２１５は、位相変動量を一つだけ記憶する。
【００２３】
先ず、位相変動算出部２１２は、フリッカ解析部２０９が出力した位相値（１フレーム前の位相値）と、４フレーム前の位相値との差を計算して、位相変動量メモリ２１５に記憶されている直前フレームの位相変動量との加重平均を演算して、新たな位相変動量を算出する。
次に、位相変動算出部２１２は、フリッカ解析部２０９が出力した位相値（１フレーム前の位相値）を位相値メモリ２１３の４フレーム前の位相値の領域に上書きして記憶する。
この時点で、位相値メモリ２１３には２フレーム前、３フレーム前及び４フレーム前の位相値から、１フレーム前、２フレーム前及び３フレーム前の位相値を格納することとなる。
次に、位相変動算出部２１２は、補正ゲイン有効フラグを見て、補正ゲイン有効フラグが無効である場合は、先に算出した新たな位相変動量を位相変動量積算値メモリ２１４に格納されている４フレーム前の位相変動量積算値に加算して、新たな１フレーム前の位相変動量積算値として、位相変動量積算値メモリ２１４の４フレーム前の位相変動量積算値の領域に上書きして記憶する。
補正ゲイン有効フラグが有効である場合は、位相変動算出部２１２は、位相変動量積算値をゼロに初期化して、これを新たな１フレーム前の位相変動量積算値として、位相変動量積算値メモリ２１４の４フレーム前の位相変動量積算値の領域に上書きして記憶する。
この時点で、位相変動量積算値メモリ２１４には２フレーム前、３フレーム前及び４フレーム前の位相変動量積算値から、１フレーム前、２フレーム前及び３フレーム前の位相変動量積算値を格納することとなる。
そして、位相変動算出部２１２は、フリッカ有無フラグがフリッカ有りと示された場合に、１フレーム前の位相変動量積算値を位相調整部２１６に出力する。
【００２４】
位相変動算出部２１２は、フリッカ解析部２０９が算出した位相情報から、フリッカ周期（３フレーム）毎のフリッカ成分の位相の変動量を算出する。これは、電源周波数が変動する場合や、フレームレートが例えば５９．９７ｆｐｓの場合など、フリッカ成分の位相が僅かずつずれていくことに対応するためである。位相の変動量は短期的には一定とみなせるので、過去の値と加重平均等のフィルタリングを施すことにより、データのばらつきによる急激な変動を抑え、精度を上げることができる。
【００２５】
第一補正ゲインメモリ２１０は、図３（ｈ）に示すように、第一補正ゲインを３フレーム分記憶する領域を備え、補正ゲイン有効フラグが有効である場合に、第一補正ゲインを記憶する。
【００２６】
位相調整部２１６は、補正ゲイン有効フラグが無効である場合に、位相変動算出部２１２から出力される位相変動量積算値を第一補正ゲインメモリ２１０に格納されている１フレーム前と同一の位相パターンに対応する第一補正ゲインに適用して、第二補正ゲインを算出し、補正ゲイン調整部２０８に出力する。つまり、位相調整部２１６は、第一補正ゲインの位相を、位相変動量積算値で調整する。
以上、フリッカ解析部２０９、第一補正ゲインメモリ２１０、位相変動算出部２１２及び位相調整部２１６は、第二補正ゲイン算出部２１７を構成する。
【００２７】
補正ゲイン調整部２０８は、フリッカ有無フラグ、補正ゲイン有効フラグ、第一補正ゲイン及び第二補正ゲインを受けて、フリッカ有無フラグ及び補正ゲイン有効フラグの状態に応じて以下の様な動作を行う。
先ず、フリッカ有無フラグがフリッカなしを示す場合、デジタル画像情報に対する補正ゲインを「１」に設定して、補正ゲインメモリ２１８に出力する。これは補正ゲイン有効フラグが有効か無効かに関わらず、この動作になる。
次に、補正ゲイン有効フラグが有効であり、且つフリッカ有無フラグがフリッカありを示す場合、デジタル画像情報に対する補正ゲインとして、第一補正ゲインを補正ゲインメモリ２１８に出力する。
次に、補正ゲイン有効フラグが無効であり、且つフリッカ有無フラグがフリッカありを示す場合、デジタル画像情報に対する補正ゲインとして、第二補正ゲインを補正ゲインメモリ２１８に出力する。
【００２８】
補正ゲインメモリ２１８は、図３（ｉ）に示すように、補正ゲイン調整部２０８が出力した補正ゲインを、３フレーム分（１フレーム前、２フレーム前、３フレーム前）記憶する。そして、乗算器２０２は、補正ゲインメモリ２１８から３フレーム前の補正ゲインを読み出し、現在入力されるデジタル画像情報に乗算して、ゲイン調整された（フリッカ抑制処理が施された）デジタル画像情報を出力する。
先に平均値算出部２０４において説明したが、第一補正ゲインを求めるには、現在のフレームの他に、一つ前のフレームと、一つ後のフレームのデジタル画像情報を必要とする。このため、本実施形態に係るフリッカ抑制部１０６は、本質的に１フレームの遅延を伴う。しかし、遅延は許されないので、同じフリッカの位相パターンに属する３フレーム後のフレームに対し、算出した補正ゲインを適用する。このために補正ゲインメモリ２１８が必要になる。
【００２９】
［第一の実施形態：フリッカ抑制部１０６の動作］
図４及び図５は、本発明の第一の実施形態に係る、フリッカ抑制部１０６の動作の流れを示すフローチャートである。
処理を開始すると（Ｓ４０１）、積算部２０１は、入力されるデジタル画像情報に対し、所定数の複数ライン（ブロック）毎に画素信号を積算する。そして、積算値メモリ２０３は積算部２０１が算出したブロック毎の画像信号積算値を記憶する（Ｓ４０２）。
次に、動き検出部２０７は現在フレームの画像信号積算値と、積算値メモリ２０３に格納されている３フレーム前の画像信号積算値との差分絶対値を算出し、所定の閾値と比較する。そして、デジタル画像情報に動きがあるか否かを判定し、フリッカ有無判定有効フラグと、補正ゲイン有効フラグを出力する（Ｓ４０３）。
次に、平均値算出部２０４は、積算部２０１が算出した現在、１フレーム前及び２フレーム前の、三つの画像信号積算値の平均値を算出する。そして除算部２０５は、平均値算出部２０４が算出した平均値を、１フレーム前の画像信号積算値で除算して、第一補正ゲインを算出し、一旦、図示しない一時メモリに記憶する（Ｓ４０４）。
【００３０】
次に、フリッカ解析部２０９は動き検出部２０７が出力するフリッカ有無判定有効フラグを確認する（Ｓ４０５）。
フリッカ有無判定有効フラグが有効を示す場合は（Ｓ４０５のＹＥＳ）、フリッカ解析部２０９は、１フレーム前の第一補正ゲインに含まれている周波数成分のうち、一次成分の周波数における振幅と位相（位相値）を求める。その上で、振幅を所定の閾値と比較して、フリッカの有無を示すフリッカ有無フラグを出力する。また、この時のフリッカ有無フラグを内蔵するフリッカ有無フラグメモリ２１１に記憶する（Ｓ４０６）。
【００３１】
ステップＳ４０５において、フリッカ有無判定有効フラグが無効を示す場合は（Ｓ４０５のＮＯ）、フリッカ解析部２０９は、１フレーム前の第一補正ゲインに含まれている周波数成分のうち、一次成分の周波数における位相のみを求める。そして、フリッカ有無フラグメモリ２１１を読み出して、その値をフリッカ有無フラグとして出力する（Ｓ４０７）。
フリッカ有無判定有効フラグが有効、無効の何れの場合も、フリッカ解析部２０９は一次成分の周波数における位相値を位相変動算出部２１２へ出力する。
【００３２】
次に、補正ゲイン調整部２０８はフリッカ解析部２０９が出力したフリッカ有無フラグを確認する（Ｓ４０８）。もし、フリッカ有無フラグが偽、つまりフリッカ解析部２０９によってフリッカがないと判定された場合（Ｓ４０８のＮＯ）は、補正ゲイン調整部２０８はデジタル画像情報に対する補正ゲインを「１」に初期化設定して、補正ゲインメモリ２１８に出力すると共に、位相変動量積算値メモリ２１４に格納されている位相変動量積算値と、位相変動量メモリ２１５に格納されている位相変動量を「０」に初期化設定して（Ｓ４０９）、一連の処理を終了する（Ｓ４１０）。
【００３３】
図５を参照して、フローチャートの説明を続ける。
ステップＳ４０８において、もし、フリッカ有無フラグが真、つまりフリッカ解析部２０９によってフリッカがあると判定された場合（Ｓ４０８のＹＥＳ）は、補正ゲイン調整部２０８は第一補正ゲイン又は第二補正ゲインを補正ゲインメモリ２１８に出力する必要があるので、一旦、第二補正ゲイン算出部２１７の処理を待つ。
【００３４】
先ず、位相変動算出部２１２は、フリッカ解析部２０９から出力された１フレーム前の位相値と、位相値メモリ２１３内の４フレーム前の位相値との差を計算して、位相変動量メモリ２１５に記憶されている直前フレームの位相変動量との加重平均を演算して、新たな位相変動量を算出する（Ｓ５１１）。
次に、位相変動算出部２１２は、補正ゲイン有効フラグを確認する（Ｓ５１２）。
補正ゲイン有効フラグが無効である場合は（Ｓ５１２のＮＯ）、位相変動算出部２１２は先に算出した新たな位相変動量を、位相変動量積算値メモリ２１４に格納されている４フレーム前の位相変動量積算値に加算して、新たな１フレーム前の位相変動量積算値として算出し、位相変動量積算値メモリ２１４に格納する（Ｓ５１３）。そして、位相変動算出部２１２は、位相変動量積算値を位相調整部２１６に出力する。
位相調整部２１６は、補正ゲイン有効フラグが無効である場合に、位相変動算出部２１２から出力される位相変動量積算値を第一補正ゲインメモリ２１０に格納されている１フレーム前と同一の位相パターンに対応する第一補正ゲインに適用して、第二補正ゲインを算出する（Ｓ５１４）。そして、補正ゲイン調整部２０８は第二補正ゲインを補正ゲインメモリ２１８に出力する（Ｓ５１５）。そして、一連の処理を終了する（Ｓ５１６）。
【００３５】
ステップＳ５１２において、補正ゲイン有効フラグが有効である場合は（Ｓ５１２のＹＥＳ）、位相変動算出部２１２は位相変動量積算値をゼロに初期化して、これを新たな１フレーム前の位相変動量積算値として、位相変動量積算値メモリ２１４に格納する（Ｓ５１７）。そして、第一補正ゲインメモリ２１０は補正ゲイン有効フラグが有効であることを受けて、第一補正ゲインを記憶する（Ｓ５１８）。そして、補正ゲイン調整部２０８は第一補正ゲインを補正ゲインメモリ２１８に出力する（Ｓ５１９）。そして、一連の処理を終了する（Ｓ５１６）。
【００３６】
図６（ａ）、（ｂ）及び（ｃ）は、フレーム毎のフリッカ成分の波形を模式的に示すグラフであり、（ｄ）は、フリッカ成分の位相が変動する様子を模式的に示すグラフである。
電源周波数が５０Ｈｚ、フレームレートが６０ｆｐｓの画像信号の場合、周期は３フレームとなり、図６（ａ）、（ｂ）及び（ｃ）に示すように、フリッカ成分の波形は２π／３[rad]ずつずれた位相関係になる。
しかし、先に説明したように、電源周波数が変動したり、フレームレートが例えば５９．９７ｆｐｓの場合など、フリッカ成分の位相が僅かずつずれていく場合、図６（ｄ）に示すように、同じ位相タイミングである筈の３フレーム後のフリッカ成分は位相変動が生じる。
フリッカ解析部２０９に内蔵されるＤＦＴは、第一補正ゲインからフリッカ成分の振幅と位相（位相値）を抽出する。振幅はフリッカの有無の判定（フリッカ有無フラグ）に、位相値は位相調整部２１６が遂行する位相の調整に用いられる。
【００３７】
［第二の実施形態：フリッカ抑制部１０６の動作］
第一の実施形態に係るフリッカ抑制部１０６は、補正ゲイン有効フラグの結果に応じて、補正ゲイン有効フラグが有効を示していれば画素信号の積算値に基づく第一補正ゲインを適用し、補正ゲイン有効フラグが無効を示していれば過去の第一補正ゲインに対して位相補正等の処理を施した第二補正ゲインを適用する処理内容であった。
これに対し、第一補正ゲインと第二補正ゲインを所定の比率で混合する手法も考えられる。
第二の実施形態に係るフリッカ抑制部１０６の機能ブロック図の構成は、図２に示した第一の実施形態に係るフリッカ抑制部１０６と同一であるので、説明を省略する。
第二の実施形態に係るフリッカ抑制部１０６の、第一の実施形態に係るフリッカ抑制部１０６との相違点は、第二補正ゲイン算出部２１７及び補正ゲイン調整部２０８の処理内容が異なる点である。
【００３８】
図７は、本発明の第二の実施形態に係る、フリッカ抑制部１０６の動作の流れを示すフローチャートである。第二の実施形態に係るフリッカ抑制部１０６の動作の流れは、図４に示した第一の実施形態に係るフリッカ抑制部１０６のフローチャートと共通するので、図４のステップＳ４０８に続く処理から図７を参照して説明する。
先ず、位相変動算出部２１２は、フリッカ解析部２０９から出力された１フレーム前の位相値と、位相値メモリ２１３内の４フレーム前の位相値との差を計算して、位相変動量メモリ２１５に記憶されている直前フレームの位相変動量との加重平均を演算して、新たな位相変動量を算出する（Ｓ７１１）。
次に位相変動算出部２１２は、先に算出した新たな位相変動量を、位相変動量積算値メモリ２１４に格納されている４フレーム前の位相変動量積算値に加算して、新たな１フレーム前の位相変動量積算値として算出し、位相変動量積算値メモリ２１４に格納する（Ｓ７１２）。そして、位相変動算出部２１２は、位相変動量積算値を位相調整部２１６に出力する。
位相調整部２１６は、位相変動算出部２１２から出力される位相変動量積算値を第一補正ゲインメモリ２１０に格納されている１フレーム前と同一の位相パターンに対応する第一補正ゲインに適用して、第二補正ゲインを算出する（Ｓ７１３）。
【００３９】
次に、補正ゲイン調整部２０８は、補正ゲイン有効フラグを確認する（Ｓ７１４）。
補正ゲイン有効フラグが無効である場合は（Ｓ７１４のＮＯ）、補正ゲイン調整部２０８は位相調整部２１６が出力する第二補正ゲインをそのまま第三補正ゲインとして算出し（Ｓ７１５）、この第三補正ゲインを補正ゲインメモリ２１８に出力して（Ｓ７１６）、一連の処理を終了する（Ｓ７１７）。
【００４０】
ステップＳ７１４で補正ゲイン有効フラグが有効である場合は（Ｓ７１４のＹＥＳ）、補正ゲイン調整部２０８は位相変動算出部２１２は位相変動量積算値をゼロに初期化して、これを新たな１フレーム前の位相変動量積算値として、位相変動量積算値メモリ２１４に格納する（Ｓ７１８）。そして、第一補正ゲインメモリ２１０は補正ゲイン有効フラグが有効であることを受けて、第一補正ゲインを記憶する（Ｓ７１９）。補正ゲイン調整部２０８は、以下の式（３）に基づいて、補正ゲイン記憶部に記憶されている第一補正ゲインと位相調整部２１６が出力する第二補正ゲインから、第三補正ゲインを算出する（Ｓ７２０）。
【００４１】
Ｇ３＝Ｇ１×Ｋ＋Ｇ２×（１−Ｋ）  （３）
Ｇ１：第一補正ゲイン、Ｇ２：第二補正ゲイン、Ｇ３：第三補正ゲイン、Ｋ：加重平均のための定数（０≦Ｋ≦１）一例として０．５
【００４２】
そして、この第三補正ゲインを補正ゲインメモリ２１８に出力して（Ｓ７１６）、一連の処理を終了する（Ｓ７１７）。
【００４３】
以上説明した実施形態には、以下に記す応用例が可能である。
（１）上述の実施形態にて示したフリッカ抑制部１０６は、動画像撮影装置１０１におけるリアルタイム処理であったが、フリッカ抑制部１０６そのものを、撮像素子１０４を含まない単独の画像処理装置として実装することも可能である。動画像データ以外に別途入手しなければならない情報は一切ないので、例えば周知のパソコンにフリッカ抑制処理のアプリケーションプログラムとして提供することも可能である。
また、独立したアプリケーションプログラムとして実装する場合、遅延を考慮する必要がなくなるので、補正ゲインメモリ２１８は不要になる。
【００４４】
本実施形態では、動画像撮影装置１０１と、これに実装されるフリッカ抑制部１０６を開示した。
＜１＞第一補正ゲインを適用するか否かの基準となる動き検出に、補正ゲインの元となる積算値を複数フレームで比較することで、簡素且つ低演算量で的確な動き検出を実現した。
＜２＞動きが大きくて積算値の平均から求める第一補正ゲインがそのまま適用できない場合には、過去のフレームにて記憶した第一補正ゲインに対し、位相変動量を算出して適用することで、動画像に動きが含まれて第一補正ゲインを正しく演算できない場合でもフリッカの位相ずれに的確に対応する第二補正ゲインの算出を実現した。
【００４５】
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態例は本発明をわかりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性或は不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００４６】
１０１…動画像撮影装置、１０２…レンズ駆動機構、１０３…レンズ、１０４…撮像素子、１０５…カメラ画像信号処理部、１０６…フリッカ抑制部、１０７…不揮発性ストレージ、１０８…制御部、１０９…表示部、１１０…操作部、２０１…積算部、２０２…乗算器、２０３…積算値メモリ、２０４…平均値算出部、２０５…除算部、２０６…第一補正ゲイン算出部、２０７…動き検出部、２０８…補正ゲイン調整部、２０９…フリッカ解析部、２１０…第一補正ゲインメモリ、２１１…フリッカ有無フラグメモリ、２１２…位相変動算出部、２１３…位相値メモリ、２１４…位相変動量積算値メモリ、２１５…位相変動量メモリ、２１６…位相調整部、２１７…第二補正ゲイン算出部、２１８…補正ゲインメモリ
【図１】
2014027496.tif 000003
【図２】
2014027496.tif 000004
【図３】
2014027496.tif 000005
【図４】
2014027496.tif 000006
【図５】
2014027496.tif 000007
【図６】
2014027496.tif 000008
【図７】
2014027496.tif 000009