(57)【要約】【課題】高いフレームレートで撮影された画像に含まれる蛍光灯等の放電灯のフリッカーの影響を除去するフリッカー除去装置を提供する。【解決手段】高速度画像蓄積部１は、蛍光灯等の放電灯の点灯周期内に、３フレーム以上の画像を撮影できる高速度画像の撮影が可能なカメラであり、高速度画像蓄積部１で撮影された高速度画像は高速度画像蓄積部２に転送され、放電灯の点灯周期の整数倍の時間にわたってメモリに蓄積され、フリッカー除去部３では高速度画像蓄積部２で記憶した画像を用いて、フリッカーの影響を除去した画像を生成し、高速度画像出力部４は動画像データを出力する。【選択図】      図１
2004173016.tif 000002
【特許請求の範囲】
【請求項１】
放電灯の点灯周期Ｔの間に複数枚の画像を撮影することができる画像撮影手段と、
前記点灯周期Ｔ以上の時間にわたって撮影した過去の画像の各画素の画素値を保持する画像蓄積手段と、
前記保持されている基準時刻より前に撮影した過去の画像を用いて、輝度値の平均値であるフリッカー特徴量が画像間で等しくなるように画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成するフリッカー除去手段と、
前記フリッカーを除去した基準時刻の画像を時系列の順番に動画として出力する画像出力手段と、
を具備した
ことを特徴とするフリッカー除去装置。
【請求項２】
前記フリッカー除去手段は、
前記点灯周期Ｔの整数倍の時間を設定する時間設定手段と、
前記画像蓄積手段によって保持されている撮影した基準時刻の画像から上記設定した時間だけ遡った時刻に最も近い時刻に撮影した過去の画像までについて、各画素毎における輝度値の時系列的な平均値であるフリッカー特徴量を計算するフリッカー特徴量計算手段と、
この計算された各画素のフリッカー特徴量を画素値として、フリッカーの影響を取り除いた基準時刻の画像を生成する画像生成手段と、
を具備した
ことを特徴とする請求項１記載のフリッカー除去装置。
【請求項３】
前記フリッカー除去手段は、
前記画像蓄積手段によって保持されている基準時刻より前に撮影した過去の画像について、フリッカー特徴量を計算するための選択領域を選択する領域選択手段と、
前記撮影した過去の画像と前記撮影した基準時刻の画像について、前記選択した選択領域内の各画素における輝度値の領域的な平均値であるフリッカー特徴量をそれぞれ計算するフリッカー特徴量計算手段と、
フリッカーの影響を取り除くための基準となる基準フリッカー特徴量を、前記計算したフリッカー特徴量から選択するフリッカー特徴量選択手段と、
前記撮影した基準時刻の画像のフリッカー特徴量が前記選択された基準フリッカー特徴量に等しくなるように、前記選択領域内の画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成する画素値修正手段と、
を具備した
ことを特徴とする請求項１記載のフリッカー除去装置。
【請求項４】
前記フリッカー除去手段は、
前記画像蓄積手段によって保持されている過去の画像について変化の速さである画像変化率を計算する画像変化率計算手段と、
前記画像変化率が閾値より小さい場合には、第１除去手段によってフリッカーの影響を取り除いた基準時刻の画像を生成し、前記画像変化率が閾値より大きい場合には、第２除去手段によってフリッカーの影響を取り除いた基準時刻の画像を生成するように選択する除去方法選択実行手段とを具備し、
前記第１除去手段は、
前記点灯周期Ｔの整数倍の時間を設定する時間設定手段と、
前記画像蓄積手段によって保持されている撮影した基準時刻の画像から上記設定した時間だけ遡った時刻に最も近い時刻に撮影した過去の画像までについて、各画素毎における輝度値の時系列的な平均値であるフリッカー特徴量を計算するフリッカー特徴量計算手段と、
この計算された各画素のフリッカー特徴量を画素値として、フリッカーの影響を取り除いた基準時刻の画像を生成する画像生成手段と、
を具備し、
前記第２除去手段は、
前記画像蓄積手段によって保持されている基準時刻より前に撮影した過去の画像について、フリッカー特徴量を計算するための選択領域を選択する領域選択手段と、
前記撮影した過去の画像と前記撮影した基準時刻の画像について、前記選択した選択領域内の各画素における輝度値の領域的な平均値であるフリッカー特徴量をそれぞれ計算するフリッカー特徴量計算手段と、
フリッカーの影響を取り除くための基準となる基準フリッカー特徴量を、前記計算したフリッカー特徴量から選択するフリッカー特徴量選択手段と、
前記撮影した基準時刻の画像のフリッカー特徴量が前記選択された基準フリッカー特徴量に等しくなるように、前記選択領域内の画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成する画素値修正手段と、
を具備した
ことを特徴とする請求項１記載のフリッカー除去装置。
【請求項５】
前記選択領域が、画像全体、または、画像の一部分である
ことを特徴とする請求項３または４記載のフリッカー除去装置。
【請求項６】
放電灯の点灯周期Ｔの間に複数枚の画像を撮影する画像撮影ステップと、
前記点灯周期Ｔ以上の時間にわたって撮影した過去の画像の各画素の画素値を保持する画像蓄積ステップと、
前記保持されている基準時刻より前に撮影した過去の画像を用いて、輝度値の平均値であるフリッカー特徴量が画像間で等しくなるように画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成するフリッカー除去ステップと、
前記フリッカーを除去した基準時刻の画像を時系列の順番に動画として出力する画像出力ステップと、
を具備した
ことを特徴とするフリッカー除去方法。
【請求項７】
放電灯の点灯周期Ｔの間に複数枚の画像を撮影する画像撮影機能と、
前記点灯周期Ｔ以上の時間にわたって撮影した過去の画像の各画素の画素値を保持する画像蓄積機能と、
前記保持されている基準時刻より前に撮影した過去の画像を用いて、輝度値の平均値であるフリッカー特徴量が画像間で等しくなるように画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成するフリッカー除去機能と、
前記フリッカーを除去した基準時刻の画像を時系列の順番に動画として出力する画像出力機能と、
をコンピュータによって実現する
ことを特徴とするフリッカー除去方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高いフレームレートで撮影された画像に存在する蛍光灯等のフリッカーの影響を除去するフリッカー除去装置及びその方法に関する。
【０００２】
【従来の技術】
蛍光灯や水銀灯等の放電灯は、交流電源の１／２の周期で点灯するため、蛍光灯照明環境でビデオ撮影を行うとフリッカーが生じ、画質を劣化させる原因となる。このため、従来からフリッカーを除去する方法が提案されている。
【０００３】
撮影状態をフリッカーの周期に応じて電荷蓄積時間（シャッタースピード）を変化させる方式（特許文献１〜４参照）や、フレームレートを変更する方式（特許文献５参照）、利得を適応的に変化させる方式（特許文献６参照）のように、撮影条件を変化させることによりフリッカーを除去することができる。
【０００４】
フリッカーの周期とカメラの垂直同期に応じて特定の期間の画像を蓄積しておき、その中から特定の映像のみ選択して出力する方式（特許文献７、８参照）は、画像の出力間隔が制限されるが、フリッカーの除去には有効である。
【０００５】
ＭＯＳ型撮像素子のように、フィールド内でフリッカーの影響が場所によって異なる場合のフリッカー除去方式（特許文献９参照）も提案されている。
【０００６】
以上の方式は、いずれもビデオレート（３０Ｈｚ程度）の映像を対象としており、蛍光灯の点灯周波数（例えば関東では１００Ｈｚ）よりも高速な動画像には適用が困難であったり、有効性が低い。
【０００７】
高速度画像はフレームレートが高いため、フリッカーの影響が出ないような露光時間等の撮影条件に変化させることが不可能である。また、画像を選択する方式も、フレームレートが高い映像には適用できない。高速度画像では１フィールド内でフリッカーの影響が異なることもない。
【０００８】
【特許文献１】
特開平１１−２０５６５８号公報
【０００９】
【特許文献２】
特開平５−１９１７１１号公報
【００１０】
【特許文献３】
特開平９−８３９４５号公報
【００１１】
【特許文献４】
特開平７−３３６５８６号公報
【００１２】
【特許文献５】
特開２００２−１６５１４１公報
【００１３】
【特許文献６】
特開平２−２６０９７７号公報
【００１４】
【特許文献７】
特開平９−２７０９５０号公報
【００１５】
【特許文献８】
特開平１１−２６１８８１号公報
【００１６】
【特許文献９】
特開平１１−１２２５１３号公報
【００１７】
【発明が解決しようとする課題】
本発明は、蛍光灯等の放電灯の点灯周期よりフレームレートが非常に高い高速度画像のフリッカーを除去し、フリッカーの影響のない高速度画像を出力するフリッカー除去装置及びその方法を提供する。
【００１８】
【課題を解決するための手段】
請求項１の発明は、放電灯の点灯周期Ｔの間に複数枚の画像を撮影することができる画像撮影手段と、前記点灯周期Ｔ以上の時間にわたって撮影した過去の画像の各画素の画素値を保持する画像蓄積手段と、前記保持されている基準時刻より前に撮影した過去の画像を用いて、輝度値の平均値であるフリッカー特徴量が画像間で等しくなるように画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成するフリッカー除去手段と、前記フリッカーを除去した基準時刻の画像を時系列の順番に動画として出力する画像出力手段と、を具備したことを特徴とするフリッカー除去装置である。
【００１９】
請求項２の発明は、前記フリッカー除去手段は、前記点灯周期Ｔの整数倍の時間を設定する時間設定手段と、前記画像蓄積手段によって保持されている撮影した基準時刻の画像から上記設定した時間だけ遡った時刻に最も近い時刻に撮影した過去の画像までについて、各画素毎における輝度値の時系列的な平均値であるフリッカー特徴量を計算するフリッカー特徴量計算手段と、この計算された各画素のフリッカー特徴量を画素値として、フリッカーの影響を取り除いた基準時刻の画像を生成する画像生成手段と、を具備したことを特徴とする請求項１記載のフリッカー除去装置である。
【００２０】
請求項３の発明は、前記フリッカー除去手段は、前記画像蓄積手段によって保持されている基準時刻より前に撮影した過去の画像について、フリッカー特徴量を計算するための選択領域を選択する領域選択手段と、前記撮影した過去の画像と前記撮影した基準時刻の画像について、前記選択した選択領域内の各画素における輝度値の領域的な平均値であるフリッカー特徴量をそれぞれ計算するフリッカー特徴量計算手段と、フリッカーの影響を取り除くための基準となる基準フリッカー特徴量を、前記計算したフリッカー特徴量から選択するフリッカー特徴量選択手段と、前記撮影した基準時刻の画像のフリッカー特徴量が前記選択された基準フリッカー特徴量に等しくなるように、前記選択領域内の画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成する画素値修正手段と、を具備したことを特徴とする請求項１記載のフリッカー除去装置である。
【００２１】
請求項４の発明は、前記フリッカー除去手段は、前記画像蓄積手段によって保持されている過去の画像について変化の速さである画像変化率を計算する画像変化率計算手段と、前記画像変化率が閾値より小さい場合には、第１除去手段によってフリッカーの影響を取り除いた基準時刻の画像を生成し、前記画像変化率が閾値より大きい場合には、第２除去手段によってフリッカーの影響を取り除いた基準時刻の画像を生成するように選択する除去方法選択実行手段とを具備し、前記第１除去手段は、前記点灯周期Ｔの整数倍の時間を設定する時間設定手段と、前記画像蓄積手段によって保持されている撮影した基準時刻の画像から上記設定した時間だけ遡った時刻に最も近い時刻に撮影した過去の画像までについて、各画素毎における輝度値の時系列的な平均値であるフリッカー特徴量を計算するフリッカー特徴量計算手段と、この計算された各画素のフリッカー特徴量を画素値として、フリッカーの影響を取り除いた基準時刻の画像を生成する画像生成手段と、を具備し、前記第２除去手段は、前記画像蓄積手段によって保持されている基準時刻より前に撮影した過去の画像について、フリッカー特徴量を計算するための選択領域を選択する領域選択手段と、前記撮影した過去の画像と前記撮影した基準時刻の画像について、前記選択した選択領域内の各画素における輝度値の領域的な平均値であるフリッカー特徴量をそれぞれ計算するフリッカー特徴量計算手段と、フリッカーの影響を取り除くための基準となる基準フリッカー特徴量を、前記計算したフリッカー特徴量から選択するフリッカー特徴量選択手段と、前記撮影した基準時刻の画像のフリッカー特徴量が前記選択された基準フリッカー特徴量に等しくなるように、前記選択領域内の画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成する画素値修正手段と、を具備したことを特徴とする請求項１記載のフリッカー除去装置である。
【００２２】
請求項５の発明は、前記選択領域が、画像全体、または、画像の一部分であることを特徴とする請求項３または４記載のフリッカー除去装置である。
【００２３】
請求項６の発明は、放電灯の点灯周期Ｔの間に複数枚の画像を撮影する画像撮影ステップと、前記点灯周期Ｔ以上の時間にわたって撮影した過去の画像の各画素の画素値を保持する画像蓄積ステップと、前記保持されている基準時刻より前に撮影した過去の画像を用いて、輝度値の平均値であるフリッカー特徴量が画像間で等しくなるように画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成するフリッカー除去ステップと、前記フリッカーを除去した基準時刻の画像を時系列の順番に動画として出力する画像出力ステップと、を具備したことを特徴とするフリッカー除去方法である。
【００２４】
請求項７の発明は、放電灯の点灯周期Ｔの間に複数枚の画像を撮影する画像撮影機能と、前記点灯周期Ｔ以上の時間にわたって撮影した過去の画像の各画素の画素値を保持する画像蓄積機能と、前記保持されている基準時刻より前に撮影した過去の画像を用いて、輝度値の平均値であるフリッカー特徴量が画像間で等しくなるように画素値を修正することにより、フリッカーの影響を取り除いた基準時刻の画像を生成するフリッカー除去機能と、前記フリッカーを除去した基準時刻の画像を時系列の順番に動画として出力する画像出力機能と、をコンピュータによって実現することを特徴とするフリッカー除去方法のプログラムである。
【００２５】
【発明の実施の形態】
以下、図１から図７を参照して本発明の一実施形態のフリッカー除去装置を説明する。
【００２６】
＜１＞フリッカー除去装置の基本的な構成
図１は、本実施形態のフリッカー除去装置の基本的な構成例を示し、高速度画像取得部１、高速度画像蓄積部２、フリッカー除去部３、高速度画像出力部４より構成される。高速度画像取得部１、高速度画像蓄積部２、フリッカー除去部３、高速度画像出力部４の各機能は、コンピュータに記憶されているプログラムによって実現される。そして、図７に示すように、一般環境としては、蛍光灯で照明された部屋の内部に、フリッカー除去装置を配置して、フリッカーを除去した画像を取得するものである。
【００２７】
＜１−１＞高速度画像取得部１の構成
高速度画像取得部１は、蛍光灯等の放電灯の点灯周期Ｔ［ｍｓ］内に、３枚以上の画像撮影できる高速度画像の撮影が可能なカメラシステムである。基本的にレンズ、絞り、撮像素子、ＡＤ変換器の部品から構成され、例えば、１秒間に３００枚が撮影可能なものである。そして、図７に示すように、そのカメラシステムを被写体に対し向けて撮影して、高速度画像を取得する。
【００２８】
＜１−２＞高速度画像蓄積部２の構成
高速度画像蓄積部２は、図２に示すように、書き込みバッファ選択部２１、バッファ、読み出しバッファ選択部２２より構成される。
【００２９】
高速度画像取得部１で撮影された高速度画像は、高速度画像蓄積部２に転送され、図２のように書き込みバッファ選択部２１によりメモリに蓄積される。すなわち、放電灯の点灯周期Ｔ［ｍｓ］のｎ倍（ｎは整数）の時間にわたってメモリに蓄積される。
【００３０】
このメモリについて説明する。
【００３１】
高速度画像の撮像間隔をｆ［ｍｓ］とすると、Ｔ／ｆより大きく、かつ、最も小さい整数Ｆは、放電灯の点灯周期Ｔの間に撮影される画像の枚数となる。１枚分の画像の画素値を蓄積できるメモリの容量をｍとすると、メモリは、容量ｍの画像バッファ（ｎ×Ｆ）個から構成されるリングバッファである。
【００３２】
そして、書き込みバッファ選択部２１によりメモリ内の画像バッファを選択して高速度画像取得部１から入力される画像を書き込み、読み出しバッファ選択部２２に最新の画像を記憶した画像バッファの位置からのオフセット値を与えることによってその位置の画像を出力することができる。
【００３３】
＜１−３＞フリッカー除去部３
フリッカー除去部３では、高速度画像蓄積部２でメモリに記憶している撮影した画像を用いて、フリッカーの影響を除去した基準時刻の画像を生成する。
【００３４】
詳しい実施例については、後から説明する。
【００３５】
なお、基準時刻としては、高速度画像取得部１が撮影した画像をリアルタイムに見るときは、現在の時刻が該当し、また、高速度画像蓄積部２で過去に蓄積している画像を呼び出しつつ再生する場合には、その呼び出した過去の時刻が基準時刻に該当する。以下の説明では、説明を簡単にするために、現在の時刻が基準時刻に該当するものとする。
【００３６】
＜１−４＞高速度画像出力部４
最後に高速度画像出力部４では、表示装置等でフリッカーの影響を除去した基準時刻（例えば、現在の時刻）の画像を時系列に再生して高速度の動画像を出力する。
【００３７】
＜２＞フリッカー除去部３の実施例
以下では、フリッカー除去部３の３種類の実施例について詳しく述べるが、その前に各実施例の前提となる基本的な事項について説明する。
【００３８】
放電灯の点灯周期Ｔで高速度画像の明度も変化するので、各画像の全体または注目領域内の輝度値の平均値を、フリッカーに関する画像特徴量とすることができる。これを「フリッカー特徴量」と呼ぶ。
【００３９】
各画像の輝度値が得られたフリッカー特徴量と等しくなるように画像を補正すれば、フリッカーの影響のない画像を得ることができる。
【００４０】
したがって、フリッカー除去部３では、各画像の輝度値が、フリッカー特徴量である平均輝度値Ｉａ（ｉ）と等しくなるように画素値を補正する。
【００４１】
平均輝度値は次式のようになる。
【００４２】
【数１】
2004173016.tif 000003
ここで、Ｉ（ｘ，ｙ，ｉ）は現在の画像からｉ枚前の画像の位置（ｘ，ｙ）での輝度値、Ｐは画像全体、または、画像の部分領域の画素の集合、Ｎ（Ｐ）はＰに含まれる画素の数である
＜２−１＞第１の実施例
フリッカー除去部３の第１の実施例について、図３に基づいて説明する。
【００４３】
なお、本実施例の場合には、蛍光灯等の放電灯の点灯周期Ｔ［ｍｓ］内に３枚以上の画像撮影できるものでなくてもよく、蛍光灯等の放電灯の点灯周期Ｔ［ｍｓ］内に１フレーム以上撮影できればよい。例えば、点灯周期Ｔ［ｍｓ］内に２フレームや、（Ｔ×２）［ｍｓ］内に３枚を撮影してもよい。
【００４４】
交流電源によって駆動される蛍光灯等の放電灯は、交流電源の周期の１／２の周期Ｔで点灯する。これにより、高速度画像の輝度値も周期Ｔで変化する。この輝度値変化一周期にかかる撮影される画像の枚数は、前述のように、高速度画像の撮像間隔をｆ［ｍｓ］とすると、Ｔ／ｆ枚である。Ｔ／ｆより大きく、かつ、最も小さい整数をＦとすると、Ｆ枚の画像の平均をとればフリッカーの影響のない画像を得ることができる。すなわち、ノイズ除去のため、フリッカー周期のｎ倍（ｎは１以上の整数）の画像の平均をとって、フリッカーの影響のない画像とする。
【００４５】
高速度画像蓄積部２に蓄積されている、現在の画像からｉ枚前の過去の画像の位置（ｘ，ｙ）の画素値をＩ（ｘ，ｙ，ｉ）とすると、フリッカーの影響のない時系列的に輝度値を平均した平均画像Ｉ’（ｘ，ｙ）は、数２のようになる。
【００４６】
【数２】
2004173016.tif 000004
数２によって補正された画像は、各画像の輝度値を時系列的に平均した輝度値を有する画素が集合した画像であり、画像中に移動物体がなく、シーンに大きな変化がなければ、上記の数１で説明した平均輝度値であるフリッカー特徴量とほぼ等しくことと等価となる。
【００４７】
図３にこの処理のフローチャートを示す。画像が１枚入力されるたびにこの処理を繰り返す。
【００４８】
ステップ１において、バッファ画像Ｉｎ（ｘ、ｙ）を０に初期化する。
【００４９】
ステップ２において、画像の枚数ｉを処理回数として、ｉを０に初期化する。
【００５０】
ステップ３において、高速度画像蓄積部２からｉ番目の画像Ｉ（ｘ，ｙ，ｉ）を読み込む。
【００５１】
ステップ４において、バッファ画像Ｉｎ（ｘ、ｙ）に画像Ｉ（ｘ，ｙ，ｉ）を足し込む。
【００５２】
ステップ５において、ｉに１を付加する。
【００５３】
ステップ６において、ｉ＜ｎＦであればステップ３に戻り、ｉ＞＝ｎＦであればステップ７に進む。
【００５４】
ステップ７において、（ｎ×Ｆ）個を足し込んだバッファ画像Ｉｎ（ｘ、ｙ）を（ｎ×Ｆ）で割って、すなわち数２を計算して、フリッカーの影響のない時系列で輝度値を平均した平均画像Ｉ’（ｘ，ｙ）を高速度画像出力部４へ出力する。
【００５５】
第１の実施例のフリッカー除去部３では、（ｎ×Ｆ）フレームにわたって輝度値の平均をとるため、静止物体を撮影するのに好適であると共に、その計算方法が簡単であるとの特徴がある。
【００５６】
高速度画像出力部４では、フリッカーが除去された画像を時系列で順番に出力して、動画像として再生する。
【００５７】
この再生される動画像の時刻ｔにおける画像は、時刻ｔの画像から過去の（ｎ×Ｆ）フレームの画像を用いてフリッカーを除去した画像であり、時刻（ｔ＋１）における画像は、時刻（ｔ＋１）の画像から過去の（ｎ×Ｆ）枚の画像を用いてフリッカーを除去した画像である。
【００５８】
＜２−２＞第２の実施例
次に、フリッカー除去部３の第２の実施例について、図４と図５に基づいて説明する。
【００５９】
図４に示すように、フリッカー補正部３は、領域選択部３２１、フリッカー特徴量計算部３２２、フリッカー特徴量選択部３２３、画素修正部３２４より構成される。なお、本実施例の場合には、蛍光灯等の放電灯の点灯周期Ｔ［ｍｓ］内に３枚以上の画像撮影できる高速度画像の撮影が可能なカメラシステムが好適である。
【００６０】
領域選択部３２１によりフリッカー特徴量を計算する画像領域Ｐを選択する。選択する領域は、以下のような実現方法を選択して用いる。
【００６１】
（１）画像全体を選択する、
（２）画像内の一部の領域を選択する、
（３）画像全体にわたってまばらに画素を選択する、
（４）画像内の一部の領域についてまばらに画素を選択する。
【００６２】
ここでまばらに画素を選択するとは、例えば、縦方向、横方向それぞれ２画素おきに画素を選択するということである。
【００６３】
画像内の一部の領域を選択する方法として、画像内の一定の領域を選択する方法と、画像中に映る物体を追跡することにより各画像で異なる領域を選択する方法がある。
【００６４】
画像内の移動物体の追跡方法には、テンプレートマッチング、画像内の各ピクセルの運動情報であるオプティカルフローを用いる方法等がある。
【００６５】
オプティカルフローを用いる場合、以下のように追跡を行う。
【００６６】
まず、追跡を開始する画像において、フリッカー補正を行いたい画像中の注目領域を選択領域として設定する。その後の画像では、選択領域内でオプティカルフローを計算して選択領域内の画素の移動先を取得し、全ての画素の移動先を含むように選択領域を更新する。
【００６７】
選択された画素集合Ｐを用いて、フリッカー特徴量計算部３２２により領域的な輝度値の平均値、すなわち、フリッカー特徴量である輝度値平均値Ｉａ（ｉ）を数１の式を用いて計算する。
【００６８】
フリッカー特徴量選択部３２３では各画像について得られているフリッカー特徴量の中から基準となる基準フリッカー特徴量（輝度値平均値）を選択する。
【００６９】
最終的に得られる画質を考慮して、数３に示すように、最も大きい値の輝度値平均値を基準フリッカー特徴量として選択する。
【００７０】
【数３】
2004173016.tif 000005
最後に、画素値修正部３２４で、現在の画像のフリッカー特徴量が基準フリッカー特徴量と等しくなるように、数４に示すように画素値を変更する。
【００７１】
【数４】
2004173016.tif 000006
この第２の実施例のフリッカー除去部３では、移動物体を撮影するのに好適である。
【００７２】
以上の処理を実現するフローチャートを図５に示す。
【００７３】
ステップ１１において、画像の枚数ｉを処理回数として、ｉを０に初期化する。
【００７４】
ステップ１２において、高速度画像蓄積部２からｉ番目の画像Ｉ（ｘ，ｙ，ｉ）を読み込む。
【００７５】
ステップ１３において、数１に示すように、ｉ番目における輝度値平均値Ｉａ（ｉ）を計算する。
【００７６】
ステップ１４において、ｉに１を付加する。
【００７７】
ステップ１５において、ｉ＜（ｎ×Ｆ）であればステップ１２に戻り、ｉ＞＝（ｎ×Ｆ）であればステップ１６に進む。
【００７８】
ステップ１６において、数３に示すように、（ｎ×Ｆ）個の中から最も大きい値の輝度値平均値を基準フリッカー特徴量Ｉｒとして選択する。
【００７９】
ステップ１７において、数４に示すように、フリッカーの影響のない輝度値を平均した平均画像Ｉ’（ｘ，ｙ）を高速度画像出力部４へ出力する。
【００８０】
＜２−３＞第３の実施例
フリッカー除去部３の第３の実施例について図６に基づいて説明する。
【００８１】
フリッカー除去部３の第１の実施例では、（ｎ×Ｆ）枚にわたって輝度値の平均をとるため、動きのある領域ではぼやけた画像になる。そのため、変化が激しい画像では多少画質が劣化する。
【００８２】
これに対してフリッカー除去部３の第２の実施例では、フリッカーによる輝度値の変動が、数４で示されるようなモデルに完全に当てはまらない場合にはフリッカーの影響が完全には除去されずにその影響が残る。
【００８３】
そこで、これを解決するために図６に示すように、第３の実施例ではフリッカー補正部３が、領域選択部３３１、画像変化率計算部３３２、フリッカー補正方法選択部３３３、フリッカー補正部３２４より構成される。
【００８４】
画像変化率計算部３３２は、領域選択部３３１によって選択した画像全体または注目領域に対して画像がどれだけ変化しているかを表す画像変化率を計算する。この画像変化率として、例えば次のような量を用いる。
【００８５】
（１）各ピクセルの運動ベクトルを算出し、そのベクトルの大きさの平均値を画像変化率として用いる。
【００８６】
（２）輝度値の微分値の絶対値和を各画像の注目領域内で計算し、絶対値和の画像間の差を画像変化率として用いる。
【００８７】
（３）輝度値の二次微分の絶対値和を各画像の注目領域内で計算し、絶対値和の画像間の差を画像変化率として用いる。
【００８８】
フリッカー補正方法選択部３３３は、画像変化率が閾値よりも小さければ第１の実施例の方法を、大きければ第２の実施例の方法を選択する。
【００８９】
そして、フリッカー補正部３３４は、選択した各実施例の方法で、上記で説明したようにフリッカーを補正する。
【００９０】
この第３の実施例のフリッカー除去部３を用いると、動きのある領域でもぼやけず、また、静止物体に対しては簡単な計算でフリッカーを除去できる。
【００９１】
【発明の効果】
本発明によれば、高いフレームレートのビデオ映像において、蛍光灯等の放電灯のフリッカーによる画素値の変動を取り除いて高品質な画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の示すブロック図である。
【図２】画像蓄積部の一実施形態の実施例を示すブロック図である。
【図３】フリッカー補正部の第１の実施例に関するフローチャートである。
【図４】フリッカー補正部の第２の実施例に関するブロック図である。
【図５】フリッカー補正部の第２の実施例に関するフローチャートである。
【図６】フリッカー補正部の第３の実施例に関するブロック図である。
【図７】本実施形態の一般環境を示す全体図である。
【符号の説明】
１・・・高速度画像取得部
２・・・高速度画像蓄積部
３・・・フリッカー除去部
４・・・高速度画像出力部
２１・・・書き込みバッファ選択部
２２・・・読み出しバッファ選択部
３２１・・・領域選択部
３２２・・・フリッカー特徴量計算部
３２３・・・フリッカー特徴量選択部
３２４・・・画素修正部
３３１・・・領域選択部
３３２・・・画像変化率計算部
３３３・・・フリッカー補正方法選択部
３３４・・・フリッカー補正部
【図１】
2004173016.tif 000007
【図２】
2004173016.tif 000008
【図３】
2004173016.tif 000009
【図４】
2004173016.tif 000010
【図５】
2004173016.tif 000011
【図６】
2004173016.tif 000012
【図７】
2004173016.tif 000013