(57)【特許請求の範囲】
【請求項１】
動画像を、時間周波数及び空間周波数を含む時空間周波数領域の信号に変換する周波数変換部と、
前記時間周波数のうち既知のフリッカー周波数に対応する時間周波数を抑圧周波数として決定し、該抑圧周波数の周波数成分の抑圧量を、前記時空間周波数領域の信号中の、該抑圧周波数の近傍の時間周波数の周波数成分から決定するフリッカー成分推定部と、
前記時空間周波数領域の信号について、前記抑圧周波数の周波数成分のうち、所定の範囲の空間周波数の周波数成分を前記抑圧量に従って抑圧した周波数領域の信号を生成するフリッカー除去部と、
前記フリッカー除去部により生成された周波数領域の信号を実空間領域の信号に変換する逆周波数変換部と、
を備えることを特徴とするフリッカー低減装置。
【請求項２】
前記周波数変換部は、前記動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換し、
前記フリッカー除去部は、前記抑圧周波数の周波数成分のうち、所定の範囲の水平周波数及び垂直周波数の周波数成分を抑圧することを特徴とする、請求項１に記載のフリッカー低減装置。
【請求項３】
前記周波数変換部は、前記動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換し、
前記フリッカー除去部は、前記抑圧周波数の周波数成分のうち、所定の範囲の水平周波数の周波数成分を抑圧することを特徴とする、請求項１に記載のフリッカー低減装置。
【請求項４】
前記周波数変換部は、前記動画像を、垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換し、
前記フリッカー除去部は、前記抑圧周波数の周波数成分のうち、所定の範囲の垂直周波数の周波数成分を抑圧することを特徴とする、請求項１に記載のフリッカー低減装置。
【請求項５】
コンピュータを、請求項１から４のいずれか一項に記載のフリッカー低減装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交流電源周波数に関係して光強度が変動する照明下で撮影した動画像に現れるフリッカーを低減するフリッカー低減装置に関する。
【背景技術】
【０００２】
交流電源で駆動する照明器具から発する光の交流成分は、電源周波数ｆA（Ｈｚ）の２倍の周波数で強度が変動する。この照明下で、フレーム周波数ｆV（Ｈｚ）で撮影される動画像は、式（１）で示されるフリッカー周波数ｆF（Ｈｚ）のフリッカーを含む映像となる。
【０００３】
【数１】
0006462281.tif 000002
【０００４】
フリッカーが無い場合の理想的な映像信号をＶｏ（ｘ，ｙ，ｔ）とすると、フリッカーを含む映像信号ＶF（ｘ，ｙ，ｔ）は、式（２）に示すようにフリッカー成分ＦL（ｘ，ｙ，ｔ）との和で表される。ここで、x、ｙ、ｔはそれぞれ映像信号の水平方向、垂直方向、時間方向の座標である。
【０００５】
【数２】
0006462281.tif 000003
【０００６】
また、フリッカー成分ＦL（ｘ，ｙ，ｔ）は、式（３）で表される。ここで、θは位相を表す。
【０００７】
【数３】
0006462281.tif 000004
【０００８】
映像のフレーム周波数ｆVが照明の明滅周波数２ｆAよりも低い場合は、１／２ｆA（＜１／ｆV）の時間開口のシャッターを用いることで、映像信号にフリッカーが発生することを避けることができる。しかし、映像のフレーム周波数ｆVが照明の明滅周波数２ｆAよりも高い場合には、１／２ｆA＞１／ｆVであるため、シャッターにより解決することはできず、映像信号処理によってフリッカーを低減・除去する必要がある。
【０００９】
スローモーション撮影のために高速度撮影する場合や、動画質を向上させるために従来のフレーム周波数よりも高いフレーム周波数を用いる場合に、映像のフレーム周波数ｆVが照明の明滅周波数２ｆAよりも高くなり得る。例えば、交流電源周波数が６０Ｈｚ（照明の明滅周波数は１２０Ｈｚ）の下でフレーム周波数１８０Ｈｚで撮影する場合や、交流電源周波数が５０Ｈｚ（照明の明滅周波数は１００Ｈｚ）の下でフレーム周波数１２０Ｈｚで撮影する場合に該当する。
【００１０】
映像信号ＶF（ｘ，ｙ，ｔ）からフリッカー成分ＦL（ｘ，ｙ，ｔ）、すなわち、フリッカー周波数ｆF、位相θ、振幅ＦLを検出することができれば、これを動画像から除去することで、フリッカーのない映像信号ＶO（ｘ，ｙ，ｔ）を得ることができる。フリッカーが画面内で一様であれば、映像信号ＶF（ｘ，ｙ，ｔ）からＦL及びθを推定し、式（４）によってフリッカーを除去可能である。
【００１１】
【数４】
0006462281.tif 000005
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第４３７１１０８号公報
【特許文献２】特許第４４２３８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、動画像を撮影する際、照明条件は必ずしも一定ではない。例えば、画面内で一様に照明されるとは限らず、被写体の反射率も様々であり、カメラの操作や被写体の動きによって、画面内の照明の影響は時々刻々と変化する。したがって、フリッカーは画面内に一様には現れず、時間とともに変化する。また、共通の交流電源が照明に使用されれば、複数の照明器具から発する光強度の変化の周波数は同じとなるが、位相が同じになるとは限らない。したがって、フリッカーの時間的変動の位相は画面内で異なる。すなわち、式（３）のフリッカーは、実際には式（５）のように空間内の位置と時間の関数となる。
【００１４】
【数５】
0006462281.tif 000006
【００１５】
そうすると、式（２）で示される映像信号ＶF（ｘ，ｙ，ｔ）から、理想的な映像信号ＶO（ｘ，ｙ，ｔ）と、フリッカー成分ＦL（ｘ，ｙ，ｔ）とを分離することは困難である。
【００１６】
かかる事情に鑑みてなされた本発明の目的は、上記のような問題を解決し、画面内で不均一に現れるフリッカーを低減・除去することが可能なフリッカー低減装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明に係るフリッカー低減装置は、動画像を、時間周波数及び空間周波数を含む時空間周波数領域の信号に変換する周波数変換部と、前記時間周波数のうち既知のフリッカー周波数に対応する時間周波数を抑圧周波数として決定し、該抑圧周波数の周波数成分の抑圧量を、前記時空間周波数領域の信号中の、該抑圧周波数の近傍の時間周波数の周波数成分から決定するフリッカー成分推定部と、前記時空間周波数領域の信号について、前記抑圧周波数の周波数成分のうち、所定の範囲の空間周波数の周波数成分を前記抑圧量に従って抑圧した周波数領域の信号を生成するフリッカー除去部と、前記フリッカー除去部により生成された周波数領域の信号を実空間領域の信号に変換する逆周波数変換部と、を備えることを特徴とする。
【００１９】
さらに、本発明に係るフリッカー低減装置において、前記周波数変換部は、前記動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換し、前記フリッカー除去部は、前記抑圧周波数の周波数成分のうち、所定の範囲の水平周波数及び垂直周波数の周波数成分を抑圧することを特徴とする。
【００２０】
さらに、本発明に係るフリッカー低減装置において、前記周波数変換部は、前記動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換し、前記フリッカー除去部は、前記抑圧周波数の周波数成分のうち、所定の範囲の水平周波数の周波数成分を抑圧することを特徴とする。
【００２１】
さらに、本発明に係るフリッカー低減装置において、前記周波数変換部は、前記動画像を、垂直周波数及び前記時間周波数の２次元時空間周波数領域の信号に変換し、前記フリッカー除去部は、前記抑圧周波数の周波数成分のうち、所定の範囲の垂直周波数の周波数成分を抑圧することを特徴とする。
【００２２】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フリッカー低減装置として機能させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、画面内で不均一に現れるフリッカーを効果的に低減・除去した映像信号を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係るフリッカー低減装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係るフリッカー低減装置において、動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換する処理を説明する図である。
【図３】本発明の一実施形態に係るフリッカー低減装置において、動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換する処理を説明する図である。
【図４】本発明の一実施形態に係るフリッカー低減装置において、動画像を、垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換する処理を説明する図である。
【図５】フリッカーを含む映像信号における、時間周波数に対する周波数成分の一例を示す図である。
【図６】本発明の一実施形態に係るフリッカー低減装置において、周波数変換処理により変換された３次元時空間周波数領域を示す図である。
【図７】本発明の一実施形態に係るフリッカー低減装置において、動画像を３次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。
【図８】本発明の一実施形態に係るフリッカー低減装置において、動画像を水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。
【図９】本発明の一実施形態に係るフリッカー低減装置において、動画像を垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。
【発明を実施するための形態】
【００２５】
式（２）の映像信号ＶFは、時空間周波数領域では式（６）のように表される。
【００２６】
【数６】
0006462281.tif 000007
【００２７】
フリッカー成分ＦLの時空間周波数領域における広がりは映像信号の分布に比べて小さいため、ＦL（Ｘ，Ｙ，Ｔ）は時間周波数領域ではフリッカー周波数ｆFを中心とした狭帯域に分布する。したがって、フリッカー周波数ｆFに相当する特定の時間周波数を中心とする成分を抑圧することがフリッカーの低減に効果的である。
【００２８】
そこで、本発明では、映像信号を２次元又は３次元の時空間周波数領域の信号に変換し、時空間周波数領域において、特定の時間周波数における周波数成分を低減し、再び、実時空間領域の信号に変換する。また、この特定の時間周波数における周波数成分を低減するにあたり、フリッカー周波数近傍の時間周波数の周波数成分を参照することによって、本来の映像信号に含まれる周波数成分を推定し、フリッカー成分のみを低減して本来の映像信号は保持する。
【００２９】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００３０】
図１は、本発明の一実施形態に係るフリッカー低減装置の構成を示すブロック図である。図１に示す例では、フリッカー低減装置１は、入力側のフレームメモリ（ＦＭ）１１と、周波数変換部１２と、フリッカー成分推定部１３と、フリッカー除去部１４と、逆周波数変換部１５と、出力側のフレームメモリ（ＦＭ）１６と、を備える。
【００３１】
交流電源周波数ｆA及び動画像のフレーム周波数ｆVは既知であるので、式（１）に示したように、フリッカー周波数ｆFも既知となる。本実施形態では、交流電源周波数ｆAを５０Ｈｚ、フレーム周波数ｆVを１２０Ｈｚ、フリッカー周波数ｆFを２０Ｈｚとする。
【００３２】
各フレームメモリ１１は、フリッカーを含む映像信号をフレーム毎に順次に蓄積し、周波数変換部１２に出力する。例えば、周波数変換部１２における時間方向のフーリエ変換のサンプル数を３２として３２フレーム単位で処理を行う場合、フレームメモリ１１を３２個有して３２フレームを蓄積する。
【００３３】
周波数変換部１２は、フレームメモリ１１から入力される画像を周波数変換処理（例えば、ＦＦＴ：Fast Fourier Transform処理）して、時間周波数を含む２次元又は３次元の時空間周波数領域の信号に変換し、フリッカー成分推定部１３及びフリッカー除去部１４に出力する。例えば、時間方向に１６サンプル単位で離散フーリエ変換すると、時間周波数分解能は７．５Ｈｚ（＝１２０／１６）となり、時間方向に３２サンプル単位で離散フーリエ変換すると、時間周波数分解能は３．７５Ｈｚ（＝１２０／３２）となる。時間方向の離散フーリエ変換のサンプル数を増やすことによって時間周波数分解能を細かくできるが、遅延時間とのトレードオフとなる。なお、周波数変換としては、離散フーリエ変換の他、離散コサイン変換、離散サイン変換、離散ウォルシュ・アダマール変換、離散ウェーブレット変換などの周波数解析手法を用いることができる。
【００３４】
図２は、動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換する場合の処理を説明する図である。この場合、周波数変換部１２は、フレームメモリ１１から各フレームの列及び行の２次元配列の画素を入力する。そして、周波数変換処理に都合の良い小ブロック単位で３次元周波数変換処理し、これを、水平及び垂直方向の全画素数をカバーするように順次処理する。図２では、時間方向のフーリエ変換のサンプル数を３２とし、水平、垂直及び時間方向の３次元周波数変換処理ブロックを３２×３２×３２サンプルとする例を示している。
【００３５】
図３は、動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換する場合の処理を説明する図である。この場合、周波数変換部１２は、フレームメモリ１１から各フレームの行方向の１次元配列の画素を入力する。そして、水平（画素）と時間（フレーム）のｘｔ平面において、水平方向の周波数変換処理に都合の良い小ブロック単位で２次元周波数変換処理し、これを、水平の全画素数をカバーするように順次処理する。図３では、時間方向の離散フーリエ変換のサンプル数を３２とし、水平及び時間方向の２次元周波数変換処理ブロックを３２×３２サンプルとする例を示している。
【００３６】
図４は、動画像を、垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換する場合の処理を説明する図である。この場合、周波数変換部１２は、フレームメモリ１１から各フレームの列方向の１次元配列の画素を入力する。そして、垂直（画素）と時間（フレーム）のｙｔ平面において、垂直方向の周波数変換処理に都合の良い小ブロック単位で２次元周波数変換処理し、これを、垂直の全画素数をカバーするように順次処理する。図４では、時間方向の離散フーリエ変換のサンプル数を３２とし、垂直及び時間方向の２次元周波数変換処理ブロックを３２×３２サンプルとする例を示している。
【００３７】
フリッカー成分推定部１３は、周波数変換部１２における時間周波数分解能の整数倍で表される離散の時間周波数のうち、既知のフリッカー周波数ｆFに対応する周波数を抑圧周波数ｆNとして決定する。例えば、フリッカー周波数ｆFが２０Ｈｚの場合、時間周波数分解能が７．５Ｈｚであると２２．５Ｈｚ及び１５Ｈｚがフリッカー周波数ｆFに最も近い上下の周波数である。時間周波数分解能が３．７５Ｈｚであると２２．５Ｈｚと１８．７５Ｈｚがフリッカー周波数ｆFに最も近い上下の周波数である。フリッカー周波数ｆFに最も近い周波数、又は最も近い上下の周波数を抑圧周波数ｆNと決定する。（以下で抑圧周波数ｆNと言う場合、１つの周波数とは限らない。）
【００３８】
図５は、フリッカーを含む映像信号における、時間周波数に対する周波数成分の一例を示す図である。横軸は時間周波数を示し、縦軸は周波数成分のレベルを示している。図５では、時間周波数分解能を３．７５Ｈｚとし、フリッカー周波数ｆFに最も近い上下の周波数を抑圧周波数ｆNとしている。フリッカー周波数ｆFの近傍の抑圧周波数ｆNにはフリッカー成分が含まれるため、黒丸で示すフリッカーの無い本来の映像信号に比べて大きな周波数成分を有する。
【００３９】
フリッカー成分推定部１３は、抑圧周波数ｆNの近傍の時間周波数の周波数成分に基づいて、抑圧周波数ｆNにおける周波数成分の抑圧量を算出する。例えば、抑圧周波数ｆNの下隣及び上隣の時間周波数の周波数成分Ｆ（ｆN-1），Ｆ（ｆN+1）の平均値又はフリッカー周波数との周波数差に応じた加重平均値を、照明の明滅が無い場合に被写体を撮影した場合の映像信号に含まれる抑圧周波数ｆNの成分の推定値とし、抑圧周波数ｆNの周波数成分Ｆ（ｆN）と推定値との差を抑圧量とする。これによって、映像信号に元々含まれるフリッカー周波数と同じ周波数成分への影響を小さくすることができる。
【００４０】
フリッカー除去部１４は、時間周波数が抑圧周波数ｆNである周波数成分のうち、更に所定の範囲の空間周波数の周波数成分のみを抑圧するようにしてもよい。フリッカーは空間周波数が低い領域で現れると考えられるため、空間周波数が低い領域のみ周波数成分を抑圧することにより、より一層効果的にフリッカー成分のみを低減した映像信号を得ることができる。以下、図６から図９を参照して、空間周波数を考慮した周波数成分の抑圧処理について説明する。
【００４１】
図６は、周波数変換部１２の周波数変換処理により変換された３次元時空間周波数領域を示す図である。Ｘ軸は水平周波数を示し、Ｙ軸は垂直周波数を示し、Ｔ軸は時間周波数を示す。ここで、時間周波数の最大値は、サンプリング定理によりｆV／２となる。
【００４２】
図７は、周波数変換部１２が動画像を３次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域の例を示す図である。図７は、時間周波数Ｔが抑圧周波数ｆNである、水平及び垂直方向の２次元周波数平面ＸＹを示している。この２次元周波数平面ＸＹにおいて、フリッカー除去部１４は、水平周波数が０≦Ｘ≦ＸLOW、且つ垂直周波数が０≦Ｙ≦ＹLOWの周波数成分のみを抑圧する。図中では周波数成分が抑圧される領域を斜線で示している。ただし、周波数成分が抑圧される領域は、この例のようにＸＹ平面で矩形に限られるものではない。
【００４３】
図８は、周波数変換部１２が動画像を水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。図８は、水平及び時間方向の２次元周波数平面ＸＴを示している。この２次元周波数平面ＸＴにおいて、フリッカー除去部１４は、時間周波数Ｔが抑圧周波数ｆNであり、且つ水平周波数が０≦Ｘ≦ＸLOWの周波数成分のみを抑圧する。図中では周波数成分が抑圧される領域を太線で示している。
【００４４】
図９は、周波数変換部１２が動画像を垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。図９は、垂直及び時間方向の２次元周波数平面ＹＴを示している。この２次元周波数平面ＹＴにおいて、フリッカー成分推定部１３は、時間周波数Ｔが抑圧周波数ｆNであり、且つ垂直周波数が０≦Ｙ≦ＹLOWの周波数成分のみを抑圧する。図中では周波数成分が抑圧される領域を太線で示している。なお、上述したＸLOW及びＹLOWは、映像システムの解像度や撮影条件に
応じて定める。
【００４５】
フリッカー除去部１４は、フリッカー成分推定部１３から抑圧周波数ｆN及び抑圧量を取得する。そして、周波数変換部１２によって周波数領域の信号に変換された信号に対して、時間周波数Ｔが抑圧周波数ｆNである周波数成分を抑圧量に従って抑圧し、逆周波数変換部１５に出力する。
【００４６】
逆周波数変換部１５は、周波数変換部１２による処理と逆の逆周波数変換処理を行い、時空間周波数領域の信号を実時空間領域の信号に変換し、フレームメモリ１６に出力する。周波数変換部１２によりＦＦＴ処理が行われていた場合には、逆周波数変換部１５は、ＩＦＦＴ（Inverse Fast Fourier Transform）処理を行う。逆周波数変換した結果は、フリッカーを抑圧した画像となっている。
【００４７】
フリッカー低減装置１は、フレームメモリ１６からフリッカーを抑圧した画像を順次出力することで動画像を出力する。フリッカー低減装置１は、以上の処理を時間方向のサンプル単位（本実施例では３２フレーム）毎に順次行う。
【００４８】
上述したように、本発明に係るフリッカー低減装置１は、入力される動画像を周波数変換部１２により時間周波数を含む周波数領域の信号に変換し、フリッカー成分推定部１３により既知のフリッカー周波数に対応する時間周波数を抑圧周波数ｆNとして決定し、該抑圧周波数ｆNの周波数成分の抑圧量を、該抑圧周波数ｆNの近傍の時間周波数の周波数成分から決定し、フリッカー除去部１４により抑圧周波数の周波数成分を抑圧量に従って抑圧した周波数領域を生成し、逆周波数変換部１５によりフリッカー除去部１４にて生成された周波数領域を実空間領域の信号に変換する。このような周波数解析を行うことにより、フリッカー低減装置１は画面内で不均一に現れるフリッカーを効果的に低減することができる。
【００４９】
また、フリッカーは空間周波数が低い領域で現れると考えられるため、フリッカー成分推定部１３は、時間周波数が抑圧周波数ｆNである周波数成分のうち、空間周波数が低い周波数成分のみを抑圧することにより、より一層効果的にフリッカーを低減した映像信号を得ることができる。
【００５０】
また、上述したフリッカー低減装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フリッカー低減装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００５１】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００５２】
１    フリッカー低減装置
１１，１６  フレームメモリ
１２  周波数変換部
１３  フリッカー成分推定部
１４  フリッカー除去部
１５  逆周波数変換部
【図１】
0006462281.tif 000008
【図２】
0006462281.tif 000009
【図３】
0006462281.tif 000010
【図４】
0006462281.tif 000011
【図５】
0006462281.tif 000012
【図６】
0006462281.tif 000013
【図７】
0006462281.tif 000014
【図８】
0006462281.tif 000015
【図９】
0006462281.tif 000016