(57)【要約】【課題】映像信号のフリッカーの振幅及び位相を高精度に推定し、映像信号のフリッカーを確実に抑制する。【解決手段】映像処理装置１の非線形カルマンフィルタ１１は、画素値ｙ（ｋ）に対し非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。フリッカー推定部２１は、フリッカー成分の推定値ｘ^（ｋ）からフリッカー画素値ｙ’（ｋ）を算出し、減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算して補正値ｚ（ｋ）を求める。【選択図】図６
2020113919.tif 000002
【特許請求の範囲】
【請求項１】
映像信号からフリッカーを除去する映像処理装置において、
状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなるフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される画素値としたモデルに対し、前記フリッカー成分を推定する非線形カルマンフィルタと、
前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、
前記映像信号の画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値を求める減算部と、
を備えたことを特徴とする映像処理装置。
【請求項２】
複数の領域に分割された映像信号からフリッカーを除去する映像処理装置において、
前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、
前記領域毎に、前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、
前記領域毎に、前記映像信号の当該領域内のそれぞれの画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値をそれぞれ求める減算部と、
を備えたことを特徴とする映像処理装置。
【請求項３】
請求項１または２に記載の映像処理装置において、
さらに、予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、
前記非線形カルマンフィルタは、
前記色毎に、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定し、
前記フリッカー推定部は、前記色毎に、前記フリッカー画素値を推定し、
前記減算部は、前記色毎に、前記フリッカーが除去された画素値をそれぞれ求める、ことを特徴とする映像処理装置。
【請求項４】
請求項１または２に記載の映像処理装置において、
さらに、予め設定された色温度毎のデータ群を用いて、ＣＣ（Color Temperature Conversion：色温度変換）フィルタにより変換された照明光の前記色温度に応じて、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、
前記非線形カルマンフィルタは、
前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする映像処理装置。
【請求項５】
請求項１または２に記載の映像処理装置において、
さらに、予め設定された透過率毎のデータ群を用いて、ＮＤ（Neutral Density：ニュートラルデンシティ（中性濃度））フィルタの前記透過率に応じて、前記非線形カルマンフィルタにて用いる前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、
前記非線形カルマンフィルタは、
前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする映像処理装置。
【請求項６】
映像信号のフリッカーに関する情報を表示する映像処理装置において、
前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、
前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅及び前記位相を表示するフリッカー成分表示部と、
を備えたことを特徴とする映像処理装置。
【請求項７】
請求項６に記載の映像処理装置において、
前記フリッカー成分表示部に代わる新たなフリッカー成分表示部は、
前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記領域を識別可能な形態にて、前記映像信号を表示する、ことを特徴とする映像処理装置。
【請求項８】
映像信号のフリッカーに関する情報を表示する映像処理装置において、
予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部と、
前記色毎に、前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域の前記フリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記領域毎の前記フリッカー成分を推定する非線形カルマンフィルタと、
前記色毎に、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記色及び前記領域を識別可能な形態にて、前記映像信号を表示するフリッカー成分表示部と、
を備えたことを特徴とする映像処理装置。
【請求項９】
請求項２に記載の映像処理装置において、
さらに、前記領域毎に、当該領域内の画素値の平均値を入力し、当該画素値の平均値をフーリエ変換し、周波数成分毎の振幅を求め、前記周波数成分毎の前記振幅に基づいて、周波数成分数を設定する周波数成分数設定部を備え、
前記非線形カルマンフィルタは、
前記周波数成分数設定部により設定された前記領域毎の前記周波数成分を用いて、前記領域毎に、前記フリッカー成分を推定する、ことを特徴とする映像処理装置。
【請求項１０】
請求項１から９までのいずれか一項に記載の映像処理装置において、
前記非線形カルマンフィルタをＵＫＦ（Unscented Kalman Filter：アンセンテッドカルマンフィルタ）とするか、または前記非線形カルマンフィルタの代わりに粒子フィルタを用いる、ことを特徴とする映像処理装置。
【請求項１１】
コンピュータを、請求項１から１０までのいずれか一項に記載の映像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のフリッカー特性を測定する映像処理装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、電源周波数が５０Ｈｚの圏内では、蛍光灯等の照明機器は、１００Ｈｚの周波数の波形に応じて照明強度が変化することが知られている。しかし、１００Ｈｚの周波数で照明強度が変化する状況においては、１２０Ｈｚのフレーム周波数で撮影を行った場合、２０Ｈｚの周波数で映像信号にフリッカーが生じてしまう。
【０００３】
このフリッカーを抑制するための技術として、様々な手法が提案されている。例えば、撮像素子をライン毎にインターレース駆動し、かつ１０ｍｓｅｃの電子シャッターを設定することにより、フリッカーを抑制する手法が提案されている（例えば、特許文献１，２を参照）。
【０００４】
また、撮像素子を２４０Ｈｚの周波数で駆動させ、長時間露光及び短時間露光を行い、３フレームの映像信号を加算し、１０ｍｓｅｃの露光を実現することにより、フリッカーを抑制する手法が提案されている（例えば、特許文献３を参照）。
【０００５】
また、連続する複数のフレームの映像信号に対し、分割領域毎に明るさの平均値を算出し、補正対象フレームについて、分割領域毎に、明るさと明るさの平均値との差異に基づいて、各画素の明るさを補正する手法も提案されている（例えば、特許文献４を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２２６１２号公報
【特許文献２】特開２０１７−１１８３２９号公報
【特許文献３】特開２０１６−３６１２２号公報
【特許文献４】特開２０１６−１９１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述の特許文献１，２の手法は、撮像素子をインターレース駆動するため、垂直解像度が半減するという問題があった。
【０００８】
また、前述の特許文献３の手法は、１０ｍｓｅｃの露光を実現するために、撮像素子を２４０Ｈｚの周波数で駆動させる必要がある。このため、データレートが高くなり、その対応が困難になるという問題があった。また、長時間露光及び短時間露光に対応する必要があることから、露光処理が複雑となり、さらに、３つのフレームメモリが必要であることから、ハードウェアの規模が大きくなるという問題もあった。
【０００９】
また、複数の照明を用いる状況においては、フレームの領域毎にフリッカーの振幅及び位相が異なるため、従来の手法では、フレーム全体としてフリッカーを効果的に除去することができないという問題があった。また、フレーム全体としてフリッカーを効果的に除去することができない場合は、オンライン処理の対応が困難となり、スポーツ等のライブ中継には不向きであった。
【００１０】
一方で、前述の特許文献４の手法を用いることにより、フレームの領域毎にフリッカーを抑制することができる。しかし、この手法は、フレームの領域毎の明るさに基づく簡易な処理が基本となることから、フリッカーの抑制精度がフレーム全体として不十分であるという問題があった。
【００１１】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像信号のフリッカーの振幅及び位相を高精度に推定し、映像信号のフリッカーを確実に抑制可能な映像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
前記課題を解決するために、請求項１の映像処理装置は、映像信号からフリッカーを除去する映像処理装置において、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなるフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される画素値としたモデルに対し、前記フリッカー成分を推定する非線形カルマンフィルタと、前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、前記映像信号の画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値を求める減算部と、を備えたことを特徴とする。
【００１３】
また、請求項２の映像処理装置は、複数の領域に分割された映像信号からフリッカーを除去する映像処理装置において、前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、前記領域毎に、前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、前記領域毎に、前記映像信号の当該領域内のそれぞれの画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値をそれぞれ求める減算部と、を備えたことを特徴とする。
【００１４】
また、請求項３の映像処理装置は、請求項１または２に記載の映像処理装置において、さらに、予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、前記非線形カルマンフィルタが、前記色毎に、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定し、前記フリッカー推定部が、前記色毎に、前記フリッカー画素値を推定し、前記減算部が、前記色毎に、前記フリッカーが除去された画素値をそれぞれ求める、ことを特徴とする。
【００１５】
また、請求項４の映像処理装置は、請求項１または２に記載の映像処理装置において、さらに、予め設定された色温度毎のデータ群を用いて、ＣＣ（Color Temperature Conversion：色温度変換）フィルタにより変換された照明光の前記色温度に応じて、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、前記非線形カルマンフィルタが、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする。
【００１６】
また、請求項５の映像処理装置は、請求項１または２に記載の映像処理装置において、さらに、予め設定された透過率毎のデータ群を用いて、ＮＤ（Neutral Density：ニュートラルデンシティ（中性濃度））フィルタの前記透過率に応じて、前記非線形カルマンフィルタにて用いる前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、前記非線形カルマンフィルタが、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする。
【００１７】
また、請求項６の映像処理装置は、映像信号のフリッカーに関する情報を表示する映像処理装置において、前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅及び前記位相を表示するフリッカー成分表示部と、を備えたことを特徴とする。
【００１８】
また、請求項７の映像処理装置は、請求項６に記載の映像処理装置において、前記フリッカー成分表示部に代わる新たなフリッカー成分表示部が、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記領域を識別可能な形態にて、前記映像信号を表示する、ことを特徴とする。
【００１９】
また、請求項８の映像処理装置は、映像信号のフリッカーに関する情報を表示する映像処理装置において、予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部と、前記色毎に、前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域の前記フリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記領域毎の前記フリッカー成分を推定する非線形カルマンフィルタと、前記色毎に、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記色及び前記領域を識別可能な形態にて、前記映像信号を表示するフリッカー成分表示部と、を備えたことを特徴とする。
【００２０】
また、請求項９の映像処理装置は、請求項２に記載の映像処理装置において、さらに、前記領域毎に、当該領域内の画素値の平均値を入力し、当該画素値の平均値をフーリエ変換し、周波数成分毎の振幅を求め、前記周波数成分毎の前記振幅に基づいて、周波数成分数を設定する周波数成分数設定部を備え、前記非線形カルマンフィルタが、前記周波数成分数設定部により設定された前記領域毎の前記周波数成分を用いて、前記領域毎に、前記フリッカー成分を推定する、ことを特徴とする。
【００２１】
また、請求項１０の映像処理装置は、請求項１から９までのいずれか一項に記載の映像処理装置において、前記非線形カルマンフィルタをＵＫＦ（Unscented Kalman Filter：アンセンテッドカルマンフィルタ）とするか、または前記非線形カルマンフィルタの代わりに粒子フィルタを用いる、ことを特徴とする。
【００２２】
さらに、請求項１１のプログラムは、コンピュータを、請求項１から１０までのいずれか一項に記載の映像処理装置として機能させることを特徴とする。
【発明の効果】
【００２３】
以上のように、本発明によれば、映像信号のフリッカーの振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】ＵＫＦの基本ブロックの処理を説明する図である。
【図２】次の状態ベクトルの推定処理（ステップＳ１０１）を説明する図である。
【図３】観測値の推定処理（ステップＳ１０２）を説明する図である。
【図４】状態ベクトルの更新処理（ステップＳ１０３）を説明する図である。
【図５】ＵＫＦの基本ブロックの詳細構成を示すブロック図である。
【図６】実施例１の映像処理装置の構成例を示すブロック図である。
【図７】実施例１の映像処理装置の処理例を示すフローチャートである。
【図８】実施例２の映像処理装置の構成例を示すブロック図である。
【図９】実施例２の映像処理装置の処理例を示すフローチャートである。
【図１０】実施例３の映像処理装置の構成例を示すブロック図である。
【図１１】実施例３の映像処理装置の処理例を示すフローチャートである。
【図１２】初期値テーブルのデータ構成例を示す図である。
【図１３】システム雑音テーブルのデータ構成例を示す図である。
【図１４】定数テーブルのデータ構成例を示す図である。
【図１５】観測雑音テーブルのデータ構成例を示す図である。
【図１６】実施例４の映像処理装置の構成例を示すブロック図である。
【図１７】実施例４のテーブル設定部の処理例を示すフローチャートである。
【図１８】実施例５の映像処理装置の構成例を示すブロック図である。
【図１９】実施例６の映像処理装置の構成例を示すブロック図である。
【図２０】実施例７の映像処理装置の構成例を示すブロック図である。
【図２１】実施例７の第１表示例を説明する図である。
【図２２】実施例７の第２表示例を説明する図である。
【図２３】実施例７の第３表示例を説明する図である。
【図２４】実施例８の映像処理装置の構成例を示すブロック図である。
【図２５】周波数テーブルのデータ構成例を示す図である。
【図２６】周波数成分数設定部の構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、映像信号のフリッカーの振幅及び位相を状態ベクトルとし、画素値を観測値として、非線形カルマンフィルタ等を用いることで、フリッカーの振幅及び位相を推定することを特徴とする。
【００２６】
これにより、推定したフリッカーの振幅及び位相に基づいて、フリッカーが反映されたフリッカー画素値を推定し、元の映像信号の画素値からフリッカー画素値を減算することで、フリッカーを抑制した画素値を得ることができる。したがって、映像信号のフリッカーの振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。
【００２７】
〔本発明の概要〕
まず、本発明の概要について説明する。フリッカーが発生した映像において、映像信号に含まれるフリッカーの振幅及び位相からなるフリッカー成分（行列）ｘ（ｋ）及び画素値ｙ（ｋ）は、次の漸化式に従い、映像信号のフレーム毎に更新されるものとする。フリッカーは正弦波で表されるものとし、画素値ｙ（ｋ）は、以下の式（２）（４）のとおり、正弦波の和で記述される漸化式に従うものとする。
【数１】
2020113919.tif 000003
【数２】
2020113919.tif 000004
【数３】
2020113919.tif 000005
【数４】
2020113919.tif 000006
【００２８】
フリッカー成分ｘ（ｋ）は、以下の式のとおり、フリッカーの振幅ｘ1（ｋ），・・・，ｘ2m-1（ｋ）及び位相ｘ2（ｋ），・・・，ｘ2m（ｋ）を行方向に並べた列ベクトルとする。
【数５】
2020113919.tif 000007
【００２９】
ｖは、平均０及び分散σv2の正規分布に従うシステム雑音であり、ｗは、平均０及び分散σw2の正規分布に従う観測雑音である。システム雑音ｖ及び観測雑音ｗは、互いに独立な正規分布に従う白色雑音であるものとする。ｂは、フリッカー成分ｘ（ｋ）に対応する定数の行列である。
【００３０】
ωiは、フリッカーの周波数成分に対応する角周波数とし、ｉは、フリッカーの周波数成分の番号（ｉ＝１，・・・，ｍ）とし、ｍは、フリッカーの周波数成分数とする。ｋは、映像信号のフレーム毎の時刻とし、映像信号のフレーム番号に相当する。
【００３１】
前記式（１）〜（４）に示したフリッカー成分ｘ（ｋ）及び画素値ｙ（ｋ）を更新するモデルにおいて、一般に、ｘ（ｋ）は状態ベクトル、ｙ（ｋ）は観測値、ｆ（ｘ（ｋ））は状態ベクトル関数、ｈ（ｘ（ｋ））は観測関数という。
【００３２】
前記式（１）は、時刻ｋ＋１のフリッカー成分ｘ（ｋ＋１）が、時刻ｋのフリッカー成分ｘ（ｋ）に雑音成分ｂｖ（ｋ）を加えたものであることを示している。前記式（２）は、時刻ｋの画素値ｙ（ｋ）が、振幅及び位相の正弦波であるフリッカーを全ての周波数成分で加算した結果（前記式（４）のｈ（ｘ（ｋ）））に対し、観測雑音ｗ（ｋ）を加えたものであることを示している。
【００３３】
尚、自然画像の画素値ｙの場合は、周辺画素の平均値またはオフセット成分を予め減算しておくことが好適である。
【００３４】
以下に説明する実施例１〜８では、前記式（１）〜（４）にて規定された時系列の画素値ｙ（ｋ）に対し、非線形カルマンフィルタを適用し、フリッカー成分ｘ（ｋ）を推定する。つまり、実施例１〜８では、状態ベクトルをフリッカー成分ｘ（ｋ）とし、観測値を画素値ｙ（ｋ）として、前記式（１）〜（４）で表すモデルを非線形カルマンフィルタにて処理し、フリッカー成分ｘ（ｋ）を推定する。
【００３５】
具体的には、非線形カルマンフィルタは、状態ベクトルを、前記式（１）（３）に示した漸化式に従いフレーム毎に更新されるフリッカー成分ｘ（ｋ）とし、観測値を、正弦波の和で記述される前記式（２）（４）に示した漸化式に従いフレーム毎に更新される画素値ｙ（ｋ）としたモデルに対し、フリッカー成分ｘ（ｋ）を推定する。
【００３６】
以下、非線形カルマンフィルタの一例として、ＵＫＦ（Unscented Kalman Filter：アンセンテッドカルマンフィルタ）を用いることとする。
【００３７】
ＵＫＦは、正規分布に従う確率変数が非線形関数（本例では正弦関数）によって写像された先の分布について、当該先の分布が正規分布でない場合を仮定したフィルタである。ＵＫＦは、元の正規分布のサンプリングポイントを非線形関数により写像（変換）し、これにより得られたサンプルを用いて、写像された先の分布の平均及び誤差分散共分散行列を近似することで、状態ベクトルを時刻毎に推定するものである。
【００３８】
（ＵＫＦの基本ブロック）
図１は、ＵＫＦの基本ブロックの処理を説明する図である。このＵＫＦは、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）及びその誤差分散共分散行列Ｐ^（ｋ−１）並びに時刻ｋの観測値ｙ（ｋ）から、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及びその誤差分散共分散行列Ｐ^（ｋ）を算出する。
【００３９】
ＵＫＦは、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）を用いた次の状態ベクトルの推定処理により、次の状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を求める（ステップＳ１０１）。
【００４０】
ＵＫＦは、次の状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を用いた観測値の推定処理により、観測値の事前推定値ｙ^-（ｋ）を求める（ステップＳ１０２）。
【００４１】
ＵＫＦは、状態ベクトルの事前推定値ｘ^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）、観測値の事前推定値ｙ^-（ｋ）及び観測値ｙ（ｋ）を用いた状態ベクトルの更新処理により、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を求める（ステップＳ１０３）。
【００４２】
図２は、図１に示した次の状態ベクトルの推定処理（ステップＳ１０１）を説明する図である。図２の左図は、状態ベクトルの推定値ｘ^（ｋ−１）の確率分布を示し、右図は、状態ベクトルの事前推定値ｘ^-（ｋ）の確率分布を示す。
【００４３】
状態ベクトル関数ｆ（ｘ）の確率分布は計算できないため、状態ベクトルの推定値ｘ^（ｋ−１）のいくつかの代表点（左図の黒丸印の箇所）χ1，χ2，・・・をサンプリングする。サンプリングした点をシグマポイントという。状態ベクトルの推定値ｘ^（ｋ−１）とシグマポイントχ1との間の距離、及び状態ベクトルの推定値ｘ^（ｋ−１）とシグマポイントχ2との間の距離は、誤差分散共分散行列Ｐ^（ｋ−１）の平方根の値√（Ｐ^（ｋ−１））である。
【００４４】
シグマポイントχ1，χ2，・・・を状態ベクトル関数ｆ（ｘ）で写像した値ｆ（χ1），ｆ（χ2），・・・（右側の図の塗り潰した菱形の箇所）の重み付き平均値を、次の状態ベクトルの事前推定値ｘ^-（ｋ）とする（右図の白抜き丸印の箇所）。
【００４５】
次の状態ベクトルの事前推定値ｘ^-（ｋ）に対する誤差分散共分散行列の事前推定値Ｐ^-（ｋ）は、後述する式（１４）により算出される。後述する式（１４）の第２項は、次の状態ベクトルの推定処理（ステップＳ１０１）により真値との誤差が増えると仮定した際の誤差に相当する。
【００４６】
このように、ステップＳ１０１の処理により、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）から、次の状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^-（ｋ）が算出される。
【００４７】
図３は、図１に示した観測値の推定処理（ステップＳ１０２）を説明する図である。図３の左図は、状態ベクトルの事前推定値ｘ^-（ｋ）の確率分布を示し、右図は、観測値の事前推定値ｙ^-（ｋ）の確率分布を示す。
【００４８】
観測関数ｈ（ｘ）の確率分布は計算できないため、状態ベクトルの事前推定値ｘ^-（ｋ）のいくつかの代表点（左図の黒丸印の箇所）χ1-，χ2-，・・・をサンプリングする。図２と同様に、サンプリングした点をシグマポイントという。状態ベクトルの事前推定値ｘ^-（ｋ）とシグマポイントχ1-との間の距離、及び状態ベクトルの事前推定値ｘ^-（ｋ）とシグマポイントχ2-との間の距離は、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）の平方根の値√（Ｐ^-（ｋ））である。
【００４９】
シグマポイントχ1-，χ2-，・・・を観測関数ｈ（ｘ）で写像した値ｈ（χ1-），ｈ（χ2-），・・・（右図の塗り潰した菱形の箇所）の重み付き平均値を、観測値の事前推定値ｙ^-（ｋ）とする（右図の白抜き四角の箇所）。観測値の事前推定値ｙ^-（ｋ）は、後述する式（１９）により算出される。
【００５０】
このように、ステップＳ１０２の処理により、次の状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^-（ｋ）から、観測値の事前推定値ｙ^-（ｋ）が算出される。
【００５１】
図４は、図１に示した状態ベクトルの更新処理（ステップＳ１０３）を説明する図である。観測値ｙ（ｋ）から観測値の事前推定値ｙ^-（ｋ）が減算され（ステップＳ４０１）、減算結果の観測誤差にカルマンゲインｇ（ｋ）が乗算される（ステップＳ４０２）。次の状態ベクトルの事前推定値ｘ^-（ｋ）は、乗算結果ｇ（ｋ）｛ｙ（ｋ）−ｙ^-（ｋ）｝に加算される（ステップＳ４０３）。これにより、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）が得られる。
【００５２】
カルマンゲインｇ（ｋ）は、ＵＫＦのゲイン値であり、観測値ｙ（ｋ）及び観測値の事前推定値ｙ^-（ｋ）の信頼度合いを示す。後述する式（２０）〜（２２）のとおり、観測値の事前推定値ｙ^-（ｋ）の分散が小さく、かつ状態ベクトルの事前推定値ｘ^-（ｋ）と観測値の事前推定値ｙ^-（ｋ）が相関していれば、カルマンゲインｇ（ｋ）は大きい値となる。
【００５３】
また、後述する式（２１）により算出された状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）にカルマンゲインｇ（ｋ）が乗算され（ステップＳ４０４）。誤差分散共分散行列の事前推定値Ｐ^-（ｋ）から乗算結果が減算される（ステップＳ４０５）。これにより時刻ｋの誤差分散共分散行列Ｐ^（ｋ）が得られる。
【００５４】
このように、ステップＳ１０３の処理により、状態ベクトルの事前推定値ｘ^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）、観測値の事前推定値ｙ^-（ｋ）及び観測値ｙ（ｋ）から、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）が算出される。
【００５５】
（ＵＫＦの基本ブロックの詳細）
次に、図１に示したＵＫＦの基本ブロックの処理について詳細に説明する。図５は、図１に示したＵＫＦの基本ブロックの詳細構成を示すブロック図である。このＵＫＦは、時系列推定部９０、カルマンゲイン計算部９３及び更新部９７を備えている。
【００５６】
まず、ＵＫＦの処理に先立って、状態ベクトルの推定値の初期値ｘ^（０）及びその誤差分散共分散行列の初期値Ｐ^（０）が、次のように予め設定される。
【数６】
2020113919.tif 000008
【数７】
2020113919.tif 000009
【００５７】
時系列推定部９０は、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）、その誤差分散共分散行列Ｐ^（ｋ−１）、システム雑音の標準偏差σv及び定数ｂを入力する。そして、時系列推定部９０は、時刻ｋの状態ベクトルの事前推定値ｘ^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）、状態ベクトルの事前推定値ｘ^-（ｋ）の代表点ある２ｎ＋１個のシグマポイントχi-（ｋ）、各シグマポイントχi-（ｋ）を観測関数ｈ（ｘ）で写像した２ｎ＋１個の写像値Ｕi-（ｋ）、及び観測値の事前推定値ｙ^-（ｋ）を算出する。
【００５８】
時系列推定部９０は、状態ベクトル推定値等計算手段９１及び時系列推定値計算手段９２を備えている。状態ベクトル推定値等計算手段９１は、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）、誤差分散共分散行列Ｐ^（ｋ−１）、システム雑音の標準偏差σv及び定数ｂを入力する。
【００５９】
状態ベクトル推定値等計算手段９１は、状態ベクトルの推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）を用いて、以下の式にて、時刻ｔ−１における状態ベクトルの推定値ｘ^（ｋ−１）の代表点である２ｎ＋１個のシグマポイントχ0（ｋ−１），・・・，χ2n（ｋ−１）を算出する。
【数８】
2020113919.tif 000010
【数９】
2020113919.tif 000011
【数１０】
2020113919.tif 000012
ここで、
2020113919.tif 000013
は、行列
2020113919.tif 000014
の第ｉ列とする。
【００６０】
状態ベクトル推定値等計算手段９１は、以下の式にて、２ｎ＋１個のシグマポイントχ0（ｋ−１），・・・，χ2n（ｋ−１）の重みｗ0，・・・，ｗ2nを算出する。
【数１１】
2020113919.tif 000015
ただし、
2020113919.tif 000016
とする。
【００６１】
状態ベクトル推定値等計算手段９１は、以下の式にて、時刻ｋ−１の２ｎ＋１個のシグマポイントχ0（ｋ−１），・・・，χ2n（ｋ−１）を状態ベクトル関数ｆ（ｘ）で写像した２ｎ＋１個の写像値χi^-（ｋ）を算出する。
【数１２】
2020113919.tif 000017
【００６２】
状態ベクトル推定値等計算手段９１は、時刻ｋの２ｎ＋１個の写像値χi^-（ｋ）、２ｎ＋１個の重みｗ0，・・・，ｗ2nを用いて、以下の式にて、時刻ｋの状態ベクトルの事前推定値ｘ^-（ｋ）を算出する。また、状態ベクトル推定値等計算手段９１は、時刻ｋの状態ベクトルの事前推定値ｘ^-（ｋ）、写像値χi^-（ｋ）、重みｗ0，・・・，ｗ2n、システム雑音の標準偏差σv（分散σv2）及び定数ｂを用いて、以下の式にて、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を算出する。
【数１３】
2020113919.tif 000018
【数１４】
2020113919.tif 000019
【００６３】
状態ベクトル推定値等計算手段９１は、状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を時系列推定値計算手段９２に出力する。また、状態ベクトル推定値等計算手段９１は、状態ベクトルの事前推定値ｘ^-（ｋ）をカルマンゲイン計算部９３及び更新部９７に出力し、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を更新部９７に出力する。
【００６４】
時系列推定値計算手段９２は、システム雑音の標準偏差σv及び定数ｂを入力すると共に、状態ベクトル推定値等計算手段９１から状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を入力する。
【００６５】
時系列推定値計算手段９２は、状態ベクトルの事前推定値ｘ^-（ｋ）及び誤差分散共分散の事前推定値Ｐ^-（ｋ）を用いて、以下の式にて、時刻ｔにおける状態ベクトルの事前推定値ｘ^-（ｋ）の代表点である２ｎ＋１個のシグマポイントχ0-（ｋ），・・・，χ2n+1-（ｋ）を算出する。
【数１５】
2020113919.tif 000020
【数１６】
2020113919.tif 000021
【数１７】
2020113919.tif 000022
ここで、
2020113919.tif 000023
は、行列
2020113919.tif 000024
の第ｉ列とする。
【００６６】
時系列推定値計算手段９２は、以下の式にて、時刻ｔの２ｎ＋１個のシグマポイントχ0-（ｋ），・・・，χ2n+1-（ｋ）を観測関数ｈ（ｘ）で写像した２ｎ＋１個の写像値Ｕi-（ｋ）を算出する。
【数１８】
2020113919.tif 000025
【００６７】
時系列推定値計算手段９２は、前記式（１１）にて算出された重みｗi及び前記式（１８）にて算出された写像値Ｕi-（ｋ）を用いて、以下の式にて、時系列の観測値の事前推定値ｙ^-（ｋ）を算出する。
【数１９】
2020113919.tif 000026
【００６８】
時系列推定値計算手段９２は、シグマポイントχi-（ｋ）、写像値Ｕi-（ｋ）及び観測値の事前推定値ｙ^-（ｋ）をカルマンゲイン計算部９３に出力し、観測値の事前推定値ｙ^-（ｋ）を更新部９７に出力する。
【００６９】
カルマンゲイン計算部９３は、観測雑音の標準偏差σwを入力すると共に、時系列推定部９０から状態ベクトルの事前推定値ｘ^-（ｋ）、シグマポイントχi-（ｋ）、写像値Ｕi-（ｋ）及び観測値の事前推定値ｙ^-（ｋ）を入力する。そして、カルマンゲイン計算部９３は、観測値推定誤差の行列Ｐyy-（ｋ）、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）及びカルマンゲインｇ（ｋ）を算出する。
【００７０】
カルマンゲイン計算部９３は、事前誤差分散計算手段９４、事前状態誤差分散計算手段９５及びカルマンゲイン計算手段９６を備えている。
【００７１】
事前誤差分散計算手段９４は、時系列推定部９０から写像値Ｕi-（ｋ）及び観測値の事前推定値ｙ^-（ｋ）を入力する。そして、事前誤差分散計算手段９４は、写像値Ｕi-（ｋ）、観測値の事前推定値ｙ^-（ｋ）及び前記式（１１）にて算出された重みｗiを用いて、以下の式にて、観測値推定誤差の行列Ｐyy-（ｋ）を算出する。観測値推定誤差の行列Ｐyy-（ｋ）は、誤差分散共分散行列の推定誤差行列（予測誤差）である。
【数２０】
2020113919.tif 000027
【００７２】
事前誤差分散計算手段９４は、観測値推定誤差の行列Ｐyy-（ｋ）をカルマンゲイン計算手段９６に出力する。
【００７３】
事前状態誤差分散計算手段９５は、時系列推定部９０から状態ベクトルの事前推定値ｘ^-（ｋ）、シグマポイントχi-（ｋ）、写像値Ｕi-（ｋ）及び観測値の事前推定値ｙ^-（ｋ）を入力する。そして、事前状態誤差分散計算手段９５は、状態ベクトルの事前推定値ｘ^-（ｋ）、シグマポイントχi-（ｋ）、写像値Ｕi-（ｋ）、観測値の事前推定値ｙ^-（ｋ）及び前記式（１１）にて算出された重みｗiを用いて、以下の式にて、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）を算出する。
【数２１】
2020113919.tif 000028
【００７４】
事前状態誤差分散計算手段９５は、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）をカルマンゲイン計算手段９６及び更新部９７に出力する。
【００７５】
カルマンゲイン計算手段９６は、事前誤差分散計算手段９４から観測値推定誤差の行列Ｐyy-（ｋ）を入力すると共に、事前状態誤差分散計算手段９５から状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）を入力する。また、カルマンゲイン計算手段９６は、観測雑音の標準偏差σwを入力する。
【００７６】
カルマンゲイン計算手段９６は、観測値推定誤差の行列Ｐyy-（ｋ）、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）及び観測雑音の標準偏差σw（分散σw2）を用いて、以下の式にて、カルマンゲインｇ（ｋ）を算出する。
【数２２】
2020113919.tif 000029
【００７７】
カルマンゲイン計算手段９６は、カルマンゲインｇ（ｋ）を更新部９７に出力する。
【００７８】
更新部９７は、時刻ｋの観測値ｙ（ｋ）を入力すると共に、時系列推定部９０から状態ベクトルの事前推定値ｘ^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）及び観測値の事前推定値ｙ^-（ｋ）を入力し、カルマンゲイン計算部９３から状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）及びカルマンゲインｇ（ｋ）を入力する。そして、更新部９７は、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及びその誤差分散共分散行列Ｐ^（ｋ）を算出する。
【００７９】
更新部９７は、状態ベクトル更新手段９８及び誤差分散更新手段９９を備えている。状態ベクトル更新手段９８は、時刻ｋの観測値ｙ（ｋ）を入力すると共に、時系列推定部９０から状態ベクトルの事前推定値ｘ^-（ｋ）及び観測値の事前推定値ｙ^-（ｋ）を入力し、カルマンゲイン計算部９３からカルマンゲインｇ（ｋ）を入力する。
【００８０】
状態ベクトル更新手段９８は、観測値ｙ（ｋ）、状態ベクトルの事前推定値ｘ^-（ｋ）、観測値の事前推定値ｙ^-（ｋ）及びカルマンゲインｇ（ｋ）を用いて、以下の式により、状態ベクトルの推定値ｘ^（ｋ）を更新し、出力する。
【数２３】
2020113919.tif 000030
【００８１】
誤差分散更新手段９９は、時系列推定部９０から誤差分散共分散行列の事前推定値Ｐ^-（ｋ）を入力すると共に、カルマンゲイン計算部９３から状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）及びカルマンゲインｇ（ｋ）を入力する。
【００８２】
誤差分散更新手段９９は、誤差分散共分散行列の事前推定値Ｐ^-（ｋ）、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐxy-（ｋ）及びカルマンゲインｇ（ｋ）を用いて、以下の式にて、誤差分散共分散行列の推定値Ｐ^（ｋ）を更新し、出力する。
【数２４】
2020113919.tif 000031
【００８３】
ＵＫＦは、映像信号のフレーム毎に、前記式（６）〜（２４）を繰り返し演算することで、各時刻ｋの状態ベクトルの推定値ｘ^（ｋ）を算出する。これにより、ＵＫＦの状態ベクトルをフリッカー成分ｘ（ｋ）とし、観測値を画素値ｙ（ｋ）とし、フリッカー成分（ｋ）を、前記式（５）のとおり、フリッカーの振幅及び位相とすることで、フリッカーの振幅及び位相を推定ことができる。
【００８４】
以下、図１〜図５にて説明した非線形カルマンフィルタの一種であるＵＫＦを用いた実施例１〜８について具体的に説明する。実施例１は、１つの周波数成分数ｍ＝１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。実施例２は、複数の周波数成分数ｍ＞１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００８５】
実施例３は、複数の周波数成分数ｍ＞１の場合において、映像信号が分割された領域毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００８６】
実施例４は、実施例３において、色毎のゲインに応じて、映像信号のフリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音等を設定し、色毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００８７】
実施例５は、実施例３において、ＣＣ（Color Temperature Conversion：色温度変換）フィルタにより変換された照明光の色温度に応じて、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００８８】
実施例６は、実施例３において、ＮＤ（Neutral Density：ニュートラルデンシティ（中性濃度））フィルタの透過率に応じて、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００８９】
実施例７は、非線形カルマンフィルタを用いてフリッカーの振幅及び位相を推定する際に、フリッカーに関する情報を表示する例である。
【００９０】
実施例８は、映像信号の分割された領域毎に、映像信号を時間方向にフーリエ変換することで周波数成分数ｍを求め、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００９１】
〔実施例１〕
まず、実施例１について説明する。実施例１は、１つの周波数成分数ｍ＝１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【００９２】
図６は、実施例１の映像処理装置の構成例を示すブロック図であり、図７は、実施例１の映像処理装置の処理例を示すフローチャートである。この映像処理装置１は、１つの周波数成分数ｍ＝１及び画素数が１の場合に適用する装置であり、映像信号からフリッカーを除去する。映像処理装置１は、非線形カルマンフィルタ１１、フリッカー推定部２１及び減算部３０を備えている。
【００９３】
非線形カルマンフィルタ１１は、予め設定されたフリッカー成分（行列）の推定値の初期値ｘ^（０）、その誤差分散共分散行列の（推定値の）初期値Ｐ^（０）、システム雑音の標準偏差σv、定数ｂ、及び観測雑音の標準偏差σwを入力する（ステップＳ７０１）。フリッカー成分の推定値の初期値ｘ^（０）及び誤差分散共分散行列の初期値Ｐ^（０）は、ユーザにより任意の値に設定される。
【００９４】
非線形カルマンフィルタ１１は、画素値ｙ（ｋ）を入力する（ステップＳ７０２）。そして、非線形カルマンフィルタ１１は、画素値ｙ（ｋ）、フリッカー成分の推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）を用いて、図５に示したとおり、非線形カルマンフィルタ処理を行い、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する（ステップＳ７０３）。非線形カルマンフィルタ１１は、フリッカー成分の推定値ｘ^（ｋ）をフリッカー推定部２１に出力する。
【００９５】
フリッカー成分の推定値ｘ^（ｋ）は、以下の式にて表される。
【数２５】
2020113919.tif 000032
【００９６】
フリッカー推定部２１は、非線形カルマンフィルタ１１からフリッカー成分の推定値ｘ^（ｋ）を入力し、フリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ1^（ｋ）及び位相ｘ2^（ｋ）を特定する（ステップＳ７０４）。
【００９７】
フリッカー推定部２１は、以下の式にて、フリッカーの振幅ｘ1^（ｋ）及び位相ｘ2^（ｋ）から、振幅ｘ1^（ｋ）及び位相ｘ2^（ｋ）により定められる正弦関数のフリッカー画素値ｙ’（ｋ）を推定する（ステップＳ７０５）。そして、フリッカー推定部２１は、フリッカー画素値ｙ’（ｋ）を減算部３０に出力する。
【数２６】
2020113919.tif 000033
【００９８】
減算部３０は、画素値ｙ（ｋ）を入力すると共に、フリッカー推定部２１からフリッカー画素値ｙ’（ｋ）を入力し、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算し、補正値ｚ（ｋ）を求める（ステップＳ７０６）。減算部３０は、補正値ｚ（ｋ）を出力する（ステップＳ７０７）。これにより、画素値ｙ（ｋ）に対し、フリッカーが除去された補正値ｚ（ｋ）が得られる。
【００９９】
以上のように、実施例１の映像処理装置１によれば、周波数成分数ｍ＝１及び画素数が１の場合において、非線形カルマンフィルタ１１は、画素値ｙ（ｋ）に対し非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。
【０１００】
フリッカー推定部２１は、フリッカー成分の推定値ｘ^（ｋ）からフリッカー画素値ｙ’（ｋ）を算出し、減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算して補正値ｚ（ｋ）を求める。
【０１０１】
これにより、映像信号の画素値ｙ（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０１０２】
〔実施例２〕
次に、実施例２について説明する。実施例２は、複数の周波数成分数ｍ＞１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【０１０３】
図８は、実施例２の映像処理装置の構成例を示すブロック図であり、図９は、実施例２の映像処理装置の処理例を示すフローチャートである。この映像処理装置２は、複数の周波数成分数ｍ＞１及び画素数が１の場合に適用する装置であり、映像信号からフリッカーを除去する。映像処理装置２は、非線形カルマンフィルタ１２、フリッカー推定部２２及び減算部３０を備えている。
【０１０４】
非線形カルマンフィルタ１２は、実施例１と同様に、予め設定されたフリッカー成分の推定値の初期値ｘ^（０）、その誤差分散共分散行列の初期値Ｐ^（０）、システム雑音の標準偏差σv、定数ｂ及び観測雑音の標準偏差σwを入力する。さらに、非線形カルマンフィルタ１２は、予め設定された２以上の周波数成分数ｍを入力する（ステップＳ９０１）。
【０１０５】
非線形カルマンフィルタ１２は、画素値ｙ（ｋ）を入力する（ステップＳ９０２）。そして、非線形カルマンフィルタ１２は、実施例１と同様に、画素値ｙ（ｋ）等を用いて非線形カルマンフィルタ処理を行い、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する（ステップＳ９０３）。非線形カルマンフィルタ１２は、フリッカー成分の推定値ｘ^（ｋ）をフリッカー推定部２２に出力する。
【０１０６】
フリッカー成分の推定値ｘ^（ｋ）は、以下の式にて表される。
【数２７】
2020113919.tif 000034
【０１０７】
フリッカー推定部２２は、非線形カルマンフィルタ１２からフリッカー成分の推定値ｘ^（ｋ）を入力する。そして、フリッカー推定部２２は、フリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）を特定する（ステップＳ９０４）。
【０１０８】
フリッカー推定部２２は、以下の式にて、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）から、それぞれの周波数成分の正弦関数の和を求めることで、フリッカー画素値ｙ’（ｋ）を推定する（ステップＳ９０５）。そして、フリッカー推定部２２は、フリッカー画素値ｙ’（ｋ）を減算部３０に出力する。
【数２８】
2020113919.tif 000035
【０１０９】
減算部３０は、画素値ｙ（ｋ）を入力すると共に、フリッカー推定部２２からフリッカー画素値ｙ’（ｋ）を入力し、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算し、補正値ｚ（ｋ）を求める（ステップＳ９０６）。減算部３０は、補正値ｚ（ｋ）を出力する（ステップＳ９０７）。これにより、画素値ｙ（ｋ）に対し、フリッカーが除去された補正値ｚ（ｋ）が得られる。
【０１１０】
以上のように、実施例２の映像処理装置２によれば、複数の周波数成分数ｍ＞１及び画素数が１の場合において、非線形カルマンフィルタ１２は、画素値ｙ（ｋ）に対し非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。
【０１１１】
フリッカー推定部２２は、フリッカー成分の推定値ｘ^（ｋ）から、それぞれの周波数成分の正弦関数の和であるフリッカー画素値ｙ’（ｋ）を算出する。減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算して補正値ｚ（ｋ）を求める。
【０１１２】
これにより、実施例１と同様に、映像信号の画素値ｙ（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０１１３】
〔実施例３〕
次に、実施例３について説明する。実施例３は、複数の周波数成分数ｍ＞１の場合において、映像信号が分割された領域毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【０１１４】
イメージセンサーの中には、映像信号の数ラインを1つのブロックとして、ブロック毎に順番に映像信号を読み出すローリングシャッター方式を採用するものがある。このローリングシャッター方式では、ブロック毎に映像信号のフリッカーの位相が異なるため、映像信号を領域に分割して処理する必要がある。また、位相の異なる複数の照明光源下においては、映像信号の画像の領域に応じて、フリッカーの位相が異なるため、映像信号の画像を領域に分割して処理する必要がある。
【０１１５】
図１０は、実施例３の映像処理装置の構成例を示すブロック図であり、図１１は、実施例３の映像処理装置の処理例を示すフローチャートである。この映像処理装置３は、複数の周波数成分数ｍ＞１、及び映像信号が分割された領域毎に適用する装置であり、映像信号の領域からフリッカーを除去する。
【０１１６】
映像処理装置３は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている。
【０１１７】
図１２は、初期値テーブル４１のデータ構成例を示す図である。初期値テーブル４１には、映像信号が分割された領域α,β毎に、フリッカー成分の推定値の初期値ｘα,β^（０）及びその誤差分散共分散行列の初期値Ｐα,β^（０）の各データが格納されている。αは、領域の行方向のインデックスを示し、βは、領域の列方向のインデックスを示す。後述する図１３等についても同様である。
【０１１８】
図１３は、システム雑音テーブル４２のデータ構成例を示す図である。システム雑音テーブル４２には、領域α,β毎に、システム雑音の標準偏差σvα,βのデータが格納されている。
【０１１９】
図１４は、定数テーブル４３のデータ構成例を示す図である。定数テーブル４３には、領域α,β毎に、定数ｂα,βのデータが格納されている。
【０１２０】
図１５は、観測雑音テーブル４４のデータ構成例を示す図である。観測雑音テーブル４４には、領域α,β毎に、観測雑音の標準偏差σwα,βのデータが格納されている。
【０１２１】
図１０及び図１１に戻って、図示しない領域処理部は、映像信号を入力し、映像信号を複数の領域α,βに分割する。そして、領域処理部は、領域α,β毎に、当該領域α,β内のそれぞれの画素値ｙ（ｋ）を用いて平均を算出し、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を求める。そして、領域処理部は、画素値ｙα,β（ｋ）を非線形カルマンフィルタ１３に出力する。
【０１２２】
非線形カルマンフィルタ１３は、図示しない領域処理部から画素値ｙα,β（ｋ）を入力する。そして、非線形カルマンフィルタ１３は、状態ベクトルを、前記式（１）の漸化式に従い更新される領域α,βのフリッカー成分ｘ（ｋ）とし、観測値を、正弦波の和で記述される前記式（２）の漸化式に従い更新される領域α,βの画素値ｙα,β（ｋ）としたモデルに対し、領域α,β毎に、フリッカー成分の推定値ｘ^（ｋ）を算出する。以下、詳細に説明する。
【０１２３】
まず、非線形カルマンフィルタ１３は、初期値テーブル４１から、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）及びその誤差分散共分散行列の初期値Ｐα,β^（０）を読み出す。また、非線形カルマンフィルタ１３は、システム雑音テーブル４２から、領域α,βに対応するシステム雑音の標準偏差σvα,βを読み出し、定数テーブル４３から、領域α,βに対応する定数ｂα,βを読み出す。また、非線形カルマンフィルタ１３は、観測雑音テーブル４４から、領域α,βに対応する観測雑音の標準偏差σwα,βを読み出す（ステップＳ１１０１）。さらに、非線形カルマンフィルタ１３は、予め設定された２以上の周波数成分数ｍを入力する（ステップＳ１１０２）。
【０１２４】
非線形カルマンフィルタ１３は、図示しない領域処理部から、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を入力する（ステップＳ１１０３）。そして、非線形カルマンフィルタ１３は、実施例１と同様に、画素値ｙα,β（ｋ）等を用いて非線形カルマンフィルタ処理を行い、領域α,βについて、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する（ステップＳ１１０４）。
【０１２５】
つまり、非線形カルマンフィルタ１３は、状態ベクトルを、所定の漸化式に従いフレーム毎に更新される領域α,βのフリッカー成分ｘ（ｋ）とし、観測値を、正弦波の和で記述される漸化式に従いフレーム毎に更新される領域α,βの画素値ｙ（ｋ）として、前記式（１）〜（４）で表すモデルの処理を行う。
【０１２６】
非線形カルマンフィルタ１３は、領域α,βのフリッカー成分の推定値ｘ^（ｋ）をフリッカー推定部２３に出力する。領域α,βのフリッカー成分の推定値ｘ^（ｋ）は、前記式（２７）のとおりである。
【０１２７】
フリッカー推定部２３は、非線形カルマンフィルタ１３からフリッカー成分の推定値ｘ^（ｋ）を入力する。そして、フリッカー推定部２３は、フリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）を特定する（ステップＳ１１０５）。
【０１２８】
フリッカー推定部２３は、以下の式にて、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）から、それぞれの周波数成分の正弦関数の和を求めることで、フリッカー画素値ｙ’α,β（ｋ）を推定する（ステップＳ１１０６）。そして、フリッカー推定部２３は、フリッカー画素値ｙ’α,β（ｋ）を減算部３０に出力する。
【数２９】
2020113919.tif 000036
【０１２９】
減算部３０は、領域α,β内のそれぞれの画素値ｙ（ｋ）を入力すると共に、フリッカー推定部２３からフリッカー画素値ｙ’α,β（ｋ）を入力する。そして、減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’α,β（ｋ）を減算し、領域α,β内のそれぞれの補正値ｚ（ｋ）を求める（ステップＳ１１０７）。減算部３０は、補正値ｚ（ｋ）を出力する（ステップＳ１１０８）。これにより、領域α,β内のそれぞれの画素値ｙ（ｋ）に対し、フリッカーが除去された補正値ｚ（ｋ）が得られる。
【０１３０】
以上のように、実施例３の映像処理装置３によれば、複数の周波数成分数ｍ＞１の場合において、非線形カルマンフィルタ１３は、映像信号が分割された領域α,β毎に、初期値テーブル４１等から、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）及びその誤差分散共分散行列の初期値Ｐα,β^（０）、システム雑音の標準偏差σvα,β、定数ｂα,β及び観測雑音の標準偏差σwα,βを読み出し、予め設定された２以上の周波数成分数ｍを入力する。
【０１３１】
非線形カルマンフィルタ１３は、フリッカー成分の推定値の初期値ｘα,β^（０）等を用いて、画素値ｙα,β（ｋ）に対し、非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。
【０１３２】
フリッカー推定部２３は、領域α,β毎に、フリッカー成分の推定値ｘ^（ｋ）から、それぞれの周波数成分の正弦関数の和であるフリッカー画素値ｙ’ α,β（ｋ）を算出する。減算部３０は、領域α,β内のそれぞれの画素値ｙ（ｋ）からフリッカー画素値ｙ’ α,β（ｋ）を減算して補正値ｚ（ｋ）を求める。
【０１３３】
これにより、領域α,β毎に、映像信号の画素値ｙα,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。つまり、ブロック毎に順番に映像信号を読み出すローリングシャッター方式を採用するイメージセンサーを用いた場合、及び、位相の異なる複数の照明光源を用いた場合であっても、映像信号のフリッカーを確実に抑制することができる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０１３４】
〔実施例４〕
次に、実施例４について説明する。実施例４は、実施例３において、色毎のゲインに応じて、フリッカー成分の推定値の初期値ｘα,β^（０）等を設定し、色毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【０１３５】
３板式カメラにおいては、色分解プリズムにて光をＲ（赤）、Ｇ（青）及びＢ（緑）各色に分解し、分解された光を３枚のイメージセンサーにて受光する。３板式カメラは、ホワイトバランスを整えるために、ＲＧＢのイメージセンサー毎に異なるゲインを用いることがあり、この場合は、ＲＧＢのイメージセンサー毎にノイズレベルが異なってくる。
【０１３６】
同様に、単板式カメラにおいては、イメージセンサーの各画素に対応して設けられたカラーフィルタによってＲ，Ｇ，Ｂのうちのいずれか１色を選択し、透過された１色の光を受光する。このようなカメラの場合、Ｒ，Ｇ，Ｂの色毎に、フリッカー成分の推定値の初期値ｘα,β^（０）等を切り替えてＵＫＦを使用する必要がある。
【０１３７】
図１６は、実施例４の映像処理装置の構成例を示すブロック図である。この映像処理装置４は、Ｒ，Ｇ，Ｂの色毎に異なるゲインに応じて、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）、その誤差分散共分散行列の初期値Ｐα,β^（０）、システム雑音の標準偏差σvα,β、定数ｂα,β及び観測雑音の標準偏差σwα,βを切り替え、色毎に、実施例３と同様の処理を行う。
【０１３８】
映像処理装置４は、Ｒ，Ｇ，Ｂの色毎に、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部５０を備えている。
【０１３９】
実施例３の映像処理装置３と実施例４の映像処理装置４とを比較すると、両映像処理装置３，４は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置４は、テーブル設定部５０を備えている点で、テーブル設定部５０を備えていない映像処理装置３と相違する。
【０１４０】
非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。
【０１４１】
映像処理装置４は、Ｒ，Ｇ，ＢのうちのＲ色の処理を行う場合、映像信号のＲ色の画素値ｙ（ｋ）、及びＲ色のゲインを用いて処理を行う。図示しない領域処理部は、実施例３と同様の処理を行うことで、領域α,β内のＲ色の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を求めて非線形カルマンフィルタ１３に出力する。
【０１４２】
図１７は、実施例４のテーブル設定部５０の処理例を示すフローチャートである。テーブル設定部５０は、Ｒ色のゲインを入力する（ステップＳ１７０１）。そして、テーブル設定部５０は、予め設定されたゲイン毎の初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルのテーブル群から、入力したゲインに対応する初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルを選択し、各データを読み出す（ステップＳ１７０２）。
【０１４３】
テーブル設定部５０は、読み出した初期値テーブル（ゲインに対応する初期値テーブル）の各データを初期値テーブル４１に格納することで、初期値テーブル４１を設定する。テーブル設定部５０は、同様にして、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する（ステップＳ１７０３）。
【０１４４】
映像処理装置４は、Ｇ色の処理を行う場合、Ｒ色の処理と同様に、映像信号のＧ色の画素値ｙ（ｋ）、及びＧ色のゲインを用いて処理を行う。テーブル設定部５０は、図１７に示した処理により、Ｇ色のゲインに対応する初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１４５】
映像処理装置４は、Ｂ色の処理を行う場合、Ｒ，Ｇ色の処理と同様に、映像信号のＢ色の画素値ｙ（ｋ）、及びＢ色のゲインを用いて処理を行う。テーブル設定部５０は、図１７に示した処理により、Ｂ色のゲインに対応する初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１４６】
以上のように、実施例４の映像処理装置４によれば、テーブル設定部５０は、Ｒ，Ｇ，Ｂの色毎のゲインに対応した初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１４７】
非線形カルマンフィルタ１３、フリッカー推定部２３及び減算部３０は、Ｒ，Ｇ，Ｂの色毎に、実施例３と同様の処理を行う。
【０１４８】
これにより、Ｒ，Ｇ，Ｂの色のそれぞれについて、異なるフリッカー成分の推定値の初期値ｘα,β^（０）等を用いて、領域α,β毎に、映像信号の画素値ｙα,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。結果として、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０１４９】
尚、実施例４の映像処理装置４は、Ｒ，Ｇ，Ｂの色毎のゲインに応じて、フリッカー成分の推定値の初期値ｘα,β^（０）等を設定し、これらの色毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定するようにした。これに対し、映像処理装置４は、Ｒ，Ｇ，Ｂ，Ｙ（輝度）の色毎のゲインに応じて、またはＹ，Ｃｂ，Ｃｒの色毎のゲインに応じて、前述の処理を行うようにしてもよい。本発明は、色の種別を限定するものではない。
【０１５０】
〔実施例５〕
次に、実施例５について説明する。実施例５は、実施例３において、ＣＣフィルタにより変換された照明光の色温度に応じて、フリッカー成分の推定値の初期値ｘα,β^（０）等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【０１５１】
放送用カメラにおいては、一般に照明光の色温度を変換するために、ＣＣフィルタを内蔵していることがある。ＣＣフィルタを用いることにより、照明光の色が補正され強調される。
【０１５２】
ＣＣフィルタにより変換された照明光の色温度によって、イメージセンサーに入射する像面照度が変化し、ノイズレベルが異なってくる。このような放送用カメラの場合、ＣＣフィルタにより変換された照明光の色温度毎に、フリッカー成分の推定値の初期値ｘα,β^（０）等を切り替えてＵＫＦを使用する必要がある。
【０１５３】
図１８は、実施例５の映像処理装置の構成例を示すブロック図である。この映像処理装置５は、ＣＣフィルタにより変換された照明光の色温度に応じて、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）、その誤差分散共分散行列の初期値Ｐα,β^（０）、システム雑音の標準偏差σvα,β、定数ｂα,β及び観測雑音の標準偏差σwα,βを切り替え、実施例３と同様の処理を行う。
【０１５４】
映像処理装置５は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部６０を備えている。
【０１５５】
実施例３の映像処理装置３と実施例５の映像処理装置５とを比較すると、両映像処理装置３，５は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置５は、テーブル設定部６０を備えている点で、テーブル設定部６０を備えていない映像処理装置３と相違する。
【０１５６】
非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。
【０１５７】
映像処理装置５は、ＣＣフィルタを内蔵しており、映像信号の画素値ｙ（ｋ）及び色温度を用いた処理を行う。
【０１５８】
テーブル設定部６０は、図１７に示した処理において、ゲインの代わりに、ＣＣフィルタにより変換された照明光の色温度を用いる。具体的には、テーブル設定部６０は、ＣＣフィルタにより変換された照明光の色温度を入力し、予め設定された色温度毎の初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルのテーブル群から、入力した色温度に対応する初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルを選択し、各データを読み出す。
【０１５９】
テーブル設定部６０は、読み出した初期値テーブル（色温度に対応する初期値テーブル）の各データを初期値テーブル４１に格納することで、初期値テーブル４１を設定する。テーブル設定部６０は、同様にして、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１６０】
以上のように、実施例５の映像処理装置５によれば、テーブル設定部６０は、ＣＣフィルタにより変換された照明光の色温度に対応した初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１６１】
非線形カルマンフィルタ１３、フリッカー推定部２３及び減算部３０は、色温度毎に、実施例３と同様の処理を行う。
【０１６２】
これにより、ＣＣフィルタにより変換された照明光の色温度について、他の色温度とは異なるフリッカー成分の推定値の初期値ｘα,β^（０）等を用いて、領域α,β毎に、映像信号の画素値ｙα,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。結果として、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０１６３】
〔実施例６〕
次に、実施例６について説明する。実施例６は、実施例３において、ＮＤフィルタの透過率に応じて、フリッカー成分の推定値の初期値ｘα,β^（０）等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【０１６４】
放送用カメラにおいては、一般にレンズの絞りの値を一定に保つために、ＮＤフィルタを内蔵していることがある。ＮＤフィルタを用いることにより、光強度を低下させることができる。この光強度を低下させる程度を定める係数が透過率であり、透過率によりＮＤフィルタの特性が定められる。
【０１６５】
ＮＤフィルタの透過率によって、イメージセンサーに入射する像面照度が変化し、ノイズレベルが異なってくる。このような放送用カメラの場合、ＮＤフィルタの透過率毎に、フリッカー成分の推定値の初期値ｘα,β^（０）等を切り替えてＵＫＦを使用する必要がある。
【０１６６】
図１９は、実施例６の映像処理装置の構成例を示すブロック図である。この映像処理装置６は、ＮＤフィルタの透過率に応じて、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）、その誤差分散共分散行列の初期値Ｐα,β^（０）、システム雑音の標準偏差σvα,β、定数ｂα,β及び観測雑音の標準偏差σwα,βを切り替え、実施例３と同様の処理を行う。
【０１６７】
映像処理装置６は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部７０を備えている。
【０１６８】
実施例３の映像処理装置３と実施例６の映像処理装置６とを比較すると、両映像処理装置３，６は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置６は、テーブル設定部７０を備えている点で、テーブル設定部７０を備えていない映像処理装置３と相違する。
【０１６９】
非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。
【０１７０】
映像処理装置６は、ＮＤフィルタを内蔵しており、映像信号の画素値ｙ（ｋ）及び透過率を用いた処理を行う。
【０１７１】
テーブル設定部７０は、図１７に示した処理において、ゲインの代わりに、ＮＤフィルタの透過率を用いる。具体的には、テーブル設定部７０は、ＮＤフィルタの透過率を入力し、予め設定された透過率毎の初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルのテーブル群から、入力した透過率に対応する初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルを選択し、各データを読み出す。
【０１７２】
テーブル設定部７０は、読み出した初期値テーブル（透過率に対応する初期値テーブル）の各データを初期値テーブル４１に格納することで、初期値テーブル４１を設定する。テーブル設定部７０は、同様にして、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１７３】
以上のように、実施例６の映像処理装置６によれば、テーブル設定部７０は、ＮＤフィルタの透過率に対応した初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。
【０１７４】
非線形カルマンフィルタ１３、フリッカー推定部２３及び減算部３０は、透過率毎に、実施例３と同様の処理を行う。
【０１７５】
これにより、ＮＤフィルタの透過率について、他の透過率とは異なるフリッカー成分の推定値の初期値ｘα,β^（０）等を用いて、領域α,β毎に、映像信号の画素値ｙα,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。結果として、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０１７６】
〔実施例７〕
次に、実施例７について説明する。実施例７は、非線形カルマンフィルタを用いてフリッカーの振幅及び位相を推定する際に、フリッカーに関する情報を表示する例である。
【０１７７】
図２０は、実施例７の映像処理装置の構成例を示すブロック図であり、実施例３により推定された映像信号のフリッカーに関する情報を表示する場合の構成を示している。この映像処理装置７は、非線形カルマンフィルタ１３、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、フリッカー成分表示部８０及びモニタ部８１を備えている。
【０１７８】
非線形カルマンフィルタ１３、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。
【０１７９】
非線形カルマンフィルタ１３は、領域α,βのフリッカー成分の推定値ｘ^（ｋ）をフリッカー成分表示部８０に出力する。
【０１８０】
フリッカー成分表示部８０は、領域α,β内のそれぞれの画素値ｙ（ｋ）を入力すると共に、非線形カルマンフィルタ１３から領域α,βのフリッカー成分の推定値ｘ^（ｋ）を入力する。
【０１８１】
フリッカー成分表示部８０は、フリッカー成分の推定値ｘ^（ｋ）から、その振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）を特定する。そして、フリッカー成分表示部８０は、フリッカーのｍ個の角周波数ωiと、フリッカー成分のｍ個の振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及びｍ個の位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）とをそれぞれ対応付ける。
【０１８２】
フリッカー成分表示部８０は、対応付けた角周波数ωi及び振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）、並びに対応付けた角周波数ωi及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）をモニタ部８１に出力し、例えばグラフにて画面表示する。また、フリッカー成分表示部８０は、領域α,β内のそれぞれの画素値ｙ（ｋ）をモニタ部８１に出力し、映像を画面表示する。
【０１８３】
図２１は、実施例７の第１表示例を説明する図であり、実施例３により推定された映像信号のフリッカーに関する情報を表示する例を示している。上図の横軸は周波数、縦軸は振幅を示す。下図の横軸は周波数、縦軸は位相を示す。
【０１８４】
フリッカー成分表示部８０は、上図のとおり、領域α,βの示す領域ａ１、領域ａ２、領域ａ３及び領域ａ４について、角周波数ωiに対応する周波数１０，２０，・・・毎に、それぞれの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の領域α,βにおける振幅の違いを認識することができる。
【０１８５】
また、フリッカー成分表示部８０は、下図のとおり、領域α,βの示す領域ａ１、領域ａ２、領域ａ３及び領域ａ４について、角周波数ωiに対応する周波数１０，２０，・・・毎に、それぞれの位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の領域α,βにおける位相の違いを認識することができる。
【０１８６】
図２２は、実施例７の第２表示例を説明する図であり、実施例４により推定された映像信号の所定の領域α,βにおけるフリッカーに関する情報を表示する例を示している。前述のとおり、実施例４は、色毎のゲインに応じて、フリッカーの振幅及び位相を推定するものである。上図の横軸は周波数、縦軸は振幅を示し、下図の横軸は周波数、縦軸は位相を示す。また、図２２では、Ｒ，Ｇ，Ｂ，Ｙの色を対象とした場合のグラフを示している。
【０１８７】
フリッカー成分表示部８０は、上図のとおり、Ｒ，Ｇ，Ｂ，Ｙの色について、角周波数ωiに対応する周波数１０，２０，・・・毎に、所定の領域α,βにおけるそれぞれの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の色における振幅の違いを認識することができる。
【０１８８】
また、フリッカー成分表示部８０は、下図のとおり、Ｒ，Ｇ，Ｂ，Ｙの色について、角周波数ωiに対応する周波数１０，２０，・・・毎に、所定の領域α,βにおけるそれぞれの位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の色における位相の違いを認識することができる。
【０１８９】
図２３は、実施例７の第３表示例を説明する図である。図２３において、格子はそれぞれの領域α,βを示す。格子における太線の枠は、対応する領域α,βにおいて、フリッカーの振幅が一定値以上であることを示す。
【０１９０】
フリッカー成分表示部８０は、領域α,β毎に、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）のそれぞれと、予め設定された閾値とを比較する。そして、フリッカー成分表示部８０は、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）のいずれかが閾値以上であると判定した場合、当該領域α,βのフリッカーの振幅が一定値以上であり、フリッカーが発生している領域α,βであると判断する。
【０１９１】
フリッカー成分表示部８０は、領域α,β内のそれぞれの画素値ｙα,β（ｋ）を画面表示すると共に、フリッカーが発生していると判断した領域α,βについて、当該領域α,βを枠で囲んで表示する。これにより、フリッカーが発生している領域α,βを識別可能な形態にて映像信号が表示されるから、ユーザは、フリッカーが発生している領域α,βを認識することができる。
【０１９２】
尚、フリッカー成分表示部８０は、実施例４を適用して、色毎に推定された映像信号のフリッカーに関する情報を表示する場合、特定の色について、フリッカーの振幅が一定値以上であると判断した場合、前述と同じ枠を当該領域α,βに表示する。この場合、フリッカー成分表示部８０は、当該領域α,βの枠を、フリッカーの振幅が一定値以上であると判断した色または当該色に対応する線種で表示するようにしてもよいし、色に対応する塗りつぶし形態で表示するようにしてもよい。これにより、フリッカーが発生している色及び領域α,βを識別可能な形態にて映像信号が表示されるから、ユーザは、フリッカーが発生している色及び領域α,βを認識することができる。
【０１９３】
以上のように、実施例７の映像処理装置７によれば、フリッカー成分表示部８０は、領域α,βのフリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）を特定する。そして、フリッカー成分表示部８０は、角周波数ωiと振幅ｘ1^（ｋ），・・・，ｘ2m-1^（ｋ）及び位相ｘ2^（ｋ），・・・，ｘ2m^（ｋ）とを対応付けてグラフ表示する。また、フリッカー成分表示部８０は、フリッカーの振幅が一定値以上であると判断した領域α,βを表示する。
【０１９４】
これにより、領域α,β毎に、映像信号の画素値ｙα,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。そして、このフリッカー成分ｘ（ｋ）である振幅及び位相を用いてフリッカーの画素値を推定し、これを元の映像信号の画素値ｙ（ｋ）から減算することで、映像信号のフリッカーを確実に抑制することができる。また、フリッカーに関する情報を表示するようにしたから、ユーザは、領域α,β毎に、フリッカーの発生、程度等を認識することができる。
【０１９５】
尚、実施例７は、実施例１〜６及び後述する実施例８に適用するようにしてもよい。つまり、実施例１〜６の映像処理装置１〜６は、図６等の構成部に加え、さらに、フリッカー成分表示部８０及びモニタ部８１を備えるようにしてもよい。後述する実施例８についても同様である。
【０１９６】
〔実施例８〕
次に、実施例８について説明する。実施例８は、映像信号が分割された領域毎に、映像信号を時間方向にフーリエ変換することで周波数成分数ｍを求め、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。
【０１９７】
一般に、複数の光源が不特定の振幅及び位相で点灯すると、領域α,βによっては、フリッカーの周波数成分の数が異なることがある。この場合、領域α,β毎に、周波数成分数ｍα,βを変更してＵＫＦを使用する必要がある。
【０１９８】
図２４は、実施例８の映像処理装置の構成例を示すブロック図である。この映像処理装置８は、実施例３を前提として構成され、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、周波数テーブル４５及び周波数成分数設定部８２を備えている。
【０１９９】
実施例３の映像処理装置３と実施例８の映像処理装置８とを比較すると、両映像処理装置３，８は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置８は、周波数テーブル４５及び周波数成分数設定部８２を備えている点で、これらを備えていない映像処理装置３と相違する。
【０２００】
非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。
【０２０１】
この場合、非線形カルマンフィルタ１３は、初期値テーブル４１から、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）及びその誤差分散共分散行列の初期値Ｐα,β^（０）を読み出す。また、非線形カルマンフィルタ１３は、システム雑音テーブル４２から、領域α,βに対応するシステム雑音の標準偏差σvα,βを読み出し、定数テーブル４３から、領域α,βに対応する定数ｂα,βを読み出す。また、非線形カルマンフィルタ１３は、観測雑音テーブル４４から、領域α,βに対応する観測雑音の標準偏差σwα,βを読み出す。
【０２０２】
さらに、非線形カルマンフィルタ１３は、周波数テーブル４５から、領域α,βに対応する周波数成分数ｍα,βを読み出す。
【０２０３】
図２５は、周波数テーブル４５のデータ構成例を示す図である。周波数テーブル４５には、映像信号が分割された領域α,β毎に、周波数成分数ｍα,βが格納されている。周波数テーブル４５の周波数成分数ｍα,βは、周波数成分数設定部８２により格納される。
【０２０４】
図２４に戻って、周波数成分数設定部８２は、非線形カルマンフィルタ１３の処理に先立って、図示しない領域処理部から、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を入力する。
【０２０５】
前述のとおり、図示しない領域処理部は、複数の映像信号のフレームを順番に入力し、映像信号のフレーム毎に、当該フレームを複数の領域α,βに分割して、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を求める。
【０２０６】
周波数成分数設定部８２は、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）をフーリエ変換し、周波数成分毎の振幅を求める。そして、周波数成分数設定部８２は、閾値処理により、予め設定された所定値以上の振幅を有する周波数成分の数を求め、これを周波数成分数ｍα,βとする。周波数成分数設定部８２は、領域α,βに対応する周波数成分数ｍα,βを周波数テーブル４５に格納する。
【０２０７】
図２６は、周波数成分数設定部８２の構成例を示すブロック図である。この周波数成分数設定部８２は、バッファ８３、フーリエ変換手段８４及び閾値処理手段８５を備えている。周波数成分数設定部８２は、非線形カルマンフィルタ１３の処理が行われる前に、領域α,βに対応する周波数成分数ｍα,βを求め、これを周波数テーブル４５に格納（設定）する。
【０２０８】
周波数成分数設定部８２は、図示しない領域処理部から、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を入力し、これをバッファ８３に格納する。画素値ｙα,β（ｋ）は、領域α,β内における画素値ｙ（ｋ）の空間方向の平均値である。
【０２０９】
フーリエ変換手段８４は、バッファ８３から、画素値ｙα,β（ｋ）を読み出し、画素値ｙα,β（ｋ）を時間方向に離散フーリエ変換し、周波数成分毎の振幅を求め、周波数成分毎の振幅を閾値処理手段８５に出力する。
【０２１０】
閾値処理手段８５は、フーリエ変換手段８４から周波数成分毎の振幅を入力し、周波数成分毎の振幅と、予め設定された閾値とを比較する。そして、閾値処理手段８５は、振幅が閾値以上の周波数成分を特定し、特定した周波数成分の数を求め、これを周波数成分数ｍα,βとする。閾値処理手段８５は、領域α,βに対応する周波数成分数ｍα,βを周波数テーブル４５に格納する。これにより、領域α,β毎の周波数成分数ｍα,βが周波数テーブル４５に格納される。
【０２１１】
以上のように、実施例８の映像処理装置８によれば、周波数成分数設定部８２は、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙα,β（ｋ）を時間方向に離散フーリエ変換し、周波数成分毎の振幅を求める。そして、周波数成分数設定部８２は、閾値処理により、所定値以上の振幅を有する周波数成分の数を求め、これを周波数成分数ｍα,βとし、領域α,βに対応する周波数成分数ｍα,βを周波数テーブル４５に格納する。
【０２１２】
非線形カルマンフィルタ１３は、領域α,β毎に、初期値テーブル４１等から、領域α,βに対応するフリッカー成分の推定値の初期値ｘα,β^（０）等を読み出し、さらに、周波数テーブル４５から領域α,βに対応する周波数成分数ｍα,βを読み出す。そして、非線形カルマンフィルタ１３は、フリッカー成分の推定値の初期値ｘα,β^（０）等を用いて、画素値ｙα,β（ｋ）に対し、非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。
【０２１３】
フリッカー推定部２３は、領域α,β毎に、フリッカー成分の推定値ｘ^（ｋ）から、それぞれの周波数成分の正弦関数の和であるフリッカー画素値ｙ’ α,β（ｋ）を算出する。減算部３０は、領域α,β内のそれぞれの画素値ｙ（ｋ）からフリッカー画素値ｙ’ α,β（ｋ）を減算して補正値ｚ（ｋ）を求める。
【０２１４】
これにより、領域α,β毎に、当該領域α,βに対応する周波数成分数ｍα,βを用いて、映像信号の画素値ｙα,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。そして、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。
【０２１５】
尚、実施例８は、実施例３だけでなく、実施例１，２，４〜７についても適用がある。
【０２１６】
以上、実施例１〜８を挙げて本発明を説明したが、本発明は前記実施例１〜８に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施例１〜８では、非線形カルマンフィルタの一つとしてＵＫＦを適用したが、他の非線形カルマンフィルタを用いてもよい。
【０２１７】
また、非線形カルマンフィルタの代わりに、粒子フィルタ（パーティクルフィルタ：Particle Filter）を用いてもよい。粒子フィルタは、非線形カルマンフィルタと同様に、前記式（１）〜（４）で表されるモデルに対し、フリッカー成分ｘ（ｋ）を推定する。
【０２１８】
また、前記実施例７では、図２１〜図２３に示したように、フリッカーに関する情報を画面表示するようにしたが、これらは一例である。本発明は、フリッカーに関する情報の画面表示形態を、図２１〜図２３に限定するものではない。
【０２１９】
尚、本発明の実施例１〜８の映像処理装置１〜８のハードウェア構成としては、通常のコンピュータを使用することができる。映像処理装置１〜８は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【０２２０】
映像処理装置１に備えた非線形カルマンフィルタ１１、フリッカー推定部２１及び減算部３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、映像処理装置２に備えた非線形カルマンフィルタ１２、フリッカー推定部２２及び減算部３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２１】
また、映像処理装置３に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２２】
また、映像処理装置４に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部５０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２３】
また、映像処理装置５に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部６０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２４】
また、映像処理装置６に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部７０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２５】
また、映像処理装置７に備えた非線形カルマンフィルタ１３、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、フリッカー成分表示部８０及びモニタ部８１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２６】
また、映像処理装置８に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、周波数テーブル４５及び周波数成分数設定部８２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０２２７】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【産業上の利用可能性】
【０２２８】
本発明は、動画用カメラのフリッカーの補正、及びフリッカーの検知に有用である。
【符号の説明】
【０２２９】
１，２，３，４，５，６，７，８  映像処理装置
１１，１２，１３  非線形カルマンフィルタ
２１，２２，２３  フリッカー推定部
３０  減算部
４１  初期値テーブル
４２  システム雑音テーブル
４３  定数テーブル
４４  観測雑音テーブル
４５  周波数テーブル
５０，６０，７０  テーブル設定部
８０  フリッカー成分表示部
８１  モニタ部
８２  周波数成分数設定部
８３  バッファ
８４  フーリエ変換手段
８５  閾値処理手段
９０  時系列推定部
９１  状態ベクトル推定値等計算手段
９２  時系列推定値計算手段
９３  カルマンゲイン計算部
９４  事前誤差分散計算手段
９５  事前状態誤差分散計算手段
９６  カルマンゲイン計算手段
９７  更新部
９８  状態ベクトル更新手段
９９  誤差分散更新手段
ｘ（ｋ）  状態ベクトル、フリッカー成分
ｙ（ｋ）  観測値、画素値
ｘ1（ｋ），・・・，ｘ2m-1（ｋ）  フリッカーの振幅
ｘ2（ｋ），・・・，ｘ2m（ｋ）  フリッカーの位相
ｖ  システム雑音
ｗ  観測雑音
ｂ  定数
ωi  角周波数
ｉ  フリッカーの周波数成分の番号
ｍ  フリッカーの周波数成分数
ｋ  時刻
ｆ（ｘ（ｋ））  状態ベクトル関数
ｈ（ｘ（ｋ））  観測関数
ｘ^（ｋ）  状態ベクトルの推定値
ｘ^-（ｋ）  状態ベクトルの事前推定値
Ｐ^（ｋ）  誤差分散共分散行列（の推定値）
Ｐ^-（ｋ）  誤差分散共分散行列の事前推定値
ｙ^-（ｋ）  観測値の事前推定値
ｇ（ｋ）  カルマンゲイン
Ｐyy-（ｋ）  観測値推定誤差の行列
Ｐxy-（ｋ）  状態ベクトル推定誤差と観測値推定誤差の相関行列
σv  システム雑音の標準偏差
σw  観測雑音の標準偏差
ωi  重み
ｙ’（ｋ）  フリッカー画素値
ｚ（ｋ）  補正値
α,β  領域
ｙα,β（ｋ）  画素値（領域α,β内の画素値ｙ（ｋ）の平均値）
ａ１，ａ２，ａ３，ａ４  領域
【図１】
2020113919.tif 000037
【図２】
2020113919.tif 000038
【図３】
2020113919.tif 000039
【図４】
2020113919.tif 000040
【図５】
2020113919.tif 000041
【図６】
2020113919.tif 000042
【図７】
2020113919.tif 000043
【図８】
2020113919.tif 000044
【図９】
2020113919.tif 000045
【図１０】
2020113919.tif 000046
【図１１】
2020113919.tif 000047
【図１２】
2020113919.tif 000048
【図１３】
2020113919.tif 000049
【図１４】
2020113919.tif 000050
【図１５】
2020113919.tif 000051
【図１６】
2020113919.tif 000052
【図１７】
2020113919.tif 000053
【図１８】
2020113919.tif 000054
【図１９】
2020113919.tif 000055
【図２０】
2020113919.tif 000056
【図２１】
2020113919.tif 000057
【図２２】
2020113919.tif 000058
【図２３】
2020113919.tif 000059
【図２４】
2020113919.tif 000060
【図２５】
2020113919.tif 000061
【図２６】
2020113919.tif 000062