(57)【要約】【課題】自動的に、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を精度良く判定することができる手段を提供する。【解決手段】コンピュータは、まず各フレームの平均明度を計算する。続いて各フレームについて時間軸方向に移行平均をとり、基準明度データ（移行平均明度）を作成する。次に、平均明度と移行平均明度の差分データを作成する。さらに、差分データをその符号に基づいてグループ分けする。この後、グループ分けされた差分データに基づいて、不要な明度変化の有無ないしは態様が精度良く判定される。【選択図】図１
2011172264.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、
時間軸方向に前記画像データの移行平均をとることにより基準データを作成するステップ
と、
前記基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記
基準データと補正時点の前記動画像の平均明度に基づき作成されたガンマ補正テーブルを
用いて、該変化が縮小するよう前記動画像に対してデータ補正を行うステップとをコンピ
ュータに実行させるための画像処理プログラム。
【請求項２】
動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての
基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化が
あって、前記画像データの明度又は彩度の変化が、周期が異なる複数の変化パターンを含
む場合は、各変化パターンに対して、周期が短いものから順に該変化が縮小するよう前記
動画像に対してデータ補正を行うステップとをコンピュータに実行させるための画像処理
プログラム。
【請求項３】
動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、
時間軸方向に前記画像データの移行平均をとることにより基準データを作成するステップ
と、
前記基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記
基準データと補正時点の前記動画像の平均明度に基づき作成されたガンマ補正テーブルを
用いて、該変化が縮小するよう前記動画像に対してデータ補正を行うステップとをコンピ
ュータに実行させるための画像処理プログラムを記録した記録媒体。
【請求項４】
動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、
時間軸方向に前記画像データの移行平均をとることにより基準データを作成するステップ
と、
前記基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記
基準データと補正時点の前記動画像の平均明度に基づき作成されたガンマ補正テーブルを
用いて、該変化が縮小するよう前記動画像に対してデータ補正を行うステップとを含んで
いる画像処理方法。
【請求項５】
動画像を入力する動画像入力手段と、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、
時間軸方向に前記画像データの移行平均をとることにより基準データを作成する基準デー
タ作成手段と、
前記基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記
基準データと補正時点の前記動画像の平均明度に基づき作成されたガンマ補正テーブルを
用いて、該変化が縮小するよう前記動画像に対してデータ補正を行うデータ補正手段とを
備えている画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フリッカ等の不要な明度変化ないしは彩度変化に対して、精度良くフリッカ等の有無の判定や画像データの補正を行うことができる、コンピュータ用の画像処理プログラム及びこれを記録した記録媒体、画像処理方法並びに画像処理装置に関するものである。
【背景技術】
【０００２】
一般に、蛍光灯等の照明具により照明された環境下で、デジタルカメラ等により撮影された動画には、撮影される条件によってはフリッカ等の不要な明度変化ないしは彩度変化が発生することがある。なお、フリッカとは、照明具の照明特性変化の周波数と、動画のフレームレートとが同期しないことにより、動画の明度、彩度などが周期的に変化するといった好ましくない現象である。また、ここで、「不要な」とは、単に必要がないということを意味するのではなく、好ましくない、ないしは除去されるべきであることを意味するものである。
【０００３】
かくして、例えば特許文献１には、過去数フレームの画像データに基づいて動画データを補正し、フリッカの発生を防止ないしは抑制するようにした画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３２４３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば特開２０００−３２４３６５号公報に開示されている従来のフリッカの防止・抑制手法では、フリッカの有無の判定ないしはこれを解消するための画像補正の精度が十分ではないといった問題がある。
【０００６】
また、フリッカに加えて、その他の原因により動画に不要な明度変化ないしは彩度変化が生じている場合、例えばデジタルカメラの不適切な自動露出等により長周期で明度ないしは彩度がふらつくような場合には、該明度変化ないしは彩度変化は重畳された複数の変化パターンを含むことになる。しかしながら、上記従来のフリッカの防止・抑制手法では、このような場合は不要な明度変化ないしは彩度変化を有効に防止ないしは抑制することができないといった問題がある。
【０００７】
本発明は、上記従来の問題を解決するためになされたものであって、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができ、さらには動画に不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる手段を提供することを解決すべき課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた本発明にかかる画像処理プログラムは、（１）動画像を入力するステップ（以下、「動画像入力ステップ」という。）と、（２）動画像の明度又は彩度についての画像データに基づいて明度又は彩度についての基準データを作成するステップ（以下、「基準データ作成ステップ」という。）と、（３）基準データに対する関係において、画像データに所定の明度又は彩度の変化があれば、動画像が不要な明度変化又は彩度変化（例えば、フリッカ）を伴っていると判定するステップ（以下、「変化判定ステップ」という。）とをコンピュータに実行させることを特徴とするものである。
コンピュータでこの画像処理プログラムを実行すれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【０００９】
本発明にかかるもう１つの画像処理プログラムは、（１）上記動画入力ステップと、（２）上記基準データ作成ステップと、（３）基準データに対する関係において、画像データに所定の明度又は彩度の変化があれば、該変化が縮小するよう動画像に対してデータ補正を行うステップ（以下、「データ補正ステップ」という。）とをコンピュータに実行させることを特徴とするものである。
コンピュータでこの画像処理プログラムを実行すれば、自動的に、動画にフリッカ等の不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる。
【００１０】
本発明にかかる記録媒体は、（１）上記動画像入力ステップと、（２）上記基準データ作成ステップと、（３）上記変化判定ステップとをコンピュータに実行させるための画像処理プログラムを記録していることを特徴とするものである。コンピュータにこの記録媒体を装着し、これに記録されているプログラムを実行すれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【００１１】
本発明にかかるもう１つの記録媒体は、（１）上記動画像入力ステップと、（２）上記基準データ作成ステップと、（３）上記データ補正ステップとをコンピュータに実行させるための画像処理プログラムを記録していることを特徴とするものである。コンピュータにこの記録媒体を装着し、これに記録されているプログラムを実行すれば、自動的に、動画にフリッカ等の不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる。
【００１２】
本発明にかかる画像処理方法は、（１）上記動画像入力ステップと、（２）上記基準データ作成ステップと、（３）上記変化判定ステップとを含んでいることを特徴とするものである。この画像処理方法によれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【００１３】
本発明にかかるもう１つの画像処理方法は、（１）上記動画像入力ステップと、（２）上記基準データ作成ステップと、（３）上記データ補正ステップとを含んでいることを特徴とするものである。この画像処理方法によれば、自動的に、動画にフリッカ等の不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる。
【００１４】
上記基準データ作成ステップにおいては、基準データが、時間軸方向に前記画像データの移行平均をとることにより作成されるのが好ましい。
上記基準データ作成ステップにおいては、基準データが複数種作成され、上記変化判定ステップにおいては、該複数種の基準データを用いて、画像データが不要な明度変化又は彩度変化を伴っているか否かの判定が行われるのが好ましい。  画像データの明度又は彩度の変化が、周期が異なる複数の変化パターンを含む場合は、前記データ補正ステップにおいて、各変化パターンに対して、周期が短いものから順にデータ補正が行われるのが好ましい。
【００１５】
本発明にかかる画像処理装置は、（１）動画像を入力する動画像入力手段と、（２）動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成する基準データ作成手段と、（３）基準データに対する関係において、画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定する変化判定手段とを備えていることを特徴とするものである。この画像処理装置によれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【００１６】
本発明にかかるもう１つの画像処理装置は、（１）上記動画像入力手段と、（２）上記基準データ作成手段と、（３）基準データに対する関係において、画像データに所定の明度又は彩度の変化があれば、該変化が縮小するよう前記動画像に対してデータ補正を行うデータ補正手段とを備えていることを特徴とするものである。この画像処理装置によれば、自動的に、動画にフリッカ等の不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる。
【発明の効果】
【００１７】
本発明によれば、不要な明度変化又は彩度変化の判定あるいは明度又は彩度の補正を、ノンリニア補正の特徴を生かして、補正対象フレームより未来のフレームを含む任意のフレームを使用して、精度良く行うことができる。
また、複数の異なる周期性をもった動画の不要な明度変化又は彩度変化に対しても、対応することができる。
さらに、補正する場合だけでなく、フリッカなどの明度変化又は彩度変化があるかどうかの判定にも使用し、フリッカがあると判定された場合にのみ補正することにより、該補正を高速でかつ精度良く行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１にかかる不要な明度変化の判定手順を示すフローチャートである。
【図２】本発明の実施の形態２にかかる明度の補正手順を示すフローチャートである。
【図３】本発明の実施の形態３にかかる明度の補正手順を示すフローチャートである。
【図４】本発明の実施の形態４にかかる明度の補正手順を示すフローチャートである。
【図５】本発明の実施の形態５にかかる不要な明度変化の判定手順を示すフローチャートである。
【図６】平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図７】平均明度と移行平均明度の差分の、時間に対する変化特性の一例を示すグラフである。
【図８】ガンマ補正テーブルのガンマ補正特性を示すグラフである。
【図９】もう１つのガンマ補正テーブルのガンマ補正特性を示すグラフである。
【図１０】ユーザが指定する時間範囲内でのみ明度の補正が行われる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図１１】明度の補正が２回行われる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図１２】（ａ）〜（ｃ）は、それぞれ、移行平均の項数が互いに異なる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図１３】（ａ）及び（ｂ）は、それぞれ、移行平均の項数が少ない場合と多い場合とにおける、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図１４】本発明にかかる画像処理装置の概略構成を示すブロック図である。
【図１５】図１４に示す画像処理装置のより詳細な構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明のいくつかの実施の形態を説明する。なお、いずれの実施の形態も、フリッカ等の不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するものであるが、同様の手法で不要な彩度変化についてもその有無ないしは態様を判定し、あるいは彩度を補正することができる。
また、各実施の形態において、ハードウエア構成は実質的に同一であり、そのソフトウエアが異なるだけである。そこで、まず各実施の形態に共通な、本発明にかかる画像処理装置のハードウエア構成を説明する。
【００２０】
図１４に示すように、本発明にかかる画像処理装置Ｓには、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するための各種データ処理を行うホストコンピュータ１（以下、略して「コンピュータ１」という。）が設けられている。このコンピュータ１には、各種データを記憶するための外部記憶装置２と、各種情報をディスプレイ上に表示するモニタ３と、ユーザ（オペレータ）がコンピュータ１を操作するためのマウス４及びキーボード５とが接続されている。
【００２１】
図１５に示すように、コンピュータ１には、記憶装置１１と入出力インターフェース１２とＣＰＵ／メモリ１３とが設けられている。記憶装置１１は、実質的に、処理演算部１４とＯＳセクション１５とで構成されている。ここで、モニタ３とマウス４とキーボード５とは、それぞれ、入出力インターフェース１２に接続されている。なお、入出力インターフェース１２には、画像データ入出力装置１６も接続されている。
【００２２】
以下、各実施の形態を具体的に説明する。
（実施の形態１）
実施の形態１においては、図１４及び図１５に示す画像処理装置Ｓを用いて、図１のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、不要な明度変化の有無ないしは態様が判定される。なお、このフローチャートに示すデータ処理手順のプログラムは、コンピュータ１の記憶装置１１又は外部記憶装置２（記録媒体）に記録されている（実施の形態２〜５についても同様である。）。
【００２３】
以下、図１に示すフローチャートを参照しつつ、実施の形態１にかかるデータ処理手順ないしは画像処理手順を説明する。
画像データ入出力部１６からコンピュータ１に動画像が入力されると、コンピュータ１は動画データ処理を開始し、まず各フレームの平均明度Ｌｉを計算する（ステップＳ１１）。ここで、添え字のｉは、フレーム番号を表す。なお、例えば２画素毎にサンプリングするなどして、このデータ処理を高速化することもできる。
【００２４】
続いて、コンピュータ１は、各フレームの平均明度Ｌｉに対して、時間軸方向に移行平均（ないしは、移動平均）をとり、基準明度データを作成する（ステップＳ１２）。ここでは、例えば移行平均を、あるフレーム（添え字ｉ）と、その前のｎフレームと、その後のｎフレームとを使用し、次の式１を用いて計算する。つまり、基準明度Ｌ'ｉは、移行平均がとられた後における各フレームの平均明度（以下、「移行平均明度Ｌ'ｉ」という。）を表している。
Ｌ'i＝｛Ｌi-n＋Ｌi-(n-1)＋…＋Ｌi-1＋Ｌi
＋Ｌi+1＋…＋Ｌi+(n-1)＋Ｌi+n}/(2n＋1)………………………式１
【００２５】
ただし、一連のフレーム中で最初のフレームないしはその近傍のフレーム、あるいは最後のフレームないしはその近傍のフレームについて、式１を用いて移行平均明度Ｌ'ｉを算出する場合は、その前後に計算に用いるべきフレームが存在しないことがあるが、このようなフレームは移行平均をとる対象とはしない。
図６に、各フレーム毎の平均明度Ｌｉの経時変化（実線）と、式１を用いて算出された移行平均明度Ｌ'ｉの経時変化（点線）とを示す。図６から明らかなとおり、移行平均明度Ｌ'ｉは平均化ないしは平滑化されている。
【００２６】
次に、コンピュータ１は、次の式２を用いて、各フレームについて、平均明度Ｌｉと移行平均明度Ｌ'ｉとの差分Ｄｉ（以下、「明度差分Ｄｉ」という。）を算出して、差分データを作成する（ステップＳ１３）。
Ｄｉ＝Ｌｉ−Ｌ'i…………………………………………………………式２
図７に、この明度差分Ｄｉの経時変化の一例を示す。図７から明らかなとおり、この例では、明度差分Ｄｉは時間に対して周期的に変化している。すなわち、不要な明度変化が存在する。
【００２７】
この後、コンピュータ１は、一連の明度差分Ｄｉのデータから不要な明度変化部分を抽出する。すなわち、明度差分Ｄｉのデータをその符号に基づいてグループ分けし（ステップＳ１４）、不要な明度変化の有無ないしは態様を判定する（ステップＳ１５）。具体的には、明度差分Ｄｉの周期性を検出（チェック）し、周期性があれば不要な明度変化があると判定する。
【００２８】
以下、表１〜表４を参照しつつ、表１又は表３に示すような明度差分Ｄｉのデータが得られた場合について、不要な明度変化の周期性の判定手法を説明する。
すなわち、まず、ある明度差分Ｄｉと次の明度差分Ｄｉ＋１とについて符号を比較し、符号がマイナス又は０からプラスに変わっている場合のフレーム番号（ｉ＋１）を順次抽出（チェック）してゆく。そして、この抽出されたフレーム（以下、「抽出フレーム」という。）の明度差分データを１番目グループとし、この抽出フレームより後側のフレーム（ただし、次の抽出フレームより前側にあるもの）の明度差分データを該抽出フレームの後に振り分けて、順次、２番目グループ、３番目グループ、………とする。そして、各グループ毎のメンバー数と、各グループにおける明度差分の平均値とを計算する。
【００２９】
表２及び表４は、それぞれ、表１及び表３に示す明度差分データを、このようにグループ分けすることにより得られたものである。
例えば、表２では、表１における最初の抽出フレームであるフレーム２の明度差分データが１番目グループとされ、これに続くフレーム３及びフレーム４の明度差分データが、それぞれ、２番目グループ及び３番目グループとされている。なお、この場合４番目グループ及び５番目グループに該当するフレームは存在しないので、これらに欄にはデータは記載されていない（「なし」と記載）。
【００３０】
表１  整数の周期性を持つ明度差分データの例
2011172264.tif 000003
【００３１】
表２  表１に示す明度差分データのグループ分け
2011172264.tif 000004
注：１巡目は、うまくグループに振り分けられない場合がある
ので、計算から省いても良い。上記の例では省いている。
【００３２】
表３  小数の周期性を持つ明度差分データの例
2011172264.tif 000005
【００３３】
表４  表３に示す明度差分データのグループ分け
2011172264.tif 000006
注：１巡目は、うまくグループに振り分けられない場合がある
ので、計算から省いても良い。上記の例では省いている。
【００３４】
かくして、表２あるいは表４において、あるグループのメンバー数に対して、２つ次の（次の次の）グループのメンバー数が急に減少している箇所（表４の例では、３番目グループと５番目グループ）があれば、周期性をもつ可能性があると判断する。
【００３５】
具体的には、例えば１番目グループのメンバー数（例えば、表４では６）に基づいて、第１閾値Ｔｈ１と第２閾値Ｔｈ２とを設定する。例えば、第１閾値Ｔｈ１をメンバー数の８割とし（表４の例では、４.８）、第２閾値Ｔｈ２を２割とする（表４の例では、１.２）。そして、メンバー数が第１閾値Ｔｈ１より小さくなるグループを見出す（表４の例では、４番目グループ）。そして、見出されたグループの次のグループ（表４の例では、５番目グループ）のメンバー数が第２閾値Ｔｈ２より小さい場合は、周期性をもつ可能性があると判断する。
【００３６】
その場合、平均値が第１閾値Ｔｈ１より大きいメンバーをもつグループ（表４の例では、１〜３番目グループ）の数を該周期の整数部分とし、その次のグループのメンバー数を１番目グループのメンバー数で割った値（表４の例では、２／６＝０.３３）を該周期の小数部分とする。例えば、表４に示す例では、およそ３.３３（３＋０.３３＝３.３３）の周期性をもつ可能性があると判断される。これは、整数周期を持つ場合にも当てはまる。例えば、表２に示す例では、３の周期性をもつ可能性があると判断される。
【００３７】
次に、周期性をもつ可能性があると判断された場合は、周期性の整数部に該当する各グループ（表４の例では、１〜３番目グループ）の平均値の最大値（表４の例では、６.１７）と最小値（表４の例では、−３.６７）との差（表４の例では、９.８４）が、第３閾値Ｔｈ３（例えば、３）より大きければ、不要な明度変化があると判定される。
【００３８】
かくして、コンピュータ１と、図１のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態１にかかる画像処理装置ないしは画像処理方法によれば、自動的に、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を精度良く判定することができる。
【００３９】
（実施の形態２）
以下、本発明の実施の形態２を説明する。
実施の形態２においては、図１４及び図１５に示す画像処理装置Ｓを用いて、図２のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データ（移行平均明度）が作成され、動画にフリッカ等の不要な明度変化が生じるのが有効に防止ないしは抑制される。
【００４０】
以下、図２に示すフローチャートを参照しつつ、実施の形態２にかかるデータ処理手順を説明する。ただし、図２に示すフローチャートのステップＳ２１〜ステップＳ２２におけるデータ処理手順は、それぞれ、図１に示すフローチャート（実施の形態１）におけるステップＳ１１〜ステップＳ１２でのデータ処理手順と同一であるので、説明の重複を避けるため、ステップＳ２１〜ステップＳ２２についての説明は省略する。
【００４１】
実施の形態２では、コンピュータ１は、実施の形態１の場合と同様の手順で基準明度データ（移行平均明度）を作成した後、明度を補正して不要な明度変化を除去する。すなわち、コンピュータ１は、ガンマ補正用の変換テーブルを作成し（ステップＳ２３）、このガンマ補正テーブルを用いて、動画の明度データ（ないしは、動画データ）にガンマ補正を施す（ステップＳ２４）。
【００４２】
ガンマ補正テーブルは、例えば図８に示すようなガンマ補正グラフ（ガンマ補正のカーブ）ないしはガンマ補正特性をもつ、現実の明度（横軸）と補正後の明度（縦軸）との対応関係を示すテーブルである。そして、明度のガンマ補正は、横軸（Ｘ軸）上に現実の明度を示す点をとり、この点を上向きに伸ばしてガンマ補正グラフと交差する点を求め、この交差点を左向きに伸ばして縦軸（Ｙ軸）と交差する点を求め、この交差点の値を補正後の明度とするといった手順で行われる。
【００４３】
図８から明らかなとおり、このガンマ補正グラフは、現実の明度及び補正後の明度がともに０（最小明度）である点（０,０）と、現実の明度が平均明度Ｌｉであり補正後の明度が移行平均明度Ｌ'ｉである点（Ｌｉ,Ｌｉ’）と、現実の明度及び補正後の明度がともに２５５（最大明度）である点（２５５,２５５）とを直線で結んだ折れ線である。つまり、図８におけるガンマ補正グラフは、現実の明度が平均明度Ｌｉである場合はこれを移行平均明度Ｌ'ｉに変換し、それ以外の場合は直線補間を行うといった変換特性を有している。
【００４４】
なお、図９に示すように、ガンマ補正グラフとして、点（０,０）と点（Ｌｉ,Ｌ'ｉ）と点（２５５,２５５）とを通る曲線（例えば、２次曲線）を用いて明度変化のガンマ補正（補間）を行うようにしてもよい。この場合、図８に示す折れ線（直線）状のガンマ補正グラフを用いる場合に比べて、より滑らかにガンマ補正（補間）を行うできる。
【００４５】
なお、実施の形態２における明度の補正においては、実施の形態１における不要な明度変化の判定で用いられた移行平均（式１）を用いることは必ずしも必要ではない。ただ、式１で示す移行平均を用いない場合は、基準明度データ（移行平均明度）をつくり直す必要があるので、計算時間は余計にかかる。しかしながら、移行平均の項数をパラメータとすることにより、明度の補正量を制御することができる。
【００４６】
例えば、図１３（ａ）に示すように、移行平均の項数が少ない場合は、各フレーム毎の平均明度（実線）の変化における長周期成分はあまり平均化されない。
他方、図１３（ｂ）に示すように、移行平均の項数が多い場合は、各フレーム毎の平均明度（実線）の変化における長周期成分はかなり平均化される。このように、移行平均の項数を変えることにより、任意の補正特性で明度の補正を行うことが可能となる。なお、ユーザの指示により補正特性を変えることもできる。
【００４７】
かくして、コンピュータ１と、図２のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態２にかかる画像処理装置ないしは画像処理方法によれば、自動的に、動画にフリッカ等の不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【００４８】
（実施の形態３）
以下、本発明の実施の形態３を説明する。
実施の形態３においては、図１４及び図１５に示す画像処理装置Ｓを用いて、図３のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データ（移行平均明度）が作成され、動画に不要な明度変化が生じるのが有効に防止ないしは抑制される。
【００４９】
以下、図３に示すフローチャートを参照しつつ、実施の形態３にかかるデータ処理手順を説明する。ただし、実施の形態３にかかるデータ処理手順の基本的な手法は実施の形態２にかかるデータ処理手順と共通であり、データ補正を行う時間範囲をユーザが指定して明度を補正する点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態２と異なる部分を説明する。
【００５０】
画像データ入出力部１６からコンピュータ１に動画像が入力されると、コンピュータ１は動画データ処理を開始する。その際、ユーザはまず補正すべき時間範囲を指定する（ステップＳ３１）。次に、コンピュータ１は、自動的に、指定された時間内の基準明度データ（移行平均明度）を作成する（ステップＳ３２）。なお、基準明度データの作成手順は、実施の形態２の場合と同様である。この後、コンピュータ１は、実施の形態２の場合と同様に、ガンマ補正用の変換テーブルを作成し（ステップＳ３３）、明度にガンマ補正を施す（ステップＳ３４）。
【００５１】
この種の動画において、フリッカとは別の原因により、例えばデジタルカメラの不適切な自動露出等により明度がふらつくような場合には、明度は経時的にゆっくりと変化する。そして、このような場合は、全時間範囲ではなく、特定の時間範囲において、明度の補正が必要とされるだけであることが多い。
そこで、実施の形態３では、図１０に示すように、ユーザが補正したい時間範囲を指定することにより、その時間範囲についてのみ基準明度データを作成し、明度を補正するようにしている。
【００５２】
この場合、明度基準データ（移行平均明度）を補正時間範囲より何フレーム分か多めに用いることにより、以下のように明度の時間的な変化を円滑化することができる。
すなわち、補正時間範囲とその他の範囲との境界部近傍では、基準明度データとして移行平均によって得られる値（移行平均明度）をそのまま用いるのではなく、各フレームの平均明度Ｌｉと移行平均明度Ｌ'ｉとから、次の式３を用いて補正移行平均明度Ｌc'ｉを算出し、これを基準明度データとする。なお、式３において、ａは０以上で１以下の補正係数（修正量）ないしはなまし係数である。
Ｌc'ｉ＝（１−ａ)・Ｌｉ＋ａ・Ｌ'ｉ…………………………………………式３
【００５３】
ここで、表５に示すように、補正係数ａを上記境界部近傍で、０から１に向かって、又は１から０に向かって滑らかに変化させることにより、実際の明度の補正を円滑化することができる。なお、表５において、ユーザが指定した時間範囲内のフレームは、フレーム番号が７〜１７のフレームである。
【００５４】
表５  補正係数の設定手法
2011172264.tif 000007
注）    ＊：指定された時間範囲内のフレーム
【００５５】
かくして、コンピュータ１と、図３のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態３にかかる画像処理装置ないしは画像処理方法によれば、ユーザが指定した時間範囲内において、自動的に動画に不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【００５６】
（実施の形態４）
以下、本発明の実施の形態４を説明する。
実施の形態４においては、図１４及び図１５に示す画像処理装置Ｓを用いて、図４のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、動画に不要な明度変化が生じるのが有効に防止ないしは抑制される。
【００５７】
以下、図４に示すフローチャートを参照しつつ、実施の形態４にかかるデータ処理手順を説明する。ただし、実施の形態４にかかるデータ処理手順の基本的な手法は、実施の形態２にかかるデータ処理手順と共通であり、複数の周期性をもつ不要な明度変化を、複数回にわたって補正する点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態２と異なる部分を説明する。
【００５８】
図４に示すように、実施の形態４では、コンピュータ１は、まず短周期の不要な明度変化を補正し（ステップＳ４１）、次に長周期の不要な明度変化を補正する（ステップＳ４２）。その他の点については、実施の形態２の場合と同様である。
【００５９】
例えば、実施の形態１にかかる手順ないしは実施の形態２にかかる手順で、フリッカに起因する短周期の不要な明度変化を補正したとしても、不適切な自動露出等に起因して時間的にゆっくりとした長周期の不要な明度変化が依然として残る場合がある（図１１中の一番上のグラフ参照）。
しかしながら、図１１に示すように、このような場合でも、図４に示すフローチャートにしたがってステップＳ４１とステップＳ４２とに示す手順で、明度変化を複数回補正することにより、動画をほぼ完全に補正することができる。
【００６０】
かくして、コンピュータ１と、図４のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態４にかかる画像処理装置ないしは画像処理方法によれば、不要な明度変化が複数の周期性をもつ場合でも、自動的に、動画に不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【００６１】
（実施の形態５）
以下、本発明の実施の形態５を説明する。
実施の形態５においては、図１４及び図１５に示す画像処理装置Ｓを用いて、図５のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、不要な明度変化の有無ないしは態様が判定される。
【００６２】
以下、図５に示すフローチャートを参照しつつ、実施の形態５にかかるデータ処理手順を説明する。ただし、実施の形態５にかかるデータ処理手順の基本的な手法は、実施の形態１にかかるデータ処理手順と共通であり、複数（複数種）の基準明度データを用いて上記判定の精度を高める点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態１と異なる部分を説明する。
【００６３】
図５に示すように、実施の形態５では、コンピュータ１は、まず実施の形態１の場合と同様の手順で自動的に基準明度データ（移行平均明度）を作成する（ステップＳ５１）。次に、コンピュータ１は、不要な明度変化があるか否かを判定する（ステップＳ５２）。ここで、不要な明度変化がなければ、基準明度データをつくり直して、不要な明度変化があるか否かを判定し直すか否かを判定する（ステップＳ５３）。該判定をし直す場合は、ステップＳ５１〜ステップＳ５３が繰り返し実行される。なお、ステップＳ５２で不要な明度変化があると判定されたとき、あるいはステップＳ５２で不要な明度変化がないと判定された場合において該判定をし直さないときは、このデータ処理ルーチンは終了する。
【００６４】
短周期の不要な明度変化が生じている場合、移行平均の項数が判定精度に影響を及ぼすことがある。例えば、５０Ｈｚの照明と１５ｆｐｓのフレームレートとの組み合わせで発生したフリッカ画像の場合、計算上の明度変化は、３フレームごとの周期性を持つ。
このため、例えば図１２（ａ）に示すように、項数を３の倍数にして移行平均をとると精度が良くなることがある。
これに対して、図１２（ｂ）に示すように、３フレーム毎の周期性を持つときに、項数を４にして移行平均をとると、周期性が多少残ってしまうことになる。
なお、図１２（ｃ）に示すように、移行平均の項数が多い場合は、長周期成分もかなり平均化される。
【００６５】
また、移行平均の項数を増やすほど明度変化における長周期成分も平均化ないしは平滑化されるので、元の動画がもつ周期の長さによって、移行平均のとり方が判定精度に影響を及ぼす場合がある。
したがって、実際には基準明度データの作成方法によって、判定精度が変わってくる可能性があるため、ある基準明度データを用いてフリッカでないと判定しても、別の基準明度データを用いた場合は、フリッカであると判定される可能性がある。しかしながら、図５のフローチャートに示す手順で判定を行う場合は、複数の基準明度データを用いて該判定が行われるので、かかるフリッカを見逃すことがなく、判定精度を向上させることができる。
【００６６】
かくして、コンピュータ１と、図５のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態５にかかる画像処理装置ないしは画像処理方法によれば、自動的に、不要な明度変化の有無ないしは態様を精度良く判定することができる。
【００６７】
実施の形態１〜５では、前記のとおり不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するようにしている。しかしながら、実施の形態１〜５にかかる不要な明度変化の判定手法ないしは明度の補正手法は、不要な彩度変化の判定ないしは彩度の補正にも、ほぼそのまま応用することができる。したがって、実施の形態１〜５において、「明度」を「彩度」と読み替えることにより（例えば、「基準明度データ」を「基準彩度データ」と読み替える。）、不要な彩度変化の有無ないしは態様を精度良く判定することができ、あるいは彩度を精度良く補正することができる。
【００６８】
さらに、実施の形態１〜５にかかる不要な明度変化の判定手法ないしは明度の補正手法は、不要な明度変化と不要な彩度変化の両方の判定ないしは明度及び彩度の補正にも、ほぼそのまま応用することができる。
例えば、実施の形態１ないしは実施の形態２にかかるデータ処理により、基準明度データに基づいて不要な明度変化があると判定し、明度の補正を行った後、さらに基準彩度データを作成し、不要な彩度変化の有無ないしは態様を判定し、必要があれば彩度を補正することにより、明度及と彩度の両方を補正するようにしてもよい。なお、彩度変化の判定ないしは彩度の補正を行った後で、明度変化の判定ないしは明度の補正を行うようにしてもよい。また、明度変化及び彩度変化の判定に、基準明度データあるいは基準彩度データの一方のみを用いるようにしてもよい。
【００６９】
このように、実施の形態１〜５あるいはその修正例及び変形例においては、すべて判定や補正が自動的に行われるので、ユーザはほとんで何もせずに、良好な判定結果ないしは補正結果を得ることができる。
また、コンピュータによる不要な明度変化ないしは彩度変化の自動判定を行わず、ユーザが明度ないしは彩度の補正を指示したときにのみ、コンピュータが自動的に該補正を行うようにしてもよい。
【００７０】
さらに、移行平均として、次の式４を用いて算出される重み付き移行平均を用いてもよい。
Ｌ'i＝｛Ｌi-1＋２Ｌi＋Ｌi+1｝／４………………………………………式４
この場合は、元の明度変化を多少残した基準明度データを作成することができる。明度ないしは彩度の補正においては、例えば長周期の明度変化ないしは彩度変化に対して、元の明度変化ないしは彩度変化をある程度残した方が、過度な補正を防止することができるので、好ましい結果を得ることができる場合もある。
【００７１】
（実施態様）
１．  動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとをコンピュータに実行させるための画像処理プログラム。
２．  動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、該変化が縮小するよう前記動画像に対してデータ補正を行うステップとをコンピュータに実行させるための画像処理プログラム。
３．  前記基準データが、時間軸方向に前記画像データの移行平均をとることにより作成される、１項又は２項に記載の画像処理プログラム。
４．  前記基準データが複数種作成され、該複数種の基準データを用いて、前記画像データが不要な明度変化又は彩度変化を伴っているか否かの判定が行われる、１項に記載の画像処理プログラム。
５．  前記画像データの明度又は彩度の変化が、周期が異なる複数の変化パターンを含む場合は、各変化パターンに対して、周期が短いものから順に前記データ補正が行われる、２項に記載の画像処理プログラム。
６．  動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとをコンピュータに実行させるための画像処理プログラムを記録した記録媒体。
７．  動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、該変化が縮小するよう前記動画像に対してデータ補正を行うステップとをコンピュータに実行させるための画像処理プログラムを記録した記録媒体。
８．  動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとを含んでいる画像処理方法。
９．  動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成するステップと、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、該変化が縮小するよう前記動画像に対してデータ補正を行うステップとを含んでいる画像処理方法。
１０．  動画像を入力する動画像入力手段と、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成する基準データ作成手段と、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定する変化判定手段とを備えている画像処理装置。
１１．  動画像を入力する動画像入力手段と、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度についての基準データを作成する基準データ作成手段と、
前記基準データに対する関係において、前記画像データに所定の明度又は彩度の変化があれば、該変化が縮小するよう前記動画像に対してデータ補正を行うデータ補正手段とを備えている画像処理装置。
【符号の説明】
【００７２】
Ｓ…画像処理装置、１…ホストコンピュータ（コンピュータ）、２…外部記憶装置、３…モニタ、４…マウス、５…キーボード、１１…記憶装置、１２…入出力インターフェース、１３…ＣＰＵ／メモリ、１４…処理演算部、１５…ＯＳセクション、１６…画像データ入出力部。
【図１】
2011172264.tif 000008
【図２】
2011172264.tif 000009
【図３】
2011172264.tif 000010
【図４】
2011172264.tif 000011
【図５】
2011172264.tif 000012
【図６】
2011172264.tif 000013
【図７】
2011172264.tif 000014
【図８】
2011172264.tif 000015
【図９】
2011172264.tif 000016
【図１０】
2011172264.tif 000017
【図１１】
2011172264.tif 000018
【図１２】
2011172264.tif 000019
【図１３】
2011172264.tif 000020
【図１４】
2011172264.tif 000021
【図１５】
2011172264.tif 000022