(57)【要約】【課題】ヒストグラムのみから適切な補正パラメータを算出することが困難な場合にも適用することができる動画像処理装置、動画像処理方法、そのプログラム、記録媒体及び動画像表示装置を提供する。【解決手段】動画像処理装置１０は、複数のシーンについて、シーンの主なヒストグラム及びシーンに適した補正パラメータを対応させて記録した記録部１０６と、フレームのピクセル値からヒストグラムを算出するヒストグラム算出部１０１と、算出されたヒストグラムと記録された複数のシーンのヒストグラムとの相関度を算出する相関度算出部１０２と、補正パラメータを算出する補正パラメータ算出部１０３と、補正を行う補正処理部１０５と、を有する。補正パラメータ算出部１０２は、フレームと記録部１０６に予め記録されたシーンとの相関度に基づき、シーンに対応して記録された補正パラメータを用いてフレームに適した補正パラメータを算出する。【選択図】図３
2010103777.tif 000002
【特許請求の範囲】
【請求項１】
複数のシーンについて、前記シーンの主なヒストグラム及び前記シーンに適した補正パラメータを対応させて記録する記録手段と、
フレームのピクセル値からヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段により算出されたヒストグラムと前記記録手段により記録された複数のシーンのヒストグラムとの相関度を算出する相関度算出手段と、
前記相関度算出手段により算出された相関度に基づいて補正パラメータを算出する補正パラメータ算出手段と、
前記補正パラメータ算出手段により算出された補正パラメータを用いて補正を行う補正手段と、を有することを特徴とする動画像処理装置。
【請求項２】
フィルタ処理を行うフィルタ処理手段をさらに有し、
前記相関度算出手段は、現在のフレームのヒストグラムと過去のフレームのヒストグラムの相関度を算出し、
フィルタ処理手段は、前記相関度算出手段により算出された現在のフレームと過去のフレームとの相関度が一定以下になる場合に、フィルタを初期化することを特徴とする請求項１記載の動画像処理装置。
【請求項３】
過去の補正パラメータを記録する補正パラメータ記録手段をさらに有し、
前記相関度算出手段は、現在のフレームのヒストグラムと過去のフレームのヒストグラムの相関度を算出し、
前記補正パラメータ算出手段は、前記相関度算出手段により算出された現在のフレームと過去のフレームとの相関度が一定以下になる場合に、補正パラメータを算出し、
前記補正パラメータ記録手段は、前記相関度算出手段により算出された現在のフレームと過去のフレームとの相関度が一定以下になる場合に、記録されている補正パラメータを前記補正パラメータ算出手段により算出された補正パラメータに更新し、
前記補正手段は、補正パラメータ記録手段により記録された補正パラメータを用いて補正を行うことを特徴とする請求項１又は２に記載の動画像処理装置。
【請求項４】
前記補正パラメータ算出手段は、前記相関度算出手段により算出された相関度が最も高いシーンに対応して記録されている補正パラメータを前記フレームの補正パラメータとすることを特徴とする請求項１から３の何れか１項に記載の動画像処理装置。
【請求項５】
前記補正パラメータ算出手段は、前記相関度算出手段により算出された前記シーンの相関度に基づいて、加重平均により補正パラメータを算出することを特徴とする請求項１から３の何れか１項に記載の動画像処理装置。
【請求項６】
複数のシーンについて、前記シーンの主なヒストグラム及び前記シーンに適した補正パラメータを対応させて記録する記録ステップと、
フレームのピクセル値からヒストグラムを算出するヒストグラム算出ステップと、
前記ヒストグラム算出ステップにより算出されたヒストグラムと前記記録ステップにより記録された複数のシーンのヒストグラムとの相関度を算出する相関度算出ステップと、
前記相関度算出ステップにより算出された相関度に基づいて補正パラメータを算出する補正パラメータ算出ステップと、
前記補正パラメータ算出ステップにより算出された補正パラメータを用いて補正を行う補正ステップと、を有することを特徴とする動画像処理方法。
【請求項７】
フィルタ処理を行うフィルタ処理ステップをさらに有し、
前記相関度算出ステップは、現在のフレームのヒストグラムと過去のフレームのヒストグラムの相関度を算出し、
フィルタ処理ステップは、前記相関度算出ステップにより算出された現在のフレームと過去のフレームとの相関度が一定以下になる場合に、フィルタを初期化することを特徴とする請求項６記載の動画像処理方法。
【請求項８】
過去の補正パラメータを記録する補正パラメータ記録ステップをさらに有し、
前記相関度算出ステップは、現在のフレームのヒストグラムと過去のフレームのヒストグラムの相関度を算出し、
前記補正パラメータ算出ステップは、前記相関度算出ステップにより算出された現在のフレームと過去のフレームとの相関度が一定以下になる場合に、補正パラメータを算出し、
前記補正パラメータ記録ステップは、前記相関度算出ステップにより算出された現在のフレームと過去のフレームとの相関度が一定以下になる場合に、記録されている補正パラメータを前記補正パラメータ算出ステップにより算出された補正パラメータに更新し、
前記補正ステップは、補正パラメータ記録ステップにより記録された補正パラメータを用いて補正を行うことを特徴とする請求項６又は７に記載の動画像処理方法。
【請求項９】
前記補正パラメータ算出ステップは、前記相関度算出ステップにより算出された相関度が最も高いシーンに対応して記録されている補正パラメータを前記フレームの補正パラメータとすることを特徴とする請求項６から８の何れか１項に記載の動画像処理方法。
【請求項１０】
前記補正パラメータ算出ステップは、前記相関度算出ステップにより算出された前記シーンの相関度に基づいて、加重平均により補正パラメータを算出することを特徴とする請求項６から８の何れか１項に記載の動画像処理方法。
【請求項１１】
複数のシーンについて、前記シーンの主なヒストグラム及び前記シーンに適した補正パラメータを対応させて記録する処理と、
フレームのピクセル値からヒストグラムを算出する処理と、
前記ヒストグラムを算出する処理により算出されたヒストグラムと前記記録する処理により記録された複数のシーンのヒストグラムとの相関度を算出する処理と、
前記相関度を算出する処理により算出された相関度に基づいて補正パラメータを算出する処理と、
前記補正パラメータを算出する処理により算出された補正パラメータを用いて補正を行う処理と、をコンピュータに実行させるプログラム。
【請求項１２】
請求項１１記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１３】
請求項１から５の何れか１項に記載の動画像処理装置を備えることを特徴とする動画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を補正する動画処理装置、動画像処理方法、そのプログラム、記録媒体及び動画像表示装置に関する。
【背景技術】
【０００２】
自然画、ＣＧ、アニメーション等の動画像を補正する技術として、各フレームから画像補正のパラメータを算出する技術が普及している。しかし、この技術では、各フレーム単独にパラメータを算出するため、補正パラメータの値が短時間で変動し、それに対応した補正パラメータも変動してしまう。そのため、補正後の画像がちらついてしまうことがあるという問題があった。この問題を解決するために、補正パラメータをフィルタリングする方法が使用される。
【０００３】
しかし、編集された動画像など、動画像のある時間でシーンが切り替わるような場合は、前後のシーンに相関がないのでフィルタリングは本来不要である。パラメータが一定以上変動した場合にフィルタリングを行わないといった技術が使用されることもあるが、パラメータ値はシーン切り替わりで大きく変動するとは限らないため性能に問題があった。
【０００４】
上記問題を解決するために、現在のフレームと現在のフレームの直前のフレームとのヒストグラムの相関度から補正パラメータを決定する技術が開示されている（例えば、特許文献１）。具体的には、現在のフレームと直前のフレームとのヒストグラムの相関度が一定値以上である場合には直前のフレームに使用した補正パラメータを利用し、一定値以下である場合には現在のフレームのヒストグラムから補正パラメータを決定する。
【特許文献１】特開２００７−２４１２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した技術では、現在のフレームと直前のフレームの相関度のみを考慮してシーンが切り替わっているかを判断し、直前のフレームに使用した補正パラメータをそのまま適用するか、新たに現在のフレームに適応した補正パラメータを算出して適用するかを判定する。そのため、ヒストグラムのみから適切な補正パラメータを算出することが困難な場合には対応することができないという問題があった。
【０００６】
本発明はこのような実情を鑑みてなされたものであり、ヒストグラムのみから適切な補正パラメータを算出することが困難な場合にも適用することができる動画像処理装置、動画像処理方法、そのプログラム、記録媒体及び動画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の動画像処理装置は、複数のシーンについて、シーンの主なヒストグラム及びシーンに適した補正パラメータを対応させて記録する記録手段と、フレームのピクセル値からヒストグラムを算出するヒストグラム算出手段と、ヒストグラム算出手段により算出されたヒストグラムと記録手段により記録された複数のシーンのヒストグラムとの相関度を算出する相関度算出手段と、相関度算出手段により算出された相関度に基づいて補正パラメータを算出する補正パラメータ算出手段と、補正パラメータ算出手段により算出された補正パラメータを用いて補正を行う補正手段と、を有することを特徴とする。
【０００８】
本発明の動画像処理方法は、複数のシーンについて、シーンの主なヒストグラム及びシーンに適した補正パラメータを対応させて記録する記録ステップと、フレームのピクセル値からヒストグラムを算出するヒストグラム算出ステップと、ヒストグラム算出ステップにより算出されたヒストグラムと記録ステップにより記録された複数のシーンのヒストグラムとの相関度を算出する相関度算出ステップと、相関度算出ステップにより算出された相関度に基づいて補正パラメータを算出する補正パラメータ算出ステップと、補正パラメータ算出ステップにより算出された補正パラメータを用いて補正を行う補正ステップと、を有することを特徴とする。
【０００９】
本発明のプログラムは、複数のシーンについて、シーンの主なヒストグラム及びシーンに適した補正パラメータを対応させて記録する処理と、フレームのピクセル値からヒストグラムを算出する処理と、ヒストグラムを算出する処理により算出されたヒストグラムと記録する処理により記録された複数のシーンのヒストグラムとの相関度を算出する処理と、相関度を算出する処理により算出された相関度に基づいて補正パラメータを算出する処理と、補正パラメータを算出する処理により算出された補正パラメータを用いて補正を行う処理と、をコンピュータに実行させる。
【００１０】
本発明の記録媒体は、上記プログラムを記録したコンピュータ読取可能な記録媒体である。
【００１１】
本発明の動画像表示装置は、上記動画像処理装置を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ヒストグラムのみから適切な補正パラメータを算出することが困難な場合であっても、動画像に適切な補正を行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施形態の例について、図面を用いて詳細に説明する。
【００１４】
図１は、本実施形態に係る動画像処理装置の概略構成例を示す。図示するように、本実施形態に係る動画像処理装置１０は、ヒストグラム算出部１０１、相関度算出部１０２、補正パラメータ算出部１０３、フィルタ処理部１０４、補正処理部１０５、を備える。
【００１５】
ヒストグラム算出部１０１は、各ピクセル値から度数分布を作成する。階数は、数階から十数階あればよい。デジタル化された画像は水平方向及び垂直方向に並んだ画素の集まりであるが、この画素データのうち、同じ階数をもつ個数をカウントすることでヒストグラムを算出する。
【００１６】
相関度算出部１０２は、２つのヒストグラムの相関度数を算出する。相関度を算出する方法はいくつもあるが、例えば、以下の式（１）に示すケンドールの順位相関係数を用いて相関度を算出する方法を適用することができる。また、上記方法の応用として、差が一定以下の場合には一致とみなす方法も適用することができる。尚、相関度の算出方法は、これに限定されるものではない。
【００１７】
t = 4P / n / (n - 1) − 1・・・式（１）
Pは順位の一致数を示す。
【００１８】
補正パラメータ算出部１０３は、ヒストグラムに基づいて補正パラメータを算出する。補正パラメータの算出方法としては、例えば、ヒストグラムの適当な分位数(例えば、1/8分位数と7/8分位数など)から最小値と最大値を推定し、輝度補正のパラメータを求める方法や、ヒストグラムの尖度や分位数の分布からガンマ補正のパラメータを求める方法等が挙げられる。尚、補正パラメータ算出方法は、これに限定されるものではない。
【００１９】
フィルタ処理部１０４は、補正パラメータが細かく変動しないように、時間軸上でLow-Passフィルタ処理(ＬＰＦ)を行う。これにより、符号化された画像データを復号化する過程で生じたノイズを低減することができる。最も単純な実装は、過去Ｎ個分の平均値を求める方法である。他にもＦＩＲ（Finite Impulse Response）やＩＩＲ(Infinite Impulse Response)による方法などを適用することが可能である。また、フィルタ処理部１０４は、相関度と閾値の大小関係に基づいてリセット動作を行う。リセット動作では、過去の蓄積されたパラメータを破棄する。
【００２０】
補正処理部１０５は、入力画像の補正処理を行う。様々な画像処理があるが、周知の方法で画像処理を行うことが可能であり、ここでは説明を省略する。
【００２１】
（実施形態１）
図２は、本実施形態に係る動画像処理の流れの例を示す。本実施形態では、動画像処理の流れの例について、図２に示す図を用いて説明する。
【００２２】
まず、事前処理として、例えば、入力信号からノイズを除去し、信号処理の規模を抑えるための代表点抽出(または縮小)処理、カラー値の輝度化などの処理を行う。カラー値の輝度化としては、一般的にはＲＧＢ各成分の平均値や合計値により処理を行う。尚、事前処理はこれに限定されるものではない。また、本実施形態では、事前処理は省略することも可能である。
【００２３】
次に、ヒストグラム算出部１０１においてフレームのヒストグラムを求める。補正パラメータ算出部１０３は、求められたヒストグラムに基づいてフレームに適した補正パラメータを求める。同時に、相関度算出部１０２は、現在処理を行っているフレームとその前に処理を行ったフレームとのヒストグラムの相関度を算出する。この相関度算出部１０２が算出した相関度が一定以下の場合には、シーンが切り替わったとしてフィルタをリセットする。そして、以上の処理から求められた補正パラメータを利用して、補正処理部１０５は、補正処理を行う。
【００２４】
本実施形態により、シーンの切り替わりはヒストグラムの変動としてあらわれることから、前後のフレームのヒストグラムの相関度を求めることにより、シーンの切り替わりを高精度かつ低コストで検出することが可能となる。また、シーンの切り替わりに応じてフィルタを適切にリセットして初期化することも可能となる。
【００２５】
（実施形態２）
図３は、本実施形態に係る動画像処理装置の概略構成例を示す。上述した実施形態１と異なる点は、記録部１０６を備える点である。記録部１０６は、予め選定した複数のシーンについて、各シーンがもつ代表的なヒストグラムと、そのシーンに適した補正パラメータと、を対応させてパラメータテンプレートとして保持する。シーンとしては、例えば、風景、ポートレート、夜景、スポーツ風景など、被写体や撮影環境として代表的なものを選ぶとよい。尚、上述した機能と同様の機能には同様の符号を付し、説明は省略する。
【００２６】
図４は、本実施形態に係る動画像処理の流れの例を示す。本実施形態では、動画像処理の流れの例について、図４に示す図を用いて説明する。
【００２７】
まず、事前処理として、例えば、入力信号からノイズを除去し、信号処理の規模を抑えるための代表点抽出(または縮小)処理、カラー値の輝度化などの処理を行う。カラー値の輝度化としては、一般的にはＲＧＢ各成分の平均値や合計値により処理を行う。尚、事前処理はこれに限定されるものではない。また、本実施形態では、事前処理は省略することも可能である。
【００２８】
そして、ヒストグラム算出部１０１においてフレームのヒストグラムを求め、相関度算出部１０２によりフレームのヒストグラムとパラメータテンプレートに格納された各シーンのヒストグラムとの相関度を算出する。相関度の算出方法は上記実施形態１と同様の方法を適用することができる。
【００２９】
上記で算出した相関度から適切なパラメータを求める。適切なパラメータを求める方法としては、以下に示す２つの方法を例として挙げることができる。尚、補正するためのパラメータを求める方法は、以下の方法に限定されるものではない。
【００３０】
パラメータを求める１つめの方法として、パラメータテンプレートに予め記録されたシーンのうち、最も相関が高いシーンのパラメータを採用する方法が挙げられる。この方法では、フレームから求めたヒストグラムと予め登録された各シーンのヒストグラムとの相関度を求め、最も相関度が高いシーンに対応して格納された補正パラメータを採用して、フレームの補正に採用する。
【００３１】
パラメータを求める２つめの方法として、相関度に応じて各パラメータの加重平均を求める方法が挙げられる。この方法では、フレームから求めたヒストグラムと予め登録された各シーンのヒストグラムとの相関度を求める。そして、求めた各シーンとの相関度に応じて、各シーンに対応して格納されたパラメータの加重平均を求めて新たな補正パラメータとし、補正に採用する。
【００３２】
次に、以上の処理から求められた補正パラメータを利用して、補正処理部１０５は、補正処理を行う。
【００３３】
本実施形態では、シーンに応じた補正パラメータを画像から求めるのではなく、画像からシーンの検出のみを行いパラメータは事前に作成又は格納されたもの使用する。このため、ヒストグラムのみから適切な補正パラメータを算出することが難しいケースであっても、適切な補正処理を施すことが可能となる。
【００３４】
尚、上述した実施形態では、各フレームのシーンを検出し、フレーム毎に適した補正パラメータを求める例を挙げて説明した。しかし、これに限定されるものではなく、例えば、上述した実施形態１のように、前後のフレームの相関度を検出することにより、シーンの切り替わりを予め検出しておく。各シーンの最初のフレームについてのみ、パラメータテンプレートに記録されたどのシーンに当てはまるのかを判定する。そして、そのシーンに対応して記録されたパラメータをシーン全てのフレームに適用することも可能である。ここで、パラメータを求める方法としては、上記したような加重平均から求める方法も適用することは可能である。
【００３５】
また、例えば、上述した実施形態１のように、前後のフレームの相関度を検出することにより、シーンの切り替わりを検出する。シーン毎に全てのフレームのヒストグラムの平均をとり、パラメータテンプレートに記録されたどのシーンに当てはまるのかを判定する。そして、そのシーン対応して記録されたパラメータをシーン全てのフレームに適用することも可能である。ここで、パラメータを求める方法としては、上記したような加重平均から求める方法も適用することは可能である。
【００３６】
（実施形態３）
図５は、本実施形態に係る動画像処理装置の概略構成例を示す。上述した実施形態１と異なる点は、補正パラメータ記録部１０７を備える点である。補正パラメータ記録部１０７は、現在処理を行っているフレームの前に処理を行ったフレームに適用したパラメータを記録する。尚、上述した機能と同様の機能には同様の符号を付し、説明は省略する。
【００３７】
図６は、本実施形態に係る動画像処理の流れの例を示す。本実施形態では、動画像処理の流れの例について、図６に示す図を用いて説明する。
【００３８】
まず、事前処理として、例えば、入力信号からノイズを除去し、信号処理の規模を抑えるための代表点抽出(または縮小)処理、カラー値の輝度化などの処理を行う。カラー値の輝度化としては、一般的にはＲＧＢ各成分の平均値や合計値により処理を行う。尚、事前処理はこれに限定されるものではない。また、本実施形態では、事前処理は省略することも可能である。
【００３９】
次に、ヒストグラム算出部１０１においてフレームのヒストグラムを求める。相関度算出部１０２は、現在処理を行っているフレームとその前に処理を行ったフレームとのヒストグラムの相関度を算出する。この相関度算出部１０２が算出した相関度が一定以上である場合には、補正パラメータ記録部１０７に記録されている直前に使用されたパラメータを採用して、補正処理を行う。
【００４０】
一方、この相関度算出部１０２が算出した相関度が一定以下である場合には、現在処理を行っているフレームとその前に処理を行ったフレームでシーンが切り替わったとして、上述した実施形態２と同様の方法で補正パラメータを求める。すなわち、ヒストグラム算出部１０１において求めたフレームのヒストグラムと、パラメータテンプレートに格納された各シーンのヒストグラムとの相関度を算出し、算出した相関度から適切なパラメータを求める。このように求めた新たなパラメータにより補正パラメータ記録部１０７に記録されているパラメータを更新する。そして、更新されたパラメータを使用して補正処理を行う。
【００４１】
本実施形態により、シーンの切り替わりが発生した場合のみパラメータを更新するため、相関度計算など一部の処理が必要時のみ動作するので、処理にかかる処理時間や電流などを削減することにより、コストを削減することが可能となる。
【００４２】
尚、本発明に係る動画像表示装置は、上述した動画像処理装置の何れかを備える。また、動画像表示装置は、例えば、動画像を表示する表示部などの動画像表示装置として動作するための一般的な機能を有している。
【００４３】
尚、各図に示す処理を、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録するコンピュータ読み取り可能な記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。
【００４４】
以上好適な実施の形態に基づき具体的に説明したが、本発明は上述した動画像処理装置、動画像処理方法、そのプログラム記録媒体及び動画像表示装置に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であるということは言うまでもない。
【図面の簡単な説明】
【００４５】
【図１】本実施形態に係る動画像処理装置の概略構成例を示すブロック図である。
【図２】本実施形態に係る動画像処理の流れの例を示す図である。
【図３】本実施形態に係る動画像処理装置の概略構成例を示すブロック図である。
【図４】本実施形態に係る動画像処理の流れの例を示す図である。
【図５】本実施形態に係る動画像処理装置の概略構成例を示すブロック図である。
【図６】本実施形態に係る動画像処理の流れの例を示す図である。
【符号の説明】
【００４６】
１０    動画像処理装置
１０１    ヒストグラム算出部
１０２    相関度算出部
１０３    補正パラメータ算出部
１０４    フィルタ処理部
１０５    補正処理部
１０６    記録部
１０７    補正パラメータ記録部
【図１】
2010103777.tif 000003
【図２】
2010103777.tif 000004
【図３】
2010103777.tif 000005
【図４】
2010103777.tif 000006
【図５】
2010103777.tif 000007
【図６】
2010103777.tif 000008