(57)【要約】【課題】  動画像に対して画質補正を行うと共に、ちらつきを解消する。【解決手段】  縮小手段１０は、動画像のフレーム画像を縮小して縮小フレーム画像を得る。仮補正値算出手段２０は、特徴量算出手段１５により縮小フレーム画像から算出した特徴量Ｙ０を用いて仮補正値γ０を求め、仮補正手段２５は、仮補正値γ０を用いて縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量Ｙ１を算出する。目標特徴量算出手段３０は、特徴量Ｙ１が時間方向において平滑に変化するように各フレーム画像の目標特徴量Ｙ２を算出する。目的補正値算出手段４０は、特徴量Ｙ０が目標特徴量Ｙ２になるように各フレーム画像の目的補正値γ１を求める、補正手段５０は、目的補正値γ１を用いて各フレーム画像を補正して補正済み動画像を得る。  【選択図】          図１
2005269192.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出し、
前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求め、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出し、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の目標特徴量として求め、
前記各フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求めることを特徴とする画像処理方法。
【請求項２】
前記仮補正値を求める処理、前記仮補正済みフレーム画像の特徴量を求める処理、および前記目標特徴量を求める処理を、前記動画像を構成する各々のフレーム画像のうちから選択された参照フレーム画像に対してのみ行い、
前記参照フレーム画像を用いて得られた各々の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する各々のフレーム画像の前記目標特徴量を得ることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記動画像を構成するフレーム画像の縮小画像を用いて前記目的補正値を求めるまでの処理を行うことを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正することを特徴とする請求項１から３のいずれか１項記載の画像処理方法。
【請求項５】
動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出する特徴量算出手段と、
前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
該仮補正値算出手段により求められた前記仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する仮補正手段と、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の目標特徴量として求める目標特徴量算出手段と、
前記特徴量算出手段により求められた前記各フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求める目的補正値算出手段とを有してなることを特徴とする画像処理装置。
【請求項６】
前記仮補正値算出手段、前記仮補正手段、および前記目標特徴量算出手段が、前記動画像を構成する各々のフレーム画像のうちから選択された参照フレーム画像に対してのみ行うものであり、
前記参照フレーム画像を用いて得られた各々の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する各々のフレーム画像の前記目標特徴量を得る補間手段を有することを特徴とする請求項５記載の画像処理装置。
【請求項７】
各前記手段が、前記動画像を構成するフレーム画像の縮小画像を用いて夫々の処理を行うことを特徴とする請求項５または６記載の画像処理装置。
【請求項８】
前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正する補正手段をさらに有することを特徴とする請求項５から７のいずれか１項記載の画像処理装置。
【請求項９】
動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出する処理と、
前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める処理と、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する処理と、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の目標特徴量として求める処理と、
前記各フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求める処理とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
前記仮補正値を求める処理、前記仮補正済みフレーム画像の特徴量を求める処理、および前記目標特徴量を求める処理を、前記動画像を構成する各々のフレーム画像のうちから選択された参照フレーム画像に対してのみ行わせ、
前記参照フレーム画像を用いて得られた各々の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する各々のフレーム画像の前記目標特徴量を得る処理をコンピュータに行わせることを特徴とする請求項９記載のプログラム。
【請求項１１】
前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正する処理をさらにコンピュータに実行させることを特徴とする請求項９または１０記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画質を補正する画像処理方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
デジタル画像がより綺麗に見えるように、元画像に対して画質を補正することが広く行われている。これらの画質補正の例として、ホワイトバランス補正、露光補正、彩度補正、コントラスト補正、シャープネス補正、色補正などを挙げることができる。静止画像を補正する方法としては、静止画像から特徴量を抽出し、抽出された特徴量に基づいて補正値を求め、この補正値を用いて元画像を補正することが知られている。静止画像から抽出される特徴量としては、ホワイトバランス、彩度などの補正内容に応じて、例えば元画像の平均輝度値、元画像内の暗い領域内の平均輝度値、元画像における主要被写体（人物の顔など）の平均輝度値、元画像内の高彩度領域内の平均彩度値、元画像内の明るい領域におけるＲＧＢの平均階調値、および元画像内の色相ヒストグラムなどが用いられる。
【０００３】
上述した静止画像の画質補正方法は動画像の画質補正に適用することができる。具体的には、動画像を構成する各フレーム（以下フレーム画像という）を静止画像と見なし、各フレーム画像から特徴量を抽出し、この特徴量に基づいて各フレーム画像の補正値を求めて各々のフレーム画像を補正することによって、動画像を補正することが考えられる。
【０００４】
しかし、動画像のフレーム画像は時間方向において変化するものであり、その特徴量も変動するので、静止画像の補正方法を動画像のフレーム画像毎に施すと、補正後のフレーム画像から構成される動画像（補正済み動画像）にちらつきが生じてしまうという問題がある。この問題を解決するために、特許文献１には、動画像のフレーム画像の補正値推移を平滑化する方法が提案されている。具体的には、動画像のフレーム画像から求められた補正値に対して、現フレーム画像の補正値と、現フレーム画像の前のフレーム画像の補正値の差を所定の閾値以内に限定することによって、補正済み動画像に生じるちらつきの抑制を図る方法が提案されている。また、現フレーム画像の補正値と、現フレーム画像の前および／または後のフレーム画像の補正値との平均（移動平均）を取って得た値を現フレーム画像の補正値とする方法も考えられる。
【特許文献１】特開２００２−２６２３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような補正値推移を平滑化する方法は、補正値のみに対して変動を抑制し、フレーム画像そのものの時間方向における変動が微弱な場合においては補正値のちらつきを解消することができるが、補正済み動画像のちらつきを解消することができない。
【０００６】
また、ＤＳＣ（デジタルスチールカメラ）などにおいて、撮像して動画像を得る際に、ＤＳＣ内において補正を行うことがあり、この補正が不適切である場合には補正の不連続が生じてしまい、動画像の画質に悪影響を与えてしまうという問題がある。
【０００７】
本発明は、上記事情に鑑み、動画像のフレーム画像の補正値を求め、補正済み動画像のちらつきを確実に解消することができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理方法は、動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出し、
前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求め、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出し、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の目標特徴量として求め、
前記各フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求めることを特徴とするものである。
【０００９】
ここで、時間方向において仮補正済みフレーム画像の特徴量が平滑に変化するように仮補正済みフレーム画像の特徴量を調整することとは、補正済みフレーム画像の特徴量推移を抑制することを意味し、具体的には、例えば、注目する仮補正済みフレーム画像の特徴量と、この仮補正済みフレーム画像の前および／または後の仮補正済みフレームの特徴量とに対して平均を取って得た値を注目する仮補正済みフレーム画像の目標特徴量としたり、連続する複数の仮補正済みフレーム画像の特徴量に対してローパスフィルタを適用して得た値をこの複数の仮補正済みフレーム画像の夫々の目標特徴量としたり、連続する複数の仮補正済みフレーム画像の特徴量に対して補間処理を施して得た値をこの複数の仮補正済みフレーム画像の夫々の目標特徴量としたりするなどの方法を用いることができる。なお、ローパスフィルタを適用する処理や、補間処理などは、仮補正済みフレーム画像の特徴量の変化を平滑化するためのものであるので、フィルタとしては高次なローパスフィルタ、補間方法としてはスプライン補間法を用いることが好ましい。
【００１０】
本発明の画像処理方法は、動画像を構成する各フレーム画像に対して前記目標特徴量を求め、フレーム画像の特徴量がこの目標特徴量となるように各フレーム画像の目的補正値を求めるものであるが、全てのフレーム画像に対して、前記仮補正値を求める処理、前記仮補正済みフレーム画像の特徴量を求める処理、および前記目標特徴量を求める処理を行うようにしてもよいが、処理時間を節約するために、動画像を構成する各フレーム画像から選択された参照フレーム画像に対してのみ、前記仮補正値を求める処理、前記仮補正済みフレーム画像を得る処理、および前記目標特徴量を求める処理を施して参照フレーム画像の目標特徴量を得、参照フレーム画像の目標特徴量を補間することによって各フレーム画像の目標特徴量を求めるようにしてもよい。
【００１１】
本発明の画像処理方法において、前記動画像を構成するフレーム画像の縮小画像を用いて前記目的補正値を求めるまでの処理を行うことが好ましい。
【００１２】
本発明の画像処理方法は、前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正する処理まで行ってもよい。
【００１３】
本発明の画像処理装置は、動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出する特徴量算出手段と、
前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
該仮補正値算出手段により求められた前記仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する仮補正手段と、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の目標特徴量として求める目標特徴量算出手段と、
前記特徴量算出手段により求められた前記各フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求める目的補正値算出手段とを有してなることを特徴とするものである。
【００１４】
本発明の画像処理装置は、前記仮補正値算出手段、前記仮補正手段、および前記目標特徴量算出手段が、前記動画像を構成する各々のフレーム画像のうちから選択された参照フレーム画像に対してのみ行うものであり、
前記参照フレーム画像を用いて得られた各々の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する各々のフレーム画像の前記目標特徴量を得る補間手段を有するものであってもよい。
【００１５】
また、各前記手段は、前記動画像を構成するフレーム画像の縮小画像を用いて夫々の処理を行うものであることが好ましい。
【００１６】
さらに、本発明の画像処理装置は、前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正する補正手段をさらに有するものであってもよい。
【００１７】
なお、本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供するようにしてもよい。
【発明の効果】
【００１８】
本発明によれば、動画像を構成する複数のフレーム画像に対して仮補正値を求め、この仮補正値による仮補正を行って得られる仮補正済みフレーム画像の特徴量が時間方向において平滑に変化するようにして各仮補正済みフレームの特徴量を調整して得た値を目標特徴量とし、フレーム画像の特徴量がこの目標特徴量と略等しくなるように各フレーム画像の目的補正値を求めるようにしているので、目的補正値が、仮補正による画質向上の効果を生かしつつ、目標特徴量、すなわち補正後のフレーム画像の特徴量の推移を直接抑制するようにして得たものであるので、仮補正値推移のみを抑制する従来の方法より確実に補正済み動画像のちらつきを解消することができると共に、ＤＳＣなどにおいて行われた不適切な補正に起因する補正の不連続性も解消することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して、本発明の実施形態について説明する。
【００２０】
図１は、本発明の第１の実施形態となる画像処理装置Ａの構成を示すブロック図である。なお、図１に示す画像処理装置Ａの構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネットなどのネットワークを介して配布され、コンピュータにインストールされることになる。また、本実施形態の画像処理装置Ａは、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃプレーヤやコンピュータ、ゲーム機器や、ＤＶ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ）カメラなどと接続して動画像を取り込んだり、インターネットなどのネットワークを介して配信される動画像を受信したり、動画像を記録したＤＶＤなどの記録媒体から動画像を読み出したりするなどによって動画像を取得するものである。また、前述したように、デジタル画像に対して行う画質補正が様々であり、本実施形態の画像処理装置Ａは、例として動画像に対して露光補正を行うものとする。
【００２１】
図１に示すように、本実施形態の画像処理装置Ａは、動画像を構成する複数のフレーム画像を取得する画像入力手段１と、フレーム画像を縮小して縮小フレーム画像を得る縮小手段１０と、縮小フレーム画像の特徴量を算出する特徴量算出手段１５と、特徴量算出手段１５により算出された特徴量を用いて仮補正値を求める仮補正値算出手段２０と、仮補正値算出手段２０により求められた仮補正値を用いて縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量を算出する仮補正手段２５と、仮補正済み縮小フレーム画像の特徴量を用いて各縮小フレーム画像の目標特徴量を求める目標特徴量算出手段３０と、特徴量算出手段１５により算出された特徴量が、目標特徴量算出手段３０により求められた目標特徴量になるように各フレーム画像の目的補正値を求める目的補正値算出手段４０と、目的補正値算出手段４０により求められた目的補正値を用いて各フレーム画像に対して補正を行って補正済み動画像を得る補正手段５０とを有してなる。
【００２２】
特徴量算出手段１５は、縮小手段１０により取得された縮小フレーム画像に対して、図２に示す濃度ヒストグラムを作成する。このとき、縮小フレーム画像の画素数のα倍をｍとし、濃度Ｙの高い方からｍ番目の濃度値をＹｍａｘ、濃度Ｙの低い方からｍ番目の濃度値をＹｍｉｎとし、下記の式（１）によりヒストグラムの中間値Ｙ０を求める。
【００２３】
Ｙ０＝（Ｙｍｉｎ＋Ｙｍａｘ）／２                （１）
特徴量算出手段１５は、この中間値Ｙ０を縮小フレーム画像の特徴量として仮補正値算出手段２０および仮補正手段２５に出力する。図３(ａ)中細線は、特徴量算出手段１５により算出された各縮小フレーム画像の特徴量Ｙ０を示している。
【００２４】
仮補正値算出手段２０は、特徴量となる中間値Ｙ０を用いて、式（２）に従って、縮小フレーム画像を露光補正するための補正値γ０を求める。
【００２５】
γ０＝Ｙｄ−Ｙ０                                （２）
ここで、Ｙｄは目標濃度であり、例えば標準光源の下における人物の肌領域の情報から推定することによって決定すればよい。または、例えば特開２０００−１０１８６０や、特開２０００−１９６８９０などに記載された方法を用いて求めるようにしてもよい。
【００２６】
仮補正値算出手段２０は、この補正値γ０を縮小フレーム画像の仮補正値として、仮補正手段２５に出力する。図３（ｂ）中細線は、仮補正値算出手段２０により算出された各縮小フレーム画像の仮補正値γ０を示している。
【００２７】
仮補正手段２５は、仮補正値算出手段２０により得られた仮補正値γ０と、特徴量算出手段１５により得られた特徴量Ｙ０とを用いて、下記の式（３）に従って、仮補正値γ０を用いて縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量Ｙ１を求める。
【００２８】
Ｙ１＝Ｙ０＋γ０                    （３）
但し、Ｙ１：仮補正後の特徴量
Ｙ０：仮補正前の特徴量
γ０  ：仮補正値  
ここで、処理の高速化を図るために、縮小フレーム画像に対して仮補正を行わずに直接仮補正済み縮小フレーム画像の特徴量Ｙ１を求めるようにしているが、縮小フレーム画像に対して仮補正を行って仮補正済み縮小フレーム画像を得てから仮補正済み縮小フレーム画像の特徴量を求めるようにしてもよい。具体的には、下記の式（４）に従って、縮小フレーム画像に対して露光補正を行って、仮補正済み縮小フレーム画像を得る。
【００２９】
Ｙ’＝Ｙ＋γ０                            （４）
但し、Ｙ’：仮補正後の濃度値
Ｙ  ：仮補正前の濃度値
γ０  ：仮補正値  
そして、仮補正済み縮小フレーム画像に対して、特徴量算出手段１５と同じようにその濃度のヒストグラムの中間値を算出して仮補正済み縮小フレーム画像の特徴量Ｙ１とすればよい。
【００３０】
図３（ａ）中点線は、仮補正手段２５により求められた仮補正済み縮小フレーム画像の特徴量Ｙ１を示している、図示のより、仮補正済み縮小フレーム画像の特徴量Ｙ１は、時間方向における変動が大きく、このようなフレーム画像により構成される動画像を再生すると、ちらつきが生じてしまう。
【００３１】
目標特徴量算出手段３０は、仮補正済み縮小フレーム画像の特徴量が時間方向において平滑に変化するように各仮補正済み縮小フレーム画像の特徴量を調整して目標特徴量を得るものであり、ここでは、１つの仮補正済み縮小フレーム画像の特徴量と、その前後の１つずつの仮補正済み縮小フレーム画像（ここでは、例として前後１つずつの仮補正済み縮小フレーム画像を用いたが、前後２つ以上の仮補正済み縮小フレーム画像を用いてもよい）の特徴量との平均を取って該仮補正済み縮小フレーム画像が対応する縮小フレーム画像の目標特徴量Ｙ２として算出する。図３（ａ）中太線は、目標特徴量算出手段３０により各縮小フレーム画像に対して求められた目標特徴量Ｙ２を示している。図示のように、目標特徴量Ｙ２は、時間方向において平滑に変化するように調整されている。
【００３２】
目的補正値算出手段４０は、特徴量算出手段１５により求められた縮小フレーム画像の特徴量Ｙ０が、目標特徴量算出手段３０により求められた目標特徴量Ｙ２になるように、下記の式（５）に従って補正値γ１を求め、この補正値γ１をフレーム画像の目的補正値として補正手段５０に出力する。
【００３３】
γ１＝Ｙ２−Ｙ０    （５）
但し，Ｙ０：補正前の特徴量
Ｙ２：目標特徴量
γ１：目的補正値
図３（ｂ）中太線は、目的補正値算出手段４０により各縮小フレーム画像に対して求められた目的補正値γ１を示している。
【００３４】
補正手段５０は、目的補正値γ１を用いて下記の式（６）に従って、画像入力手段１により得られたフレーム画像に対して補正を行って補正済み動画像を得る。
【００３５】
ＹＹ＝Ｙ＋γ１                      （６）
但し、ＹＹ：補正後の濃度値
Ｙ  ：補正前の濃度値
γ１  ：目的補正値  
図３（ｃ）は、本実施形態の画像処理装置Ａによる補正の結果を示すものであり、図中細線は、補正前の動画像を構成する各フレーム画像の特徴量を示しており、図中太線は、補正済み動画像を構成する各フレーム画像の特徴量を示している。図示のように、本実施形態の画像処理装置Ａによれば、フレーム画像の特徴量が時間方向における変動が微弱ではないような動画像に対しても、補正済み動画像の各フレーム画像の特徴量が平滑に変化するように補正されているため、補正済み動画像のちらつきを確実に解消している。
【００３６】
次いで図４のフローチャートを参照して本実施形態の画像処理装置Ａにおいて行われる処理を説明する。なお、図４のフローチャートは、動画像を構成する１つのフレーム画像に対して行われる処理を示すものであり、本実施形態の画像処理装置Ａは、図４に示す処理を動画像を構成する各フレーム画像に対して行って補正済み動画を得る。
【００３７】
図４に示すように、画像入力手段１により得られたフレーム画像が、縮小手段１０により縮小されて縮小フレーム画像となる（Ｓ１０、Ｓ１２）。特徴量算出手段１５は、この縮小フレーム画像から特徴量Ｙ０を算出する（Ｓ１４）。仮補正値算出手段２０は、特徴量Ｙ０に基づいて、露光補正のための仮補正値γ０を算出し（Ｓ１６）、仮補正手段２５は、仮補正値γ０およびステップＳ１４において算出された特徴量Ｙ０を用いて仮補正済み縮小フレーム画像の特徴量Ｙ１を算出する（Ｓ１８）。目標特徴量算出手段３０は、この仮補正済み縮小フレーム画像の特徴量と、この仮補正済みフレーム画像の前後の１つずつの仮補正済み縮小フレーム画像の特徴量との平均値を求めて、この仮補正済みフレーム画像の目標特徴量Ｙ２とする（Ｓ２０）。目的補正値算出手段４０は、ステップＳ１４において算出された特徴量Ｙ０が、ステップＳ２０において算出された目標特徴量Ｙ２になるように目的補正値γ１を算出する（Ｓ２２）。補正手段５０は、目的補正値γ１を用いて、画像入力手段１により得られたフレーム画像を補正する（Ｓ２４）。
【００３８】
図５は、本発明の第２の実施形態となる画像処理装置Ｂの構成を示すブロック図である。図示のように、本実施形態の画像処理装置Ｂは、動画像を構成する複数のフレーム画像を取得する画像入力手段１０１と、フレーム画像を縮小して縮小フレーム画像を得る縮小手段１１０と、縮小フレーム画像の特徴量を算出する特徴量算出手段１１５と、動画像を構成する各フレーム画像から参照フレーム画像を選択すると共に、特徴量算出手段１１５により算出された特徴量のうち、参照フレーム画像の縮小フレーム画像の特徴量のみを仮補正値算出手段１２０に出力する参照フレーム画像選択手段１１８と、参照フレーム画像選択手段１１８から出力された特徴量を用いて仮補正値を求める仮補正値算出手段１２０と、仮補正値算出手段１２０により求められた仮補正値を用いて参照フレーム画像の縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量を算出する仮補正手段１２５と、仮補正済み縮小フレーム画像の特徴量を用いて各参照フレーム画像の目標特徴量を求める目標特徴量算出手段１３０と、目標特徴量算出手段１３０により算出された参照フレーム画像の目標特徴量に対して補間処理を行うことによって参照フレーム画像以外のフレーム画像の目標特徴量も求める補間手段１３５と、特徴量算出手段１１５により算出された特徴量が、目標特徴量算出手段１３０または補間手段１３５により求められた目標特徴量になるように各フレーム画像の目的補正値を求める目的補正値算出手段１４０と、目的補正値算出手段１４０により求められた目的補正値を用いて各フレーム画像に対して補正を行って補正済み動画像を得る補正手段１５０とを有してなる。
【００３９】
本実施形態の画像処理装置Ｂは、動画像を構成する各フレーム画像に対して同じように、仮補正値の算出、仮補正済み縮小フレーム画像の特徴量の算出、目標特徴量の算出を行う代わりに、参照フレーム画像選択手段１１８により選択された参照フレーム画像に対してのみ上述処理を行って参照フレーム画像の目標特徴量を得、補間手段１３５により各々の参照フレーム画像の目標特徴量に対して補間処理を行って参照フレーム画像以外のフレーム画像の目標特徴量を得るようにして動画像を構成する各フレーム画像の目標特徴量を得る点および、目標特徴量算出手段１３０による参照フレーム画像の目標特徴量の算出方法以外、図１に示す実施形態の画像処理装置Ａと同じである。ここで、図６に示すフローチャートを参照して画像処理装置Ｂにおいて行われる処理を説明する。
【００４０】
図６のフローチャートに示すように、画像処理装置Ｂにおいて、画像入力手段１０１により得られたフレーム画像が、縮小手段１１０により縮小されて縮小フレーム画像となる（Ｓ１１０、Ｓ１１２）。特徴量算出手段１１５は、各フレーム画像から特徴量Ｙ０を算出する（Ｓ１１４）。参照フレーム画像選択手段１１８は、まず、動画像を構成する各フレーム画像のうちの参照フレーム画像を決定する。本実施形態において、参照フレーム画像選択手段１１８は、時間方向におけるフレーム画像間の類似度を求め、参照フレーム画像の間隔を決定するようにして参照フレーム画像を選択する。ここで類似度としては例えば相関が大きいほど類似度が高いように、フレーム画像間の相関を用いることができる。また、決められた参照フレーム画像の間隔がｎ（ｎ：２以上の整数）であるとすれば、動画像を構成する各フレーム画像（フレーム画像１、フレーム画像２、．．．）のうちのフレーム画像１、フレーム画像（ｎ＋１）、フレーム画像（２ｎ＋１）、フレーム画像（３ｎ＋１）．．．のフレーム画像が参照フレーム画像となる。そして、参照フレーム画像選択手段１１８は、選択した参照フレーム画像が対応する縮小フレーム画像の特徴量Ｙ０のみを仮補正値算出手段１２０に出力する（Ｓ１１６）。仮補正値算出手段１２０は、参照フレーム画像選択手段１１８から出力された参照フレーム画像の特徴量Ｙ０に基づいて、露光補正のための仮補正値γ０を算出し（Ｓ１１８）、仮補正手段１２５は、仮補正値γ０および特徴量Ｙ０を用いて参照フレーム画像の仮補正済み縮小フレーム画像の特徴量Ｙ１を算出する（Ｓ１２０）。目標特徴量算出手段１３０は、各参照フレーム画像の仮補正済み縮小フレーム画像の特徴量に対して、ローパスフィルタを適用することによって時間方向における変動を平滑して得た値を参照フレーム画像の目標特徴量Ｙ２とする（Ｓ１２２）。補間手段１３５は、参照フレーム画像の目標特徴量に対して時間方向における補間処理を行って、参照フレーム画像以外のフレーム画像の目標特徴量も取得する（Ｓ１２４）。なお、ここでは、補間処理の方法としては、スプライン補間を用いたが、線形補間など他の補間方法を用いてもよい。
【００４１】
目的補正値算出手段１４０は、フレーム画像が参照フレーム画像であるか否かに応じて、ステップＳ１１４において算出された特徴量Ｙ０が、ステップＳ１２２において算出された参照フレーム画像の目標特徴量Ｙ２またはステップＳ１２４において算出された参照フレーム画像以外のフレーム画像の目標特徴量Ｙ２になるように目的補正値γ１を算出する（Ｓ１２６）。補正手段１５０は、目的補正値γ１を用いて、画像入力手段１により得られたフレーム画像を夫々補正して補正済み動画像を得る（Ｓ１２８）。
【００４２】
このように、本実施形態の画像処理装置Ｂによれば、図１に示す画像処理装置Ａと同様な効果を得ることができると共に、仮補正値の算出、仮補正済み縮小フレーム画像の特徴量の算出などの処理は、参照フレーム画像に対してのみ行うようにしているので、処理の高速化を図ることができる。
【００４３】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、上述した各実施形態の構成を組み合わせたり、増減、変化を加えたりすることができる。
【００４４】
例えば、上述した２つの実施形態は、縮小フレーム画像に対して特徴量の算出から目的補正値までの処理を行うようにして処理の高速化を図っているが、フレーム画像を縮小せずにこれらの処理を行うようにしてもよい。また、縮小フレーム画像を縮小して処理する場合において、要求される処理時間や、元のフレーム画像の解像度に応じて縮小率を調整することができるようにしてもよい。
【００４５】
また、画像処理装置Ａにおいては、仮補正済みフレーム画像の特徴量を移動平均することによって目標特徴量を求め、画像処理装置Ｂにおいては、仮補正済みフレーム画像の特徴量にローパスフィルタを適用することによって目標特徴量を求めるようにしているが、本発明の画像処理方法および装置は、スプライン補間など、仮補正済みフレーム画像の特徴量が時間方向において平滑に変化するようにすることができるいかなる方法で仮補正済みフレーム画像の特徴量を調整して目標特徴量を得るようにしてもよい。
【００４６】
また、画像処理装置Ａと画像処理装置Ｂは、フレーム画像の特徴量として濃度のヒストグラムの中間値Ｙ０を用いたが、フレーム画像内の濃度の平均値、メディアンなどの代表値を特徴量として用いるようにしてもよい。
【００４７】
また、上述した２つの実施形態に用いられた濃度の代わりに、輝度などを用いてもよい。
【００４８】
また、画像処理装置Ａと画像処理装置Ｂは、例として動画像に対して露光補正を行うものであるが、本発明の画像処理方法および装置は、露光補正に限らず、前述したホワイトバランス補正、彩度補正、コントラスト補正、シャープネス補正、色補正などの他の画質補正およびこれらの画質補正の組合せにも適用することができる。
【００４９】
また、画像処理装置Ａおよび画像処理装置Ｂは、フレーム画像に対して求めた目的補正値を用いて補正を行うまでの処理を行っているが、補正を実行せずに、元の動画像に目的補正値を付属させて記録媒体に記録したり、ネットワーク上の処理装置に送信したりなどをして、指示がされたときに補正を実行するようにしてもよい。
【００５０】
また、動画像における場面の切替わりを示すカット点を検出し、同じ場面のフレーム画像、すなわち隣接する２つのカット点内のフレーム画像内において、仮補正済みフレーム画像の特徴量の変化を平滑する調整を行うようにすることによって、カット点付近のフレーム画像の補正値が、このフレーム画像と異なる場面のフレーム画像の特徴量に影響されることを防ぐようにしてもよい。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施形態となる画像処理装置Ａの構成を示すブロック図
【図２】フレーム画像の特徴量を説明するための図
【図３】画像処理装置Ａの動作を説明するための図
【図４】画像処理装置Ａにおいて行われる処理を示すフローチャート
【図５】本発明の第２の実施形態となる画像処理装置Ｂの構成を示すブロック図
【図６】画像処理装置Ｂにおいて行われる処理を示すフローチャート
【符号の説明】
【００５２】
１，１０１    画像入力手段
１０，１１０    縮小手段
１５，１１５    特徴量算出手段
２０，１２０    仮補正値算出手段
２５，１２５    仮補正手段
３０，１３０    目標特徴量算出手段
４０，１４０    目的補正値算出手段
５０，１５０    補正手段
１１８    参照フレーム画像選択手段
１３５    補間手段
γ０    仮補正値
γ１    目的補正値
【図１】
2005269192.tif 000003
【図２】
2005269192.tif 000004
【図３】
2005269192.tif 000005
【図４】
2005269192.tif 000006
【図５】
2005269192.tif 000007
【図６】
2005269192.tif 000008