(57)【要約】【課題】動画像に対する階調補正処理は１フレームずつ行われるため、各フレームで補正値が異なり、各フレームでの微少な変化が大きく補正されてしまう。従って、動画像として再生した場合に、該補正結果が不安定な画像の変化として反映され、特に背景等の静止部分に対しては望ましくない変化が生じてしまう。【解決手段】動静領域判定器３において動画像のフレーム画像を動領域と静領域に分割する。そして、それぞれの領域における特徴量としてのヒストグラムに基づいて、ヒストグラム平滑器１０３、補正値算出器１０４およびＬＵＴ生成器１０５により、階調補正用のＬＵＴを生成する。また、重み付け演算器１０１，１０２で特に静領域の特徴量を重視することにより、静領域における補正の安定化が図れる。【選択図】  図３
2008300980.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する画像データを入力する画像入力手段と、
前記画像データを動領域と静領域に分割する領域分割手段と、
前記画像データの動領域から動領域特徴量を算出する動領域特徴量算出手段と、
前記画像データの静領域から静領域特徴量を算出する静領域特徴量算出手段と、
前記動領域特徴量および静領域特徴量に基づいて階調補正用のテーブルを生成するテーブル生成手段と、
前記テーブル生成手段で生成されたテーブルに基づいて、前記画像データを補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記動領域特徴量と前記静領域特徴量を平滑化する特徴量平滑化手段をさらに有し、
前記テーブル生成手段は、前記特徴量平滑化手段で平滑化された前記動領域特徴量と前記静領域特徴量に基づいて、前記テーブルを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動領域特徴量に対して第１の重みによる重み付けを行い、前記静領域特徴量に対して前記第１の重みよりも大きい第２の重みによる重み付けを行う特徴量加重手段をさらに有し、
前記特徴量平滑化手段は、前記特徴量加重手段によって重み付けされた前記動領域特徴量および前記静領域特徴量の平均をとることにより平滑化することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記動領域特徴量および前記静領域特徴量は、輝度ヒストグラムであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記動領域特徴量および前記静領域特徴量は、輝度ヒストグラムから求められる補正値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正値はハイライト値およびシャドウ値であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動領域特徴量および前記静領域特徴量は、階調補正用のテーブルデータであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項８】
前記領域分割手段は、前記画像データを、その直前のフレームにあたる画像データとの差分に基づいて、動領域と静領域に分割することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
画像入力手段が、動画像を構成する画像データを入力する画像入力ステップと、
領域分割手段が、前記画像データを動領域と静領域に分割する領域分割ステップと、
動領域特徴量算出手段が、前記画像データの動領域から動領域特徴量を算出する動領域特徴量算出ステップと、
静領域特徴量算出手段が、前記画像データの静領域から静領域特徴量を算出する静領域特徴量算出ステップと、
テーブル生成手段が、前記動領域特徴量および静領域特徴量に基づいて階調補正用のテーブルを生成するテーブル生成ステップと、
補正手段が、前記テーブル生成手段で生成されたテーブルに基づいて、前記画像データを補正する補正ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータ上で実行されることにより、該コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に、動画像の階調を補正する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像データの階調を補正することによってコントラスト、ホワイトバランス、カラーバランスなどを制御する方法としては、これまでに種々の方法が提案されてきている。例えば図１２に示すように、画像のハイライト部における色の偏りの比率によって画像の特徴を判別し、その結果によってホワイトバランス補正の度合いを調整する階調補正方法が開示されている（例えば、特許文献１参照）。該方法によればさらに、同時にコントラスト、ハイライト、シャドウを適切に補正することによって、物体の色を忠実に再現することができる。
【０００３】
一方、動画像においても同様に、画像のコントラスト、ホワイトバランス、カラーバランス等を補正する必要がある。
【特許文献１】特開平１１−３１７９５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の階調補正方法を動画像に適用する場合、補正処理は１フレームずつ行われるため、各フレームで補正値が異なってくる。したがって動画像においては、各フレームでの微少な変化が大きく補正されてしまい、動画像として再生した場合に、その補正の結果が不安定な画像の変化として反映されてしまうことがある。特に、背景等の静止部分に対しても、一部の動画部分の影響によって画質が補正されるため、望ましくない変化が生じてしまう。
【０００５】
本発明は上述した問題を解決するためになされたものであり、以下のような機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、動画像を構成する画像データに対し、動領域と静領域を考慮した適切な階調補正処理を実現する。さらに、静領域が安定するような階調補正処理を実現する。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００７】
すなわち、動画像を構成する画像データを入力する画像入力手段と、前記画像データを動領域と静領域に分割する領域分割手段と、前記画像データの動領域から動領域特徴量を算出する動領域特徴量算出手段と、前記画像データの静領域から静領域特徴量を算出する静領域特徴量算出手段と、前記動領域特徴量および静領域特徴量に基づいて階調補正用のテーブルを生成するテーブル生成手段と、前記テーブル生成手段で生成されたテーブルに基づいて、前記画像データを補正する補正手段と、を有することを特徴とする。
【０００８】
さらに、前記動領域特徴量と前記静領域特徴量を平滑化する特徴量平滑化手段を有し、前記テーブル生成手段は、前記特徴量平滑化手段で平滑化された前記動領域特徴量と前記静領域特徴量に基づいて、前記テーブルを生成することを特徴とする。
【０００９】
さらに、前記動領域特徴量に対して第１の重みによる重み付けを行い、前記静領域特徴量に対して前記第１の重みよりも大きい第２の重みによる重み付けを行う特徴量加重手段を有し、前記特徴量平滑化手段は、前記特徴量加重手段によって重み付けされた前記動領域特徴量および前記静領域特徴量の平均をとることにより平滑化することを特徴とする。
【発明の効果】
【００１０】
以上の構成からなる本発明によれば、動画像を構成する画像データに対し、動領域と静領域を考慮した適切な階調補正処理が可能となる。
【００１１】
さらに、静領域が安定するような階調補正処理が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
＜第１実施形態＞
図１は、本実施形態における画像補正装置の機能構成を示すブロック図である。同図において、１，２は動画像のフレーム画像を格納するフレームメモリであり、フレームメモリ１は入力されたフレーム画像を、フレームメモリ２は１フレーム前のフレーム画像を格納する。ここでは説明を平易にするために、処理対象となる画像データをフレーム画像とするが、該処理対象画像がフィールドを単位とするフィールド画像であっても構わない。３は、フレームメモリ１の入力フレーム画像とフレームメモリ２の１フレーム前のフレーム画像とを比較して、動領域と静領域を判定する動静領域判定器である。ここで動領域とは、入力されたフレーム画像において動きのある領域であり、静領域とは、動きがほとんど無い領域である。４，１１はセレクタであり、フレームメモリ１からフレーム画像を画素単位で読み出し、動静領域判定器３による判定結果によって出力先を切り替える。
【００１４】
５，６は、フレーム画像の各輝度値の出現頻度を計数して、輝度ヒストグラムを生成するヒストグラム生成器である。ヒストグラム生成器５は動領域の画素を対象とした、動領域特徴量としてのヒストグラムを生成し、ヒストグラム生成器６は静領域の画素を対象とした、静領域特徴量としてのヒストグラムを生成する。
【００１５】
７，８は、補正を行うための補正値をヒストグラムから算出する補正値算出器であり、補正値算出器７は動領域の画素を対象とした補正値を生成し、補正値算出器８は静領域の画素を対象とした補正値を生成する。なお、本実施形態における補正値の算出方法としては、周知の方法が適用可能であるが、ここでは、上記特許文献１に記載された画像処理装置と同様に、補正値としてハイライト値ＬＨ、シャドウ値ＬＳ等を算出するものとする。
【００１６】
９，１０は補正値に基づいて階調補正用のテーブルデータを生成するＬＵＴ生成器である。ＬＵＴ生成器９は動領域の画素を対象としたテーブルデータを生成し、ＬＵＴ生成器１０は静領域の画素を対象としたテーブルデータを生成する。
【００１７】
１２，１３はそれぞれ、ＬＵＴ生成器９，１０で生成されたテーブルデータを格納するＬＵＴである。ＬＵＴ１２，１３は、フレームメモリ１から１画素ずつの画素データを読み出してこれをアドレスとし、その内容を出力することで画像の補正を行う。すなわち、ＬＵＴ１２は動領域の画像を補正し、ＬＵＴ１３は静領域の画像を補正する。１４は、補正されたフレーム画像を格納するフレームメモリである。また１５は、動画像を入力するための入力端子であり、１６は、補正された画像データを出力する出力端子である。
【００１８】
以下、図１に示す構成からなる画像補正装置における補正動作について、説明する。
【００１９】
まず、入力端子１５から入力された動画像のフレームデータが、フレームメモリ１に格納される。ここでは説明を容易にするために、フレームデータを入力輝度が１画素あたり８ビットのデータとするが、本発明はもちろんこの例に限定されない。
【００２０】
フレームメモリ１に入力されたフレーム画像は、次に動静領域判定器３に入力される。動静領域判定器３には、フレームメモリ２に格納されている１フレーム前（直前）のフレーム画像も入力されており、これら２フレームを比較することにより、フレーム内を動領域と静領域に分割する。ここで、動領域の判定方法としては周知の種々の方法が適用可能である。例えば、ブロックマッチング法等により動きベクトルを算出し、その動きの方向やエッジ等を参照して動領域を判定することができる。図１０に、動領域が判定される様子を示す。図１０の上段から中段、下段に、連続する動画像のフレームを示す。各フレームに共通する８０１は背景画像であり、基本的に動きは無い。中段および下段のフレームにおいて、動きのある飛行機の画像８００が出現している。上段の背景のみのフレームに対し、次の中段フレームに示すように動きのある飛行機の画像８００が入ってきた場合、上段と中段の間の差分を求めることで、図１１に示すように動領域８１１を分離することができる。なお、図１１においては静領域８１０を黒で表現している。
【００２１】
セレクタ４は、フレームメモリ１からフレーム画像を画素単位で読み出し、動静領域判定器３による判定結果に応じて、出力先をヒストグラム生成器５またはヒストグラム生成器６の何れかに切り替える。すなわち、動静領域判定器３の結果が動領域にある画素であればヒストグラム生成器５に、静領域にある画素であればヒストグラム生成器６に出力する。
【００２２】
ヒストグラム生成器５においては、動領域に含まれる画素に関してヒストグラムを生成する。以下では、各輝度値Ｐに対して、その動領域ヒストグラムの各値をＨｍ(Ｐ)とする。フレームメモリ１にフレーム画像が入力されたタイミングで、全ての輝度値Ｐ（Ｐ＝０,…,２５５）に対するヒストグラムＨｍ(Ｐ)は、以下のように０にリセットされる。
【００２３】
Ｈｍ(Ｐ)＝０  （但しＰ＝０,…,２５５）      …（１）
また、動領域に含まれる画素を計数する計数値Ｃｍを０とする。
【００２４】
そして、入力されたｉ番目の画素の輝度値をＰｉとすると、
Ｈｍ(Ｐi)＝Ｈｍ(Ｐi)＋１                    …（２）
Ｃｍ＝Ｃｍ＋１
として計数してヒストグラムデータを生成する。
【００２５】
ヒストグラム生成器６においても同様に、静領域に含まれる画素に関してヒストグラムを生成する。各輝度値Ｐに対してその静領域ヒストグラムの各値をＨｓ(Ｐ)、静領域に含まれる画素を計数する計数値をＣｓとし、静領域についても動領域と同様に、ヒストグラムのリセットと計数を行う。
【００２６】
全画素についてヒストグラムの生成と計数が終了したら、その結果を補正値算出器７,８に入力する。補正値算出器７は、上述した特許文献１に記載された技術と同様に、動領域のハイライト値ＬＨｍ、シャドウ値ＬＳｍ等を算出する。補正値算出器８も同様に、静領域のハイライト値ＬＨｓ、シャドウ値ＬＳｓ等を算出する。
【００２７】
以上のように算出された動領域の補正値はＬＵＴ生成器９に、静領域の補正値はＬＵＴ生成器１０に入力される。ＬＵＴ生成器９，１０はそれぞれ、入力値と画像補正された値との関係を示すテーブルデータを生成する。生成されたテーブルデータはＬＵＴ１２とＬＵＴ１３に格納される。
【００２８】
セレクタ１１は、フレームメモリ１からフレーム画像を画素単位で読み出し、動静領域判定器３による判定結果に基づいて出力先をＬＵＴ１２，ＬＵＴ１３の何れかに切り替える。すなわち、動領域に含まれる画素データはＬＵＴ１２に、静領域に含まれる画素データはＬＵＴ１３に入力される。
【００２９】
ＬＵＴ１２，１３においては、それぞれに格納されたテーブルデータにしたがって入力された画素データを補正し、その結果がフレームメモリ１４に格納される。フレームメモリ１４の内容は端子１６から出力される。その後、フレームメモリ１の内容はフレームメモリ２に移される。
【００３０】
以上説明した本実施形態における画像処理の簡単な流れを、図２のフローチャートを用いて説明する。
【００３１】
まずステップＳ１にて、各部を初期化する。これにより、各フレームメモリは０クリアされる。そしてステップＳ２にて、終了判定を行う。すなわち、処理対象の動画像における全てのフレームに対して処理が終了していれば、そのまま処理を終了するが、未終了であればステップＳ３に進む。
【００３２】
ステップＳ３ではフレーム画像を入力し、ステップＳ４にて、入力された画像を動領域と静領域に分割する。この領域分割後、ステップＳ５にて、入力されたフレーム画像から動領域のヒストグラムデータを生成し、ステップＳ６にて、入力されたフレーム画像から静領域のヒストグラムデータを生成する。
【００３３】
そしてステップＳ７にて、動領域のヒストグラムから動領域の補正値を算出し、ステップＳ８にて、静領域のヒストグラムから静領域の補正値を算出する。
【００３４】
そしてステップＳ９にて、動領域の補正値から動領域のテーブルデータを生成し、ステップＳ１０にて、静領域の補正値から静領域のテーブルデータを生成する。
【００３５】
そしてステップＳ１１にて、処理対象のフレーム画像について、動領域と静領域に分け、生成したテーブルデータによる補正を行って出力する。そしてステップＳ２に進んで次のフレームの処理を行う。
【００３６】
以上説明したように本実施形態によれば、まず領域分割手段（動静領域判定器３，セレクタ４）によってフレーム画像を動領域と静領域に分割する。そして、動領域特徴量算出手段（ヒストグラム生成器５）および静領域特徴量算出手段（ヒストグラム生成器６）で動領域特徴量および静領域特徴量をそれぞれ算出する。そしてテーブル生成手段（ＬＵＴ生成器１０５）で、該動領域特徴量および静領域特徴量に基づいて階調補正用テーブルを生成し、該テーブルに基づいて当該フレーム画像を補正する。
【００３７】
このように、フレーム画像を動領域と静領域とに分割して画像処理を行うことにより、各領域に最適な画像補正が可能になる。
【００３８】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００３９】
図３は、第２実施形態における画像処理装置の構成を示すブロック図である。図３において上述した第１実施形態の図１と同様の機能を果たす構成については同一符号を付し、説明を省略する。
【００４０】
図３において、１０１，１０２はヒストグラムに重み付けを行う重み付け演算器である。重み付け演算器１０１は動領域のヒストグラムの各値に重み付けを行い、重み付け演算器１０２は静領域のヒストグラムの各値に重み付けを行う。１０３は、重み付けがなされたヒストグラムの平滑化を行うヒストグラム平滑器である。１０４は、平滑化されたヒストグラムから補正値を算出する補正値算出器である。なお、第２実施形態における補正値の算出方法としては、周知の方法が適用可能である。１０５は、補正値に基づいて階調補正用のテーブルデータを生成するＬＵＴ生成器である。１０６は、ＬＵＴ生成器１０５で生成されたテーブルデータを格納するＬＵＴであり、フレームメモリ１から１画素ずつの画素データを読み出してこれをアドレスとし、その内容を出力することで画像の補正を行う。  以下、上記のように構成された第２実施形態の画像処理装置における画像補正動作について説明する。
【００４１】
上述した第１実施形態と同様に、入力端子１５から入力された動画像のフレームデータはフレームメモリ１に格納される。すると動静領域判定器３が画像内を動領域と静領域に分割し、セレクタ４はその結果に従って動領域の画素値をヒストグラム生成器５に入力し、静領域の画素値をヒストグラム生成器６に入力する。そして、ヒストグラム生成器５においては動領域のヒストグラムを、ヒストグラム生成器６においては静領域のヒストグラムを生成する。
【００４２】
そして重み付け演算器１０１においては、動領域のヒストグラムＨｍを入力して、第１の重み値αによる重み付けを行う。すなわち、輝度値Ｐとすると、重み付けされた動領域ヒストグラムＨ'ｍ(Ｐ)は、
Ｈ'ｍ(Ｐ)＝Ｈｍ(Ｐ)×α          …（３）
となる。また、計数値Ｃｍに対しても以下のように、同様の重み付けを行って、重み付けされた計数値Ｃ'ｍを得る。
【００４３】
Ｃ'ｍ＝Ｃｍ×α                  …（４）
一方、重み付け演算器１０２においては、静領域のヒストグラムＨｓを入力して、第２の重み値βによる重み付けを行う。但し、β＞αであり、静領域に対する重みが大きくなるように制御する。すなわち、輝度値Ｐとすると、重み付けされた静領域ヒストグラムＨ'ｓ(Ｐ)は、
Ｈ'ｓ(Ｐ)＝Ｈｓ(Ｐ)×β          …（５）
となる。また、計数値Ｃｓに対しても以下のように、同様の重み付けを行って、重み付けされた計数値Ｃ'ｓを得る。
【００４４】
Ｃ'ｓ＝Ｃｓ×β                  …（６）
ヒストグラム平滑器１０３では、これら重み付けされたヒストグラムＨ'ｍ(Ｐ)，Ｈ'ｓ(Ｐ)，計数値Ｃ'ｍ，Ｃ'ｓを入力して、加重平均による平滑化を行う。すなわち、輝度値Ｐとすると、平滑化されたヒストグラムＨ(Ｐ)は以下のようになる。
【００４５】
Ｈ(Ｐ)＝（Ｈ'ｍ(Ｐ)＋Ｈ'ｓ(Ｐ））／（Ｃ’ｍ＋Ｃ’ｓ）×２５５  …（７）
補正値算出器１０４では、上述した第１実施形態における補正値算出器７，８と同様に、ハイライト値ＬＨ、シャドウ値ＬＳ等を補正値として算出する。算出された補正値はＬＵＴ生成器１０５に入力される。ＬＵＴ生成器１０５では、入力された補正値に従って、入力値と画像補正された値との関係を示すテーブルデータを生成し、生成されたテーブルデータはＬＵＴ１０６に格納される。
【００４６】
このようにＬＵＴ１０６が生成されると、フレームメモリ１から入力された画素データはＬＵＴ１０６に従って補正され、その結果がフレームメモリ１４に格納される。フレームメモリ１４の内容は端子１６から出力される。その後、フレームメモリ１の内容はフレームメモリ２に移される。
【００４７】
以上説明した第２実施形態における画像処理の簡単な流れを、図４のフローチャートを用いて説明する。なお、図４において上述した第１実施形態の図２と同様の機能を果たす処理については同一ステップ番号を付し、説明を省略する。
【００４８】
まず、上述した第１実施形態と同様にステップＳ１〜Ｓ６にて、各部を初期化し、フレーム画像を入力して動領域と静領域に分割し、各領域についてのヒストグラムデータを生成する。
【００４９】
そしてステップＳ１００において、動領域のヒストグラムと静領域のヒストグラムに対してそれぞれ重み付けを行って加算し、加重平均されたヒストグラムを算出する。
【００５０】
次にステップＳ１０１にて、加重平均されたヒストグラムから補正値を算出し、ステップＳ１０２にて、補正値から階調補正用テーブルデータを生成する。
【００５１】
そしてステップＳ１０３にて、処理対象のフレーム画像について、生成したテーブルデータによる補正を行って出力する。そしてステップＳ２に進んで次のフレームの処理を行う。
【００５２】
以上説明したように第２実施形態によれば、以下の効果が得られる。すなわち、動領域の特徴量であるヒストグラムと静領域の特徴量であるヒストグラムに対して、特徴量加重手段（重み付け演算器１０１，１０２）で静領域の重みを大きくした後に、特徴量平滑化手段（ヒストグラム平滑器１０３）で平滑化する。該平滑化後のヒストグラムに基づいて階調補正用ＬＵＴを生成することにより、少メモリで静状態の画質が安定するような補正を行うことができる。
【００５３】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。
【００５４】
図５は、第３実施形態における画像処理装置の構成を示すブロック図である。図５において上述した第１実施形態の図１と同様の機能を果たす構成については同一符号を付し、説明を省略する。
【００５５】
図５において、２０１，２０２はヒストグラムに基づいて補正値を算出する補正値算出器であり、上述した第１実施形態における補正値算出器７，８、および第２実施形態における補正値算出器１０４と同様に機能する。補正値算出器２０１は動領域のヒストグラムから補正値を算出し、補正値算出器２０２は静領域のヒストグラムから補正値を算出する。
【００５６】
２０３，２０４は、補正値に重み付けを行う重み付け演算器である。重み付け演算器２０３は動領域の補正値の各値に重み付けを行い、重み付け演算器２０４は静領域の補正値の各値に重み付けを行う。２０５は、補正値の平滑化を行う補正値平滑器である。
【００５７】
以下、上記のように構成された第３実施形態の画像処理装置における画像補正動作について説明する。
【００５８】
上述した第１および第２実施形態と同様に、入力端子１５から入力された動画像のフレームデータはフレームメモリ１に格納される。すると動静領域判定器３が画像内を動領域と静領域に分割し、セレクタ４はその結果に従って動領域の画素値をヒストグラム生成器５に入力し、静領域の画素値をヒストグラム生成器６に入力する。そして、ヒストグラム生成器５においては動領域のヒストグラムを、ヒストグラム生成器６においては静領域のヒストグラムを生成する。
【００５９】
そして補正値算出器２０１においては、上述した第２実施形態の補正値算出器７と同様に、動領域ハイライト値ＬＨｍ、シャドウ値ＬＳｍ等を補正値として算出する。補正値算出器２０２も同様に、第２実施形態の補正値算出器８と同様に、静領域ハイライト値ＬＨｓ、シャドウ値ＬＳｓ等を補正値として算出する。
【００６０】
重み付け演算器２０３では、動領域の補正値を入力して、値αで重み付けを行う。すなわち、重み付けされたハイライト値Ｌ'Ｈｍ、シャドウ値Ｌ'Ｓｍは、以下のようになる。
【００６１】
Ｌ'Ｈｍ＝ＬＨｍ×α          …（８）
Ｌ'Ｓｍ＝ＬＳｍ×α
同様に、重み付け演算器２０４では、静領域の補正値を入力して、値β（β＞α）で重み付けを行う。すなわち、重み付けされたハイライト値Ｌ'Ｈｓ、シャドウ値Ｌ'Ｓｓは、以下のようになる。
【００６２】
Ｌ'Ｈｓ＝ＬＨｓ×β          …（９）
Ｌ'Ｓｓ＝ＬＳｓ×β
すると補正値平滑器２０５では、これら重み付けされた補正値Ｌ'Ｈｍ，Ｌ'Ｓｍ，Ｌ'Ｈｓ，Ｌ'Ｓｓを入力して、以下のような加重平均による平滑化を行うことにより、平滑化されたそれぞれの補正値（ハイライト値ＬＨ，シャドウ値ＬＳ）が得られる。
【００６３】
ＬＨ＝Ｌ'Ｈｍ＋Ｌ'Ｈｓ          …（１０）
ＬＳ＝Ｌ'Ｓｍ＋Ｌ'Ｓｓ
以後は上述した第２実施形態と同様に、平滑化された補正値に従って、入力値と画像補正された値との関係を示すＬＵＴ１０６を生成し、フレームメモリ１から入力された画素データはＬＵＴ１０６で補正され、フレームメモリ１４に格納される。フレームメモリ１４の内容が端子１６から出力されると、フレームメモリ１の内容はフレームメモリ２に移される。
【００６４】
以上説明した第３実施形態における画像処理の簡単な流れを、図６のフローチャートを用いて説明する。なお、図６において上述した第２実施形態の図４と同様の機能を果たす処理については同一ステップ番号を付し、説明を省略する。
【００６５】
まず、上述した第１および第２実施形態と同様にステップＳ１〜Ｓ６にて、各部を初期化し、フレーム画像を入力して動領域と静領域に分割し、各領域についてのヒストグラムデータを生成する。
【００６６】
そしてステップＳ２０１において、動領域のヒストグラムから動領域の補正値を算出し、ステップＳ２０２にて、静領域のヒストグラムから静領域の補正値を算出する。
【００６７】
次にステップＳ２０３にて、動領域と静領域の補正値に重み付けを行って加算し、加重平均された補正値を算出する。そしてステップＳ２０４にて、加重平均された補正値から変換用のテーブルデータを生成する。
【００６８】
そしてステップＳ１０３にて、処理対象のフレーム画像について、生成したテーブルデータによる補正を行って出力する。そしてステップＳ２に進んで次のフレームの処理を行う。
【００６９】
以上説明したように第３実施形態によれば、以下の効果が得られる。すなわち、動領域の特徴量である補正値と静領域の特徴量である補正値に対して、特徴量加重手段（重み付け演算器２０３，２０４）で静領域の重みを大きくした後に、特徴量平滑化手段（補正値平滑器２０５）で平滑化する。該平滑化後の補正値に基づいて階調補正用ＬＵＴを生成することにより、少メモリで静状態の画質が安定するような補正を行うことができる。
【００７０】
なお、上述した第１乃至第３実施形態においては、各実施形態の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理を実行するように構成することももちろん可能である。
【００７１】
＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。
【００７２】
図７は、第４実施形態における画像処理装置の構成を示すブロック図である。図７において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）である。３０１は、本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。すなわち、メモリ３０１にはＯＳやソフトウェアを格納するエリアの他に、画像データを格納する画像エリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際のパラメータ等を格納しておくワーキングエリアが存在する。
【００７３】
３０２は、種々の装置を接続して、データや制御信号をやり取りするバスである。３０３は、装置の起動、各種条件の設定、再生の指示を行うための端末である。３０４は、ソフトウェアを蓄積する記憶装置である。３０５は、符号化データや画像データを蓄積する記憶装置である。なお、記憶装置３０４および３０５は、システムから切り離して移動できるメディアで構成しても良い。
【００７４】
３０６は、動画像をフレーム単位で獲得するカメラである。３０７は画像を表示するモニタである。３０９は通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０８は、通信回線３０９を介して符号化データを送受信する通信インターフェースである。ここでは説明を容易にするために、画像データが１画素あたり８ビットの階調を有するものとするが、本発明はもちろんこの例に限定されない。
【００７５】
以下、上記のように構成された第４実施形態の画像処理装置における画像補正動作について説明する。
【００７６】
処理に先立ち、端末３０３から装置全体に対して動画像補正処理の起動が指示され、各部が初期化される。すると記憶装置３０４に格納されている各種ソフトウェアがバス３０２を介してメモリ３０１に展開され、起動される。
【００７７】
ここで図８に、メモリ３０１におけるメモリ使用例を示す。図８に示すようにメモリ３０１にはまず、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳが格納されている。その他、第４実施形態における画像補正処理を実行するための動画補正処理ソフトウェアや、カメラ３０６を制御して動画像を１フレームずつ入力する画像入力ソフトウェア、画像をモニタ３０７に表示する画像表示ソフトウェア、等が格納されている。
【００７８】
起動時の初期化処理として、メモリ３０１上のワーキングエリアには、動領域のヒストグラムを格納するＨｍ[２５５]、静領域のヒストグラムを格納するＨｓ[２５５]が確保される。さらに、動領域のテーブルデータを格納する領域Ｌｍ[２５５]、静領域のテーブルデータを格納する領域Ｌｓ[２５５]が確保される。さらに、画像を補正するためのテーブルデータを格納するＬ０[２５５]が確保される。
【００７９】
同様に、メモリ３０１上の画像エリアには、カメラ３０６で入力された画像を１フレーム分格納する領域ＩＭ０、作業用に１フレーム前のフレーム画像を格納する領域ＩＭ１、出力するフレーム画像を格納するＩＭ２、がそれぞれ確保される。さらに、領域判定結果を格納する領域Ｓが確保される。
【００８０】
そして、メモリ３０１上の画像入力ソフトウェアが起動されると、カメラ３０６から１フレームずつフレーム画像を入力して、画像エリア上のＩＭＯに格納する。以後、画像入力ソフトウェアは順次、フレーム画像を入力して格納するが、この処理については特に言及しない。また、画像表示ソフトウェアも起動されて、フレーム画像データが画像エリア上のＩＭ２に格納されると、モニタ３０７への表示を行う。以後、画像表示ソフトウェアは順次、格納されたフレーム画像を表示する。
【００８１】
そして、動画補正処理ソフトウェアが起動され、ＣＰＵ３００の制御によって、第４実施形態における動画像補正処理が実行される。以下、第４実施形態における動画像補正処理について、図９のフローチャートを用いて説明する。
【００８２】
まずステップＳ３０１にて、各メモリ領域を０にクリアして初期化する。
【００８３】
次にステップＳ３０２にて、端末３０３から終了の指示があった等、プログラムの終了が指示されていた場合には各部をクリアし、確保した領域を開放して処理を終了する。そうでなければステップＳ３０３に進む。
【００８４】
ステップＳ３０３では、画像入力ソフトウェアによって、フレーム画像がメモリ３０１上の画像エリアＩＭ０に格納される。そしてステップＳ３０４にて、上述した第１実施形態と同様に、フレーム画像を動領域と静領域に分割し、その結果を領域Ｓに記録する。
【００８５】
そしてステップＳ３０５において、動領域のヒストグラムＨｍを生成するが、この動領域ヒストグラムＨｍ[]の内容は、処理前に全て０にクリアされているものとする。続いて、画像エリアＩＭ０に格納された画像データのうち、動領域に含まれる画素の輝度値を読み出してヒストグラムを生成する。すなわち、入力された輝度値がｐであれば、Ｈｍ[ｐ]の内容に１を加える。そしてステップＳ３０６において、動領域のヒストグラムＨｍ[]の内容に従って、動領域の補正値（ハイライト値ＬＨｍ、シャドウ値ＬＳｍ）を算出し、メモリ３０１上のワークエリアに格納しておく。そしてステップＳ３０７にて、ワークエリアに格納された動領域の補正値ＬＨｍ，ＬＳｍに基づいて、動領域のテーブルデータを生成し、メモリ３０１上のワークエリアにおけるテーブルデータＬｍ[]に格納する。
【００８６】
次にステップＳ３０８において、静領域のヒストグラムＨｓを生成するが、この静領域ヒストグラムＨｓ[]の内容は、処理前に全て０にクリアされているものとする。続いて、画像エリアＩＭ０に格納された画像データのうち、静領域に含まれる画素の輝度値を読み出してヒストグラムを生成する。すなわち、入力された輝度値がｐであれば、Ｈｓ[ｐ]の内容に１を加える。そしてステップＳ３０９において、静領域のヒストグラムＨｓ[]の内容に従って、静領域の補正値（ハイライト値ＬＨｓ、シャドウ値ＬＳｓ）を算出し、メモリ３０１上のワークエリアに格納しておく。そしてステップＳ３１０にて、ワークエリアに格納された静領域の補正値ＬＨｓ，ＬＳｓに基づいて、静領域のテーブルデータを生成し、メモリ３０１上のワークエリアにおけるテーブルデータＬｓ[]に格納する。
【００８７】
次にステップＳ３１１において、動領域のテーブルデータＬｍ[]と静領域のテーブルデータＬｓ[]から、階調補正用のテーブルデータＬ０[]を生成する。具体的には、動領域に対する重みをα（０≦α＜０．５）とするとき、階調補正用のテーブルデータＬ０[]は下式によって算出される。
【００８８】
Ｌ０[ｊ]＝α×Ｌｍ[ｊ]＋(１−α)×Ｌｓ[ｊ]    …（１１）
但し、ｊ＝０，…，２５５
そしてステップＳ３１２において、画像エリアのＩＭ０に格納されているフレーム画像の画素値を、テーブルデータＬ０[]に従って変換して、画像エリアのＩＭ２に格納する。この変換はすなわち、上記(１１)式のように実行される。
【００８９】
そしてステップＳ３１３にて、メモリ３０１上の画像エリアのＩＭ０に格納されているフレーム画像の内容を、画像エリアのＩＭ１に格納して、次のフレームを処理するためにステップＳ３０２に進む。
【００９０】
以上説明したように第４実施形態によれば、動領域の特徴量であるテーブルデータと静領域の特徴量であるテーブルデータに対して、静領域の重みを大きくして平滑化することで、少メモリで静状態の画質が安定するような補正を行うことができる。
【００９１】
なお、第４実施形態においては動画補正処理をソフトウェアによって実現する例を示したが、第４実施形態における各部または全部の機能をハードウェアで構成することももちろん可能である。
【００９２】
また、第４実施形態においてはカメラ３０６で入力した画像について補正を行い、モニタ３０７に表示する例について説明したが、補正した画像データを記憶装置３０５に格納しても良い。さらには、記憶装置３０５に格納された画像データを補正してモニタ３０７に表示しても良い。また、さらに符号化・通信ソフトウェアを起動し、画像エリア内の画像データを符号化して、符号化データを通信インターフェース３０８を介して通信回線３０９に送信することも、もちろん可能である。
【００９３】
また、第１乃至第４実施形態においては輝度値によるヒストグラム作成を行う例を示したが、本発明はこの例に限定されず、例えば各色（例えばＲＧＢ）ごとにヒストグラムを作成しても良い。また、ヒストグラムについて全輝度値を対象としたが、該輝度値の量子化結果に対してヒストグラム処理を行っても良い。
【００９４】
＜他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９５】
尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
【００９６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【００９８】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【００９９】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【０１００】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【０１０１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【０１０３】
【図１】本発明に係る一実施形態における画像処理装置の構成を示すブロック図である。
【図２】本実施形態における画像補正処理を示すフローチャートである。
【図３】第２実施形態における画像処理装置の構成を示すブロック図である。
【図４】第２実施形態における画像補正処理を示すフローチャートである。
【図５】第３実施形態における画像処理装置の構成を示すブロック図である。
【図６】第３実施形態における画像補正処理を示すフローチャート図である。
【図７】第４実施形態における画像処理装置の構成を示すブロック図である。
【図８】第４実施形態におけるメモリの使用例を示す図である。
【図９】第４実施形態における画像補正処理を示すフローチャートである。
【図１０】本実施形態における動画のフレーム画像例を示す図である。
【図１１】本実施形態における動静領域の判定例を示す図である。
【図１２】従来の画像補正方法の一例を示す図である。
【図１】
2008300980.tif 000003
【図２】
2008300980.tif 000004
【図３】
2008300980.tif 000005
【図４】
2008300980.tif 000006
【図５】
2008300980.tif 000007
【図６】
2008300980.tif 000008
【図７】
2008300980.tif 000009
【図８】
2008300980.tif 000010
【図９】
2008300980.tif 000011
【図１０】
2008300980.tif 000012
【図１１】
2008300980.tif 000013
【図１２】
2008300980.tif 000014