(57)【特許請求の範囲】
【請求項１】
連続した複数のフレーム画像を取得して階調補正を行う画像処理装置であって、
階調補正対象のフレーム画像内に補正対象領域を設定する領域設定手段と、
前記階調補正対象のフレーム画像の前後のフレーム画像の中から少なくとも１枚のフレーム画像を参照フレーム画像として抽出し、前記補正対象領域の画像をテンプレート画像として、前記参照フレーム画像の中から前記補正対象領域の画像と対応する画像領域である対応領域をテンプレートマッチングにより検出する領域検出手段と、
少なくとも前記階調補正対象のフレーム画像中の前記補正対象領域の輝度情報と、前記参照フレーム画像中の前記対応領域の輝度情報と、および前の補正対象フレームの階調変換曲線と輝度分布のヒストグラムとに基づいて、今回の補正対象フレームの階調変換曲線を決定する階調変換曲線決定手段と、
前記階調変換曲線により前記階調補正対象のフレーム画像の階調補正を行う階調補正手段と、を備え、
前記階調変換曲線決定手段は、前記階調補正対象のフレーム画像の中の前記補正対象領域外において、前記補正対象領域から遠ざかるにしたがって前記階調変換曲線の変換特性を緩やかにすることを特徴とする画像処理装置。
【請求項２】
連続した複数のフレーム画像を取得して階調補正を行う画像処理装置であって、
階調補正対象のフレーム画像内に補正対象領域を設定する領域設定手段と、
前記階調補正対象のフレーム画像の前後のフレーム画像の中から少なくとも１枚のフレーム画像を参照フレーム画像として抽出し、前記補正対象領域の画像をテンプレート画像として、前記参照フレーム画像の中から前記補正対象領域の画像と対応する画像領域である対応領域をテンプレートマッチングにより検出する領域検出手段と、
少なくとも前記階調補正対象のフレーム画像中の前記補正対象領域の輝度情報と、前記参照フレーム画像中の前記対応領域の輝度情報と、および前の補正対象フレームの階調変換曲線と輝度分布のヒストグラムとに基づいて、今回の補正対象フレームの階調変換曲線を決定する階調変換曲線決定手段と、
前記階調変換曲線により前記階調補正対象のフレーム画像の階調補正を行う階調補正手段と、を備え、
前記連続した複数のフレーム画像の間の時間が短い場合は、所定フレームごとに新たな階調変換曲線を決定し、それ以外のフレームに対しては、前回の階調変換曲線を用いることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記領域検出手段は、前記動画を構成する時系列上で連続した複数のフレーム画像における輝度変化が大きいほど多くの枚数の前記参照フレーム画像を抽出することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記領域検出手段は、前記動画を構成する時系列上で連続した複数のフレーム画像における前記補正対象領域の動きが大きいほど多くの枚数の前記参照フレーム画像を抽出することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記領域設定手段は、前記階調補正対象のフレーム画像内において使用者が操作部材を用いて指定した領域を前記補正対象領域に設定することを特徴とする画像処理装置。
【請求項６】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記領域設定手段は、前記階調補正対象のフレーム画像内において人物の顔部分を認識し、当該部分を含む領域を前記補正対象領域に設定することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。
【背景技術】
【０００２】
動画像の内の所定の時間区間に含まれる複数のフレームについての統計解析を行い、その解析結果に基づいて階調値変換を行う際の変換特性を決定し、その変換特性にしたがって所定の時間区間に含まれる各フレーム内の各画素の階調値変換を行うようにした画像処理装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２０００−０７８６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の画像処理装置では、撮影条件が変化しても色合いや明度を安定して出力することはできるが、画像中の特定の領域の被写体の階調をより自然に再現することができないという問題がある。
【課題を解決するための手段】
【０００４】
（１）請求項１の発明は、連続した複数のフレーム画像を取得して階調補正を行う画像処理装置であって、階調補正対象のフレーム画像内に補正対象領域を設定する領域設定手段と、前記階調補正対象のフレーム画像の前後のフレーム画像の中から少なくとも１枚のフレーム画像を参照フレーム画像として抽出し、前記補正対象領域の画像をテンプレート画像として、前記参照フレーム画像の中から前記補正対象領域の画像と対応する画像領域である対応領域をテンプレートマッチングにより検出する領域検出手段と、少なくとも前記階調補正対象のフレーム画像中の前記補正対象領域の輝度情報と、前記参照フレーム画像中の前記対応領域の輝度情報と、および前の補正対象フレームの階調変換曲線と輝度分布のヒストグラムとに基づいて、今回の補正対象フレームの階調変換曲線を決定する階調変換曲線決定手段と、前記階調変換曲線により前記階調補正対象のフレーム画像の階調補正を行う階調補正手段と、を備え、前記階調変換曲線決定手段は、前記階調補正対象のフレーム画像の中の前記補正対象領域外において、前記補正対象領域から遠ざかるにしたがって前記階調変換曲線の変換特性を緩やかにする。
（２）請求項２の発明は、連続した複数のフレーム画像を取得して階調補正を行う画像処理装置であって、階調補正対象のフレーム画像内に補正対象領域を設定する領域設定手段と、前記階調補正対象のフレーム画像の前後のフレーム画像の中から少なくとも１枚のフレーム画像を参照フレーム画像として抽出し、前記補正対象領域の画像をテンプレート画像として、前記参照フレーム画像の中から前記補正対象領域の画像と対応する画像領域である対応領域をテンプレートマッチングにより検出する領域検出手段と、少なくとも前記階調補正対象のフレーム画像中の前記補正対象領域の輝度情報と、前記参照フレーム画像中の前記対応領域の輝度情報と、および前の補正対象フレームの階調変換曲線と輝度分布のヒストグラムとに基づいて、今回の補正対象フレームの階調変換曲線を決定する階調変換曲線決定手段と、前記階調変換曲線により前記階調補正対象のフレーム画像の階調補正を行う階調補正手段と、を備え、前記連続した複数のフレーム画像の間の時間が短い場合は、所定フレームごとに新たな階調変換曲線を決定し、それ以外のフレームに対しては、前回の階調変換曲線を用いる。
（３）請求項３の発明は、請求項１または２に記載の画像処理装置において、前記領域検出手段は、前記動画を構成する時系列上で連続した複数のフレーム画像における輝度変化が大きいほど多くの枚数の前記参照フレーム画像を抽出する。
（４）請求項４の発明は、請求項１〜３のいずれか一項に記載の画像処理装置において、前記領域検出手段は、前記動画を構成する時系列上で連続した複数のフレーム画像における前記補正対象領域の動きが大きいほど多くの枚数の前記参照フレーム画像を抽出する。
（５）請求項５の発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、前記領域設定手段は、前記階調補正対象のフレーム画像内において使用者が操作部材を用いて指定した領域を前記補正対象領域に設定する。
（６）請求項６の発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、前記領域設定手段は、前記階調補正対象のフレーム画像内において人物の顔部分を認識し、当該部分を含む領域を前記補正対象領域に設定する。
【発明の効果】
【０００５】
本発明によれば、画像中の注目する領域の被写体の階調をより自然に安定して再現することができる。
【発明を実施するための最良の形態】
【０００６】
本発明の画像処理装置および画像処理方法をデジタルビデオカメラやデジタルカメラなどの動画を記録、再生可能なカメラに適用した一実施の形態を説明する。なお、本発明は、デジタルビデオカメラおよびデジタルカメラ以外のカメラで撮影された動画、あるいは時系列的に連続撮影された一連の静止画像に対して適用することができる。
【０００７】
図１に一実施の形態に係わる画像処理装置の構成を示す。この一実施の形態ではカメラ１で撮像、記録した動画を画像処理装置２により階調補正する例を示す。なお、本発明はこれに限定されず、処理する画像をカメラから入力するのではなく、記録装置から入力するものであってもよい。カメラ１は、動画を記録または再生する記録、再生部１ａと、動画を表示するモニター１ｂなどを備えている。画像処理装置２は、アナログ画像信号とデジタル画像信号を相互に変換するＡ／Ｄ、Ｄ／Ａ変換部２ａ、動画に各種処理を施して階調補正を行うマイクロコンピューター２ｂ、動画のフレームを記憶するメモリ２ｃ、動画を記憶するための記憶装置２ｄ、各種操作を行う操作部２ｅ、画像を表示するモニター２ｆなどを備えている。
【０００８】
画像処理装置２のマイクロコンピューター２ｂは、カメラ１により撮像された動画をフレームごとのアナログ画像信号として取り込み、Ａ／Ｄ、Ｄ／Ａ変換部２ａでデジタル画像信号に変換した後、記憶装置２ｄに一時的に記憶する。次に、動画を構成する一連のフレーム画像をメモリ２ｃへ転送し、メモリ２ｃ上にＲＧＢ三原色成分で表される画素単位に展開する。そして、所定時間内の連続した複数のフレーム画像に対し、フレーム画像ごとの特定領域の階調をより自然に再現するための補正処理を施す。
【０００９】
図２は本画像処理装置２の階調補正処理を示すフローチャートである。画像処理装置２のマイクロコンピューター２ｂは、ステップ１において、メモリ２ｃ上に展開された所定時間内の連続した複数のフレーム画像の中から処理対象のフレーム画像を抽出し、モニター２ｆに表示する。これは、時系列上に展開される一連の複数のフレーム画像の中のどのフレーム画像に対して処理を開始するかを指定するものであり、ある時間内の一連の複数のフレーム画像に対して処理を行う場合は処理を開始するフレームとし、動画像の全フレームに対して処理を行う場合には第１番目のフレームである。なお、すでにこの階調補正処理が開始されている場合には、処理対象のフレームとして時系列上の次のフレームを選択する。
【００１０】
ステップ２で、モニター２ｆに表示されている処理対象のフレーム画像の中から階調を補正したい領域を設定し、補正対象領域とする。補正対象領域の設定は、使用者が操作部２ｅの方向キーによりカーソルを移動させて意図する主要被写体を手動で指定してもよいし、あるいは画像中から例えば人物の顔領域を検出して自動で設定してもよい。なお、補正対象領域は必ずしも１つに限らず、複数あってもよい。ここで設定された補正対象領域内の画像が、以下の処理により最も良好な画質および階調となるように補正を行う。
【００１１】
続くステップ３では、補正対象フレームの階調を補正する際に参照する前後のフレーム（以下では、参照フレームと呼ぶ）を選択する。この一実施の形態では、補正対象フレームの前後のフレームの輝度情報を参照して補正対象フレームにおける補正対象領域の階調を補正する。参照フレームには補正対象フレームの前後の数フレームを選択する。ただし、撮像シーンの変更により補正対象フレームと相関のないシーンが前後フレームに存在する場合には、そのようなフレームを参照フレームとして選択せず、このような場合には補正対象フレームの前のフレームのみ、あるいは後のフレームのみであってもよい。
【００１２】
ステップ４で、参照フレームの中から補正対象フレームの補正対象領域に対応する領域（以下では、対応領域と呼ぶ）を検出する。具体的には、補正対象フレーム中の補正対象領域の画像をテンプレート画像とし、参照フレーム画像の中からテンプレート画像に類似する画像領域を検出するテンプレートマッチングを行い、類似画像領域を対応領域とする。
【００１３】
ステップ５において、参照フレーム画像の中の対応領域の輝度情報に基づいて補正対象フレームに対する階調変換曲線を決定する。ここでは、コントラスト強調効果のあるヒストグラム均等化法により階調補正を行う例を示す。ヒストグラム均等化法は輝度信号の分布を一様に分布させる手法であり、コントラストの低い画像を濃淡のはっきりした画像へ変換する処理である。ステップ６で、階調変換曲線を用いて補正対象フレーム画像の階調補正を行う。
【００１４】
図３はヒストグラム均等化法による階調補正例を示す図である。(ａ)に示す原画像の画素ごとの輝度値に対する画素数のヒストグラムを計測すると、(ｂ)に示すような狭い輝度分布範囲ａのヒストグラムが得られる。このような輝度分布の狭い原画像に対してヒストグラム均等化法により階調補正を施すと、(ｃ)に示すようなコントラストが強調された画像が得られ、そのヒストグラムは(ｄ)に示すように輝度分布範囲ｂが広くなっている。
【００１５】
ヒストグラム均等化法の具体的な補正方法は、図４に示すような階調変換曲線を決定し、原画像、すなわち補正対象のフレーム画像に適用する。図４において、横軸は入力画素の輝度値であり、縦軸は出力画素の輝度値である。図３(ａ)、(ｂ)に示すような狭い輝度分布範囲ａの原画像を、図３(ｃ)、(ｄ)に示すような広い輝度分布範囲ｂの画像に変換するための図４に示す階調変換曲線を決定し、補正対象フレーム画像の画素ごとの輝度値を入力値として階調変換曲線との交点の出力値を求める。補正対象フレーム画像のすべての画素に対してこの変換処理を行うと、図３(ａ)、(ｂ)に示すようなコントラストの低い画像から、図３(ｃ)、(ｄ)に示すようなコントラストが強調された画像が得られる。
【００１６】
階調変換曲線の決定に際しては、図５に示すように、補正対象フレームの補正対象領域の輝度情報、補正対象フレームの前後フレームの対応領域の輝度情報、および前の補正対象フレームの階調変換曲線とヒストグラムに基づいて、補正対象フレームの階調変換曲線を決定する。
【００１７】
なお、上述したヒストグラム均等化手法については、補正対象フレームの補正対象領域内の輝度情報と参照フレームの対応領域内の輝度情報に基づいて階調変換曲線を決定し、階調補正処理を行ったが、画像中の局所的な輝度情報に基づいて決定した階調変換曲線を画像全体に施すと、画像全体のバランスが崩れることがある。そこで、補正対象フレームの補正対象領域から離れるにしたがって階調変換曲線を緩やかにすることによって、画像全体の大きな乱れを軽減することができる。
【００１８】
ステップ７において、所定時間内の連続した複数のフレーム画像に対して階調補正処理を順次施す場合にはステップ１へ戻り、時系列上の次のフレーム画像に対して上述した階調補正処理を施す。なお、動画像において時系列上のフレーム間の時間間隔が短い場合には、所定フレーム数ごとにステップ７からステップ１へ戻って新たに階調変換曲線を決定して階調補正を行い、それ以外のフレームに対してはステップ７からステップ５へ戻って前回求めた階調変換曲線を用いて階調補正を行う。
【００１９】
なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。
【００２０】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、動画を構成する時系列上で連続した複数のフレーム画像に対して階調補正を行う際に、階調補正対象のフレーム画像内に補正対象領域を設定するとともに、階調補正対象のフレーム画像の前後のフレーム画像の中から少なくとも１枚のフレーム画像を参照フレーム画像として抽出し、参照フレーム画像の中から補正対象領域の画像と類似する画像領域を対応領域として検出する。そして、少なくとも階調補正対象のフレーム画像中の補正対象領域の輝度情報と、参照フレーム画像中の対応領域の輝度情報とに基づいて、階調補正対象のフレーム画像中の補正対象領域の画質を向上させる階調変換曲線を決定し、階調変換曲線により階調補正対象のフレーム画像の階調補正を行うようにしたので、画像中の注目する領域の主要被写体の階調をより自然に安定して再現することができる。
【００２１】
また、前回の階調補正対象のフレーム画像において決定された階調変換曲線および輝度分布のヒストグラムを考慮して今回の階調補正対象のフレーム画像の階調変換曲線を決定するようにしたので、注目領域の主要被写体の階調をより安定に再現することができる。
【００２２】
さらに、階調補正対象のフレーム画像の中の補正対象領域外において、補正対象領域から遠ざかるにしたがって階調変換曲線の変換特性を緩やかにするようにしたので、画像中の注目領域に対して局所的な階調補正を行っても、画像全体の大きな乱れを軽減することができ、注目領域はもちろんのこと、画像全体の階調を自然に再現することができる。
【００２３】
さらにまた、動画を構成する時系列上で連続した複数のフレーム画像における輝度変化が大きいほど多くの枚数の参照フレーム画像を抽出するようにしたので、注目領域の主要被写体の階調をより安定に再現することができる。
【００２４】
次に、動画を構成する時系列上で連続した複数のフレーム画像における補正対象領域の動きが大きいほど多くの枚数の参照フレーム画像を抽出するようにしたので、注目領域の主要被写体の階調をより安定に再現することができる。
【００２５】
さらに、階調補正対象のフレーム画像内において使用者が操作部材を用いて指定した領域を補正対象領域に設定するようにしたので、使用者が階調を補正したい主要被写体とその範囲を任意に選ぶことができ、意図する主要被写体の階調をより自然に再現することができる。
【００２６】
また、階調補正対象のフレーム画像内において人物の顔部分を認識し、当該部分を含む領域を補正対象領域に設定するようにすれば、自動的に人物の顔部分の階調をより自然に再現することができる。
【図面の簡単な説明】
【００２７】
【図１】一実施の形態に係わる画像処理装置の構成を示す図
【図２】一実施の形態の画像処理装置の動作を示すフローチャート
【図３】ヒストグラム均等化法による階調補正例を示す図
【図４】階調変換曲線の一例を示す図
【図５】時系列上で連続した複数のフレーム画像に対して階調補正を行う概念を示す図
【符号の説明】
【００２８】
２；画像処理装置、２ｂ；マイクロコンピューター（マイコン）、２ｃ；メモリ、２ｄ；記憶装置、２ｅ；操作部
【図１】
0005211864.tif 000002
【図２】
0005211864.tif 000003
【図３】
0005211864.tif 000004
【図４】
0005211864.tif 000005
【図５】
0005211864.tif 000006