(57)【要約】【課題】  画像中の動きのある領域が増大したり、動いている被写体が静止したり、背景が動いたりした場合などにおいても、関心のある被写体領域の画質低下を抑制する。【解決手段】  画像符号化制御部１は、画像を小領域に分割して小領域ごとに動きを検出する動き検出部１１と、現在の動き領域情報と過去の動き領域情報を重み付けして加算した評価値を算出する動き領域評価部１２と、評価値に応じて画像領域を分類する動き領域分類部１３と、過去に算出された動きのある動き領域の位置および変化量を含む動き領域情報を保持する動き領域情報保持部１４と、画像領域の分類に応じて領域ごとの符号量を制御する符号量制御部１５とを備え、静止した背景の可能性が高い領域から画質を下げ、関心のある動きを伴った被写体の可能性が高い領域の画質を上げるように符号量を制御する。【選択図】  図１
2006304204.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の時間方向の変化量によって動きを検出する動き検出手段と、
前記入力画像において過去に算出された動きのある動き領域の位置および変化量を含む動き領域情報を保持する動き領域情報保持手段と、
前記入力画像における現在の動き領域情報と過去の動き領域情報とを所定の重み付けして加算した評価値を算出する動き領域評価手段と、
前記動きの評価値に応じて、前記入力画像を複数に分割した画像領域を分類する動き領域分類手段と、
前記画像領域の分類に応じて領域ごとの符号量を制御する符号量制御手段と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記符号量制御手段は、前記分類された複数の領域において、現在および過去の入力画像における画像の変化量が大きい領域から順に符号量を多く割り当て、前記画像の変化量が小さい領域から順に符号量を減らすように制御する画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記入力画像において動きのある動き領域が所定の数を超えた場合に、前記動き領域分類手段はすべての領域を同一分類とし、前記符号量制御手段は動きの大きい領域の符号量制御を停止する画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記入力画像において動きのある動き領域が所定の数を超えた場合に、前記符号量制御手段は、現在および過去の入力画像における画像の変化量が小さい領域から順に符号量を多く割り当て、前記画像の変化量が大きい領域から順に符号量を減らすように制御する画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像処理装置であって、
前記符号量制御手段は、前記符号量の制御として、量子化パラメータ、周波数帯域の制限量の少なくとも一方を調整する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化処理を行う画像処理装置に関し、詳しくは、被写体の動きに応じて符号化を制御する手段を備える画像処理装置に関する。
【背景技術】
【０００２】
図４は従来の画像処理装置の構成例を示すブロック図である。従来例の画像処理装置は、画像の符号化を行う画像符号化部１１０と、画像の符号化を制御する画像符号化制御部１００とを有し、これらにより画像符号化装置を構成している。画像符号化制御部１００は、画像内の動きを検出する動き検出部１０１、動きのある動き領域を抽出する動き領域抽出部１０２、画像内の動きに応じて領域ごとに量子化符号量を制御する符号量制御部１０３を有して構成される。
【０００３】
この構成において、複数フレームからなる画像の系列は、動き検出部１０１に入力される。動き検出部１０１は、画像を複数の小領域に分割し、各小領域について動きを検出する。この動きの有無は、前フレームとの差分、もしくは動きベクトルを求めることによっても検出できる。動き領域抽出部１０２は、差分絶対値和の大きさ、動きベクトルの大きさもしくは方向といった情報に基づき、動きが発生して画像が変化した小領域のみを抽出する。符号量制御部１０３は、動きが発生した小領域の量子化誤差を小さくして画質を上げ、静止している小領域の画質を下げるように、画像符号化部１１０の量子化処理を制御する（例えば、特許文献１、２参照）。
【０００４】
画像の符号化処理において、サブバンド分割を行う画像符号化を用いる場合、動きを検出する他の方法としては、低周波成分（ＬＬ）のみを用いて、前フレームとの差分を計算する方法もある（例えば、特許文献３参照）。
【０００５】
【特許文献１】特開平１０−３２２５８２号公報
【特許文献２】特開２００４−１１２３８２号公報
【特許文献３】特開２００１−３０９３８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像処理装置においては、量子化処理による動き領域の画質制御を行う場合、複数の移動物体が存在して動きのある領域が増大したとき、符号量が増大してしまう可能性があった。また、このとき全領域の高周波成分をカットすることによって符号量を調整した場合、関心がある動いている被写体の領域についても画質が低下することがあった。
【０００７】
また、従来の画像処理装置においては、被写体の動きが停止すると画質を低下するように制御することになり、過去に動きのあった被写体が存在する静止領域の画質を上げることができなかった。
【０００８】
また、移動物体をカメラのパン、チルトの操作によって追跡したとき、背景が移動して移動物体が画面内に静止しているように撮像されるが、このとき従来の画像処理装置においては、動きのある背景の画質を上げ、関心のある被写体領域の画質を下げてしまうような不具合が生じることもあった。
【０００９】
本発明は、上記事情に鑑みてなされたもので、画像中の動きのある領域が増大したり、動いている被写体が静止したり、背景が動いたりした場合などにおいても、関心のある被写体領域の画質低下を抑制することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、入力画像の時間方向の変化量によって動きを検出する動き検出手段と、前記入力画像において過去に算出された動きのある動き領域の位置および変化量を含む動き領域情報を保持する動き領域情報保持手段と、前記入力画像における現在の動き領域情報と過去の動き領域情報とを所定の重み付けして加算した評価値を算出する動き領域評価手段と、前記動きの評価値に応じて、前記入力画像を複数に分割した画像領域を分類する動き領域分類手段と、前記画像領域の分類に応じて領域ごとの符号量を制御する符号量制御手段と、を備えるものである。
【００１１】
これにより、過去の動き領域情報を用いて動き領域の評価を行い、動きの評価値に応じて領域を分類して領域ごとの符号量を制御することによって、画像中の動いている被写体が静止した後などにおいても、画質を上げたまま維持するように制御することが可能となる。このため、関心のある被写体領域の画質低下を抑制することができる。
【００１２】
また、上記の画像処理装置であって、前記符号量制御手段は、前記分類された複数の領域において、現在および過去の入力画像における画像の変化量が大きい領域から順に符号量を多く割り当て、前記画像の変化量が小さい領域から順に符号量を減らすように制御するものとする。
【００１３】
これにより、現在および過去の入力画像における画像の変化が大きいと分類された領域から順に符号量を割り当て、画像の変動が小さいと分類された領域から順に符号量を減らすように制御することで、画像中の動きのある領域が増大したり、動いている被写体が静止した場合などにおいても、関心のある被写体領域の画質低下を抑制することができる。
【００１４】
また、上記の画像処理装置であって、前記入力画像において動きのある動き領域が所定の数を超えた場合に、前記動き領域分類手段はすべての領域を同一分類とし、前記符号量制御手段は動きの大きい領域の符号量制御を停止するものとする。
【００１５】
これにより、移動している対象物体を追尾することによって被写体が相対的に静止しており、背景が動いているような場合などにおいても、背景以外の被写体が位置する静止領域等の画質を下げる制御を抑制できるので、関心のある被写体領域の画質低下を抑制することができる。
【００１６】
また、上記の画像処理装置であって、前記入力画像において動きのある動き領域が所定の数を超えた場合に、前記符号量制御手段は、現在および過去の入力画像における画像の変化量が小さい領域から順に符号量を多く割り当て、前記画像の変化量が大きい領域から順に符号量を減らすように制御するものとする。
【００１７】
これにより、移動している対象物体を追尾することによって被写体が相対的に静止しており、背景が動いているような場合などにおいても、背景以外の被写体が位置する静止領域等の画質を上げるように制御することができる。このため、関心のある被写体領域の画質低下を抑制することができる。
【００１８】
また、上記の画像処理装置であって、前記符号量制御手段は、前記符号量の制御として、量子化パラメータ、周波数帯域の制限量の少なくとも一方を調整するものとする。
【００１９】
これにより、量子化パラメータや周波数帯域の制限量などを調整することで、関心のある被写体領域の画質低下を抑制しつつ、画像データの符号量を制御することができる。
【発明の効果】
【００２０】
本発明によれば、画像中の動きのある領域が増大したり、動いている被写体が静止したり、背景が動いたりした場合などにおいても、関心のある被写体領域の画質低下を抑制することが可能な画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００２１】
図１は本発明の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、画像の符号化を制御する画像符号化制御部１と、画像の符号化を行う画像符号化部２とを有し、これらにより画像符号化装置３を構成している。この画像符号化装置３では、画像のデータが画像符号化制御部１及び画像符号化部２に入力され、画像符号化制御部１から制御データを画像符号化部２に供給して符号化の制御を行いながら、画像符号化部２において画像の符号化処理を行うようになっている。この画像符号化装置３は、撮像領域を移動する人や物の特定が必要な映像監視システムにおける画像伝送装置や画像記録装置、移動物体を自動検知する画像処理装置などに適用可能である。
【００２２】
画像符号化制御部１は、画像を小領域に分割して小領域ごとに動きを検出する動き検出部１１と、現在の動き領域情報と過去の動き領域情報とを所定の重み付けして加算した評価値を算出する動き領域評価部１２と、前記評価値に基づく画像の変化量によって小領域を分類する動き領域分類部１３と、過去に算出された動きのある動き領域の位置および変化量を含む動き領域情報を保持する動き領域情報保持部１４と、画像内の動きに応じて動き領域分類部１３で決定された分類ごとに符号量を制御する符号量制御部１５とを有して構成される。
【００２３】
画像符号化部２は、例えば離散ウェーブレット変換を使用して画像をサブバンド分割して符号化を行うものでもよいし、離散コサイン変換を用いて符号化を行うものでもよい。本実施形態では、２次元離散ウェーブレット変換を用いるものとする。
【００２４】
次に、本実施形態の画像処理装置の動作を説明する。図２は画像中の動き検出領域の分類の様子を模式的に表した図であり、（ａ）は複数領域に分割した入力画像を示し、（ｂ）は複数に分類されたそれぞれの領域を示したものである。
【００２５】
まず、動き検出部１１は、入力された画像を小領域に分割し、画素ごとに過去のＮフレーム前の画像との差分絶対値を計算し、小領域ごとに差分絶対値の和を計算する。ここで、Ｎは１以上の整数とする。次に、動き領域評価部１２は、現在の差分絶対値和をｓ(ｎ)、１回前の差分絶対値和をｓ(ｎ−１)、ｍ回前の差分絶対値和をｓ(ｎ−ｍ)とし、動き領域分類部１３で使用する評価値ｖ(ｎ)、重み付けパラメータをａ(ｎ−ｍ)として、動きの評価値ｖ(ｎ)を算出する。ここで、ｎ，ｍは０以上の整数とする。分類に使用する評価値ｖ(ｎ)は次式で表せる。
【００２６】
ｖ(ｎ)＝ａ(ｎ)＊ｓ(ｎ)＋ａ(ｎ−１)＊ｓ(ｎ−１)＋ａ(ｎ−２)＊ｓ(ｎ−２)＋
...＋ａ(ｎ−ｍ)＊ｓ(ｎ−ｍ)
【００２７】
次に、動き領域分類部１３は、上のように求めた評価値ｖ(ｎ)を用いて、小領域を分類する。例えば、図２（ａ）のように物体が矢印の方向に移動している画像に対して、分類数は３とし、分類のしきい値をｔ１，ｔ２（ｔ１＞ｔ２）とする。この場合、図２（ｂ）のように、評価値がｖ(ｎ)＞ｔ１を満たして最も差分が大きい分類Ａ、ｔ１≧ｖ(ｎ)≧ｔ２を満たす中間の分類Ｂ、ｖ(ｎ)＜ｔ２を満たす差分が小さい分類Ｃに分類される。
【００２８】
動き領域情報保持部１４は、動き領域分類部１３の動き領域の分類結果をもとに動き領域情報を保持する。保持する動き領域情報は、少なくとも各領域の現在の差分絶対値和ｓ(ｎ)を含む。また、分類Ａ以外の領域の各領域の現在の差分絶対値和ｓ(ｎ)を０として保持してもよい。
【００２９】
符号量制御部１５は、上記のように分けられた分類ごとに、画像符号化部２へ分類ごとの符号量制御情報を通知する。符号量制御情報としては、例えば動き分類ごとに含まれる小領域の位置、量子化処理に用いられるパラメータ等を通知する。例えば、監視用途では、動きのある物体は撮像範囲内への侵入物体の可能性があるため、関心が高い領域となる。この場合、被写体に動きがある可能性が高い分類Ａに含まれる領域は、量子化誤差を小さくするようにパラメータを設定して画質を上げ、逆に背景のような静止した画像領域の可能性が高い領域Ｃに対しては、量子化誤差が比較的大きくなることを許容するようにパラメータを設定して画質を下げて、全体の符号化処理結果として所望の符号量となるように設定する。
【００３０】
画像符号化部２は、入力画像に対して符号量制御部１５から与えられた符号量制御情報に基づいて量子化を行い、画像符号化処理結果として符号化データを出力する。ここで、複数の移動する物体が撮像範囲にあり、関心が高い領域として画質を上げる領域が増大した場合、全体の符号化結果として所望の符号量となるように、高周波成分をカット（削減）する。ただし、画像全領域で一律に高周波成分をカットするのではなく、動き領域分類ごとに、動きが無いと考えられる分類Ｃに含まれる領域から行う。
【００３１】
次に、高周波成分の削減処理について図３を用いて説明する。図３はウェーブレット変換によってサブバンド分割された空間周波数成分を模式的に示した図である。ここでは、４分割の例を示している。
【００３２】
図３において、ＨＨ成分は水平、垂直方向とも高周波の成分であることを示している。符号量制御部１５は、分類ＣのＨＨ成分を優先度１、分類ＣのＨＬ成分を優先度２、分類ＢのＨＨ成分を優先度３というように優先度を割り当てる。画像符号化部２は、まず優先度１とした分類Ｃの領域のＨＨ成分をカットし、減少した符号量と所定の符号量とを比較して、所定の符号量よりも大きいときは、さらに優先度２の分類Ｃの領域のＨＬ成分をカットしていく。このような処理を繰り返すことによって、所定の符号量以下に達するまで高周波成分の削減を行う。
【００３３】
上述したように、本実施形態では、動き領域評価部１２によって動き領域評価を行い、この動きの評価値に応じて、動き領域分類部１３によって画像中の小領域を分類し、動き分類ごとに符号量を制御する。動き領域評価において、過去の動き領域の情報を用いることで、移動物体が静止した後においても、画質を上げたまま維持するように制御できる。このとき、動きが大きい領域は関心が高い領域として符号量を多くして画質を上げるようにし、最も動きが小さい領域から順に符号量を減らすようにする。符号量の制御は、量子化パラメータの調整、周波数帯域の制限などによって行う。
【００３４】
また、画像符号化部２にフレーム間の予測符号化を含む場合には、移動物体が静止した場合に画像全体として符号化効率が向上し、動きのある場合と比較して一層画質を上げることが可能であり、侵入物体の特定が容易となることが期待できる。
【００３５】
ここで、カメラにパン、チルトなどの撮影範囲の移動機構を用いて、カメラで移動物体を追尾した撮影画像を入力した場合、動いている追尾対象の物体は相対的に静止し、動いていない背景が動いているように撮像される。この場合、動きのある領域の画質を上げると、関心のない背景の画質を上げることになる。
【００３６】
このような不具合を防ぐため、動き領域分類部１３は、分類Ａの動きのある領域が所定の数以上になったとき、動き検出と分類を停止し、すべての領域を特定の分類、例えば分類Ｂにして画質の制御を行うようにする。すなわち、動きのある領域の画質制御を行わないようにする。なお、フレーム間予測を行って情報量を削減するような符号化を行う場合には、フレーム内の情報のみで符号化を行うモードに変更するようにしてもよい。
【００３７】
あるいは、上記のようにカメラで移動物体を追尾した撮影画像を入力した場合に、動き領域分類部１３は、分類Ａの動きのある領域が所定の数以上になったとき、動きの大きい領域から符号量を削減するように符号量制御部１５へ指示するようにしてもよい。この場合、相対的に移動している背景の画質を下げ、静止した追尾物体の画質を上げることができる。
【００３８】
なお、上記実施形態の例では、動きに応じた小領域の分類数を３にしたが、２以上の分類であればどのような分類数でもよい。分類数を小領域の数と同じとした場合には、動き評価の順でソートすることと同じになる。
【００３９】
また、動きの検出には、Ｎフレーム前との差分絶対値和のみを用いるものとしたが、現在のフレームと過去の複数のフレームとの差分絶対値和を求め、加算した値を動き検出部１１の出力としてもよい。例えば、ｉ，ｊ，Ｍを１以上の有限の整数として、過去の画像をｉフレーム間隔で間引きしてＭ枚の画像を保持しておく。そして、現在のフレームとｊフレーム前の差分絶対値和、現在のフレームと(ｉ＋ｊ)フレーム前の差分絶対値和、…、現在のフレームと(Ｍ＊ｉ＋ｊ)フレーム前の差分絶対値和といった、現在のフレームと過去の複数のフレームとの差分絶対値和を求め、加算した値を動き検出部１１の出力とする。また、過去Ｍフレーム間（Ｍは１以上の整数）の画素の中間値を背景画像として保持しておき、その背景画像と現在の画像との差分絶対値（背景差分値）を動き検出部１１の出力としてもよい。
【００４０】
また、動き検出部１１における動き検出では、画素の時間方向差分に基づき分類したが、動きベクトルを求めてその大きさから分類してもよい。背景が移動したか否かを、全領域の動きベクトルの方向の一致度合いから求めてもよい。また、動き検出では、入力画像のＤＣ成分もしくは低周波成分といった特定の周波数成分のみを計算に用いてもよく、計算に用いる周波数成分は画像符号化部２で計算された中間データを用いてもよい。
【００４１】
また、動き領域評価部１２は、現在及び過去の情報のみを使用するものとしたが、画像を一定時間蓄積する手段を前段に設けることで、処理中の画像が撮像された時間よりも後の未来の情報を用いてもよい。このようにすることで、長時間撮像範囲に静止していた物体が動いたとき、その前の静止時の画質を向上させることができる。
【００４２】
このような本発明の実施形態によれば、過去の動き領域情報を用いた動き評価に基づき、静止した背景の可能性が高い領域から画質を下げ、関心のある動きを伴った被写体の可能性が高い領域の画質を上げることができる。また、関心のある動きを伴った被写体領域が静止した後も、静止した領域付近の画質を上げたまま維持することができる。
【００４３】
また、動きのある領域が多数発生して符号量が所定の値よりも大きくなりそうな場合でも、背景の可能性が高い領域から符号量を下げることで、関心のある被写体が存在する領域の画質が低下することを抑制することができる。
【００４４】
また、動きのある領域が所定の数以上になった場合には、符号化の制御を切り替えることにより、カメラのパン、チルト等を行って被写体を追尾する場合でも、関心のある被写体領域の画質低下を抑制することができる。第１の方法として、動きのある領域が所定の数を超えたときに、すべての領域を同一分類にし、動きのある領域の画質制御を行わないようにすることによって、被写体領域の画質を低下させる制御を抑制し、相対的に静止しているように見える関心領域の画質が下がることを抑制することができる。第２の方法として、動きのある領域が所定の数を超えたときに、動きの大きい領域から符号量を削減するように符号量制御部へ指示することによって、相対的に静止しているように見える関心領域の画質を上げることができる。
【産業上の利用可能性】
【００４５】
本発明は、画像中の動きのある領域が増大したり、動いている被写体が静止したり、背景が動いたりした場合などにおいても、関心のある被写体領域の画質低下を抑制することが可能となる効果を有し、画像の符号化処理を行う画像処理装置等に有用である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図
【図２】本実施形態における画像中の動き検出領域の分類の様子を模式的に表した図
【図３】本実施形態における画像データの空間周波数成分を模式的に示した図
【図４】従来の画像処理装置の構成例を示すブロック図
【符号の説明】
【００４７】
１  画像符号化制御部
２  画像符号化部
３  画像符号化装置
１１  動き検出部
１２  動き領域評価部
１３  動き領域分類部
１４  動き領域情報保持部
１５  符号量制御部
【図１】
2006304204.tif 000003
【図２】
2006304204.tif 000004
【図３】
2006304204.tif 000005
【図４】
2006304204.tif 000006