(57)【要約】【課題】高画質化および高圧縮化が進展するなか、フリッカなどの画質変動の問題が大きく顕在化してきている。【解決手段】画像処理装置２００は動画像を符号化する。画像処理装置２００は、前処理部５０およびフレーム内予測符号化部６０を備える。前処理部５０は、フレーム内予測符号化すべき対象画像に対し、その画像に時間的に先行する、フレーム間符号化された符号化画像の画質を一部引き継ぐための前処理を施す。フレーム内予測符号化部６０は、前処理部５０により前処理が施された対象画像をフレーム内予測符号化する。【選択図】図１
2009147751.tif 000002
【特許請求の範囲】
【請求項１】
動画像を符号化する画像処理装置であって、
フレーム内予測符号化すべき対象画像に対し、その画像に時間的に先行する、フレーム間符号化された符号化画像の画質を一部引き継ぐための前処理を施す前処理部と、
前記前処理部により前記前処理が施された対象画像をフレーム内予測符号化するフレーム内予測符号化部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記前処理部は、
前記対象画像を、前記符号化画像の復号画像を参照画像としてフレーム間予測符号化するフレーム間予測符号化部と、
前記フレーム間予測符号化部により符号化された符号化画像を復号し、前記フレーム内予測符号化部に渡す復号部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記前処理部は、
前記対象画像に時間的に先行する符号化画像内における、その符号化画像よりさらに先行する符号化画像と相関性の強い一部の領域を補正し、補正後の画像を前記参照画像として前記フレーム間予測符号化部に渡す参照画像補正部をさらに有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記前処理部は、
前記対象画像内における、前記符号化画像と相関性の強い一部の領域を補正し、その補正画像を前記フレーム内予測符号化部に渡す対象画像補正部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対象画像補正部は、
前記対象画像内の分割された複数のブロックごとに、前記符号化画像の復号画像内で動き探索して、動きベクトルおよび予測画像を求める動き補償部と、
前記対象画像内の分割された複数のブロックのうち、前記動きベクトルが第１閾値より小さく、かつ前記予測画像との差分が第２閾値より小さいブロックを抽出するブロック抽出部と、
前記ブロック抽出部により抽出されたブロックの原画像と、それに対応する前記予測画像との中間画像を生成する中間画像生成部と、
前記中間画像生成部により生成された中間画像と、前記対象画像内において当該中間画像に対応する原画像とを置き換えて前記補正画像を生成する画像組立部と、
を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記対象画像補正部は、
前記対象画像内の分割された複数のブロックごとに、前記符号化画像の復号画像内で動き探索して、動きベクトルおよび予測画像を求める動き補償部と、
前記対象画像内の分割された複数のブロックのうち、前記動きベクトルが第１閾値より小さく、かつ前記予測画像との差分が第２閾値より小さいブロックを抽出するブロック抽出部と、
少なくとも前記ブロック抽出部により抽出されたブロックについて、前記復号画像を参照画像としてフレーム間予測符号化するフレーム間予測符号化部と、
前記フレーム間予測符号化部により符号化されたブロックを復号する復号部と、
前記ブロック抽出部により抽出され、かつ前記復号部により復号されたブロックの画像と、それに対応する原画像との中間画像を生成する中間画像生成部と、
前記中間画像生成部により生成された中間画像と、前記対象画像内において当該中間画像に対応する原画像とを置き換えて前記補正画像を生成する画像組立部と、
を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記対象画像補正部は、
前記対象画像内の分割された複数のブロックごとに、前記符号化画像の復号画像内で動き探索して、動きベクトルおよび予測画像を求める動き補償部と、
前記対象画像内の分割された複数のブロックのうち、前記動きベクトルが第１閾値より小さく、かつ前記予測画像との差分が第２閾値より小さいブロックを抽出するブロック抽出部と、
少なくとも前記ブロック抽出部により抽出されたブロックについて、前記復号画像を参照画像としてフレーム間予測符号化するフレーム間予測符号化部と、
前記フレーム間予測符号化により符号化されたブロックを復号する復号部と、
前記ブロック抽出部により抽出され、かつ前記復号部により復号されたブロックの画像と、前記対象画像内において当該ブロックの画像に対応する原画像とを置き換えて前記補正画像を生成する画像組立部と、
を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記前処理部は、
前記対象画像に時間的に先行する符号化画像における、その符号化画像よりさらに時間的に先行する符号化画像と相関性の強い一部の領域を補正する参照画像補正部と、
前記対象画像内における、前記参照画像補正部により補正された補正画像と相関性の強い一部の領域を補正し、その補正画像を前記フレーム内予測符号化部に渡す対象画像補正部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記前処理部は、
前記対象画像を、その画像に時間的に先行する符号化画像の復号画像を参照画像としてフレーム間予測符号化し、その符号化画像を復号し、前記フレーム内予測符号化部に渡す対象画像全体補正部と、
前記対象画像内における、その画像に時間的に先行する符号化画像と相関性の強い一部の領域を補正し、その補正画像を前記フレーム内予測符号化部に渡す対象画像部分補正部と、
前記対象画像全体補正部を有効にするか、前記対象画像部分補正部を有効にするかを、当該画像処理装置の処理負荷および前記動画像に含まれるフレーム画像間の相関度の、少なくとも一方に基づいて切り替える切替部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記前処理部は、
前記参照画像として、前記参照画像補正部による補正後の画像を用いるか、補正前の画像の用いるかを、当該画像処理装置の処理負荷および前記動画像に含まれるフレーム画像間の相関度の、少なくとも一方に基づいて切り替える切替部をさらに備えることを特徴とする請求項３または８に記載の画像処理装置。
【請求項１１】
動画像を取得する撮像部と、
前記撮像部により取得される動画像を処理する請求項１から１０のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム内予測符号化技術およびフレーム間予測符号化技術を利用して、動画像を符号化する画像処理装置、およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
デジタルムービーカメラが普及してきている。デジタルムービーカメラは、年々、高画質化しており、フルＨＤ（high definition）画質に対応したものも実用化されている。また、それに伴い画像圧縮効率も高まっており、Ｈ．２６４／ＡＶＣ規格で圧縮符号化が可能なものも実用化されている。
【０００３】
特許文献１は画質改善装置を開示する。この画質改善装置は、両方向予測を用いた符号化方式により符号化された信号の復号画像のレベル変動を検出し、そのレベル変動に基づき復号画質を改善する。特許文献２は符号化装置を開示する。この符号化装置は、マクロブロック毎に、画像データによる画像の平坦度を示すアクティビティを計算し、そのアクティビティにより、符号化効率を示すコスト関数によるコスト値を補正する。これに基づいて、複数のイントラ予測モード、複数のインター予測モードから最適モードをマクロブロック毎に検出する。
【特許文献１】特開平９−２２４２５０号公報
【特許文献２】特開２００６−９４０８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように高画質化および高圧縮化が進展するなか、フリッカなどの画質変動の問題が大きく顕在化してきており、主観画質にまで影響を与えてきている。とくに、フレーム間予測符号化された画像から、フレーム内予測符号化された画像に切り替わる際に発生するフリッカが目立ちやすい。
【０００５】
このフリッカ発生の大きな原因として量子化誤差が挙げられる。量子化誤差は、ＤＣＴ（Discrete Cosine Transform)係数などの直交変換係数を量子化することにより発生する誤差である。量子化する際の量子化スケールを大きくすると、圧縮効率を向上させることができるが、量子化誤差が大きくなってしまう。ＭＰＥＧシリーズの符号化ストリームにおいて、ＰまたはＢピクチャが続く限り、参照ピクチャの量子化誤差の影響を引きずることになるため、量子化誤差が累積されていくことになる。そこで、Ｉピクチャが出現すると、Ｉピクチャは参照ピクチャの影響を受けないため、蓄積された量子化誤差がリセットされることになる。このＰまたはＢピクチャからＩピクチャに切り替わる際に発生する量子化誤差のリセットが、フリッカの大きな要因となる。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画質変動を抑制することができる画像処理装置、およびそれを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は、動画像を符号化する画像処理装置であって、フレーム内予測符号化すべき対象画像に対し、その画像に時間的に先行する、フレーム間符号化された符号化画像の画質を一部引き継ぐための前処理を施す前処理部と、前処理部により前処理が施された対象画像をフレーム内予測符号化するフレーム内予測符号化部と、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、画質変動を抑制することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、実施の形態に係る画像処理装置２００を搭載した撮像装置３００の構成を示す図である。撮像装置３００は、撮像部１００および画像処理装置２００を備える。画像処理装置２００は、フレーム画像分割部２０、直交変換部３０、量子化部４０、前処理部５０、フレーム内予測符号化部６０、フレーム間予測符号化部７０、可変長符号化部８０、およびバッファ９０を備える。
【００１１】
画像処理装置２００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１２】
撮像部１００は、動画像を取得し画像処理装置２００に供給する。撮像部１００は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの図示しない撮像素子、およびその素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。
【００１３】
画像処理装置２００は、撮像部１００により取得された動画像を処理する。より具体的には、その動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。
【００１４】
フレーム画像分割部２０は、各フレーム画像を複数の領域に分割する。以下、本実施の形態ではマクロブロックに分割するものとする。直交変換部３０は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００１５】
量子化部４０は、直交変換部２３で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化テーブルは、各ＤＣＴ係数を割るべき量子化スケールを規定したものである。ＤＣＴ係数のうち、低周波成分に対応する量子化スケールが小さく、高周波成分に対応する量子化スケールが大きく設定される。これにより、高周波成分ほど省略を大きくすることができる。なお、量子化テーブルに規定される全部または一部の量子化スケールは、適応的に可変制御される。
量子化部４０は、フレーム内予測符号化すべき画像を前処理部５０に供給する。一方、フレーム間予測符号化すべき画像をフレーム間予測符号化部７０に供給する。
【００１６】
前処理部５０は、フレーム内予測符号化すべき対象画像に対し、その画像に時間的に先行する、フレーム間符号化された符号化画像の画質を一部引き継ぐための前処理を施す。引き継ぐ画質とは、フレーム間符号化により発生する画質に対する影響が含まれる。たとえば、量子化誤差など高周波成分がカットされる影響などを引き継ぐ。
当該前処理の詳細は後述する。
フレーム内予測符号化部６０は、前処理部５０により前処理が施された対象画像をフレーム内予測符号化する。ここでは、ＭＰＥＧシリーズで規定されたフレーム内予測符号化を用いることができる。
【００１７】
フレーム間予測符号化部７０は、量子化された画像をフレーム間予測符号化する。ここでも、ＭＰＥＧシリーズで規定されたフレーム間予測符号化を用いることができる。すなわち、動き補償技術を利用することができる。具体的には、フレーム間予測符号化部７０は、各マクロブロックについて、過去または未来の参照画像内から誤差の最も小さい予測領域を探索し、その予測領域へのずれを示す動きベクトルを求める。そして、その動きベクトルを用いてマクロブロックごとに動き補償を行い、予測誤差信号を生成する。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図１では逆量子化および逆直交変換する系を省略して描いている。
【００１８】
可変長符号化部８０は、フレーム内予測符号化部６０およびフレーム間予測符号化部７０により生成された、ＤＣＴ係数、予測誤差信号、動きベクトル、およびその他のパラメータをエントロピー符号化する。このようにして、撮像部１００で取得された動画像は、圧縮符号化され、符号化ストリームに変換される。
【００１９】
バッファ９０は、当該符号化ストリームを一時記憶し、所定のタイミングでメモリカードやハードディスクやＤＶＤなどの、図示しない記録媒体に記録するか、ネットワークに送出する。また、バッファ９０は、当該符号化ストリームの符号量または符号化ストリームによるバッファ占有量を量子化部４０に供給する。これらの情報は、上記量子化スケールを決定する際の判断材料となる。また、後述する切替部５５にもこれらの情報を供給することができる。
【００２０】
以下、前処理部５０の様々な実施例について説明する。
図２は、実施例１に係る前処理部５０の構成を示す図である。実施例１に係る前処理部５０は、フレーム間予測符号化部５２および復号部５３を有する。
フレーム間予測符号化部５２は、フレーム内予測符号化すべき対象画像を、その画像に時間的に先行する、フレーム間符号化された符号化画像の復号画像を参照画像としてフレーム間予測符号化する。対象画像は量子化部４０から供給され、フレーム間符号化された符号化画像は、フレーム間予測符号化部７０から供給される。
【００２１】
ＭＰＥＧシリーズでは、フレーム内予測符号化すべき対象画像とはＩピクチャである。その画像に時間的に先行する、フレーム間符号化された符号化画像とは、当該Ｉピクチャより時間的に先行するＰピクチャまたはＢピクチャである。参照画像は、対象画像の直前の画像が好ましいが、それより以前の画像を用いてもよい。とくに、対象画像の直前の画像がＢピクチャの場合、対象画像に対して過去方向に最も近いＰピクチャを参照画像としてもよい。ＰピクチャのほうがＢピクチャより、時間の流れに沿った量子化誤差などを忠実に引き継いでいるため、時間の流れに沿った画質変動を対象画像に、より忠実に取り込むことができる。
【００２２】
フレーム間予測符号化部５２は、説明を分かりやすくするため前処理部５０内に描いているが、当然、フレーム間予測符号化部７０とハードウェア資源およびソフトウェア資源を共通化することができる。また、フレーム間予測符号化部７０によりフレーム間符号化された符号化画像は、逆量子化、逆直交変換および動き補償を経て復号画像となるが、説明の簡略上それらを省略し、当該復号画像がそのままフレーム間予測符号化部５２に供給されるように描いている。
【００２３】
復号部５３は、フレーム間予測符号化部５２により符号化された符号化画像を復号し、フレーム内予測符号化部６０に渡す。具体的には、当該符号化画像に対し、逆量子化、逆直交変換および動き補償を施し復号画像を得て、それを時間的に先行する画像の画質を一部引き継いだ補正画像として、フレーム内予測符号化部６０に供給する。
【００２４】
以上説明したように実施例１によれば、フレーム内予測符号化すべき画像を予備的にフレーム間予測符号化し、その復号画像をフレーム内予測符号化することにより、フレーム間予測符号化される画像とフレーム内予測符号化される画像とが切り替わる間で発生するフリッカなどの画質変動を抑制することができる。すなわち、フレーム内予測符号化すべき画像を予備的にフレーム間予測符号化することにより、先行する画像の量子化誤差などを一部引き継ぐことができ、量子化誤差などがリセットされることによる画質変動を低減することができる。よって、主観画質を向上させることができる。
【００２５】
また、実施例１は後述するマクロブロック単位で、先行する画像の画質を引き継ぐ手法と比較し、簡単な処理である。処理負荷が大きい場合や低スペックな装置への適用に有効である。
【００２６】
図３は、実施例２に係る前処理部５０の構成を示す図である。実施例２に係る前処理部５０は、参照画像補正部５１、フレーム間予測符号化部５２および復号部５３を有する。
参照画像補正部５１は、上記対象画像に時間的に先行する符号化画像内における、その符号化画像よりさらに先行する符号化画像と相関性の強い一部の領域を補正し、補正後の画像を上記参照画像としてフレーム間予測符号化部５２に渡す。ここで、相関性の強い一部の領域とは、両符号化画像の復号画像間で動きベクトルが第１閾値より小さいマクロブロックであってもよい。また、予測誤差が第２閾値より小さいマクロブロックであってもよい。または、両方の条件を満たすマクロブロックであってもよい。なお、マクロブロックより大きいまたは小さい領域単位で相関性が判定されてもよい。第１閾値および第２閾値は、それぞれ設計者による実験やシミュレーションに基づき設定されることが可能である。参照画像補正部５１の詳細は後述する。フレーム間予測符号化部５２および復号部５３は、基本的に実施例１と同様である。フレーム間予測符号化部５２に供給される参照画像が、参照画像補正部５１により補正された参照画像となる点が異なる。
【００２７】
以上説明したように実施例２によれば、実施例１と同様の効果を奏する。詳細は後述するが、実施例１と比較し、より高周波ノイズを低減し、圧縮効率を向上させることができる。
【００２８】
図４は、実施例３に係る前処理部５０の構成を示す図である。実施例３に係る前処理部５０は、対象画像補正部５４を有する。対象画像補正部５４は、フレーム内符号化すべき対象画像内における、その画像に時間的に先行する、フレーム間符号化された符号化画像と相関性の強い一部の領域を補正し、その補正画像をフレーム内予測符号化部６０に渡す。以下、より具体的に説明する。
【００２９】
対象画像補正部５４は、動き補償部５４１、ブロック抽出部５４２、中間画像生成部５４５および画像組立部５４６を含む。
動き補償部５４１は、上記対象画像内の分割された複数のブロックごとに、上記符号化画像の復号画像内で動き探索して、動きベクトルおよび予測画像を求める。具体的には、動き補償部５４１は、当該対象画像内の各マクロブロックごとに、当該復号画像を参照画像として、その参照画像内における所定の動き探索範囲内で、最も差分の小さい領域を特定する。たとえば、対応する画素間の予測誤差の、絶対値和や二乗和が最も小さい領域を特定する。動き補償部５４１は、各マクロブロックと、各特定した領域との動きベクトルをそれぞれ求め、ブロック抽出部５４２に供給する。また、各特定した領域の画像を予測画像としてブロック抽出部５４２に供給する。
【００３０】
ブロック抽出部５４２は、上記対象画像内の分割された複数のブロックのうち、上記動きベクトルが第１閾値より小さく、かつ上記予測画像との差分が第２閾値より小さいブロックを抽出する。これにより、当該対象画像と、時間的に先行する参照画像との間で一致または略一致する領域を特定することができ、その領域を当該参照画像の画質を引き継ぐべき領域とすることができる。
【００３１】
中間画像生成部５４５は、ブロック抽出部５４２により抽出されたブロックの原画像と、それに対応する上記予測画像との中間画像を生成する。たとえば、当該原画像と当該予測画像の各画素値の平均値を算出して中間画像を生成してもよい。その他、原画像および予測画像の少なくとも一方の画素値を所定の係数で重み付けした後、上記演算を実行してもよい。
【００３２】
画像組立部５４６は、中間画像生成部５４５により生成された中間画像と、上記対象画像内において当該中間画像に対応する原画像とを置き換えて上記補正画像を生成する。この補正画像がフレーム内予測符号化部６０にてフレーム内予測符号化されるべき対象となる。
【００３３】
図５は、実施例３に係る補正画像生成の様子を示す図である。図５では、フレーム内予測符号化されるべき対象画像Ｆｓと、対象画像Ｆｓに対して時間的に先行し、かつフレーム間予測符号化された、先行画像Ｆｐ１、Ｆｐ２、参照画像Ｆｒを描いている。図５では、対象画像Ｆｓの直前の先行画像を参照画像Ｆｒとしている。対象画像Ｆｓと参照画像Ｆｒをもとに補正画像Ｆｃが生成される。補正画像Ｆｃ内の領域Ｉ１、Ｉ２が、参照画像Ｆｒの画質を引き継いだ中間画像に置き換えられた領域である。
【００３４】
図６は、実施例３に係る画像処理の手順を示すフローチャートである。
まず、動き補償部５４１は、対象画像の各マクロブロックを動き補償し、対象画像内の予想画像をそれぞれ特定する（Ｓ１０）。つぎに、ブロック抽出部５４２は、パラメタータｎに初期値として１をセットする（Ｓ１１）。
【００３５】
ブロック抽出部５４２は、マクロブロックＭＢ（ｎ）の動きベクトルが上記第１閾値を下回り、かつマクロブロックＭＢ（ｎ）の原画像と、対応する予測画像との差分が上記第２閾値を下回るか否かを判定する（Ｓ１２）。両方の条件を満たす場合（Ｓ１２のＹ）、ブロック抽出部５４２は、マクロブロックＭＢ（ｎ）の原画像と、対応する予測画像とを抽出し（Ｓ１３）、中間画像生成部５４５は、それらの中間画質を持った中間画像を生成する（Ｓ１４）。そして、ブロック抽出部５４２は、パラメータｎをインクリメントする（Ｓ１５）。ステップＳ１２にて、少なくとも一つの条件を満たさない場合（Ｓ１２のＮ）、ステップＳ１３、Ｓ１４の処理を実行せずに、パラメータｎをインクリメントする（Ｓ１５）。
【００３６】
ブロック抽出部５４２は、パラメータｎがマクロブロック数を超えたか否かを判定し（Ｓ１６）、超えない場合（Ｓ１６のＮ）、ステップＳ１２に遷移し上述した処理を繰り返す。超えた場合（Ｓ１６のＹ）、画像組立部５４６は、中間画像を用いて補正画像を生成する（Ｓ１７）。具体的には、対象画像内における当該中間画像に対応する領域の画像を、当該中間画像に置き換える。フレーム内予測符号化部６０は、当該補正画像をフレーム内予測符号化する（Ｓ１８）。
【００３７】
以上説明したように実施例３によれば、フレーム内予測符号化すべき画像の一部を、先行画像の画質を引き継いだ画像に置き換えることにより、フレーム間予測符号化される画像とフレーム内予測符号化される画像とが切り替わる間で発生するフリッカなどの画質変動を抑制することができる。すなわち、先行する画像の量子化誤差などを一部引き継ぐことができ、量子化誤差などがリセットされることによる画質変動を低減することができる。よって、主観画質を向上させることができる。また、上述した実施例１、２、および後述する実施例３の変形例１、２と比較し、対象画像をフレーム間予測符号化し、それを復号する処理が必要ないため、処理を簡略化することができる。実施例３の基本例では、フレーム間予測符号化の全工程のうち、動き補償処理までに止めることができる。
【００３８】
図７は、実施例３の変形例１に係る前処理部５０の構成を示す図である。本変形例に係る前処理部５０は、対象画像補正部５４を有する。対象画像補正部５４は、フレーム内符号化すべき対象画像内における、その画像に時間的に先行する、フレーム間符号化された符号化画像と相関性の強い一部の領域を補正し、その補正画像をフレーム内予測符号化部６０に渡す。以下、より具体的に説明する。
【００３９】
対象画像補正部５４は、動き補償部５４１、ブロック抽出部５４２、フレーム間予測符号化部５４３、復号部５４４、中間画像生成部５４５および画像組立部５４６を含む。
動き補償部５４１は、上記対象画像内の分割された複数のブロックごとに、上記符号化画像の復号画像内で動き探索して、動きベクトルおよび予測画像を求める。ブロック抽出部５４２は、上記対象画像内の分割された複数のブロックのうち、当該動きベクトルが第１閾値より小さく、かつ当該予測画像との差分が第２閾値より小さいブロックを抽出する。
【００４０】
フレーム間予測符号化部５４３は、少なくともブロック抽出部５４２により抽出されたブロックについて、上記復号画像を参照画像としてフレーム間予測符号化する。すなわち、抽出されたマクロブロックについてのみ、予測誤差信号を生成してもよいし、すべてのマクロブロックについて予測誤差信号を生成してもよい。
【００４１】
復号部５４４は、フレーム間予測符号化部５３３により符号化されたブロックを復号する。ここでも、ブロック抽出部５４２により抽出されたマクロブロックについてのみ復号してもよいし、すべてのマクロブロックについて予測誤差信号が生成されている場合、すべてのマクロブロックを復号してもよい。
【００４２】
中間画像生成部５４５は、ブロック抽出部５４２により抽出され、かつ復号部５４４により復号されたブロックの画像と、それに対応する原画像との中間画像を生成する。ここで、原画像とはフレーム間符号化されていない対象画像を指す。画像組立部５４６は、中間画像生成部５４５により生成された中間画像と、上記対象画像内において当該中間画像に対応する原画像とを置き換えて上記補正画像を生成する。
【００４３】
図８は、実施例３の変形例１に係る画像処理の手順を示すフローチャートである。
図８のフローチャートは、図６のフローチャートと基本的に同じである。ステップＳ１３にて抽出される対象が異なるのみである。本変形例では、ブロック抽出部５４２は、マクロブロックＭＢ（ｎ）の原画像と、対応する復号画像とを抽出し（Ｓ１３’）、中間画像生成部５４５は、それらの中間画質を持った中間画像を生成する（Ｓ１４）。ここで、復号画像とはフレーム間予測符号化部５４３により符号化され、復号部５４４により復号された、マクロブロックＭＢ（ｎ）に対応する領域の部分画像である。
【００４４】
以上説明したように実施例３の変形例１によれば、フレーム内予測符号化すべき画像の一部を、先行画像の画質を引き継いだ画像に置き換えることにより、フレーム間予測符号化される画像とフレーム内予測符号化される画像とが切り替わる間で発生するフリッカなどの画質変動を抑制することができる。また、実施例３の基本例と比較し、対象画像の復号画像を基礎とする中間画像を、置換用の画像として利用することにより、高周波ノイズを低減することができ、圧縮効率を向上させることができる。
【００４５】
図９は、実施例３の変形例２に係る前処理部５０の構成を示す図である。本変形例に係る前処理部５０は、対象画像補正部５４を有する。対象画像補正部５４は、フレーム内符号化すべき対象画像内における、その画像に時間的に先行する、フレーム間符号化された符号化画像と相関性の強い一部の領域を補正し、その補正画像をフレーム内予測符号化部６０に渡す。以下、より具体的に説明する。
【００４６】
対象画像補正部５４は、動き補償部５４１、ブロック抽出部５４２、フレーム間予測符号化部５４３、復号部５４４および画像組立部５４６を含む。
動き補償部５４１は、上記対象画像内の分割された複数のブロックごとに、上記符号化画像の復号画像内で動き探索して、動きベクトルおよび予測画像を求める。ブロック抽出部５４２は、上記対象画像内の分割された複数のブロックのうち、当該動きベクトルが第１閾値より小さく、かつ当該予測画像との差分が第２閾値より小さいブロックを抽出する。
【００４７】
フレーム間予測符号化部５４３は、少なくともブロック抽出部５４２により抽出されたブロックについて、上記復号画像を参照画像としてフレーム間予測符号化する。復号部５４４は、フレーム間予測符号化部５４３により符号化されたブロックを復号する。
【００４８】
画像組立部５４６は、ブロック抽出部５４２により抽出され、かつ復号部５４４により復号されたブロックの画像と、上記対象画像内において当該ブロックの画像に対応する原画像とを置き換えて上記補正画像を生成する。本変形例では、中間画像を生成して置き換えるのではなく、ブロック抽出部５４２により抽出され、かつ復号部５４４により復号された復号画像自体を原画像と置き換える。
【００４９】
図１０は、実施例３の変形例２に係る画像処理の手順を示すフローチャートである。
図１０のフローチャートは、図８のフローチャートと基本的に同じである。相違点は、ステップＳ１４が削除された点、ステップＳ１７が変更された点である。後者について、画像組立部５４６は、復号画像を用いて補正画像を生成する（Ｓ１７’）。具体的には、対象画像内における当該復号画像に対応する領域の画像を、当該復号画像に置き換える。
【００５０】
以上説明したように実施例３の変形例２によれば、フレーム内予測符号化すべき画像の一部を、先行画像の画質を引き継いだ画像に置き換えることにより、フレーム間予測符号化される画像とフレーム内予測符号化される画像とが切り替わる間で発生するフリッカなどの画質変動を抑制することができる。また、実施例３の変形例１と比較し、対象画像の復号画像自体を置換用の画像として利用することにより、高周波ノイズをさらに低減することができ、圧縮効率をさらに向上させることができる。
【００５１】
図１１は、実施例４に係る前処理部５０の構成を示す図である。本実施例に係る前処理部５０は、参照画像補正部５１および対象画像補正部５４を有する。
参照画像補正部５１は、上記対象画像に時間的に先行する符号化画像における、その符号化画像よりさらに時間的に先行する符号化画像と相関性の強い一部の領域を補正する。
参照画像補正部５１は、上述した実施例３の基本例、変形例１および変形例２のいずれかの対象画像補正部５４と同様の手法を用いることができる。その場合、実施例３における「対象画像」を実施例４における「対象画像に時間的に先行する符号化画像」と、実施例３における「対象画像に時間的に先行するフレーム間符号化された符号化画像」を実施例４における「対象画像に時間的に先行する符号化画像よりさらに時間的に先行する符号化画像」と読み替える。
【００５２】
対象画像補正部５４は、上記対象画像内における、参照画像補正部５１により補正された補正画像と相関性の強い一部の領域を補正し、その補正画像をフレーム内予測符号化部６０に渡す。上述した実施例３の基本例、変形例１および変形例２のいずれかと同様の構成および動作を採用することができる。
【００５３】
図１２は、実施例４に係る補正画像生成の様子を示す図である。図１２では、フレーム内予測符号化されるべき対象画像Ｆｓと、対象画像Ｆｓに対して時間的に先行し、かつフレーム間予測符号化された、先行画像Ｆｐ１、Ｆｐ２、Ｆｐ３を描いている。図１２では、対象画像Ｆｓの直前の先行画像Ｆｐ３と、その一つ前の画像Ｆｐ２との中間画像を参照画像Ｆｒとしている。対象画像Ｆｓと参照画像Ｆｒをもとに補正画像Ｆｃが生成される。補正画像Ｆｃ内の領域Ｉ１、Ｉ２が、先行画像Ｆｐ２、Ｆｐ３の画質を引き継いだ中間画像に置き換えられた領域である。
【００５４】
以上説明したように実施例４によれば、フレーム内予測符号化すべき画像の一部を、複数の先行画像の画質を引き継いだ画像に置き換えることにより、フレーム間予測符号化される画像とフレーム内予測符号化される画像とが切り替わる間で発生するフリッカなどの画質変動を抑制することができる。また、実施例３と比較し、対象画像と参照画像との間における低周波数領域での相関性をより強くすることができ、不要な高周波ノイズをさらに低減することができる。それと共に、圧縮効率をさらに向上させることができる。
【００５５】
図１３は、実施例５に係る前処理部５０の構成を示す図である。本実施例に係る前処理部５０は、対象画像全体補正部５４ａ、対象画像部分補正部５４ｂおよび切替部５５を有する。
【００５６】
対象画像全体補正部５４ａは、上記対象画像を、その画像に時間的に先行する符号化画像の復号画像を参照画像としてフレーム間予測符号化し、その符号化画像を復号し、フレーム内予測符号化部６０に渡す。上述した実施例１に係るフレーム間予測符号化部５２および復号部５３と同様の構成および動作を採用することができる。
【００５７】
対象画像部分補正部５４ｂは、上記対象画像内における、その画像に時間的に先行する符号化画像と相関性の強い一部の領域を補正し、その補正画像をフレーム内予測符号化部６０に渡す。上述した実施例３の基本例、変形例１および変形例２のいずれかの構成および動作を採用することができる。
【００５８】
切替部５５は、対象画像全体補正部５４ａを有効にするか、対象画像部分補正部５４ｂを有効にするかを、当該画像処理装置２００の処理負荷およびその装置で処理すべき動画像に含まれるフレーム画像間の相関度の、少なくとも一方に基づいて切り替える。適応的に切り替えてもよい。
【００５９】
対象画像全体補正部５４ａの処理は、マクロブロックの抽出処理や再構築処理が不要な単純な処理のため、処理負荷の上昇を抑えることができる。逆に、対象画像部分補正部５４ｂの処理は、対象画像全体補正部５４ａの処理より、高周波ノイズの低減、圧縮効率の向上という観点では優位にある。ただし、処理負荷の上昇という観点では劣後する。すなわち、両者の処理はトレードオフの関係にある。
【００６０】
たとえば、切替部５５は、バッファ９０の占有量や、圧縮符号化された画像データの帯域余裕ビートレートなどを参照して、当該画像処理装置２００の処理負荷を検出することができる。それらの検出値と所定の第３閾値とを比較し、当該検出値がそれを超える場合、すなわち処理負荷が大きい場合、対象画像全体補正部５４ａを選択する。逆に、当該検出値が上記第３閾値以下の場合、すなわち処理負荷が小さい場合、対象画像部分補正部５４ｂを選択する。
【００６１】
また、切替部５５は、以下の値を参照して、動画像に含まれるフレーム画像間の相関度を検出することができる。すなわち、可変制御される量子化スケールの変化値、フレーム画像間の動きベクトルの変化値、または隣接するフレーム画像の符号量の差、などを上記値として用いることができる。それらの値と所定の第４閾値とを比較し、当該値がそれを超える場合、すなわち処理負荷が大きい場合、対象画像全体補正部５４ａを選択する。逆に、当該検出値が上記第４閾値以下の場合、すなわち処理負荷が小さい場合、対象画像部分補正部５４ｂを選択する。
【００６２】
なお、上記第３閾値および第４閾値は、それぞれ設計者による実験やシミュレーションに基づき設定されることが可能である。また、両者の判定処理をＡＮＤ条件またはＯＲ条件で併用してもよい。
【００６３】
以上説明したように実施例５によれば、実施例１に係る処理を使用するか、実施例３に係る処理を使用するか、状況に応じて切り替えることにより、処理負荷、補正精度、圧縮効率の関係を最適化することができる。
【００６４】
図１４は、実施例６に係る前処理部５０の構成を示す図である。本実施例に係る前処理部５０は、図３に示した実施例２に係る前処理部５０に切替部５５を追加したものである。
切替部５５は、フレーム間予測符号化部５２に供給すべき参照画像として、参照画像補正部５１による補正後の画像を用いるか、補正前の画像の用いるかを、当該画像処理装置２００の処理負荷およびその装置で処理されるべき動画像に含まれるフレーム画像間の相関度の、少なくとも一方に基づいて切り替える。適応的に切り替えてもよい。切替部５５の具体的な考察は、実施例５の説明があてはまる。
【００６５】
上述したように、参照画像補正部５１による補正後の画像を参照画像として用いると、補正前の画像を用いる場合より、補正精度および圧縮効率の観点では優位であるが、処理負荷の観点では劣後する。すなわち、両者の処理はトレードオフの関係にある。
【００６６】
以上説明したように実施例６によれば、参照画像補正部５１による補正後の画像を参照画像として用いるか、未補正の画像を用いるかを状況に応じて切り替えることにより、処理負荷、補正精度、圧縮効率の関係を最適化することができる。
【００６７】
図１５は、実施例７に係る前処理部５０の構成を示す図である。本実施例に係る前処理部５０は、図１１に示した実施例４に係る前処理部５０に切替部５５を追加したものである。
切替部５５は、対象画像補正部５４に供給すべき参照画像として、参照画像補正部５１による補正後の画像を用いるか、補正前の画像を用いるかを、当該画像処理装置２００の処理負荷およびその装置で処理されるべき動画像に含まれるフレーム画像間の相関度の、少なくとも一方に基づいて切り替える。適応的に切り替えてもよい。切替部５５の具体的な考察は、実施例５の説明があてはまる。
【００６８】
上述したように、参照画像補正部５１による補正後の画像を参照画像として用いると、補正前の画像を用いる場合より、補正精度および圧縮効率の観点では優位であるが、処理負荷の観点では劣後する。すなわち、両者の処理はトレードオフの関係にある。
【００６９】
以上説明したように実施例７によれば、参照画像補正部５１による補正後の画像を参照画像として用いるか、未補正の画像を用いるかを状況に応じて切り替えることにより、処理負荷、補正精度、圧縮効率の関係を最適化することができる。
【００７０】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７１】
切替部５５は、実施例３における基本例の処理、変形例１の処理および変形例２の処理を当該画像処理装置２００の処理負荷およびその装置で処理されるべき動画像に含まれるフレーム画像間の相関度の、少なくとも一方に基づいて切り替えてもよい。これにより、処理負荷、補正精度、圧縮効率の関係を最適化することができる。
【００７２】
参照画像補正部５１は、上記対象画像に時間的に先行する符号化画像（Ｆｐ３）における、その符号化画像（Ｆｐ３）よりさらに時間的に先行する符号化画像（Ｆｐ２）と相関性の強い一部の領域を補正した。この点、符号化画像（Ｆｐ３）に時間的に先行する符号化画像（Ｆｐ２）における、その符号化画像（Ｆｐ２）よりさらに時間的に先行する符号化画像（Ｆｐ１）と相関性の強い一部の領域を補正してもよい。さらに、遡って補正してもよい。さらに高周波ノイズを低減することができる。
【００７３】
なお、参照画像補正処理が施される場合、その後に対象画像補正部５４で実行される動き探索処理は、参照画像補正処理で抽出されたブロックについてのみ実行すればよい。この場合、演算量を低減することができる。
【図面の簡単な説明】
【００７４】
【図１】実施の形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】実施例１に係る前処理部の構成を示す図である。
【図３】実施例２に係る前処理部の構成を示す図である。
【図４】実施例３に係る前処理部の構成を示す図である。
【図５】実施例３に係る補正画像生成の様子を示す図である。
【図６】実施例３に係る画像処理の手順を示すフローチャートである。
【図７】実施例３の変形例１に係る前処理部の構成を示す図である。
【図８】実施例３の変形例１に係る画像処理の手順を示すフローチャートである。
【図９】実施例３の変形例２に係る前処理部の構成を示す図である。
【図１０】実施例３の変形例２に係る画像処理の手順を示すフローチャートである。
【図１１】実施例４に係る前処理部の構成を示す図である。
【図１２】実施例４に係る補正画像生成の様子を示す図である。
【図１３】実施例５に係る前処理部の構成を示す図である。
【図１４】実施例６に係る前処理部の構成を示す図である。
【図１５】実施例７に係る前処理部の構成を示す図である。
【符号の説明】
【００７５】
２０  フレーム画像分割部、  ３０  直交変換部、  ４０  量子化部、  ５０  前処理部、  ５１  参照画像補正部、  ５２  フレーム間予測符号化部、  ５３  復号部、  ５４  対象画像補正部、  ５４ａ  対象画像全体補正部、  ５４ｂ  対象画像部分補正部、  ５４１  動き補償部、  ５４２  ブロック抽出部、  ５４３  フレーム間予測符号化部、  ５４４  復号部、  ５４５  中間画像生成部、  ５４６  画像組立部、  ５５  切替部、  ６０  フレーム内予測符号化部、  ７０  フレーム間予測符号化部、  ８０  可変長符号化部、  ９０  バッファ、  １００  撮像部、  ２００  画像処理装置、  ３００  撮像装置。  
【図１】
2009147751.tif 000003
【図２】
2009147751.tif 000004
【図３】
2009147751.tif 000005
【図４】
2009147751.tif 000006
【図５】
2009147751.tif 000007
【図６】
2009147751.tif 000008
【図７】
2009147751.tif 000009
【図８】
2009147751.tif 000010
【図９】
2009147751.tif 000011
【図１０】
2009147751.tif 000012
【図１１】
2009147751.tif 000013
【図１２】
2009147751.tif 000014
【図１３】
2009147751.tif 000015
【図１４】
2009147751.tif 000016
【図１５】
2009147751.tif 000017