(57)【要約】【課題】符号量を抑制すると、画質が低下してしまう。【解決手段】相関評価部７２は、対象ピクチャ内の所定の領域と、その対象ピクチャと時間方向に異なるピクチャの領域に対応した領域との相関を評価する。量子化制御部８０は、相関評価部７２により求められた評価に応じて、対象ピクチャ内の所定の領域に対する量子化処理を適応的に変化させる。たとえば、相関評価部７２により求められた評価値により、相関が所定の閾値より弱いと判断される場合、所定の領域を量子化するときの量子化ステップを拡大する。【選択図】図１
2008245237.tif 000002
【特許請求の範囲】
【請求項１】
対象ピクチャ内の所定の領域と、その対象ピクチャと時間方向に異なるピクチャの前記領域に対応した領域との相関を評価し、前記対象ピクチャ内の所定の領域に対する処理の内容を適応的に変化させることを特徴とする画像処理方法。
【請求項２】
対象ピクチャ内の所定の領域と、その対象ピクチャと時間方向に異なるピクチャの前記領域に対応した領域との相関を評価する相関評価部と、
前記相関評価部により求められた評価に応じて、前記対象ピクチャ内の所定の領域に対する量子化処理を適応的に制御する量子化制御部と、
を備えることを特徴とする画像処理装置。
【請求項３】
前記量子化制御部は、
前記相関評価部により求められた評価値により、前記相関が所定の閾値より弱いと判断される場合、前記所定の領域を量子化するときの量子化ステップを拡大することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記量子化制御部は、
前記相関評価部により求められた評価値により、前記相関が所定の閾値より強いと判断される場合、前記所定の領域を量子化するときの量子化ステップを縮小することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記量子化制御部は、
前記相関評価部により求められた評価値により、前記相関が所定の閾値より弱いと判断される場合、前記所定の領域を量子化するときの除算処理で発生する端数を切り捨てることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
対象ピクチャ内の所定の領域に対応する予測領域を、前記対象ピクチャと時間方向に異なるピクチャ内で探索し、各予測領域候補の評価値を参照して、前記予測領域を決定する動き検出部と、
前記評価値のうちの少なくとも一つを用いて、前記対象ピクチャ内の所定の領域に対する量子化処理を適応的に制御する量子化制御部と、
を備えることを特徴とする画像処理装置。
【請求項７】
前記動き検出部は、
ピクチャ間符号化すべきピクチャおよびピクチャ内符号化すべきピクチャの両方に対して、前記評価値を生成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
撮像素子と、
請求項２から７のいずれかに記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像素子から取り込んだピクチャに対して前記量子化処理を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化するための画像処理方法、画像処理装置およびそれを用いた撮像装置に関する。
【背景技術】
【０００２】
デジタルビデオカメラが普及してきている。デジタルビデオカメラで撮像された動画像は、ＭＰＥＧ（Moving Picture Experts Group）形式で記録されるのが一般的である。ＭＰＥＧ形式などの記録方式を採用するデジタルビデオカメラは、撮像した画像を量子化した後、圧縮符号化する。量子化は画質と符号量に影響を与える処理である。量子化ステップを大きくすると、符号量を削減することができるが、画質が低下してしまう。逆に、量子化ステップを小さくすると、高画質で記録することができるが、符号量が増大してしまう。
【０００３】
量子化ステップは、バッファ占有量やマクロブロックの符号量をもとに決定されることが一般的である。
【特許文献１】特開平８−１８１９９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、バッファ占有量などをもとに単純に量子化ステップを決定すると、視聴者が注目している領域の符号量が削減されたり、逆に、変化が大きい領域など高画質にしてもさほど主観画質を向上させない領域に多くの符号量が割り当てられてしまうこともある。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、符号量を抑制しつつ、主観画質を向上させることができる画像処理方法、画像処理装置およびそれを用いた撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様の画像処理方法は、対象ピクチャ内の所定の領域と、その対象ピクチャと時間方向に異なるピクチャの領域に対応した領域との相関を評価し、対象ピクチャ内の所定の領域に対する処理の内容を適応的に変化させる。
【発明の効果】
【０００７】
本発明によれば、符号量を抑制しつつ、主観画質を向上させることができる。
【発明を実施するための最良の形態】
【０００８】
まず、本発明の実施の形態を詳細に説明する前に、代表的な実施態様について説明する。本発明のある態様の画像処理方法は、対象ピクチャ内の所定の領域と、その対象ピクチャと時間方向に異なるピクチャの領域に対応した領域との相関を評価し、対象ピクチャ内の所定の領域に対する処理の内容を適応的に変化させる。「ピクチャ」は符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。「所定の領域」はマクロブロックであってもよい。「時間方向に異なるピクチャ」は、過去のピクチャでも未来のピクチャであってもよい。
【０００９】
この態様によると、対象ピクチャ内の所定の領域と、その対象ピクチャと時間方向に異なるピクチャの対応した領域との相関を参照して、対象ピクチャ内の所定の領域を符号化することにより、領域ごとに異なる符号化処理も可能となり、符号量を抑制しつつ、主観画質を向上させる符号化も可能となる。
【００１０】
本発明の別の態様もまた、画像処理装置である。この装置は、対象ピクチャ内の所定の領域と、そのピクチャと時間方向に異なるピクチャの領域に対応した領域との相関を評価する相関評価部と、相関評価部により求められた評価に応じて、対象ピクチャ内の所定の領域に対する量子化処理を適応的に制御する量子化制御部と、を備える。
【００１１】
この態様によると、対象ピクチャ内の所定の領域と、そのピクチャと時間方向に異なるピクチャの対応した領域との相関を参照して、量子化処理のパラメータを適応的に変化させることにより、符号量を抑制しつつ、主観画質を向上させることができる。
【００１２】
量子化制御部は、相関評価部により求められた評価値により、相関が所定の閾値より弱いと判断される場合、所定の領域を量子化するときの量子化ステップを拡大してもよい。これによると、符号量を削減しても主観画質をさほど低下させないと判定される領域では、量子化ステップを拡大することにより、符号量を削減することができる。
【００１３】
量子化制御部は、相関評価部により求められた評価値により、相関が所定の閾値より強いと判断される場合、所定の領域を量子化するときの量子化ステップを縮小してもよい。これによると、視聴者が注目しやすい領域と判定される領域では、量子化ステップを縮小することにより、画質を向上させることができる。
【００１４】
量子化制御部は、相関評価部により求められた評価値により、相関が所定の閾値より弱いと判断される場合、所定の領域を量子化するときの除算処理で発生する端数を切り捨ててもよい。これによると、符号量を削減しても主観画質をさほど低下させないと判定される領域では、量子化の際の除算処理で発生する端数を切り捨てることにより、画質を向上させることができる。
【００１５】
量子化制御部は、相関評価部により求められた評価値により、相関が所定の閾値より強いと判断される場合、所定の領域を量子化するときの除算処理で発生する端数を四捨五入してもよい。これによると、符号量を削減しても主観画質をさほど低下させないと判定される領域では、視聴者が注目しやすい領域と判定される領域では、量子化の際の除算処理で発生する端数を四捨五入することにより、原画像に近い画像を記録させることができる。
【００１６】
本発明の別の態様もまた、画像処理装置である。この装置は、対象ピクチャ内の所定の領域に対応する予測領域を、対象ピクチャと時間方向に異なるピクチャ内で探索し、各予測領域候補の評価値を参照して、予測領域を決定する動き検出部と、評価値のうちの少なくとも一つを用いて、対象ピクチャ内の所定の領域に対する量子化処理を適応的に制御する量子化制御部と、を備える。「評価値のうちの少なくとも一つ」は、動き検出部により決定された予測領域の評価値であってもよい。
【００１７】
この態様によると、予測領域を探索するために生成される評価値を用いて、量子化処理のパラメータを適応的に変化させることにより、符号量を抑制しつつ、主観画質を向上させることができる。また、量子化処理に使用する、ピクチャ間の相関を表す評価値を別に演算する必要がなく、演算量を削減することができる。
【００１８】
動き検出部は、ピクチャ間符号化すべきピクチャおよびピクチャ内符号化すべきピクチャの両方に対して、評価値を生成してもよい。動き検出部をピクチャ内符号化すべきピクチャに対しても動作させることにより、量子化処理に使用する評価値をフレームの種別に関係なく生成することができる。
【００１９】
本発明の別の態様は、撮像装置である。この装置は、撮像素子と、上述した画像処理装置と、を備え、画像処理装置は、撮像素子から取り込んだピクチャに対して量子化処理を行う。
【００２０】
この態様によると、符号量を抑制しつつ、主観画質を向上させることができる撮像装置を構築することができる。
【００２１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００２２】
以下、本発明の実施の形態を詳細に説明する。図１は、実施の形態に係る撮像装置５００の構成図である。撮像装置５００は、撮像部５および符号化装置１００を備える。符号化装置１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２３】
撮像部５は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備え、撮像素子で撮像した画像を電気信号に変換し、動画像として符号化装置１００に出力する。符号化装置１００は、フレーム単位で入力される動画像を受け取り、動画像を符号化し、符号化ストリームＣＳを出力する。
【００２４】
本実施の形態に係る符号化装置１００は、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧシリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。
【００２５】
ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。
【００２６】
一方、Ｈ．２６４／ＡＶＣでは、参照画像として利用できるフレームは、時間の先後を問わず、過去の２枚のフレームを参照画像としてもよく、未来の２枚のフレームを参照画像としてもよい。また、参照画像として利用できるフレームの枚数も問わず、３枚以上のフレームを参照画像として用いることもできる。したがって、ＭＰＥＧ−１／２／４では、Ｂフレームは双方向予測（Bi-directional prediction）フレームのことを指していたが、Ｈ．２６４／ＡＶＣでは、Ｂフレームは、参照画像の時間の先後は問わないため、双予測（Bi-predictive prediction）フレームのことを指すことに留意する。
【００２７】
なお、本願明細書では、フレームとピクチャを同じ意味で用いており、Ｉフレーム、Ｐフレーム、Ｂフレームは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャとも呼ばれている。
また、本願明細書では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。
【００２８】
ブロック生成部１０は、入力された画像フレームをマクロブロックに分割する。画像フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部１０は生成したマクロブロックを差分器１２、動き補償部７０および相関評価部７２に供給する。
【００２９】
差分器１２は、ブロック生成部１０から供給される画像フレームがＩフレームであれば、そのまま直交変換部２０に出力するが、ＰフレームまたはＢフレームであれば、動き補償部７０から供給される予測画像との差分を計算して直交変換部２０に供給する。
【００３０】
動き補償部７０は、フレームメモリ６０に格納されている過去または未来の画像フレームを参照画像として利用し、ブロック生成部１０から入力されたＰフレームまたはＢフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。動き補償部７０は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。動き補償部７０は、生成した動きベクトルを可変長符号化部９０に供給し、予測画像を差分器１２と加算器１４に供給する。
【００３１】
動き補償部７０では、双方向予測と片方向予測のいずれも適用可能である。動き補償部７０は、片方向予測では、前方参照フレームに対する動きを示す順方向動きベクトルを生成する。双方向予測では、順方向動きベクトルに加えて、後方参照フレームに対する動きを示す逆方向動きベクトルの２つの動きベクトルを生成する。
【００３２】
差分器１２は、ブロック生成部１０から出力される現在の画像、すなわち符号化対象の画像と、動き補償部７０から出力される予測画像との差分を求め、直交変換部２０に出力する。直交変換部２０は、差分器１２から与えられた差分画像を離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部３０に与える。
【００３３】
量子化部３０は、量子化制御部８０により設定された量子化ステップでＤＣＴ係数を量子化し、可変長符号化部９０に与える。可変長符号化部９０は、動き補償部７０から与えられた動きベクトルとともに差分画像の量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームＣＳを生成する。バッファ９２は、符号化ストリームＣＳを一時記憶し、所定のタイミングでメモリカードやハードディスクやＤＶＤなどの記録媒体に記録するか、ネットワークに送出する。バッファ９２は、符号化ストリームＣＳの符号量または符号化ストリームＣＳによるバッファ占有量を量子化制御部８０に与える。
【００３４】
量子化部３０は、画像フレームの量子化されたＤＣＴ係数を逆量子化部４０に供給する。逆量子化部４０は、与えられた量子化データを逆量子化し、逆直交変換部５０に与え、逆直交変換部５０は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームは加算器１４に入力される。
【００３５】
加算器１４は、逆直交変換部５０から供給される画像フレームがＩフレームであれば、そのままフレームメモリ６０に格納する。加算器１４は、逆直交変換部５０から供給される画像フレームがＰフレームまたはＢフレームであれば、それは差分画像であるため、逆直交変換部５０から供給された差分画像と動き補償部７０から供給される予測画像とを加算することにより、元の画像フレームを再構成し、フレームメモリ６０に格納する。
【００３６】
ＰフレームもしくはＢフレームの符号化処理の場合は、上述のように動き補償部７０が動作するが、Ｉフレームの符号化処理の場合は、動き補償部７０は動作せず、ここでは図示しないが、Ｉフレームはフレーム内予測が行われた後、直交変換部２０に供給される。
【００３７】
相関評価部７２は、現在のフレームの小領域と、そのフレームと時間方向に前後するフレームの対応する小領域との相関を評価する。当該小領域は、マクロブロックであってもよいし、マクロブロックより大きい領域であってもよいし、マクロブロックより小さい領域であってもよい。
【００３８】
上記現在のフレームと時間方向に前後するフレームは、現在のフレームに対して一つ過去のフレームであっても、一つ未来のフレームであってもよい。また、二つ以上の過去のフレームや、過去の複数のフレームの平均値であってもよい。また、現在のフレームと、過去または未来の複数のフレームとの複数の相関を算出してもよい。上記現在のフレームと比較対象とすべき、当該フレームと時間方向に前後するフレームは、量子化後に逆量子化および逆直交変換を経た参照画像であっても、原画像であってもよい。
【００３９】
相関評価部７２は、上記相関に基づく評価値を量子化制御部８０に与える。なお、評価手法の詳細は後述する。量子化制御部８０は、相関評価部７２から与えられた評価値に応じて、量子化ステップを適応的に変化させ、量子化部３０に与える。また、相関評価部７２から与えられた評価値に応じて、量子化の際の数値の丸め方を適応的に変化させ、量子化部３０に与える。これらの処理の詳細は後述する。
【００４０】
図２は、実施の形態に係る相関評価部７２による相関評価処理の一例を示す図である。図２では、相関評価部７２は、現在のフレームＦ１のマクロブロックＢ１と、過去のフレームＦ０の最適予測ブロックＢ０との相関を評価する。１６×１６画素の最適予測ブロックＢ０は、１６×１６画素のマクロブロックＢ１と最も誤差が小さいブロックを示す。
【００４１】
相関評価部７２は、マクロブロックＢ１の画素値と、最適予測ブロックＢ０の対応する画素値との差分の絶対値和を求める。差分の計算を、フレームＦ１、Ｆ０間のすべての画素に対して行ってもよいし、一画素おきに差分を計算するなど、間引いて行ってもよい。また、画素値の差分の二乗和を求めてもよい。
【００４２】
また、相関評価部７２は、マクロブロックＢ１の画素値と、最適予測ブロックＢ０の対応する画素値との差分を、直交変換して得られる係数の絶対値和または二乗和を求めてもよい。この場合、差分値の平均が直流成分として一つの係数に集約されるため、明るさの変化による影響を受けにくくなる。これにより、明るさだけが変化した場合でも、相関の度合いを正しく求めることができる。
【００４３】
量子化制御部８０は、現在のフレームＦ１のマクロブロックＢ１の係数を量子化する際の量子化ステップを上述した評価に基づいて決定する。量子化部３０は、量子化制御部８０により決定された量子化ステップで、現在のフレームＦ１のマクロブロックＢ１の係数を量子化する。
【００４４】
図３は、実施の形態に係る符号化装置１００の動作例１を示すフローチャートである。なお、マクロブロックなどの小領域の量子化ステップのステップ幅Ｑ＋ΔＱは、バッファ占有量や符号量によって決定される基本となる基本量子化ステップＱに、時間的に前後するフレームとの相関によって決定される付加量子化ステップΔＱを付加したものとする。以下の例では、過去のフレームとの相関を用いるものとする。
【００４５】
相関評価部７２は、上述したようにフレーム間の対応する小領域において、画素値またはＤＣＴ係数の差分を算出する（Ｓ１０）。相関評価部７２は、算出した差分の絶対値和や二乗和を求めて、評価値とする（Ｓ１２）。
【００４６】
量子化制御部８０は、当該評価値と所定の閾値とを比較する（Ｓ１４）。この閾値は、設計者が実験やシミュレーションを基に決定した値に設定される。量子化制御部８０は、当該評価値が所定の閾値より大きい場合（Ｓ１４のＹ）、量子化ステップのステップ幅Ｑ＋ΔＱを縮小する（Ｓ１６）。当該評価値が所定の閾値より大きい場合とは、過去のフレームとの相関が強いことを示す。すなわち、その領域の画像の変化が小さい状態を示す。その領域の画像は今後も変化しない可能性が高く、画像が変化していないと画質の低下が目立ちやすくなる。逆にいえば、この領域の画質を低下させると、主観画質を大きく低下させてしまうといえる。したがって、付加量子化ステップΔＱを負の数にして、ステップ幅Ｑ＋ΔＱを縮小させることにより、画質を向上させる。
【００４７】
ステップＳ１４にて、量子化制御部８０は、当該評価値が所定の閾値未満の場合（Ｓ１４のＮ）、量子化ステップのステップ幅Ｑ＋ΔＱを拡大する（Ｓ１８）。当該評価値が所定の閾値未満の場合とは、過去のフレームとの相関が小さいことを示す。すなわち、その領域の画像の変化が大きい状態を示す。その領域の画像は今後も変化する可能性が高く、画像が変化していると画質の低下が目立ちにくくなる。逆にいえば、この領域の画質を低下させても、主観画質にあまり影響を与えないといえる。したがって、付加量子化ステップΔＱを正の数にして、ステップ幅Ｑ＋ΔＱを拡大させることにより、符号量を削減させる。
【００４８】
以上説明したように本動作例によれば、現在のフレームにおける量子化ステップのステップ幅Ｑ＋ΔＱを、時間方向のフレームとの相関関係に応じて、適応的に変化させることにより、符号量を抑制しつつ、主観画質を向上させることができる。
【００４９】
なお、図３のフローチャートでは説明を単純化するために、一つの閾値を用いる例を説明したが、複数の閾値を用いて、きめ細かく処理してもよい。たとえば、相関が非常に強い場合と、相関がやや強い場合を分けてもよい。相関がやや強い領域の画像は少しずつ動いている状態を示し、視聴者が注目しやすい領域といえる。そこで、ステップＳ１８で縮小させたステップ幅Ｑ＋ΔＱよりさらに縮小させたＱ＋ΔＱに変更させる。また、相関が強いとも弱いといえない中間領域では、付加量子化ステップΔＱを零にしてもよい。これらによれば、符号量と主観画質とのトレードオフ関係をさらに最適化することができる。
【００５０】
図４は、実施の形態に係る符号化装置１００の動作例２を示すフローチャートである。動作例２は、量子化する際の丸め方を適応的に変化させる処理である。量子化する際、ＤＣＴ係数を２ｎ（ｎは整数）で最上位ビットから順に除算する必要がある。その際、各ビットの重みで除算した結果、割り切れなかった場合、その除算された値を次の除算に備えて丸める必要がある。数値の丸め方には、小数点以下の数値を、単純に四捨五入したり、０．２５を足した後に四捨五入したり、または切り捨てたりする方法がある。
【００５１】
動作例２は、上述した動作例１の処理とステップＳ１４まで同様の処理のため、それらの説明を省略する。なお、閾値は異なるものを用いてもよい。量子化制御部８０は、ステップＳ１２にて算出された評価値が所定の閾値より大きい場合（Ｓ１４のＹ）、量子化する際の丸め方として、切り捨て処理を選択する（Ｓ２０）。上述したように、客観画質を低下させても、主観画質にあまり影響を与えない領域では、下位ビットに割り当てられる高周波成分の情報量を減少させることにより、符号量を削減することが望ましい。とくに、動きが大きい画像領域では、高周波成分で表現される明るさの小さな変化に対して、視聴者の目は鈍感になる。よって、符号量削減につながる切り捨て処理を採用する。
【００５２】
ステップＳ１４にて、量子化制御部８０は、当該評価値が所定の閾値未満の場合（Ｓ１４のＮ）、量子化する際の丸め方として、四捨五入処理を選択する（Ｓ２２）。上述したように、客観画質を低下させると主観画質も大きく低下してしまう領域では、画質を維持する必要がある。そこで、下位ビットに割り当てられる高周波成分の情報量も的確に記録する必要があり、原画像に比較的近い画像を残すことができる四捨五入処理を採用する。
【００５３】
以上説明したように本動作例によれば、量子化する際の丸め方を、時間方向のフレームとの相関関係に応じて、適応的に変化させることにより、符号量を抑制しつつ、主観画質を向上させることができる。
【００５４】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５５】
図５は、変形例に係る撮像装置５００の構成図である。変形例に係る撮像装置５００は、図１に示した撮像装置５００と比較し、相関評価部７２を別に設けず、その作用を動き補償部７１に兼用させている。その他の構成は図１と同様であるため、以下、動き補償部７１を中心に説明し、その他の構成の説明は適宜、省略する。
【００５６】
動き補償部７１は、マクロブロックの最適な予測領域を参照画像から探索する動き検出部としての機能と、決定した予測領域に基づき動きベクトルを生成し、その動きベクトルに基づいて予測画像を生成する予測画像生成部としての機能を備える。以下、より具体的に説明する。動き補償部７１は、フレームメモリ６０に格納されている過去または未来の画像フレームを参照画像として利用し、ブロック生成部１０から入力されたフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。
【００５７】
動き補償部７１は、誤差の最も小さい予測領域を求めるため、マクロブロックの画素値と、予測領域の候補とすべき各候補領域の画素値との差分を算出し、その絶対値和をそれぞれ求める。なお、絶対値和ではなく二乗和を求めてもよい。動き補償部７１は、絶対値和または二乗和が最も小さい候補領域を予測領域に決定する。
【００５８】
動き補償部７１は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。動き補償部７１は、生成した動きベクトルを可変長符号化部９０に供給し、予測画像を差分器１２と加算器１４に供給する。また、予測領域を決定する過程で算出した絶対値和または二乗和を、評価値として量子化制御部８０に供給する。ここで、供給すべき評価値は、決定された予測領域の評価値であってもよいし、その予測領域を含む各候補領域の評価値のうち、少なくとも一つ以上の評価値を基礎としたものであってもよい。たとえば、最も予測誤差の小さい評価値と、そのつぎに予測誤差が小さい評価値を足した値を量子化制御部８０に評価値として供給してもよい。
【００５９】
動き補償部７１が予測領域を決定し、それを基礎に予測画像を生成する必要があるのは、フレーム間符号化すべきＰフレームおよびＢフレームである。変形例では、フレーム内符号化すべきＩフレームに対しても、フレーム間の相関の度合いを求めるため、上述した絶対値和または二乗和を求める。もちろん、Ｉフレームの場合、動きベクトルおよび予測画像は生成する必要がない。
【００６０】
量子化制御部８０は、動き補償部７１から与えられた評価値に応じて、量子化ステップを適応的に変化させ、量子化部３０に与える。また、動き補償部７１から与えられた評価値に応じて、量子化の際の数値の丸め方を適応的に変化させ、量子化部３０に与える。
【００６１】
以上説明したように変形例によれば、動き補償のために予測領域を決定する過程で使用する評価値を、量子化する際のステップ幅や丸め方の制御にも転用することにより、それら制御の基礎とすべき評価値を別に演算する必要がなくなり、全体としての演算量を削減することができる。したがって、処理時間の短縮および回路規模の削減にも資する。
【００６２】
また、上述した実施の形態では、ＭＰＥＧ方式を想定したが、Ｍｏｔｉｏｎ−ＪＰＥＧ方式にも適用可能である。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式では、ＤＣＴ変換ではなく、ウェーブレット変換を用いる。この場合、上述したＤＣＴ係数をウェーブレット係数に適宜、読み替えればよい。
【図面の簡単な説明】
【００６３】
【図１】実施の形態に係る撮像装置の構成図である。
【図２】実施の形態に係る相関評価部による相関評価処理の一例を示す図である。
【図３】実施の形態に係る符号化装置の動作例１を示すフローチャートである。
【図４】実施の形態に係る符号化装置の動作例２を示すフローチャートである。
【図５】変形例に係る撮像装置の構成図である。
【符号の説明】
【００６４】
５  撮像部、  １０  ブロック生成部、  １２  差分器、  １４  加算器、  ２０  直交変換部、  ３０  量子化部、  ４０  逆量子化部、  ５０  逆直交変換部、  ６０  フレームメモリ、  ７０  動き補償部、  ７２  相関評価部、  ８０  量子化制御部、  ９０  可変長符号化部、  ９２  バッファ、  １００  符号化装置、  ５００  撮像装置。
【図１】
2008245237.tif 000003
【図２】
2008245237.tif 000004
【図３】
2008245237.tif 000005
【図４】
2008245237.tif 000006
【図５】
2008245237.tif 000007