(57)【要約】  本発明は、インター予測画像の品質を向上させることができる画像処理装置および画像処理方法、並びにプログラムに関する。  演算部１１５は、逆直交変換部１１４から供給される逆直交変換後の変換係数を、スイッチ２１４から供給されるインター予測画像と加算して復号する。動き予測・補償部２１２は、圧縮画像に対応して画像符号化装置より送信されてくる、画像間のボケの変化を表すボケ情報に基づいて、復号された画像に対して動き補償を行う。ボケ予測・補償部２１３は、その動き補償後の画像に対してボケ補償を行い、その結果得られる動き補償およびボケ補償が行われた画像をインター予測画像として、スイッチ２１４に供給する。本発明は、例えば、H.264/AVC方式で復号する画像復号装置に適用することができる。
2010064674.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像を復号する復号手段と、
前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、
前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段と
を備える画像処理装置。
【請求項２】
前記ボケ情報は、PSF（Point Spread Function）を用いて表される
請求項１に記載の画像処理装置。
【請求項３】
前記ボケ情報は、２次元の正規分布の式を用いて表される
請求項１に記載の画像処理装置。
【請求項４】
前記他の画像処理装置より送信されてくる前記ボケ情報は、前記２次元の正規分布の式における広がり幅Wである
請求項３に記載の画像処理装置。
【請求項５】
前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる
請求項１に記載の画像処理装置。
【請求項６】
前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる
請求項１０に記載の画像処理装置。
【請求項７】
前記補償手段は、前記復号手段により復号された前記画像に対して前記動き補償を行い、その結果得られる画像に対して、前記ボケ情報に基づいて前記ボケ補償を行う
請求項１に記載の画像処理装置。
【請求項８】
前記補償手段は、前記ボケ情報に基づいて、前記復号手段により復号された前記画像に対して前記ボケ補償を行い、その結果得られる画像に対して前記動き補償を行う
請求項１に記載の画像処理装置。
【請求項９】
画像復号装置が、
符号化された画像を復号する復号ステップと、
前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号ステップの処理により復号された前記画像に対して動き補償およびボケ補償を行う補償ステップと、
前記復号ステップの処理により復号された前記画像と、前記補償ステップの処理により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算ステップと
を含む画像処理方法。
【請求項１０】
符号化された画像を復号する復号手段と、
前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、
前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段と
を備える画像処理装置として、コンピュータを機能させるためのプログラム。
【請求項１１】
符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、
前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、
前記符号化後の画像と前記ボケ情報を送信する送信手段と
を備える画像処理装置。
【請求項１２】
前記ボケ情報は、PSF（Point Spread Function）を用いて表される
請求項１１に記載の画像処理装置。
【請求項１３】
前記ボケ情報は、２次元の正規分布の式を用いて表される
請求項１１に記載の画像処理装置。
【請求項１４】
前記送信手段は、前記ボケ情報として、前記２次元の正規分布の式における広がり幅Wを送信する
請求項１３に記載の画像処理装置。
【請求項１５】
前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる
請求項１１に記載の画像処理装置。
【請求項１６】
前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる
請求項１１に記載の画像処理装置。
【請求項１７】
前記補償手段は、前記符号化対象の画像および前記参照画像を用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行う
請求項１１に記載の画像符号化装置。
【請求項１８】
前記補償手段は、前記符号化対象の画像および前記参照画像を用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行う
請求項１１に記載の画像符号化装置。
【請求項１９】
画像処理装置が、
符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償ステップと、
前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化ステップと、
前記符号化後の画像と前記ボケ情報を送信する送信ステップと
を含む画像処理方法。
【請求項２０】
符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、
前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、
前記符号化後の画像と前記ボケ情報を送信する送信手段と
を備える画像処理装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、インター予測による予測画像の品質を向上させることができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式を採用して画像を圧縮符号化する装置が普及しつつある。【０００３】
特に、MPEG2（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。【０００４】
このMPEG2は主として放送用に適合する高画質符号化を対象としており、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していない。しかしながら、携帯端末の普及により、今後、そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。例えば、MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として、その規格が国際標準に承認されている。【０００５】
更に、近年、テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。これは、2003年3月にH．264及びMPEG-4 Part10 （Advanced Video Coding、以下ＡＶＣと称する）という名で国際標準となっている。【０００６】
ところで、H.264/AVCなどにおいては、フレームまたはフィールド間の相関に注目したインター予測が行われる。そして、このインター予測で行われる動き補償処理では、参照画像内の一部の領域である動き補償ブロックを平行移動させることにより、インター予測による予測画像（以下、インター予測画像という）が生成される。具体的には、動き補償ブロック内の画素値を、フレームまたはフィールド間の動きを表す動きベクトルに応じて平行移動させることにより、インター予測画像が生成される。【０００７】
例えば、図１のＡに示すように、ｔ−１番目のフレームの画像内の顔１１が、ｔ番目のフレームの画像において右側に平行移動している場合、動き補償処理では、図１のＢに示すように、ｔ−１番目のフレームの画像が参照画像とされ、右方向を表す動きベクトルが求められる。そして、図１のＢに示すように、参照画像内の顔１１を含む動き補償ブロック１２が、動きベクトルに対応して右側に平行移動された画像が、ｔ番目のフレームのインター予測画像として生成される。【０００８】
なお、図１では、説明を簡単にするため、ｔ−１番目とｔ番目のフレームの２つのフレームの画像を用いてインター予測が行われるものとしたが、実際に用いられる画像のフレーム数は２フレームに限らない。【０００９】
また、H.264/AVCなどでは、動き補償処理において、動きベクトルの分解能を２分の１または４分の１といった分数精度に向上させることが考えられている。【００１０】
このような分数精度の動き補償処理においては、隣接する画素の間に、Ｓｕｂ−Ｐｅｌと呼ばれる仮想的な画素を設定し、そのＳｕｂ−Ｐｅｌを生成する処理（以下、インターポーレーションという）が追加して行われる。【００１１】
インターポーレーションには、例えば有限インパルス応答（ＦＩＲ（Finit-duration Impulse Response））フィルタが用いられる。このＦＩＲフィルタは隣接する画素どうしの間を内挿するものであるため、ＦＩＲフィルタのタップ数は偶数となる。例えば、H.264/AVCでは、１／２の分数精度の動き補償処理におけるＦＩＲフィルタのタップ数は６タップ、１／４の分数精度の動き補償処理におけるＦＩＲフィルタのタップ数は２タップとなる。【００１２】
しかしながら、ＦＩＲフィルタを用いた分数精度の動き補償処理では、インターポーレーションが追加して行われるだけであり、整数精度の動き補償処理と同様に動き補償ブロックを平行移動させることにより、インター予測画像が生成される。【００１３】
また、非特許文献１および２には、最近の研究報告として、アダプティブ・インターポーレーション・フィルタ（ＡＩＦ）が挙げられている。このＡＩＦを用いた動き補償処理では、インターポーレーションで用いられるタップ数が偶数のＦＩＲフィルタのフィルタ係数を適応的に変えることで、エイリアシングの影響を低減し、動き補償の誤差を小さくすることができる。【００１４】
しかしながら、ＡＩＦを用いた分数精度の動き補償処理では、インターポーレーションがＦＩＲフィルタのフィルタ係数を適応的に変化させて行われるだけであり、整数精度の動き補償と同様に動き補償ブロックを平行移動させることにより、インター予測画像が生成される。【００１５】
以上のように、整数精度の動き補償処理、および、ＦＩＲフィルタまたはＡＩＦを用いた分数精度の動き補償処理は、画像間の変化が平行移動によって表現できる場合を想定している。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】Thomas Wedi and Hans Georg Musmann,Motion- and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, July 2003, Vol.13, No.7
【非特許文献２】Yuri Vatis, Joern Ostermann,Prediction of P- and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H.264/AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、実際には、撮像された画像間の変化は平行移動だけでは表現することができない。例えば、フォーカスが合った状態から外れたり、逆にフォーカスが外れた状態から合ったり、物体が加速度運動したりするなどといった様々な要因で、画像間でボケの量が変化することがある。なお、ここでは、ボケとは、画像内の物体の位置が曖昧になることをいい、ボケがなければ点状の光として画像に現れていたものが、ボケがあると広がりを持った光として画像に現れる。【００１８】
このようなボケが発生すると、画像の高周波成分が失われるが、平行移動では、周波数特性の変化を表現することができない。そのため、画像間でボケの変化が生じている場合に、上述した動き補償処理を用いてインター予測が行われると、インター予測画像と符号化対象の画像の間で画素値の差分が生じる。そして、この差分は符号化対象の画像に対するインター予測画像のピーク信号雑音比（ＰＳＮＲ）を悪化させる。【００１９】
例えば、図２に示すように、ｔ−１番目のフレームとｔ番目のフレームの入力画像の間で、フォーカスの合った状態から外れた状態に変化した場合、ｔ−１番目のフレームの入力画像内のボケのない顔２１は、ｔ番目のフレームの入力画像においてボケのある顔２２となる。なお、図２では、輪郭線を太くすることでボケを表している。また、図２の例では、説明を簡単にするため、顔２１の移動がないものとする。【００２０】
この場合、顔２１についての動きベクトルは０となるため、図２に示すように、ｔ−１番目のフレームの入力画像を参照画像として、符号化対象のｔ番目のフレームのインター予測が行われると、ｔ番目のフレームのインター予測画像は、参照画像と同一となる。即ち、ｔ番目のフレームのインター予測画像内の顔は、ｔ−１番目のフレームの入力画像内のボケのない顔２１と同一となる。【００２１】
従って、ｔ番目のフレームのインター予測画像と入力画像の間で、顔２２と顔２１の画素値の差分だけ画素値に差分が生じ、ｔ番目のフレームの入力画像に対するインター予測画像のＰＳＮＲは悪化する。即ち、図２に示すように、ｔ番目のフレームのインター予測画像と入力画像の差分画像は、顔２２と顔２１の差分として、顔２１の輪郭部分２３が残った画像となる。【００２２】
なお、図２の例では、顔２１の移動がないものとしたが、顔２１の移動がある場合であっても同様に、ｔ番目のフレームのインター予測画像と入力画像の間で、顔２２と顔２１の画素値の差分だけ画素値に差分が生じ、ｔ番目のフレームの入力画像に対するインター予測画像のＰＳＮＲは悪化する。【００２３】
符号化装置では、差分画像に対して一般的に何らかの直行変換、量子化、および符号化が行われ、その結果得られる画像が符号化後の画像としてデコーダに転送されるため、ＰＳＮＲの悪化は、符号量を増加させ、符号化効率を悪化させる。【００２４】
本発明はこのような状況に鑑みてなされたものであり、インター予測画像の品質を向上させることができるようにするものである。
【課題を解決するための手段】
【００２５】
本発明の第１の側面は、符号化された画像を復号する復号手段と、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段とを備える画像処理装置である。【００２６】
前記ボケ情報は、PSF（Point Spread Function）を用いて表される。【００２７】
前記ボケ情報は、２次元の正規分布の式を用いて表される。【００２８】
前記他の画像処理装置より送信されてくる前記ボケ情報は、前記２次元の正規分布の式における広がり幅Wである。【００２９】
前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる。【００３０】
前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる。【００３１】
前記補償手段は、前記復号手段により復号された前記画像に対して前記動き補償を行い、その結果得られる画像に対して、前記ボケ情報に基づいて前記ボケ補償を行うことができる。【００３２】
前記補償手段は、前記ボケ情報に基づいて、前記復号手段により復号された前記画像に対して前記ボケ補償を行い、その結果得られる画像に対して前記動き補償を行うことができる。【００３３】
本発明の第１の側面は、画像処理装置が、符号化された画像を復号する復号ステップと、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号ステップの処理により復号された前記画像に対して動き補償およびボケ補償を行う補償ステップと、前記復号ステップの処理により復号された前記画像と、前記補償ステップの処理により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算ステップとを含む画像処理方法である。【００３４】
本発明の第１の側面は、符号化された画像を復号する復号手段と、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。【００３５】
本発明の第２の側面は、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、前記符号化後の画像と前記ボケ情報を送信する送信手段とを備える画像処理装置である。【００３６】
前記ボケ情報は、PSF（Point Spread Function）を用いて表される。【００３７】
前記ボケ情報は、２次元の正規分布の式を用いて表される。【００３８】
前記送信手段は、前記ボケ情報として、前記２次元の正規分布の式における広がり幅Wを送信することができる。【００３９】
前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる。【００４０】
前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる。【００４１】
前記符号化対象の画像および前記参照画像を用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行うことができる。【００４２】
前記補償手段は、前記符号化対象の画像および前記参照画像を用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行うことができる。【００４３】
本発明の第２の側面は、画像処理装置が、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償ステップと、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化ステップと、前記符号化後の画像と前記ボケ情報を送信する送信ステップとを含む画像処理方法である。【００４４】
本発明の第２の側面は、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、前記符号化後の画像と前記ボケ情報を送信する送信手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。【００４５】
本発明の第１の側面においては、符号化された画像が復号され、符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、復号された画像に対して動き補償およびボケ補償が行われる。そして、復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像が生成される。【００４６】
本発明の第２の側面においては、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化が予測され、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償が行われる。そして、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像が生成され、前記符号化後の画像と前記ボケ情報が送信される。
【発明の効果】
【００４７】
本発明によれば、インター予測画像の品質を向上させることができる。
【図面の簡単な説明】
【００４８】
【図１】従来のインター予測について説明する図である。
【図２】画像間でボケが生じた場合のインター予測画像について説明する図である。
【図３】本発明の前提となる画像符号化装置の構成を示すブロック図である。
【図４】可変ブロックサイズについて説明する図である。
【図５】本発明の前提となる画像復号装置の構成を示すブロック図である。
【図６】本発明を適用した画像符号化装置の第１の実施の形態の構成例を示すブロック図である。
【図７】図６のボケ予測・補償部の詳細構成例を示すブロック図である。
【図８】フォーカスボケのメカニズムについて説明する図である。
【図９】動きボケのメカニズムについて説明する図である。
【図１０】フォーカスボケのボケ情報について説明する図である。
【図１１】動きボケのボケ情報について説明する図である。
【図１２】点広がり関数について説明する図である。
【図１３】点広がり関数について説明する図である。
【図１４】正規分布の式から求められたフィルタ係数の例を示す図である。
【図１５】図６の画像符号化装置の符号化処理について説明するフローチャートである。
【図１６】図１５のステップＳ２５におけるボケ予測・補償処理を説明するフローチャートである。
【図１７】本発明を適用した画像復号装置の第１の実施の形態の構成例を示すブロック図である。
【図１８】図１７のボケ予測・補償部の詳細構成例を示す図である。
【図１９】図１７の画像復号装置の復号処理について説明するフローチャートである。
【図２０】図１９のステップＳ１４０のボケ補償処理について説明するフローチャートである。
【図２１】本発明を適用した画像符号化装置の第２の実施の形態の構成例を示すブロック図である。
【図２２】図２１のボケ動き予測・補償部の詳細構成例を示すブロック図である。
【図２３】図２１の画像符号化装置の符号化処理について説明するフローチャートである。
【図２４】図２３のステップＳ２２３のボケ動き予測・補償処理について説明するフローチャートである。
【図２５】本発明を適用した画像復号装置の第２の実施の形態の構成例を示すブロック図である。
【図２６】図２５のボケ動き予測・補償部の詳細構成例を示すブロック図である。
【図２７】図２５の画像復号装置の復号処理について説明するフローチャートである。
【図２８】図２７のステップＳ３３９のボケ動き補償処理について説明するフローチャートである。
【図２９】拡張されたブロックサイズの例を示す図である。
【図３０】本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。
【図３１】本発明を適用した携帯電話機の主な構成例を示すブロック図である。
【図３２】本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。
【図３３】本発明を適用したカメラの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００４９】
＜１．発明の前提＞
まず、図３乃至図５を参照して、本発明の前提となる画像符号化装置および画像復号装置について説明する。
【００５０】
図３は、本発明の前提となる画像符号化装置の構成を示している。この画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、予測画像選択部７６、およびレート制御部７７により構成されている。この画像符号化装置５１は、例えば、H.264/AVC方式で画像を圧縮符号化する。
【００５１】
Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
【００５２】
演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７６により選択されたイントラ予測画像またはインター予測による予測画像（以下、インター予測画像という）を減算し、その結果得られる差分を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
【００５３】
量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力される。ここで、量子化された変換係数には、CAVLC（Context-based Adaptive Variable Length Coding)などの可変長符号化、CABAC(Context-based Adaptive Binary Arithmetic Coding)などの算術符号化等の可逆符号化が施され、圧縮される。その結果得られる圧縮画像は、蓄積バッファ６７に蓄積された後、出力される。
【００５４】
また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は、演算部７０により予測画像選択部７６から供給されるインター予測画像またはイントラ予測画像と加算され、局部的に復号された画像となる。デブロックフィルタ７１は、その局部的に復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
【００５５】
スイッチ７３は、フレームメモリ７２に蓄積された画像を、動き予測・補償部７５またはイントラ予測部７４に出力する。
【００５６】
この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャ、およびＰピクチャが、インター予測する画像として、動き予測・補償部７５に供給される。
【００５７】
イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とスイッチ７３を介してフレームメモリ７２から供給された画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。
【００５８】
なお、H.264/AVC符号化方式では、輝度信号に対するイントラ予測モードとして、4×4画素のブロック単位の予測モード、8×8画素のブロック単位の予測モード、および16×16画素のブロック単位、即ちマクロブロック単位の予測モードが定義されている。また、色差信号に対するイントラ予測モードは、輝度信号に対するイントラ予測モードと独立に定義することが可能であり、マクロブロック単位で定義される。
【００５９】
また、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。
【００６０】
このコスト関数値は、例えば、H.264/AVC方式における参照ソフトウェアであるＪＭ(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【００６１】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、仮に符号化処理までが行われ、次の式（１）で表わされるコスト関数が各イントラ予測モードに対して算出される。
【００６２】
Cost(Mode) = D + λ・R                              ・・・（１）
【００６３】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【００６４】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、イントラ予測画像の生成、および、イントラ予測モードを表す情報などのヘッダビットが算出され、次の式（２）で表わされるコスト関数が各イントラ予測モードに対して算出される。
【００６５】
Cost(Mode) = D + QPtoQuant(QP)・Header_Bit          ・・・（２）
【００６６】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、イントラ予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【００６７】
Low Complexity モードにおいては、全てのイントラ予測モードに対して、イントラ予測画像を生成するだけでよく、符号化処理を行う必要がないため、演算量が少なくて済む。
【００６８】
イントラ予測部７４は、以上のようにして算出されたコスト関数値のうち、最小値を与えるイントラ予測モードを、最適イントラ予測モードとして決定する。イントラ予測部７４は、最適イントラ予測モードで生成されたイントラ予測画像とそのコスト関数値を、予測画像選択部７６に供給する。イントラ予測部７４は、予測画像選択部７６により最適イントラ予測モードで生成されたイントラ予測画像が選択された場合、最適イントラ予測モードを表す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を可逆符号化し、圧縮画像のヘッダ部の一部とする。
【００６９】
動き予測・補償部７５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部７５は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部７５は、動きベクトルに基づいて参照画像に動き補償処理を施し、動き補償後の画像を生成する。
【００７０】
なお、MPEG2においては、ブロックサイズを固定（フレーム間の動き予測・補償処理では16×16画素単位、フィールド間の動き予測・補償処理では、各フィールドについて16×8画素単位）にして動き予測・補償が行われるが、H.264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。
【００７１】
具体的には、H.264/AVC方式においては、16×16画素で構成される１つのマクロブロックを、図４に示すように、16×16画素、16×8画素、8×16画素、あるいは8×8画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、8×8画素のパーティションに関しては、図４に示すように、8×8画素、8×4画素、4×8画素、あるいは4×4画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
【００７２】
従って、インター予測モードとしては、16×16画素、16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、および4×4画素の単位で動きベクトルを検出する８種類のモードがある。
【００７３】
また、動き予測・補償部７５は、イントラ予測部７４と同様の手法で、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７５は、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。
【００７４】
そして、動き予測・補償部７５は、最適インター予測モードで生成された動き補償後の画像を、インター予測画像として予測画像選択部７６に供給するとともに、最適インター予測モードに対するコスト関数を予測画像選択部７６に供給する。動き予測・補償部７５は、予測画像選択部７６により最適インター予測モードで生成されたインター予測画像が選択された場合、最適インター予測モードを表す情報、および、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部６６に出力する。可逆符号化部６６は、動き予測・補償部７５からの情報を可逆符号化し、圧縮画像のヘッダ部に挿入する。
【００７５】
予測画像選択部７６は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７６は、決定された最適予測モードの予測画像としてのイントラ予測画像またはインター予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７６は、イントラ予測画像が選択された旨を表す選択情報を、イントラ予測部７４に供給するか、インター予測画像が選択された旨を表す選択情報を動き予測・補償部７５に供給する。
【００７６】
レート制御部７７は、蓄積バッファ６７に圧縮情報として蓄積されたヘッダ部が付加された圧縮画像に基づいて、蓄積バッファ６７にオーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
【００７７】
以上のように構成される画像符号化装置５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。図５は、このような画像復号装置の構成を表している。
【００７８】
画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、およびスイッチ１２３により構成されている。
【００７９】
蓄積バッファ１１１は、伝送されてきた圧縮情報を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図３の可逆符号化部６６により可逆符号化された圧縮情報を、可逆符号化部６６の可逆符号化方式に対応する方式で可逆復号（可変長復号、算術復号等）する。そして、可逆復号部１１２は、可逆復号の結果得られる情報から、画像、最適インター予測モードまたは最適イントラ予測モードを表す情報、動きベクトル情報、参照フレーム情報などを抽出する。
【００８０】
逆量子化部１１３は、可逆復号部１１２により可逆復号された画像を、図３の量子化部６５の量子化方式に対応する方式で逆量子化し、その結果得られる変換係数を逆直交変換部１１４に供給する。逆直交変換部１１４は、図３の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３からの変換係数に対して４次の逆直交変換を施す。
【００８１】
逆直交変換された出力は、演算部１１５によりスイッチ１２３から供給されるイントラ予測画像またはインター予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去し、その結果得られる画像をフレームメモリ１１９に供給して蓄積させるとともに、画面並べ替えバッファ１１７に出力する。
【００８２】
画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
【００８３】
スイッチ１２０は、符号化時のインター予測において参照画像となった画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。
【００８４】
イントラ予測部１２１には、ヘッダ部を可逆復号して得られた最適イントラ予測モードを表す情報が可逆復号部１１２から供給される。最適イントラ予測モードを表す情報が供給された場合、イントラ予測部１２１は、この情報が表すイントラ予測モードで、フレームメモリ１１９からの画像を用いてイントラ予測処理を行い、イントラ予測画像を生成する。イントラ予測部１２１は、生成したイントラ予測画像を、スイッチ１２３に出力する。
【００８５】
動き予測・補償部１２２には、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部１１２から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部１２２は、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に動き補償処理を施し、動き補償後の画像を生成する。そして、動き予測・補償部１２２は、動き補償後の画像をインター予測画像としてスイッチ１２３に出力する。
【００８６】
スイッチ１２３は、動き予測・補償部１２２から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に供給する。
【００８７】
＜２．第１の実施の形態＞
［画像符号化装置の構成例］
次に、図６は、本発明を適用した画像符号化装置の第１の実施の形態の構成例を示している。
【００８８】
図６に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８９】
図６の画像符号化装置１５１の構成は、主に、動き予測・補償部７５、予測画像選択部７６、可逆符号化部６６の代わりに、動き予測・補償部１６１、予測画像選択部１６３、可逆符号化部１６４が設けられている点、および、新たにボケ予測・補償部１６２が設けられている点で図３の構成と異なる。
【００９０】
詳細には、図６の画像符号化装置１５１の動き予測・補償部１６１は、図３の動き予測・補償部７５と同様に、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１６１は、動き予測・補償部７５と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１６１は、動き予測・補償部７５と同様に、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。
【００９１】
動き予測・補償部１６１は、最適インター予測モードで生成された動き補償後の画像を、ボケ予測・補償部１６２に供給する。また、動き予測・補償部１６１は、動き予測・補償部７５と同様に、予測画像選択部１６３により最適インター予測モードで生成されたインター予測画像が選択された場合、最適インター予測モードを表す情報、および、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部１６４に出力する。
【００９２】
ボケ予測・補償部１６２は、動き予測・補償部１６１から供給される動き補償後の画像と、その動き補償後の画像の動き予測・補償処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像とに基づいて、ボケの変化を検出する。そして、ボケ予測・補償部１６２は、検出されたボケの変化を表すボケ情報に基づいて、動き補償後の画像に対してボケを発生または解消するボケ補償処理を施し、動き補償およびボケ補償後の画像を生成する。
【００９３】
また、ボケ予測・補償部１６２は、動き予測・補償部１６１と同様の手法で、動き補償およびボケ補償後の画像のコスト関数値を算出する。そして、ボケ予測・補償部１６２は、生成された動き補償およびボケ補償後の画像をインター予測画像として予測画像選択部１６３に供給するとともに、コスト関数値を予測画像選択部１６３に供給する。
【００９４】
さらに、ボケ予測・補償部１６２は、予測画像選択部１６３により最適インター予測モードで生成されたインター予測画像が選択された場合、ボケ情報を可逆符号化部１６４に出力する。なお、ボケ予測・補償部１６２の詳細については後述する。
【００９５】
予測画像選択部１６３は、イントラ予測部７４またはボケ予測・補償部１６２より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部１６３は、決定された最適予測モードの予測画像としてのイントラ予測画像またはインター予測画像を選択し、演算部６３，７０に供給する。
【００９６】
このとき、予測画像選択部１６３は、イントラ予測画像が選択された旨を表す選択情報を、イントラ予測部７４に供給するか、インター予測画像が選択された旨を表す選択情報を動き予測・補償部１６１およびボケ予測・補償部１６２に供給する。
【００９７】
可逆符号化部１６４は、可逆符号化部６６と同様に、量子化部６５から供給される量子化された変換係数に対して可逆符号化を施し、圧縮することにより、圧縮画像を生成する。また、可逆符号化部１６４は、イントラ予測部７４、動き予測・補償部１６１、またはボケ予測・補償部１６２からの情報に対して可逆符号化を施し、圧縮画像のヘッダ部に挿入する。そして、可逆符号化部１６４により生成されたヘッダ部が付加された圧縮画像は、圧縮情報として蓄積バッファ６７に蓄積された後、出力される。
【００９８】
以上のように、画像符号化装置１５１は、インター予測において、動き補償だけでなくボケ補償も行うので、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測画像の品質（例えば、インター予測する画像を基準としたインター予測画像のＰＳＮＲ）を向上させることができる。
【００９９】
［ボケ予測・補償部１６２の詳細構成例］
図７は、図６のボケ予測・補償部１６２の詳細構成例を示している。
【０１００】
図７のボケ予測・補償部１６２は、ボケ補償部１７１とボケ予測部１７２により構成される。
【０１０１】
ボケ補償部１７１は、ボケ予測部１７２から供給されるボケ情報に基づいて、動き予測・補償部１６１から供給される動き補償後の画像に対してボケ補償処理を施す。また、ボケ補償部１７１は、動き予測・補償部１６１と同様の手法で、ボケ補償処理の結果得られる動き補償およびボケ補償後の画像のコスト関数値を算出する。そして、ボケ補償部１７１は、この動き補償およびボケ補償後の画像を、インター予測画像として予測画像選択部１６３に供給するとともに、コスト関数値を予測画像選択部１６３に供給する。
【０１０２】
ボケ予測部１７２は、動き予測・補償部１６１から供給される動き補償後の画像と、画面並べ替えバッファ６２から供給されるインター予測する画像とに基づいて、ボケの変化を予測し、そのボケの変化を表すボケ情報を生成してボケ補償部１７１に供給する。また、予測画像選択部１６３からインター予測画像が選択された旨を表す選択情報が供給された場合、ボケ予測部１７２は、ボケ情報を可逆符号化部１６４に供給する。
【０１０３】
［ボケ情報の説明］
【０１０４】
次に、図８乃至図１１を参照してボケ情報について説明する。
【０１０５】
まず、図８を参照して、撮像時にフォーカスが外れることにより発生するボケ（以下、フォーカスボケあるいはピンボケという）のメカニズムについて説明する。
【０１０６】
図８に示すように、点Ａから点状の光が発生している場合、光は一度広がった後、撮像部のレンズ１８１により集光され、結像面１８２上の点Ｂで像を結び、再び点状の光となる。しかしながら、結像面１８２から外れた面１８３では、点Ｃにおいて広がりを持った光となる。即ち、面１８３では、本来、点Ａの１点による光だったものが、点Ｃにおいて幅を持ち、位置が曖昧になる。つまり、面１８３ではボケが発生する。
【０１０７】
フォーカスが合っている場合、撮像部の複数の光センサからなる撮像素子は結像面１８２上に位置するため、点Ａからの光が１つの光センサで受光され、点Ａに相当する光の発生位置がはっきりした画像が得られる。これに対して、フォーカスが外れている場合、撮像素子が結像面１８２から外れた面（例えば面１８３）上に位置するため、点Ａからの光が複数の光センサで受光され、点Ａに相当する光の発生位置が曖昧な画像、即ちボケが発生した画像が得られる。
【０１０８】
次に、図９を参照して、撮像時に被写体や撮像部が動くことにより発生するボケ（以下、動きボケという）のメカニズムについて説明する。
【０１０９】
図９に示すように、点Ａ１から点状の光が発生している場合、その光は、図８で説明したように、結像面１８２上の点Ｂ１で点状の光となる。次に、被写体や撮像部の動きにより、点状の光が点Ａ１から点Ａ２に相対的に移動すると、結像面１８２上の光は点Ｂ１から点Ｂ２へ移動する。
【０１１０】
従って、フォーカスが合っており、撮像部の複数の光センサからなる撮像素子が結像面１８２上に位置する場合、光センサが受光している間に、被写体や撮像部の動きにより点状の光が点Ａ１から点Ａ２に相対的に移動すると、複数個の光センサで光が受光される。その結果、光の発生位置が曖昧な画像、即ちボケが発生した画像が得られる。
【０１１１】
以上のようにして発生するフォーカスボケおよび動きボケは、点状の光を入力した際の出力、即ちインパルス応答で定義することができる。図８では、入力は、例えば、点Ａから発生される点状の光であり、インパルス応答は、撮像素子上（例えば、点Ｂ、点Ｃ）に出力される光である。また、図９では、入力は、例えば、点Ａ１から発生される点状の光であり、インパルス応答は、撮像素子上（例えば、点Ｂ１から点Ｂ２までの範囲）に出力される光である。
【０１１２】
そこで、フォーカスボケのボケ情報としては、例えば、図１０のＡに示すように、インパルス応答としての撮像素子１９０上に出力される光１９１の半径Ｌを表す情報が採用される。なお、図１０のＡの撮像素子１９０において格子状に設けられた正方形は、１画素に対応する光センサを表している。このことは、後述する図１１のＡにおいても同様である。
【０１１３】
また、図１０のＡの例では、フォーカスボケが発生している場合について示しているため、光１９１は直径２Ｌの円状の広がりを有しているが、フォーカスボケがない場合、光１９１は点状の光となる。
【０１１４】
以上のように、フォーカスボケのボケ情報として半径Ｌを表す情報が採用される場合、ボケ予測部１７２は、予め設定された半径Ｌのとり得る各値に対応するフィルタ係数のＦＩＲフィルタのそれぞれを、動き予測・補償部１６１から供給される動き補償後の画像に適用する。
【０１１５】
例えば、ボケ予測部１７２は、図１０のＡに示した半径Ｌに対応するＦＩＲフィルタとして、図１０のＢに示す値に対応するフィルタ係数のＦＩＲフィルタを動き補償後の画像に適用する。なお、図１０のＢにおいて格子状に設けられた正方形は、１画素に対応し、その正方形内に記載された数字は、フィルタ係数に対応する値である。具体的には、図１０のＢの各画素に対応する正方形内に記載された数字は、その画素に対応する光センサが受光する面積の、１画素に対応する光センサの受光可能面積に対する割合を示している。画像の直流成分の増幅度を１とするため、フィルタ係数としては、この割合の合計が１となるようにした値が用いられる。即ち、図１０のＢにおいては、割合の合計が、6.4（=0.4×4+0.95×4+1.0）となるので、割合が0.4,0.95,1.0となる画素に対応するフィルタ係数としては、それぞれ、0.4/6.4，0.95/6.4,1.0/6.4が用いられる。
【０１１６】
ボケ予測部１７２は、各ＦＩＲフィルタが動き補償後の画像に適用された結果得られるＦＩＲフィルタごとの画像のそれぞれと、画面並べ替えバッファ６２から供給されるインター予測する画像との差分を求め、その差分が最小となるときのＦＩＲフィルタに対応する半径Ｌを表す情報をボケ情報とする。
【０１１７】
また、動きボケのボケ情報としては、例えば、図１１のＡに示すように、インパルス応答としての撮像素子１９０上に出力される光１９２の中心から横方向の長さＬｘおよび縦方向の長さＬｙを表す情報が採用される。
【０１１８】
なお、図１１のＡの例では、動きボケが発生している場合について示しているため、光１９２は横方向に長さ２Ｌｘ、縦方向に長さ２Ｌｙで斜め方向に線状に広がっているが、動きボケがない場合、光１９２は点状の光となる。
【０１１９】
以上のように、動きボケのボケ情報として長さＬｘ、Ｌｙを表す情報が採用される場合、ボケ予測部１７２で適用されるＦＩＲフィルタは、長さＬｘ、Ｌｙのとり得る各値の組み合わせに対応するフィルタ係数のＦＩＲフィルタである。
【０１２０】
例えば、図１１のＡに示した長さＬｘ，Ｌｙに対応するＦＩＲフィルタは、図１１のＢに示す値に対応するフィルタ係数のＦＩＲフィルタである。なお、図１１のＢにおいて格子状に設けられた正方形は、１画素に対応し、その正方形内に記載された数字は、フィルタ係数に対応する値である。具体的には、図１１のＢの各画素に対応する正方形内に記載された数字は、その画素の中の光１９２の長さを示している。図１１のＢの例では、画素の１辺の長さを１としているため、画素の対角線の長さは√２（≒1.4）となり、各画素に対応する正方形内に記載された数字は、1.4または0.7となっている。
【０１２１】
動きボケの場合も、フォーカスボケの場合と同様に、画像の直流成分の増幅度を１とするため、フィルタ係数としては、正方形内の数字の合計が１となるようにした値が用いられる。即ち、図１１のＢにおいては、数字の合計が、5.6（=0.7×2+1.4×3）となるので、正方形内の数字が0.7,1.4となる画素に対応するフィルタ係数としては、それぞれ、0.7/5.6，1.4/5.6が用いられる。
【０１２２】
なお、フィルタ係数の設定方法は、図１０や図１１で説明した方法に限定されず、ボケ情報によって一意に設定される方法であれば、どのような方法であってもよい。
【０１２３】
また、画像符号化装置１５１と、それに対応する復号装置が、同一のフィルタ係数のセットを予め記憶しておく場合には、画像符号化装置１５１は、ボケ情報の代わりに、フィルタ係数のセットの識別子を画像復号装置に送信するようにしてもよい。識別子のデータ量はボケ情報に比べて少ないため、画像符号化装置１５１がボケ情報の代わりにフィルタ係数を送信する場合、ボケ予測・補償処理を行うことによる符号量の増加を抑制することができる。
【０１２４】
なお、上記説明においては、フォーカスボケと動きボケのボケ情報について別々に説明したが、両方のボケのボケ情報として、図１２および図１３を参照して説明する点広がり関数（Point Spread Function）を採用することもできる。以下、点広がり関数を、PSFともいう。
【０１２５】
図１２に示されるように、点光源１９３が、撮像１９４を介することにより、フォーカスボケ１９５Ａ、あるいは、手ぶれや被写体の動きボケ１９５Ｂが発生する。
【０１２６】
図１３に示されるように、ボケのない画像１９６を、フォーカスボケのPSF１９８を用いて、FIRフィルタに相当する畳み込み演算１９７を行うことにより、フォーカスボケした画像１９９を得ることができる。
【０１２７】
すなわち、図１２に示されるフォーカスボケ１９５Ａや動きボケ１９５Ｂは、図８や図９を参照して上述したように、点光源１９３をカメラで観察した像であり、撮像１９４系のインパルス応答に相当する。これに対して、図１３に示されるPSF１９８は、フォーカスボケや動きボケを表現するモデルになる。つまり、PSF１９８を用いて、FIRフィルタのフィルタ係数を求め、ボケのない画像１９６に対して、求められたフィルタ係数のFIRフィルタに相当する畳み込み演算１９７を行うことにより、フォーカスボケした画像１９９を得ることができる。
【０１２８】
なお、図１３の例では、フォーカスボケについて説明したが、動きボケのPSFを用いることで、同様に動きボケした画像を得ることもできる。
【０１２９】
ここで、PSFについて説明する。PSFは、点光源がある系を介してどのように変化を受けるかを観察した像であり、その系がボケを起こすものであれば次のような３つの特徴を有する関数となる。第１に、式（３）に示されるように、関数を積分すると１になる。第２に、レンズによるボケ（フォーカスボケ）を２次元性正規分布で近似できる。第３に、動きボケの場合には、動きの軌跡に対応した関数となる。
【数１】
2010064674.tif 000003
【０１３０】
そこで、符号化においては、第２の特徴を用い、フォーカスボケについて、少ない情報でボケを表現することを考え、符号化側から復号側に送るボケ情報として、２次元正規分布の広がり幅を用いる。すなわち、これにより、フォーカスボケのボケ量を、１の変数で表わすことができる。
【０１３１】
まず、簡単のため、１次元の正規分布は、式（４）で表わすことができる。
【数２】
2010064674.tif 000004
ここで、Wは、広がり幅を表す。xは、FIRフィルタのタップの位置を示す。したがって、式（４）より、フィルタ係数を求めることができる。
【０１３２】
図１４には、式（４）の正規分布の式から求められたフィルタ係数が示されており、その左側には、求められたフィルタ係数が図表化されたグラフが示されている。
【０１３３】
広がり幅W=1.5においては、タップの位置x=-5,5のとき、フィルタ係数は0.001となり、タップの位置x=-4,4のとき、フィルタ係数は0.008となり、タップの位置x=-3,3のとき、フィルタ係数は0.036となる。また、タップの位置x=-2,2のとき、フィルタ係数は0.109となり、タップの位置x=-1,1のとき、フィルタ係数は0.213となり、タップの位置x=0のとき、フィルタ係数は0.266となる。
【０１３４】
広がり幅W=1においては、タップの位置x=-5,5のとき、フィルタ係数は0.000となり、タップの位置x=-4,4のとき、フィルタ係数は0.000となり、タップの位置x=-3,3のとき、フィルタ係数は0.004となる。また、タップの位置x=-2,2のとき、フィルタ係数は0.054となり、タップの位置x=-1,1のとき、フィルタ係数は0.242となり、タップの位置x=0のとき、フィルタ係数は0.399となる。
【０１３５】
広がり幅W=0.5においては、タップの位置x=-5,5のとき、フィルタ係数は0.000となり、タップの位置x=-4,4のとき、フィルタ係数は0.000となり、タップの位置x=-3,3のとき、フィルタ係数は0.000となる。また、タップの位置x=-2,2のとき、フィルタ係数は0.000となり、タップの位置x=-1,1のとき、フィルタ係数は0.108となり、タップの位置x=0のとき、フィルタ係数は0.798となる。
【０１３６】
以上のように、式（４）の正規分布の式より、広がり幅Wに応じてフィルタ係数が決まる。
【０１３７】
なお、式（５）に示される２次元の正規分布の式からも同様にフィルタ係数を求めることができる。
【数３】
2010064674.tif 000005
２次元の場合も、Wは、広がり幅を表す。x,yは、FIRフィルタのタップの位置を示す。
【０１３８】
以上のように、フォーカスボケのボケ情報として広がり幅Ｗを表す情報を用いることもできる。このｎ場合、ボケ予測部１７２で適用されるＦＩＲフィルタは、広がり幅Ｗのとり得る各値（すなわち、図１４に示された値）の組み合わせに対応するフィルタ係数のＦＩＲフィルタとなる。
【０１３９】
［符号化処理の説明］
次に、図１５のフローチャートを参照して、図６の画像符号化装置１５１の符号化処理について説明する。
【０１４０】
ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１４１】
ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と、予測画像選択部１６３からのイントラ予測画像またはインター予測画像との差分を演算する。
【０１４２】
差分データは元の画像データに比べてデータ量が小さくなるため、差分データを演算して符号化することにより、画像データをそのまま符号化する場合に比べて、データ量を圧縮することができる。
【０１４３】
ステップＳ１４において、直交変換部６４は、演算部６３から供給された差分を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は、その変換係数を量子化する。この量子化に際しては、後述するステップＳ２９の処理で説明されるように、レートが制御される。
【０１４４】
以上のようにして量子化された差分は、次のようにして局部的に復号される。即ち、ステップＳ１６において、逆量子化部６８は、量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は、逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
【０１４５】
ステップＳ１８において、演算部７０は、予測画像選択部１６３を介して入力されるインター予測画像またはイントラ予測画像を局部的に復号された差分に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９において、デブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０において、フレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２には、デブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
【０１４６】
ステップＳ２１において、イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像と、スイッチ７３を介してフレームメモリ７２から供給された画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。そして、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。
【０１４７】
ステップＳ２２において、イントラ予測部７４は、算出されたコスト関数値のうち、最小値を与えるイントラ予測モードを、最適イントラ予測モードとして決定する。そして、イントラ予測部７４は、最適イントラ予測モードで生成されたイントラ予測画像とそのコスト関数値を、予測画像選択部１６３に供給する。
【０１４８】
ステップＳ２３において、動き予測・補償部１６１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、候補となる全てのインター予測モードで動き予測・補償処理を行う。そして、動き予測・補償部１６１は、候補となる全てのインター予測モードに対してコスト関数値を算出する。
【０１４９】
ステップＳ２４において、動き予測・補償部１６１は、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部１６１は、最適インター予測モードで生成された動き補償後の画像をボケ予測・補償部１６２に供給する。
【０１５０】
ステップＳ２５において、ボケ予測・補償部１６２は、動き予測・補償部１６１から供給される動き補償後の画像と、その動き補償後の画像の動き予測・補償処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像とに基づいて、ボケ予測・補償処理を行う。このボケ予測・補償処理の詳細は、後述する図１６を参照して説明する。ボケ予測・補償処理の結果得られる動き補償およびボケ補償後の画像と、その画像のコスト関数値は、インター予測画像として予測画像選択部１６３に供給される。
【０１５１】
ステップＳ２６において、予測画像選択部１６３は、イントラ予測部７４およびボケ予測・補償部１６２より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定し、決定された最適予測モードの予測画像を選択する。このようにして最適予測モードの予測画像として選択されたインター予測画像またはイントラ予測画像は、演算部６３，７０に供給され、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
【０１５２】
なお、このとき、予測画像選択部１６３は、イントラ予測部７４、または、動き予測・補償部１６１およびボケ予測・補償部１６２に選択情報を供給する。イントラ予測画像が選択された旨を表す選択情報が供給された場合、イントラ予測部７４は、最適イントラ予測モードを表す情報を、可逆符号化部１６４に供給する。
【０１５３】
最適インター予測モードが選択された旨を表す選択情報が供給された場合、動き予測・補償部１６１は、最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報などを可逆符号化部１６４に出力し、ボケ予測・補償部１６２は、ボケ情報を可逆符号化部１６４に出力する。
【０１５４】
ステップＳ２７において、可逆符号化部１６４は、量子化部６５より出力された量子化された変換係数を符号化し、圧縮画像を生成する。このとき、最適イントラ予測モードや最適インター予測モードを表す情報、最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）、ボケ情報なども可逆符号化され、圧縮画像のヘッダ部に挿入される。
【０１５５】
ステップＳ２８において、蓄積バッファ６７は、可逆符号化部１６４により生成されたヘッダ部が付加された圧縮画像を圧縮情報として蓄積する。蓄積バッファ６７に蓄積された圧縮情報は適宜読み出され、伝送路を介して画像復号装置に伝送される。
【０１５６】
ステップＳ２９において、レート制御部７７は、蓄積バッファ６７に蓄積された圧縮情報に基づいて、蓄積バッファ６７にオーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
【０１５７】
［ボケ予測・補償処理の詳細説明］
次に、図１６のフローチャートを参照して、図１５のステップＳ２５におけるボケ予測・補償処理を説明する。
【０１５８】
ステップＳ４１において、ボケ予測・補償部１６２のボケ予測部１７２（図７）は、ボケ情報が表す半径Ｌ、長さＬｘ，Ｌｙ、または広がり幅Wとしてとり得る各値に対応するフィルタ係数のＦＩＲフィルタのそれぞれを、動き予測・補償部１６１から供給される動き補償後の画像に適用する。
【０１５９】
ステップＳ４２において、ボケ予測部１７２は、各ＦＩＲフィルタの適用後の画像のそれぞれと、画面並べ替えバッファ６２から供給されるインター予測する画像との差分を求める。
【０１６０】
ステップＳ４３において、ボケ予測部１７２は、ステップＳ４２で求められた差分のうちの最小の差分に対応するボケ情報をボケ補償部１７１に出力する。具体的には、ボケ予測部１７２は、差分が最小値となる画像を生成するために用いたＦＩＲフィルタに対応するボケ情報をボケ補償部１７１に出力する。なお、このボケ情報は、予測画像選択部１６３からインター予測画像が選択された旨を表す選択情報が供給された場合、可逆符号化部１６４にも出力される。
【０１６１】
ステップＳ４４において、ボケ補償部１７１は、ボケ予測部１７２から供給されるボケ情報に基づいて、動き予測・補償部１６１から供給される動き補償後の画像に対してボケ補償処理を施す。具体的には、ボケ補償部１７１は、ボケ情報に対応するフィルタ係数のＦＩＲフィルタを、動き予測・補償部１６１から供給される動き補償後の画像に適用する。これにより、動き補償後の画像のフォーカスボケまたは動きボケが補償される。
【０１６２】
そして、ボケ補償部１７１は、ボケ補償処理の結果得られる動き補償およびボケ補償後の画像のコスト関数値を算出する。ボケ補償部１７１は、この動き補償およびボケ補償後の画像をインター予測画像として予測画像選択部１６３に供給するとともに、コスト関数値を予測画像選択部１６３に供給する。そして、ボケ予測・補償処理は終了し、処理は図１５のステップＳ２５に戻り、ステップＳ２６に進む。
【０１６３】
以上のように、画像符号化装置１５１は、インター予測において、動き補償だけでなくボケ補償も行うので、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測画像の品質（例えば、インター予測する画像を基準としたインター予測画像のＰＳＮＲ）を向上させることができる。
【０１６４】
インター予測においてボケ補償を行う場合、ボケ情報を画像復号装置に送信する必要があるため、圧縮画像のヘッダ部のビット量は増加するが、上述したようにインター予測画像の品質が向上するので、インター予測する画像とインター予測画像との差分は低減する。その結果、全体的には圧縮情報のデータ量、即ち符号量が減少し、符号化効率を向上させることができる場合がある。
【０１６５】
具体的には、半径Ｌ，長さＬｘ，Ｌｙとしてとり得る値の数がそれぞれＮ個であるとすると、ボケ情報として割り当てる必要のあるビット量は、3×Log2（N）となる。従って、例えばＮが１６である場合、ボケ情報として割り当てる必要のあるビット量は、3×Log2(16)=12となる。よって、この場合、ボケ補償を行うことにより、圧縮画像の符号量が１２ビット以上削減されると、圧縮情報の符号量は全体として削減される。
【０１６６】
また、画像符号化装置１５１は、半径Ｌまたは長さＬｘ，Ｌｙに対応するＦＩＲフィルタを適用することによりボケ補償を行うので、半径Ｌや長さＬｘ，Ｌｙで定義できるフォーカスボケや動きボケを補償することができる。その結果、例えば、符号化対象の画像が、フォーカスの自動調整機能を有するビデオカメラで撮影された、フォーカスが度々変化する画像である場合や、撮影時の手振れの影響で動きボケの程度が変化する画像である場合においても、インター予測画像の品質を良好に保つことができる。
【０１６７】
なお、このことは、ボケ情報が広がり幅Wにも同様に言うことができる。
【０１６８】
以上のようにして画像符号化装置１５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。
【０１６９】
［画像復号装置の構成例］
図１７は、このような画像復号装置の構成例を示している。
【０１７０】
図１７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７１】
図１７の画像復号装置２０１の構成は、主に、可逆復号部１１２、動き予測・補償部１２２、スイッチ１２３の代わりに、可逆復号部２１１、動き予測・補償部２１２、スイッチ２１４が設けられている点、および、新たにボケ予測・補償部２１３が設けられている点で図５の構成と異なる。
【０１７２】
詳細には、図１７の画像復号装置２０１の可逆復号部２１１は、蓄積バッファ１１１より供給された、図６の可逆符号化部１６４により可逆符号化された圧縮情報を、可逆符号化部１６４の可逆符号化方式に対応する方式で可逆復号する。そして、可逆復号部２１１は、可逆復号の結果得られる情報から、画像、最適インター予測モードまたは最適イントラ予測モードを表す情報、動きベクトル情報、参照フレーム情報、ボケ情報などを抽出する。
【０１７３】
動き予測・補償部２１２には、図５の動き予測・補償部１２２と同様に、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部２１１から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部２１２は、動き予測・補償部１２２と同様に、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に動き補償処理を施す。そして、動き予測・補償部２１２は、その結果得られる動き補償後の画像をボケ予測・補償部２１３に出力する。
【０１７４】
ボケ予測・補償部２１３には、ヘッダ部を可逆復号して得られたボケ情報が可逆復号部２１１から供給される。ボケ予測・補償部２１３は、ボケ情報に基づいて、動き予測・補償部２１２から供給される動き補償後の画像に対してボケ補償処理を施す。そして、ボケ予測・補償部２１３は、動き補償およびボケ補償後の画像を、インター予測画像としてスイッチ２１４に出力する。
【０１７５】
スイッチ２１４は、ボケ予測・補償部２１３から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に供給する。
【０１７６】
以上のように、画像復号装置２０１は、インター予測において、動き補償だけでなくボケ補償も行うので、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０１７７】
［ボケ予測・補償部２１３の詳細構成例］
図１８は、図１７のボケ予測・補償部２１３の詳細構成例を示している。
【０１７８】
図１８のボケ予測・補償部２１３は、フィルタ係数変換部２２１とＦＩＲフィルタ２２２により構成される。
【０１７９】
フィルタ係数変換部２２１は、可逆復号部２１１から供給されるボケ情報をフィルタ係数に変換する。即ち、フィルタ係数変換部２２１は、可逆復号部２１１から供給されるボケ情報に基づいて、フィルタ係数を決定する。
【０１８０】
例えば、フィルタ係数変換部２２１は、ボケ情報としての図１０のＡに示した半径Ｌを表す情報を、図１０のＢに示した値に対応するフィルタ係数に変換する。また、フィルタ係数変換部２２１は、ボケ情報としての図１１のＡに示した長さＬｘ，Ｌｙを表す情報を、図１１のＢに示した値に対応するフィルタ係数に変換する。なお、ボケ情報が広がり幅Wにも同様にフィルタ係数に変換される。そして、フィルタ係数変換部２２１は、変換されたフィルタ係数をＦＩＲフィルタ２２２に供給する。
【０１８１】
ＦＩＲフィルタ２２２は、フィルタ係数変換部２２１から供給されるフィルタ係数で特性が決定されるフィルタである。ＦＩＲフィルタ２２２は、フィルタ係数を用いて、動き予測・補償部２１２から供給される動き補償後の画像に対してフィルタリングを行うことにより、ボケ補償処理を行う。そして、ＦＩＲフィルタ２２２は、その結果得られる動き補償およびボケ補償後の画像を、インター予測画像としてスイッチ２１４に供給する。
【０１８２】
以上のように、ボケ予測・補償部２１３は、画像符号化装置１５１から送信されてくる符号化時のボケ情報に対応するフィルタ係数のＦＩＲフィルタでボケ補償処理を行うので、符号化時と同一のボケ補償処理を行うことができる。
【０１８３】
［復号処理の説明］
次に、図１９のフローチャートを参照して、図１７の画像復号装置２０１の復号処理について説明する。
【０１８４】
ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた圧縮情報を蓄積する。ステップＳ１３２において、可逆復号部２１１は、蓄積バッファ１１１から供給される圧縮情報を可逆復号する。即ち、図６の可逆符号化部１６４により可逆符号化されたＩピクチャ、Ｐピクチャ、およびＢピクチャが可逆復号される。なお、このとき、動きベクトル情報、参照フレーム情報、最適イントラ予測モードまたは最適インター予測モードを表す情報、ボケ情報なども復号される。
【０１８５】
ステップＳ１３３において、逆量子化部１１３は、可逆復号部２１１により可逆復号された変換係数を、図６の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において、逆直交変換部１１４は、逆量子化部１１３により逆量子化された変換係数を、図６の直交変換部６４の特性に対応する特性で逆直交変換する。これにより、図６の直交変換部６４の入力（演算部６３の出力）としての差分が復号されたことになる。
【０１８６】
ステップＳ１３５において、演算部１１５は、復号された差分を、後述するステップＳ１４２の処理でスイッチ２１４から出力されるインター予測画像またはイントラ予測画像と加算する。これにより元の画像が復号される。ステップＳ１３６において、デブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７において、フレームメモリ１１９は、フィルタリングされた画像を記憶する。
【０１８７】
ステップＳ１３８において、可逆復号部２１１は、圧縮画像のヘッダ部の可逆復号結果に基づいて、圧縮画像がインター予測された画像であるかどうか、即ち、可逆復号結果に最適インター予測モードを表す情報が含まれているかどうかを判定する。
【０１８８】
ステップＳ１３８で圧縮画像がインター予測された画像であると判定された場合、可逆復号部２１１は、動きベクトル情報、参照フレーム情報、および最適インター予測モードを表す情報を動き予測・補償部２１２に供給し、ボケ情報をボケ予測・補償部２１３に供給する。
【０１８９】
そして、ステップＳ１３９において、動き予測・補償部２１２は、可逆復号部２１１からの情報が表す最適インター予測モードで、その情報が表す動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に対して動き補償処理を行う。そして、動き予測・補償部２１２は、その結果得られる動き補償後の画像をボケ予測・補償部２１３に出力する。
【０１９０】
ステップＳ１４０において、ボケ予測・補償部２１３は、可逆復号部２１１からのボケ情報に基づいて、動き予測・補償部２１２から供給される動き補償後の画像に対してボケ補償処理を施す。このボケ補償処理の詳細については、後述する図２０を参照して説明する。
【０１９１】
一方、ステップＳ１３８で圧縮画像がインター予測された画像ではないと判定された場合、即ち可逆復号結果に最適イントラ予測モードを表す情報が含まれている場合、可逆復号部２１１は、最適イントラ予測モードを表す情報をイントラ予測部１２１に供給する。そして、ステップＳ１４１において、イントラ予測部１２１は、可逆復号部２１１からの情報が表す最適イントラ予測モードで、フレームメモリ１１９からの画像に対してイントラ予測処理を行い、イントラ予測画像を生成する。そして、イントラ予測部１２１は、イントラ予測画像をスイッチ２１４に出力する。
【０１９２】
ステップＳ１４０またはＳ１４１の処理後、ステップＳ１４２において、スイッチ２１４は、ボケ予測・補償部２１３から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に出力する。これにより、上述したように、ステップＳ１３５においてインター予測画像またはイントラ予測画像が逆直交変換部１１４の出力と加算される。
【０１９３】
ステップＳ１４３において、画面並べ替えバッファ１１７は並べ替えを行う。即ち、画像符号化装置１５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１９４】
ステップＳ１４４において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１９５】
［ボケ補償処理の詳細説明］
次に、図２０のフローチャートを参照して、図１９のステップＳ１４０のボケ補償処理について説明する。
【０１９６】
ステップＳ１５１において、ボケ予測・補償部２１３のフィルタ係数変換部２２１（図１８）は、可逆復号部２１１からのボケ情報をフィルタ係数に変換して、ＦＩＲフィルタ２２２に供給する。
【０１９７】
ステップＳ１５２において、ＦＩＲフィルタ２２２は、フィルタ係数変換部２２１からのフィルタ係数を用いて、動き予測・補償部２１２から供給される動き補償後の画像に対してフィルタリングを行うことにより、ボケ補償処理を施す。ＦＩＲフィルタ２２２は、その結果得られる動き補償後およびボケ補償後の画像をインター予測画像としてスイッチ２１４に出力し、ボケ補償処理は終了する。そして、処理は、図１９のステップＳ１４０に戻り、ステップＳ１４２に進む。
【０１９８】
＜３．第２の実施の形態＞
［画像符号化装置の構成例］
次に、図２１は、本発明を適用した画像符号化装置の第２の実施の形態の構成例を示している。
【０１９９】
図２１に示す構成のうち、図３や図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２００】
図２１の画像符号化装置２５１の構成は、主に、動き予測・補償部７５、可逆符号化部６６の代わりに、ボケ動き予測・補償部２６１、可逆符号化部１６４が設けられている点で図３の構成と異なる。
【０２０１】
詳細には、図２１の画像符号化装置２５１のボケ動き予測・補償部２６１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、ボケ動き予測・補償処理を行う。なお、ボケ動き予測・補償処理とは、ボケ予測・補償処理と同時に、候補となる全てのインター予測モードの動き予測・補償処理を行う処理である。
【０２０２】
また、ボケ動き予測・補償部２６１は、インター予測する画像との差分が最小となるボケ予測・補償処理後の画像のインター予測モードを、最適インター予測モードとして決定し、その画像をインター予測画像として予測画像選択部７６に供給する。ボケ動き予測・補償部２６１は、インター予測画像のコスト関数値を算出し、予測画像選択部７６に供給する。
【０２０３】
さらに、ボケ動き予測・補償部２６１は、予測画像選択部７６によりインター予測画像が選択された場合、最適インター予測モードを表す情報、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）、および、インター予測画像の生成に用いられたボケ情報を可逆符号化部１６４に出力する。
【０２０４】
［ボケ動き予測・補償部２６１の詳細構成例］
図２２は、図２１のボケ動き予測・補償部２６１の詳細構成例を示している。
【０２０５】
図２２のボケ動き予測・補償部２６１は、ボケフィルタ２７１、動き補償部２７２、差分計算部２７３、および制御部２７４により構成される。
【０２０６】
ボケフィルタ２７１は、スイッチ７３から供給される参照画像としての画像に対して、制御部２７４から供給されるボケ情報に対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。そして、ボケフィルタ２７１は、その結果得られるボケ補償後の画像を動き補償部２７２に供給する。
【０２０７】
動き補償部２７２は、制御部２７４からのインター予測モードで、制御部２７４からの動きベクトルに基づいて、ボケフィルタ２７１からのボケ補償後の画像に対して動き補償を行う。そして、動き補償部２７２は、その結果得られるボケ補償および動き補償後の画像を差分計算部２７３に供給する。また、動き補償部２７２は、制御部２７４の制御により、最適インター予測モードでの所定の動きベクトルに基づく動き補償の結果得られる、ボケ補償および動き補償後の画像を、インター予測画像として予測画像選択部７６に供給する。また、動き補償部２７２は、インター予測画像のコスト関数値を算出し、予測画像選択部７６に供給する。
【０２０８】
差分計算部２７３は、動き補償部２７２からの画像と、その画像に対応する画面並べ替えバッファ６２からのインター予測する画像との差分を計算し、制御部２７４に供給する。
【０２０９】
制御部２７４は、予め設定されている複数のボケ情報をボケフィルタ２７１に順次供給する。制御部２７４は、差分計算部２７３からの差分が最小となったときのボケ情報を、インター予測する画像のボケ情報として予測する。そして、制御部２７４は、そのボケ情報をボケフィルタ２７１に供給するとともに、可逆符号化部１６４に供給する。
【０２１０】
また、制御部２７４は、予め設定されている複数の動きベクトルを動き補償部２７２に順次供給するとともに、候補となる全てのインター予測モードを動き補償部２７２に順次供給する。制御部２７４は、差分計算部２７３からの差分が最小となったときのインター予測モードを最適インター予測モードに決定し、動きベクトルをインター予測する画像の動きベクトルとして予測する。そして、制御部２７４は、その最適インター予測モードと動きベクトルを動き補償部２７２に供給する。これにより、最適インター予測モードでの所定の動きベクトルに基づく動き補償の結果得られる、ボケ補償および動き補償後の画像がインター予測画像として予測画像選択部７６に供給される。
【０２１１】
さらに、制御部２７４は、差分計算部２７３からの差分が最小となったときの動きベクトルを、インター予測する画像の動きベクトルとして予測する。そして、制御部２７４は、その動きベクトル情報や参照フレーム情報、最適インター予測モードなどを可逆符号化部１６４に供給する。
【０２１２】
以上のように、ボケ動き予測・補償部２６１は、ボケ補償および動き補償を行い、その結果得られる画像の中から、インター予測する画像との差分が最小となる画像をインター予測画像として選択する。即ち、ボケ動き予測・補償部２６１は、ボケ予測・補償処理と動き予測・補償処理を同時に行う。従って、ボケ補償と動き補償の組み合わせが最適な画像をインター予測画像とすることができる。その結果、インター予測の予測精度をより向上させることができる。但し、ボケ予測・補償処理と動き予測・補償処理を同時に行うためには、複数のボケ補償後の画像に対して動き予測・補償処理を行う必要があるため、動き予測・補償処理全体における探索範囲が広くなり、処理量は大きくなる。
【０２１３】
なお、画像符号化装置２５１では、ボケ予測・補償処理と同時に、候補となる全てのインター予測モードの動き予測・補償処理を行うボケ動き予測・補償処理が行われるが、ボケ予測・補償処理後に、候補となる全てのインター予測モードの動き予測・補償処理が行われるようにしてもよい。
【０２１４】
この場合の画像符号化装置は、図６の画像符号化装置１５１において動き予測・補償部１６１とボケ予測・補償部１６２が交換されることにより構成される。この場合、ボケ補償後の画像を用いて動き予測・補償処理を行うことができるので、動き予測・補償処理後にボケ予測・補償処理が行われる場合に比べて、インター予測の予測精度を向上させることができる。
【０２１５】
より詳細には、動き予測・補償処理においては、画像間の変化として平行移動だけが考えられることになる。このため、ボケ補償後の周波数特性が画像間で変化していない画像を用いて動き予測・補償が行われる場合、ボケによる画像間の差分が低減され、被写体の動きと一致する動きベクトルを検出することが容易になる。このように、ボケ予測・補償処理が、動き予測・補償の品質を改善するように機能するので、インター予測の予測精度を向上させることができる。
【０２１６】
これに対して、ボケ予測・補償処理が行われていない参照画像を用いて動き予測・補償処理を行う場合、例えば、参照画像にボケが生じておらず、インター予測する画像にボケが生じていると、被写体の動きと動きベクトルが一致している場合であっても、その動きベクトルに基づく動き補償後の参照画像とインター予測する画像に差分が発生するため、被写体の動きと一致する動きベクトルが検出されない場合がある。
【０２１７】
この場合、被写体の動きと無関係な動きベクトルに対応するインター予測画像か、または、イントラ予測画像が予測画像として採用されることになり、一般的に、予測画像の品質が悪化する。
【０２１８】
但し、ボケ予測・補償処理後に動き予測・補償処理が行われる場合、画像間に動きがあると、ボケ予測の際に、実際のボケに対応するボケ補償後の画像であっても、インター予測する画像との差分が小さくならない場合があり、ボケの予測が困難となる。
【０２１９】
これに対して、画像符号化装置１５１のように動き予測・補償処理をボケ予測・補償処理の前に行う場合、ボケ予測・補償処理に用いられる画像が、動き補償後の画像であるため、ボケの予測が容易である。
【０２２０】
［符号化処理の説明］
次に、図２３のフローチャートを参照して、図２１の画像符号化装置２５１の符号化処理について説明する。
【０２２１】
なお、図２３の符号化処理は、主に、図１５のステップＳ２３乃至Ｓ２５の代わりに、図２３のステップＳ２２３の処理が設けられる点で、図１５の符号化処理と異なっている。従って、以下では、ステップＳ２２３についてのみ詳細に説明する。
【０２２２】
ステップＳ２２３において、ボケ動き予測・補償部２６１は、スイッチ７３から供給される画像に対して、動きボケ予測・補償処理を行う。この動きボケ予測・補償処理の詳細については、後述する図２４を参照して説明する。
【０２２３】
［ボケ動き予測・補償処理の詳細説明］
次に、図２４のフローチャートを参照して、図２３のステップＳ２２３のボケ動き予測・補償処理について説明する。
【０２２４】
ステップＳ２４１において、ボケ動き予測・補償部２６１の制御部２７４（図２２）は、予め設定されているボケ情報のうちの全てのボケ情報を、ボケフィルタ２７１に供給するボケ情報Ｂとして設定したかどうかを判定する。ステップＳ２４１で、まだ予め設定されているボケ情報のうちの全てのボケ情報をボケ情報Ｂとして設定していないと判定された場合、処理はステップＳ２４２に進む。
【０２２５】
ステップＳ２４２において、制御部２７４は、まだボケ情報Ｂとして設定されていないボケ情報をボケ情報Ｂとして設定し、ボケフィルタ２７１に供給する。ステップＳ２４３において、ボケフィルタ２７１は、スイッチ７３から供給される画像に対して、制御部２７４から供給されるボケ情報Ｂに対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。ボケフィルタ２７１は、その結果得られるボケ補償後の画像を動き補償部２７２に供給する。
【０２２６】
ステップＳ２４４において、制御部２７４は、予め設定されている動きベクトルのうちの、ボケ情報Ｂに対してまだ設定されていない動きベクトルを、動き補償部２７２に供給する動きベクトルＭＶとして設定し、動き補償部２７２に供給する。また、このとき、制御部２７４は、候補となる全てのインター予測モードを順次動き補償部２７２に供給する。
【０２２７】
ステップＳ２４５において、動き補償部２７２は、制御部２７４から順次供給される各インター予測モードで、制御部２７４からの動きベクトルＭＶに基づいて、ボケフィルタ２７１から供給されるボケ補償後の画像に対して動き補償を行う。そして、動き補償部２７２は、その結果得られるボケ補償および動き補償後の画像を差分計算部２７３に供給する。
【０２２８】
ステップＳ２４６において、差分計算部２７３は、画面並べ替えバッファ６２から供給されるインター予測する画像と、動き補償部２７２から供給されるボケ補償および動き補償後の画像との差分を求め、制御部２７４に供給する。
【０２２９】
ステップＳ２４７において、制御部２７４は、ステップＳ２４６で求められた差分は、内蔵するメモリ（図示せず）に保持されている差分よりも小さいかどうかを判定する。ステップＳ２４７で、ステップＳ２４６で求められた差分は、内蔵するメモリ（図示せず）に保持されている差分よりも小さいと判定された場合、処理はステップＳ２４８に進む。但し、ステップＳ２４６で求められた差分が、最初のステップＳ２４６で求められた差分である場合にも、処理はステップＳ２４８に進む。
【０２３０】
ステップＳ２４８において、制御部２７４は、現在のボケ情報Ｂ，動きベクトルＭＶ、ステップＳ２４６で求められた差分、および、その差分に対応するインター予測モードを内蔵するメモリ（図示せず）に保持し、処理はステップＳ２４９に進む。なお、ステップＳ２４７およびＳ２４８の処理は、インター予測モードごとに行われる。
【０２３１】
一方、ステップＳ２４７で、ステップＳ２４６で求められた差分は、保持されている差分よりも小さくはないと判定された場合、処理はステップＳ２４８をスキップして、ステップＳ２４９に進む。ステップＳ２４９において、制御部２７４は、予め設定されている動きベクトルのうちの全ての動きベクトルを、動きベクトルＭＶとして設定したかどうかを判定する。
【０２３２】
ステップＳ２４９で、まだ予め設定されている動きベクトルのうちの全ての動きベクトルを、動きベクトルＭＶとして設定していないと判定された場合、処理は、ステップＳ２４４に戻り、以降の処理が繰り返される。
【０２３３】
また、ステップＳ２４９で、予め設定されている動きベクトルのうちの全ての動きベクトルを、動きベクトルＭＶとして設定したと判定された場合、処理はステップＳ２４１に戻り、以降の処理が繰り返される。
【０２３４】
一方、ステップＳ２４１で、予め設定されているボケ情報のうちの全てのボケ情報を、ボケ情報Ｂとして設定したと判定された場合、処理はステップＳ２５０に進む。ステップＳ２５０において、制御部２７４は、内蔵するメモリ（図示せず）に保持されているインター予測モードを最適インター予測モードに決定する。
【０２３５】
ステップＳ２５１において、制御部２７４は、内蔵するメモリ（図示せず）に保持されているボケ情報をボケ情報Ｂとしてボケフィルタ２７１に出力するとともに、保持されている動きベクトルＭＶとしての動きベクトルと最適インター予測モードを動き補償部２７２に出力する。
【０２３６】
ステップＳ２５２において、ボケフィルタ２７１は、スイッチ７３から供給される画像に対して、ステップＳ２５１で制御部２７４から供給されるボケ情報Ｂに対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。ボケフィルタ２７１は、その結果得られるボケ補償後の画像を動き補償部２７２に供給する。
【０２３７】
ステップＳ２５３において、動き補償部２７２は、ステップＳ２５１で制御部２７４から供給される動きベクトルＭＶに基づいて、ボケフィルタ２７１から供給されるボケ補償後の画像に対して動き補償を行う。そして、動き補償部２７２は、その結果得られるボケ補償および動き補償後の画像を、インター予測画像として予測画像選択部７６に供給する。このとき、動き補償部２７２は、インター予測画像のコスト関数値を算出し、予測画像選択部７６に供給する。その後、処理は図２３のステップＳ２２３に戻り、ステップＳ２２４に進む。
【０２３８】
以上のようにして画像符号化装置２５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。
【０２３９】
［復号装置の構成例］
図２５は、このような画像復号装置の構成例を示している。
【０２４０】
図２５に示す構成のうち、図５や図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２４１】
図２５の画像復号装置２８１の構成は、主に、動き予測・補償部１２２、可逆復号部１１２の代わりに、ボケ動き予測・補償部２８２ボケ動き予測・補償部２８２、可逆復号部２１１が設けられている点で図５の構成と異なる。
【０２４２】
詳細には、図２５の画像復号装置２８１のボケ動き予測・補償部２８２には、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報、およびボケ情報など）が可逆復号部２１１から供給される。ボケ動き予測・補償部２８２は、その最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報、およびボケ情報に基づいて、スイッチ１２０から供給される参照画像としての画像に対して、ボケ動き補償処理（詳細は後述する）を行う。
【０２４３】
そして、ボケ動き予測・補償部２８２は、その結果得られるボケ補償および動き補償後の画像をインター予測画像として、スイッチ１２３を介して演算部１１５に供給する。なお、ボケ動き補償処理とは、ボケ補償と同時に所定のインター予測モードの動き補償を行う処理である。
【０２４４】
［ボケ動き予測・補償部２８２の詳細構成例］
図２６は、図２５のボケ動き予測・補償部２８２の詳細構成例を示している。
【０２４５】
図２６のボケ動き予測・補償部２８２は、ボケフィルタ２９１ボケフィルタ２９１と動き補償部２９２により構成される。
【０２４６】
ボケフィルタ２９１は、スイッチ１２０から供給される参照画像としての画像に対して、可逆復号部２１１から供給されるボケ情報に対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。そして、ボケフィルタ２９１は、その結果得られるボケ補償後の画像を動き補償部２９２に供給する。
【０２４７】
動き補償部２９２は、可逆復号部２１１から供給される動きベクトル情報、参照フレーム情報、および最適インター予測モードを表す情報に基づいて、ボケフィルタ２９１からのボケ補償後の画像に対して動き補償を行う。動き補償部２９２は、その結果得られるボケ補償および動き補償後の画像を、インター予測画像としてスイッチ１２３に供給する。
【０２４８】
［復号処理の説明］
次に、図２７のフローチャートを参照して、図２５の画像復号装置２８１の復号処理について説明する。
【０２４９】
なお、図２７の復号処理は、図１９のステップＳ１３９およびＳ１４０の代わりに、図２７のステップＳ３３９の処理が設けられる点で、図１９の符号化処理と異なっている。従って、以下では、ステップＳ３３９についてのみ詳細に説明する。
【０２５０】
ステップＳ３３９において、ボケ動き予測・補償部２８２は、スイッチ１２０から供給される画像に対して、ボケ動き補償処理を行う。このボケ動き補償処理の詳細については、後述する図２８を参照して説明する。
【０２５１】
［動きボケ予測・補償処理の詳細説明］
次に、図２８のフローチャートを参照して、図２７のステップＳ３３９のボケ動き補償処理について説明する。
【０２５２】
ステップＳ３５１において、ボケ動き予測・補償部２８２のボケフィルタ２９１は、スイッチ１２０から供給される画像に対して、可逆復号部２１１から供給されるボケ情報に対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。そして、ボケフィルタ２９１は、その結果得られるボケ補償後の画像を動き補償部２９２に供給する。
【０２５３】
ステップＳ３５２において、動き補償部２９２は、可逆復号部２１１からの情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報および参照フレーム情報に基づいて、ボケフィルタ２９１からのボケ補償後の画像に対して動き補償を行う。動き補償部２９２は、その結果得られるボケ補償および動き補償後の画像を、インター予測画像としてスイッチ１２３に供給する。そして、処理は図２７のステップＳ３３９に戻り、ステップＳ３４１に進む。
【０２５４】
なお、上述した説明では、ボケ情報に応じてフィルタ係数が変化するようにしたが、フィルタ構造が変化するようにしてもよい。
【０２５５】
なお、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、"Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。
【０２５６】
図２９は、拡張されたマクロブロックサイズの例を示す図である。上記記載では、マクロブロックサイズが３２×３２画素に拡張されている。
【０２５７】
図２９の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図２９の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図２９の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
【０２５８】
すなわち、３２×３２画素のマクロブロックは、図２９の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
【０２５９】
また、上段の右側に示される１６×１６画素のブロックは、Ｈ．２６４／ＡＶＣ方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
【０２６０】
さらに、中段の右側に示される８×８画素のブロックは、Ｈ．２６４／ＡＶＣ方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
【０２６１】
このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、１６×１６画素のブロック以下に関してＨ．２６４／ＡＶＣ方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
【０２６２】
以上のように提案される拡張されたマクロブロックサイズにも本発明を適用することができる。
【０２６３】
以上においては、符号化方式／復号方式としてH.264/AVC方式が用いられたが、本発明は、その他の動き予測・補償処理を行う符号化方式／復号方式を用いる画像符号化装置/画像復号装置に適用することもできる。
【０２６４】
また、本発明は、例えば、MPEG,H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０２６５】
本発明は、特に、ボケが連続的に変化する画像を処理する場合に有効である。
【０２６６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMやハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２６８】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２６９】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７０】
例えば、上述した画像符号化装置１５１，２５１や画像復号装置２０１，２８１は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２７１】
図３０は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
【０２７２】
図３０に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。
【０２７３】
地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。
【０２７４】
映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。
【０２７５】
グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。
【０２７６】
パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。
【０２７７】
表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。
【０２７８】
また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。
【０２７９】
地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
【０２８０】
音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。
【０２８１】
音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。
【０２８２】
エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。
【０２８３】
音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。
【０２８４】
さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。
【０２８５】
デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。
【０２８６】
MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。
【０２８７】
テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置２０１，２８１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０２８８】
MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。
【０２８９】
MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。
【０２９０】
また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。
【０２９１】
A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。
【０２９２】
エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
【０２９３】
さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。
【０２９４】
A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。
【０２９５】
音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。
【０２９６】
ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。
【０２９７】
音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。
【０２９８】
エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
【０２９９】
SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。
【０３００】
フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
【０３０１】
例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。
【０３０２】
MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
【０３０３】
また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。
【０３０４】
受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。
【０３０５】
CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。
【０３０６】
USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
【０３０７】
テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置２０１，２８１を用いることにより、より正確にインター予測を行い、インター予測画像の品質を向上させることができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。
【０３０８】
図３１は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
【０３０９】
図３１に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。
【０３１０】
また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。
【０３１１】
電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。
【０３１２】
携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０３１３】
例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
【０３１４】
また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。
【０３１５】
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。
【０３１６】
また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
【０３１７】
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。
【０３１８】
なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
【０３１９】
この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
【０３２０】
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
【０３２１】
携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置１５１，２５１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置１５１，２５１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測画像の品質を向上させることができる。
【０３２２】
なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。
【０３２３】
携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
【０３２４】
なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。
【０３２５】
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
【０３２６】
携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。
【０３２７】
携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置２０１，２８１を用いる。したがって、画像デコーダ４５６は、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０３２８】
このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
【０３２９】
なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
【０３３０】
また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
【０３３１】
さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。
【０３３２】
携帯電話機４００は、画像エンコーダ４５３として画像符号化装置１５１，２５１を用いることにより、例えばCCDカメラ４１６において生成された画像データを符号化して生成する符号化データの符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。
【０３３３】
また、携帯電話機４００は、画像デコーダ４５６として画像復号装置２０１，２８１を用いることにより、精度の高い予測画像を生成することができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。
【０３３４】
なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
【０３３５】
また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置１５１，２５１および画像復号装置２０１，２８１を適用することができる。
【０３３６】
図３２は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
【０３３７】
図３２に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
【０３３８】
ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
【０３３９】
さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。
【０３４０】
ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。
【０３４１】
もちろん、この他の動作も可能である。
【０３４２】
図３２に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。
【０３４３】
また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。
【０３４４】
受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。
【０３４５】
通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
【０３４６】
復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。
【０３４７】
オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。
【０３４８】
ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。
【０３４９】
ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。
【０３５０】
モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。
【０３５１】
記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
【０３５２】
記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
【０３５３】
記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。
【０３５４】
レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。
【０３５５】
また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
【０３５６】
通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
【０３５７】
また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。
【０３５８】
また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。
【０３５９】
さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。
【０３６０】
以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置２０１，２８１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０３６１】
したがって、ハードディスクレコーダ５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。
【０３６２】
また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置１５１，２５１を用いる。したがって、エンコーダ５５１は、画像符号化装置１５１，２５１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０３６３】
したがって、ハードディスクレコーダ５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。
【０３６４】
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置１５１，２５１および画像復号装置２０１，２８１を適用することができる。
【０３６５】
図３３は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
【０３６６】
図３３に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。
【０３６７】
レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。
【０３６８】
カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。
【０３６９】
以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。
【０３７０】
デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
【０３７１】
オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。
【０３７２】
コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
【０３７３】
例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
【０３７４】
また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。
【０３７５】
さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。
【０３７６】
記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
【０３７７】
また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０３７８】
外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。
【０３７９】
さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。
【０３８０】
以上のようなカメラ６００は、デコーダ６１５として画像復号装置２０１，２８１を用いる。したがって、デコーダ６１５は、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０３８１】
したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD６１６に表示させることができる。
【０３８２】
また、カメラ６００は、エンコーダ６４１として画像符号化装置１５１，２５１を用いる。したがって、エンコーダ６４１は、画像符号化装置１５１，２５１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
【０３８３】
したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。
【０３８４】
なお、コントローラ６２１が行う復号処理に画像復号装置２０１，２８１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置１５１，２５１の符号化方法を適用するようにしてもよい。
【０３８５】
また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
【０３８６】
もちろん、画像符号化装置１５１，２５１および画像復号装置２０１，２８１は、上述した装置以外の装置やシステムにも適用可能である。
【符号の説明】
【０３８７】
６３，７０，１１５  演算部，  ６７  蓄積バッファ，  １５１  画像符号化装置，  １６１  動き予測・補償部，  １６２  ボケ予測・補償部，  １７１  ボケ補償部，  １７２  ボケ予測部，  ２０１  画像復号装置，  ２１２  動き予測・補償部，  ２１３  ボケ予測・補償部，  ２２１  フィルタ係数変換部，  ２５１  画像符号化装置，  ２６１  ボケ動き予測・補償部，  ２８１  画像復号装置，  ２８２  ボケ動き予測補償部
【図１】
2010064674.tif 000006
【図２】
2010064674.tif 000007
【図３】
2010064674.tif 000008
【図４】
2010064674.tif 000009
【図５】
2010064674.tif 000010
【図６】
2010064674.tif 000011
【図７】
2010064674.tif 000012
【図８】
2010064674.tif 000013
【図９】
2010064674.tif 000014
【図１０】
2010064674.tif 000015
【図１１】
2010064674.tif 000016
【図１２】
2010064674.tif 000017
【図１３】
2010064674.tif 000018
【図１４】
2010064674.tif 000019
【図１５】
2010064674.tif 000020
【図１６】
2010064674.tif 000021
【図１７】
2010064674.tif 000022
【図１８】
2010064674.tif 000023
【図１９】
2010064674.tif 000024
【図２０】
2010064674.tif 000025
【図２１】
2010064674.tif 000026
【図２２】
2010064674.tif 000027
【図２３】
2010064674.tif 000028
【図２４】
2010064674.tif 000029
【図２５】
2010064674.tif 000030
【図２６】
2010064674.tif 000031
【図２７】
2010064674.tif 000032
【図２８】
2010064674.tif 000033
【図２９】
2010064674.tif 000034
【図３０】
2010064674.tif 000035
【図３１】
2010064674.tif 000036
【図３２】
2010064674.tif 000037
【図３３】
2010064674.tif 000038
【手続補正書】
【提出日】平成22年4月2日(2010.4.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化された画像を復号する復号手段と、
前記復号手段により復号された画像と予測画像とを加算して、復号済みの画像を生成する生成手段と、
前記生成手段により生成された復号済みの画像に、符号化された前記画像に対応する動きベクトルを用いて動き補償を行い、符号化前の前記画像と、前記予測画像との間のボケの変化を表すボケ情報を用いてボケ補償を行うことにより、前記予測画像を生成する予測画像生成手段と
を備える画像処理装置。
【請求項２】
前記ボケ情報は、ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を用いて表される
請求項１に記載の画像処理装置。
【請求項３】
前記ボケ情報は、２次元の正規分布の式を用いて表される
請求項１に記載の画像処理装置。
【請求項４】
前記ボケ情報を受信する受信手段をさらに備え、
前記ボケ情報は、前記２次元の正規分布の式における広がり幅Ｗである
請求項３に記載の画像処理装置。
【請求項５】
前記ボケ情報は、インパルス応答として出力される半径Ｌにより表わされる
請求項１に記載の画像処理装置。
【請求項６】
前記ボケ情報は、インパルス応答として中心から横方向の長さＬｘおよび縦方向の長さＬｙで表わされる
請求項１に記載の画像処理装置。
【請求項７】
前記予測画像生成手段は、前記復号手段により復号された画像に対して前記動き補償を行い、その結果得られた動き補償後画像に対して、前記ボケ情報に基づいて前記ボケ補償を行う
請求項１に記載の画像処理装置。
【請求項８】
（削除）
【請求項９】
画像復号装置が、
符号化された画像を復号する復号ステップと、
前記復号ステップの処理により復号された画像と予測画像とを加算して、復号済みの画像を生成する生成ステップと、
前記生成ステップの処理により生成された復号済みの画像に、符号化された前記画像に対応する動きベクトルを用いて動き補償を行い、符号化前の前記画像と、前記予測画像との間のボケの変化を表すボケ情報を用いてボケ補償を行うことにより、前記予測画像を生成する予測画像生成ステップと
を含む画像処理方法。
【請求項１０】
符号化された画像を復号する復号手段と、
前記復号手段により復号された画像と予測画像とを加算して、復号済みの画像を生成する生成手段と、
前記生成手段により生成された復号済みの画像に、符号化された前記画像に対応する動きベクトルを用いて動き補償を行い、符号化前の前記画像と、前記予測画像との間のボケの変化を表すボケ情報を用いてボケ補償を行うことにより、前記予測画像を生成する予測画像生成手段と
を備える画像処理装置として、コンピュータを機能させるためのプログラム。
【請求項１１】
符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きを表す動きベクトルを予測する動き予測手段と、
前記符号化対象の画像および前記参照画像を用いて、前記符号化対象の画像と前記参照画像との間のボケの変化を表すボケ情報を予測するボケ予測手段と、
前記ボケ情報と、前記動きベクトルを用いて、前記参照画像に対して動き補償と、ボケ補償を行う補償手段と、
前記補償手段により前記動き補償および前記ボケ補償が行われた前記参照画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と
を備える画像処理装置。
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
（削除）
【請求項１５】
（削除）
【請求項１６】
（削除）
【請求項１７】
（削除）
【請求項１８】
（削除）
【請求項１９】
画像処理装置が、
符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きを表す動きベクトルを予測する動き予測ステップと、
前記符号化対象の画像および前記参照画像を用いて、前記符号化対象の画像と前記参照画像との間のボケの変化を表すボケ情報を予測するボケ予測ステップと、
前記ボケ情報と、前記動きベクトルを用いて、前記参照画像に対して動き補償と、ボケ補償を行う補償ステップと、
前記補償ステップの処理により前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化ステップと
を含む画像処理方法。
【請求項２０】
符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きを表す動きベクトルを予測する動き予測手段と、
前記符号化対象の画像および前記参照画像を用いて、前記符号化対象の画像と前記参照画像との間のボケの変化を表すボケ情報を予測するボケ予測手段と、
前記ボケ情報と、前記動きベクトルを用いて、前記参照画像に対して動き補償と、ボケ補償を行う補償手段と、
前記補償手段により前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と
を備える画像処理装置として、コンピュータを機能させるためのプログラム。
【国際調査報告】
2010064674.tif 000039
2010064674.tif 000040
2010064674.tif 000041
2010064674.tif 000042