(57)【特許請求の範囲】
【請求項１】
ビットストリームを復号化する画像復号化方法であって、
前記ビットストリームに含まれる符号化画像を復号化して復号化画像を生成し、
前記復号化画像をフィルタ処理しフィルタ処理後の画像を生成し、
前記ビットストリームから、前記復号化画像と前記フィルタ処理後画像の何れを表示画像として出力するかを示す識別情報を抽出し、
前記復号化画像が参照画像であり前記識別情報が前記復号化画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を参照画像として参照メモリに記憶し、前記復号化画像を表示画像として出力する
ことを特徴とする画像復号化方法。
【請求項２】
前記画像復号化方法は、さらに、
前記復号化画像が参照画像であり前記識別情報が前記フィルタ処理後画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を参照画像として参照メモリに記憶し、前記フィルタ処理後画像を表示画像として出力する
ことを特徴とする請求項１記載の画像復号化方法。
【請求項３】
前記画像復号化方法は、
前記識別情報が所定の画像と前記所定の画像に続くおのおのの画像とに適用される
ことを特徴とする請求項１記載の画像復号化方法。
【請求項４】
ビットストリームを復号化する画像復号化装置であって、
前記ビットストリームに含まれる符号化画像を復号化して復号化画像を生成する復号部と、
前記復号化画像をフィルタ処理しフィルタ処理後の画像を生成するフィルタ部と、
前記ビットストリームから、前記復号化画像と前記フィルタ処理後画像の何れを表示画像として出力するかを示す識別情報を抽出する抽出部と、
前記フィルタ処理後画像を参照画像として参照メモリに記憶する記憶部と、
前記復号化画像が参照画像であり前記識別情報が前記復号化画像を表示画像として出力
することを示している場合に、前記復号化画像を表示画像として出力する表示画像出力部と
を備えることを特徴とする画像復号化装置。
【請求項５】
前記表示画像出力部は、さらに、
前記復号化画像が参照画像であり前記識別情報が前記フィルタ処理後画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を表示画像として出力する
ことを特徴とする請求項４記載の画像復号化装置。
【請求項６】
前記画像復号化装置において、
前記識別情報が所定の画像と前記所定の画像に続くおのおのの画像とに適用される
ことを特徴とする請求項４記載の画像復号化装置。
【請求項７】
請求項１から請求項３のいずれか１つに記載の画像復号化方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号化済みのピクチャを参照して予測符号化を行う符号化方法および復号化方法に関し、特に予測による符号化歪を除去するループフィルタを用いる動画像符号化方法および復号化方法に関する。
【背景技術】
【０００２】
一般に動画像を圧縮するための符号化では、時間的および空間的な冗長性を削減することによってデータ量を削減している。時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および動き補償を行うことにより予測画像を得て、得られた予測画像と符号化対象のブロックとの差分値に対して符号化を行う。復号化方法ではほぼ逆の手順によりピクチャを復号化している。
【０００３】
復号されたピクチャには、ブロック単位の動き補償に起因する符号化歪として、ブロックノイズと呼ばれる四角い形状のノイズが現れることがある。このブロックノイズ対策として、例えば非特許文献１等の従来技術は、ブロックノイズを低減するためのループフィルタを採用している。
【０００４】
図１７ は、上記従来技術における、ループフィルタを有する画像符号化装置の構成を示すブロック図である。同図のように画像符号化装置５００は、メモリ５０１、ピクチャ間予測部５０２、ピクチャ内予測部５０３、スイッチ５０４、減算器５０５、直交変換部５０６、量子化部５０７、多重化部５０８、逆量子化部５０９、逆直交変換部５１０、加算器５１１およびフィルタ５１２を備えている。
【０００５】
フィルタ５１２は、減算器５０５、直交変換部５０６、量子化部５０７、逆量子化部５０９、逆直交変換部５１０、加算器５１１を経て符号化後にさらに復号化された画像のブロックノイズを低減するループフィルタである。
【０００６】
メモリ５０１は、フィルタ５１２によってフィルタリングされた画像を一時的に格納する。フィルタリングされた画像から再構成されるピクチャには、参照用ピクチャと出力用ピクチャ（表示用ピクチャとも呼ぶ）とがある。参照用ピクチャは、ピクチャ間予測部５０２およびピクチャ内予測部５０３によって参照され、表示順に従って出力されるピクチャである。出力用ピクチャは、参照されることなく表示順に従って出力されるピクチャである。また、ここでいう出力は、外部の表示装置に表示させるための出力であるが、画像符号化装置５００では必ずしも表示されなくてもよいし、また、外部に出力されなくてもよい。例えば、符号化と同時に表示装置でモニターする場合には表示されるが、そうでない場合は表示されない。
【０００７】
続いて、ピクチャの予測構造と、さらにメモリ５０１にピクチャが格納される動作について説明する。
図１８は、ピクチャ予測構造の第１の例を示す説明図である。同図の上側におけるピクチャ０〜ピクチャ９は、動画像に含まれるフレームまたはフィールドを表示順で示されている。図中のＩ、Ｂ、Ｐは、ピクチャタイプを示す。Ｉはピクチャ内予測符号化されるイントラピクチャ（Ｉピクチャ）を示す。Ｂは、メモリ５０１中の再構成された複数枚のピクチャを参照する双予測符号化ピクチャ（Ｂピクチャ）を示す。Ｐは、メモリ５０１中の再構成された１枚のピクチャを参照する予測符号化ピクチャ（Ｐピクチャ）を示す。斜線は参照ピクチャとしてピクチャ間予測符号化において参照され得るピクチャを、白抜きは参照されないピクチャを示す。同図の上側のように第１の例における予測構造は、表示順でＩＢＢＰＢＢＰＢＢＰの繰り返しである。
【０００８】
また、矢線はピクチャ間予測符号化における参照関係を示す。例えば、Ｐ３ピクチャの参照ピクチャはＩ０ピクチャとなる。Ｂ１ピクチャの参照ピクチャはＩ０およびＰ３ピクチャとなる。Ｐ３ピクチャの参照ピクチャはＩ０ピクチャとなる。Ｐ６の参照ピクチャはＩ０およびＰ３となり得る。
このような参照関係を有するため、ピクチャの表示順と符号化順（つまりストリーム中の順）とは異なる。同図の下側は、表示順に並べたピクチャと符号化順（ストリーム順）に並べたピクチャとの対応関係を示す図である。同図のように、画像符号化装置は、表示順のピクチャを、予測構造に従って符号化順に並び替えることになる。
【０００９】
図１９は、ピクチャ予測構造の第２の例を示す説明図である。同図における第２の例の予測構造は、ＩＢＢＢＰＢＢＢＰの繰り返しである。この第２の例では、図１８と比べてＢピクチャが参照ピクチャとして使用可能な点が異なっている。すなわちＩ０、Ｐ４、Ｐ８ピクチャ以外にもＢ２、Ｂ６ピクチャも参照ピクチャとなり得る。Ｂ２、Ｂ６ピクチャはメモリ５０１に参照ピクチャとして格納されることになる。
【００１０】
図２０は、画像符号化装置５００が第１の例の予測構造で符号化する場合に、メモリ５０１にピクチャが格納される様子を示す説明図である。同図では、メモリ５０１が４ピクチャに対応する４つのメモリ領域を有している。４つのメモリ領域は、参照ピクチャを最大３枚まで格納するものとする。参照ピクチャを現に格納している最大３つのメモリ領域を参照領域、出力用ピクチャを現に格納しているメモリ領域を表示用領域と呼ぶ。図中のｆＩ０、ｆＰ３、ｆＢ１等は図１８のピクチャに対応するピクチャ名であり、フィルタリングされた後のピクチャを示す。ブランク白抜きは開放状態のメモリ領域を、ピクチャ名付き網掛けは出力用ピクチャ（表示用ピクチャ）を、ピクチャ名付き白抜きは参照用ピクチャを示す。（１）〜（８）は、図１８に示した符号化順で符号化および復号化（再構成）されるピクチャにそれぞれ対応している。ピクチャを格納する領域が無い場合には、まず、表示用ピクチャで表示済の領域があれば、その領域に新しいピクチャを格納する。また、表示用ピクチャで表示済の領域が無ければ、未表示のピクチャを表示順に表示し、表示用ピクチャで表示済のピクチャがあればその表示済の表示用ピクチャの領域に新しいピクチャを格納する。更に、参照領域に格納されるピクチャの最大数を超えて参照用ピクチャを格納する場合には、参照用ピクチャの領域の中で最も早い時刻に格納された参照用ピクチャを表示用ピクチャに変更し、前述の方法で新しいピクチャを格納する領域を確保する。
【００１１】
図２０に示すように、（１）〜（４）では、ピクチャｆＩ０、ｆＰ３、ｆＢ１、ｆＢ２がそれぞれ再構成され、メモリ５０１にピクチャｆＩ０、ｆＰ３、ｆＢ１、ｆＢ２がそれぞれ格納される。（５）ではピクチャｆＰ６が再構成される。ピクチャｆＰ６を格納するための領域を確保するために、ピクチャｆＩ０とｆＢ１とが順にメモリ５０１から出力され、さらにピクチャｆＰ６が表示済のピクチャｆＢ１のメモリ領域に格納（上書き)される。（６）では、ピクチャｆＢ４が再構成される。次にピクチャｆＢ２がメモリ５０１から出力され、さらにピクチャｆＢ４が表示済のピクチャｆＢ２のメモリ領域に格納される。（７）では、ピクチャｆＢ５が再構成される。次にピクチャｆＰ３とｆＢ４とが順にメモリ５０１から出力され、さらにピクチャｆＢ５が表示済のピクチャｆＢ４のメモリ領域に格納される。（８）では、ピクチャｆＰ９が再構成される。ピクチャI0は参照用ピクチャから表示用ピクチャに変更されるがピクチャI0は表示済であるから、ピクチャｆＰ９が表示済のピクチャｆＩ０のメモリ領域に格納される。
【００１２】
このようにして、メモリ５０１には、参照ピクチャだけでなく出力用ピクチャも格納される。格納された参照ピクチャが出力されかつ参照されなくなると、そのメモリ領域が新たなピクチャの格納対象となる。出力ピクチャが出力されると、そのメモリ領域が新たなピクチャの格納対象となる。
【００１３】
図２１は、画像符号化装置５００が第２の例の予測構造で符号化する場合に、メモリ５０１にピクチャが格納される様子を示す説明図である。同図に示すように、（１）〜（４）では、ピクチャｆＩ０、ｆＰ４、ｆＢ２、ｆＢ１がそれぞれ再構成される。再構成されたピクチャｆＩ０、ｆＰ４、ｆＢ２、ｆＢ１がメモリ５０１に順次格納される。（５）ではピクチャｆＢ３が再構成される。次にピクチャｆＩ０とｆＢ１とが順にメモリ５０１から出力され、さらに再構成されたピクチャｆＢ３が表示済のピクチャｆＢ１のメモリ領域に格納される。（６）では、ピクチャｆＰ８が再構成される。ピクチャｆＰ８は表示用ピクチャに変更され且つ表示済のピクチャｆＩ０のメモリ領域に格納される。（７）では、ピクチャｆＢ６が再構成される。参照用ピクチャｆP4は最大参照ピクチャ数を超えるため、表示用ピクチャに変更される。次にピクチャｆＢ２、ｆＢ３がメモリ５０１から出力され、ピクチャｆB3の位置に表示用ピクチャとなったピクチャｆP4が格納される。さらにピクチャｆＢ６が参照領域に格納される。このとき、ピクチャｆＢ２は出力済だが参照ピクチャなので上書きされない。（８）では、ピクチャｆＢ５が再構成される。次に、ピクチャｆＰ４が出力され、さらにピクチャｆＢ５が表示済のピクチャｆＰ４のメモリ領域に格納される。（９）では、ピクチャｆＢ７が再構成される。次にピクチャｆＢ５がメモリ５０１から出力され、さらにピクチャｆＢ７がピクチャｆＢ５のメモリ領域に格納される。
【００１４】
図２２は、従来の画像符号化装置５００においてメモリ５０１にピクチャを格納および出力するメモリ管理を示すフローチャートである。
同図のように、画像符号化装置５００は再構成されたピクチャ（対象ピクチャと呼ぶ）が参照ピクチャであるかどうかを判定する（Ｓ１０）。
参照ピクチャであると判定された場合、画像符号化装置５００は、参照領域に格納可能な空きメモリ領域があるかどうかを判定し（Ｓ１１）、空きメモリ領域がない場合、参照領域中で最初に格納されたピクチャを表示用領域に移動する（Ｓ１１）。この移動は例えば図２１の（７）中のｆＰ４が該当する。ここでの移動は、ピクチャをメモリ領域間で転送しないで、メモリ領域の属性を参照用から表示用に変更することである。さらに、画像符号化装置５００は、メモリ領域を確保する領域確保処理を行い（Ｓ１３）、確保されたメモリ領域に対象ピクチャを参照ピクチャとして格納する（Ｓ１４）。また、Ｓ１１において空きメモリ領域があると判定された場合、画像符号化装置５００は、その空きメモリ領域に対象ピクチャを参照ピクチャとして格納する。
【００１５】
Ｓ１０において参照ピクチャでないと判定された場合、画像符号化装置５００は、空きメモリ領域があるかどうかを判定する（Ｓ１５）。空きメモリ領域がないと判定された場合、画像符号化装置５００は、対象ピクチャが今後最初に出力（表示）すべきピクチャであるかどうかを判定し（Ｓ１６）、今後最初に出力すべきピクチャである場合は対象ピクチャをメモリ５０１に格納しないで出力（表示）し（Ｓ１７）、今後最初に出力すべきピクチャでない場合は領域確保処理を行う（Ｓ１８）。Ｓ１８において領域が確保された後、およびＳ１５において空きメモリ領域があると判定された後、画像符号化装置５００は、当該領域に対象ピクチャを格納する（Ｓ１９）。
【００１６】
このように、画像符号化装置５００は、フィルタリングして再構成されたピクチャを参照ピクチャまたは出力用ピクチャとしてメモリ５０１に格納し、さらに表示用に出力している。
【００１７】
図２３は、従来の画像復号化装置の構成を示すブロック図である。同図の画像復号化装置６００は、メモリ６０１、ピクチャ間予測部６０２、ピクチャ内予測部６０３、スイッチ６０４、逆量子化部６０９、逆直交変換部６１０、加算器６１１、フィルタ６１２および分離部６１３を備える。分離部６１３は、ストリームから、動き情報、ピクチャ内予測モード情報、画像符号列等を分離する。ピクチャ間予測部６０２は、動き情報に基づいてピクチャ間予測による予測画像を生成する。ピクチャ内予測部６０３は、ピクチャ内予測モード情報に基づいてピクチャ内予測による予測画像を生成する。スイッチ６０４、逆量子化部６０９、逆直交変換部６１０、加算器６１１、フィルタ６１２は、それぞれ図１７に示した同名の構成要素と同じ機能を有する。この画像復号化装置６００における復号動作は画像符号化装置５００における復号動作（ピクチャの再構成）と同じある。
【００１８】
上記の画像符号化装置５００および復号化装置６００は、図１８や図１９に示したピクチャ予測構造のように表示順と符号化順とでピクチャの並び替えを行う場合の構成を示した。並び替えを行わない予測構造の場合の従来の画像符号化装置の構成を図２４に、画像復号化装置の構成を図２５に示す。図２４の画像符号化装置５００ａ、画像復号化装置６００ａの構成は、それぞれ図１７、図２３と比較して、メモリ５０１、６０１からピクチャを出力する代わりにフィルタ５１２、６１２から出力する点が異なっている。また、並び替えが不要なためメモリ５０１、６０１には参照ピクチャのみを格納し、表示用ピクチャを格納しない。
【００１９】
このような従来技術における画像符号化装置および画像復号化装置は、フィルタリングにより全てのピクチャからブロックノイズを低減している。また参照ピクチャのブロックノイズが低減されているので、画質が向上し符号化効率が向上する。
【非特許文献１】ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of JointVideo Specification (2002-8-10)
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記従来技術によれば動画の素材が映画である場合に、フィルム・グレイン（フィルム粒子）による映画独特の質感を損なうという問題があった。なぜなら、フィルム・グレインは、画像信号では時空間で相関の小さい特殊な信号成分として現れるため、ループフィルタにより除去されてしまうからである。
また、ＭＰＥＧ−２などのようにループフィルタを有していない画像符号化装置では、時空間で相関の小さいフィルムグレインが含まれていると、符号化効率(圧縮率)が劣化するという問題もある。
本発明は、映画等の画像の質感を損なうことなくかつ効率よく符号化する画像符号化方法、画像復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記課題を解決するため本発明の画像復号化方法は、ビットストリームを復号化する画像復号化方法であって、前記ビットストリームに含まれる符号化画像を復号化して復号化画像を生成し、前記復号化画像をフィルタ処理しフィルタ処理後の画像を生成し、前記ビットストリームから、前記復号化画像と前記フィルタ処理後画像の何れを表示画像として出力するかを示す識別情報を抽出し、前記復号化画像が参照画像であり前記識別情報が前記復号化画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を参照画像として参照メモリに記憶し、前記復号化画像を表示画像として出力する。
また、上記課題を解決するため本発明の画像符号化方法は、符号化の後に復号化されたピクチャから得られるピクチャを参照してピクチャを予測符号化する画像符号化方法であって、前記復号化されたピクチャにフィルタ処理を行うフィルタステップと、１つの前記復号化されたピクチャについてのフィルタ処理前後の２つのピクチャのうち、フィルタ処理後のピクチャを参照ピクチャと決定する第１決定ステップと、前記２つのピクチャのうちフィルタ処理前のピクチャを出力用ピクチャと決定する第２決定ステップとを有する構成としている。
【００２２】
ここで、前記画像符号化方法は、さらに、前記フィルタ処理後のピクチャを参照ピクチャとしてメモリに格納する第１格納ステップと、前記フィルタ処理前のピクチャを出力用ピクチャとして前記メモリに格納する第２格納ステップとを有する構成としてもよい。
この構成によれば、参照ピクチャはフィルムグレインが低減されているので、符号化効率を向上させ、かつ、出力用ピクチャはフィルムグレインが残るので映画の質感を損なわないという効果を有する。
【００２３】
ここで、前記画像符号化方法は、さらに、前記メモリに格納された参照ピクチャのうち、もはや参照されない参照ピクチャの記憶領域を開放する開放ステップを有する構成としてもよい。
ここで、前記開放ステップにおいて、参照ピクチャとしてもはや参照されなくなったときに、当該参照ピクチャの領域を開放する構成としてもよい。
【００２４】
ここで、前記開放ステップにおいて、参照ピクチャとしてもはや参照されなくなったときに、当該参照ピクチャに対応する出力用ピクチャが出力済であれば当該参照ピクチャを開放する構成としてもよい。
ここで、前記画像符号化方法は、さらに、フィルタ処理前のピクチャとフィルタ処理後のピクチャの何れを出力用ピクチャとすべきかを指示する識別情報を符号化する符号化ステップを有する構成としてもよい。
【００２５】
この構成によれば、例えば画像が映画を素材としているか否かに応じて識別情報を符号化することにより、画像復号装置において、フィルタ処理前のピクチャとフィルタ処理後のピクチャとを出力ピクチャとして切り換えることができる。その結果、画像の素材に適した最適な画質で表示することができる。
【発明の効果】
【００２６】
本発明の画像符号化方法および画像復号化方法によれば、映画等の画像の質感を損なうことなくかつ効率よく符号化することができるという効果がある。また、画像の素材に応じて最適な画質で表示することができるという効果がある。
また、本発明の画像符号化装置、画像復号化装置、プログラム、ストリームについても同様の構成、作用および効果を有しているので、説明を省略する。
【発明を実施するための最良の形態】
【００２７】
（実施の形態１）
＜画像符号化装置１００の構成＞
図１は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。同図のように、画像符号化装置１００は、メモリ１０１、ピクチャ間予測部１０２、ピクチャ内予測部１０３、スイッチ１０４、減算器１０５、直交変換部１０６、量子化部１０７、多重化部１０８、逆量子化部１０９、逆直交変換部１１０、加算器１１１、フィルタ１１２および制御部１１３を備えている。
【００２８】
メモリ１０１にはフィルタ１１２を通したピクチャと通していないピクチャの両方を格納する。フィルタ１１２を通したピクチャは参照ピクチャに用いられ、フィルタ１１２を通していないピクチャは出力ピクチャに用いられる。この参照ピクチャはフィルムグレインが低減されているので、符号化効率を向上させる。出力ピクチャはフィルムグレインが残るので映画の質感を損なわない。
【００２９】
ピクチャ間予測部１０２はピクチャ間予測における予測画像を生成する。すなわち、ピクチャ間予測部１０２は、符号化対象ピクチャに含まれるブロック毎に、メモリ１０１に格納された参照ピクチャ中を参照して動きベクトルを検出し、動きベクトルに従って参照ピクチャから予測画像を生成する。その際、ピクチャ間予測部１０２は、符号化対象ピクチャがＰピクチャである場合は１枚の参照ピクチャを、Ｂピクチャの場合は２枚の参照ピクチャを用いる。
【００３０】
ピクチャ内予測部１０３は、ピクチャ内予測における予測画像を生成する。すなわち、ピクチャ内予測部１０３は、符号化対象のＩピクチャに含まれるブロック毎に予測画像を生成する。その際、ピクチャ内予測部１０３は、既に復号化済でメモリ１０１に格納された同じピクチャの画素を参照する。
スイッチ１０４は、符号化対象ピクチャがＰピクチャおよびＢピクチャであるときピクチャ間予測部１０２側もしくはピクチャ内予測部１０３側のいずれか予測誤差の小さい方に接続し、符号化対象ピクチャがＩピクチャであるときピクチャ内予測部１０３側に接続する。
【００３１】
減算器１０５は、ピクチャ間予測部１０２またはピクチャ内予測部１０３からスイッチ１０４を介して入力される予測画像中の各画素値と、符号化対象ブロック中の各画素値を減算する。この減算結果を予測誤差と呼ぶ。
直交変換部１０６は、減算器１０５からの予測誤差に直交変換を行う。この直交変換の結果を係数ブロックと呼ぶ。
【００３２】
量子化部１０７は、直交変換部１０６からの係数ブロックを量子化する。この量子化の結果を量子化係数ブロックと呼ぶ。
多重化部１０８は、量子化部１０７からの量子化係数ブロックを可変長符号化し、さらに、可変長符号と、ピクチャ間予測部１０２に検出された動きベクトルを示す動きベクトル情報と、ピクチャ内予測部１０３からのピクチャ内予測モード情報と、スイッチ１０４の切り替えを示す選択情報と、メモリ１０１の格納されるピクチャについてのフィルタ適用情報等をストリームとして符号化する。
【００３３】
逆量子化部１０９は、量子化部１０７からの量子化係数ブロックを係数ブロックに逆量子化する。
逆直交変換部１１０は、逆量子化部１０９からの係数ブロックを予測誤差に逆直交変換する。
加算器１１１は、逆直交変換部１１０からの予測誤差の各画素値と、ピクチャ間予測部１０２またはピクチャ内予測部１０３からスイッチ１０４を介して入力される予測画像中の各画素値と加算する。加算結果は、符号化対象ブロックに対応する復号ブロックである。
複数の復号ブロックが順次メモリ１０１に格納されることにより、フィルタを適用していないピクチャが再構成される。
【００３４】
フィルタ１１２は、加算器１１１からの復号ブロックのブロックノイズを低減するためのフィルタ処理を行う。例えばフィルタ１１２は、メモリ１０１に格納済の復号ブロックの画素値を用いて加算器１１１からの復号ブロックのブロック境界の画素に対して、水平方向および垂直方向にフィルタ処理（タップ数は例えば９など数個から１０数個程度）を行う。フィルタを適用したピクチャが再構成される。
【００３５】
制御部１１３は、画像符号化装置１００の全体の制御を行う。特に、制御部１１３は、メモリ１０１に、フィルタ１１２よりフィルタを適用したピクチャと、フィルタを適用しないピクチャとを両方格納し、出力する制御を行う。
【００３６】
＜メモリ１０１の第１の格納例＞
図２は、画像符号化装置１００が、図１８に示した第１の例の予測構造で符号化する場合に、メモリ１０１にピクチャが格納される様子を示す説明図である。同図では、メモリ１０１が４ピクチャに対応する４つのメモリ領域を有している。４つのメモリ領域は、参照ピクチャを最大３枚まで格納するものとする。参照ピクチャを現に格納している最大３つのメモリ領域を参照領域と呼び、出力用ピクチャを現に格納しているメモリ領域を表示用領域と呼ぶ。参照領域および表示用領域は、物理的に固定された領域ではなく各メモリ領域の属性により区別される。この属性は格納されたピクチャが参照用であるか出力用であるかを示す。図中のｆＩ０、ｆＰ３、ｆＢ１等はフィルタが適用されたピクチャを示し、Ｉ０、Ｐ３、Ｂ１等はフィルタが適用されないピクチャを示す。白抜きのメモリ領域は参照領域を、網掛けは表示用領域を示す。（１）〜（８）は、図１８に示した符号化順で符号化および復号化（再構成）されるピクチャにそれぞれ対応している。
【００３７】
図２において（１）では、加算器１１１およびフィルタ１１２の出力に基づいて、フィルタリングされたピクチャｆＩ０とフィルタリングされていないピクチャＩ０がそれぞれ再構成される。フィルタリングされていないピクチャＩ０は表示用領域に格納され、フィルタリングされたピクチャｆＩ０は参照領域に格納される。
（２）では、フィルタリングされたピクチャｆＰ３とフィルタリングされていないピクチャＰ３がそれぞれ再構成される。フィルタリングされていないピクチャＰ３が表示用領域に格納され、フィルタリングされたピクチャｆＰ３が参照領域に格納される。
【００３８】
（３）では、フィルタリングされていないピクチャＢ１が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ１は再構成されない。まず、表示用領域のフィルタリングされていないピクチャＩ０が出力されその領域が開放され、さらにフィルタリングされていないピクチャＢ１がピクチャIOを開放した表示用領域に格納される。
【００３９】
（４）では、フィルタリングされていないピクチャＢ２が再構成される。このピクチャは参照ピクチャではないのでフィルタリングされたピクチャｆＢ２は再構成されない。まず、表示用領域からフィルタリングされていないピクチャＢ１が出力されて領域が開放され、さらにフィルタリングされていないピクチャＢ２がピクチャB1を開放した表示用領域に格納される。
【００４０】
（５）では、フィルタリングされたピクチャｆＰ６とフィルタリングされていないピクチャＰ６がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＢ２、Ｂ３が順次出力されその領域が開放される。さらに、フィルタリングされていないピクチャＰ６が表示用領域に格納され、フィルタリングされたピクチャｆＰ６は参照領域に格納される。すなわち、参照領域の最大ピクチャ格納数が３となり、表示領域のピクチャ数が１になる。
【００４１】
（６）では、フィルタリングされていないピクチャＢ４が再構成される。このピクチャは参照ピクチャではないのでフィルタリングされたピクチャｆＢ４は再構成されない。再構築されたピクチャはメモリ１０１に格納されずに出力される。
（７）では、フィルタリングされていないピクチャＢ５が再構成される。このピクチャは参照ピクチャではないのでフィルタリングされたピクチャｆＢ５は再構成されない。再構築されたピクチャＢ５はメモリ１０１に格納されずに出力される。
【００４２】
（８）では、フィルタリングされたピクチャｆＰ９とフィルタリングされていないピクチャＰ９がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＰ６出力されその領域が開放される。さらに、フィルタリングされていないピクチャＰ６が表示用領域に格納され、フィルタリングされたピクチャｆＰ６は参照領域に格納される。
【００４３】
このように画像符号化装置１００は、フィルタリングされたピクチャを参照ピクチャとして参照領域に格納し、フィルタリングされていないピクチャを出力用ピクチャとして表示領域に格納する。しかも、第１の例のピクチャ予測構造（図１８）の場合には、参照領域と表示用領域とをあわせたメモリ領域が４ピクチャ分で足りる。
【００４４】
＜メモリ１０１の第２の格納例＞
図３は、画像符号化装置１００が、図１９に示した第２の例の予測構造で符号化する場合に、メモリ１０１にピクチャが格納される様子を示す説明図である。同図では、メモリ１０１が５ピクチャに対応する５つのメモリ領域を有している。５つのメモリ領域は、参照ピクチャを最大３枚まで格納するものとする。
【００４５】
図３において（１）では、加算器１１１およびフィルタ１１２の出力に基づいて、フィルタリングされたピクチャｆＩ０とフィルタリングされていないピクチャＩ０がそれぞれ再構成される。フィルタリングされていないピクチャＩ０は表示用領域に格納され、フィルタリングされたピクチャｆＩ０は参照領域に格納される。
（２）では、フィルタリングされたピクチャｆＰ４とフィルタリングされていないピクチャＰ４がそれぞれ再構成される。フィルタリングされていないピクチャＰ４は表示用領域に格納され、フィルタリングされたピクチャｆＰ４は参照領域に格納される。
【００４６】
（３）では、フィルタリングされたピクチャｆＢ２とフィルタリングされていないピクチャＢ２がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＩ０が出力されその領域が開放される。さらに、フィルタリングされていないピクチャＢ２が表示用領域に格納され、フィルタリングされたピクチャｆＢ２が参照領域に格納される。
【００４７】
（４）では、フィルタリングされていないピクチャＢ１が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ１は再構成されない。再構成されたＢ１はメモリ１０１に格納されることなく出力される。
（５）では、フィルタリングされていないピクチャＢ３が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ３は再構成されない。まず、表示領域からフィルタリングされていないピクチャＢ２が出力される。さらにフィルタリングされていないピクチャＢ３が参照領域に格納される。
【００４８】
（６）では、フィルタリングされたピクチャｆＰ８とフィルタリングされていないピクチャＰ８がそれぞれ再構成される。まず、参照領域のピクチャｆＩ０が開放され（ピクチャＩ０が表示済のため）、表示領域からフィルタリングされていないピクチャＢ３が出力されその領域が開放される。２ピクチャ分の領域が開放されたのでフィルタリングされていないピクチャＰ８が表示用領域に格納され、フィルタリングされたピクチャｆＰ８が参照領域に格納される。
【００４９】
（７）では、フィルタリングされたピクチャｆＢ６とフィルタリングされていないピクチャＢ６がそれぞれ再構成される。まず、参照領域のピクチャｆＰ４が開放され（ピクチャＰ４が表示領域にあるため）、表示領域からフィルタリングされていないピクチャＰ４が出力されその領域が開放される。さらに、フィルタリングされていないピクチャＢ６が表示用領域に格納され、フィルタリングされたピクチャｆＢ６が参照領域に格納される。
【００５０】
（８）では、フィルタリングされていないピクチャＢ５が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ５は再構成されない。再構成されたＢ５はメモリ１０１に格納されることなく出力される。
（９）では、フィルタリングされていないピクチャＢ７が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ７は再構成されない。まず、表示領域からフィルタリングされていないピクチャＢ６が出力しその領域を開放する。さらにフィルタリングされていないピクチャＢ７が参照領域に格納される。
【００５１】
このように画像符号化装置１００は、フィルタリングされたピクチャを参照ピクチャとして参照領域に格納し、フィルタリングされていないピクチャを出力用ピクチャとして表示領域に格納する。しかも、第２の例のピクチャ予測構造（図１９）の場合には、参照領域と表示用領域とをあわせたメモリ領域が５ピクチャ分で足りる。
【００５２】
＜メモリ１０１の第３の格納例＞
図４は、画像符号化装置１００が、図１９に示した第２の例の予測構造で符号化する場合に、メモリ１０１にピクチャが格納される様子を示す説明図である。同図では、メモリ１０１が、上記第２の格納例と比べて、メモリ領域が５つ用いる代わりに４つを用いる点が異なっている。参照領域が最大３メモリ領域であるという点は、同じである。この場合、メモリ領域が１つ少ないので表示領域が不足するケースが起こり得るので、復号化されたピクチャで出力されないものが発生することになる。出力されないピクチャがあるというデメリットがあるが、より少ないメモリ領域で全ピクチャを正常に符号化できるというメリットがある。
【００５３】
図４において（１）では、加算器１１１およびフィルタ１１２の出力に基づいて、フィルタリングされたピクチャｆＩ０とフィルタリングされていないピクチャＩ０がそれぞれ再構成される。フィルタリングされていないピクチャＩ０は表示用領域に格納され、フィルタリングされたピクチャｆＩ０は参照領域に格納される。
（２）では、フィルタリングされたピクチャｆＰ４とフィルタリングされていないピクチャＰ４がそれぞれ再構成される。フィルタリングされていないピクチャＰ４は表示用領域に格納され、フィルタリングされたピクチャｆＰ４は参照領域に格納される。第２の格納例と異なり、第３の格納例ではこの時点で空きメモリ領域がなくなっている。
（３）では、フィルタリングされたピクチャｆＢ２とフィルタリングされていないピクチャＢ２がそれぞれ再構成される。フィルタリングされたピクチャｆＢ２は参照ピクチャであるため必ず格納される必要がある。そのため、表示領域からフィルタリングされていないピクチャＩ０が出力して開放し、ピクチャＩ０出力後の空き領域に、ピクチャｆＢ２が格納される。しかし、この時点で開放領域がないためピクチャＢ２を格納することができず、次の表示順のピクチャＢ１はまだ再構成されていない。そこで、次の表示順のピクチャＢ１を飛ばして、再構成されたピクチャＢ２が出力される。
（４）では、フィルタリングされていないピクチャＢ１が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ１は再構成されない。この時点でも開放領域がなく、また、表示順が後のピクチャＢ２が既に出力されているので、ピクチャＢ１も格納されない。
（５）では、フィルタリングされていないピクチャＢ３が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ３は再構成されない。次の表示順であるピクチャＢ２は出力済みなので、ピクチャＢ３が出力される。
（６）では、フィルタリングされたピクチャｆＰ８とフィルタリングされていないピクチャＰ８がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＰ４が出力されその領域が開放される。さらに、フィルタリングされていないピクチャＰ８が表示用領域に格納され、参照領域のピクチャｆＩ０は（ピクチャＩ０が表示済のため）開放され、その領域にフィルタリングされたピクチャｆＰ８が参照領域に格納される。
（７）では、フィルタリングされたピクチャｆＢ６とフィルタリングされていないピクチャＰ６がそれぞれ再構成される。フィルタリングされたピクチャｆＢ６は参照ピクチャであるため必ず格納される必要がある。表示領域にはピクチャＢ６よりも表示順が後のＰ８が格納されているので、次の表示順のピクチャＢ５を飛ばして再構成されたピクチャＢ６が出力される。参照領域のピクチャｆＰ４は（ピクチャＰ４が表示済のため）開放され、その領域にピクチャｆＢ６が格納される。
（８）では、フィルタリングされていないピクチャＢ５が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ５は再構成されない。ピクチャＢ５よりも表示順が後のＢ６が出力済なので、再構成されたＢ５はメモリ１０１に格納されることなく出力もされない。
（９）では、フィルタリングされていないピクチャＢ７が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ７は再構成されない。まず、フィルタリングされていないピクチャＢ７はメモリ１０１に格納されることなく出力される。
【００５４】
このように画像符号化装置１００は、フィルタリングされたピクチャを参照ピクチャとして参照領域に格納し、フィルタリングされていないピクチャを出力用ピクチャとして表示領域に格納する。第２の格納例よりも、メモリ領域が１つ少ないので表示領域が不足するケースが起こり得るので、ピクチャが一部出力されないことになる。一部のピクチャが出力されないというデメリットがあるが、より少ないメモリ領域で全ピクチャを正常に符号化できるというメリットがある。
【００５５】
＜第１のメモリ管理処理＞
図５は、制御部１１３においてメモリ１０１にピクチャを格納および出力する第１のメモリ管理処理を示すフローチャートである。なお、再構成された直後のフィルタリングされたピクチャ又はフィルタリングされていないピクチャを対象ピクチャと呼ぶ。
【００５６】
同図のように、まず制御部１１３は対象ピクチャが参照ピクチャであるかどうかを判定する（Ｓ５０）。
参照ピクチャであると判定された場合、制御部１１３は、参照領域に格納可能な空きメモリ領域があるかどうかを判定し（Ｓ５１）、空きメモリ領域がない場合、参照領域中で最初に格納されたピクチャを開放する（Ｓ５２）。Ｓ５１において空きメモリ領域があると判定された後、および、Ｓ５２において開放された後、制御部１１３は、その空きメモリ領域又は開放された領域に、フィルタリングされた対象ピクチャを参照ピクチャとして格納する（Ｓ５３）。
【００５７】
Ｓ５０において参照ピクチャでないと判定された場合、制御部１１３は、参照領域と表示用領域とを合せたメモリ領域中に空きメモリ領域があるかどうかを判定する（Ｓ５４）。空きメモリ領域がないと判定された場合、制御部１１３は、対象ピクチャが今後最初に出力（表示）すべきピクチャであるかどうかを判定し（Ｓ５５）、今後最初に出力すべきピクチャである場合は、フィルタリングされていない対象ピクチャをメモリ５０１に格納しないで出力（表示）し（Ｓ５６）、今後最初に出力すべきピクチャでない場合は領域確保処理を行う（Ｓ５７）。Ｓ５７において領域が確保された後、およびＳ５４において空きメモリ領域があると判定された後、制御部１１３は、当該領域にフィルタリングされていない対象ピクチャを格納する（Ｓ５８）。
【００５８】
図６は、上記Ｓ６７およびＳ６８における領域確保処理の詳細を示すフローチャートである。同図において、制御部１１４は、表示領域に格納されているピクチャが出力済（表示済)かどうかを判定し（Ｓ１００）、出力済であると判定された場合はそのメモリ領域を開放する（Ｓ１０１）。また、出力済でないと判定された場合は、制御部１１４は、メモリ５０１に格納されたピクチャおよび対象ピクチャのうち今後最初に表示すべきピクチャを選択して出力（表示）する（Ｓ１０２）。制御部１１４は、さらに対象ピクチャがＳ１０２において出力済になったか否かを判定し（Ｓ１０３）、対象ピクチャが出力済である場合は本処理を終了し、対象ピクチャが表示済でない場合は再度Ｓ１００に戻る。
【００５９】
このように、制御部１１４、フィルタリングして再構成されたピクチャを参照ピクチャとしてメモリ５０１に格納し、加えてフィルタリングしないで再構成されたピクチャを出力用ピクチャとしてメモリ５０１に格納する。
図５および図６に示した第１のメモリ管理処理では、参照ピクチャ（フィルタリングされた再構成ピクチャ）用にメモリ領域を最大１回開放し、かつ出力用ピクチャ（フィルタリングされていない再構成ピクチャ)用にメモリ領域が最大１回開放されることになる。
【００６０】
＜第２のメモリ管理処理＞
図７は、制御部１１３においてメモリ１０１にピクチャを格納および出力する第２のメモリ管理処理を示すフローチャートである。
【００６１】
この第２のメモリ管理処理では、参照ピクチャ（フィルタリングされた再構成ピクチャ）用にメモリ領域を最大１回開放する点は第１のメモリ管理処理と同様であるが、出力用ピクチャ（フィルタリングされていない再構成ピクチャ)用にメモリ領域が最大２回開放される点が異なっている。すなわち、第１のメモリ管理処理では参照用ピクチャの格納で１回、出力用ピクチャの格納で１回の最大合計２回の開放処理が行われるのに対し、第２のメモリ管理処理では出力用ピクチャのみで開放処理を行うため、参照用と出力用の最大２ピクチャの領域を確保するためＳ６７が最大２回起動されることになる。第２のメモリ管理処理では、この点で処理の流れに違いがあるが図２〜４のような同じ結果を得ることができる。
【００６２】
同図のように、まず、制御部１１３は対象ピクチャが参照ピクチャであるかどうかを判定する（Ｓ６０）。
参照ピクチャであると判定された場合、制御部１１３は、参照領域に格納可能な空きメモリ領域があるかどうかを判定し（Ｓ６１）、空きメモリ領域がない場合、参照領域中で最初に格納されたピクチャを移動する（Ｓ６２）。ここでの移動は、ピクチャをメモリ領域間で転送しないで、メモリ領域の属性を参照用から表示用に変更することである。
【００６３】
Ｓ６１において空きメモリ領域があると判定された後、および、Ｓ６２において移動された後、制御部１１３は、その空きメモリ領域又は移動により生じた空き領域に、フィルタリングされた対象ピクチャを参照ピクチャとして格納する（Ｓ６３）。
Ｓ６０において参照ピクチャでないと判定された場合、制御部１１３は、参照領域と表示用領域とを合せたメモリ領域中に空きメモリ領域があるかどうかを判定する（Ｓ６４）。空きメモリ領域がないと判定された場合、制御部１１３は、対象ピクチャが今後最初に出力（表示）すべきピクチャであるかどうかを判定し（Ｓ６５）、今後最初に出力すべきピクチャである場合は、フィルタリングされていない対象ピクチャをメモリ５０１に格納しないで出力（表示）し（Ｓ６６）、今後最初に出力すべきピクチャでない場合は領域確保処理を行い（Ｓ６７）、再度Ｓ６４に戻る。Ｓ６４において空きメモリ領域があると判定された後、制御部１１３は、表示領域にフィルタリングされていない対象ピクチャを格納する（Ｓ６８）。
上記Ｓ６７およびＳ６８における領域確保処理は、図６に示したフローチャートと同じでよい。
【００６４】
＜画像復号化装置の構成＞
図８は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。同図の画像復号化装置２００は、メモリ２０１、ピクチャ間予測部２０２、ピクチャ内予測部２０３、スイッチ２０４、逆量子化部２０９、逆直交変換部２１０、加算器２１１、フィルタ２１２および分離部２１３を備える。分離部２１３は、ストリームから、動き情報、ピクチャ内予測モード情報、画像符号列等を分離する。ピクチャ間予測部２０２は、動き情報に基づいてピクチャ間予測による予測画像を生成する。ピクチャ内予測部２０３は、ピクチャ内予測モード情報に基づいてピクチャ内予測による予測画像を生成する。スイッチ２０４、逆量子化部２０９、逆直交変換部２１０、加算器２１１、フィルタ２１２は、それぞれ図１に示した同名の構成要素と同じ機能を有する。この画像復号化装置２００における復号動作は画像符号化装置５００における復号動作（ピクチャの再構成）と同じある。
【００６５】
以上説明してきたように、本実施の形態における画像符号化装置および画像復号化装置によれば、フィルタリングされたピクチャが参照ピクチャに用いられ、フィルタリングされていないピクチャが出力ピクチャに用いられる。この参照ピクチャはブロックノイズとフィルムグレインが低減されているので、ブロックノイズを低減し、符号化効率を向上させるという効果がある。しかも、出力ピクチャはフィルムグレインが残るので映画の質感を損なわないという効果がある。
【００６６】
（実施の形態２）
実施の形態１における画像符号化装置１００および画像復号化装置２００は、図１８や図１９に示したピクチャ予測構造のように表示順と符号化順とでピクチャの並び替えを行う場合の構成を示した。本実施の形態では、並び替えを行わない予測構造の場合の画像符号化装置および画像復号化装置について説明する。
【００６７】
図９は、本実施の形態における画像符号化装置の構成を示すブロック図である。同図の画像符号化装置１００ａは、図１の画像符号化装置１００と比較して、フィルタリングされたピクチャとフィルタリングされていないピクチャとをメモリ１０１に格納する代わりに、フィルタリングされたピクチャのみをメモリ１０１に格納する点と、スイッチ１１４を追加した点とが異なっている。同じ点については説明を省略して、以下異なる点を中心に説明する。
【００６８】
メモリ１０１は、フィルタリングされたピクチャを参照ピクチャとして格納する。フィルタリングされていないピクチャはメモリ１０１には格納されない。
スイッチ１１４は、加算器１１１からの再構成ピクチャ（つまりフィルタリングされていないピクチャ）と、フィルタ１１２からの再構成ピクチャ（つまりフィルタリングされたピクチャ）とが入力され、フィルタ適用情報に従って何れかを選択的に出力する。
【００６９】
図１０は、本実施の形態における画像復号化装置の構成を示すブロック図である。同図の画像復号化装置２００ａは、図８の画像復号化装置２００と比較して、フィルタリングされたピクチャとフィルタリングされていないピクチャとをメモリ２０１に格納する代わりに、フィルタリングされたピクチャのみをメモリ２０１に格納する点と、スイッチ２１４を追加した点とが異なっている。画像復号化装置２００ａの復号動作については、画像符号化装置１００ａの復号動作（再構成動作）と同じであるので、説明を省略する。
【００７０】
以上説明してきたように本実施の形態における画像符号化装置１００ａおよび画像復号化装置２００ａによれば、参照ピクチャはフィルタリングされているのでブロックノイズおよびフィルムグレインが除去され、符号化効率を向上させることができる。加えて、例えば映画を素材とする画像の場合にはスイッチ１１４、２１４がフィルタリングされていないピクチャを選択することにより、映画の質感を損なわない画像を出力することができ、映画以外を素材とする場合には、スイッチ１１４、２１４がフィルタリングされたピクチャを選択することにより、ノイズの少ない画像を出力することができ、素材に応じて適切な画質を選択することができる。
【００７１】
なお、上記各実施形態において、フィルタ適用情報の内容に応じて出力ピクチャを切り替える構成としてもよい。この場合のフィルタ適用情報の一例を図１１に示す。同図において、フィルタ適用情報は、フィルタリングされたピクチャとフィルタリングされていないピクチャのどちらを出力すべきか示す番号で表される。例えば、番号０は、ストリーム中の全ピクチャについてフィルタリングされていないピクチャを出力することを意味する。番号１は、ストリーム中の全ピクチャについてフィルタリングされたピクチャを出力することを意味する。番号２は、フィルタ適用情報に特定されるピクチャについてフィルタリングされていないピクチャを出力することを意味する。番号３は、フィルタ適用情報に特定されるピクチャについてフィルタリングされたピクチャを出力することを意味する。番号４は、フィルタ適用情報に特定されるピクチャ以降のピクチャについてフィルタリングされていないピクチャを出力することを意味する。番号５は、フィルタ適用情報に特定されるピクチャ以降のピクチャについてフィルタリングされたピクチャを出力することを意味する。フィルタ適用情報は、ストリーム中の任意のピクチャに設定される。例えば、ＭＰＥＧ−４ ＡＶＣ規格における付加情報としてのＳＥＩ（Supplemental Enhancement Information）等にフィルタ適用情報を設定すればよい。
【００７２】
また、上記各実施の形態ではフィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャとして説明したが、従来のフィルタリングしないピクチャを参照ピクチャ、フィルタリングした再構成ピクチャを出力ピクチャとする方法をピクチャ毎に切替えても良い。
【００７３】
すなわち、次の（１）〜（３）の何れかをピクチャ単位で切替えても良い。
（１）フィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャとして２ピクチャを格納する。
（２）フィルタリングしないピクチャを参照ピクチャとして１ピクチャを格納する。
（３）フィルタリングした再構成ピクチャを出力ピクチャとして１ピクチャを格納する。
【００７４】
その場合のメモリ管理処理としては、図５および図７に示したフローをそのまま使用することができる。
更に、各ピクチャの表示順序に対応する符号ＰＯＣ(Picture Order Count)を各ピクチャに付加し、ＰＯＣによって図５および図７のフローの実装をすることも可能である。同じ復号化ピクチャのフィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャに同じＰＯＣを付加し、参照領域のピクチャが表示領域のピクチャに移動された時点で参照領域から移動したピクチャのＰＯＣが直前に出力したピクチャのＰＯＣ以下であれば出力済であると判断することができる。また、ＰＯＣが同じピクチャが参照領域と表示領域にあるかどうかを検出することで、参照領域から表示領域にピクチャを移動した時点で開放すべきピクチャ（すなわち、参照ピクチャが出力に必要か不要か）の判断を行うことも可能である。なお、同じピクチャが参照領域と表示領域にあるかどうかの検出は、復号化したピクチャにユニークな番号（但し、フィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャとする場合は両方に同じ番号）を付与し、参照領域から表示領域にピクチャを移動した時点で同じ番号が存在した場合に参照ピクチャが出力に不要であるとの判断を行うことも可能である。
【００７５】
（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００７６】
図１２（ａ）〜（ｃ）は、上記各実施の形態の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
【００７７】
また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００７８】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００７９】
（実施の形態４）
図１３から図１６は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
【００８０】
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００８１】
しかし、コンテンツ供給システムex１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００８２】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００８３】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００８４】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１４は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００８５】
さらに、携帯電話ex１１５について図１５を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００８６】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００８７】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００８８】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００８９】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００９０】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００９１】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００９２】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００９３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００９４】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００９５】
なお、カーナビゲーションex４１３の構成は例えば図１４に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００９６】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
【産業上の利用可能性】
【００９７】
本発明は、符号化済みのピクチャを参照して予測符号化を行う符号化方法および復号化方法に適しており、例えば、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【図面の簡単な説明】
【００９８】
【図１】実施の形態１における画像符号化装置の構成を示すブロック図である。
【図２】第１の例の予測構造で符号化する場合にメモリにピクチャが格納される様子を示す説明図である。
【図３】第２の例の予測構造で符号化する場合にメモリにピクチャが格納される様子を示す説明図である。
【図４】第２の例の予測構造で符号化する場合にメモリにピクチャが格納される様子を示す説明図である。
【図５】メモリにピクチャを格納および出力する第１のメモリ管理処理を示すフローチャートである。
【図６】領域確保処理を示すフローチャートである。
【図７】メモリにピクチャを格納および出力する第２のメモリ管理処理を示すフローチャートである。
【図８】実施の形態１における画像復号化装置の構成を示すブロック図である。
【図９】実施の形態２における画像符号化装置の構成を示すブロック図である。
【図１０】実施の形態２における画像復号化装置の構成を示すブロック図である。
【図１１】フィルタ適用情報の一例を示す図である。
【図１２】（ａ）〜（ｃ）プログラムを格納するための記録媒体についての説明図である。
【図１３】コンテンツ供給システムの全体構成を示すブロック図である。
【図１４】携帯電話の外観図である。
【図１５】携帯電話の構成を示すブロック図である。
【図１６】ディジタル放送用システムの例を示す図である。
【図１７】従来技術におけるループフィルタを有する画像符号化装置の構成を示すブロック図である。
【図１８】ピクチャ予測構造の第１の例を示す説明図である。
【図１９】ピクチャ予測構造の第２の例を示す説明図である。
【図２０】従来技術における画像符号化装置が第１の例の予測構造で符号化する場合に、メモリにピクチャが格納される様子を示す説明図である。
【図２１】従来技術における画像符号化装置が第２の例の予測構造で符号化する場合に、メモリにピクチャが格納される様子を示す説明図である。
【図２２】従来技術においてメモリにピクチャを格納および出力するメモリ管理を示すフローチャートである。
【図２３】従来技術における画像復号化装置の構成を示すブロック図である。
【図２４】従来技術における並び替えを行わない画像符号化装置の構成を示すブロック図である。
【図２５】従来技術における並び替えを行わない画像復号化装置の構成を示すブロック図である。
【符号の説明】
【００９９】
１００  画像符号化装置
１０１  メモリ
１０２  ピクチャ間予測部
１０３  ピクチャ内予測部
１０４  スイッチ
１０５  減算器
１０６  直交変換部
１０７  量子化部
１０８  多重化部
１０９  逆量子化部
１１０  逆直交変換部
１１１  加算器
１１２  フィルタ
１１３  制御部
２００  画像復号化装置
２０１  メモリ
２０２  ピクチャ間予測部
２０３  ピクチャ内予測部
２０４  スイッチ
２０９  逆量子化部
２１０  逆直交変換部
２１１  加算器
２１２  フィルタ
２１３ 分離部
２１４  制御部
【図１】
0004439890.tif 000002
【図２】
0004439890.tif 000003
【図３】
0004439890.tif 000004
【図４】
0004439890.tif 000005
【図５】
0004439890.tif 000006
【図６】
0004439890.tif 000007
【図７】
0004439890.tif 000008
【図８】
0004439890.tif 000009
【図９】
0004439890.tif 000010
【図１０】
0004439890.tif 000011
【図１１】
0004439890.tif 000012
【図１２】
0004439890.tif 000013
【図１３】
0004439890.tif 000014
【図１４】
0004439890.tif 000015
【図１５】
0004439890.tif 000016
【図１６】
0004439890.tif 000017
【図１７】
0004439890.tif 000018
【図１８】
0004439890.tif 000019
【図１９】
0004439890.tif 000020
【図２０】
0004439890.tif 000021
【図２１】
0004439890.tif 000022
【図２２】
0004439890.tif 000023
【図２３】
0004439890.tif 000024
【図２４】
0004439890.tif 000025
【図２５】
0004439890.tif 000026