(57)【要約】  画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることが可能な画像処理装置（１０）は、第１の処理モードと第２の処理モードとを切り替えて選択する選択部（１４）と、フレームメモリ（１２）と、第１の処理モードが選択されたときには、入力画像に含まれる予め定められた周波数の情報を削除することによりその入力画像を縮小し、縮小された入力画像を縮小画像としてフレームメモリ（１２）に格納し、第２の処理モードが選択されたときには、入力画像を縮小することなくフレームメモリ（１２）に格納する格納部（１１）と、第１の処理モードが選択されたときには、フレームメモリ（１２）から縮小画像を読み出して拡大し、第２の処理モードが選択されたときには、フレームメモリ（１２）から縮小されていない入力画像を読み出す読み出し部（１３）とを備える。
2010092740.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力画像を順次処理する画像処理装置であって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する選択部と、
フレームメモリと、
前記選択部により前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像として前記フレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納する格納部と、
前記選択部により前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記選択部により前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す読み出し部と
を備える画像処理装置。
【請求項２】
前記画像処理装置は、さらに、
前記読み出し部によって読み出されて拡大された縮小画像、または前記読み出し部によって読み出された入力画像を、参照画像として参照し、ビットストリームに含まれる符号化画像を復号することにより復号画像を生成する復号部を備え、
前記格納部は、前記復号部によって生成された復号画像を入力画像として扱うことによって、前記第１の処理モードが選択されたときには、前記復号画像を縮小し、縮小された前記復号画像を前記縮小画像として前記フレームメモリに格納し、前記第２の処理モードが選択されたときには、前記復号部によって生成された復号画像を縮小することなく前記フレームメモリに格納し、
前記選択部は、前記ビットストリームに含まれる、前記参照画像に関する情報に基づいて、第１の処理モードまたは第２の処理モードを選択する、
請求項１に記載の画像処理装置。
【請求項３】
前記格納部は、前記フレームメモリに縮小画像を格納するときには、前記縮小画像の画素値を示すデータの一部を、削除された周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、
前記読み出し部は、前記縮小画像を拡大するときには、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された縮小画像に、前記周波数の情報を付加することによって前記縮小画像を拡大する、
請求項２に記載の画像処理装置。
【請求項４】
前記格納部は、前記入力画像を縮小するときには、前記入力画像を水平方向に縮小することにより、前記入力画像の水平方向の画素数を減らし、
前記読み出し部は、前記縮小画像を拡大するときには、前記参照画像を水平方向に拡大することにより、前記縮小画像の水平方向の画素数を増やす、
請求項３に記載の画像処理装置。
【請求項５】
前記格納部は、
前記縮小画像の画素値を示すデータのうち、少なくともＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を含む１つまたは複数のビットで示される値を、前記埋め込みデータに置き換える、
請求項３または４に記載の画像処理装置。
【請求項６】
前記格納部は、
前記入力画像を表す領域を画素領域から周波数領域に変換する第１の直交変換部と、
前記周波数領域の入力画像から、予め定められた高周波数成分を前記周波数の情報として削除する削除部と、
前記高周波数成分が削除された入力画像を表す領域を周波数領域から画素領域に変換する第１の逆直交変換部と、
前記第１の逆直交変換部によって変換された入力画像の画素値を示すデータの一部を、削除された前記高周波数成分の少なくとも一部を示す前記埋め込みデータに置き換える埋め込み部とを備える、
請求項３〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記読み出し部は、
前記縮小画像に含まれている前記埋め込みデータを抽出する抽出部と、
抽出された前記埋め込みデータから前記高周波数成分を復元する復元部と、
前記埋め込みデータが抽出された縮小画像を表す領域を画素領域から周波数領域に変換する第２の直交変換部と、
前記周波数領域の縮小画像に前記高周波数成分を付加する付加部と、
前記高周波数成分が付加された縮小画像を表す領域を周波数領域から画素領域に変換する第２の逆直交変換部とを備える、
請求項６に記載の画像処理装置。 
【請求項８】
前記格納部は、さらに、
前記削除部によって削除される前記高周波数成分を可変長符号化することにより前記埋め込みデータを生成する符号化部を備え、
前記復元部は、前記埋め込みデータを可変長復号することにより前記埋め込みデータから前記高周波数成分を復元する、
請求項７に記載の画像処理装置。
【請求項９】
前記格納部は、さらに、
前記削除部によって削除される前記高周波数成分を量子化することにより前記埋め込みデータを生成する量子化部を備え、
前記復元部は、前記埋め込みデータを逆量子化することにより前記埋め込みデータから前記高周波数成分を復元する、
請求項７に記載の画像処理装置。
【請求項１０】
前記抽出部は、
前記縮小画像の画素値を示すビット列からなるデータのうち、少なくとも１つの所定ビットにより示される前記埋め込みデータを抽出し、前記埋め込みデータが抽出された画素値を、前記少なくとも１つの所定ビットの値に応じて前記ビット列が取り得る値の範囲の中央値に設定し、
前記第２の直交変換部は、前記中央値に設定された画素値を有する縮小画像の領域を画素領域から周波数領域に変換する、
請求項７に記載の画像処理装置。
【請求項１１】
前記格納部は、前記縮小画像に基づいて、前記埋め込みデータに置き換えるべきか否かを判別し、置き換えるべきと判別した場合に、前記縮小画像の画素値を示すデータの一部を前記埋め込みデータに置き換え、
前記読み出し部は、前記縮小画像に基づいて、前記埋め込みデータを抽出するべきか否かを判別し、抽出するべきと判別した場合に、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータが抽出された縮小画像に前記周波数の情報を付加する、
請求項３〜１０に記載の画像処理装置。
【請求項１２】
前記第１および第２の直交変換部は、画像に対して離散コサイン変換を行うことによって、前記画像を表す領域を画素領域から周波数領域に変換し、
前記第１および第２の逆直交変換部は、画像に対して逆離散コサイン変換を行うことによって、前記画像を表す領域を周波数領域から画素領域に変換する、
請求項７に記載の画像処理装置。
【請求項１３】
前記離散コサイン変換および前記逆離散コサイン変換の変換対象サイズは４×４サイズである、
請求項１２に記載の画像処理装置。
【請求項１４】
前記復号部は、
前記符号化画像を逆周波数変換することにより差分画像を生成する逆周波数変換部と、
前記参照画像を参照して動き補償を行うことにより前記符号化画像の予測画像を生成する動き補償部と、
前記差分画像と前記予測画像を加算することにより前記復号画像を生成する加算部とを備える、
請求項３〜１３の何れか１項に記載の画像処理装置。
【請求項１５】
複数の入力画像を順次処理する画像処理方法であって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択し、
前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像としてフレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納し、
前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す
画像処理方法。
【請求項１６】
複数の入力画像を順次処理するためのプログラムであって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択し、
前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像としてフレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納し、
前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す
ことをコンピュータに実行させるプログラム。
【請求項１７】
複数の入力画像を順次処理する集積回路であって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する選択部と、
前記選択部により前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像としてフレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納する格納部と、
前記選択部により前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記選択部により前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す読み出し部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を順次処理する画像処理装置に関し、特に、画像をメモリに格納するとともに、メモリに格納された画像を読み出す機能を有する画像処理装置に関する。
【背景技術】
【０００２】
画像をフレームメモリに格納するとともに、フレームメモリに格納された画像を読み出す機能を有する画像処理装置は、例えば、Ｈ．２６４などのビデオ符号化規格によって圧縮されたビットストリームを復号するビデオデコーダなどの画像復号装置に備えられる。また、このような画像復号装置は、例えば、ハイビジョン対応デジタルテレビやビデオ会議システムに用いられる。【０００３】
ハイビジョン映像では、１９２０×１０８０画素サイズのピクチャ、つまり２，０７３，６００画素からなるピクチャが使われる。ハイビジョンデコーダは、標準画像（ＳＤＴＶ）デコーダに比べ、追加メモリを必要とするため、標準画像デコーダに比べかなり高価になってしまう。【０００４】
また、Ｈ．２６４、ＶＣ−１およびＭＰＥＧ−２のようなビデオ符号化規格は、ハイビジョンに対応している。近年、さまざまなシステムにおいて、広く用いられるようになっているビデオ符号化規格は、Ｈ．２６４である。この規格は、従来広く用いられてきたＭＰＥＧ−２規格よりも低いビットレートで良好な画質を提供することが可能である。例えば、Ｈ．２６４のビットレートはＭＰＥＧ−２の半分程度である。しかしながら、Ｈ．２６４のビデオ符号化規格においては、低いビットレートを実現するために、アルゴリズムが複雑化し、その結果、従来のビデオ符号化規格よりもかなり大きいフレームメモリ帯域やフレームメモリ容量が必要となっている。ハイビジョン映像のデコードに必要とされるフレームメモリ帯域やフレームメモリ容量を削減することは、Ｈ．２６４のビデオ符号化規格に対応した画像復号装置を安価に実現する上では重要である。つまり、画像復号装置を安価にするために、画質を低下させることなくフレームメモリに必要とされる帯域（フレームメモリへのアクセスのバンド幅）および容量を抑えることが画像処理装置に対して求められている。【０００５】
安価な画像復号装置を実現する方法の一つとしてダウンデコードと呼ばれる方法がある。【０００６】
図４７は、ハイビジョン映像をダウンデコードする典型的な画像復号装置の機能構成を示すブロック図である。【０００７】
この画像復号装置１０００は、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１００１、逆量子化部１００２、逆周波数変換部１００３、画面内予測部１００４、加算部１００５、デブロックフィルタ部１００６、圧縮処理部１００７、フレームメモリ１００８、伸長処理部１００９、フル解像度動き補償部１０１０、およびビデオ出力部１０１１を備える。ここで、画像処理装置は、圧縮処理部１００７、フレームメモリ１００８および伸長処理部１００９から構成されている。【０００８】
シンタックス解析・エントロピー復号部１００１は、ビットストリームを取得し、そのビットストリームに対してシンタックス解析及びエントロピー復号を行う。エントロピー復号には、可変長復号（ＶＬＣ）や算術符号化（例えば、ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を含めてもよい。逆量子化部１００２は、シンタックス解析・エントロピー復号部１００１から出力されるエントロピー復号化係数を取得して逆量子化する。逆周波数変換部１００３は、逆量子化されたエントロピー復号化係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。【０００９】
加算部１００５は、画面間予測が行われるときには、フル解像度動き補償部１０１０から出力される画面間予測画像を、逆周波数変換部１００３から出力される差分画像に加算することにより、復号画像を生成する。また、加算部１００５は、画面内予測が行われるときには、画面内予測部１００４から出力される画面内予測画像を、逆周波数変換部１００３から出力される差分画像に加算することにより、復号画像を生成する。 【００１０】
デブロックフィルタ部１００６は、復号画像に対してデブロックフィルタ処理を行い、ブロックノイズを低減する。【００１１】
圧縮処理部１００７は、圧縮処理を行う。つまり、圧縮処理部１００７は、このデブロックフィルタ処理された復号画像を低解像度の画像に圧縮し、圧縮された復号画像を参照画像としてフレームメモリ１００８に書き込む。フレームメモリ１００８は複数の参照画像を記憶するための領域を有する。【００１２】
伸長処理部１００９は、伸長処理を行う。つまり、伸長処理部１００９は、フレームメモリ１００８に格納されている参照画像を読み出して、その参照画像を元の高解像度（圧縮される前の復号画像の解像度）の画像に伸長する。【００１３】
フル解像度動き補償部１０１０は、シンタックス解析・エントロピー復号部１００１から出力される動きベクトルと、伸長処理部１００９によって伸長された参照画像を用いて画面間予測画像を生成する。画面内予測部１００４は、画面内予測が行われる場合は、復号化対象ブロックの近隣画素を用いて、その復号化対象ブロックに対して画面内予測を行うことにより、画面内予測画像を生成する。【００１４】
ビデオ出力部１０１１は、フレームメモリ１００８に参照画像として格納されている圧縮された復号画像をそのフレームメモリ１００８から読み出し、その復号画像を、ディスプレイに出力すべき解像度に拡大又は縮小し、ディスプレイに出力する。【００１５】
このように、ダウンデコードを行う画像復号装置１０００は、復号画像を圧縮してフレームメモリ１００８に書き込むことによって、フレームメモリ１００８に必要とされる容量と帯域を削減することができる。つまり、画像処理装置は、フレームメモリ１００８に参照画像を格納するときにはその参照画像を圧縮し、フレームメモリ１００８から参照画像を読み出すときにはその縮小された参照画像を伸長することによって、フレームメモリ１００８に必要とされる帯域および容量を抑えている。【００１６】
ここで、フレームメモリに必要とされる帯域と容量を削減することが可能なダウンデコードを行うために、多くの方法が提案されている（例えば、特許文献１および非特許文献１参照）。【００１７】
上記非特許文献１のダウンデコードは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を利用し、多くのダウンデコードの中でも、理論上最小限の復号誤差にとどめる可能性がある。【００１８】
図４８は、上記非特許文献１のダウンデコードを説明するための説明図である。【００１９】
このダウンデコードにおける伸長処理では、参照画像ブロックに対して低解像度のＤＣＴを行い、その結果生成される複数の変換係数からなる係数群に、０を示す高周波数成分を付加する。さらに、高周波数成分が付加された係数群に対してフル解像度（高解像度）のＩＤＣＴ（逆離散コサイン変換）を行うことによって、参照画像ブロックを拡大し、拡大された参照画像ブロックを動き補償に用いる。つまり、このダウンデコードでは、画像の拡大処理が伸長処理として用いられている。【００２０】
また、上記ダウンデコードにおける圧縮処理では、フル解像度の復号画像ブロックに対してフル解像度のＤＣＴを行い、その結果生成される複数の変換係数からなる係数群から高周波数成分を削除する。さらに、高周波数成分が削除された係数群に対して低解像度のＩＤＣＴを行うことによって、フル解像度の復号画像ブロックを縮小し、縮小された復号画像ブロックをフレームメモリに格納する。つまり、このダウンデコードでは、画像の縮小処理が圧縮処理として用いられている。 【００２１】
このようなダウンデコードのアルゴリズムにおいては、フレームメモリに格納された低解像度の縮小画像（復号画像ブロック）は、元の解像度（フル解像度）の動き補償がおこなわれる前に、離散コサイン変換／逆離散コサイン変換を用いて拡大される。【００２２】
また、上記特許文献１のダウンデコードでは、縮小画像の代わりに圧縮データをフレームメモリに格納する。【００２３】
図４９Ａおよび図４９Ｂは、上記特許文献１のダウンデコードを説明するための説明図である。【００２４】
図４９Ａに示す第１メモリマネージャおよび第２メモリマネージャは、図４７に示す圧縮処理部１００７および伸長処理部１００９に相当し、図４９Ａに示す第１メモリおよび第２メモリは図４７に示すフレームメモリ１００８に相当する。つまり、第１メモリマネージャおよび第２メモリマネージャと、第１メモリおよび第２メモリとから画像処理装置が構成されている。なお、第１メモリマネージャおよび第２メモリマネージャを、以下、総称してメモリマネージャという。【００２５】
メモリマネージャは、圧縮処理を行うときには、図４９Ｂに示すように、エラー拡散を行うステップと、４画素につき１画素を切り捨てるステップとを実行する。まず、メモリマネージャは、１ビットエラー拡散アルゴリズムを用いて、３２ビット（４画素×８ビット／画素）により示される４画素グループを、２８ビット（４画素×７ビット／画素）に圧縮する。次に、４画素グループから所定の方法で１画素を切り捨て、その４画素グループを（３画素×７ビット／画素）に圧縮する。さらに、メモリマネージャは、その４画素グループの最後に、切り捨て方法を示す３ビットを付加する。結果として、３２ビットの４画素グループは、２４ビット（３画素×７ビット／画素＋３ビット）に圧縮される。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】米国特許第６１９８７７３号明細書
【非特許文献】
【００２７】
【非特許文献１】「Ｍｉｎｉｍａｌ ｅｒｒｏｒ ｄｒｉｆｔ ｉｎ ｆｒｅｑｕｅｎｃｙ ｓｃａｌａｂｉｌｉｔｙ ｆｏｒ ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ  ＤＣＴ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、 ｖｏｌ．４、ｎｏ．４、３９２〜４０６ページ、１９９４年８月
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかしながら、上記非特許文献１および特許文献１のダウンデコードを行う画像復号装置に備えられた画像処理装置では、画質が常に劣化してしまうという問題がある。【００２９】
具体的には、上記非特許文献１によるダウンデコードでは、過去の画像を参照することによるドリフトエラーの影響を受けやすい。ダウンデコードを行う画像復号装置１０００は、ビデオ符号化規格には定義されていない上記圧縮処理および伸長処理を行うことにより復号画像に誤差が重畳されることがある。この誤差が重畳された復号画像を参照して次の画像がデコードされると、復号画像に次々と誤差が蓄積される。このような誤差蓄積をドリフトエラーと呼んでいる。つまり、上記非特許文献１のダウンデコードでは、縮小処理時に、ＤＣＴによって生成された高次変換係数（高周波数の変換係数）に高いエネルギーを有することのあるハイビジョン画像から、その高次変換係数が不可逆的に切り捨てられる。このように縮小処理において高周波数成分の情報がかなり失われることになり、その結果、復号画像の誤差が大きくなり、この誤差がドリフトエラーを引き起こしてしまう。 【００３０】
また、ダウンデコードにおける視覚的歪みは、ビデオ符号化規格に画面内予測が含まれるために、特にＨ．２６４のビデオ符号化規格のデコードにおいて顕著に現れる（ＩＴＵ−Ｔ  Ｈ．２６４  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  参照）。画面内予測は、復号化対象ブロックの周辺にある復号済みの周辺画素を用いて画面内で予測画像（画面内予測画像）を生成するＨ．２６４特有の処理である。この復号済みの周辺画素には、先に述べた誤差が重畳されることがある。誤差が重畳された画素が画面内予測に用いられると、予測画像を使用するブロック単位（４×４画素、８×８画素、または１６×１６画素）で誤差が生じることになる。復号画像における誤差が１画素のみであったとしても、その画素を用いて画面内予測がおこなわれると、４×４画素などからなる大きなブロック単位で誤差が生じ、視覚的に容易に視認できるブロックノイズが生じてしまう。【００３１】
上記特許文献１によるダウンデコードでは、圧縮処理の最初のステップにおける１ビットエラー拡散でのＬＳＢ（Least Significant Bit）ビットの切り捨てにより、平坦領域においては情報が不可逆的に失われる。そのため、平坦領域の画質は悪くなる（平坦領域とは、互いに非常に近い画素値を有する複数の画素からなる領域を指す）。多くの平坦領域を有する長いピクチャ群（ＧＯＰ：Group Of Pictures）においては、画像に深刻な歪みが生じる可能性がある。【００３２】
そこで、本発明は、かかる問題に鑑みてなされたものであって、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００３３】
上記目的を達成するために、本発明の一態様に係る画像処理装置は、複数の入力画像を順次処理する画像処理装置であって、少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する選択部と、フレームメモリと、前記選択部により前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像として前記フレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納する格納部と、前記選択部により前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記選択部により前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す読み出し部とを備える。【００３４】
これにより、第１の処理モードが選択されたときには、入力画像は縮小されてフレームメモリに格納され、さらに、その縮小された入力画像はフレームメモリから読み出されて拡大されるため、そのフレームメモリに必要とされる帯域および容量を抑えることができる。また、第２の処理モードが選択されたときには、入力画像は縮小されずにフレームメモリに格納され、その入力画像がそのまま読み出されるため、その入力画像の画質の劣化を防止することができる。また、第１の処理モードと第２の処理モードとが少なくとも１つの入力画像ごとに切り替えて選択されるため、複数の入力画像の全体的な画質の劣化の防止と、フレームメモリに必要とされる帯域および容量の抑制とのバランスをとって、それぞれを両立させることができる。【００３５】
また、前記画像処理装置は、さらに、前記読み出し部によって読み出されて拡大された縮小画像、または前記読み出し部によって読み出された入力画像を、参照画像として参照し、ビットストリームに含まれる符号化画像を復号することにより復号画像を生成する復号部を備え、前記格納部は、前記復号部によって生成された復号画像を入力画像として扱うことによって、前記第１の処理モードが選択されたときには、前記復号画像を縮小し、縮小された前記復号画像を前記縮小画像として前記フレームメモリに格納し、前記第２の処理モードが選択されたときには、前記復号部によって生成された復号画像を縮小することなく前記フレームメモリに格納し、前記選択部は、前記ビットストリームに含まれる、前記参照画像に関する情報に基づいて、第１の処理モードまたは第２の処理モードを選択してもよい。【００３６】
これにより、フレームメモリに格納される縮小画像または入力画像が参照画像として用いられ、ビットストリームに含まれる符号化画像が復号されるため、画像処理装置を画像復号装置として用いることができる。さらに、ビットストリームに含まれる例えば参照フレーム数などの参照画像に関する情報に基づいて、第１の処理モードと第２の処理モードとが切り替えられるため、画質の劣化の防止と、フレームメモリに必要とされる帯域および容量の抑制とのバランスを適切に保つことができる。【００３７】
また、前記格納部は、前記フレームメモリに縮小画像を格納するときには、前記縮小画像の画素値を示すデータの一部を、削除された周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、前記読み出し部は、前記縮小画像を拡大するときには、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された縮小画像に、前記周波数の情報を付加することによって前記縮小画像を拡大してもよい。【００３８】
従来のダウンデコードでは、復号画像の高周波数成分が削除されることによってその復号画像は縮小され、縮小された復号画像は参照画像（縮小画像）としてフレームメモリに格納される。そして、その参照画像を用いた符号化画像の復号が行われるときには、その参照画像に対して０を示す高周波数成分が追加されることによってその参照画像が拡大され、拡大された参照画像が符号化画像の復号に参照される。したがって、復号画像の高周波数成分は削除され、高周波数成分が削除された復号画像が参照画像として無理に拡大されて参照されている。その結果、視覚的歪みが生じて画質が劣化してしまう。しかし、本発明の一態様では、上述のように、高次変換係数などの高周波数成分が予め定められた周波数の情報として削除されても、その高次変換係数の少なくとも一部を示す例えば可変長符号（符号化高次変換係数）などの埋め込みデータが参照画像（縮小画像）に埋め込まれる。そして、その参照画像が符号化画像の復号に用いられるときには、その参照画像から埋め込みデータが抽出されて高次変換係数が復元されて、その高次変換係数を用いて参照画像が拡大される。したがって、復号画像に含まれていた高周波数成分を全て捨て去ることなく、符号化画像の復号に参照される画像にその高周波数成分が含まれているため、その復号によって生成される新たな復号画像において視覚的歪みを削減することができ、画質の劣化を防いでダウンデコードを行うことができる。さらに、参照画像の画素値を示すデータの一部が埋め込みデータに置き換えられているため、参照画像のデータ量が増加することなく、フレームメモリに必要とされる容量や帯域を抑えることができる。【００３９】
つまり、本発明の一態様では、ダウンデコードにおいて画像の縮小や情報を圧縮することによって生じる誤差をデジタル透かし技術を用いることによって削減し、高画質のハイビジョン映像を得ることができる。デジタル透かし技術は、機械が読み取り可能なデータを画像に埋め込むために画像を一部変更する技術である。デジタル透かしである埋め込みデータは、視聴者には認識できないかあるいはほとんど認識できない。埋め込みデータは、空間的、時間的、またはその他の変換ドメイン（例えば、フーリエ変換ドメイン、離散コサイン変換ドメイン、ウェーブレット変換ドメインなど）におけるメディアコンテンツのデータサンプルを一部変更することによって、デジタル透かしとして埋め込まれる。また、本発明の一態様では、複雑な圧縮データの代わりにデジタル透かしを入れた参照画像をフレームメモリに格納するので、そのフレームメモリから参照画像を取り出して出力するビデオ出力部では特殊な伸長処理を必要としない。【００４０】
また、前記格納部は、前記縮小画像の画素値を示すデータのうち、少なくともＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を含む１つまたは複数のビットで示される値を、前記埋め込みデータに置き換えてもよい。【００４１】
これにより、ＬＳＢが埋め込みデータに置き換えられるため、その置き換えによって縮小画像の画素値に対して与える誤差を最小限に抑えることができる。【００４２】
また、前記格納部は、さらに、前記削除部によって削除される前記高周波数成分を可変長符号化することにより前記埋め込みデータを生成する符号化部を備え、前記復元部は、前記埋め込みデータを可変長復号することにより前記埋め込みデータから前記高周波数成分を復元してもよい。【００４３】
これにより、高周波数成分が可変長符号化されることによって、埋め込みデータのデータ量を小さく抑えることができ、その結果、埋め込みデータの置き換えによって参照画像（縮小画像）の画素値に対して与える誤差を最小限に抑えることができる。【００４４】
また、前記格納部は、さらに、前記削除部によって削除される前記高周波数成分を量子化することにより前記埋め込みデータを生成する量子化部を備え、前記復元部は、前記埋め込みデータを逆量子化することにより前記埋め込みデータから前記高周波数成分を復元してもよい。【００４５】
これにより、高周波数成分が量子化されることによって、埋め込みデータのデータ量を小さく抑えることができ、その結果、埋め込みデータの置き換えによって参照画像（縮小画像）の画素値に対して与える誤差を最小限に抑えることができる。【００４６】
このように、埋め込みデータの置き換えによって、画素値を示すデータの一部が失われるが、その失われた一部の情報よりも多い情報が埋め込みデータから確実に得られるため、情報ゲインが生まれる。【００４７】
また、前記抽出部は、前記縮小画像の画素値を示すビット列からなるデータのうち、少なくとも１つの所定ビットにより示される前記埋め込みデータを抽出し、前記埋め込みデータが抽出された画素値を、前記少なくとも１つの所定ビットの値に応じて前記ビット列が取り得る値の範囲の中央値に設定し、前記第２の直交変換部は、前記中央値に設定された画素値を有する縮小画像の領域を画素領域から周波数領域に変換してもよい。【００４８】
埋め込みデータが抽出された少なくとも１つの所定ビットの値を全て０にしてしまうと、画素値に顕著な誤差が生じてしまうことがある。しかし、本発明では、その少なくとも１つの所定ビットの値に応じてビット列が取り得る値の範囲の中央値に画素値が設定されるため、画素値に顕著な誤差が生じることを防ぐことができる。【００４９】
また、前記格納部は、前記縮小画像に基づいて、前記埋め込みデータに置き換えるべきか否かを判別し、置き換えるべきと判別した場合に、前記縮小画像の画素値を示すデータの一部を前記埋め込みデータに置き換え、前記読み出し部は、前記縮小画像に基づいて、前記埋め込みデータを抽出するべきか否かを判別し、抽出するべきと判別した場合に、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータが抽出された縮小画像に前記周波数の情報を付加してもよい。【００５０】
縮小画像が平坦でエッジが少ない場合、すなわち縮小画像に高次変換係数が少ない場合には、縮小画像の画素値を示すデータの一部を埋め込みデータに置き換えた場合の方が、置き換えない場合よりも画質が劣化してしまうことがある。そこで、本発明の一形態では、縮小画像に基づいて埋め込みデータへの置き換えが切り替えられるため、どのような縮小画像に対しても画質の劣化を抑えることができる。【００５１】
また、本発明の一態様に係る画像処理装置は、複数の入力画像を順次処理する画像処理装置であって、フレームメモリと、入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像として前記フレームメモリに格納する縮小処理部と、前記フレームメモリから前記縮小画像を読み出して拡大する拡大処理部とを備え、前記縮小処理部は、前記フレームメモリに縮小画像を格納するときには、前記縮小画像の画素値を示すデータの一部を、削除された前記周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、前記拡大処理部は、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された縮小画像に、前記周波数の情報を付加することによって前記縮小画像を拡大する。【００５２】
これにより、高次変換係数などの高周波数成分が予め定められた周波数の情報として削除されても、その高次変換係数の少なくとも一部を示す例えば可変長符号（符号化高次変換係数）などの埋め込みデータが縮小画像に埋め込まれる。そして、その縮小画像がフレームメモリから読み出されたときには、その縮小画像から埋め込みデータが抽出されて高次変換係数が復元されて、その高次変換係数を用いて縮小画像が拡大される。したがって、全ての高周波数成分が捨て去られることなく入力画像が縮小され、読み出されて拡大された縮小画像にはその高周波数成分が含まれているため、上述のような第１の処理モードと第２の処理モードとを切り替えることを行わなくても、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることができる。【００５３】
また、本発明の一態様に係る画像復号装置は、ビットストリームに含まれる複数の符号化画像を順次復号する画像復号装置であって、符号化画像の復号に用いられる参照画像を記憶しているフレームメモリと、前記参照画像が拡大された画像を参照して前記符号化画像を復号することにより復号画像を生成する復号部と、前記復号部により生成された復号画像に含まれる、予め定められた周波数の情報を削除することにより前記復号画像を縮小し、縮小された前記復号画像を参照画像として前記フレームメモリに格納する縮小処理部と、前記フレームメモリから前記参照画像を読み出して拡大する拡大処理部とを備え、前記縮小処理部は、前記フレームメモリに参照画像を格納するときには、前記参照画像の画素値を示すデータの一部を、削除された前記周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、前記拡大処理部は、前記参照画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された参照画像に、前記周波数の情報を付加することによって前記参照画像を拡大する。【００５４】
これにより、高次変換係数などの高周波数成分が予め定められた周波数の情報として削除されても、その高次変換係数の少なくとも一部を示す例えば可変長符号（符号化高次変換係数）などの埋め込みデータが参照画像に埋め込まれる。そして、その参照画像が符号化画像の復号に用いられるときには、その参照画像から埋め込みデータが抽出されて高次変換係数が復元されて、その高次変換係数を用いて参照画像が拡大される。したがって、復号画像に含まれていた高周波数成分を全て捨て去ることなく、符号化画像の復号に参照される画像にその高周波数成分が含まれているため、その復号によって生成される新たな復号画像において視覚的歪みを削減することができる。その結果、上述のように第１の処理モードと第２の処理モードとを切り替えることなく、画質の劣化を防いでダウンデコードを行うことができる。さらに、参照画像の画素値を示すデータの一部が埋め込みデータに置き換えられているため、参照画像のデータ量が増加することなく、フレームメモリに必要とされる容量や帯域を抑えることができる。【００５５】
なお、本発明は、このような画像処理装置として実現することができるだけでなく、集積回路や、その画像処理装置が画像を処理する方法、その方法に含まれる処理をコンピュータに実行させるプログラム、そのプログラムを格納する記録媒体としても実現することができる。
【発明の効果】
【００５６】
本発明の画像処理装置は、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることができるという作用効果を奏する。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
【図２】図２は、同上の画像処理装置の動作を示すフローチャートである。
【図３】図３は、本発明の実施の形態２における画像復号装置の機能構成を示すブロック図である。
【図４】図４は、同上の埋め込み縮小処理部の処理動作の概略を示すフローチャートである。
【図５】図５は、同上の高次変換係数の符号化処理を示すフローチャートである。
【図６】図６は、同上の符号化高次変換係数の埋め込み処理を示すフローチャートである。
【図７】図７は、同上の高次変換係数を可変長符号化するためのテーブルを示す図である。
【図８】図８は、同上の抽出拡大処理部の処理動作の概略を示すフローチャートである。
【図９】図９は、同上の符号化高次変換係数の抽出および復元処理を示すフローチャートである。
【図１０】図１０は、同上の埋め込み縮小処理部における処理動作の具体例を示す図である。
【図１１】図１１は、同上の抽出拡大処理部における処理動作の具体例を示す図である。
【図１２】図１２は、同上の変形例に係る画像復号装置の機能構成を示すブロック図である。
【図１３】図１３は、同上の変形例に係る選択部の動作を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態３における埋め込み縮小処理部による符号化高次変換係数の埋め込み処理を示すフローチャートである。
【図１５】図１５は、同上の抽出拡大処理部による符号化高次変換係数の抽出および復元処理を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態４における画像復号装置の機能構成を示すブロック図である。
【図１７】図１７は、同上のビデオ出力部の機能構成を示すブロック図である。
【図１８】図１８は、同上のビデオ出力部の動作を示すフローチャートである。
【図１９】図１９は、同上の変形例に係る画像復号装置の機能構成を示すブロック図である。
【図２０】図２０は、同上の変形例に係るビデオ出力部の機能構成を示すブロック図である。
【図２１】図２１は、同上の変形例に係るビデオ出力部の動作を示すフローチャートである。
【図２２】図２２は、本発明の実施の形態５におけるシステムＬＳＩの構成を示す構成図である。
【図２３】図２３は、同上の変形例に係るシステムＬＳＩの構成を示す構成図である。
【図２４】図２４は、本発明の実施の形態６における縮小メモリビデオデコーダの概要を示すブロック図である。
【図２５】図２５は、同上の上位パラメータ層および下位パラメータ層の両方に対するピクチャのビデオ復号モード（フル解像度または復号解像度）を決定する縮小ＤＰＢ充足性チェックを行うプレパーサに関する概略図である。
【図２６】図２６は、同上の下位層シンタックスの縮小ＤＰＢ充足性チェックに関するフローチャートである。
【図２７】図２７は、同上の先読み情報生成（ステップＳ２４５）に関するフローチャートである。
【図２８】図２８は、同上のオンタイムリムーバルインスタンス（ステップＳ２４５３）の格納に関するフローチャートである。
【図２９】図２９は、同上のフル復号モードの実行可能性を確認するための条件チェック（ステップＳ２４６）に関するフローチャートである。
【図３０】図３０は、同上の例示的な下位層シンタックスの縮小ＤＰＢ充足性チェック−例１である
【図３１】図３１は、同上の例示的な下位層シンタックスの縮小ＤＰＢ充足性チェック−例２である。
【図３２】図３２は、同上のプレパーサによって供給されたフレームの復号に係る全フレームのビデオ復号モードを示す情報のリストを用いて、フル解像度ビデオ復号または低減解像度ビデオ復号を行う実施形態のオペレーションに関する概略図である。
【図３３】図３３は、同上の例示的なダウンサンプリング手段に関する概略図である。
【図３４】図３４は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数情報の符号化に関するフローチャートである。
【図３５】図３５は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数の埋め込みチェックに関するフローチャートである。
【図３６】図３６は、同上の例示的なダウンサンプリング手段において用いられるダウンサンプル画素の複数のＬＳＢへの、高次変換係数を表すＶＬＣコードの埋め込みに関するフローチャートである。
【図３７】図３７は、同上の偶数または奇数特性を有する４画素ラインの変換係数特性を例示的に説明する説明図である。
【図３８】図３８は、同上の例示的なアップサンプリング手段に関する概略図である。
【図３９】図３９は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数情報の抽出チェックに関するフローチャートである。
【図４０】図４０は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数の復号に関するフローチャートである。
【図４１】図４１は、同上の例示的なダウンサンプリング手段において用いられる４→３ダウンデコーディングのための量子化、ＶＬＣ、および空間透かし方式を例示的に説明する説明図である。
【図４２】図４２は、同上のプレパーサを必要としない縮小メモリビデオデコーダの、代替の簡易な実施態様を示す図である。
【図４３】図４３は、同上のＤＰＢ充足性チェックのために上位パラメータ層情報のみを構文解析する、本発明の代替の簡易な実施態様に関する概略図である。
【図４４】図４４は、同上のデコーダ自体の構文解析・符号化手段によって供給されたフレームの復号に係る全フレームのビデオ復号モードを示す情報のリストを用いて、フル解像度ビデオ復号または低減解像度ビデオ復号を行う代替の実施形態のオペレーションに関する概略図である。
【図４５】図４５は、同上のシステムＬＳＩの実施態様を例示的に説明する説明図である。
【図４６】図４６は、同上のフル解像度／低減解像度の復号モード決定にプレパーサを用いない、代替的な本発明の簡易なシステムＬＳＩの実施態様を例示的に説明する説明図である。
【図４７】図４７は、従来の典型的な画像復号装置の機能構成を示すブロック図である。
【図４８】図４８は、同上のダウンデコードを説明するための説明図である。
【図４９Ａ】図４９Ａは、同上の他のダウンデコードを説明するための説明図である。
【図４９Ｂ】図４９Ｂは、同上の他のダウンデコードを説明するための他の説明図である。
【発明を実施するための形態】
【００５８】
以下、本発明の実施の形態における画像処理装置について図面を参照しながら説明する。
【００５９】
（実施の形態１）
図１は、本実施の形態における画像処理装置の機能構成を示すブロック図である。
【００６０】
本実施の形態における画像処理装置１０は、複数の入力画像を順次処理する装置であって、格納部１１と、フレームメモリ１２と、読み出し部１３と、選択部１４とを備える。
【００６１】
選択部１４は、少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する。例えば、選択部１４は、入力画像の特徴、性質、その入力画像に関連する情報などに基づいて、第１または第２の処理モードを選択する。
【００６２】
格納部１１は、選択部１４により第１の処理モードが選択されたときには、入力画像に含まれる予め定められた周波数の情報（例えば、高周波数成分）を削除することにより入力画像を縮小し、縮小された入力画像を縮小画像としてフレームメモリ１２に格納する。また、格納部１１は、選択部１４により第２の処理モードが選択されたときには、入力画像を縮小することなくフレームメモリ１２に格納する。
【００６３】
読み出し部１３は、選択部１４により第１の処理モードが選択されたときには、フレームメモリ１２から縮小画像を読み出して拡大する。また、読み出し部１３は、選択部１４により第２の処理モードが選択されたときには、フレームメモリ１２から縮小されていない入力画像を読み出す。
【００６４】
図２は、本実施の形態における画像処理装置１０の動作を示すフローチャートである。
【００６５】
まず、画像処理装置１０の選択部１４は第１の処理モードまたは第２の処理モードを選択する（ステップＳ１１）。次に、格納部１１は、入力画像をフレームメモリ１２に格納する（ステップＳ１２）。つまり、格納部１１は、ステップＳ１１で第１の処理モードが選択された場合には、その入力画像を縮小し、縮小された入力画像を縮小画像としてフレームメモリ１２に格納し（ステップＳ１２ａ）、ステップＳ１１で第２の処理モードが選択された場合には、その入力画像を縮小することなくフレームメモリ１２に格納する（ステップＳ１２ｂ）。
【００６６】
さらに、読み出し部１３は、フレームメモリ１２から画像を読み出す（ステップＳ１３）。つまり、読み出し部１３は、ステップＳ１１で第１の処理モードが選択された場合には、ステップＳ１２ａで格納された縮小画像をフレームメモリ１２から読み出して拡大し（ステップＳ１３ａ）、ステップＳ１１で第２の処理モードが選択された場合には、ステップＳ１２ｂで格納された縮小されていない入力画像をフレームメモリ１２から読み出す（ステップＳ１３ｂ）。
【００６７】
このように、本実施の形態では、第１の処理モードが選択されたときには、入力画像が縮小されてフレームメモリ１２に格納され、さらに、その縮小された入力画像が読み出されるときには、その縮小された入力画像が拡大される。これにより、フレームメモリに必要とされる帯域および容量を抑えることができる。また、本実施の形態では、第２の処理モードが選択されたときには、入力画像が縮小されずにフレームメモリ１２に格納され、その入力画像がそのまま読み出される。これにより、入力画像をフレームメモリ１２に格納して読み出しても、入力画像が縮小および拡大されることがないため、その入力画像の画質の劣化を防止することができる。
【００６８】
つまり、入力画像をフレームメモリに格納して読み出すときに、その入力画像をそのままフレームメモリに格納してそのまま読み出せば、入力画像の画質の劣化を防止することはできるが、帯域が広く容量の多いフレームメモリが必要になる。一方、入力画像をフレームメモリに格納して読み出すときに、従来のように、その入力画像を縮小または圧縮するとともに拡大または伸長することを常に行えば、フレームメモリに必要とされる帯域および容量を抑えることができるが、入力画像の画質を劣化させてしまう。
【００６９】
そこで、本実施の形態では、第１の処理モードと第２の処理モードとが少なくとも１つの入力画像ごとに切り替えて選択されるため、複数の入力画像の全体的な画質の劣化の防止と、フレームメモリに必要とされる帯域および容量の抑制とのバランスをとって、それぞれを両立させることができる。
【００７０】
なお、本実施の形態の格納部１１による入力画像の縮小の方法、および読み出し部１３による縮小画像の拡大の方法は、上記特許文献１または上記非特許文献１に記載されている方法であっても、他の何れの方法であってもいい。
【００７１】
（実施の形態２）
図３は、本実施の形態における画像復号装置の機能構成を示すブロック図である。
【００７２】
本実施の形態における画像復号装置１００は、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、フレームメモリ１０８、抽出拡大処理部１０９、フル解像度動き補償部１１０、およびビデオ出力部１１１を備える。
【００７３】
なお、本実施の形態における画像復号装置１００は、埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理に特徴がある。
【００７４】
シンタックス解析・エントロピー復号部１０１は、複数の符号化画像を示すビットストリームを取得し、そのビットストリームに対してシンタックス解析及びエントロピー復号を行う。エントロピー復号には、可変長復号（ＶＬＣ）や算術符号化（例えば、ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を含めてもよい。
【００７５】
逆量子化部１０２は、シンタックス解析・エントロピー復号部１０１から出力されるエントロピー復号化係数を取得して逆量子化する。
【００７６】
逆周波数変換部１０３は、逆量子化されたエントロピー復号化係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。
【００７７】
加算部１０５は、画面間予測が行われるときには、フル解像度動き補償部１１０から出力される画面間予測画像を、逆周波数変換部１０３から出力される差分画像に加算することにより、復号画像を生成する。また、加算部１０５は、画面内予測が行われるときには、画面内予測部１０４から出力される画面内予測画像を、逆周波数変換部１０３から出力される差分画像に加算することにより、復号画像を生成する。
【００７８】
デブロックフィルタ部１０６は、復号画像に対してデブロックフィルタ処理を行い、ブロックノイズを低減する。
【００７９】
埋め込み縮小処理部１０７は、縮小処理を行う。つまり、埋め込み縮小処理部１０７は、このデブロックフィルタ処理された復号画像を縮小することにより、低解像度の縮小復号画像を生成する。さらに、埋め込み縮小処理部１０７は、その縮小復号画像を参照画像としてフレームメモリ１０８に書き込む。フレームメモリ１０８は複数の参照画像を記憶するための領域を有する。また、本実施の形態における埋め込み縮小処理部１０７は、後述するように、高次変換係数が量子化されて可変長符号化された符号化高次変換係数（埋め込みデータ）を縮小復号画像に埋め込むことによってその参照画像を生成している点に特徴がある。なお、本実施の形態における埋め込み縮小処理部１０７による処理を、以下、埋め込み縮小処理という。
【００８０】
抽出拡大処理部１０９は、拡張処理を行う。つまり、抽出拡大処理部１０９は、フレームメモリ１０８に格納されている参照画像を読み出して、その参照画像を元の高解像度（縮小される前の復号画像の解像度）の画像に拡大する。また、本実施の形態における抽出拡大処理部１０９は、後述するように、参照画像に埋め込まれている符号化高次変換係数を抽出し、その符号化高次変換係数から高次変換係数を復元し、符号化高次変換係数が抽出された参照画像にその高次変換係数を付加する点に特徴がある。なお、本実施の形態における抽出拡大処理部１０９による処理を、以下、抽出拡大処理という。
【００８１】
フル解像度動き補償部１１０は、シンタックス解析・エントロピー復号部１０１から出力される動きベクトルと、抽出拡大処理部１０９によって拡大された参照画像を用いて画面間予測画像を生成する。画面内予測部１０４は、画面内予測が行われる場合は、復号化対象ブロック（復号化対象となる符号化画像のブロック）の近隣画素を用いて、その復号化対象ブロックに対して画面内予測を行うことにより、画面内予測画像を生成する。
【００８２】
ビデオ出力部１１１は、フレームメモリ１０８に格納されている参照画像を読み出し、その参照画像を、ディスプレイに出力すべき解像度に拡大又は縮小し、ディスプレイに出力する。
【００８３】
以下、本実施の形態における埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理動作について詳細に説明する。
【００８４】
図４は、本実施の形態における埋め込み縮小処理部１０７の処理動作の概略を示すフローチャートである。
【００８５】
まず、埋め込み縮小処理部１０７は、画素領域の復号画像に対してフル解像度（高解像度）の周波数変換（具体的にはＤＣＴなどの直交変換）を行い、複数の変換係数からなる周波数領域の係数群を得る（ステップＳ１００）。つまり、埋め込み縮小処理部１０７は、Ｎｆ×Ｎｆ画素からなる復号画像に対してフル解像度のＤＣＴを行い、Ｎｆ×Ｎｆ個の変換係数からなる周波数領域の係数群、すなわち周波数領域で表される復号画像を生成する。ここで、例えばＮｆは４である。
【００８６】
次に、埋め込み縮小処理部１０７は、周波数領域の係数群から高次変換係数（高周波数の変換係数）を取り出して符号化する（ステップＳ１０２）。つまり、埋め込み縮小処理部１０７は、Ｎｆ×Ｎｆ個の変換係数からなる係数群から、高周波数成分を示す（Ｎｆ−Ｎｓ）×Ｎｆ個の高次変換係数を抽出して符号化することにより、符号化高次変換係数を生成する。ここで、例えばＮｓは３である。
【００８７】
さらに、埋め込み縮小処理部１０７は、次のステップで低解像度の逆周波数変換を行うために、周波数領域のＮｓ×Ｎｆ個の変換係数をスケーリングし、それらの変換係数のゲインを調整する（ステップＳ１０４）。
【００８８】
次に、埋め込み縮小処理部１０７は、スケーリングされたＮｓ×Ｎｆ個の変換係数に対して、低解像度の逆周波数変換（具体的にはＩＤＣＴなどの逆直交変換）を行い、画素領域で表される低解像度の縮小復号画像を得る（ステップＳ１０６）。
【００８９】
さらに、埋め込み縮小処理部１０７は、ステップＳ１０２で得られた符号化高次変換係数を低解像度の縮小復号画像に埋め込むことによって、参照画像を生成する（ステップＳ１０８）。
【００９０】
このような処理によって、Ｎｆ×Ｎｆ画素の復号画像は、低解像度化、つまり縮小されてＮｓ×Ｎｆ画素の参照画像に変換される。すなわち、Ｎｆ×Ｎｆ画素の復号画像は水平方向にのみ縮小される。
【００９１】
なお、本実施の形態における埋め込み縮小処理部１０７は、ステップＳ１００の処理を実行する第１の直交変換部と、ステップＳ１０２の処理を実行する削除部、符号化部および量子化部と、ステップＳ１０６の処理を実行する第１の逆直交変換部と、ステップＳ１０８の処理を実行する埋め込み部とを備えている。
【００９２】
ここで、ステップＳ１００で行われるＤＣＴおよびステップＳ１０６で行われるＩＤＣＴについて詳細に説明する。
【００９３】
Ｎ×Ｎ画素からなる復号画像の二次元ＤＣＴは、以下の（式１）のように定義される。
【００９４】
【数１】
2010092740.tif 000003
【００９５】
なお、（式１）では、ｕ，ｖ，ｘ，ｙ＝０，１，２，…，Ｎ−１という条件が満たされ、ｘ，ｙは画素領域における空間座標であり、ｕ，ｖは周波数領域における周波数座標である。また、Ｃ（ｕ）およびＣ（ｖ）はそれぞれ、以下の（式２）の条件を満たす。
【００９６】
【数２】
2010092740.tif 000004
【００９７】
さらに、二次元ＩＤＣＴ(Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ)は、以下の（式３）のように定義される。
【００９８】
【数３】
2010092740.tif 000005
【００９９】
なお、（式３）においてｆ（ｘ、ｙ）は実数である。
【０１００】
また、水平方向および垂直方向のそれぞれで復号画像を縮小する場合は、上記（式１）の二次元ＤＣＴを行う必要がある。しかし、水平方向のみで復号画像を縮小する場合は、一次元ＤＣＴのみ行えばよく、（式１）は次の（式４）で表される。
【０１０１】
【数４】
2010092740.tif 000006
【０１０２】
つまり、本実施の形態では、埋め込み縮小処理部１０７は、水平方向のみで復号画像を縮小するため、ステップＳ１００では、（式４）およびＮ＝Ｎｆに基づいて、一次元ＤＣＴを行う。
【０１０３】
同様に、一次元ＩＤＣＴの場合、（式３）は次の（式５）で表される。
【０１０４】
【数５】
2010092740.tif 000007
【０１０５】
つまり、本実施の形態では、埋め込み縮小処理部１０７は、水平方向のみで復号画像を縮小するため、ステップＳ１０６では、（式５）およびＮ＝Ｎｓに基づいて、一次元ＩＤＣＴを行う。これにより、水平方向に縮小されたＮｓ×Ｎｆ画素からなる復号画像が縮小復号画像として生成される。
【０１０６】
次に、ステップＳ１０２で行われる高次変換係数の抽出および符号化について詳細に説明する。
【０１０７】
抽出される高次変換係数はＤＣＴ演算の結果として得られ、その高次変換係数の数は、水平方向あたりＮｆ−Ｎｓで表される。つまり、抽出されて符号化される高次変換係数は、水平方向のＮｆ個の変換係数のうち、（Ｎｓ＋１）番目からＮｆ番目までの範囲の係数である。
【０１０８】
図５は、図４のステップＳ１０２における高次変換係数の符号化処理を示すフローチャートである。
【０１０９】
まず、埋め込み縮小処理部１０７は、高次変換係数を量子化する（ステップＳ１０２０）。次に、埋め込み縮小処理部１０７は、量子化された高次変換係数（量子化値）に対して可変長符号化を行う（ステップＳ１０２２）。つまり、埋め込み縮小処理部１０７は、量子化値に対して可変長符号を符号化高次変換係数として付与する。このような量子化と可変長符号化の詳細については、ステップＳ１０８における符号化高次変換係数の埋め込みとあわせて後に説明する。
【０１１０】
次に、ステップＳ１０４で行われる変換係数のスケーリングについて詳細に説明する。
【０１１１】
ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、Ｎｆ−ポイントＤＣＴ低周波数係数のＮｓ−ポイントＩＤＣＴ画素値を取る前に、ゲイン調整のため、埋め込み縮小処理部１０７は各変換係数をスケーリングする。本例の場合、埋め込み縮小処理部１０７は以下の（式６）により算出される値で各変換係数をスケーリングする。なお、このようなスケーリングの詳細は、文献「Ｍｉｎｉｍａｌ Ｅｒｒｏｒ Ｄｒｉｆｔ ｉｎ Ｆｒｅｑｕｅｎｃｙ Ｓｃａｌａｂｉｌｉｔｙ ｆｏｒ ＭＯＴＩＯＮ−Ｃｏｍｐｅｎｓａｔｅｄ ＤＣＴ ＣＯＤＩＮＧ， Ｒｏｂｅｒｔ Ｍｏｋｒｙ ＡＮＤ Ｄｉｍｉｔｒｉｓ Ａｎａｓｔａｓｓｉｏｕ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ」に記述されている。
【０１１２】
【数６】
2010092740.tif 000008
【０１１３】
次に、ステップＳ１０８で行われる符号化高次変換係数の埋め込みについて詳細に説明する。
【０１１４】
本実施の形態の埋め込み縮小処理部１０７は、空間透かし技術を用い、ステップＳ１０２において生成された符号化高次変換係数を、ステップＳ１０６で得られたＮｓ×Ｎｆ画素からなる縮小復号画像に埋め込む。
【０１１５】
図６は、図４のステップＳ１０８における符号化高次変換係数の埋め込み処理を示すフローチャートである。
【０１１６】
埋め込み縮小処理部１０７は、縮小復号画像の各画素値を示すビット列のうち、符号化高次変換係数の符号長に応じた数のビットによって示される値を削除する。このとき、埋め込み縮小処理部１０７は、ビット列のうちの、少なくともＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を含む１つまたは複数の下位ビットによって示される値を削除する（ステップＳ１０８０）。次に、埋め込み縮小処理部１０７は、ステップＳ１０２において生成された符号化高次変換係数を、上述のＬＳＢを含む下位ビットに埋め込む（ステップＳ１０８２）。これにより、符号化高次変換係数が埋め込まれた縮小復号画像、つまり参照画像が生成される。
【０１１７】
次に、具体例をあげて埋め込みの方法を詳細に説明する。
【０１１８】
例えば、Ｎｆ＝４およびＮｓ＝３の場合、４×４画素の高解像度の復号画像が３×４画素の低解像度の縮小復号画像に縮小される。縮小は水平方向に対してのみ行われるため、ここでは水平方向についてのみ説明する。高解像度の復号画像における水平方向の４つの変換係数をそれぞれ、ＤＦ０、ＤＦ１、ＤＦ２、ＤＦ３とすると、それらの変換係数のうちの高次変換係数ＤＦ３が量子化され可変長符号化される。また、低解像度の縮小復号画像の水平方向の３つの画素値をそれぞれ、Ｘｓ０、Ｘｓ１、Ｘｓ２とすると、量子化され可変長符号化された高次変換係数ＤＦ３は、上記３つの画素値Ｘｓ０、Ｘｓ１、Ｘｓ２の下位ビットにＬＳＢから優先して埋め込まれることになる。なお、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２のそれぞれのビット列を、ＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）から順に（ｂ７、ｂ６、ｂ５、ｂ４、ｂ３、ｂ２、ｂ１、ｂ０）と表現する。
【０１１９】
図７は、高次変換係数を可変長符号化するためのテーブルを示す図である。
【０１２０】
埋め込み縮小処理部１０７は、高次変換係数ＤＦ３の絶対値が２未満のときには、テーブルＴ１を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化し、高次変換係数ＤＦ３の絶対値が２以上１２未満のときには、テーブルＴ１，Ｔ２を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化する。同様に、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３の絶対値が１２以上２４未満のときには、テーブルＴ１〜Ｔ３を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化し、高次変換係数ＤＦ３の絶対値が２４以上３６未満のときには、テーブルＴ１〜Ｔ４を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化する。さらに、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３の絶対値が３６以上４８未満のときには、テーブルＴ１〜Ｔ５を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化し、高次変換係数ＤＦ３の絶対値が４８以上のときには、テーブルＴ１〜Ｔ６を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化する。
【０１２１】
また、テーブルＴ１〜Ｔ６はそれぞれ、高次変換係数ＤＦ３の絶対値に応じた量子化値と、埋め込み先となる画素値およびビットと、そのビットに埋め込まれる値とを示している。また、テーブルＴ２〜Ｔ６はそれぞれ、高次変換係数ＤＦ３の正または負を示す符号（Ｓｉｇｎ（ＤＦ３））と、そのＳｉｇｎ（ＤＦ３）が埋め込まれる画素値およびビットとを示す。
【０１２２】
なお、テーブルＴ１〜Ｔ６では、画素値Ｘｓｎ中のビットｂｍは、ｂｍ（Ｘｓｎ）と示される（ｎ＝０，１，２、ｍ＝０，２，…，７）。
【０１２３】
例えば、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３が０の場合、高次変換係数ＤＦ３の絶対値が２より小さいため、図７に示すテーブルＴ１を選択する。次に、埋め込み縮小処理部１０７は、そのテーブルＴ１を参照して、高次変換係数ＤＦ３を量子化値０に量子化し、画素値Ｘｓ２のビットｂ０の値を０に置き換える。つまり、埋め込み縮小処理部１０７は、画素値Ｘｓ２のビットｂ０の値を削除して、そのビットｂ０に、符号化高次変換係数０を埋め込む。このとき、埋め込み縮小処理部１０７は、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２のうちの、画素値Ｘｓ２のビットｂ０以外の他のビットを変更しない。
【０１２４】
別の例として、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３が１２の場合、高次変換係数ＤＦ３の絶対値が１２以上２４未満であるため、図７に示すテーブルＴ１，Ｔ２，Ｔ３を順に選択する。つまり、埋め込み縮小処理部１０７は、まず、テーブルＴ１，Ｔ２，Ｔ３を参照して、高次変換係数ＤＦ３を量子化値１４に量子化する。次に、埋め込み縮小処理部１０７は、テーブルＴ１を参照して、画素値Ｘｓ２のビットｂ０の値を１に置き換え、テーブルＴ２を参照して、画素値Ｘｓ１のビットｂ０の値を１に置き換えるとともに、画素値Ｘｓ２のビットｂ１の値を１に置き換える。さらに、埋め込み縮小処理部１０７は、テーブルＴ３を参照して、画素値Ｘｓ０のビットｂ０の値をＳｉｇｎ（ＤＦ３）に置き換え、画素値Ｘｓ０のビットｂ１の値を０に置き換えるとともに、画素値Ｘｓ１のビットｂ１の値を０に置き換える。これにより、画素値Ｘｓ０のビットｂ０，ｂ１と、画素値Ｘｓ１のビットｂ０，ｂ１と、画素値Ｘｓ２のビットｂ０，ｂ１との値がそれぞれ削除され、それらのビットに、符号化高次変換係数（Ｓｉｇｎ（ＤＦ３），０，１，０，１，１）が埋め込まれる。
【０１２５】
このようにして、画素値のＬＳＢを含む下位ビットへの符号化高次変換係数の埋め込みが行われる。
【０１２６】
なお、本実施の形態においては、画素領域に符号化高次変換係数を埋め込んでいるが、ステップＳ１０６の直前で符号化高次変換係数を周波数領域に埋め込んでもよい。また、本実施の形態では、高次変換係数に対して量子化および可変長符号化を行ったが、量子化および可変長符号化のいずれか一方のみを行ってもよく、あるいは、いずれも行わずに高次変換係数を埋め込んでもよい。
【０１２７】
また、本実施の形態では、４×４画素の復号画像を３×４画素の縮小復号画素に変換したが、８×８画素の復号画像を６×８画素の縮小復号画像に変換してもよく、それ以外の他のサイズに変換してもよい。さらに、例えば４×４画素の復号画像を３×３画素の縮小復号画像に変換するように２次元の圧縮を行ってもよい。
【０１２８】
図８は、本実施の形態における抽出拡大処理部１０９の処理動作の概略を示すフローチャートである。
【０１２９】
本実施の形態における抽出拡大処理部１０９は、図４に示す埋め込み縮小処理部１０７の処理動作と逆の処理動作を行う。
【０１３０】
具体的には、抽出拡大処理部１０９は、まず、符号化高次変換係数が埋め込まれた縮小復号画像である参照画像から符号化高次変換係数を取り出し、その符号化高次変換係数から高次変換係数を復元する（ステップＳ２００）。これにより、高次変換係数が抽出される。ここで、参照画像はＮｓ×Ｎｆ画素からなり、例えばＮｓは３であり、Ｎｆは４である。
【０１３１】
次に、抽出拡大処理部１０９は、符号化高次変換係数が取り除かれた参照画像、すなわち縮小復号画像に対して低解像度の周波数変換（具体的にはＤＣＴなどの直交変換）を行い、複数の変換係数からなる周波数領域の係数群を得る（ステップＳ２０２）。つまり、抽出拡大処理部１０９は、Ｎｓ×Ｎｆ画素からなる縮小復号画像に対して低解像度のＤＣＴを行い、Ｎｓ×Ｎｆ個の変換係数からなる周波数領域の係数群を生成する。このとき、抽出拡大処理部１０９は、Ｎ＝Ｎｓおよび上記（式４）を用いてＤＣＴを行う。
【０１３２】
次に、抽出拡大処理部１０９は、次のステップで高解像度の逆周波数変換を行うために、周波数領域のＮｓ×Ｎｆ個の変換係数をスケーリングし、それらの変換係数のゲインを調整する（ステップＳ２０４）。ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、Ｎｓ−ポイントＤＣＴ低周波数係数のＮｆ−ポイントＩＤＣＴ画素値を取る前に、ゲイン調整のため、抽出拡大処理部１０９は各変換係数をスケーリングする。本例の場合は、抽出拡大処理部１０９は、埋め込み縮小処理部１０７によるステップＳ１０４でのスケーリングと同様、以下の（式７）により算出される値で各変換係数をスケーリングする。
【０１３３】
【数７】
2010092740.tif 000009
【０１３４】
次に、抽出拡大処理部１０９は、ステップＳ２００で得られた高次変換係数を、ステップＳ２０４でスケーリングされた周波数領域の係数群に付加する（ステップＳ２０６）。これにより、Ｎｆ×Ｎｆ個の変換係数からなる周波数領域の係数群、すなわち周波数領域で表される復号画像が生成される。なお、高次変換係数を含む係数群に、ステップＳ２００で得られた高次変換係数よりも高い周波数の変換係数が必要とされる場合には、その変換係数には０が用いられる。
【０１３５】
最後に、抽出拡大処理部１０９は、ステップＳ２０６で生成された周波数領域の係数群に対してフル解像度（高解像度）での逆周波数変換（具体的にはＩＤＣＴなどの直交変換）を行い、Ｎｆ×Ｎｆ画素からなる復号画像を得る（ステップＳ２０８）。このとき、抽出拡大処理部１０９は、Ｎ＝Ｎｓおよび上記（式５）を用いてＩＤＣＴを行う。これにより、Ｎｓ×Ｎｆ画素からなる参照画像は、水平方向に高解像度化されてＮｆ×Ｎｆ画素に拡大され、縮小される前の復号画像の解像度と同じ解像度となる。
【０１３６】
なお、本実施の形態の抽出拡大処理部１０９は、ステップＳ２００の処理を実行する抽出部および復元部と、ステップＳ２０２の処理を実行する第２の直交変換部と、ステップＳ２０６の処理を実行する付加部と、ステップＳ２０８の処理を実行する第２の逆直交変換部とを備える。
【０１３７】
ここで、上記各ステップＳ２００〜Ｓ２０８について詳細に説明する。
【０１３８】
図９は、図８のステップＳ２００における符号化高次変換係数の抽出および復元処理を示すフローチャートである。
【０１３９】
抽出拡大処理部１０９は、まず、参照画像から可変長符号である符号化高次変換係数を取り出す（ステップＳ２０００）。次に、抽出拡大処理部１０９は、符号化高次変換係数を復号することにより、量子化された高次変換係数、つまり高次変換係数の量子化値を取得する（ステップＳ２００２）。最後に、抽出拡大処理部１０９は、その量子化値を逆量子化することにより、その量子化値から高次変換係数を復元する（ステップＳ２００４）。
【０１４０】
次に、具体例をあげて高次変換係数の復元の方法を詳細に説明する。
【０１４１】
例えば、Ｎｆ＝４およびＮｓ＝３の場合、３×４画素の低解像度の参照画像が４×４画素の高解像度の画像に拡大される。拡大は水平方向に対してのみ行われるため、ここでは水平方向についてのみ説明する。なお、低解像度の参照画像における水平方向の３つの画素値をそれぞれ、Ｘｓ０、Ｘｓ１、Ｘｓ２とし、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２のそれぞれのビット列を、ＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）から順に（ｂ７、ｂ６、ｂ５、ｂ４、ｂ３、ｂ２、ｂ１、ｂ０）と表現する。また、復元される高次変換係数をＤＦ３とする。
【０１４２】
抽出拡大処理部１０９は、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２の下位ビットと、図７に示すテーブルＴ１〜Ｔ６とを見比べることにより、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２に埋め込まれている符号化高次変換係数を抽出し、復号および逆量子化を行う。
【０１４３】
具体的には、抽出拡大処理部１０９は、まず、テーブルＴ１を参照して、画素値Ｘｓ２のビットｂ０の値を抽出し、そのビットｂ０の値が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ２のビットｂ０の値が０であれば、高次符号化係数の絶対値が２未満であって、その絶対値の量子化値が０であると判断する。これにより、符号化高次変換係数０の抽出および復号が行われる。
【０１４４】
さらに、抽出拡大処理部１０９は、その量子化値０に対して例えば線形の逆量子化を行い、高次変換係数ＤＦ３＝０を復元する。
【０１４５】
別の例として、抽出拡大処理部１０９は、テーブルＴ１を参照し、画素値Ｘｓ２のビットｂ０の値を抽出し、そのビットｂ０が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ２のビットｂ０が１であれば、さらに、テーブルＴ２を参照し、画素値Ｘｓ１のビットｂ０の値と、画素値Ｘｓ２のビットｂ１の値とを抽出し、それらのビットの値が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ１のビットｂ０の値と、画素値Ｘｓ２のビットｂ１の値とがそれぞれ１であれば、さらにテーブルＴ３を参照する。そして、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ１の値と、画素値Ｘｓ１のビットｂ１の値とを抽出し、それらの値が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ１の値と、画素値Ｘｓ１のビットｂ１の値とがそれぞれ０であれば、高次符号化係数ＤＦ３の絶対値が１２以上１６未満で、その絶対値の量子化値が１４であると判断する。さらに、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ０の値を抽出し、その値の示す符号が正か負かを判別し、正であると判別すると、高次符号化係数ＤＦ３の量子化値が１４であると判断する。これにより、画素値Ｘｓ０のビットｂ０，ｂ１と、画素値Ｘｓ１のビットｂ０，ｂ１と、画素値Ｘｓ２のビットｂ０，ｂ１とに埋め込まれていた、符号化高次変換係数（Ｓｉｇｎ（ＤＦ３），０，１，０，１，１）が抽出されて量子化値１４に復号される。
【０１４６】
次に、抽出拡大処理部１０９は、その量子化値１４に対して例えば線形の逆量子化を行い、高次変換係数ＤＦを、１２〜１６の中間の値である１４として復元する。
【０１４７】
ここで、低解像度の参照画像における画素値のＬＳＢを含む下位ビットから、符号化高次変換係数を抽出して、その画素値の下位ビットのそれぞれを単純にすべて０にしてしまうと、その画素値に生じる誤差が大きくなる恐れがある。そこで、抽出拡大処理部１０９は、符号化高次変換係数が抽出されたＬＳＢを含む下位ビットの値を、中央の値に変換する。例えば、低解像度の参照画像の画素値が１２２であって、その画素値のＬＳＢを含む下位２ビットに可変長符号である符号化高次変換係数が埋め込まれている場合を想定する。この場合、その下位２ビットから符号化高次変換係数を抽出してそれらのビットの値をすべて０に変換してしまうと、その画素値は１２０となる。しかし、抽出拡大処理部１０９は、その下位２ビットの値に応じて画素値が取り得る１２０，１２１，１２２，１２３のうちの中央の値、すなわち１２１．５を、符号化高次変換係数が抽出された後の画素値に使用する。なお、０．５を表現するために１ビット増加が必要であるが、増加しない場合は中央の値に近い１２１あるいは１２２などを使用してもよい。
【０１４８】
図１０は、埋め込み縮小処理部１０７における処理動作の具体例を示す図である。
【０１４９】
例えば、Ｎｆ＝４およびＮｓ＝３の場合、埋め込み縮小処理部１０７は、復号画像の水平方向の４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２６，１０４，１２１，８７｝を縮小して、そこに符号化高次変換係数を埋め込み、その４つの画素値を３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝に変換する。
【０１５０】
具体的には、埋め込み縮小処理部１０７は、ステップＳ１００で、４つの画素値｛１２６，１０４，１２１，８７｝に対して周波数変換を行うことにより、４つの変換係数からなる係数群｛２１９．０００，  ２０．８７８，  −６．０００，  ２１．６５９｝を生成する。次に、埋め込み縮小処理部１０７は、ステップＳ１０２で、その係数群から高次変換係数２２（２１．６５９）を抽出して符号化することにより、画素値Ｘｓ０のビットｂ１，ｂ０に埋め込まれるべき値｛１，０｝と、画素値Ｘｓ１のビットｂ１，ｂ０に埋め込まれるべき値｛０，１｝と、画素値Ｘｓ２のビットｂ１，ｂ０に埋め込まれるべき値｛１，１｝とからなる符号化高次変換係数を生成する。
【０１５１】
さらに、埋め込み縮小処理部１０７は、ステップＳ１０４で、高次変換係数２２以外の各変換係数｛２１．０００，  ２０．８７８，  −６．０００｝をスケーリングすることにより、係数群｛Ｕｓ０，Ｕｓ１，Ｕｓ２｝＝｛１８９．６６０，  １８．０８１，  −５．１９６｝を導出する。次に、埋め込み縮小処理部１０７は、ステップＳ１０６で、その導出された係数群に対して逆周波数変換を行うことにより、３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２０，１１４，９５｝を生成する。そして、埋め込み縮小処理部１０７は、ステップＳ１０８で、それらの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２０，１１４，９５｝に、符号化高次変換係数を埋め込む。つまり、埋め込み縮小処理部１０７は、画素値Ｘｓ０のビットｂ１，ｂ０に｛１，０｝を埋め込み、画素値Ｘｓ１のビットｂ１，ｂ０に｛０，１｝を埋め込み、画素値Ｘｓ２のビットｂ１，ｂ０に｛１，１｝を埋め込む。これにより、４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２６，１０４，１２１，８７｝が、３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝に変換される。このような水平方向に３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝を有する参照画像がフレームメモリ１０８に格納される。
【０１５２】
図１１は、抽出拡大処理部１０９における処理動作の具体例を示す図である。
【０１５３】
抽出拡大処理部１０９は、ステップＳ２００で、フレームメモリ１０８から上述の３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝を読み出し、そこから符号化高次変換係数を抽出する。つまり、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ１，ｂ０から｛１，０｝を抽出し、画素値Ｘｓ１のビットｂ１，ｂ０から｛０，１｝を抽出し、画素値Ｘｓ２のビットｂ１，ｂ０から｛１，１｝を抽出する。そして、抽出拡大処理部１０９は、図７に示すテーブルＴ１〜Ｔ６を参照して、その抽出した符号化高次変換係数から高次変換係数２２を復元する。
【０１５４】
次に、抽出拡大処理部１０９は、ステップＳ２０２で、符号化高次変換係数が抽出された画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２１．５，  １１３．５，  ９３．５｝に対して周波数変換を行い、３つの変換係数からなる係数群｛Ｕｓ０，Ｕｓ１，Ｕｓ２｝＝｛１８９．６６０，  １９．７９９，  −４．８９９｝を生成する。さらに、抽出拡大処理部１０９は、ステップＳ２０４で、それらの変換係数｛１８９．６６０，  １９．７９９，  −４．８９９｝をスケーリングすることにより、係数群｛Ｕ０，Ｕ１，Ｕ２｝＝｛２１９．０００，  ２２．８６２，  −５．６５７｝を導出する。
【０１５５】
次に、抽出拡大処理部１０９は、ステップＳ２０６で、ステップＳ２００で復元された高次変換係数２２を、ステップＳ２０４で導出された係数群に付加することにより、４つの変換係数からなる係数群｛Ｕ０，Ｕ１，Ｕ２，Ｕ３｝＝｛２１９．０００，  ２２．８６２，  −５．６５７，  ２２｝を生成する。さらに、抽出拡大処理部１０９は、ステップＳ２０８で、係数群｛Ｕ０，Ｕ１，Ｕ２，Ｕ３｝＝｛２１９．０００，  ２２．８６２，  −５．６５７，  ２２｝に対して逆周波数変換を行うことにより、４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２８，１０４，１２１，８６｝を生成する。これにより、３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝が、４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２８，１０４，１２１，８６｝に変換される。その結果、水平方向に４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２８，１０４，１２１，８６｝を有する拡大された参照画像が動き補償に用いられる。
【０１５６】
すなわち、本実施の形態のように高次変換係数を埋め込まない場合には、復号画像の画素値｛１２６，１０４，１２１，８７｝は、縮小および拡大されることにより、画素値｛１２０，１１８，１０７，９３｝となり、誤差が｛−６，１４，−１４，６｝になってしまう。しかし、本実施の形態では、上述の埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理によって、高次変換係数が埋め込まれて抽出されることにより、復号画像の画素値｛１２６，１０４，１２１，８７｝は、縮小および拡大されても画素値｛１２８，１０４，１２１，８６｝となり、誤差を｛２，０，０，−１｝に抑え、誤差の発生を大きく改善することができる。
【０１５７】
（変形例）
ここで、実施の形態２における変形例について説明する。本変形例に係る画像復号装置は、上記実施の形態２の画像復号装置１００の機能と、実施の形態１の画像処理装置１０の機能とを備えている。つまり、本変形例に係る画像復号装置は、実施の形態１のように、第１の処理モードと第２の処理モードとを少なくとも１つの復号画像（入力画像）ごとに切り替えて選択する点に特徴がある。なお、第１の処理モードは、埋め込み縮小処理部１０７または抽出拡大処理部１０９による処理である。
【０１５８】
図１２は、本変形例に係る画像復号装置の機能構成を示すブロック図である。
【０１５９】
本変形例に係る画像復号装置１００ａは、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、フレームメモリ１０８、抽出拡大処理部１０９、フル解像度動き補償部１１０、ビデオ出力部１１１、スイッチＳＷ１、スイッチＳＷ２、および選択部１４を備える。
【０１６０】
つまり、本変形例に係る画像復号装置１００ａは、上記実施の形態２の画像復号装置１００が有する全ての構成要素と、スイッチＳＷ１、スイッチＳＷ２、および選択部１４とを備える。また、埋め込み縮小処理部１０７およびスイッチＳＷ１から格納部１１が構成され、抽出拡大処理部１０９およびスイッチＳＷ２から読み出し部１３が構成されている。したがって、その格納部１１および読み出し部１３と、フレームメモリ１０８（１２）と、選択部１４とから画像処理装置１０が構成されている。本変形例に係る画像復号装置１００ａは、このような画像処理装置１０を備えている。言い換えれば、画像処理装置は、画像復号装置１００ａとして構成されている。つまり、画像処理装置は、格納部１１、フレームメモリ１２、読み出し部１３、および選択部１４を備えるとともに、さらに、ビデオデコードに必要な復号部とビデオ出力部１１１とを備える。なお、復号部は、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、およびフル解像度動き補償部１１０から構成される。
【０１６１】
シンタックス解析・エントロピー復号部１０１は、実施の形態２と同様に、複数の符号化画像を示すビットストリームに含まれるヘッダ情報を解析して復号する。ここで、Ｈ．２６４規格では、複数のピクチャ（符号化画像）からなるシーケンス毎に付加されるＳＰＳ（Sequence Parameter Set）と呼ばれるヘッダ情報が規定されている。このＳＰＳには、参照フレーム数（num_ref_frames）という情報が含まれている。この参照フレーム数は、その参照フレーム数およびＳＰＳに対応するシーケンスに含まれている符号化画像を復号する際に必要とされる参照画像の枚数を示す。Ｈ．２６４規格では、ハイビジョンのビットストリームの場合、参照フレーム数として許されている最大の値は４であるが、多くのビットストリームでは、参照フレーム数は２に設定されていることが多い。つまり、ビットストリームのシーケンスに付加されているＳＰＳに、４を示す参照フレーム数が含まれていれば、そのシーケンスに含まれる画面間予測符号化された符号化画像のそれぞれは、４つの参照画像から選択された１つまたは２つの参照画像を用いて符号化されている。したがって、ＳＰＳの参照フレーム数が多ければ、そのＳＰＳに対応するシーケンスを復号する際には、多くの参照画像をフレームメモリ１０８に格納し、多くの参照画像をフレームメモリ１０８から読み出す必要がある。
【０１６２】
選択部１４は、シンタックス解析・エントロピー復号部１０１によるヘッダ情報の解析によって得られた参照フレーム数を、そのシンタックス解析・エントロピー復号部１０１から取得する。そして、選択部１４は、その参照フレーム数に応じて、シーケンス単位で第１の処理モードと第２の処理モードとを切り替えて選択する。つまり、選択部１４は、シーケンスに付加されたＳＰＳに参照フレーム数ｍが含まれていると、そのシーケンスに対応する復号画像のそれぞれに対して同一の処理（第１または第２の処理モード）を、参照フレーム数ｍに応じて選択する。例えば、選択部１４は、参照フレーム数が３以上であれば、そのシーケンスに対応する復号画像のそれぞれに対して第１の処理モードを選択し、参照フレーム数が２以下であれば、そのシーケンスに対応する復号画像のそれぞれに対して第２の処理モードを選択する。以下、第１の処理モードを低解像度復号モードと言い、第２の処理モードをフル解像度復号モードという。
【０１６３】
さらに、選択部１４は、低解像度復号モードを選択したときには、そのモードを示すモード識別子１をスイッチＳＷ１およびスイッチＳＷ２に出力する。一方、選択部１４は、フル解像度復号モードを選択したときには、そのモードを示すモード識別子０をスイッチＳＷ１およびスイッチＳＷ２に出力する。
【０１６４】
スイッチＳＷ１は、選択部１４からモード識別子１を取得すると、デブロックフィルタ部１０６から出力された復号画像に代えて、埋め込み縮小処理部１０７から出力される縮小復号画像を、参照画像としてフレームメモリ１０８に出力する。一方、スイッチＳＷ１は、選択部１４からモード識別子０を取得すると、埋め込み縮小処理部１０７から出力される縮小復号画像に代えて、デブロックフィルタ部１０６から出力された復号画像を、参照画像としてフレームメモリ１０８に出力する。
【０１６５】
スイッチＳＷ２は、選択部１４からモード識別子１を取得すると、フレームメモリ１０８に格納されている復号画像（参照画像）を出力する代わりに、抽出拡大処理部１０９によって拡大された縮小復号画像（参照画像）を出力する。一方、スイッチＳＷ２は、選択部１４からモード識別子０を取得すると、抽出拡大処理部１０９によって拡大された縮小復号画像（参照画像）を出力する代わりに、フレームメモリ１０８に格納されている復号画像（参照画像）を出力する。
【０１６６】
図１３は、選択部１４の動作を示すフローチャートである。
【０１６７】
まず、選択部１４は、ＳＰＳの参照フレーム数を取得する（ステップＳ２１）。さらに、選択部１４は、その参照フレーム数が２以下であるか否かを判別する（ステップＳ２２）。ここで、選択部１４は、参照フレーム数が２以下であると判別すると（ステップＳ２２のＹ）、フル解像度復号モード（第２の処理モード）を選択し、そのモードを示すモード識別子０をスイッチＳＷ１およびスイッチＳＷ２に出力する（ステップＳ２３）。
【０１６８】
これにより、そのＳＰＳに対応するシーケンスに含まれていた各符号化画像が復号化されてデブロックフィルタ部１０６から出力される各復号画像は、縮小されることなく参照画像としてフレームメモリ１０８に格納される。さらに、その復号画像である参照画像がフル解像度動き補償部１１０の動き補償に用いられるときには、その参照画像がフレームメモリ１０８から読み出されてそのまま動き補償に用いられる。
【０１６９】
一方、選択部１４は、参照フレーム数が２以下でないと判別すると（ステップＳ２２のＮ）、低解像度復号モード（第１の処理モード）を選択し、そのモードを示すモード識別子１をスイッチＳＷ１およびスイッチＳＷ２に出力する（ステップＳ２４）。
【０１７０】
これにより、そのＳＰＳに対応するシーケンスに含まれていた各符号化画像が復号化されてデブロックフィルタ部１０６から出力される各復号画像は、埋め込み縮小処理部１０７で縮小されて参照画像（縮小復号画像）としてフレームメモリ１０８に格納される。さらに、その縮小復号画像である参照画像がフル解像度動き補償部１１０の動き補償に用いられるときには、その参照画像がフレームメモリ１０８から読み出され、抽出拡大処理部１０９で拡大されて動き補償に用いられる。
【０１７１】
次に、選択部１４は、新たなＳＰＳの参照フレーム数を取得したか否かを判別し（ステップＳ２５）、取得したと判別したときには（ステップＳ２５のＹ）、ステップＳ２２からの処理を繰り返し実行する。また、選択部１４は、ステップＳ２５で参照フレーム数を取得していないと判別したときには（ステップＳ２５のＮ）、フル解像度復号モードおよび低解像度復号モードの選択の処理を終了する。
【０１７２】
このように、本変形例では、低解像度復号モードが選択された場合には、復号画像が縮小されてフレームメモリ１０８に格納されるため、フレームメモリ１０８の容量を削減することができる。例えば、実施の形態２のように、埋め込み縮小処理部１０７が復号画像を３／４に縮小する場合には、参照フレーム数の最大値が４であるため、フレームメモリ１０８に必要な容量を、４フレーム分の容量から、４フレーム×（３／４）＝３フレーム分の容量に削減することができる。また、低解像度復号モードが選択された場合には、画質の劣化が生じるが、２より大きい参照フレーム数がＳＰＳに設定されることは実用的には少ないため、画質劣化が生じる場合を最小限に制限することが可能になる。
【０１７３】
また、本変形例では、フル解像度復号モードが選択された場合には、復号画像が縮小されることなくフレームメモリ１０８に格納されるため、画質の劣化を確実に防ぐことができる。なお、この場合に、フレームメモリ１０８に必要な容量は、参照フレーム数の最大値が４であるため、４フレーム分である。しかし、参照フレーム数が２の場合には、フレームメモリ１０８に必要な容量は２フレーム分であればよく、参照フレーム数が３の場合には、フレームメモリ１０８に必要な容量は３フレーム分であればよい。
【０１７４】
さらに、本変形例では、実施の形態１のように、低解像度復号モードとフル解像度復号モードとがシーケンスごとに切り替えて選択されるため、複数の復号画像の全体的な画質の劣化の防止と、フレームメモリ１０８に必要とされる帯域および容量の抑制とのバランスをとって、それぞれを両立させることができる。さらに、低解像度復号モードが選択された場合であっても、復号画像は実施の形態２の埋め込み縮小処理および抽出拡大処理によって縮小されて拡大されるため、復号画像の画質の劣化をより防ぐことができる。
【０１７５】
なお、本変形例では、復号画像を縮小して拡大するために、実施の形態２の埋め込み縮小処理および抽出拡大処理を利用するが、それらの処理を利用しなくてもよく、復号画像を縮小して拡大する方法はどのような方法であってもよい。また、本変形例の画像復号装置１００ａは、Ｈ．２６４のビデオ符号化規格に対応しているが、ビットストリームのヘッダ情報に、参照フレーム数などのフレームメモリの容量を決めるパラメータが存在するようなビデオ符号化規格であれば、どのような規格にも対応している。
【０１７６】
（実施の形態３）
実施の形態２においては、常に高次変換係数の埋め込みを行ったが、縮小復号画像が平坦でエッジが少ない場合、すなわち高次変換係数が小さい場合は、高次変換係数の埋め込みを行わない方が画質が改善する場合がある。本実施の形態では、そのような場合の画質改善の方法を示す。
【０１７７】
本実施の形態における画像復号装置は、図３に示す画像復号装置１００と同一の構成を有するが、埋め込み縮小処理部１０７および抽出拡大処理部１０９の一部の処理動作のみが実施の形態２と異なる。つまり、本実施の形態における埋め込み縮小処理部１０７は、実施の形態２の図４に示す符号化高次変換係数の埋め込み処理（ステップＳ１０８）、すなわち図６に示す処理と異なる処理を実行する。さらに、本実施の形態における抽出拡大処理部１０９は、実施の形態２の図８に示す符号化高次変換係数の抽出および復元処理（ステップＳ２００）、すなわち図９に示す処理と異なる処理を実行する。なお、本実施の形態における画像復号装置のその他の処理については、実施の形態２の処理と同様であるため、その説明を省略する。
【０１７８】
図１４は、本実施の形態における埋め込み縮小処理部１０７による符号化高次変換係数の埋め込み処理を示すフローチャートである。なお、本実施の形態における埋め込み縮小処理部１０７は、実施の形態２の図６に示す処理を実行するか否かを、事前にステップＳ１１８０で判別している点に特徴があり、他のステップの処理は実施の形態２と同様である。
【０１７９】
埋め込み縮小処理部１０７は、まず、縮小復号画像に含まれる画素値、つまり低解像度画素データの分散ｖを計算し、その分散ｖが予め定められた閾値よりも小さいか否かを判別する（ステップＳ１１８０）。ここで、埋め込み縮小処理部１０７は、以下の（式８）により分散ｖを算出する。
【０１８０】
【数８】
2010092740.tif 000010
【０１８１】
ここで、Ｘｓｉは縮小復号画像の画素値、つまり縮小された低解像度画素データであり、Ｎｓは縮小復号画像に含まれる画素値の総数、つまり低解像度画素データの総数であり、μは低解像度画素データの平均値である。なお、埋め込み縮小処理部１０７は、平均値μを以下の（式９）により算出する。
【０１８２】
【数９】
2010092740.tif 000011
【０１８３】
具体例として、低解像度画素データＸｓ０，Ｘｓ１，Ｘｓ２が１２１，１２２，１２３の場合、平均値μは１２２となり、分散ｖは０．６６６となる。
【０１８４】
ステップＳ１１８０の判別の結果、埋め込み縮小処理部１０７は、分散ｖが閾値以上と判別すると（ステップＳ１１８０のＮ）、実施の形態２の図６に示す処理と同様、縮小復号画像の各画素値を示すビット列のうちの、符号化高次変換係数の符号長に応じた数の下位ビットによって示される値を削除する。このとき、埋め込み縮小処理部１０７は、ビット列のうち、ＬＳＢから優先して下位ビットの値を削除する（ステップＳ１１８２）。次に、埋め込み縮小処理部１０７は、符号化高次変換係数を、値が削除された下位ビットに埋め込む（ステップＳ１１８４）。これにより、符号化高次変換係数が埋め込まれた縮小復号画像、つまり参照画像が生成される。
【０１８５】
一方、埋め込み縮小処理部１０７は、分散ｖが閾値よりも小さいと判別すると（ステップＳ１１８０のＹ）、この縮小復号画像が平坦であるとみなして高次変換係数の埋め込みを行わない。したがって、この場合には、符号化高次変換係数が埋め込まれていない縮小復号画像が参照画像としてフレームメモリ１０８に格納されることとなる。
【０１８６】
図１５は、本実施の形態における抽出拡大処理部１０９による符号化高次変換係数の抽出および復元処理を示すフローチャートである。なお、本実施の形態における抽出拡大処理部１０９は、実施の形態２の図９に示す処理を実行するか否かを、事前にステップＳ２１００で判別している点に特徴がある。つまり、本実施の形態における抽出拡大処理部１０９は、拡大を行う際には、事前に、参照画像に符号化高次変換係数が埋め込まれているかどうかを判断している。
【０１８７】
具体的には、抽出拡大処理部１０９は、参照画像に含まれる画素値、つまり縮小された低解像度画素データの分散ｖを計算し、その分散ｖが予め定められた閾値よりも小さいか否かを判別する（ステップＳ２１００）。ここで、抽出拡大処理部１０９は、上記（式８）により分散ｖを算出する。
【０１８８】
抽出拡大処理部１０９は、分散ｖが閾値以上と判別すると（ステップＳ２１００のＮ）、実施の形態２の図９に示す処理と同様、参照画像から符号化高次変換係数を取り出す（ステップＳ２１０２）。次に、抽出拡大処理部１０９は、符号化高次変換係数を復号することにより、量子化された高次変換係数、つまり高次変換係数の量子化値を取得する（ステップＳ２１０４）。さらに、抽出拡大処理部１０９は、その量子化値を逆量子化することにより、その量子化値から高次変換係数を復元する（ステップＳ２１０６）。
【０１８９】
一方、抽出拡大処理部１０９は、分散ｖが閾値よりも小さいと判別すると（ステップＳ２１００のＹ）、参照画像には符号化高次変換係数が埋め込まれていないと判断し、ステップＳ２１０２、ステップＳ２１０４およびステップＳ２１０６で示される高次変換係数の復元処理を行わず、全ての高次変換係数として０を出力する（ステップＳ２１０８）。
【０１９０】
なお、ステップＳ２１００では、参照画像に符号化高次変換係数が含まれている場合にも、符号化高次変換係数が含まれていない場合と同様、その符号化高次変換係数が含まれている参照画像の画素値つまり低解像度画素データから分散が計算されるため、図１４に示すステップＳ１１８０で算出される分散との間で誤差が生じ、参照画像に符号化高次変換係数が埋め込まれているか否かを誤って判別してしまう場合がある。しかし、この誤った判別の頻度は小さく実用上問題にならない。
【０１９１】
（実施の形態４）
実施の形態２および３では、ビデオデコード（特に、参照画像の格納および動き補償のための参照画像の読み出し）だけにおいて、埋め込み縮小処理および抽出拡大処理を適用することにより、フレームメモリ１０８の帯域および容量の削減を図っている。本実施の形態の画像復号装置では、ビデオデコードだけでなく、ビデオ出力部における縮小復号画像の出力においても、実施の形態２の埋め込み縮小処理および抽出拡大処理を適用する点に特徴がある。これにより、本実施の形態における画像復号装置では、各画素のＬＳＢを含む下位ビットに埋め込まれたデータが画質に影響を及ぼすことがなくなり、フレームメモリ１０８の帯域および容量を削減すると共に、画質のさらなる向上を実現することができる。
【０１９２】
図１６は、本実施の形態における画像復号装置の機能構成を示すブロック図である。
【０１９３】
本実施の形態における画像復号装置１００ｂは、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、フレームメモリ１０８、抽出拡大処理部１０９、フル解像度動き補償部１１０、およびビデオ出力部１１１ｂを備える。つまり、本実施の形態における画像復号装置１００ｂは、実施の形態２の画像復号装置１００のビデオ出力部１１１の代わりに、埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理機能を有するビデオ出力部１１１ｂを備えている。
【０１９４】
図１７は、本実施の形態におけるビデオ出力部１１１ｂの機能構成を示すブロック図である。
【０１９５】
本実施の形態におけるビデオ出力部１１１ｂは、埋め込み縮小処理部１１７ａ，１１７ｂと、抽出拡大処理部１１９ａ〜１１９ｃと、ＩＰ変換部１２１と、リサイズ部１２２と、出力フォーマット部１２３とを備える。
【０１９６】
埋め込み縮小処理部１１７ａ，１１７ｂはそれぞれ、実施の形態２の埋め込み縮小処理部１０７と同一の機能を有し、埋め込み縮小処理を実行する。抽出拡大処理部１１９ａ〜１１９ｃはそれぞれ、実施の形態２の抽出拡大処理部１０９と同一の機能を有し、抽出拡大処理を実行する。
【０１９７】
ＩＰ変換部１２１は、インターレース構成の画像をプログレッシブ構成の画像に変換する。なお、このようなインターレース構成の画像からプログレッシブ構成の画像への変換をＩＰ変換処理という。
【０１９８】
リサイズ部１２２は画像のサイズを拡大または縮小する。つまり、リサイズ部１２２は、画像の解像度を、その画像をテレビ画面に表示するための所望の解像度に変換する。例えば、リサイズ部１２２は、フルＨＤ（High Definition）の画像をＳＤ（Standard Definition）の画像に変換したり、ＨＤの画像をフルＨＤの画像に変換する。なお、このような画像のサイズの拡大または縮小をリサイズ処理という。
【０１９９】
出力フォーマット部１２３は、画像のフォーマットを外部出力フォーマットに変換する。つまり、出力フォーマット部１２３は、画像データを外部のモニタなどに表示するために、その画像データの信号フォーマットを、モニタの入力に合わせた信号フォーマット、またはモニタと画像復号装置１００ｂのインターフェース（例えばＨＤＭＩ：High-Definition Multimedia Interface）に合わせた信号フォーマットに変換する。なお、このような外部出力フォーマットへの変換を出力フォーマット変換処理という。
【０２００】
図１８は、本実施の形態におけるビデオ出力部１１１ｂの動作を示すフローチャートである。
【０２０１】
まず、ビデオ出力部１１１ｂの抽出拡大処理部１１９ａは、実施の形態２の図８に示す処理（抽出拡大処理）を実行する（ステップＳ４０１）。つまり、抽出拡大処理部１１９ａは、デコードされた後に縮小されてフレームメモリ１０８に格納されている画像である縮小復号画像（参照画像）をそのフレームメモリ１０８から読み出す。なお、読み出された縮小復号画像は、実施の形態１の図４に示す処理（埋め込み縮小処理）によって縮小された画像である。そして、抽出拡大処理部１１９ａは、読み出された縮小復号画像に対して上述の抽出拡大処理を行う。
【０２０２】
ＩＰ変換部１２１は、抽出拡大処理部１１９ａによって抽出拡大処理された縮小復号画像を処理対象画像として扱い、その処理対象画像に対してＩＰ変換処理を行う（ステップＳ４０２）。なお、処理対象画像は元の高解像度（埋め込み縮小処理部１０７で縮小される前の復号画像の解像度）を有する。また、ＩＰ変換処理において複数の縮小復号画像が用いられる場合には、それらの縮小復号画像の全てに対してステップＳ４０１の抽出拡大処理が行われる。
【０２０３】
埋め込み縮小処理部１１７ａは、ＩＰ変換部１２１でＩＰ変換処理された画像に対して、実施の形態２の図４に示す処理（埋め込み縮小処理）を実行し、その埋め込み縮小処理が行われた画像を新たな縮小復号画像としてフレームメモリ１０８に格納する（ステップＳ４０３）。このようなステップＳ４０１〜Ｓ４０３によって、フレームメモリ１０８に格納されている縮小復号画像は、同一の解像度を保ちながらインターレース構成からプログレッシブ構成に変換される。
【０２０４】
次に、抽出拡大処理部１１９ｂは、プログレッシブ構成の縮小復号画像に対して、上述の抽出拡大処理を実行する（ステップＳ４０４）。リサイズ部１２２は、抽出拡大処理部１１９ｂによって抽出拡大処理された縮小復号画像を処理対象画像として扱い、その処理対象画像に対してリサイズ処理を行う（ステップＳ４０５）。なお、処理対象画像は元の高解像度（埋め込み縮小処理部１０７で縮小される前の復号画像の解像度）を有する。また、リサイズ処理において複数の縮小復号画像が用いられる場合には、それらの縮小復号画像の全てに対してステップＳ４０４の抽出拡大処理が行われる。埋め込み縮小処理部１１７ｂは、リサイズ部１２２でリサイズ処理された画像に対して、上述の埋め込み縮小処理を実行し、その埋め込み縮小処理が行われた画像を新たな縮小復号画像としてフレームメモリ１０８に格納する（ステップＳ４０６）。このようなステップＳ４０４〜Ｓ４０６によって、フレームメモリ１０８に格納されている縮小復号画像のサイズが拡大または縮小される。
【０２０５】
次に、抽出拡大処理部１１９ｃは、拡大または縮小された縮小復号画像に対して、上述の抽出拡大処理を実行する（ステップＳ４０７）。出力フォーマット部１２３は、抽出拡大処理部１１９ｃによって抽出拡大処理された縮小復号画像を処理対象画像として扱い、その処理対象画像に対して出力フォーマット変換処理を行う（ステップＳ４０８）。なお、処理対象画像は元の高解像度（埋め込み縮小処理部１１７ｂで縮小される前の処理対象画像の解像度）を有する。また、抽出拡大処理部１１９ｃは、その出力フォーマット変換処理が行われた画像を、画像復号装置１００ｂに接続された外部機器（例えばモニタ）に出力する。
【０２０６】
以上のように、本実施の形態では、埋め込み縮小処理と抽出拡大処理とをビデオデコードに対して用いるだけでなく、ビデオ出力部１１１ｂにおける処理（ビデオ出力）にも用いられている。したがって、フレームメモリ１０８に格納される画像を全て縮小された画像にすることができるとともに、ビデオ出力におけるＩＰ変換処理、リサイズ処理および出力フォーマット変換処理の全ての処理において、元の解像度の画像を処理対象とすることができる。その結果、ビデオ出力部１１１ｂから出力される画像の画質劣化を防ぐとともに、フレームメモリ１０８の帯域および容量を削減することが可能になる。
【０２０７】
なお、本実施の形態では、ビデオ出力部１１１ｂは、ＩＰ変換部１２１、リサイズ部１２２および出力フォーマット部１２３を備えるが、これらの構成要素のうちの何れかを備えていなくてもよく、他の構成要素をさらに備えていてもよい。例えば、低域通過フィルタリングやエッジ強調処理などの高画質化処理を行う構成要素、または、他の画像や字幕などを重畳するＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）処理を行う構成要素を備えていてもよい。さらに、ビデオ出力部１１１ｂは、図１８に示す順序に限らず、他の順序に従って各処理を実行してもよく、その各処理には上述の高画質化処理またはＯＳＤ処理が含まれていてもよい。
【０２０８】
また、本実施の形態では、ビデオ出力部１１１ｂは、抽出拡大処理部１１９ａ〜１１９ｃと埋め込み縮小処理部１１７ａ，１１７ｂとを備えるが、これらの構成要素のうちの何れかを備えていなくてもよい。例えば、上述の構成要素のうち抽出拡大処理部１１９ａだけ備えていてもよく、上述の構成要素のうち、抽出拡大処理部１１９ａ，１１９ｂと埋め込み縮小処理部１１７ａだけを備えていてもよい。
【０２０９】
また、本実施の形態では、埋め込み縮小処理部１０７と抽出拡大処理部１１９ａのそれぞれによる処理のアルゴリズムは互いに対応している必要があり、埋め込み縮小処理部１１７ａと抽出拡大処理部１１９ｂのそれぞれによる処理のアルゴリズムは互いに対応している必要がある。同様に、埋め込み縮小処理部１１７ｂと抽出拡大処理部１１９ｃのそれぞれによる処理のアルゴリズムは互いに対応している必要がある。しかし、埋め込み縮小処理部１０７および抽出拡大処理部１１９ａのアルゴリズムと、埋め込み縮小処理部１１７ａおよび抽出拡大処理部１１９ｂのアルゴリズムと、埋め込み縮小処理部１１７ｂおよび抽出拡大処理部１１９ｃのアルゴリズムとは、それぞれ互いに異なっていても同一であってもよい。
【０２１０】
（変形例）
以下、実施の形態４における変形例について説明する。
【０２１１】
実施の形態４では、ビデオデコードおよびビデオ出力の双方に埋め込み縮小処理と抽出拡大処理とを適用するが、本変形例では、ビデオ出力のみに対して埋め込み縮小処理と抽出拡大処理とを適用する。これにより、ビットストリームのＧＯＰ（Group Of Pictures）が長い、つまりＧＯＰに含まれるピクチャが多く、ビデオデコードにおいて誤差の蓄積が顕著になるようなシステムにおいて、誤差の蓄積による画質の劣化を発生させず、ビデオ出力においてフレームメモリ１０８の帯域と容量を削減することが可能となる。
【０２１２】
図１９は、本変形例に係る画像復号装置の機能構成を示すブロック図である。
【０２１３】
本変形例に係る画像復号装置１００ｃは、Ｈ．２６４のビデオ符号化規格に対応しており、ビデオデコーダ１０１ｃと、フレームメモリ１０８と、ビデオ出力部１１１ｃとを備える。ビデオデコーダ１０１ｃは、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、およびフル解像度動き補償部１１０を備える。つまり、本変形例に係る画像復号装置１００ｃは、実施の形態４の画像復号装置１００ｂのビデオ出力部１１１ｂの代わりにビデオ出力部１１１ｃを備え、画像復号装置１００ｂの埋め込み縮小処理部１０７および抽出拡大処理部１０９を備えていない。
【０２１４】
本変形例では、ビデオデコードにおいて埋め込み縮小処理と抽出拡大処理が適用されていないため、フレームメモリ１０８には、縮小されていない復号画像が参照画像として格納されている。そこで、本変形例に係るビデオ出力部１１１ｃは、ビデオ出力（ＩＰ変換処理、リサイズ処理および出力フォーマット変換処理）を行うときには、その縮小されていない復号画像に対して、埋め込み縮小処理および抽出拡大処理を用いたビデオ出力を行う。
【０２１５】
図２０は、本変形例に係るビデオ出力部１１１ｃの機能構成を示すブロック図である。
【０２１６】
本変形例に係るビデオ出力部１１１ｃは、埋め込み縮小処理部１１７ａ，１１７ｂと、抽出拡大処理部１１９ｂ，１１９ｃと、ＩＰ変換部１２１と、リサイズ部１２２と、出力フォーマット部１２３とを備える。つまり、本変形例に係るビデオ出力部１１１ｃは、実施の形態４のビデオ出力部１１１ｂの抽出拡大処理部１１９ａを備えていない。
【０２１７】
図２１は、本変形例に係るビデオ出力部１１１ｃの動作を示すフローチャートである。
【０２１８】
ビデオデコーダ１０１ｃによって生成された復号画像は縮小されることなく参照画像としてフレームメモリ１０８に格納されている。したがって、ビデオ出力部１１１ｃのＩＰ変換部１２１は、フレームメモリ１０８に格納されている復号画像をそのまま処理対象画像として扱い、その処理対象画像に対してＩＰ変換処理を行う（ステップＳ４０２）。つまり、実施の形態４では、フレームメモリ１０８には、復号画像が縮小された縮小復号画像が参照画像としてフレームメモリ１０８に格納されているために、ビデオ出力部１１１ｂは、まず、その縮小復号画像に対して抽出拡張処理を行う。しかし、本変形例では、復号画像が縮小されずに参照画像としてフレームメモリ１０８に格納されているため、図１８に示すステップＳ４０１の抽出拡大処理を行うことなく、フレームメモリ１０８に格納されている復号画像に対してステップＳ４０２のＩＰ変換処理を行う。
【０２１９】
その後、ビデオ出力部１１１ｃは、リサイズ部１２２と、出力フォーマット部１２３と、埋め込み縮小処理部１１７ａ，１１７ｂと、抽出拡大処理部１１９ｂ，１１９ｃとによって、実施の形態４と同様、上述のステップＳ４０３〜Ｓ４０８を実行する。
【０２２０】
以上のように、本変形例では、ビデオデコーダ１０１ｃは規格に定められた動作を行うため、長いＧＯＰの画像に生じ易い画質の劣化の発生を抑えることができる。さらに、本変形例では、ビデオ出力部１１１ｃにおける埋め込み縮小処理および抽出拡大処理によって、フレームメモリ１０８に格納された復号画像は縮小されるため、画質劣化を防ぎつつ、フレームメモリ１０８の帯域および容量を削減することが可能になる。
【０２２１】
なお、本変形例においても上記実施の形態４と同様、ビデオ出力部１１１ｃは、ＩＰ変換部１２１、リサイズ部１２２および出力フォーマット部１２３を備えるが、これらの構成要素のうちの何れかを備えていなくてもよく、他の構成要素をさらに備えていてもよい。例えば、低域通過フィルタリングやエッジ強調処理などの高画質化処理を行う構成要素、または、他の画像や字幕などを重畳するＯＳＤ処理を行う構成要素を備えていてもよい。さらに、ビデオ出力部１１１ｃは、図２１に示す順序に限らず、他の順序に従って各処理を実行してもよく、その各処理には上述の高画質化処理またはＯＳＤ処理が含まれていてもよい。
【０２２２】
また、本変形例においても上記実施の形態４と同様、ビデオ出力部１１１ｃは、抽出拡大処理部１１９ｂ，１１９ｃと埋め込み縮小処理部１１７ａ，１１７ｂとを備えるが、これらの構成要素のうちの何れかを備えていなくてもよい。例えば、上述の構成要素のうち、埋め込み縮小処理部１１７ａと抽出拡大処理部１１９ｂだけを備えていてもよい。
【０２２３】
また、本変形例においても上記実施の形態４と同様、埋め込み縮小処理部１１７ａと抽出拡大処理部１１９ｂのそれぞれによる処理のアルゴリズムは互いに対応している必要があり、埋め込み縮小処理部１１７ｂと抽出拡大処理部１１９ｃのそれぞれによる処理のアルゴリズムは互いに対応している必要がある。しかし、埋め込み縮小処理部１１７ａおよび抽出拡大処理部１１９ｂのアルゴリズムと、埋め込み縮小処理部１１７ｂおよび抽出拡大処理部１１９ｃのアルゴリズムとは、それぞれ互いに異なっていても同一であってもよい。
【０２２４】
（実施の形態５）
本発明は、システムＬＳＩとして実現することができる。
【０２２５】
図２２は、本実施の形態におけるシステムＬＳＩの構成を示す構成図である。
【０２２６】
システムＬＳＩ２００は、圧縮ビデオストリームおよび圧縮オーディオストリームを転送するための周辺機器を以下の通り含む。すなわち、システムＬＳＩ２００は、圧縮ビデオストリーム（ビットストリーム）の示すハイビジョン映像をダウンデコードによって復号するビデオデコーダ２０４、圧縮オーディオストリームをデコードするオーディオデコーダ２０３、外部メモリ１０８ｂに格納されている参照画像を必要な解像度へ拡大又は縮小してモニタに出力するとともに、オーディオ信号を出力するビデオ出力部１１１ａ、ビデオデコーダ２０４とビデオ出力部１１１ａと外部メモリ１０８ｂとの間のデータアクセスを制御するメモリコントローラ１０８ａ、チューナやハードディスクドライブなどの外部装置とのインターフェースをとる周辺インターフェース部２０２、及びストリームコントローラ２０１を備える。
【０２２７】
ビデオデコーダ２０４は、上記実施の形態２または３のシンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、抽出拡大処理部１０９、およびフル解像度動き補償部１１０を備える。つまり、本実施の形態では、ビデオデコーダ２０４、外部メモリ１０８ｂ内にあるフレームメモリ、およびビデオ出力部１１１ａから、上記実施の形態２または３における画像復号装置１００が構成される。
【０２２８】
圧縮ビデオストリームおよび圧縮オーディオストリームは、外部装置から周辺インターフェース部２０２経由で、ビデオデコーダ２０４およびオーディオデコーダ２０３に供給される。外部装置の例としては、ＳＤカード、ハードディスクドライブ、ＤＶＤ、ブルーレイディスク（ＢＤ）、チューナ、ＩＥＥＥ１３９４、または、周辺機器インターフェース（ＰＣＩなど）バス経由で当該周辺インターフェース部２０２へ接続され得るその他全ての外部装置が含まれる。ストリームコントローラ２０１は、オーディオデコーダ２０３およびビデオデコーダ２０４に圧縮オーディオストリームと圧縮ビデオストリームを分離して供給する。なお、本実施の形態においては、ストリームコントローラ２０１はオーディオデコーダ２０３及びビデオデコーダ２０４と直結されているが、外部メモリ１０８ｂを介して接続されてもよい。また、周辺インターフェース部２０２とストリームコントローラ２０１についても、外部メモリ１０８ｂを介して接続されてもよい。
【０２２９】
ビデオデコーダ２０４の内部及び動作については、実施の形態２または３と同様であるので詳細な説明を省略する。
【０２３０】
ビデオデコーダ２０４が使用するフレームメモリは本実施の形態においては、システムＬＳＩ２００外部の外部メモリ１０８ｂに配置されている。外部メモリ１０８ｂには、一般的にはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）が使用されるが、他のメモリデバイスでもよい。また、外部メモリ１０８ｂはシステムＬＳＩ２００内部に備えられていても良い。また、外部メモリ１０８ｂを複数使用してもかまわない。
【０２３１】
メモリコントローラ１０８ａは、外部メモリ１０８ｂにアクセスするビデオデコーダ２０４やビデオ出力部１１１ａなどのブロック間のアクセス調停を行い、必要なアクセスを外部メモリ１０８ｂに対して行う。
【０２３２】
ビデオデコーダ２０４によって復号されて縮小された復号画像は、ビデオ出力部１１１ａによって外部メモリ１０８ｂから読み出されてモニタに表示される。ビデオ出力部１１１ａは、必要な解像度を得るために拡大又は縮小処理を行い、オーディオ信号と同期してビデオデータを出力する。その復号画像は、低解像度の復号画像に歪みを生じさせることなく符号化高次変換係数を透かしとして入れたものであるため、ビデオ出力部１１１ａに最低限必要とされるのは、一般的な拡大縮小機能のみである。なお、拡大縮小以外の高画質化処理やＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換処理が含まれても良い。
【０２３３】
本実施の形態では、上記実施の形態２および３と同様、ビデオデコーダ２０４において、縮小復号画像におけるドリフトエラーを最小限にとどめるために、ダウンサンプリングプロセスで切り捨てられた１以上の高次変換係数が符号化されて縮小復号画像に埋め込まれる。このような埋め込みは、デジタル透かし技術を用いた情報の埋め込みであるため、縮小復号画像に歪みを生じさせない。したがって、本実施の形態では、縮小復号画像をモニタに表示するための複雑な処理を必要としない。つまり、ビデオ出力部１１１ａには、簡素な拡大及び縮小機能があればよい。
【０２３４】
（変形例）
ここで、上記実施の形態５の変形例について説明する。本変形例に係るシステムＬＳＩのビデオ出力部は、実施の形態４のビデオ出力部１１１ｂと同様、抽出拡大処理と埋め込み縮小処理を実行する点に特徴がある。
【０２３５】
図２３は、本変形例に係るシステムＬＳＩの構成を示す構成図である。
【０２３６】
本変形例に係るシステムＬＳＩ２００ｂは、ビデオ出力部１１１ａの代わりにビデオ出力部１１１ｄを備える。このビデオ出力部１１１ｄは、ビデオ出力部１１１ａと同様、オーディオ信号を出力するとともに、実施の形態４のビデオ出力部１１１ｂと同一の処理を実行する。つまり、ビデオ出力部１１１ｄは、外部メモリ１０８ｂに参照画像として格納されている縮小復号画像をメモリコントローラ１０８ａを介して読み出すときには、その縮小復号画像に対して抽出拡大処理を行う。また、ビデオ出力部１１１ｄは、ビデオ出力における処理（ＩＰ変換処理、リサイズ処理および出力フォーマット変換処理）が施された画像をメモリコントローラ１０８ａを介して外部メモリ１０８ｂに格納するときには、その画像に対して埋め込み縮小処理を行う。
【０２３７】
これにより、本変形例に係るシステムＬＳＩ２００ｂにおいても、実施の形態４と同様の作用効果を得ることができる。
【０２３８】
（実施の形態６）
本発明は、様々な機能ブロックを備える。その機能ブロックとは、増大容量ビデオバッファ、フレームの解像度（フル解像度／低減解像度）を提供する縮小ＤＰＢ充足性チェックに用いられるプレパーサ、フル解像度および低減解像度でピクチャを復号できるビデオデコーダ、縮小サイズフレームバッファおよびビデオディスプレイサブシステムである（図２４）。
【０２３９】
ビデオバッファ（ステップＳＰ１０）は、従来のデコーダよりも格納容量が大きく、ステップＳＰ３０で実際にビデオを復号する前に、符号化ビデオデータの先読み予備解析（ステップＳＰ２０）に用いられる、追加の符号化ビデオデータを供給することができる。プレパーサは、バッファサイズを大きくすることで得られるタイムマージンの分、ビットストリームが実際に復号されるよりも早く、ＤＴＳに起動される。ビットストリームの実際の復号は、その増大ビデオバッファで得られたタイムマージンと同じ分だけ、ＤＴＳから遅延する。プレパーサ（ステップＳＰ２０）は、参照フレーム数と縮小サイズのバッファ容量に基づいて各フレームの復号モード（フル解像度または低減解像度）を決定するために、ステップＳＰ１０において格納されたビットストリームを構文解析する。不要な視覚的歪みを避けるため、可能であれば常に、フル解像度の復号が選択される。それにしたがってピクチャ解像度リストが更新される。その後、ステップＳＰ２０において決定された解像度にしたがって画像データを復号するために、ステップＳＰ３０において、符号化ビデオデータが、適応解像度ビデオデコーダに供給される。ステップＳＰ３０において、画像データは、必要であれば常に、復号処理に関連するピクチャに必要な解像度にアップ変換またはダウン変換される。必要に応じてダウン変換されたビデオ復号画像データは、ステップＳＰ５０において縮小サイズフレームバッファに格納される。（ステップＳＰ２０において決定された）復号ピクチャの解像度を有する情報は、必要であれば、表示目的で当該画像データをアップ変換するために、ステップＳＰ４０において、ビデオディスプレイサブシステムに供給される。
【０２４０】
増大サイズのビデオバッファ（ステップＳＰ１０）
ビデオ符号化規格に準拠するビットストリームは、理論上エンコーダの出力に接続され、少なくともプレデコーダバッファ、デコーダおよび出力／ディスプレイ部を備える仮想参照デコーダで復号できなければならない。この仮想デコーダは、Ｈ．２６３、Ｈ．２６４における仮想参照デコーダ（ＨＲＤ）、およびＭＰＥＧにおけるＶＢＶバッファ（ＶＢＶ）として知られている。ストリームは、バッファのオーバーフローもアンダーフローもなくＨＲＤで復号できれば、準拠している。バッファのオーバーフローは、バッファが一杯であるときにさらにビットを入力すべき場合に起こる。バッファのアンダーフローは、復号／再生のためバッファからビットがフェッチされるべきときに、対象ビットがバッファになければ起こる。
【０２４１】
Ｈ．２６４ビデオストリームのキャリッジおよびバッファ管理は、ＰＴＳやＤＴＳのような、［Ｓｅｃｔｉｏｎ  ２．１４．１  ｏｆ  ＩＴＵ−Ｔ  Ｈ．２２２．０  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  ｓｙｓｔｅｍｓ］からの既存のパラメータ、およびＡＶＣビデオストリーム内にある情報を用いて定義される。オーディオおよびビデオの表示時刻を示すタイムスタンプは、プレゼンテーション・タイム・スタンプ（ＰＴＳ）と称される。復号時刻を示すタイムスタンプは、デコーディング・タイム・スタンプ（ＤＴＳ）と称される。エレメンタリストリームバッファにあるＡＶＣアクセスユニットの各々は、ＤＴＳによって指定される復号時刻に、またはＨ．２６４の［Ｓｅｃｔｉｏｎ  ２．１４．３  ｏｆ  ＩＴＵ−Ｔ  Ｈ．２２２．０  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  ｓｙｓｔｅｍｓ］の場合はＣＰＢ除去時刻から、瞬時に除去される。ＣＰＢ除去時刻は、［Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］のアネックスＣにおいて提供されている。
【０２４２】
実際のデコーダシステムにおいては、個々のオーディオデコーダおよびビデオデコーダは瞬時に動作せず、その遅延を実施設計の際に考慮しなければならない。例えば、ビデオピクチャが正確に１ピクチャ表示間隔１／Ｐ（Ｐはフレームレート）で復号され、圧縮ビデオデータがビットレートＲでデコーダに到達する場合、各ピクチャに関連するビットの除去完了は、ＰＴＳおよびＤＴＳフィールドに示される時刻から１／Ｐだけ遅延し、ビデオデコーダバッファは、ＳＴＤモデルで指定されるバッファよりもＲ／Ｐだけ大きくなければならない。
【０２４３】
例として引用すると、最大符号化ピクチャバッファサイズ（ＣＰＢ）は、Ｈ．２６４のレベル４では３０，０００，０００ビット（３，７５０，０００バイト）である。レベル４．０はＨＤＴＶ用である。リアルデコーダは、上述の通りＣＰＢのバッファよりも少なくともＲ／Ｐ大きなビデオデコーダバッファを備える。これは、復号中にバッファに存在すべきデータの除去が１／Ｐ時間だけ遅延しなければならないからである。
【０２４４】
プレパーサ（ステップＳＰ２０）は、縮小メモリデコーダにおいてフル復号がおこなわれる可能性に関する情報をデコーダに供給できるように、ＤＴＳが示す意図される復号時刻前にバッファ内で利用可能な全てのビデオデータの予備解析を行う。ビデオバッファサイズは、リアルデコーダが必要とするサイズから、予備解析に必要な量だけ増やされる。実際の復号は予備解析に使われる追加時間だけ遅延するが、予備解析は、ＤＴＳに開始する。予備解析ビデオバッファの使用例を以下に示す。
【０２４５】
Ｈ．２６４レベル４．０の最大ビデオビットレートは２４Ｍｂｐｓである。追加の０．３３３ｓの先読み予備解析を達成するには、さらに約８メガビット（１，０００，０００バイト）のビデオバッファストレージを追加する必要がある。そのようなビットレートの１フレームは、平均で８００，０００ビットであり、１０フレームは平均で８，０００，０００ビットである。ストリームコントローラは、復号規格に従って入力ストリームを取得する。しかしながら、ストリームコントローラは、ＤＴＳに示される意図される除去時刻から０．３３３ｓだけ遅延した時刻に、ストリームをビデオバッファから除去する。そのような設計のために実際の復号は０．３３３ｓだけ遅延しなければならず、その結果、プレパーサは、実際の復号開始前に各フレームの復号モードに関する情報をより多く集めることが可能になる。
【０２４６】
縮小サイズフレームバッファ（ステップＳＰ５０）
ステップＳＰ５０は、複数参照フレームを用いる規格の現在復号中のフレームおよび復号ピクチャバッファのストレージを提供するものである。Ｈ．２６４において、復号ピクチャバッファはフレームバッファを有し、各フレームバッファは復号フレーム、復号補間フィールドペア、もしくは「参照に用いられる」と印付けられた単一の（ペアではない）復号フィールド（参照ピクチャ）を有してもよく、または将来の出力（順序が入れ替えられたピクチャ、もしくは遅延ピクチャ）用に保持されてもよい。
【０２４７】
ＤＰＢ復号モードのオペレーションは、［Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］のアネックスＣ．４に定義されている。このアネックスにおいて、ピクチャ復号および出力シーケンス、参照復号ピクチャのマーキングおよびＤＰＢへの格納、非参照ピクチャのＤＰＢへの格納、および、対象ピクチャが挿入される前にＤＰＢからピクチャが除去されること、およびバンピング処理が説明されている。
【０２４８】
ほとんどのＨ．２６４ストリームは、符号化においてプロファイルおよびレベル用に定義される参照フレームの最大数を利用することはない。ＩピクチャおよびＰピクチャ構造のみを用いて符号化されたストリームに関しては、予測において参照されるのは直前のフレームのみであるため、使用される参照フレーム数は大抵１である。多くのＢ参照フレームを用いて符号化されるストリームに関しては、ＤＰＢに多くの参照フレームを格納する必要がある。
【０２４９】
このようにして、フレームバッファ内のメモリを、複数の参照フレームを用いる縮小メモリデコーダに役立つような様々な構成にできることが推測できる。多くの参照フレームを格納する必要がないときは、デコーダは、より少ない数の参照フレームをフル解像度で格納することで、縮小メモリを効率よく利用できる。参照フレームは、複数の参照フレームの格納が必要なときのみ、ダウン変換されてメモリに格納される。
【０２５０】
例として引用するが、プロファイルおよびレベル用の最大ＤＰＢサイズが復号仕様書に記載されている。例えば、Ｈ．２６４レベル４．０のＤＰＢは、最大ＤＰＢサイズが１２，５８２，９１２バイトである２０４８×１０２４画素のフル解像度フレームを４つ格納可能である。処理可能なフル解像度フレームの数が２つのみになるまでＤＰＢが削減された縮小メモリ設計において、必要なフレームメモリ容量は３つのフル解像度フレーム（ＤＰＢに２つ、ワーキングバッファに１つ）である。ＤＰＢに４つの参照フレームが必要なときは常に、その４つのフレームはハーフ解像度で（４→２ダウンサンプリングがおこなわれる）格納される。フレームメモリは、フル解像度の５フレームのうち３フレームのみを扱う必要があるだけなので、フレームメモリストレージを４０％（６，２９１，４５６バイト）下げることができる。
【０２５１】
縮小ＤＰＢ充足性チェックに用いられるプレパーサ（ステップＳＰ２０）
プレパーサ（ステップＳＰ２０）は、各フレームの復号モード（フル解像度または低減解像度）を決定するために、ビデオバッファに格納されたビットストリームを構文解析する。プレパーサ（ステップＳＰ２０）は、縮小メモリデコーダにおいてフル復号がおこなわれる可能性に関する情報をデコーダに供給できるように、ＤＴＳが示す意図される復号時刻前にバッファ内で利用可能な全てのビデオデータの予備解析を行う。ビデオバッファサイズは、リアルデコーダが必要とするサイズから、予備解析に必要な量だけ増やされる。実際の復号は予備解析に使われる追加の時間だけ遅延するが、予備解析は、ＤＴＳに開始する。
【０２５２】
プレパーサは、ステップＳＰ２００において、Ｈ．２６４のシーケンスパラメータセット（ＳＰＳ）等の上位層情報を構文解析する。使用される参照フレームの数（Ｈ．２６４のｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ）が、縮小ＤＰＢで扱えるフル参照フレームの数以下であると分かった場合、このＳＰＳに基づくフレームの復号モードがステップＳＰ２２０においてフル復号に設定され、それに従ってビデオ復号およびメモリ管理に用いられるピクチャ解像度リストが更新される（ステップＳＰ２８０）。ステップＳＰ２００において、用いられる参照フレームの数が、縮小ＤＰＢがフル解像度で扱える数よりも大きければ、ステップＳＰ２４０において、フル解像度復号モードが特定フレームの処理に割り当て可能か否かを決定するために、下位シンタックス情報（Ｈ．２６４の場合スライスレイヤ）が調べられる。不要な視覚的歪みを避けるため、可能であれば常に、フル解像度の復号が選択される。ステップＳＰ２４０において、ｉ）フルＤＰＢと縮小ＤＰＢの参照リスト使用法が同じであり、ｉｉ）フル解像度復号モードをステップＳＰ２６０においてピクチャに割り当てる前に、そのピクチャオーダディスプレイが正しいことを確認する。そうでなければ、ステップＳＰ２６０において低減解像度復号モードが割り当てられる。それにしたがって、ステップＳＰ２８０において、ピクチャ解像度リストバッファが更新される。
【０２５３】
上位パラメータ層のチェック（ステップＳＰ２００）
ここで、縮小ＤＰＢのオペレーション（図２５）の可能性を確認するため、使用される参照フレームの数がチェックされる。Ｈ．２６４において、シーケンスパラメータセット（ＳＰＳ）内の「ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅ」のフィールドは、次のＳＰＳまでピクチャの復号に用いられる参照フレームの数を示す。使用される参照フレームの数が、縮小ＤＰＢフレームメモリがフル解像度で保持可能な数以下であれば、フル解像度復号モードが割り当てられ（ステップＳＰ２２０）、後にデコーダおよびディスプレイサブシステムによってビデオ復号およびメモリ管理に用いられるフレーム解像度リスト（ステップＳＰ２８０）がそれに従って更新される。ステップＳＰ２００において縮小ＤＰＢの充足性チェックがｆａｌｓｅである場合、縮小ＤＰＢの充足性を確認するために、下位層シンタックスがプレパーサによってさらにチェックされる（ステップＳＰ２４０）。
【０２５４】
下位層シンタックスの縮小ＤＰＢ充足性チェック（ステップＳＰ２４０）
図２５を参照のこと。
【０２５５】
縮小物理メモリ容量でＤＰＢ管理を行う目的で、デコーダのオペレーション可能な／実際のＤＰＢ（以下、リアルＤＰＢとする）内の各復号ピクチャに用いられる以下の管理パラメータが格納されている。
【０２５６】
ｉ）ＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ
このパラメータには、ＤＰＢから対象ピクチャを除去するためのタイミング情報が格納されている。可能性のある格納スキームの１つは、ＤＰＢからの対象ピクチャの除去を示すために、後のピクチャのＤＴＳタイムまたはＰＴＳタイムを用いることである。
【０２５７】
ｉｉ）ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ
ピクチャのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが０であれば、そのピクチャは低減解像度で格納される。そうでなければ（ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが１であれば）、そのピクチャはフル解像度で格納される。
【０２５８】
ｉｉｉ）ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ
このパラメータは、リアルＤＰＢのピクチャ管理オペレーションに直接用いられない。しかしながら、ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが下層先読み処理（ステップＳＰ２４０）で用いられるため、リアルＤＰＢ内のｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇの格納が下層先読み処理のピクチャトゥピクチャの実行に必要である。ピクチャのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが０であれば、当該ピクチャは復号規格のＤＰＢ管理に従ってＤＰＢから除去される。そうでなければ（ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが１であれば）、そのピクチャは、ＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅに示される値に従って、復号規格のＤＰＢバッファ管理によって命令される前に除去される。
【０２５９】
下層先読み処理を行う目的で、ＤＰＢの２つの仮想画像が先読み予備解析において維持される。
【０２６０】
ｉ）縮小ＤＰＢ
縮小ＤＰＢは、以下の先読み判定のための空間を供給する。
【０２６１】
・ピクチャがフル解像度で格納されるか、低減解像度で格納されるか。
【０２６２】
・ＤＰＢからピクチャを除去する除去時刻（ＤＰＢバッファ管理に基づくオンタイム、またはプレパーサによって付与されたアーリーリムーバル）。
【０２６３】
先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、各符号化ピクチャに対して先読み処理がおこなわれ、縮小ＤＰＢが更新される度に、フル解像度ピクチャ格納の実行可能性がチェックされる。先読み処理の終了時に、縮小ＤＰＢの状態が破棄される。
【０２６４】
ｉｉ）完全ＤＰＢ
完全ＤＰＢは、規格準拠ＤＰＢ管理スキーム（Ｈ．２６４の［Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］の副項Ｃ．４．４およびＣ．４．５．３）の動作をシミュレートする。完全ＤＰＢは、ステップＳＰ２４０における最終決定からは独立している。完全ＤＰＢは復号開始時に生成され、復号処理全体を通して更新される。完全ＤＰＢの状態は、ターゲットピクチャｊの先読み処理終了時に格納され、それに続いて次のピクチャ（ｊ＋１）の先読み処理において使用される。
【０２６５】
ステップＳＰ２４０において、（ターゲットピクチャｊから開始する）各ピクチャが復号され格納されると、今後のＤＰＢ状態の下層先読み処理を実行する。ステップＳＰ２４０は以下の出力を生成する。
【０２６６】
・ターゲットピクチャｊ用のリアルＤＰＢ管理パラメータの値
・ターゲットピクチャｊの復号終了時の完全ＤＰＢの状態
【０２６７】
ステップＳＰ２４０の詳細は以下の通りである（図２６）。ステップＳＰ２４１において、ターゲットピクチャｊに対して先読みピクチャｌｏｏｋａｈｅａｄ＿ｐｉｃを設定し、ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢをＴＲＵＥに初期化する。その後ステップＳＰ２４２において、リアルＤＰＢの現在の状態を縮小ＤＰＢにコピーする。
【０２６８】
ステップＳＰ２４２に続き、ステップＳＰ２４３において、ピクチャｊが完全ＤＰＢから除去されたか否かを確認するチェックをおこなう。ステップＳＰ２４３がＴＲＵＥであるとき、ステップＳＰ２５０を実行し、ステップＳＰ２４０を終了する。ステップＳＰ２４３がｆａｌｓｅであるとき、処理はステップＳＰ２４４に続く。
【０２６９】
ステップＳＰ２４４において、先読みバッファにおいて符号化ピクチャデータが利用可能か否かがチェックされる。先読みバッファが空の場合、先読み処理はもはや継続できない。よって、先読み処理が停止され、ステップＳＰ２４９が実行される。ステップＳＰ２４９において、当該ピクチャ用に選択された低減解像度で更新されたステップＳＰ２８０を伴って、ターゲットピクチャｊで用いられる低減解像度のオンタイムリムーバルモードが選択され（ステップＳＰ２６０）、リアルＤＰＢに以下の値が付与される。
【０２７０】
ｉ）リアルＤＰＢのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｊ］＝０ 
ｉｉ）リアルＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］＝０
ｉｉｉ）リアルＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］＝ｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ
【０２７１】
ステップＳＰ２４４でＦＡＬＳＥを出力した場合は、先読み処理を継続する。その後、ステップＳＰ２４５において、ステップＳＰ２４６でフル復号の実現可能性を調べるために使用されるｌｏｏｋａｈｅａｄ＿ｐｉｃ用の先読み情報が生成される。
【０２７２】
ステップＳＰ２４５の詳細は以下の通りである（図２７）。
【０２７３】
完全ＤＰＢバッファ画像およびオンタイムリムーバル情報は、ステップＳＰ２４５０からステップＳＰ２４５３において構文解析される。
【０２７４】
ステップＳＰ２４５０において、シンタックス要素の部分構文解析がおこなわれる。Ｈ．２６４に関し、復号ピクチャのバッファリングに関係する以下の情報全てが抽出される。
【０２７５】
・ＰＰＳ（ピクチャパラメータセット）の中のｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、ＳＨ（スライスヘッダ）の中のｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇ、ＳＨの中のｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、
・ＳＨの中のｓｌｉｃｅ＿ｔｙｐｅ、
・ＳＨの中のｎａｌ＿ｒｅｆ＿ｉｄｃ、
・ＳＨの中の全てのｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（  ）シンタックス要素、
・ＳＨの中の全てのｄｅｃ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ（  ）シンタックス要素、
・ビデオ表示情報（ＶＵＩ）、バッファリングピリオド付加情報（ＳＥＩ）メッセージシンタックス要素、およびピクチャタイミングＳＥＩメッセージシンタックス要素などの、ピクチャ出力タイミングに関係する全シンタックス要素。
【０２７６】
【表１】
2010092740.tif 000012
【０２７７】
ピクチャ出力のタイミング情報がＨ．２６４エレメンタリストリームに存在しないとき、その情報はトランスポートストリーム内にプレゼンテーション・タイムスタンプ（ＰＴＳ）およびデコーディング・タイムスタンプ（ＤＴＳ）の形で存在する可能性がある。
【０２７８】
表１のシンタックス要素を用いて、ステップＳＰ２４５２において、完全ＤＰＢ用の先読み情報が生成される。完全ＤＰＢの仮想画像は、復号規格のＤＰＢバッファ管理を用いて更新される。
【０２７９】
ステップＳＰ２４５２における完全ＤＰＢの最近の更新に基づき、ステップＳＰ２４５３において、オンタイムリムーバルインスタンスを、必要なときに縮小ＤＰＢに格納する。ステップＳＰ２４５３の詳細は以下の通りである（図２８）。ステップＳＰ２４５３０において、ステップＳＰ２４５２でピクチャｋが最近、完全ＤＰＢから除去されたか否かをチェックする。Ｎｏであれば、ステップＳＰ２４５３を終了する。そうでなければ（ステップＳＰ２４５３０でＴＲＵＥを出力）、ステップＳＰ２４５３２において、ピクチャｋがターゲットピクチャｊであるか否かをチェックする。Ｙｅｓであれば、ターゲットピクチャがＤＰＢ管理に従ってオンタイムに除去されるので、ｌｏｏｋａｈｅａｄ＿ｐｉｃの復号終了時のタイムインスタンスがｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅに格納される。そうでなければ（ステップＳＰ２４５３２でＦＡＬＳＥを出力）、ステップＳＰ２４５３４において、ピクチャｋのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが縮小ＤＰＢにおいて０に設定されているか否かをチェックする。０であれば、縮小ＤＰＢ内のピクチャｋのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅが、ｌｏｏｋａｈｅａｄ＿ｐｉｃの復号終了時のインスタンスに設定される。そうでなければ（ステップＳＰ２４５３４でＦＡＬＳＥを出力）、ステップＳＰ２４５３を終了する。
【０２８０】
ステップＳＰ２４５４からステップＳＰ２４５５において、必要であれば縮小ＤＰＢの更新をおこなう。
【０２８１】
図２７に戻り、ステップＳＰ２４５４において縮小ＤＰＢが更新されるべきか否かをチェックする。ステップＳＰ２４５４でＦＡＬＳＥが出力されると、縮小ＤＰＢの更新はされていない。効果的なことに、一旦ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがＦＡＬＳＥに設定されると（ステップＳＰ２４６５）、縮小ＤＰＢの状態はターゲットピクチャｊの先読み処理終了まで同じ状態に保たれる。そうでなければ（ステップＳＰ２４５４でＴＲＵＥを出力）、ステップＳＰ２４５５において縮小ＤＰＢの仮想画像を更新する。最近に復号されたピクチャを縮小ＤＰＢに追加するときに、以下の条件付与がおこなわれ、それに従って、ステップＳＰ２８０の更新を伴ってステップＳＰ２６０が実行される。
【０２８２】
ｉ）最近復号されたピクチャのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが１に設定される。
【０２８３】
ｉｉ）ＤＰＢで利用可能なサイズがフル解像度ピクチャに十分なものであれば、ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが１に設定され、復号ピクチャがフル解像度で縮小ＤＰＢに格納される。
【０２８４】
ｉｉｉ）ＤＰＢで利用可能なサイズがフル解像度ピクチャに不十分なものであれば、未定義のｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ＝１を伴うピクチャを縮小ＤＰＢから除去するために、縮小ＤＰＢバンピング処理をおこなう。バンピング処理に続いて、
・結果として得られた縮小ＤＰＢで利用可能なサイズがフル解像度ピクチャに十分なものであれば、ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが１に設定され、復号ピクチャがフル解像度で縮小ＤＰＢに格納される。
【０２８５】
・結果として得られた縮小ＤＰＢで利用可能なサイズがフル解像度ピクチャに不十分なものであれば、ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが０に設定され、復号ピクチャが低減解像度で縮小ＤＰＢに格納される。
【０２８６】
ｉｖ）ピクチャは、縮小ＤＰＢリムーバル処理の規則に従って、縮小ＤＰＢから除去される。
【０２８７】
縮小ＤＰＢのリムーバル処理を、以下に説明する。
【０２８８】
ｉ）ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ＝０を伴うピクチャに関し、
これらのピクチャは、これらのピクチャが完全ＤＰＢから除去されるのと同じインスタンスに縮小ＤＰＢから除去される。
【０２８９】
ｉｉ）ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ＝１を伴うピクチャに関し、
新たに符号化されたピクチャを格納する必要があり、ＤＰＢで利用可能なサイズがフル解像度ピクチャに十分なものでない場合は常に、縮小ＤＰＢバンピング処理をおこなう。縮小ＤＰＢバンピング処理により、予め定められた優先条件に基づいて優先順位が最も低いピクチャを除去する。考えられる優先条件は以下を含む。
【０２９０】
・最も古いピクチャを除去する（先入れ先出し）、または、
・Ｈ．２６４における最も低いｎａｌ＿ｒｅｆ＿ｉｄｃ等、最も低い参照レベルでピクチャを除去する、または、
・双方向予測符号化ピクチャ（Ｂ）から始まる等の、最も参照されることがないピクチャタイプを除去し、その後順方向予測符号化ピクチャ（Ｐ）、画面内符号化ピクチャ（Ｉ）の順に除去する。
【０２９１】
ステップＳＰ２４５６において、ｌｏｏｋａｈｅａｄ＿ｐｉｃによって用いられる参照ピクチャリストが、部分的に復号されたビットストリームの意味を解読することにより、生成される。
【０２９２】
ステップＳＰ２４５７において、ｌｏｏｋａｈｅａｄ＿ｐｉｃがターゲットピクチャｊであるか否かをチェックする。ステップＳＰ２４５７でＴＲＵＥを出力すると、ステップＳＰ２４５８およびステップＳＰ２４５９を実行する。そうでなければ（ステップＳＰ２４５７でＦＡＬＳＥを出力）、ステップＳＰ２４５を終了する。
【０２９３】
ステップＳＰ２４５８において、ターゲットピクチャｊの出力／表示時刻は、部分的に復号されたビットストリームまたはトランスポートストリーム情報から解読される。
【０２９４】
ステップＳＰ２４５９において、現在の完全ＤＰＢの状態（ターゲットピクチャｊが復号され、完全ＤＰＢが更新された後の状態）が、一時的なＤＰＢ画像である格納された完全ＤＰＢに格納される。ターゲットピクチャｊの先読み処理終了時に、格納された完全ＤＰＢが、後続のピクチャ（ピクチャ（ｊ＋１）等）の先読み処理に用いられるように、完全ＤＰＢにコピーバックされる。
【０２９５】
図２６に戻り、ステップＳＰ２４６において、ステップＳＰ２４５で生成された先読み情報を分析し、ｌｏｏｋａｈｅａｄ＿ｐｉｃの復号後に依然としてフル解像度モードが可能であるか否かをチェックする。ステップＳＰ２４６において、２つの条件が評価される。
【０２９６】
ｉ）条件１
ターゲットピクチャが縮小ＤＰＢから除去された直後のインスタンスから、ターゲットピクチャが完全ＤＰＢから除去されるインスタンスまで、ターゲットピクチャはいかなる参照リストにも存在しない。
【０２９７】
ｉｉ）条件２
ターゲットピクチャは、意図される出力／表示時刻の前には縮小ＤＰＢから除去されない。
【０２９８】
上記条件の何れかがＦＡＬＳＥであるとき、ＤＳ＿ｔｅｒｍｉｎａｔｅがＴＲＵＥに設定され、チェック済みのフレームにフル復号モードを用いることは不可能である。
【０２９９】
ステップＳＰ２４６の処理の詳細を以下に説明する（図２９）。まず、ＳＰ２４６２においてｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがチェックされる。ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがＴＲＵＥであれば、その後ステップＳＰ２４６４において、対象ｌｏｏｋａｈｅａｄ＿ｐｉｃが縮小ＤＰＢにもはや存在しないか否かをチェックする。ステップＳＰ２４６４でＦＡＬＳＥを出力すれば、ステップＳＰ２４６９において、出力フラグＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥを設定する。そうでなければ（ステップＳＰ２４６４でＴＲＵＥを出力）、ステップＳＰ２４６５においてｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢをＦＡＬＳＥに設定し、ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅをｌｏｏｋａｈｅａｄ＿ｐｉｃの復号終了時のタイムインスタンスに設定する。その後、ステップＳＰ２４６７において、条件２が評価される。条件２がＴＲＵＥであるとき、ステップＳＰ２４６７において、出力フラグＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥを設定する。そうでなければ（条件２がＦＡＬＳＥ）、ステップＳＰ２４６８において、出力フラグであるＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＴＲＵＥを設定する。ステップＳＰ２４６２に戻り、ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがＦＡＬＳＥであれば、ステップＳＰ２４６６において条件１を評価する。条件１がＴＲＵＥであれば、ステップＳＰ２４６７において、出力フラグＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥを設定する。そうでなければ（条件１がＦＡＬＳＥ）、ステップＳＰ２４６８において、出力フラグであるＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＴＲＵＥを設定する。ステップＳＰ２４６８によってＤＳ＿ｔｅｒｍｉｎａｔｅフラグが何れかに設定されると、ステップＳＰ２４６を終了する。
【０３００】
図２６に戻り、先読み処理を継続するか終了するかを決定するために、ステップＳＰ２４７において、ステップＳＰ２４６からのフラグＤＳ＿ｔｅｒｍｉｎａｔｅがチェックされる。
【０３０１】
ステップＳＰ２４７においてＤＳ＿ｔｅｒｍｉｎａｔｅがＦＡＬＳＥであるとき、ステップＳＰ２４８においてｌｏｏｋａｈｅａｄ＿ｐｉｃが１ずつインクリメントされ、ステップＳＰ２４２において復号順序が次のピクチャの先読み処理がおこなわれる。ステップＳＰ２４６において、完全ＤＰＢの仮想画像から最近除去されるターゲットピクチャがステップＳＰ２４２で検出されるまで、ＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥが継続的に出力される場合は、先読み処理はステップＳＰ２５０まで進む。ステップＳＰ２５０において、ターゲットピクチャｊ用にアーリーリムーバルモードが選択され、リアルＤＰＢの値が以下の通り付与される。
【０３０２】
ｉ）リアルＤＰＢのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｊ］＝１
ｉｉ）リアルＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］＝縮小ＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］
ｉｉｉ）リアルＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］＝縮小ＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］
【０３０３】
その一方、ステップＳＰ２４７においてＤＳ＿ｔｅｒｍｉｎａｔｅがＴＲＵＥであるとき、先読み処理ループを終了する。ステップＳＰ２４９において、ターゲットピクチャｊに用いるためにダウンサンプル解像度のオンタイムリムーバルモードが選択され、リアルＤＰＢに以下の値が付与される。
【０３０４】
ｉ）リアルＤＰＢのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｊ］＝０
ｉｉ）リアルＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］＝０
ｉｉｉ）リアルＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］＝ｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ
【０３０５】
ステップＳＰ２６０において、低減解像度が選択され、ステップＳＰ２８０において、フレームに付与された解像度が更新される。ステップＳＰ２４４またはステップＳＰ２４７による早期のループ終了により、完全ＤＰＢの状態の先読み更新は、ターゲットピクチャｊが完全ＤＰＢから除去されるインスタンスに到達しない可能性がある。この場合には、ステップＳＰ２４９においてｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅは正しい値を含まない。ステップＳＰ２５１においてそのような場合の対応をする。ステップＳＰ２５１において、ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｋ］＝０を伴う全てのピクチャｋに対し、ＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅｓ［ｋ］の値をリアルＤＰＢにコピーする（縮小ＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅｓ［ｋ］はステップ２４５３において付与される）。効果的なことに、ステップＳＰ２５１において、後続ピクチャ（ピクチャ（ｊ＋１）またはそれ以降）の先読み処理の間に、オンタイムリムーバルモードで、ピクチャｊのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅが更新される。先読みの仕組みによると、オンタイムリムーバルモードでのピクチャｊのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅは常に、リアルＤＰＢから除去される実際のオンタイムリムーバルインスタンスの前に付与される。
【０３０６】
先読み処理を終了する前に、ステップＳＰ２５２において、後続のターゲットピクチャの先読み処理のために、格納された完全ＤＰＢから完全ＤＰＢの状態をコピーする。その後、ステップＳＰ２４０を終了する。
【０３０７】
ステップＳＰ２４０の先読み処理の例示的な説明−例１
図３０に、典型的なピクチャ構造を示す。各ピクチャはＸＹとラベル付けされており、Ｘはピクチャタイプ、Ｙは表示順序を示す。ＸはＩ（画面内符号化ピクチャ）、Ｐ（順方向予測符号化ピクチャ）、Ｂ（参照ピクチャとして用いられない双方向予測符号化ピクチャ）、およびＢｒ（参照ピクチャとして用いられる双方向予測符号化ピクチャ）であってもよい。ピクチャ参照の配列を曲線矢印で示す。Ｉ２がビットストリーム内の最初のピクチャであるとし、Ｉ２の下位層充足性チェックが以下の通り進行する。
【０３０８】
先読み処理がｌｏｏｋａｈｅａｄ＿ｐｉｃ＝Ｉ２から開始する。Ｉ２の復号終了時（タイムインデックス＝０）に、Ｉ２が、完全ＤＰＢおよび縮小ＤＰＢの両方に格納される。ステップＳＰ２４５４において、縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｉ２］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｉ２］＝１として設定される。部分復号から、Ｉ２の出力時刻はタイムインデックス＝３のときであると分かる。このとき、Ｉ２はまだ縮小ＤＰＢから除去されておらず、その結果、ＳＰ２４６において、ＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥが設定され、ｌｏｏｋａｈｅａｄ＿ｐｉｃはＢ０に進められる。
【０３０９】
Ｂ０およびＢ１の先読み処理の間、Ｂ０およびＢ１はＤＰＢに格納されることなく直ちに表示されるため、完全ＤＰＢおよび縮小ＤＰＢの状態は変更されない。Ｐ５が復号された後、完全ＤＰＢおよび縮小ＤＰＢの両方が更新される。ステップＳＰ２４５４において、縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｐ５］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｐ５］＝１として設定される。先読み処理を継続しながら、Ｂ３およびＢ４が完全ＤＰＢおよび縮小ＤＰＢの状態を変更しないことが記録される。
【０３１０】
Ｐ８が復号された後、完全ＤＰＢおよび縮小ＤＰＢの両方が更新される。完全ＤＰＢは、［ＡＤＶＡＮＣＥＤ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＦＯＲ  ＧＥＮＥＲＩＣ  ＡＵＤＩＯＶＩＳＵＡＬ  ＳＥＲＶＩＣＥＳ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］の副項８．２．５．３の標準的なＨ．２６４処理によって更新される。説明を簡単にするため、この例においては縮小ＤＰＢバンピング処理に先入れ先出しのルールが用いられると仮定する。縮小ＤＰＢに空きスペースがないことから、Ｐ８を格納するためにタイムインデックス＝６のときにＩ２がバンピングにより出力される。このステップにより次にＳＰ２４６４が起動され、条件２をチェックする。Ｉ２が、その表示タイムインデックスよりも後のタイムインデックスで縮小ＤＰＢからバンピングにより出力されることから、条件２はＴＲＵＥであり、ＤＳ＿ｔｅｒｍｉｎａｔｅはＦＡＬＳＥに設定される。その後、先読み処理はＢ６へ続く。
【０３１１】
Ｂ６の先読み処理の間、Ｉ２はＢ６の復号の参照ピクチャとして用いられないことが分かる。したがって、ステップＳＰ２４６６において条件１がＴＲＵＥであるとき、ＤＳ＿ｔｅｒｍｉｎａｔｅがＦＡＬＳＥに設定される。その後、同様に先読み処理がＢ７からＢ１０へ続く。
【０３１２】
Ｐ１４の先読みの間、Ｐ１４の復号中に条件１はＴＲＵＥのままに保たれる（ＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥ）ことが分かり、Ｉ２は、最終的にＰ１４の復号終了時に完全ＤＰＢから除去される。よって、次にＳＰ２４２において先読みループが終了し、ＳＰ２５０においてｅａｒｌｙ  ｒｅｍｏｖａｌ  ｍｏｄｅをターゲットピクチャＩ２に割り当てる。
【０３１３】
【表２】
2010092740.tif 000013
【０３１４】
ステップＳＰ２４０の先読み処理の例示的な説明−例２
図３１に、その他の典型的なピクチャ構造を示す。この例においては、Ｉ３がビットストリームの最初のピクチャであると仮定する。この第２のピクチャ構造において、特定のＢピクチャ（Ｂ１、Ｂ６、Ｂ１０等）は、参照に用いられないが、これらのピクチャは復号終了後に直ちに表示されないため、ＤＰＢに格納される必要があることが分かる。したがって、完全ＤＰＢおよび縮小ＤＰＢの両方が、参照ピクチャに加えてこれらの非参照ピクチャも格納できなければならない。いくつかのピクチャに対する先読み処理を以下に説明する。
【０３１５】
Ｉ３に対する先読み処理
タイムインデックス＝０のときに、Ｉ３が、空の完全ＤＰＢおよび縮小ＤＰＢに格納される。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｉ３］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｉ３］＝１として設定される。Ｉ３の出力時刻はタイムインデックス＝５のときであると復号される。先読み処理は後続のピクチャ（Ｂｒ１、Ｂ０、Ｂ２等）へ続く。先読み処理がＢ２に到達したとき、Ｂ２が縮小ＤＰＢに入力できるように、Ｉ３がタイムインデックス＝３のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これは、意図されるタイムインデックス＝５のときにＩ３が表示できず、条件２は満たされないことを意味する。よって、ステップＳＰ２４７において先読み処理が終了し、オンタイムリムーバルモードを用いるようＩ３が選択される。
【０３１６】
Ｂｒ１に対する先読み処理
Ｂｒ１に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝１で、最近復号されたＢｒ１が、完全ＤＰＢおよび縮小ＤＰＢに格納される。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｂｒ１］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｂｒ１］＝１として設定される。Ｂｒ１の出力時刻は、タイムインデックス＝３のときであると復号される。先読み処理は後続のピクチャへ続く。先読み処理がＢ２に到達したとき、Ｂｒ１がタイムインデックス＝３のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これはＢｒ１の意図される出力インスタンスと適合しているため、条件２は満たされる。その後、先読み処理はＰ７へ続く。Ｐ７の復号中に、Ｂｒ１は参照ピクチャとして用いられず、よって条件１は満たされる。この例において、Ｐ７の復号終了時にＤＰＢからＢｒ１を除去するために、ＤＰＢ管理コマンドがビットストリーム内で発行されることが定義されている。よって、タイムインデックス＝４のときに、Ｂｒ１が完全ＤＰＢから除去される。その後、ステップＳＰ２４２において先読み処理が終了し、Ｂｒ１がｅａｒｌｙ  ｒｅｍｏｖａｌ  ｍｏｄｅを用いることが選択される。
【０３１７】
Ｂ０に対する先読み処理
Ｂ０に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝２で、ステップＳＰ２４５における部分復号により、Ｂ０をＤＰＢに格納する必要がないことが分かる。よって、ステップＳＰ２４２において、完全ＤＰＢおよび縮小ＤＰＢを変更することなく先読み処理が終了する。Ｂ０の物理的な／実際の復号終了時に、Ｂ０はリアルＤＰＢに格納されることなく、出力／表示のために直ちに送信される。
【０３１８】
Ｂ２に対する先読み処理
Ｂ２に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝２で、ステップＳＰ２４５における部分復号により、Ｂ２をタイムインデックス＝４までＤＰＢに格納する必要があることが分かる。その後、Ｂｒ１が縮小ＤＰＢからバンピングにより出力、Ｂ２が縮小ＤＰＢに格納される。先読み処理はＰ７へ続く。Ｐ７の復号終了時（タイムインデックス＝４）に、Ｂ２が、縮小ＤＰＢからバンピングにより出力され、Ｐ７が縮小ＤＰＢに格納される。Ｂ２を縮小ＤＰＢからバンピングにより出力するタイムインデックスは、完全ＤＰＢからＢ２を除去するタイムインデックスと適合することから、条件２は満たされる。Ｂ２は参照ピクチャとして用いられず、よって条件１は満たされる。したがって、Ｂ２に対しｅａｒｌｙ  ｒｅｍｏｖａｌ  ｍｏｄｅが選択される。
【０３１９】
Ｐ７に対する先読み処理
Ｐ７に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝４で、最近復号されたＰ７が、完全ＤＰＢおよび縮小ＤＰＢに格納される（Ｂ２は縮小ＤＰＢからバンピングにより出力される）。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｐ７］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｐ７］＝１として設定される。Ｐ７の出力時刻はタイムインデックス＝９のときであると解読される。先読み処理はＢｒ５へ続く。Ｂｒ５の復号終了時に、Ｐ７がタイムインデックス＝５のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これは、意図されるタイムインデックス＝９のときにＰ７が表示できず、条件２は満たされないことを意味する。よって、ステップＳＰ２４８において先読み処理が終了し、Ｐ７がオンタイムリムーバルモードを用いるよう選択される。
【０３２０】
Ｂｒ５に対する先読み処理
条件１が満たされない状況を説明するために、Ｐ１１のピクチャ参照がＢｒ５を含むように一部変更される（図３１）。Ｂｒ５に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝１で、最近復号されたＢｒ５が、完全ＤＰＢおよび縮小ＤＰＢに格納される。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｂｒ５］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｂｒ５］＝１として設定される。Ｂｒ５の出力時刻はタイムインデックス＝７のときであると解読される。先読み処理は後続のピクチャへ続く。先読み処理がＢ６に到達したとき、Ｂｒ５がタイムインデックス＝７のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これはＢｒ５の意図される出力インスタンスと適合しているため、条件２は満たされる。その後、先読み処理はＰ１１へ続く。Ｐ１１の復号中に、Ｂｒ５はＰ１１によって参照ピクチャとして用いられ、よって条件１は満たされないことが分かる。その後、ステップＳＰ２４８において先読み処理が終了し、Ｂｒ５がオンタイムリムーバルモードを用いるよう選択される。
【０３２１】
後続ピクチャに対する先読み処理のプロセスは、同様の方法で実行可能である。
【０３２２】
上記例示的な説明から、先読み処理により、デコーダが、縮小メモリビデオデコーダにおいてピクチャレベルでフル解像度と低減解像度の復号を適応的に切り換えることが可能になることが分かる。例１のピクチャ構造に関し、全ての参照ピクチャが縮小サイズＤＰＢにフル解像度で格納可能であることが推測できる。例２のピクチャ構造に関し、いくつかの参照ピクチャがフル解像度ＤＰＢに格納可能である。可能であれば常にフル解像度の参照ピクチャを格納することにより、縮小メモリデコーダのエラードリフトを従来の縮小メモリビデオデコーダよりも少なくすることができ、よってより良好な復号画像の視覚的品質を得ることができる。
【０３２３】
【表３】
2010092740.tif 000014
【０３２４】
【表４】
2010092740.tif 000015
【０３２５】
【表５】
2010092740.tif 000016
【０３２６】
【表６】
2010092740.tif 000017
【０３２７】
【表７】
2010092740.tif 000018
【０３２８】
【表８】
2010092740.tif 000019
【０３２９】
フル解像度／低減解像度のデコーダ（ステップＳＰ３０）
図３２を参照のこと。このステップにおいて、ビデオストリームは復号対象ピクチャおよびステップＳＰ２０で予備決定された参照ピクチャの解像度に基づいて復号される。
【０３３０】
ビデオビットストリームは、増大容量バッファ（ステップＳＰ１０）から構文解析・エントロピー復号手段（ステップＳＰ３０４）に送られる。エントロピー復号において、ＣＡＶＬＤまたはＣＡＢＡＣの何れかを実行できる。逆量子化器は、構文解析・エントロピー復号手段に接続されており、エントロピー復号係数を逆量子化する（ステップＳＰ３０５）。フレームバッファ（ＳＰ５０）は、ステップＳＰ２０で決定された解像度のビデオピクチャを格納する。各フレームに付与された解像度は、予め定められたダウン変換率またはフル解像度である。ステップＳＰ２８０において、参照フレームの解像度に関連する情報がステップＳＰ２０によってステップＳＰ３０に供給される。低減解像度で復号された画像に関し、画像データは、ステップＳＰ５０において、低減解像度のダウンサンプル画像の形で、または圧縮フォーマットで格納される。フル解像度画像はその元の形式で格納される（ステップＳＰ５０）。ＭＣに用いられる参照フレームが低減解像度であれば、ダウン変換されたビデオ画素は、ステップＳＰ３１０においてアップコンバータによって取得され、ＭＣに用いられるフル解像度の画素を生成するために再構築される（画像のアップサンプリングまたは圧縮データの伸長は、用いられるダウン変換モード次第でおこなわれる）。その他に、参照フレームがフェッチされ、ＭＣ部にそのまま供給される。データは、ＭＣ入力にあるデータセレクタを介してＭＣ手段に供給される。参照フレームが低減解像度であれば、アップ変換された画像がＭＣ入力用に選択され、そうでなければ、フレームバッファ（ステップＳＰ５０）からフェッチされた画像データがＭＣ入力用にそのまま選択される。ＭＣ手段は、復号パラメータに基づいて予測画素を得るために、フル解像度の画素に基づいて画像予測をおこなう（ステップＳＰ３１４）。ＩＤＣＴブロック（ＳＰ３０６）は、逆量子化係数を受信し、変換画素を得るためにそれらの係数を変換する。必要であれば、近隣ブロックのデータを用いて画面内予測をおこなう（ステップＳＰ３０８）。画面内予測値が存在する場合、予測画素値を得るために、動き補償画素へ加算される（ステップＳＰ３０９）。その後、再構成画素を得るために、変換画素および予測画素を合算する（ステップＳＰ３０９）。デブロックフィルタ処理は、最終的な再構築画素を得るために必要であればおこなわれる（ＳＰ３１８）。ステップＳＰ２８０から、復号中フレームの解像度が低減解像度であれば、再構成画素は、コンプレッサまたは画像ダウンサンプラでダウン変換され（ステップＳＰ３１２）、フレームバッファに格納される。復号中フレームの解像度がフル解像度であれば、再構成画素は、そのままフレームバッファに格納される。縮小フレームバッファへの入力に存在するデータセレクタは、復号対象ピクチャがフル解像度であればフル解像度データを選択し、そうでなければ、ダウン変換画像データを選択する。
【０３３１】
ダウン変換手段（ステップＳＰ３１２）およびアップ変換手段（ステップＳＰ３１０）
Ｈ．２６４ビデオ復号は、画面内予測の利用によって参照画像の情報が損失する際に起こり得るノイズの発生に影響を受けやすい。本実施形態において低減解像度での復号は必要時にしかおこなわれないが、良好な視覚的品質の復号画像を生成するために、ダウン変換時のエラー発生を最小限に削減する必要がある。
【０３３２】
本好適な実施形態において、ダウンサンプリング処理において切り捨てられるダウンサンプルデータ内の高次変換係数の一部を埋め込む技術を利用して、ダウンサンプリング処理をおこなう。アップサンプリング処理では、ダウンサンプリング処理において失ったダウンサンプルデータ内の高次変換係数の一部を復元するために、ダウンサンプルデータ内に埋め込まれた情報を抽出して利用する。
【０３３３】
ダウンサンプリング処理およびアップサンプリング処理において、フーリエ変換（ＤＦＴ）、アダマール変換、カルーネンレーベ変換（ＫＬＴ）、離散コサイン変換（ＤＣＴ）、ルジャンドル変換等の、可逆的直交周波数変換を利用してもよい。本実施形態では、ダウンサンプリング処理およびアップサンプリング処理において、ＤＣＴ／ＩＤＣＴに基づく機能を利用する。
【０３３４】
その代わりに、他の最適なダウン変換技術をアップ変換およびダウン変換に利用してもよい。代替の圧縮／伸長技術の例が背景技術［Ｖｉｄｅｏ  Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｅｎｔ  ｆｏｒ  ＭＰＥＧ  Ｖｉｄｅｏ  Ｄｅｃｏｄｅ  ａｎｄ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍ，  Ｚｏｒａｎ  Ｃｏｒｐｏｒａｔｉｏｎ、米国特許第６１９８７７３号明細書  Ｂ１、２００１年３月６日］に記載されている。
【０３３５】
ダウンサンプリング手段（ＳＰ３１２）
図３３は、低減解像度画像を生成するための本発明の実施の形態におけるダウンサンプリング手段に関する概略フローチャートである。フル解像度の空間データ（サイズＮＦ）および意図されるダウンサンプルデータサイズ（サイズＮｓ）は、ステップＳＰ３２２への入力として送られる。
【０３３６】
ステップＳＰ３２２−フル解像度順方向変換
ＤＣＴおよびＩＤＣＴカーネルＫ
ＮｘＮの二次元ＤＣＴは上記（式１）のように定義される。
【０３３７】
ここで、上記（式１）において、ｘ，ｙはサンプルドメインにおける空間座標であり、ｕ，ｖは変換ドメインにおける座標である。上記（式２）参照。
【０３３８】
数学的実数ＩＤＣＴは上記（式３）のように定義される。
【０３３９】
ＩＤＣＴ回路の実現に際し、上記方程式の代わりにマトリクス演算を用いてもよい。変換カーネルが定義されており、ダイレクトＤＣＴおよびＩＤＣＴ演算はまさにマトリクス乗算である。（式１）および（式３）により、ＤＣＴ／ＩＤＣＴ変換カーネルＫ（ｍ，ｎ）（ｍ＝［０，Ｎ］，ｎ＝［０，Ｎ］）が以下の（式１０）のように導かれる。
【０３４０】
【数１０】
2010092740.tif 000020
【０３４１】
フル解像度（ＮＦｘＮＦサイズ）でのＤＣＴ係数（Ｕ）は、順方向ＤＣＴ（ＦＤＣＴ）カーネルＫ（Ｎ＝ＮＦである（式１０））をマトリクス乗算し、フル解像度の空間データの移項とすることによって得られる（ステップＳＰ３２２）。これはＵ＝ＫＦ．ＸＴと表される。Ｘは、フル解像度の空間データを表す。
【０３４２】
ステップＳＰ３２４−高次変換係数の抽出および符号化
ＮＦ高次変換係数は、ＤＣＴ演算の結果として得られる。切り捨てられるべき変換係数の数は、ＮＦ−ＮＳで表され、符号化できる高次変換係数は、ＮＳ＋１からＮＦまでの範囲のものである。
【０３４３】
高次変換係数は、符号化される（図３４のステップＳＰ３２４０）前に、まず量子化される。高次変換係数は、線形量子化スケールまたは非線形量子化スケールを用いて符号化可能である。量子化方式の設計において遵守すべきルールは、埋め込み後のダウンサンプル画素の総情報量は、埋め込み前のものより常に多くなければならないというものである。
【０３４４】
ＶＬＣはその後、量子化高次変換係数に付与される（図３４のステップＳＰ３２４２）。本発明においては、ＶＬＣの長さを、より大きい量子化変換係数を符号化するために累進的に増加させる。これは、低減解像度データにＶＬＣを埋め込むと、低減解像度のコンテンツが減損する結果となることからおこなわれる。したがって、より長いＶＬＣを用いて大きな変換係数を埋め込むことはまさに理にかなっており、その結果として得られる埋め込みのゲインは正の数となる。量子化係数のＶＬＣ符号化テーブルの設計において遵守すべき重大なルールは、埋め込み後のダウンサンプル画素の総情報量は、埋め込み前のＶＬＣコードと量子化係数の全組の総情報量よりも常に多くなければならないというものである。
【０３４５】
ステップＳＰ３２６−低減解像度逆変換に用いられる変換係数スケーリング
ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、ＮＦ−ポイントＤＣＴ低周波数係数のＮＳ−ポイントＩＤＣＴを取る前に、当該係数はスケーリングされなければならない［引例：Ｍｉｎｉｍａｌ  Ｅｒｒｏｒ  Ｄｒｉｆｔ  ｉｎ  Ｆｒｅｑｕｅｎｃｙ  Ｓｃａｌａｂｉｌｉｔｙ  ｆｏｒ  Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ  ＤＣＴ  ＣＯＤＩＮＧ，  Ｒｏｂｅｒｔ  Ｍｏｋｒｙ  ａｎｄ  Ｄｉｍｉｔｒｉｓ  Ａｎａｓｔａｓｓｉｏｕ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ］。ＤＣＴ係数はその後、ＩＤＣＴの前に、 
【０３４６】
【数１１】
2010092740.tif 000021
【０３４７】
の因数によってスケールダウンされる。
【０３４８】
ステップＳＰ３２８−低減解像度逆変換手段
ＩＤＣＴは、間引きに用いられた逆変換カーネル（Ｎ＝Ｎｓである（式１０））とより低い解像度の逆変換に用いるために選ばれスケーリングされたＤＣＴ係数の逆変換カーネルとを乗算することによっておこなわれる（ステップＳＰ３３０）。これは、Ｘｓ＝ＫｓＴ．Ｕ．と表される。
【０３４９】
ステップＳＰ３３０−符号化高次変換係数情報埋め込み手段
本実施の形態において、空間透かし技術が用いられる。または、透かしは変換ドメインにおいておこなわれてもよい。埋め込み方式の効果を確実にするため、埋め込み方式は、高次変換係数情報を埋め込む前よりも多い総情報量を確保できるものでなければならない。
【０３５０】
低減解像度空間データの変数は、チェックされる（図３５のステップＳＰ３３００）。変数が非常に小さい場合、画素値は、周辺画素の画素値に非常に近い（平坦領域）。低解像度画素の変数は、以下の数式を用いて演算される。
【０３５１】
【数１２】
2010092740.tif 000022
【０３５２】
ここで、Ｎｓは、低解像度画素の数である。ここで、μは、
【０３５３】
【数１３】
2010092740.tif 000023
【０３５４】
から得られる低解像度画素の平均値である。例えば、それぞれ１２１、１２２、１２３の値を有する３つの画素に関し、μは１２２であり、変数は０．６６６である。
【０３５５】
変数が予め定められた閾値ＴＨＲＥＳＨＯＬＤ＿ＥＶＥＮよりも小さい場合は、低減解像度空間データは、高次変換係数を埋め込まれることなく出力される。ステップＳＰ３３００がｆａｌｓｅであるとき、高次変換係数の埋め込みはステップＳＰ３３２０でおこなわれる。まず、影響された複数のＬＳＢを０でマスキングし、低減解像度画素のＬＳＢを切り捨てる（ステップＳＰ３３２２）ことによって、ステップＳＰ３３２０の空間透かしがおこなわれ（図３６）、その後、複数のＬＳＢに、ステップＳＰ３２４２において得られたＶＬＣコードを、ＯＲ算術関数を用いて埋め込む。
【０３５６】
空間的に透かしを入れられた低減解像度空間データは、外部のメモリバッファに送られ、将来の参照用に格納される。
【０３５７】
ステップＳＰ３４２−埋め込み高次係数情報の復号
図３８を参照のこと。ラインＮｓの空間解像度データは、符号化および空間透かし方式にしたがって、ステップＳＰ３１０における低減解像度データの複数のＬＳＢを用いて復号される。
【０３５８】
ステップＳＰ３４２０（図３９）において、低減解像度空間データの変数は、ＴＨＲＥＳＨＯＬＤ＿ＥＶＥＮよりも低くなるようチェックされる。ｔｒｕｅであるときは、その領域は平坦領域である可能性が高いため、低減解像度空間データには情報は埋め込まれない。ｆａｌｓｅであるときは、当該複数のＬＳＢはＶＬＣ復号される（ＳＰ３４３０）。埋め込まれたＶＬＣコードを抽出するために、ステップＳＰ３４３２において可変長復号がおこなわれる。抽出されたＶＬＣコードは、量子化高次変換係数を得る（ステップＳＰ３４３４）ために、予め定義された参照用ＶＬＣテーブルを用いてチェックされる。低減解像度画素は、まず埋め込みに用いられたＬＳＢを０でマスキングすることで逆量子化され、その後、ステップＳＰ３４４へ送られる前に、ＶＬＣの埋め込みに用いられた複数のＬＳＢの値の半分に相当する値が加算される（ステップＳＰ３４３６）。
【０３５９】
ステップＳＰ３４４−低減解像度順方向変換
低減解像度順方向変換をおこなうことにより、空間入力の低減解像度変換係数が、次のステップＳＰ３４４において得られる。この演算は、Ｕ＝ＫＳ．ＸＳＴと表される。ＸＳはダウンサンプルドメインにおける空間データを表し、ＫＳは低減解像度ＤＣＴ変換カーネルを表す。
【０３６０】
ステップＳＰ３４６−スケールアップされたＤＣＴ係数
ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、ＮＳ−ポイントＤＣＴ低周波数係数のＮＦ−ポイントＩＤＣＴを取る前に、当該係数はスケーリングされなければならない［引例：Ｍｉｎｉｍａｌ  Ｅｒｒｏｒ  Ｄｒｉｆｔ  ｉｎ  ｆｒｅｑｕｅｎｃｙ  ｓｃａｌａｂｉｌｉｔｙ  ｆｏｒ  Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ  ＤＣＴ  Ｃｏｄｉｎｇ，  Ｒｏｂｅｒｔ  Ｍｏｋｒｙ  ＡＮＤ  Ｄｉｍｉｔｒｉｓ  Ａｎａｓｔａｓｓｉｏｕ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ］。ＤＣＴ係数はその後、ＩＤＣＴの前に、
【０３６１】
【数１４】
2010092740.tif 000024
【０３６２】
の因数によってスケールアップされる。
【０３６３】
ステップＳＰ３４８−推定された高次変換係数のパディング
ステップＳＰ３４８において、ステップＳＰ３４４で復号された高次変換係数は、高ＤＣＴ係数として、ステップＳＰ３４６で得られたＤＣＴ係数にパディングされる。当該高次変換係数の埋め込みには含まれない高ＤＣＴ係数は、０でパディングされる。
【０３６４】
ステップＳＰ３５０−フル解像度ＩＤＣＴ
ステップＳＰ３５０において、ＩＤＣＴは、間引きに用いられた逆変換カーネル（Ｎ＝ＮＦである（式１０））と、ステップＳＰ３４８で選択して得られたフル解像度ＤＣＴ係数とを乗算することによっておこなわれる。これは、
【０３６５】
【数１５】
2010092740.tif 000025
【０３６６】
で表される。ここで、
【０３６７】
【数１６】
2010092740.tif 000026
【０３６８】
はフル解像度の再構築空間データを表し、
【０３６９】
【数１７】
2010092740.tif 000027
【０３７０】
はステップＳＰ３４８における再構築ＤＣＴ係数を表し、ＫＦは低減解像度ＤＣＴ変換カーネルを表す。
【０３７１】
ビデオディスプレイサブシステム（ステップＳＰ４０）
ビデオディスプレイサブシステム（ステップＳＰ４０）は、ビデオを正しい順序および解像度で表示するために、ステップ２０で得たフレームの解像度情報、およびステップＳＰ３０で得た表示順序情報を用いる。当該ビデオディスプレイサブシステムは、ピクチャ表示順序にしたがって、表示する目的でフレームバッファからピクチャを取得する。当該表示ピクチャが圧縮されていれば、対応するデコンプレッサを用いてデータをフル解像度に変換する。当該表示ピクチャがダウンサンプリングされていれば、包括画像アップスケール機能によって、ポスト処理部を用いてフル解像度にアップスケール可能である。当該画像がフル解像度であれば、そのまま表示される。
【０３７２】
プレパーサを伴わない適応的フル解像度／低減解像度のビデオデコーダの簡易な実施態様
本実施形態において、フレームの解像度を決定するプレパーサを用いる必要のない、代替の簡易な実施態様を提供する。
【０３７３】
図４２を参照のこと。本実施形態において、ビデオバッファサイズが従来のデコーダ（ステップＳＰ１０’）のビデオバッファのサイズ以下のビデオバッファにより、圧縮ビデオデータが、ステップＳＰ３０’において適応的フル解像度／低減解像度ビデオデコーダに供給される。ステップＳＰ３０’において、構文解析・エントロピー復号手段は、復号中シーケンスで用いられる参照フレーム数を確認するために上位層パラメータをチェックする。用いられる参照フレーム数が、縮小サイズフレームバッファ（ステップＳＰ５０’）で扱えるフル参照フレームの数以下である場合、ステップＳＰ３０’においてフル解像度で復号される。そうでなければ、ステップＳＰ３０’において低減解像度で復号される。その後、復号画像データは、ステップＳＰ５０’の縮小サイズフレームバッファに格納される。当該復号画像はビデオディスプレイサブシステムに送信され（ステップＳＰ４０）、ビデオディスプレイサブシステムは、表示目的のため、必要であれば、フェッチされたデータを正しい解像度にアップ変換する。 
【０３７４】
代替の簡易な実施態様に用いられるビデオバッファ（ステップＳＰ１０’）
図４２の代替の簡易な実施態様に関し、ステップＳＰ１０’のビデオバッファサイズは、従来のデコーダに必要なビデオバッファサイズ以下である。これは、フル解像度で復号するか低減解像度で復号するかを決定するために構文解析をおこなうパラメータが主復号ループ内で実行できるからである。上位層パラメータに定義されたパラメータセットを有するピクチャを復号する前に、その上位層パラメータのみが構文解析されるため、先読み構文解析の必要はない。しかしながら、この代替の簡易な実施態様は、ＤＰＢのオペレーションに影響する下位層パラメータがフレーム毎に必要なフレーム数を決定するためにチェックされることがないため、完全な実施態様と比較して非効果的である。例えば、上位層パラメータは、４つの参照フレームを最大限に使用することを示してもよい。しかしながら、フレームの復号において、用いられる参照フレームの実際の数は、ほとんどのピクチャの場合、２フレームのみであってよい。
【０３７５】
縮小サイズフレームバッファ（ステップＳＰ５０’）
縮小サイズフレームバッファのサイズは、ステップＳＰ５０において代替の簡易な実施態様のために定義されたサイズと実質的に同じである。しかしながら、フレームバッファＤＰＢ管理は、上位パラメータ層（Ｈ．２６４の場合はシーケンスパラメータセット）に定義されるピクチャについて、フル解像度または縮小サイズでフレームを格納するため、ステップＳＰ５０の管理よりもずっと簡易化されたものである。
【０３７６】
代替の簡易な実施態様のフル解像度／低減解像度のデコーダ（ステップＳＰ３０’）
図４４を参照のこと。ステップＳＰ３０’のオペレーションは、プレパーサを用いずにステップＳＰ３０における復号中フレームの解像度を決定するという点で、ステップＳＰ３０と異なる。
【０３７７】
図４４を参照のこと。ビデオビットストリームは、ビットストリームバッファ（ＳＰ１０’）から構文解析・エントロピー復号手段（ステップＳＰ３０４’）に送られる。エントロピー復号において、ＣＡＶＬＤまたはＣＡＢＡＣの何れかを実行できる。ステップＳＰ３０４’において、上位層パラメータ（Ｈ．２６４の場合はＳＰＳ）に定義されるピクチャの復号モードを決定するために、ステップＳＰ２００、ステップＳＰ２２０、ステップＳＰ２７０、およびステップＳＰ２８０（図４３）を実行する。ここで、上位層パラメータのみが、ビットストリームシーケンスで用いられる参照フレームの数を決定するために構文解析される。逆量子化器は、構文解析・エントロピー復号手段に接続されており、エントロピー復号係数を逆量子化する（ステップＳＰ３０５）。フレームバッファ（ＳＰ５０）は、ステップＳＰ２０で決定された解像度のビデオピクチャを格納する。各フレームに付与された解像度は、予め定められたダウン変換率またはフル解像度である。低減解像度で復号された画像に関し、画像データは、ステップＳＰ５０において、低減解像度のダウンサンプル画像の形で、または圧縮フォーマットで格納される。フル解像度画像はその元の形式で格納される（ステップＳＰ５０）。ＭＣに用いられる参照フレームが低減解像度であれば、ダウン変換されたビデオ画素は、アップコンバータによって取得され、ステップＳＰ３１０において、動き補償（ＭＣ）手段で用いるフル解像度の画素を生成するために再構築される（画像のアップサンプリングまたは圧縮データの伸長は、用いられるダウン変換モード次第でおこなわれる）。その他に、参照フレームがフェッチされ、ＭＣ部にそのまま供給される。データは、ＭＣ入力にあるデータセレクタを介してＭＣ手段に供給される。参照フレームが低減解像度であれば、アップ変換された画像がＭＣ入力用に選択され、そうでなければ、フレームバッファ（ステップＳＰ５０）からフェッチされた画像データがＭＣ入力用にそのまま選択される。ＭＣ手段は、復号パラメータに基づいて予測画素を得るために、フル解像度の画素に基づいて画像予測をおこなう（ステップＳＰ３１４）。ＩＤＣＴブロックは、逆量子化された係数を受信し、変換画素を得るためにそれらの係数を変換する（ＳＰ３０６）。必要であれば、近隣ブロックのデータを用いて画面内予測をおこなう（ステップＳＰ３０８）。画面内予測値が存在する場合は、予測画素値を得るために、動き補償された画素に加算される（ステップＳＰ３０９）。その後、再構成画素を得るために、変換画素および予測画素を合算する（ステップＳＰ３０９）。デブロックフィルタ処理は、最終的な再構築画素を得るために必要であればおこなわれる（ＳＰ３１８）。ステップＳＰ２８０から、復号中フレームの解像度が低減解像度であれば、再構成画素は、コンプレッサまたは画像ダウンサンプラでダウン変換され（ステップＳＰ３１２）、フレームバッファに格納される。復号中フレームの解像度がフル解像度であれば、再構成画素は、そのままフレームバッファに格納される。縮小フレームバッファへの入力に存在するデータセレクタは、復号対象ピクチャがフル解像度であればフル解像度データを選択し、そうでなければ、ダウン変換画像データを選択する。
【０３７８】
上位パラメータ層のチェック（ステップＳＰ２００、ステップＳＰ２２０、ステップＳＰ２７０、ステップＳＰ２８０）
図４３を参照のこと。ここで、ステップＳＰ２００における縮小ＤＰＢのオペレーションの可能性を確認するため、使用される参照フレームの数がチェックされる。Ｈ．２６４において、シーケンスパラメータセット（ＳＰＳ）内の「ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅ」のフィールドは、次のＳＰＳまでピクチャの復号に用いられる参照フレームの数を示す。使用される参照フレームの数が、縮小ＤＰＢフレームメモリがフル解像度で保持可能な数以下であれば、フル解像度復号モードが割り当てられ（ステップＳＰ２２０）、後にデコーダおよびディスプレイサブシステムによってビデオ復号およびメモリ管理に用いられるフレーム解像度リスト（ステップＳＰ２８０）が、それに従って更新される。ステップＳＰ２２０において縮小ＤＰＢの充足性チェックがｆａｌｓｅである場合、低減解像度復号モードが割り当てられる（ステップＳＰ２７０）。それにしたがって、フレーム解像度リスト（ステップＳＰ２８０）が更新される。
【０３７９】
フル解像度の参照フレーム２つを有する縮小サイズバッファの例示的なビデオデコーダで用いられる復号対象ピクチャの解像度付与を表１に示す。
【０３８０】
【表９】
2010092740.tif 000028
【０３８１】
ステップＳＰ２００において、用いられる参照フレームの数が４であれば、それは縮小サイズフレームバッファで扱える参照フレームの数を超えているので、フレームバッファが４つの低減解像度画像データを格納できるように、復号解像度が低減解像度に付与され、かつ復号画像がフル解像度の半分にダウン変換される。一方、用いられる参照フレームの数が２以下であれば、縮小サイズフレームバッファが参照フレームをフル解像度で格納する、フル復号モードが割り当てられる。 
【０３８２】
本発明の例示的なシステムＬＳＩ
プレパーサを伴う例示的なシステムＬＳＩ
例示的な実施の形態における装置およびプロセスを、例えば、図４５に概略的に示されるシステムＬＳＩとして実現することができる（なお、点線で囲まれた機能は本願の範囲を超えており、説明に万全を期すために提示されているに過ぎないため、簡潔に記載するにとどめる。）。
【０３８３】
当該システムＬＳＩは、入力圧縮ビデオストリームを外部メモリのビデオバッファ用に設計された領域に転送するための周辺機器を以下の通り含む。すなわち、各ピクチャに対し、縮小ＤＰＢ充足性チェックに基づいて、ビデオ復号モード（フル解像度復号モードまたは低減解像度復号モード）を決定して割り当てるプレパーサ、関連フレームの復号情報を供給するピクチャ復号モードおよびピクチャアドレスバッファ、当該プレパーサによって付与された解像度で圧縮ＨＤＴＶビデオデータを復号するビデオデコーダＬＳＩ、復号参照ピクチャおよび入力ビデオストリームを格納する縮小メモリ容量外部メモリ、必要であればダウンサンプルデータを所望の解像度へスケーリングするＡＶ  Ｉ／Ｏ部、および、ビデオデコーダとＡＶ  Ｉ／Ｏ部と外部データメモリの間のデータアクセスを、ピクチャ復号モードおよびピクチャアドレスバッファ内の情報に従って制御するメモリコントローラである。
【０３８４】
入力圧縮ビデオストリームおよびオーディオストリームは、外部ソースから周辺インターフェース経由でデコーダに供給される（ステップＳＰ６３０）。外部ソースの例としては、ＳＤカード、ハードディスクドライブ、ＤＶＤ、ブルーレイディスク（ＢＤ）、チューナ、ＩＥＥＥ１３９４ファイアーウォール、または、周辺機器相互連結（ＰＣＩ）バス経由で当該周辺インターフェースへ接続され得るその他全てのソースが含まれる。
【０３８５】
当該ストリームコントローラは、以下の二つの主要機能を果たす。すなわち、ｉ）オーディオデコーダおよびビデオデコーダで用いるためにオーディオストリームとビデオストリームを逆多重化する（ステップＳＰ６０３）機能と、ｉｉ）周辺機器から、復号規格にしたがってビデオバッファ専用の格納スペースを備える外部メモリ（ＤＲＡＭ）（ステップＳＰ６１６）へ入力ストリームを取得することを規制する機能である。Ｈ．２６４規格に、ビットストリームの部分を配置および除去する手順がセクションＣ．１．１およびＣ．１．２に記載されている。ビデオバッファ専用の格納スペースは、復号規格のビデオバッファ要件に適合していなければならない。例えば、Ｈ．２６４レベル４．０の最大符号化ピクチャバッファサイズ（ＣＰＢ）は、３０，０００，０００ビット（３，７５０，０００バイト）である。レベル４．０は、ＨＤＴＶ用である。
【０３８６】
主な実施形態に説明したとおり、デコーダに先読み予備解析のための追加バッファを備えるために、ビデオバッファの容量が増やされている。Ｈ．２６４レベル４．０の最大ビデオビットレートは２４Ｍｂｐｓである。追加の０．３３３ｓの先読み予備解析を達成するには、さらに約８メガビット（１，０００，０００バイト）のビデオバッファストレージを追加する必要がある。そのようなビットレートの１フレームは、平均で８００，０００ビットであり、１０フレームは平均で８，０００，０００ビットである。ストリームコントローラは、復号規格に従って入力ストリームを取得する。しかしながら、ストリームコントローラは、意図される除去時刻から０．３３３ｓだけ遅延した時刻に、ストリームをビデオバッファから除去する。これは、プレパーサが、実際の復号開始前に各フレームの復号モードに関する情報をより多く集めることができるように、実際の復号は０．３３３ｓだけ遅延しなければならないためである。
【０３８７】
最大ビデオバッファを格納する以外に、外部ＤＲＡＭはＤＰＢを格納する。Ｈ．２６４レベル４．０の最大ＤＰＢサイズは１２，５８２，９１２バイトである。２０４８×１０２４画素のピクチャのためのワーキングバッファと共に、フレームメモリを格納するために外部メモリに合計で１５，７２７，８７２バイトが必要である。外部メモリは、同位置ＭＢ  ＭＣに用いられる動きベクトル情報などの、他の復号パラメータの格納に使用可能である。
【０３８８】
ＬＳＩの設計において、ビデオバッファサイズの増大量は、縮小ＤＰＢの使用によって達成されるメモリ量の減少量よりも大幅に少なくなければならない。Ｈ．２６４レベル４．０のＤＰＢは、フル解像度フレームを４つ格納可能である。処理可能なフル解像度フレームの数が２つのみになるまでＤＰＢの容量が削減された縮小メモリ設計において、フレームメモリ容量は３つのフル解像度フレーム（ＤＰＢに２つ、ワーキングバッファに１つ）である。ＤＰＢに４つの参照フレームが必要なときは常に、その４つのフレームはハーフ解像度で（４→２ダウンサンプリングがおこなわれる）格納される。フレームメモリは、フル解像度の５フレームのうち３フレームのみを扱う必要があるだけなので、フレームメモリストレージの４０％（６，２９１，４５６バイト）削減が達成できる。メモリの削減量は、先に説明したビデオバッファサイズの増大量（１，０００，０００バイト）よりも大幅に大きく、ビデオバッファの増大を正当化できる。
【０３８９】
より良好な画質を実現するため、デコーダは、ＤＰＢサイズをより小さな比率で縮小することにより、ＤＰＢ用のフレームメモリストレージ削減を犠牲にすることができる。例えば、ＤＰＢ内のフル解像度フレームを４つではなく３つ扱うようにＤＰＢを設計し、フレームメモリストレージ（３，１４５，７２８バイト）の削減量を２０％減らすことができる。縮小フレームメモリは、５つのフル解像度フレームストレージのうち４つを格納可能である。縮小ＤＰＢにおいて４フレームが必要なときは常に、フレームメモリは２５％低減解像度（４→３ダウンサンプリングがおこなわれる）で４フレームを格納する。メモリの削減量は３，２４５，７２８バイトであり、ビデオバッファサイズの増大量（１，０００，０００バイト）よりも相当大きくなることがわかる。
【０３９０】
プレパーサ（ステップＳＰ６０１）は、各フレームの復号モード（フル解像度または低減解像度）を決定するために、ビデオバッファに格納されたビットストリームを構文解析する。プレパーサは、バッファサイズを大きくすることで得られるタイムマージンによるビットストリームの実際の復号に先立って、ＤＴＳに起動される。ビットストリームの実際の復号は、その増大ビデオバッファで得られたタイムマージンと同じぶんだけ、ＤＴＳから遅延する。プレパーサは、ＡＶＣのシーケンスパラメータセット（ＳＰＳ）等の上位層情報を構文解析する。使用される参照フレームの数（Ｈ．２６４のｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ）が、縮小ＤＰＢで扱えるフル参照フレームの数以下である場合、このＳＰＳに基づくフレームの復号モードがフル復号に設定され、それに従ってビデオ復号およびメモリ管理で用いられるピクチャ解像度リスト（ステップＳＰ６０２）が更新される。用いられる参照フレームの数が、縮小ＤＰＢがフル解像度で扱える数よりも大きければ、フル解像度復号モードが特定フレームの処理に割り当て可能か否かを決定するために、下位シンタックス情報（ＡＶＣの場合スライスレイヤ）が調べられる。不要な視覚的歪みを避けるため、可能であれば常に、フル解像度の復号が選択される。プレパーサは、ｉ）フルＤＰＢおよび縮小ＤＰＢの参照リスト使用法が同じであり、ｉｉ）フル解像度復号モードをピクチャに割り当てる前に、そのピクチャオーダディスプレイが正しいことを保証する。そうでなければ、低減解像度復号モードが割り当てられる。それにしたがってピクチャ解像度リストが更新される。
【０３９１】
構文解析・エントロピー復号手段は、予備解析のための固定の遅延を伴うＤＴＳにしたがってビデオバッファに指定された外部メモリ格納スペースから入力圧縮ビデオをフェッチする（ステップＳＰ６０４）。デコーダのパラメータは構文解析される。エントロピー復号には、Ｈ．２６４デコーダで用いられる文脈適応型可変長復号（ＣＡＶＬＤ）や文脈適応型算術符号化（ＣＡＢＡＣ）が含まれる。逆量子化器は、その後、エントロピー復号係数を逆量子化する（ステップＳＰ６０５）。その後、フル解像度逆変換がおこなわれる（ステップＳＰ６０６）。
【０３９２】
多用される外部メモリは、ダブルデータレート（ＤＤＲ）同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）である。メモリバッファへの読みとり・書き込みアクセスは、ＬＳＩ回路内のバッファまたは局所メモリと外部メモリ間でダイレクトメモリアクセス（ＤＭＡ）をおこなうメモリコントローラによって制御される（ステップＳＰ６１５）。
【０３９３】
動き補償（ＳＰ６１４）において、用いられる参照フレームの解像度は、ピクチャ解像度リスト内の情報を読み取ることによって得られる。参照フレーム復号モードが低減解像度であれば、メモリコントローラ（ステップＳＰ６１５）は、外部メモリ（ステップＳＰ６１６）から関連する画素データをフェッチし、ピクチャ復号モードおよびアドレスバッファに供給された当該参照ピクチャの動きベクトルおよび開始アドレスを用いて、これらのデータをアップサンプリング手段（ステップＳＰ６１０）のバッファに供給する。その後、ステップＳＰ３１０で説明した処理にしたがって逆動き補償手段で用いるためのアップサンプル画素を生成するためにアップサンプリングをおこなう。このアップサンプリング処理には、埋め込まれた高次係数情報が用いられる。参照フレーム復号モードがフル解像度であれば、メモリコントローラ（ステップＳＰ６１５）は、外部メモリから関連する画素データをフェッチし、これらのデータを動き補償部（ステップＳＰ６１４）のバッファに供給する。
【０３９４】
動き補償部は、予測画素を得るために、フル解像度の画像予測をおこなう。逆離散コサイン変換手段は、逆量子化係数を受信し、変換画素を得るためにそれらの係数を変換する。画面内予測ブロックが存在する場合は、隣接ブロックからのデータを用いて画面内予測（ステップＳＰ６０８）がおこなわれる。画面内予測値が存在する場合、予測画素値を得るために、逆動き補償画素へ加算される（ステップＳＰ６０９）。変換画素および予測画素は、その後、再構築画素を得るために合算される（ステップＳＰ６０９）。デブロックフィルタ処理は、最終的な再構築画素を得るために必要であればおこなわれる（ステップＳＰ６１８）。現在復号中のピクチャのピクチャ復号モードは、当該ピクチャ復号モードおよびピクチャアドレスバッファに対してチェックされる。当該ピクチャのピクチャ復号モードが低減解像度であれば、ダウンサンプルデータへの高次変換係数の埋め込みを伴ってダウンサンプリングがおこなわれる（ステップＳＰ６１２）。ダウンサンプリング手段は、好適な実施形態のステップＳＰ３１２に説明されている。低減解像度データに埋め込まれた高次係数情報を有するダウンサンプルデータは、その後、メモリコントローラ（ステップＳＰ６１５）経由で外部メモリ（ステップＳＰ６１６）に転送される。当該復号対象ピクチャのピクチャ復号モードがフル解像度であれば、ダウンサンプリング手段（ＳＰ６１２）はスキップされ、フル解像度の再構築画像データが、メモリコントローラ（ステップＳＰ６１５）経由で外部メモリ（ステップＳＰ６１６）に送信される。
【０３９５】
ＡＶ  Ｉ／Ｏ（ステップＳＰ６２０）は、ピクチャ解像度リスト内の情報を読み出す。表示対象ピクチャの画像データは、復号コーデックが示す表示順序で、外部メモリ（ステップＳＰ６１６）から、メモリコントローラ（ステップＳＰ６１５）経由でＡＶ  Ｉ／Ｏの入力バッファに送信される。その後、ＡＶ  Ｉ／Ｏ部は、（ピクチャ復号モードに基づいて）必要であれば所望の解像度にアップ変換をおこない、オーディオの出力と同期してビデオデータを出力する。当該低減解像度データは、低減解像度の視覚的コンテンツに歪みを生じさせることなく空間透かしを入れたものであるため、当該システムで低減解像度ピクチャをアップサンプルする際に必要なのは、一般的なＡＶ  Ｉ／Ｏアップスケーリング機能のみである。 
【０３９６】
本発明は、フレーム復号に不要な参照フレームを格納することをピクチャレベルで回避し、縮小メモリビデオデコーダで良好な視覚的品質を実現するため、可能なときは常にフル解像度復号をおこなうものである。低減解像度処理が用いられる場合は、本発明において、低減解像度データ内の高次逆変換係数を埋め込むことによって、低減解像度におけるエラー伝搬は最小限まで削減することが保証される。これは、埋め込みプロセスにおいて、情報損失よりも常に情報ゲインが多いことを保証する方法でおこなわれるためである。
【０３９７】
プレパーサを用いない、代替の簡易な、例示的なシステムＬＳＩ
図４６に、プレパーサを用いない代替の例示的なシステムＬＳＩの実施態様を説明する。この実施形態では、プレパーサを用いる代わりに、構文解析・エントロピー復号手段（ステップＳＰ６０４’）が、ピクチャ解像度リスト（ステップＳＰ６０２’）に、ピクチャ復号解像度を供給する。ステップＳＰ６０４’において、用いられる参照フレーム数を確認するために上位パラメータ層をチェックする。Ｈ．２６４デコーダにおいて、「ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅ」フィールドがＳＰＳ層でチェックされる。この代替の例示的な実施態様において、ステップＳＰ２４０（下位層縮小ＤＰＢ充足性チェック）および、ステップＳＰ２６０はスキップされる。この代替システムは、プレパーサを備える必要のない、簡易な実施態様である。しかしながら、このシステムでは、上位層パラメータのみが調べられるため、本発明の効果は減少する。
【０３９８】
以上、本発明に係る画像処理装置について、上記実施の形態１〜６およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。例えば、本発明は、上記実施の形態１〜６およびその変形例の技術内容を矛盾のない範囲で任意に組み合わせてもよく、上記実施の形態１〜６をさまざまに変更してもよい。
【０３９９】
例えば、上記実施の形態２〜５では、埋め込み縮小処理部１０７及び抽出拡大処理部１０９は、離散コサイン変換（ＤＣＴ）を用いたが、フーリエ変換（ＤＦＴ）、アダマール変換、カルーネンレーベ変換（ＫＬＴ）またはルジャンドル変換など他の変換を用いてもよい。
【０４００】
また、実施の形態２の変形例では、ＳＰＳに含まれる参照フレーム数に基づいて、第１の処理モードと第２の処理モードとをシーケンス単位で切り替えるが、他の情報に基づいて切り替えてもよく、他の単位（例えば、ピクチャ単位など）で切り替えてもよい。
【０４０１】
また、実施の形態１〜６およびその変形例における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、またはマウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。そのマイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０４０２】
また、実施の形態１〜６およびその変形例における各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。そのＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０４０３】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０４０４】
また、実施の形態１〜６およびその変形例における各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。そのＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０４０５】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、そのコンピュータプログラムからなるデジタル信号であるとしてもよい。
【０４０６】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ（Magneto-Optical disk (disc)）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、または半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【０４０７】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０４０８】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、そのコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作するとしてもよい。
【０４０９】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０４１０】
本発明の画像処理装置は、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることができるという効果を奏し、例えば、パーソナルコンピュータや、ＤＶＤ／ＢＤプレーヤ、テレビなどに適用することができる。
【符号の説明】
【０４１１】
１００    画像復号装置
１０１    シンタックス解析・エントロピー復号部
１０２    逆量子化部
１０３    逆周波数変換部
１０４    画面内予測部
１０５    加算部
１０６    デブロックフィルタ部
１０７    埋め込み縮小処理部
１０８    フレームメモリ
１０９    抽出拡大処理部
１１０    フル解像度動き補償部
１１１    ビデオ出力部 
【図１】
2010092740.tif 000029
【図２】
2010092740.tif 000030
【図３】
2010092740.tif 000031
【図４】
2010092740.tif 000032
【図５】
2010092740.tif 000033
【図６】
2010092740.tif 000034
【図７】
2010092740.tif 000035
【図８】
2010092740.tif 000036
【図９】
2010092740.tif 000037
【図１０】
2010092740.tif 000038
【図１１】
2010092740.tif 000039
【図１２】
2010092740.tif 000040
【図１３】
2010092740.tif 000041
【図１４】
2010092740.tif 000042
【図１５】
2010092740.tif 000043
【図１６】
2010092740.tif 000044
【図１７】
2010092740.tif 000045
【図１８】
2010092740.tif 000046
【図１９】
2010092740.tif 000047
【図２０】
2010092740.tif 000048
【図２１】
2010092740.tif 000049
【図２２】
2010092740.tif 000050
【図２３】
2010092740.tif 000051
【図２４】
2010092740.tif 000052
【図２５】
2010092740.tif 000053
【図２６】
2010092740.tif 000054
【図２７】
2010092740.tif 000055
【図２８】
2010092740.tif 000056
【図２９】
2010092740.tif 000057
【図３０】
2010092740.tif 000058
【図３１】
2010092740.tif 000059
【図３２】
2010092740.tif 000060
【図３３】
2010092740.tif 000061
【図３４】
2010092740.tif 000062
【図３５】
2010092740.tif 000063
【図３６】
2010092740.tif 000064
【図３７】
2010092740.tif 000065
【図３８】
2010092740.tif 000066
【図３９】
2010092740.tif 000067
【図４０】
2010092740.tif 000068
【図４１】
2010092740.tif 000069
【図４２】
2010092740.tif 000070
【図４３】
2010092740.tif 000071
【図４４】
2010092740.tif 000072
【図４５】
2010092740.tif 000073
【図４６】
2010092740.tif 000074
【図４７】
2010092740.tif 000075
【図４８】
2010092740.tif 000076
【図４９Ａ】
2010092740.tif 000077
【図４９Ｂ】
2010092740.tif 000078
【手続補正書】
【提出日】平成22年8月12日(2010.8.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を順次処理する画像処理装置に関し、特に、画像をメモリに格納するとともに、メモリに格納された画像を読み出す機能を有する画像処理装置に関する。
【背景技術】
【０００２】
画像をフレームメモリに格納するとともに、フレームメモリに格納された画像を読み出す機能を有する画像処理装置は、例えば、Ｈ．２６４などのビデオ符号化規格によって圧縮されたビットストリームを復号するビデオデコーダなどの画像復号装置に備えられる。また、このような画像復号装置は、例えば、ハイビジョン対応デジタルテレビやビデオ会議システムに用いられる。
【０００３】
ハイビジョン映像では、１９２０×１０８０画素サイズのピクチャ、つまり２，０７３，６００画素からなるピクチャが使われる。ハイビジョンデコーダは、標準画像（ＳＤＴＶ）デコーダに比べ、追加メモリを必要とするため、標準画像デコーダに比べかなり高価になってしまう。
【０００４】
また、Ｈ．２６４、ＶＣ−１およびＭＰＥＧ−２のようなビデオ符号化規格は、ハイビジョンに対応している。近年、さまざまなシステムにおいて、広く用いられるようになっているビデオ符号化規格は、Ｈ．２６４である。この規格は、従来広く用いられてきたＭＰＥＧ−２規格よりも低いビットレートで良好な画質を提供することが可能である。例えば、Ｈ．２６４のビットレートはＭＰＥＧ−２の半分程度である。しかしながら、Ｈ．２６４のビデオ符号化規格においては、低いビットレートを実現するために、アルゴリズムが複雑化し、その結果、従来のビデオ符号化規格よりもかなり大きいフレームメモリ帯域やフレームメモリ容量が必要となっている。ハイビジョン映像のデコードに必要とされるフレームメモリ帯域やフレームメモリ容量を削減することは、Ｈ．２６４のビデオ符号化規格に対応した画像復号装置を安価に実現する上では重要である。つまり、画像復号装置を安価にするために、画質を低下させることなくフレームメモリに必要とされる帯域（フレームメモリへのアクセスのバンド幅）および容量を抑えることが画像処理装置に対して求められている。
【０００５】
安価な画像復号装置を実現する方法の一つとしてダウンデコードと呼ばれる方法がある。
【０００６】
図４７は、ハイビジョン映像をダウンデコードする典型的な画像復号装置の機能構成を示すブロック図である。
【０００７】
この画像復号装置１０００は、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１００１、逆量子化部１００２、逆周波数変換部１００３、画面内予測部１００４、加算部１００５、デブロックフィルタ部１００６、圧縮処理部１００７、フレームメモリ１００８、伸長処理部１００９、フル解像度動き補償部１０１０、およびビデオ出力部１０１１を備える。ここで、画像処理装置は、圧縮処理部１００７、フレームメモリ１００８および伸長処理部１００９から構成されている。
【０００８】
シンタックス解析・エントロピー復号部１００１は、ビットストリームを取得し、そのビットストリームに対してシンタックス解析及びエントロピー復号を行う。エントロピー復号には、可変長復号（ＶＬＣ）や算術符号化（例えば、ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を含めてもよい。逆量子化部１００２は、シンタックス解析・エントロピー復号部１００１から出力されるエントロピー復号化係数を取得して逆量子化する。逆周波数変換部１００３は、逆量子化されたエントロピー復号化係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。
【０００９】
加算部１００５は、画面間予測が行われるときには、フル解像度動き補償部１０１０から出力される画面間予測画像を、逆周波数変換部１００３から出力される差分画像に加算することにより、復号画像を生成する。また、加算部１００５は、画面内予測が行われるときには、画面内予測部１００４から出力される画面内予測画像を、逆周波数変換部１００３から出力される差分画像に加算することにより、復号画像を生成する。 
【００１０】
デブロックフィルタ部１００６は、復号画像に対してデブロックフィルタ処理を行い、ブロックノイズを低減する。
【００１１】
圧縮処理部１００７は、圧縮処理を行う。つまり、圧縮処理部１００７は、このデブロックフィルタ処理された復号画像を低解像度の画像に圧縮し、圧縮された復号画像を参照画像としてフレームメモリ１００８に書き込む。フレームメモリ１００８は複数の参照画像を記憶するための領域を有する。
【００１２】
伸長処理部１００９は、伸長処理を行う。つまり、伸長処理部１００９は、フレームメモリ１００８に格納されている参照画像を読み出して、その参照画像を元の高解像度（圧縮される前の復号画像の解像度）の画像に伸長する。
【００１３】
フル解像度動き補償部１０１０は、シンタックス解析・エントロピー復号部１００１から出力される動きベクトルと、伸長処理部１００９によって伸長された参照画像を用いて画面間予測画像を生成する。画面内予測部１００４は、画面内予測が行われる場合は、復号化対象ブロックの近隣画素を用いて、その復号化対象ブロックに対して画面内予測を行うことにより、画面内予測画像を生成する。
【００１４】
ビデオ出力部１０１１は、フレームメモリ１００８に参照画像として格納されている圧縮された復号画像をそのフレームメモリ１００８から読み出し、その復号画像を、ディスプレイに出力すべき解像度に拡大又は縮小し、ディスプレイに出力する。
【００１５】
このように、ダウンデコードを行う画像復号装置１０００は、復号画像を圧縮してフレームメモリ１００８に書き込むことによって、フレームメモリ１００８に必要とされる容量と帯域を削減することができる。つまり、画像処理装置は、フレームメモリ１００８に参照画像を格納するときにはその参照画像を圧縮し、フレームメモリ１００８から参照画像を読み出すときにはその縮小された参照画像を伸長することによって、フレームメモリ１００８に必要とされる帯域および容量を抑えている。
【００１６】
ここで、フレームメモリに必要とされる帯域と容量を削減することが可能なダウンデコードを行うために、多くの方法が提案されている（例えば、特許文献１および非特許文献１参照）。
【００１７】
上記非特許文献１のダウンデコードは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を利用し、多くのダウンデコードの中でも、理論上最小限の復号誤差にとどめる可能性がある。
【００１８】
図４８は、上記非特許文献１のダウンデコードを説明するための説明図である。
【００１９】
このダウンデコードにおける伸長処理では、参照画像ブロックに対して低解像度のＤＣＴを行い、その結果生成される複数の変換係数からなる係数群に、０を示す高周波数成分を付加する。さらに、高周波数成分が付加された係数群に対してフル解像度（高解像度）のＩＤＣＴ（逆離散コサイン変換）を行うことによって、参照画像ブロックを拡大し、拡大された参照画像ブロックを動き補償に用いる。つまり、このダウンデコードでは、画像の拡大処理が伸長処理として用いられている。
【００２０】
また、上記ダウンデコードにおける圧縮処理では、フル解像度の復号画像ブロックに対してフル解像度のＤＣＴを行い、その結果生成される複数の変換係数からなる係数群から高周波数成分を削除する。さらに、高周波数成分が削除された係数群に対して低解像度のＩＤＣＴを行うことによって、フル解像度の復号画像ブロックを縮小し、縮小された復号画像ブロックをフレームメモリに格納する。つまり、このダウンデコードでは、画像の縮小処理が圧縮処理として用いられている。 
【００２１】
このようなダウンデコードのアルゴリズムにおいては、フレームメモリに格納された低解像度の縮小画像（復号画像ブロック）は、元の解像度（フル解像度）の動き補償がおこなわれる前に、離散コサイン変換／逆離散コサイン変換を用いて拡大される。
【００２２】
また、上記特許文献１のダウンデコードでは、縮小画像の代わりに圧縮データをフレームメモリに格納する。
【００２３】
図４９Ａおよび図４９Ｂは、上記特許文献１のダウンデコードを説明するための説明図である。
【００２４】
図４９Ａに示す第１メモリマネージャおよび第２メモリマネージャは、図４７に示す圧縮処理部１００７および伸長処理部１００９に相当し、図４９Ａに示す第１メモリおよび第２メモリは図４７に示すフレームメモリ１００８に相当する。つまり、第１メモリマネージャおよび第２メモリマネージャと、第１メモリおよび第２メモリとから画像処理装置が構成されている。なお、第１メモリマネージャおよび第２メモリマネージャを、以下、総称してメモリマネージャという。
【００２５】
メモリマネージャは、圧縮処理を行うときには、図４９Ｂに示すように、エラー拡散を行うステップと、４画素につき１画素を切り捨てるステップとを実行する。まず、メモリマネージャは、１ビットエラー拡散アルゴリズムを用いて、３２ビット（４画素×８ビット／画素）により示される４画素グループを、２８ビット（４画素×７ビット／画素）に圧縮する。次に、４画素グループから所定の方法で１画素を切り捨て、その４画素グループを（３画素×７ビット／画素）に圧縮する。さらに、メモリマネージャは、その４画素グループの最後に、切り捨て方法を示す３ビットを付加する。結果として、３２ビットの４画素グループは、２４ビット（３画素×７ビット／画素＋３ビット）に圧縮される。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】米国特許第６１９８７７３号明細書
【非特許文献】
【００２７】
【非特許文献１】「Ｍｉｎｉｍａｌ ｅｒｒｏｒ ｄｒｉｆｔ ｉｎ ｆｒｅｑｕｅｎｃｙ ｓｃａｌａｂｉｌｉｔｙ ｆｏｒ ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ  ＤＣＴ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、 ｖｏｌ．４、ｎｏ．４、３９２〜４０６ページ、１９９４年８月
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかしながら、上記非特許文献１および特許文献１のダウンデコードを行う画像復号装置に備えられた画像処理装置では、画質が常に劣化してしまうという問題がある。
【００２９】
具体的には、上記非特許文献１によるダウンデコードでは、過去の画像を参照することによるドリフトエラーの影響を受けやすい。ダウンデコードを行う画像復号装置１０００は、ビデオ符号化規格には定義されていない上記圧縮処理および伸長処理を行うことにより復号画像に誤差が重畳されることがある。この誤差が重畳された復号画像を参照して次の画像がデコードされると、復号画像に次々と誤差が蓄積される。このような誤差蓄積をドリフトエラーと呼んでいる。つまり、上記非特許文献１のダウンデコードでは、縮小処理時に、ＤＣＴによって生成された高次変換係数（高周波数の変換係数）に高いエネルギーを有することのあるハイビジョン画像から、その高次変換係数が不可逆的に切り捨てられる。このように縮小処理において高周波数成分の情報がかなり失われることになり、その結果、復号画像の誤差が大きくなり、この誤差がドリフトエラーを引き起こしてしまう。 
【００３０】
また、ダウンデコードにおける視覚的歪みは、ビデオ符号化規格に画面内予測が含まれるために、特にＨ．２６４のビデオ符号化規格のデコードにおいて顕著に現れる（ＩＴＵ−Ｔ  Ｈ．２６４  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  参照）。画面内予測は、復号化対象ブロックの周辺にある復号済みの周辺画素を用いて画面内で予測画像（画面内予測画像）を生成するＨ．２６４特有の処理である。この復号済みの周辺画素には、先に述べた誤差が重畳されることがある。誤差が重畳された画素が画面内予測に用いられると、予測画像を使用するブロック単位（４×４画素、８×８画素、または１６×１６画素）で誤差が生じることになる。復号画像における誤差が１画素のみであったとしても、その画素を用いて画面内予測がおこなわれると、４×４画素などからなる大きなブロック単位で誤差が生じ、視覚的に容易に視認できるブロックノイズが生じてしまう。
【００３１】
上記特許文献１によるダウンデコードでは、圧縮処理の最初のステップにおける１ビットエラー拡散でのＬＳＢ（Least Significant Bit）ビットの切り捨てにより、平坦領域においては情報が不可逆的に失われる。そのため、平坦領域の画質は悪くなる（平坦領域とは、互いに非常に近い画素値を有する複数の画素からなる領域を指す）。多くの平坦領域を有する長いピクチャ群（ＧＯＰ：Group Of Pictures）においては、画像に深刻な歪みが生じる可能性がある。
【００３２】
そこで、本発明は、かかる問題に鑑みてなされたものであって、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００３３】
上記目的を達成するために、本発明の一態様に係る画像処理装置は、複数の入力画像を順次処理する画像処理装置であって、少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する選択部と、フレームメモリと、前記選択部により前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像として前記フレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納する格納部と、前記選択部により前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記選択部により前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す読み出し部とを備える。
【００３４】
これにより、第１の処理モードが選択されたときには、入力画像は縮小されてフレームメモリに格納され、さらに、その縮小された入力画像はフレームメモリから読み出されて拡大されるため、そのフレームメモリに必要とされる帯域および容量を抑えることができる。また、第２の処理モードが選択されたときには、入力画像は縮小されずにフレームメモリに格納され、その入力画像がそのまま読み出されるため、その入力画像の画質の劣化を防止することができる。また、第１の処理モードと第２の処理モードとが少なくとも１つの入力画像ごとに切り替えて選択されるため、複数の入力画像の全体的な画質の劣化の防止と、フレームメモリに必要とされる帯域および容量の抑制とのバランスをとって、それぞれを両立させることができる。
【００３５】
また、前記画像処理装置は、さらに、前記読み出し部によって読み出されて拡大された縮小画像、または前記読み出し部によって読み出された入力画像を、参照画像として参照し、ビットストリームに含まれる符号化画像を復号することにより復号画像を生成する復号部を備え、前記格納部は、前記復号部によって生成された復号画像を入力画像として扱うことによって、前記第１の処理モードが選択されたときには、前記復号画像を縮小し、縮小された前記復号画像を前記縮小画像として前記フレームメモリに格納し、前記第２の処理モードが選択されたときには、前記復号部によって生成された復号画像を縮小することなく前記フレームメモリに格納し、前記選択部は、前記ビットストリームに含まれる、前記参照画像に関する情報に基づいて、第１の処理モードまたは第２の処理モードを選択してもよい。
【００３６】
これにより、フレームメモリに格納される縮小画像または入力画像が参照画像として用いられ、ビットストリームに含まれる符号化画像が復号されるため、画像処理装置を画像復号装置として用いることができる。さらに、ビットストリームに含まれる例えば参照フレーム数などの参照画像に関する情報に基づいて、第１の処理モードと第２の処理モードとが切り替えられるため、画質の劣化の防止と、フレームメモリに必要とされる帯域および容量の抑制とのバランスを適切に保つことができる。
【００３７】
また、前記格納部は、前記フレームメモリに縮小画像を格納するときには、前記縮小画像の画素値を示すデータの一部を、削除された周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、前記読み出し部は、前記縮小画像を拡大するときには、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された縮小画像に、前記周波数の情報を付加することによって前記縮小画像を拡大してもよい。
【００３８】
従来のダウンデコードでは、復号画像の高周波数成分が削除されることによってその復号画像は縮小され、縮小された復号画像は参照画像（縮小画像）としてフレームメモリに格納される。そして、その参照画像を用いた符号化画像の復号が行われるときには、その参照画像に対して０を示す高周波数成分が追加されることによってその参照画像が拡大され、拡大された参照画像が符号化画像の復号に参照される。したがって、復号画像の高周波数成分は削除され、高周波数成分が削除された復号画像が参照画像として無理に拡大されて参照されている。その結果、視覚的歪みが生じて画質が劣化してしまう。しかし、本発明の一態様では、上述のように、高次変換係数などの高周波数成分が予め定められた周波数の情報として削除されても、その高次変換係数の少なくとも一部を示す例えば可変長符号（符号化高次変換係数）などの埋め込みデータが参照画像（縮小画像）に埋め込まれる。そして、その参照画像が符号化画像の復号に用いられるときには、その参照画像から埋め込みデータが抽出されて高次変換係数が復元されて、その高次変換係数を用いて参照画像が拡大される。したがって、復号画像に含まれていた高周波数成分を全て捨て去ることなく、符号化画像の復号に参照される画像にその高周波数成分が含まれているため、その復号によって生成される新たな復号画像において視覚的歪みを削減することができ、画質の劣化を防いでダウンデコードを行うことができる。さらに、参照画像の画素値を示すデータの一部が埋め込みデータに置き換えられているため、参照画像のデータ量が増加することなく、フレームメモリに必要とされる容量や帯域を抑えることができる。
【００３９】
つまり、本発明の一態様では、ダウンデコードにおいて画像の縮小や情報を圧縮することによって生じる誤差をデジタル透かし技術を用いることによって削減し、高画質のハイビジョン映像を得ることができる。デジタル透かし技術は、機械が読み取り可能なデータを画像に埋め込むために画像を一部変更する技術である。デジタル透かしである埋め込みデータは、視聴者には認識できないかあるいはほとんど認識できない。埋め込みデータは、空間的、時間的、またはその他の変換ドメイン（例えば、フーリエ変換ドメイン、離散コサイン変換ドメイン、ウェーブレット変換ドメインなど）におけるメディアコンテンツのデータサンプルを一部変更することによって、デジタル透かしとして埋め込まれる。また、本発明の一態様では、複雑な圧縮データの代わりにデジタル透かしを入れた参照画像をフレームメモリに格納するので、そのフレームメモリから参照画像を取り出して出力するビデオ出力部では特殊な伸長処理を必要としない。
【００４０】
また、前記格納部は、前記縮小画像の画素値を示すデータのうち、少なくともＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を含む１つまたは複数のビットで示される値を、前記埋め込みデータに置き換えてもよい。
【００４１】
これにより、ＬＳＢが埋め込みデータに置き換えられるため、その置き換えによって縮小画像の画素値に対して与える誤差を最小限に抑えることができる。
【００４２】
また、前記格納部は、さらに、前記削除部によって削除される前記高周波数成分を可変長符号化することにより前記埋め込みデータを生成する符号化部を備え、前記復元部は、前記埋め込みデータを可変長復号することにより前記埋め込みデータから前記高周波数成分を復元してもよい。
【００４３】
これにより、高周波数成分が可変長符号化されることによって、埋め込みデータのデータ量を小さく抑えることができ、その結果、埋め込みデータの置き換えによって参照画像（縮小画像）の画素値に対して与える誤差を最小限に抑えることができる。
【００４４】
また、前記格納部は、さらに、前記削除部によって削除される前記高周波数成分を量子化することにより前記埋め込みデータを生成する量子化部を備え、前記復元部は、前記埋め込みデータを逆量子化することにより前記埋め込みデータから前記高周波数成分を復元してもよい。
【００４５】
これにより、高周波数成分が量子化されることによって、埋め込みデータのデータ量を小さく抑えることができ、その結果、埋め込みデータの置き換えによって参照画像（縮小画像）の画素値に対して与える誤差を最小限に抑えることができる。
【００４６】
このように、埋め込みデータの置き換えによって、画素値を示すデータの一部が失われるが、その失われた一部の情報よりも多い情報が埋め込みデータから確実に得られるため、情報ゲインが生まれる。
【００４７】
また、前記抽出部は、前記縮小画像の画素値を示すビット列からなるデータのうち、少なくとも１つの所定ビットにより示される前記埋め込みデータを抽出し、前記埋め込みデータが抽出された画素値を、前記少なくとも１つの所定ビットの値に応じて前記ビット列が取り得る値の範囲の中央値に設定し、前記第２の直交変換部は、前記中央値に設定された画素値を有する縮小画像の領域を画素領域から周波数領域に変換してもよい。
【００４８】
埋め込みデータが抽出された少なくとも１つの所定ビットの値を全て０にしてしまうと、画素値に顕著な誤差が生じてしまうことがある。しかし、本発明では、その少なくとも１つの所定ビットの値に応じてビット列が取り得る値の範囲の中央値に画素値が設定されるため、画素値に顕著な誤差が生じることを防ぐことができる。
【００４９】
また、前記格納部は、前記縮小画像に基づいて、前記埋め込みデータに置き換えるべきか否かを判別し、置き換えるべきと判別した場合に、前記縮小画像の画素値を示すデータの一部を前記埋め込みデータに置き換え、前記読み出し部は、前記縮小画像に基づいて、前記埋め込みデータを抽出するべきか否かを判別し、抽出するべきと判別した場合に、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータが抽出された縮小画像に前記周波数の情報を付加してもよい。
【００５０】
縮小画像が平坦でエッジが少ない場合、すなわち縮小画像に高次変換係数が少ない場合には、縮小画像の画素値を示すデータの一部を埋め込みデータに置き換えた場合の方が、置き換えない場合よりも画質が劣化してしまうことがある。そこで、本発明の一形態では、縮小画像に基づいて埋め込みデータへの置き換えが切り替えられるため、どのような縮小画像に対しても画質の劣化を抑えることができる。
【００５１】
また、本発明の一態様に係る画像処理装置は、複数の入力画像を順次処理する画像処理装置であって、フレームメモリと、入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像として前記フレームメモリに格納する縮小処理部と、前記フレームメモリから前記縮小画像を読み出して拡大する拡大処理部とを備え、前記縮小処理部は、前記フレームメモリに縮小画像を格納するときには、前記縮小画像の画素値を示すデータの一部を、削除された前記周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、前記拡大処理部は、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された縮小画像に、前記周波数の情報を付加することによって前記縮小画像を拡大する。
【００５２】
これにより、高次変換係数などの高周波数成分が予め定められた周波数の情報として削除されても、その高次変換係数の少なくとも一部を示す例えば可変長符号（符号化高次変換係数）などの埋め込みデータが縮小画像に埋め込まれる。そして、その縮小画像がフレームメモリから読み出されたときには、その縮小画像から埋め込みデータが抽出されて高次変換係数が復元されて、その高次変換係数を用いて縮小画像が拡大される。したがって、全ての高周波数成分が捨て去られることなく入力画像が縮小され、読み出されて拡大された縮小画像にはその高周波数成分が含まれているため、上述のような第１の処理モードと第２の処理モードとを切り替えることを行わなくても、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることができる。
【００５３】
また、本発明の一態様に係る画像復号装置は、ビットストリームに含まれる複数の符号化画像を順次復号する画像復号装置であって、符号化画像の復号に用いられる参照画像を記憶しているフレームメモリと、前記参照画像が拡大された画像を参照して前記符号化画像を復号することにより復号画像を生成する復号部と、前記復号部により生成された復号画像に含まれる、予め定められた周波数の情報を削除することにより前記復号画像を縮小し、縮小された前記復号画像を参照画像として前記フレームメモリに格納する縮小処理部と、前記フレームメモリから前記参照画像を読み出して拡大する拡大処理部とを備え、前記縮小処理部は、前記フレームメモリに参照画像を格納するときには、前記参照画像の画素値を示すデータの一部を、削除された前記周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、前記拡大処理部は、前記参照画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された参照画像に、前記周波数の情報を付加することによって前記参照画像を拡大する。
【００５４】
これにより、高次変換係数などの高周波数成分が予め定められた周波数の情報として削除されても、その高次変換係数の少なくとも一部を示す例えば可変長符号（符号化高次変換係数）などの埋め込みデータが参照画像に埋め込まれる。そして、その参照画像が符号化画像の復号に用いられるときには、その参照画像から埋め込みデータが抽出されて高次変換係数が復元されて、その高次変換係数を用いて参照画像が拡大される。したがって、復号画像に含まれていた高周波数成分を全て捨て去ることなく、符号化画像の復号に参照される画像にその高周波数成分が含まれているため、その復号によって生成される新たな復号画像において視覚的歪みを削減することができる。その結果、上述のように第１の処理モードと第２の処理モードとを切り替えることなく、画質の劣化を防いでダウンデコードを行うことができる。さらに、参照画像の画素値を示すデータの一部が埋め込みデータに置き換えられているため、参照画像のデータ量が増加することなく、フレームメモリに必要とされる容量や帯域を抑えることができる。
【００５５】
なお、本発明は、このような画像処理装置として実現することができるだけでなく、集積回路や、その画像処理装置が画像を処理する方法、その方法に含まれる処理をコンピュータに実行させるプログラム、そのプログラムを格納する記録媒体としても実現することができる。
【発明の効果】
【００５６】
本発明の画像処理装置は、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることができるという作用効果を奏する。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
【図２】図２は、同上の画像処理装置の動作を示すフローチャートである。
【図３】図３は、本発明の実施の形態２における画像復号装置の機能構成を示すブロック図である。
【図４】図４は、同上の埋め込み縮小処理部の処理動作の概略を示すフローチャートである。
【図５】図５は、同上の高次変換係数の符号化処理を示すフローチャートである。
【図６】図６は、同上の符号化高次変換係数の埋め込み処理を示すフローチャートである。
【図７】図７は、同上の高次変換係数を可変長符号化するためのテーブルを示す図である。
【図８】図８は、同上の抽出拡大処理部の処理動作の概略を示すフローチャートである。
【図９】図９は、同上の符号化高次変換係数の抽出および復元処理を示すフローチャートである。
【図１０】図１０は、同上の埋め込み縮小処理部における処理動作の具体例を示す図である。
【図１１】図１１は、同上の抽出拡大処理部における処理動作の具体例を示す図である。
【図１２】図１２は、同上の変形例に係る画像復号装置の機能構成を示すブロック図である。
【図１３】図１３は、同上の変形例に係る選択部の動作を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態３における埋め込み縮小処理部による符号化高次変換係数の埋め込み処理を示すフローチャートである。
【図１５】図１５は、同上の抽出拡大処理部による符号化高次変換係数の抽出および復元処理を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態４における画像復号装置の機能構成を示すブロック図である。
【図１７】図１７は、同上のビデオ出力部の機能構成を示すブロック図である。
【図１８】図１８は、同上のビデオ出力部の動作を示すフローチャートである。
【図１９】図１９は、同上の変形例に係る画像復号装置の機能構成を示すブロック図である。
【図２０】図２０は、同上の変形例に係るビデオ出力部の機能構成を示すブロック図である。
【図２１】図２１は、同上の変形例に係るビデオ出力部の動作を示すフローチャートである。
【図２２】図２２は、本発明の実施の形態５におけるシステムＬＳＩの構成を示す構成図である。
【図２３】図２３は、同上の変形例に係るシステムＬＳＩの構成を示す構成図である。
【図２４】図２４は、本発明の実施の形態６における縮小メモリビデオデコーダの概要を示すブロック図である。
【図２５】図２５は、同上の上位パラメータ層および下位パラメータ層の両方に対するピクチャのビデオ復号モード（フル解像度または復号解像度）を決定する縮小ＤＰＢ充足性チェックを行うプレパーサに関する概略図である。
【図２６】図２６は、同上の下位層シンタックスの縮小ＤＰＢ充足性チェックに関するフローチャートである。
【図２７】図２７は、同上の先読み情報生成（ステップＳ２４５）に関するフローチャートである。
【図２８】図２８は、同上のオンタイムリムーバルインスタンス（ステップＳ２４５３）の格納に関するフローチャートである。
【図２９】図２９は、同上のフル復号モードの実行可能性を確認するための条件チェック（ステップＳ２４６）に関するフローチャートである。
【図３０】図３０は、同上の例示的な下位層シンタックスの縮小ＤＰＢ充足性チェック−例１である
【図３１】図３１は、同上の例示的な下位層シンタックスの縮小ＤＰＢ充足性チェック−例２である。
【図３２】図３２は、同上のプレパーサによって供給されたフレームの復号に係る全フレームのビデオ復号モードを示す情報のリストを用いて、フル解像度ビデオ復号または低減解像度ビデオ復号を行う実施形態のオペレーションに関する概略図である。
【図３３】図３３は、同上の例示的なダウンサンプリング手段に関する概略図である。
【図３４】図３４は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数情報の符号化に関するフローチャートである。
【図３５】図３５は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数の埋め込みチェックに関するフローチャートである。
【図３６】図３６は、同上の例示的なダウンサンプリング手段において用いられるダウンサンプル画素の複数のＬＳＢへの、高次変換係数を表すＶＬＣコードの埋め込みに関するフローチャートである。
【図３７】図３７は、同上の偶数または奇数特性を有する４画素ラインの変換係数特性を例示的に説明する説明図である。
【図３８】図３８は、同上の例示的なアップサンプリング手段に関する概略図である。
【図３９】図３９は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数情報の抽出チェックに関するフローチャートである。
【図４０】図４０は、同上の例示的なダウンサンプリング手段において用いられる高次変換係数の復号に関するフローチャートである。
【図４１】図４１は、同上の例示的なダウンサンプリング手段において用いられる４→３ダウンデコーディングのための量子化、ＶＬＣ、および空間透かし方式を例示的に説明する説明図である。
【図４２】図４２は、同上のプレパーサを必要としない縮小メモリビデオデコーダの、代替の簡易な実施態様を示す図である。
【図４３】図４３は、同上のＤＰＢ充足性チェックのために上位パラメータ層情報のみを構文解析する、本発明の代替の簡易な実施態様に関する概略図である。
【図４４】図４４は、同上のデコーダ自体の構文解析・符号化手段によって供給されたフレームの復号に係る全フレームのビデオ復号モードを示す情報のリストを用いて、フル解像度ビデオ復号または低減解像度ビデオ復号を行う代替の実施形態のオペレーションに関する概略図である。
【図４５】図４５は、同上のシステムＬＳＩの実施態様を例示的に説明する説明図である。
【図４６】図４６は、同上のフル解像度／低減解像度の復号モード決定にプレパーサを用いない、代替的な本発明の簡易なシステムＬＳＩの実施態様を例示的に説明する説明図である。
【図４７】図４７は、従来の典型的な画像復号装置の機能構成を示すブロック図である。
【図４８】図４８は、同上のダウンデコードを説明するための説明図である。
【図４９Ａ】図４９Ａは、同上の他のダウンデコードを説明するための説明図である。
【図４９Ｂ】図４９Ｂは、同上の他のダウンデコードを説明するための他の説明図である。
【発明を実施するための形態】
【００５８】
以下、本発明の実施の形態における画像処理装置について図面を参照しながら説明する。
【００５９】
（実施の形態１）
図１は、本実施の形態における画像処理装置の機能構成を示すブロック図である。
【００６０】
本実施の形態における画像処理装置１０は、複数の入力画像を順次処理する装置であって、格納部１１と、フレームメモリ１２と、読み出し部１３と、選択部１４とを備える。
【００６１】
選択部１４は、少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する。例えば、選択部１４は、入力画像の特徴、性質、その入力画像に関連する情報などに基づいて、第１または第２の処理モードを選択する。
【００６２】
格納部１１は、選択部１４により第１の処理モードが選択されたときには、入力画像に含まれる予め定められた周波数の情報（例えば、高周波数成分）を削除することにより入力画像を縮小し、縮小された入力画像を縮小画像としてフレームメモリ１２に格納する。また、格納部１１は、選択部１４により第２の処理モードが選択されたときには、入力画像を縮小することなくフレームメモリ１２に格納する。
【００６３】
読み出し部１３は、選択部１４により第１の処理モードが選択されたときには、フレームメモリ１２から縮小画像を読み出して拡大する。また、読み出し部１３は、選択部１４により第２の処理モードが選択されたときには、フレームメモリ１２から縮小されていない入力画像を読み出す。
【００６４】
図２は、本実施の形態における画像処理装置１０の動作を示すフローチャートである。
【００６５】
まず、画像処理装置１０の選択部１４は第１の処理モードまたは第２の処理モードを選択する（ステップＳ１１）。次に、格納部１１は、入力画像をフレームメモリ１２に格納する（ステップＳ１２）。つまり、格納部１１は、ステップＳ１１で第１の処理モードが選択された場合には、その入力画像を縮小し、縮小された入力画像を縮小画像としてフレームメモリ１２に格納し（ステップＳ１２ａ）、ステップＳ１１で第２の処理モードが選択された場合には、その入力画像を縮小することなくフレームメモリ１２に格納する（ステップＳ１２ｂ）。
【００６６】
さらに、読み出し部１３は、フレームメモリ１２から画像を読み出す（ステップＳ１３）。つまり、読み出し部１３は、ステップＳ１１で第１の処理モードが選択された場合には、ステップＳ１２ａで格納された縮小画像をフレームメモリ１２から読み出して拡大し（ステップＳ１３ａ）、ステップＳ１１で第２の処理モードが選択された場合には、ステップＳ１２ｂで格納された縮小されていない入力画像をフレームメモリ１２から読み出す（ステップＳ１３ｂ）。
【００６７】
このように、本実施の形態では、第１の処理モードが選択されたときには、入力画像が縮小されてフレームメモリ１２に格納され、さらに、その縮小された入力画像が読み出されるときには、その縮小された入力画像が拡大される。これにより、フレームメモリに必要とされる帯域および容量を抑えることができる。また、本実施の形態では、第２の処理モードが選択されたときには、入力画像が縮小されずにフレームメモリ１２に格納され、その入力画像がそのまま読み出される。これにより、入力画像をフレームメモリ１２に格納して読み出しても、入力画像が縮小および拡大されることがないため、その入力画像の画質の劣化を防止することができる。
【００６８】
つまり、入力画像をフレームメモリに格納して読み出すときに、その入力画像をそのままフレームメモリに格納してそのまま読み出せば、入力画像の画質の劣化を防止することはできるが、帯域が広く容量の多いフレームメモリが必要になる。一方、入力画像をフレームメモリに格納して読み出すときに、従来のように、その入力画像を縮小または圧縮するとともに拡大または伸長することを常に行えば、フレームメモリに必要とされる帯域および容量を抑えることができるが、入力画像の画質を劣化させてしまう。
【００６９】
そこで、本実施の形態では、第１の処理モードと第２の処理モードとが少なくとも１つの入力画像ごとに切り替えて選択されるため、複数の入力画像の全体的な画質の劣化の防止と、フレームメモリに必要とされる帯域および容量の抑制とのバランスをとって、それぞれを両立させることができる。
【００７０】
なお、本実施の形態の格納部１１による入力画像の縮小の方法、および読み出し部１３による縮小画像の拡大の方法は、上記特許文献１または上記非特許文献１に記載されている方法であっても、他の何れの方法であってもいい。
【００７１】
（実施の形態２）
図３は、本実施の形態における画像復号装置の機能構成を示すブロック図である。
【００７２】
本実施の形態における画像復号装置１００は、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、フレームメモリ１０８、抽出拡大処理部１０９、フル解像度動き補償部１１０、およびビデオ出力部１１１を備える。
【００７３】
なお、本実施の形態における画像復号装置１００は、埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理に特徴がある。
【００７４】
シンタックス解析・エントロピー復号部１０１は、複数の符号化画像を示すビットストリームを取得し、そのビットストリームに対してシンタックス解析及びエントロピー復号を行う。エントロピー復号には、可変長復号（ＶＬＣ）や算術符号化（例えば、ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を含めてもよい。
【００７５】
逆量子化部１０２は、シンタックス解析・エントロピー復号部１０１から出力されるエントロピー復号化係数を取得して逆量子化する。
【００７６】
逆周波数変換部１０３は、逆量子化されたエントロピー復号化係数に対して逆離散コサイン変換を行うことにより差分画像を生成する。
【００７７】
加算部１０５は、画面間予測が行われるときには、フル解像度動き補償部１１０から出力される画面間予測画像を、逆周波数変換部１０３から出力される差分画像に加算することにより、復号画像を生成する。また、加算部１０５は、画面内予測が行われるときには、画面内予測部１０４から出力される画面内予測画像を、逆周波数変換部１０３から出力される差分画像に加算することにより、復号画像を生成する。
【００７８】
デブロックフィルタ部１０６は、復号画像に対してデブロックフィルタ処理を行い、ブロックノイズを低減する。
【００７９】
埋め込み縮小処理部１０７は、縮小処理を行う。つまり、埋め込み縮小処理部１０７は、このデブロックフィルタ処理された復号画像を縮小することにより、低解像度の縮小復号画像を生成する。さらに、埋め込み縮小処理部１０７は、その縮小復号画像を参照画像としてフレームメモリ１０８に書き込む。フレームメモリ１０８は複数の参照画像を記憶するための領域を有する。また、本実施の形態における埋め込み縮小処理部１０７は、後述するように、高次変換係数が量子化されて可変長符号化された符号化高次変換係数（埋め込みデータ）を縮小復号画像に埋め込むことによってその参照画像を生成している点に特徴がある。なお、本実施の形態における埋め込み縮小処理部１０７による処理を、以下、埋め込み縮小処理という。
【００８０】
抽出拡大処理部１０９は、拡張処理を行う。つまり、抽出拡大処理部１０９は、フレームメモリ１０８に格納されている参照画像を読み出して、その参照画像を元の高解像度（縮小される前の復号画像の解像度）の画像に拡大する。また、本実施の形態における抽出拡大処理部１０９は、後述するように、参照画像に埋め込まれている符号化高次変換係数を抽出し、その符号化高次変換係数から高次変換係数を復元し、符号化高次変換係数が抽出された参照画像にその高次変換係数を付加する点に特徴がある。なお、本実施の形態における抽出拡大処理部１０９による処理を、以下、抽出拡大処理という。
【００８１】
フル解像度動き補償部１１０は、シンタックス解析・エントロピー復号部１０１から出力される動きベクトルと、抽出拡大処理部１０９によって拡大された参照画像を用いて画面間予測画像を生成する。画面内予測部１０４は、画面内予測が行われる場合は、復号化対象ブロック（復号化対象となる符号化画像のブロック）の近隣画素を用いて、その復号化対象ブロックに対して画面内予測を行うことにより、画面内予測画像を生成する。
【００８２】
ビデオ出力部１１１は、フレームメモリ１０８に格納されている参照画像を読み出し、その参照画像を、ディスプレイに出力すべき解像度に拡大又は縮小し、ディスプレイに出力する。
【００８３】
以下、本実施の形態における埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理動作について詳細に説明する。
【００８４】
図４は、本実施の形態における埋め込み縮小処理部１０７の処理動作の概略を示すフローチャートである。
【００８５】
まず、埋め込み縮小処理部１０７は、画素領域の復号画像に対してフル解像度（高解像度）の周波数変換（具体的にはＤＣＴなどの直交変換）を行い、複数の変換係数からなる周波数領域の係数群を得る（ステップＳ１００）。つまり、埋め込み縮小処理部１０７は、Ｎｆ×Ｎｆ画素からなる復号画像に対してフル解像度のＤＣＴを行い、Ｎｆ×Ｎｆ個の変換係数からなる周波数領域の係数群、すなわち周波数領域で表される復号画像を生成する。ここで、例えばＮｆは４である。
【００８６】
次に、埋め込み縮小処理部１０７は、周波数領域の係数群から高次変換係数（高周波数の変換係数）を取り出して符号化する（ステップＳ１０２）。つまり、埋め込み縮小処理部１０７は、Ｎｆ×Ｎｆ個の変換係数からなる係数群から、高周波数成分を示す（Ｎｆ−Ｎｓ）×Ｎｆ個の高次変換係数を抽出して符号化することにより、符号化高次変換係数を生成する。ここで、例えばＮｓは３である。
【００８７】
さらに、埋め込み縮小処理部１０７は、次のステップで低解像度の逆周波数変換を行うために、周波数領域のＮｓ×Ｎｆ個の変換係数をスケーリングし、それらの変換係数のゲインを調整する（ステップＳ１０４）。
【００８８】
次に、埋め込み縮小処理部１０７は、スケーリングされたＮｓ×Ｎｆ個の変換係数に対して、低解像度の逆周波数変換（具体的にはＩＤＣＴなどの逆直交変換）を行い、画素領域で表される低解像度の縮小復号画像を得る（ステップＳ１０６）。
【００８９】
さらに、埋め込み縮小処理部１０７は、ステップＳ１０２で得られた符号化高次変換係数を低解像度の縮小復号画像に埋め込むことによって、参照画像を生成する（ステップＳ１０８）。
【００９０】
このような処理によって、Ｎｆ×Ｎｆ画素の復号画像は、低解像度化、つまり縮小されてＮｓ×Ｎｆ画素の参照画像に変換される。すなわち、Ｎｆ×Ｎｆ画素の復号画像は水平方向にのみ縮小される。
【００９１】
なお、本実施の形態における埋め込み縮小処理部１０７は、ステップＳ１００の処理を実行する第１の直交変換部と、ステップＳ１０２の処理を実行する削除部、符号化部および量子化部と、ステップＳ１０６の処理を実行する第１の逆直交変換部と、ステップＳ１０８の処理を実行する埋め込み部とを備えている。
【００９２】
ここで、ステップＳ１００で行われるＤＣＴおよびステップＳ１０６で行われるＩＤＣＴについて詳細に説明する。
【００９３】
Ｎ×Ｎ画素からなる復号画像の二次元ＤＣＴは、以下の（式１）のように定義される。
【００９４】
【数１】
2010092740.tif 000079
【００９５】
なお、（式１）では、ｕ，ｖ，ｘ，ｙ＝０，１，２，…，Ｎ−１という条件が満たされ、ｘ，ｙは画素領域における空間座標であり、ｕ，ｖは周波数領域における周波数座標である。また、Ｃ（ｕ）およびＣ（ｖ）はそれぞれ、以下の（式２）の条件を満たす。
【００９６】
【数２】
2010092740.tif 000080
【００９７】
さらに、二次元ＩＤＣＴ(Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ)は、以下の（式３）のように定義される。
【００９８】
【数３】
2010092740.tif 000081
【００９９】
なお、（式３）においてｆ（ｘ、ｙ）は実数である。
【０１００】
また、水平方向および垂直方向のそれぞれで復号画像を縮小する場合は、上記（式１）の二次元ＤＣＴを行う必要がある。しかし、水平方向のみで復号画像を縮小する場合は、一次元ＤＣＴのみ行えばよく、（式１）は次の（式４）で表される。
【０１０１】
【数４】
2010092740.tif 000082
【０１０２】
つまり、本実施の形態では、埋め込み縮小処理部１０７は、水平方向のみで復号画像を縮小するため、ステップＳ１００では、（式４）およびＮ＝Ｎｆに基づいて、一次元ＤＣＴを行う。
【０１０３】
同様に、一次元ＩＤＣＴの場合、（式３）は次の（式５）で表される。
【０１０４】
【数５】
2010092740.tif 000083
【０１０５】
つまり、本実施の形態では、埋め込み縮小処理部１０７は、水平方向のみで復号画像を縮小するため、ステップＳ１０６では、（式５）およびＮ＝Ｎｓに基づいて、一次元ＩＤＣＴを行う。これにより、水平方向に縮小されたＮｓ×Ｎｆ画素からなる復号画像が縮小復号画像として生成される。
【０１０６】
次に、ステップＳ１０２で行われる高次変換係数の抽出および符号化について詳細に説明する。
【０１０７】
抽出される高次変換係数はＤＣＴ演算の結果として得られ、その高次変換係数の数は、水平方向あたりＮｆ−Ｎｓで表される。つまり、抽出されて符号化される高次変換係数は、水平方向のＮｆ個の変換係数のうち、（Ｎｓ＋１）番目からＮｆ番目までの範囲の係数である。
【０１０８】
図５は、図４のステップＳ１０２における高次変換係数の符号化処理を示すフローチャートである。
【０１０９】
まず、埋め込み縮小処理部１０７は、高次変換係数を量子化する（ステップＳ１０２０）。次に、埋め込み縮小処理部１０７は、量子化された高次変換係数（量子化値）に対して可変長符号化を行う（ステップＳ１０２２）。つまり、埋め込み縮小処理部１０７は、量子化値に対して可変長符号を符号化高次変換係数として付与する。このような量子化と可変長符号化の詳細については、ステップＳ１０８における符号化高次変換係数の埋め込みとあわせて後に説明する。
【０１１０】
次に、ステップＳ１０４で行われる変換係数のスケーリングについて詳細に説明する。
【０１１１】
ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、Ｎｆ−ポイントＤＣＴ低周波数係数のＮｓ−ポイントＩＤＣＴ画素値を取る前に、ゲイン調整のため、埋め込み縮小処理部１０７は各変換係数をスケーリングする。本例の場合、埋め込み縮小処理部１０７は以下の（式６）により算出される値で各変換係数をスケーリングする。なお、このようなスケーリングの詳細は、文献「Ｍｉｎｉｍａｌ Ｅｒｒｏｒ Ｄｒｉｆｔ ｉｎ Ｆｒｅｑｕｅｎｃｙ Ｓｃａｌａｂｉｌｉｔｙ ｆｏｒ ＭＯＴＩＯＮ−Ｃｏｍｐｅｎｓａｔｅｄ ＤＣＴ ＣＯＤＩＮＧ， Ｒｏｂｅｒｔ Ｍｏｋｒｙ ＡＮＤ Ｄｉｍｉｔｒｉｓ Ａｎａｓｔａｓｓｉｏｕ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ」に記述されている。
【０１１２】
【数６】
2010092740.tif 000084
【０１１３】
次に、ステップＳ１０８で行われる符号化高次変換係数の埋め込みについて詳細に説明する。
【０１１４】
本実施の形態の埋め込み縮小処理部１０７は、空間透かし技術を用い、ステップＳ１０２において生成された符号化高次変換係数を、ステップＳ１０６で得られたＮｓ×Ｎｆ画素からなる縮小復号画像に埋め込む。
【０１１５】
図６は、図４のステップＳ１０８における符号化高次変換係数の埋め込み処理を示すフローチャートである。
【０１１６】
埋め込み縮小処理部１０７は、縮小復号画像の各画素値を示すビット列のうち、符号化高次変換係数の符号長に応じた数のビットによって示される値を削除する。このとき、埋め込み縮小処理部１０７は、ビット列のうちの、少なくともＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を含む１つまたは複数の下位ビットによって示される値を削除する（ステップＳ１０８０）。次に、埋め込み縮小処理部１０７は、ステップＳ１０２において生成された符号化高次変換係数を、上述のＬＳＢを含む下位ビットに埋め込む（ステップＳ１０８２）。これにより、符号化高次変換係数が埋め込まれた縮小復号画像、つまり参照画像が生成される。
【０１１７】
次に、具体例をあげて埋め込みの方法を詳細に説明する。
【０１１８】
例えば、Ｎｆ＝４およびＮｓ＝３の場合、４×４画素の高解像度の復号画像が３×４画素の低解像度の縮小復号画像に縮小される。縮小は水平方向に対してのみ行われるため、ここでは水平方向についてのみ説明する。高解像度の復号画像における水平方向の４つの変換係数をそれぞれ、ＤＦ０、ＤＦ１、ＤＦ２、ＤＦ３とすると、それらの変換係数のうちの高次変換係数ＤＦ３が量子化され可変長符号化される。また、低解像度の縮小復号画像の水平方向の３つの画素値をそれぞれ、Ｘｓ０、Ｘｓ１、Ｘｓ２とすると、量子化され可変長符号化された高次変換係数ＤＦ３は、上記３つの画素値Ｘｓ０、Ｘｓ１、Ｘｓ２の下位ビットにＬＳＢから優先して埋め込まれることになる。なお、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２のそれぞれのビット列を、ＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）から順に（ｂ７、ｂ６、ｂ５、ｂ４、ｂ３、ｂ２、ｂ１、ｂ０）と表現する。
【０１１９】
図７は、高次変換係数を可変長符号化するためのテーブルを示す図である。
【０１２０】
埋め込み縮小処理部１０７は、高次変換係数ＤＦ３の絶対値が２未満のときには、テーブルＴ１を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化し、高次変換係数ＤＦ３の絶対値が２以上１２未満のときには、テーブルＴ１，Ｔ２を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化する。同様に、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３の絶対値が１２以上２４未満のときには、テーブルＴ１〜Ｔ３を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化し、高次変換係数ＤＦ３の絶対値が２４以上３６未満のときには、テーブルＴ１〜Ｔ４を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化する。さらに、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３の絶対値が３６以上４８未満のときには、テーブルＴ１〜Ｔ５を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化し、高次変換係数ＤＦ３の絶対値が４８以上のときには、テーブルＴ１〜Ｔ６を用いて、その高次変換係数ＤＦ３を量子化および可変長符号化する。
【０１２１】
また、テーブルＴ１〜Ｔ６はそれぞれ、高次変換係数ＤＦ３の絶対値に応じた量子化値と、埋め込み先となる画素値およびビットと、そのビットに埋め込まれる値とを示している。また、テーブルＴ２〜Ｔ６はそれぞれ、高次変換係数ＤＦ３の正または負を示す符号（Ｓｉｇｎ（ＤＦ３））と、そのＳｉｇｎ（ＤＦ３）が埋め込まれる画素値およびビットとを示す。
【０１２２】
なお、テーブルＴ１〜Ｔ６では、画素値Ｘｓｎ中のビットｂｍは、ｂｍ（Ｘｓｎ）と示される（ｎ＝０，１，２、ｍ＝０，２，…，７）。
【０１２３】
例えば、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３が０の場合、高次変換係数ＤＦ３の絶対値が２より小さいため、図７に示すテーブルＴ１を選択する。次に、埋め込み縮小処理部１０７は、そのテーブルＴ１を参照して、高次変換係数ＤＦ３を量子化値０に量子化し、画素値Ｘｓ２のビットｂ０の値を０に置き換える。つまり、埋め込み縮小処理部１０７は、画素値Ｘｓ２のビットｂ０の値を削除して、そのビットｂ０に、符号化高次変換係数０を埋め込む。このとき、埋め込み縮小処理部１０７は、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２のうちの、画素値Ｘｓ２のビットｂ０以外の他のビットを変更しない。
【０１２４】
別の例として、埋め込み縮小処理部１０７は、高次変換係数ＤＦ３が１２の場合、高次変換係数ＤＦ３の絶対値が１２以上２４未満であるため、図７に示すテーブルＴ１，Ｔ２，Ｔ３を順に選択する。つまり、埋め込み縮小処理部１０７は、まず、テーブルＴ１，Ｔ２，Ｔ３を参照して、高次変換係数ＤＦ３を量子化値１４に量子化する。次に、埋め込み縮小処理部１０７は、テーブルＴ１を参照して、画素値Ｘｓ２のビットｂ０の値を１に置き換え、テーブルＴ２を参照して、画素値Ｘｓ１のビットｂ０の値を１に置き換えるとともに、画素値Ｘｓ２のビットｂ１の値を１に置き換える。さらに、埋め込み縮小処理部１０７は、テーブルＴ３を参照して、画素値Ｘｓ０のビットｂ０の値をＳｉｇｎ（ＤＦ３）に置き換え、画素値Ｘｓ０のビットｂ１の値を０に置き換えるとともに、画素値Ｘｓ１のビットｂ１の値を０に置き換える。これにより、画素値Ｘｓ０のビットｂ０，ｂ１と、画素値Ｘｓ１のビットｂ０，ｂ１と、画素値Ｘｓ２のビットｂ０，ｂ１との値がそれぞれ削除され、それらのビットに、符号化高次変換係数（Ｓｉｇｎ（ＤＦ３），０，１，０，１，１）が埋め込まれる。
【０１２５】
このようにして、画素値のＬＳＢを含む下位ビットへの符号化高次変換係数の埋め込みが行われる。
【０１２６】
なお、本実施の形態においては、画素領域に符号化高次変換係数を埋め込んでいるが、ステップＳ１０６の直前で符号化高次変換係数を周波数領域に埋め込んでもよい。また、本実施の形態では、高次変換係数に対して量子化および可変長符号化を行ったが、量子化および可変長符号化のいずれか一方のみを行ってもよく、あるいは、いずれも行わずに高次変換係数を埋め込んでもよい。
【０１２７】
また、本実施の形態では、４×４画素の復号画像を３×４画素の縮小復号画素に変換したが、８×８画素の復号画像を６×８画素の縮小復号画像に変換してもよく、それ以外の他のサイズに変換してもよい。さらに、例えば４×４画素の復号画像を３×３画素の縮小復号画像に変換するように２次元の圧縮を行ってもよい。
【０１２８】
図８は、本実施の形態における抽出拡大処理部１０９の処理動作の概略を示すフローチャートである。
【０１２９】
本実施の形態における抽出拡大処理部１０９は、図４に示す埋め込み縮小処理部１０７の処理動作と逆の処理動作を行う。
【０１３０】
具体的には、抽出拡大処理部１０９は、まず、符号化高次変換係数が埋め込まれた縮小復号画像である参照画像から符号化高次変換係数を取り出し、その符号化高次変換係数から高次変換係数を復元する（ステップＳ２００）。これにより、高次変換係数が抽出される。ここで、参照画像はＮｓ×Ｎｆ画素からなり、例えばＮｓは３であり、Ｎｆは４である。
【０１３１】
次に、抽出拡大処理部１０９は、符号化高次変換係数が取り除かれた参照画像、すなわち縮小復号画像に対して低解像度の周波数変換（具体的にはＤＣＴなどの直交変換）を行い、複数の変換係数からなる周波数領域の係数群を得る（ステップＳ２０２）。つまり、抽出拡大処理部１０９は、Ｎｓ×Ｎｆ画素からなる縮小復号画像に対して低解像度のＤＣＴを行い、Ｎｓ×Ｎｆ個の変換係数からなる周波数領域の係数群を生成する。このとき、抽出拡大処理部１０９は、Ｎ＝Ｎｓおよび上記（式４）を用いてＤＣＴを行う。
【０１３２】
次に、抽出拡大処理部１０９は、次のステップで高解像度の逆周波数変換を行うために、周波数領域のＮｓ×Ｎｆ個の変換係数をスケーリングし、それらの変換係数のゲインを調整する（ステップＳ２０４）。ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、Ｎｓ−ポイントＤＣＴ低周波数係数のＮｆ−ポイントＩＤＣＴ画素値を取る前に、ゲイン調整のため、抽出拡大処理部１０９は各変換係数をスケーリングする。本例の場合は、抽出拡大処理部１０９は、埋め込み縮小処理部１０７によるステップＳ１０４でのスケーリングと同様、以下の（式７）により算出される値で各変換係数をスケーリングする。
【０１３３】
【数７】
2010092740.tif 000085
【０１３４】
次に、抽出拡大処理部１０９は、ステップＳ２００で得られた高次変換係数を、ステップＳ２０４でスケーリングされた周波数領域の係数群に付加する（ステップＳ２０６）。これにより、Ｎｆ×Ｎｆ個の変換係数からなる周波数領域の係数群、すなわち周波数領域で表される復号画像が生成される。なお、高次変換係数を含む係数群に、ステップＳ２００で得られた高次変換係数よりも高い周波数の変換係数が必要とされる場合には、その変換係数には０が用いられる。
【０１３５】
最後に、抽出拡大処理部１０９は、ステップＳ２０６で生成された周波数領域の係数群に対してフル解像度（高解像度）での逆周波数変換（具体的にはＩＤＣＴなどの直交変換）を行い、Ｎｆ×Ｎｆ画素からなる復号画像を得る（ステップＳ２０８）。このとき、抽出拡大処理部１０９は、Ｎ＝Ｎｓおよび上記（式５）を用いてＩＤＣＴを行う。これにより、Ｎｓ×Ｎｆ画素からなる参照画像は、水平方向に高解像度化されてＮｆ×Ｎｆ画素に拡大され、縮小される前の復号画像の解像度と同じ解像度となる。
【０１３６】
なお、本実施の形態の抽出拡大処理部１０９は、ステップＳ２００の処理を実行する抽出部および復元部と、ステップＳ２０２の処理を実行する第２の直交変換部と、ステップＳ２０６の処理を実行する付加部と、ステップＳ２０８の処理を実行する第２の逆直交変換部とを備える。
【０１３７】
ここで、上記各ステップＳ２００〜Ｓ２０８について詳細に説明する。
【０１３８】
図９は、図８のステップＳ２００における符号化高次変換係数の抽出および復元処理を示すフローチャートである。
【０１３９】
抽出拡大処理部１０９は、まず、参照画像から可変長符号である符号化高次変換係数を取り出す（ステップＳ２０００）。次に、抽出拡大処理部１０９は、符号化高次変換係数を復号することにより、量子化された高次変換係数、つまり高次変換係数の量子化値を取得する（ステップＳ２００２）。最後に、抽出拡大処理部１０９は、その量子化値を逆量子化することにより、その量子化値から高次変換係数を復元する（ステップＳ２００４）。
【０１４０】
次に、具体例をあげて高次変換係数の復元の方法を詳細に説明する。
【０１４１】
例えば、Ｎｆ＝４およびＮｓ＝３の場合、３×４画素の低解像度の参照画像が４×４画素の高解像度の画像に拡大される。拡大は水平方向に対してのみ行われるため、ここでは水平方向についてのみ説明する。なお、低解像度の参照画像における水平方向の３つの画素値をそれぞれ、Ｘｓ０、Ｘｓ１、Ｘｓ２とし、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２のそれぞれのビット列を、ＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）から順に（ｂ７、ｂ６、ｂ５、ｂ４、ｂ３、ｂ２、ｂ１、ｂ０）と表現する。また、復元される高次変換係数をＤＦ３とする。
【０１４２】
抽出拡大処理部１０９は、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２の下位ビットと、図７に示すテーブルＴ１〜Ｔ６とを見比べることにより、画素値Ｘｓ０、Ｘｓ１、Ｘｓ２に埋め込まれている符号化高次変換係数を抽出し、復号および逆量子化を行う。
【０１４３】
具体的には、抽出拡大処理部１０９は、まず、テーブルＴ１を参照して、画素値Ｘｓ２のビットｂ０の値を抽出し、そのビットｂ０の値が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ２のビットｂ０の値が０であれば、高次符号化係数の絶対値が２未満であって、その絶対値の量子化値が０であると判断する。これにより、符号化高次変換係数０の抽出および復号が行われる。
【０１４４】
さらに、抽出拡大処理部１０９は、その量子化値０に対して例えば線形の逆量子化を行い、高次変換係数ＤＦ３＝０を復元する。
【０１４５】
別の例として、抽出拡大処理部１０９は、テーブルＴ１を参照し、画素値Ｘｓ２のビットｂ０の値を抽出し、そのビットｂ０が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ２のビットｂ０が１であれば、さらに、テーブルＴ２を参照し、画素値Ｘｓ１のビットｂ０の値と、画素値Ｘｓ２のビットｂ１の値とを抽出し、それらのビットの値が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ１のビットｂ０の値と、画素値Ｘｓ２のビットｂ１の値とがそれぞれ１であれば、さらにテーブルＴ３を参照する。そして、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ１の値と、画素値Ｘｓ１のビットｂ１の値とを抽出し、それらの値が１か０かを判別する。その結果、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ１の値と、画素値Ｘｓ１のビットｂ１の値とがそれぞれ０であれば、高次符号化係数ＤＦ３の絶対値が１２以上１６未満で、その絶対値の量子化値が１４であると判断する。さらに、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ０の値を抽出し、その値の示す符号が正か負かを判別し、正であると判別すると、高次符号化係数ＤＦ３の量子化値が１４であると判断する。これにより、画素値Ｘｓ０のビットｂ０，ｂ１と、画素値Ｘｓ１のビットｂ０，ｂ１と、画素値Ｘｓ２のビットｂ０，ｂ１とに埋め込まれていた、符号化高次変換係数（Ｓｉｇｎ（ＤＦ３），０，１，０，１，１）が抽出されて量子化値１４に復号される。
【０１４６】
次に、抽出拡大処理部１０９は、その量子化値１４に対して例えば線形の逆量子化を行い、高次変換係数ＤＦを、１２〜１６の中間の値である１４として復元する。
【０１４７】
ここで、低解像度の参照画像における画素値のＬＳＢを含む下位ビットから、符号化高次変換係数を抽出して、その画素値の下位ビットのそれぞれを単純にすべて０にしてしまうと、その画素値に生じる誤差が大きくなる恐れがある。そこで、抽出拡大処理部１０９は、符号化高次変換係数が抽出されたＬＳＢを含む下位ビットの値を、中央の値に変換する。例えば、低解像度の参照画像の画素値が１２２であって、その画素値のＬＳＢを含む下位２ビットに可変長符号である符号化高次変換係数が埋め込まれている場合を想定する。この場合、その下位２ビットから符号化高次変換係数を抽出してそれらのビットの値をすべて０に変換してしまうと、その画素値は１２０となる。しかし、抽出拡大処理部１０９は、その下位２ビットの値に応じて画素値が取り得る１２０，１２１，１２２，１２３のうちの中央の値、すなわち１２１．５を、符号化高次変換係数が抽出された後の画素値に使用する。なお、０．５を表現するために１ビット増加が必要であるが、増加しない場合は中央の値に近い１２１あるいは１２２などを使用してもよい。
【０１４８】
図１０は、埋め込み縮小処理部１０７における処理動作の具体例を示す図である。
【０１４９】
例えば、Ｎｆ＝４およびＮｓ＝３の場合、埋め込み縮小処理部１０７は、復号画像の水平方向の４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２６，１０４，１２１，８７｝を縮小して、そこに符号化高次変換係数を埋め込み、その４つの画素値を３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝に変換する。
【０１５０】
具体的には、埋め込み縮小処理部１０７は、ステップＳ１００で、４つの画素値｛１２６，１０４，１２１，８７｝に対して周波数変換を行うことにより、４つの変換係数からなる係数群｛２１９．０００，  ２０．８７８，  −６．０００，  ２１．６５９｝を生成する。次に、埋め込み縮小処理部１０７は、ステップＳ１０２で、その係数群から高次変換係数２２（２１．６５９）を抽出して符号化することにより、画素値Ｘｓ０のビットｂ１，ｂ０に埋め込まれるべき値｛１，０｝と、画素値Ｘｓ１のビットｂ１，ｂ０に埋め込まれるべき値｛０，１｝と、画素値Ｘｓ２のビットｂ１，ｂ０に埋め込まれるべき値｛１，１｝とからなる符号化高次変換係数を生成する。
【０１５１】
さらに、埋め込み縮小処理部１０７は、ステップＳ１０４で、高次変換係数２２以外の各変換係数｛２１．０００，  ２０．８７８，  −６．０００｝をスケーリングすることにより、係数群｛Ｕｓ０，Ｕｓ１，Ｕｓ２｝＝｛１８９．６６０，  １８．０８１，  −５．１９６｝を導出する。次に、埋め込み縮小処理部１０７は、ステップＳ１０６で、その導出された係数群に対して逆周波数変換を行うことにより、３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２０，１１４，９５｝を生成する。そして、埋め込み縮小処理部１０７は、ステップＳ１０８で、それらの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２０，１１４，９５｝に、符号化高次変換係数を埋め込む。つまり、埋め込み縮小処理部１０７は、画素値Ｘｓ０のビットｂ１，ｂ０に｛１，０｝を埋め込み、画素値Ｘｓ１のビットｂ１，ｂ０に｛０，１｝を埋め込み、画素値Ｘｓ２のビットｂ１，ｂ０に｛１，１｝を埋め込む。これにより、４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２６，１０４，１２１，８７｝が、３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝に変換される。このような水平方向に３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝を有する参照画像がフレームメモリ１０８に格納される。
【０１５２】
図１１は、抽出拡大処理部１０９における処理動作の具体例を示す図である。
【０１５３】
抽出拡大処理部１０９は、ステップＳ２００で、フレームメモリ１０８から上述の３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝を読み出し、そこから符号化高次変換係数を抽出する。つまり、抽出拡大処理部１０９は、画素値Ｘｓ０のビットｂ１，ｂ０から｛１，０｝を抽出し、画素値Ｘｓ１のビットｂ１，ｂ０から｛０，１｝を抽出し、画素値Ｘｓ２のビットｂ１，ｂ０から｛１，１｝を抽出する。そして、抽出拡大処理部１０９は、図７に示すテーブルＴ１〜Ｔ６を参照して、その抽出した符号化高次変換係数から高次変換係数２２を復元する。
【０１５４】
次に、抽出拡大処理部１０９は、ステップＳ２０２で、符号化高次変換係数が抽出された画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２１．５，  １１３．５，  ９３．５｝に対して周波数変換を行い、３つの変換係数からなる係数群｛Ｕｓ０，Ｕｓ１，Ｕｓ２｝＝｛１８９．６６０，  １９．７９９，  −４．８９９｝を生成する。さらに、抽出拡大処理部１０９は、ステップＳ２０４で、それらの変換係数｛１８９．６６０，  １９．７９９，  −４．８９９｝をスケーリングすることにより、係数群｛Ｕ０，Ｕ１，Ｕ２｝＝｛２１９．０００，  ２２．８６２，  −５．６５７｝を導出する。
【０１５５】
次に、抽出拡大処理部１０９は、ステップＳ２０６で、ステップＳ２００で復元された高次変換係数２２を、ステップＳ２０４で導出された係数群に付加することにより、４つの変換係数からなる係数群｛Ｕ０，Ｕ１，Ｕ２，Ｕ３｝＝｛２１９．０００，  ２２．８６２，  −５．６５７，  ２２｝を生成する。さらに、抽出拡大処理部１０９は、ステップＳ２０８で、係数群｛Ｕ０，Ｕ１，Ｕ２，Ｕ３｝＝｛２１９．０００，  ２２．８６２，  −５．６５７，  ２２｝に対して逆周波数変換を行うことにより、４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２８，１０４，１２１，８６｝を生成する。これにより、３つの画素値｛Ｘｓ０，Ｘｓ１，Ｘｓ２｝＝｛１２２，１１５，９５｝が、４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２８，１０４，１２１，８６｝に変換される。その結果、水平方向に４つの画素値｛Ｘ０，Ｘ１，Ｘ２，Ｘ３｝＝｛１２８，１０４，１２１，８６｝を有する拡大された参照画像が動き補償に用いられる。
【０１５６】
すなわち、本実施の形態のように高次変換係数を埋め込まない場合には、復号画像の画素値｛１２６，１０４，１２１，８７｝は、縮小および拡大されることにより、画素値｛１２０，１１８，１０７，９３｝となり、誤差が｛−６，１４，−１４，６｝になってしまう。しかし、本実施の形態では、上述の埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理によって、高次変換係数が埋め込まれて抽出されることにより、復号画像の画素値｛１２６，１０４，１２１，８７｝は、縮小および拡大されても画素値｛１２８，１０４，１２１，８６｝となり、誤差を｛２，０，０，−１｝に抑え、誤差の発生を大きく改善することができる。
【０１５７】
（変形例）
ここで、実施の形態２における変形例について説明する。本変形例に係る画像復号装置は、上記実施の形態２の画像復号装置１００の機能と、実施の形態１の画像処理装置１０の機能とを備えている。つまり、本変形例に係る画像復号装置は、実施の形態１のように、第１の処理モードと第２の処理モードとを少なくとも１つの復号画像（入力画像）ごとに切り替えて選択する点に特徴がある。なお、第１の処理モードは、埋め込み縮小処理部１０７または抽出拡大処理部１０９による処理である。
【０１５８】
図１２は、本変形例に係る画像復号装置の機能構成を示すブロック図である。
【０１５９】
本変形例に係る画像復号装置１００ａは、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、フレームメモリ１０８、抽出拡大処理部１０９、フル解像度動き補償部１１０、ビデオ出力部１１１、スイッチＳＷ１、スイッチＳＷ２、および選択部１４を備える。
【０１６０】
つまり、本変形例に係る画像復号装置１００ａは、上記実施の形態２の画像復号装置１００が有する全ての構成要素と、スイッチＳＷ１、スイッチＳＷ２、および選択部１４とを備える。また、埋め込み縮小処理部１０７およびスイッチＳＷ１から格納部１１が構成され、抽出拡大処理部１０９およびスイッチＳＷ２から読み出し部１３が構成されている。したがって、その格納部１１および読み出し部１３と、フレームメモリ１０８（１２）と、選択部１４とから画像処理装置１０が構成されている。本変形例に係る画像復号装置１００ａは、このような画像処理装置１０を備えている。言い換えれば、画像処理装置は、画像復号装置１００ａとして構成されている。つまり、画像処理装置は、格納部１１、フレームメモリ１２、読み出し部１３、および選択部１４を備えるとともに、さらに、ビデオデコードに必要な復号部とビデオ出力部１１１とを備える。なお、復号部は、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、およびフル解像度動き補償部１１０から構成される。
【０１６１】
シンタックス解析・エントロピー復号部１０１は、実施の形態２と同様に、複数の符号化画像を示すビットストリームに含まれるヘッダ情報を解析して復号する。ここで、Ｈ．２６４規格では、複数のピクチャ（符号化画像）からなるシーケンス毎に付加されるＳＰＳ（Sequence Parameter Set）と呼ばれるヘッダ情報が規定されている。このＳＰＳには、参照フレーム数（num_ref_frames）という情報が含まれている。この参照フレーム数は、その参照フレーム数およびＳＰＳに対応するシーケンスに含まれている符号化画像を復号する際に必要とされる参照画像の枚数を示す。Ｈ．２６４規格では、ハイビジョンのビットストリームの場合、参照フレーム数として許されている最大の値は４であるが、多くのビットストリームでは、参照フレーム数は２に設定されていることが多い。つまり、ビットストリームのシーケンスに付加されているＳＰＳに、４を示す参照フレーム数が含まれていれば、そのシーケンスに含まれる画面間予測符号化された符号化画像のそれぞれは、４つの参照画像から選択された１つまたは２つの参照画像を用いて符号化されている。したがって、ＳＰＳの参照フレーム数が多ければ、そのＳＰＳに対応するシーケンスを復号する際には、多くの参照画像をフレームメモリ１０８に格納し、多くの参照画像をフレームメモリ１０８から読み出す必要がある。
【０１６２】
選択部１４は、シンタックス解析・エントロピー復号部１０１によるヘッダ情報の解析によって得られた参照フレーム数を、そのシンタックス解析・エントロピー復号部１０１から取得する。そして、選択部１４は、その参照フレーム数に応じて、シーケンス単位で第１の処理モードと第２の処理モードとを切り替えて選択する。つまり、選択部１４は、シーケンスに付加されたＳＰＳに参照フレーム数ｍが含まれていると、そのシーケンスに対応する復号画像のそれぞれに対して同一の処理（第１または第２の処理モード）を、参照フレーム数ｍに応じて選択する。例えば、選択部１４は、参照フレーム数が３以上であれば、そのシーケンスに対応する復号画像のそれぞれに対して第１の処理モードを選択し、参照フレーム数が２以下であれば、そのシーケンスに対応する復号画像のそれぞれに対して第２の処理モードを選択する。以下、第１の処理モードを低解像度復号モードと言い、第２の処理モードをフル解像度復号モードという。
【０１６３】
さらに、選択部１４は、低解像度復号モードを選択したときには、そのモードを示すモード識別子１をスイッチＳＷ１およびスイッチＳＷ２に出力する。一方、選択部１４は、フル解像度復号モードを選択したときには、そのモードを示すモード識別子０をスイッチＳＷ１およびスイッチＳＷ２に出力する。
【０１６４】
スイッチＳＷ１は、選択部１４からモード識別子１を取得すると、デブロックフィルタ部１０６から出力された復号画像に代えて、埋め込み縮小処理部１０７から出力される縮小復号画像を、参照画像としてフレームメモリ１０８に出力する。一方、スイッチＳＷ１は、選択部１４からモード識別子０を取得すると、埋め込み縮小処理部１０７から出力される縮小復号画像に代えて、デブロックフィルタ部１０６から出力された復号画像を、参照画像としてフレームメモリ１０８に出力する。
【０１６５】
スイッチＳＷ２は、選択部１４からモード識別子１を取得すると、フレームメモリ１０８に格納されている復号画像（参照画像）を出力する代わりに、抽出拡大処理部１０９によって拡大された縮小復号画像（参照画像）を出力する。一方、スイッチＳＷ２は、選択部１４からモード識別子０を取得すると、抽出拡大処理部１０９によって拡大された縮小復号画像（参照画像）を出力する代わりに、フレームメモリ１０８に格納されている復号画像（参照画像）を出力する。
【０１６６】
図１３は、選択部１４の動作を示すフローチャートである。
【０１６７】
まず、選択部１４は、ＳＰＳの参照フレーム数を取得する（ステップＳ２１）。さらに、選択部１４は、その参照フレーム数が２以下であるか否かを判別する（ステップＳ２２）。ここで、選択部１４は、参照フレーム数が２以下であると判別すると（ステップＳ２２のＹ）、フル解像度復号モード（第２の処理モード）を選択し、そのモードを示すモード識別子０をスイッチＳＷ１およびスイッチＳＷ２に出力する（ステップＳ２３）。
【０１６８】
これにより、そのＳＰＳに対応するシーケンスに含まれていた各符号化画像が復号化されてデブロックフィルタ部１０６から出力される各復号画像は、縮小されることなく参照画像としてフレームメモリ１０８に格納される。さらに、その復号画像である参照画像がフル解像度動き補償部１１０の動き補償に用いられるときには、その参照画像がフレームメモリ１０８から読み出されてそのまま動き補償に用いられる。
【０１６９】
一方、選択部１４は、参照フレーム数が２以下でないと判別すると（ステップＳ２２のＮ）、低解像度復号モード（第１の処理モード）を選択し、そのモードを示すモード識別子１をスイッチＳＷ１およびスイッチＳＷ２に出力する（ステップＳ２４）。
【０１７０】
これにより、そのＳＰＳに対応するシーケンスに含まれていた各符号化画像が復号化されてデブロックフィルタ部１０６から出力される各復号画像は、埋め込み縮小処理部１０７で縮小されて参照画像（縮小復号画像）としてフレームメモリ１０８に格納される。さらに、その縮小復号画像である参照画像がフル解像度動き補償部１１０の動き補償に用いられるときには、その参照画像がフレームメモリ１０８から読み出され、抽出拡大処理部１０９で拡大されて動き補償に用いられる。
【０１７１】
次に、選択部１４は、新たなＳＰＳの参照フレーム数を取得したか否かを判別し（ステップＳ２５）、取得したと判別したときには（ステップＳ２５のＹ）、ステップＳ２２からの処理を繰り返し実行する。また、選択部１４は、ステップＳ２５で参照フレーム数を取得していないと判別したときには（ステップＳ２５のＮ）、フル解像度復号モードおよび低解像度復号モードの選択の処理を終了する。
【０１７２】
このように、本変形例では、低解像度復号モードが選択された場合には、復号画像が縮小されてフレームメモリ１０８に格納されるため、フレームメモリ１０８の容量を削減することができる。例えば、実施の形態２のように、埋め込み縮小処理部１０７が復号画像を３／４に縮小する場合には、参照フレーム数の最大値が４であるため、フレームメモリ１０８に必要な容量を、４フレーム分の容量から、４フレーム×（３／４）＝３フレーム分の容量に削減することができる。また、低解像度復号モードが選択された場合には、画質の劣化が生じるが、２より大きい参照フレーム数がＳＰＳに設定されることは実用的には少ないため、画質劣化が生じる場合を最小限に制限することが可能になる。
【０１７３】
また、本変形例では、フル解像度復号モードが選択された場合には、復号画像が縮小されることなくフレームメモリ１０８に格納されるため、画質の劣化を確実に防ぐことができる。なお、この場合に、フレームメモリ１０８に必要な容量は、参照フレーム数の最大値が４であるため、４フレーム分である。しかし、参照フレーム数が２の場合には、フレームメモリ１０８に必要な容量は２フレーム分であればよく、参照フレーム数が３の場合には、フレームメモリ１０８に必要な容量は３フレーム分であればよい。
【０１７４】
さらに、本変形例では、実施の形態１のように、低解像度復号モードとフル解像度復号モードとがシーケンスごとに切り替えて選択されるため、複数の復号画像の全体的な画質の劣化の防止と、フレームメモリ１０８に必要とされる帯域および容量の抑制とのバランスをとって、それぞれを両立させることができる。さらに、低解像度復号モードが選択された場合であっても、復号画像は実施の形態２の埋め込み縮小処理および抽出拡大処理によって縮小されて拡大されるため、復号画像の画質の劣化をより防ぐことができる。
【０１７５】
なお、本変形例では、復号画像を縮小して拡大するために、実施の形態２の埋め込み縮小処理および抽出拡大処理を利用するが、それらの処理を利用しなくてもよく、復号画像を縮小して拡大する方法はどのような方法であってもよい。また、本変形例の画像復号装置１００ａは、Ｈ．２６４のビデオ符号化規格に対応しているが、ビットストリームのヘッダ情報に、参照フレーム数などのフレームメモリの容量を決めるパラメータが存在するようなビデオ符号化規格であれば、どのような規格にも対応している。
【０１７６】
（実施の形態３）
実施の形態２においては、常に高次変換係数の埋め込みを行ったが、縮小復号画像が平坦でエッジが少ない場合、すなわち高次変換係数が小さい場合は、高次変換係数の埋め込みを行わない方が画質が改善する場合がある。本実施の形態では、そのような場合の画質改善の方法を示す。
【０１７７】
本実施の形態における画像復号装置は、図３に示す画像復号装置１００と同一の構成を有するが、埋め込み縮小処理部１０７および抽出拡大処理部１０９の一部の処理動作のみが実施の形態２と異なる。つまり、本実施の形態における埋め込み縮小処理部１０７は、実施の形態２の図４に示す符号化高次変換係数の埋め込み処理（ステップＳ１０８）、すなわち図６に示す処理と異なる処理を実行する。さらに、本実施の形態における抽出拡大処理部１０９は、実施の形態２の図８に示す符号化高次変換係数の抽出および復元処理（ステップＳ２００）、すなわち図９に示す処理と異なる処理を実行する。なお、本実施の形態における画像復号装置のその他の処理については、実施の形態２の処理と同様であるため、その説明を省略する。
【０１７８】
図１４は、本実施の形態における埋め込み縮小処理部１０７による符号化高次変換係数の埋め込み処理を示すフローチャートである。なお、本実施の形態における埋め込み縮小処理部１０７は、実施の形態２の図６に示す処理を実行するか否かを、事前にステップＳ１１８０で判別している点に特徴があり、他のステップの処理は実施の形態２と同様である。
【０１７９】
埋め込み縮小処理部１０７は、まず、縮小復号画像に含まれる画素値、つまり低解像度画素データの分散ｖを計算し、その分散ｖが予め定められた閾値よりも小さいか否かを判別する（ステップＳ１１８０）。ここで、埋め込み縮小処理部１０７は、以下の（式８）により分散ｖを算出する。
【０１８０】
【数８】
2010092740.tif 000086
【０１８１】
ここで、Ｘｓｉは縮小復号画像の画素値、つまり縮小された低解像度画素データであり、Ｎｓは縮小復号画像に含まれる画素値の総数、つまり低解像度画素データの総数であり、μは低解像度画素データの平均値である。なお、埋め込み縮小処理部１０７は、平均値μを以下の（式９）により算出する。
【０１８２】
【数９】
2010092740.tif 000087
【０１８３】
具体例として、低解像度画素データＸｓ０，Ｘｓ１，Ｘｓ２が１２１，１２２，１２３の場合、平均値μは１２２となり、分散ｖは０．６６６となる。
【０１８４】
ステップＳ１１８０の判別の結果、埋め込み縮小処理部１０７は、分散ｖが閾値以上と判別すると（ステップＳ１１８０のＮ）、実施の形態２の図６に示す処理と同様、縮小復号画像の各画素値を示すビット列のうちの、符号化高次変換係数の符号長に応じた数の下位ビットによって示される値を削除する。このとき、埋め込み縮小処理部１０７は、ビット列のうち、ＬＳＢから優先して下位ビットの値を削除する（ステップＳ１１８２）。次に、埋め込み縮小処理部１０７は、符号化高次変換係数を、値が削除された下位ビットに埋め込む（ステップＳ１１８４）。これにより、符号化高次変換係数が埋め込まれた縮小復号画像、つまり参照画像が生成される。
【０１８５】
一方、埋め込み縮小処理部１０７は、分散ｖが閾値よりも小さいと判別すると（ステップＳ１１８０のＹ）、この縮小復号画像が平坦であるとみなして高次変換係数の埋め込みを行わない。したがって、この場合には、符号化高次変換係数が埋め込まれていない縮小復号画像が参照画像としてフレームメモリ１０８に格納されることとなる。
【０１８６】
図１５は、本実施の形態における抽出拡大処理部１０９による符号化高次変換係数の抽出および復元処理を示すフローチャートである。なお、本実施の形態における抽出拡大処理部１０９は、実施の形態２の図９に示す処理を実行するか否かを、事前にステップＳ２１００で判別している点に特徴がある。つまり、本実施の形態における抽出拡大処理部１０９は、拡大を行う際には、事前に、参照画像に符号化高次変換係数が埋め込まれているかどうかを判断している。
【０１８７】
具体的には、抽出拡大処理部１０９は、参照画像に含まれる画素値、つまり縮小された低解像度画素データの分散ｖを計算し、その分散ｖが予め定められた閾値よりも小さいか否かを判別する（ステップＳ２１００）。ここで、抽出拡大処理部１０９は、上記（式８）により分散ｖを算出する。
【０１８８】
抽出拡大処理部１０９は、分散ｖが閾値以上と判別すると（ステップＳ２１００のＮ）、実施の形態２の図９に示す処理と同様、参照画像から符号化高次変換係数を取り出す（ステップＳ２１０２）。次に、抽出拡大処理部１０９は、符号化高次変換係数を復号することにより、量子化された高次変換係数、つまり高次変換係数の量子化値を取得する（ステップＳ２１０４）。さらに、抽出拡大処理部１０９は、その量子化値を逆量子化することにより、その量子化値から高次変換係数を復元する（ステップＳ２１０６）。
【０１８９】
一方、抽出拡大処理部１０９は、分散ｖが閾値よりも小さいと判別すると（ステップＳ２１００のＹ）、参照画像には符号化高次変換係数が埋め込まれていないと判断し、ステップＳ２１０２、ステップＳ２１０４およびステップＳ２１０６で示される高次変換係数の復元処理を行わず、全ての高次変換係数として０を出力する（ステップＳ２１０８）。
【０１９０】
なお、ステップＳ２１００では、参照画像に符号化高次変換係数が含まれている場合にも、符号化高次変換係数が含まれていない場合と同様、その符号化高次変換係数が含まれている参照画像の画素値つまり低解像度画素データから分散が計算されるため、図１４に示すステップＳ１１８０で算出される分散との間で誤差が生じ、参照画像に符号化高次変換係数が埋め込まれているか否かを誤って判別してしまう場合がある。しかし、この誤った判別の頻度は小さく実用上問題にならない。
【０１９１】
（実施の形態４）
実施の形態２および３では、ビデオデコード（特に、参照画像の格納および動き補償のための参照画像の読み出し）だけにおいて、埋め込み縮小処理および抽出拡大処理を適用することにより、フレームメモリ１０８の帯域および容量の削減を図っている。本実施の形態の画像復号装置では、ビデオデコードだけでなく、ビデオ出力部における縮小復号画像の出力においても、実施の形態２の埋め込み縮小処理および抽出拡大処理を適用する点に特徴がある。これにより、本実施の形態における画像復号装置では、各画素のＬＳＢを含む下位ビットに埋め込まれたデータが画質に影響を及ぼすことがなくなり、フレームメモリ１０８の帯域および容量を削減すると共に、画質のさらなる向上を実現することができる。
【０１９２】
図１６は、本実施の形態における画像復号装置の機能構成を示すブロック図である。
【０１９３】
本実施の形態における画像復号装置１００ｂは、Ｈ．２６４のビデオ符号化規格に対応しており、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、フレームメモリ１０８、抽出拡大処理部１０９、フル解像度動き補償部１１０、およびビデオ出力部１１１ｂを備える。つまり、本実施の形態における画像復号装置１００ｂは、実施の形態２の画像復号装置１００のビデオ出力部１１１の代わりに、埋め込み縮小処理部１０７および抽出拡大処理部１０９の処理機能を有するビデオ出力部１１１ｂを備えている。
【０１９４】
図１７は、本実施の形態におけるビデオ出力部１１１ｂの機能構成を示すブロック図である。
【０１９５】
本実施の形態におけるビデオ出力部１１１ｂは、埋め込み縮小処理部１１７ａ，１１７ｂと、抽出拡大処理部１１９ａ〜１１９ｃと、ＩＰ変換部１２１と、リサイズ部１２２と、出力フォーマット部１２３とを備える。
【０１９６】
埋め込み縮小処理部１１７ａ，１１７ｂはそれぞれ、実施の形態２の埋め込み縮小処理部１０７と同一の機能を有し、埋め込み縮小処理を実行する。抽出拡大処理部１１９ａ〜１１９ｃはそれぞれ、実施の形態２の抽出拡大処理部１０９と同一の機能を有し、抽出拡大処理を実行する。
【０１９７】
ＩＰ変換部１２１は、インターレース構成の画像をプログレッシブ構成の画像に変換する。なお、このようなインターレース構成の画像からプログレッシブ構成の画像への変換をＩＰ変換処理という。
【０１９８】
リサイズ部１２２は画像のサイズを拡大または縮小する。つまり、リサイズ部１２２は、画像の解像度を、その画像をテレビ画面に表示するための所望の解像度に変換する。例えば、リサイズ部１２２は、フルＨＤ（High Definition）の画像をＳＤ（Standard Definition）の画像に変換したり、ＨＤの画像をフルＨＤの画像に変換する。なお、このような画像のサイズの拡大または縮小をリサイズ処理という。
【０１９９】
出力フォーマット部１２３は、画像のフォーマットを外部出力フォーマットに変換する。つまり、出力フォーマット部１２３は、画像データを外部のモニタなどに表示するために、その画像データの信号フォーマットを、モニタの入力に合わせた信号フォーマット、またはモニタと画像復号装置１００ｂのインターフェース（例えばＨＤＭＩ：High-Definition Multimedia Interface）に合わせた信号フォーマットに変換する。なお、このような外部出力フォーマットへの変換を出力フォーマット変換処理という。
【０２００】
図１８は、本実施の形態におけるビデオ出力部１１１ｂの動作を示すフローチャートである。
【０２０１】
まず、ビデオ出力部１１１ｂの抽出拡大処理部１１９ａは、実施の形態２の図８に示す処理（抽出拡大処理）を実行する（ステップＳ４０１）。つまり、抽出拡大処理部１１９ａは、デコードされた後に縮小されてフレームメモリ１０８に格納されている画像である縮小復号画像（参照画像）をそのフレームメモリ１０８から読み出す。なお、読み出された縮小復号画像は、実施の形態１の図４に示す処理（埋め込み縮小処理）によって縮小された画像である。そして、抽出拡大処理部１１９ａは、読み出された縮小復号画像に対して上述の抽出拡大処理を行う。
【０２０２】
ＩＰ変換部１２１は、抽出拡大処理部１１９ａによって抽出拡大処理された縮小復号画像を処理対象画像として扱い、その処理対象画像に対してＩＰ変換処理を行う（ステップＳ４０２）。なお、処理対象画像は元の高解像度（埋め込み縮小処理部１０７で縮小される前の復号画像の解像度）を有する。また、ＩＰ変換処理において複数の縮小復号画像が用いられる場合には、それらの縮小復号画像の全てに対してステップＳ４０１の抽出拡大処理が行われる。
【０２０３】
埋め込み縮小処理部１１７ａは、ＩＰ変換部１２１でＩＰ変換処理された画像に対して、実施の形態２の図４に示す処理（埋め込み縮小処理）を実行し、その埋め込み縮小処理が行われた画像を新たな縮小復号画像としてフレームメモリ１０８に格納する（ステップＳ４０３）。このようなステップＳ４０１〜Ｓ４０３によって、フレームメモリ１０８に格納されている縮小復号画像は、同一の解像度を保ちながらインターレース構成からプログレッシブ構成に変換される。
【０２０４】
次に、抽出拡大処理部１１９ｂは、プログレッシブ構成の縮小復号画像に対して、上述の抽出拡大処理を実行する（ステップＳ４０４）。リサイズ部１２２は、抽出拡大処理部１１９ｂによって抽出拡大処理された縮小復号画像を処理対象画像として扱い、その処理対象画像に対してリサイズ処理を行う（ステップＳ４０５）。なお、処理対象画像は元の高解像度（埋め込み縮小処理部１０７で縮小される前の復号画像の解像度）を有する。また、リサイズ処理において複数の縮小復号画像が用いられる場合には、それらの縮小復号画像の全てに対してステップＳ４０４の抽出拡大処理が行われる。埋め込み縮小処理部１１７ｂは、リサイズ部１２２でリサイズ処理された画像に対して、上述の埋め込み縮小処理を実行し、その埋め込み縮小処理が行われた画像を新たな縮小復号画像としてフレームメモリ１０８に格納する（ステップＳ４０６）。このようなステップＳ４０４〜Ｓ４０６によって、フレームメモリ１０８に格納されている縮小復号画像のサイズが拡大または縮小される。
【０２０５】
次に、抽出拡大処理部１１９ｃは、拡大または縮小された縮小復号画像に対して、上述の抽出拡大処理を実行する（ステップＳ４０７）。出力フォーマット部１２３は、抽出拡大処理部１１９ｃによって抽出拡大処理された縮小復号画像を処理対象画像として扱い、その処理対象画像に対して出力フォーマット変換処理を行う（ステップＳ４０８）。なお、処理対象画像は元の高解像度（埋め込み縮小処理部１１７ｂで縮小される前の処理対象画像の解像度）を有する。また、抽出拡大処理部１１９ｃは、その出力フォーマット変換処理が行われた画像を、画像復号装置１００ｂに接続された外部機器（例えばモニタ）に出力する。
【０２０６】
以上のように、本実施の形態では、埋め込み縮小処理と抽出拡大処理とをビデオデコードに対して用いるだけでなく、ビデオ出力部１１１ｂにおける処理（ビデオ出力）にも用いられている。したがって、フレームメモリ１０８に格納される画像を全て縮小された画像にすることができるとともに、ビデオ出力におけるＩＰ変換処理、リサイズ処理および出力フォーマット変換処理の全ての処理において、元の解像度の画像を処理対象とすることができる。その結果、ビデオ出力部１１１ｂから出力される画像の画質劣化を防ぐとともに、フレームメモリ１０８の帯域および容量を削減することが可能になる。
【０２０７】
なお、本実施の形態では、ビデオ出力部１１１ｂは、ＩＰ変換部１２１、リサイズ部１２２および出力フォーマット部１２３を備えるが、これらの構成要素のうちの何れかを備えていなくてもよく、他の構成要素をさらに備えていてもよい。例えば、低域通過フィルタリングやエッジ強調処理などの高画質化処理を行う構成要素、または、他の画像や字幕などを重畳するＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）処理を行う構成要素を備えていてもよい。さらに、ビデオ出力部１１１ｂは、図１８に示す順序に限らず、他の順序に従って各処理を実行してもよく、その各処理には上述の高画質化処理またはＯＳＤ処理が含まれていてもよい。
【０２０８】
また、本実施の形態では、ビデオ出力部１１１ｂは、抽出拡大処理部１１９ａ〜１１９ｃと埋め込み縮小処理部１１７ａ，１１７ｂとを備えるが、これらの構成要素のうちの何れかを備えていなくてもよい。例えば、上述の構成要素のうち抽出拡大処理部１１９ａだけ備えていてもよく、上述の構成要素のうち、抽出拡大処理部１１９ａ，１１９ｂと埋め込み縮小処理部１１７ａだけを備えていてもよい。
【０２０９】
また、本実施の形態では、埋め込み縮小処理部１０７と抽出拡大処理部１１９ａのそれぞれによる処理のアルゴリズムは互いに対応している必要があり、埋め込み縮小処理部１１７ａと抽出拡大処理部１１９ｂのそれぞれによる処理のアルゴリズムは互いに対応している必要がある。同様に、埋め込み縮小処理部１１７ｂと抽出拡大処理部１１９ｃのそれぞれによる処理のアルゴリズムは互いに対応している必要がある。しかし、埋め込み縮小処理部１０７および抽出拡大処理部１１９ａのアルゴリズムと、埋め込み縮小処理部１１７ａおよび抽出拡大処理部１１９ｂのアルゴリズムと、埋め込み縮小処理部１１７ｂおよび抽出拡大処理部１１９ｃのアルゴリズムとは、それぞれ互いに異なっていても同一であってもよい。
【０２１０】
（変形例）
以下、実施の形態４における変形例について説明する。
【０２１１】
実施の形態４では、ビデオデコードおよびビデオ出力の双方に埋め込み縮小処理と抽出拡大処理とを適用するが、本変形例では、ビデオ出力のみに対して埋め込み縮小処理と抽出拡大処理とを適用する。これにより、ビットストリームのＧＯＰ（Group Of Pictures）が長い、つまりＧＯＰに含まれるピクチャが多く、ビデオデコードにおいて誤差の蓄積が顕著になるようなシステムにおいて、誤差の蓄積による画質の劣化を発生させず、ビデオ出力においてフレームメモリ１０８の帯域と容量を削減することが可能となる。
【０２１２】
図１９は、本変形例に係る画像復号装置の機能構成を示すブロック図である。
【０２１３】
本変形例に係る画像復号装置１００ｃは、Ｈ．２６４のビデオ符号化規格に対応しており、ビデオデコーダ１０１ｃと、フレームメモリ１０８と、ビデオ出力部１１１ｃとを備える。ビデオデコーダ１０１ｃは、シンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、およびフル解像度動き補償部１１０を備える。つまり、本変形例に係る画像復号装置１００ｃは、実施の形態４の画像復号装置１００ｂのビデオ出力部１１１ｂの代わりにビデオ出力部１１１ｃを備え、画像復号装置１００ｂの埋め込み縮小処理部１０７および抽出拡大処理部１０９を備えていない。
【０２１４】
本変形例では、ビデオデコードにおいて埋め込み縮小処理と抽出拡大処理が適用されていないため、フレームメモリ１０８には、縮小されていない復号画像が参照画像として格納されている。そこで、本変形例に係るビデオ出力部１１１ｃは、ビデオ出力（ＩＰ変換処理、リサイズ処理および出力フォーマット変換処理）を行うときには、その縮小されていない復号画像に対して、埋め込み縮小処理および抽出拡大処理を用いたビデオ出力を行う。
【０２１５】
図２０は、本変形例に係るビデオ出力部１１１ｃの機能構成を示すブロック図である。
【０２１６】
本変形例に係るビデオ出力部１１１ｃは、埋め込み縮小処理部１１７ａ，１１７ｂと、抽出拡大処理部１１９ｂ，１１９ｃと、ＩＰ変換部１２１と、リサイズ部１２２と、出力フォーマット部１２３とを備える。つまり、本変形例に係るビデオ出力部１１１ｃは、実施の形態４のビデオ出力部１１１ｂの抽出拡大処理部１１９ａを備えていない。
【０２１７】
図２１は、本変形例に係るビデオ出力部１１１ｃの動作を示すフローチャートである。
【０２１８】
ビデオデコーダ１０１ｃによって生成された復号画像は縮小されることなく参照画像としてフレームメモリ１０８に格納されている。したがって、ビデオ出力部１１１ｃのＩＰ変換部１２１は、フレームメモリ１０８に格納されている復号画像をそのまま処理対象画像として扱い、その処理対象画像に対してＩＰ変換処理を行う（ステップＳ４０２）。つまり、実施の形態４では、フレームメモリ１０８には、復号画像が縮小された縮小復号画像が参照画像としてフレームメモリ１０８に格納されているために、ビデオ出力部１１１ｂは、まず、その縮小復号画像に対して抽出拡張処理を行う。しかし、本変形例では、復号画像が縮小されずに参照画像としてフレームメモリ１０８に格納されているため、図１８に示すステップＳ４０１の抽出拡大処理を行うことなく、フレームメモリ１０８に格納されている復号画像に対してステップＳ４０２のＩＰ変換処理を行う。
【０２１９】
その後、ビデオ出力部１１１ｃは、リサイズ部１２２と、出力フォーマット部１２３と、埋め込み縮小処理部１１７ａ，１１７ｂと、抽出拡大処理部１１９ｂ，１１９ｃとによって、実施の形態４と同様、上述のステップＳ４０３〜Ｓ４０８を実行する。
【０２２０】
以上のように、本変形例では、ビデオデコーダ１０１ｃは規格に定められた動作を行うため、長いＧＯＰの画像に生じ易い画質の劣化の発生を抑えることができる。さらに、本変形例では、ビデオ出力部１１１ｃにおける埋め込み縮小処理および抽出拡大処理によって、フレームメモリ１０８に格納された復号画像は縮小されるため、画質劣化を防ぎつつ、フレームメモリ１０８の帯域および容量を削減することが可能になる。
【０２２１】
なお、本変形例においても上記実施の形態４と同様、ビデオ出力部１１１ｃは、ＩＰ変換部１２１、リサイズ部１２２および出力フォーマット部１２３を備えるが、これらの構成要素のうちの何れかを備えていなくてもよく、他の構成要素をさらに備えていてもよい。例えば、低域通過フィルタリングやエッジ強調処理などの高画質化処理を行う構成要素、または、他の画像や字幕などを重畳するＯＳＤ処理を行う構成要素を備えていてもよい。さらに、ビデオ出力部１１１ｃは、図２１に示す順序に限らず、他の順序に従って各処理を実行してもよく、その各処理には上述の高画質化処理またはＯＳＤ処理が含まれていてもよい。
【０２２２】
また、本変形例においても上記実施の形態４と同様、ビデオ出力部１１１ｃは、抽出拡大処理部１１９ｂ，１１９ｃと埋め込み縮小処理部１１７ａ，１１７ｂとを備えるが、これらの構成要素のうちの何れかを備えていなくてもよい。例えば、上述の構成要素のうち、埋め込み縮小処理部１１７ａと抽出拡大処理部１１９ｂだけを備えていてもよい。
【０２２３】
また、本変形例においても上記実施の形態４と同様、埋め込み縮小処理部１１７ａと抽出拡大処理部１１９ｂのそれぞれによる処理のアルゴリズムは互いに対応している必要があり、埋め込み縮小処理部１１７ｂと抽出拡大処理部１１９ｃのそれぞれによる処理のアルゴリズムは互いに対応している必要がある。しかし、埋め込み縮小処理部１１７ａおよび抽出拡大処理部１１９ｂのアルゴリズムと、埋め込み縮小処理部１１７ｂおよび抽出拡大処理部１１９ｃのアルゴリズムとは、それぞれ互いに異なっていても同一であってもよい。
【０２２４】
（実施の形態５）
本発明は、システムＬＳＩとして実現することができる。
【０２２５】
図２２は、本実施の形態におけるシステムＬＳＩの構成を示す構成図である。
【０２２６】
システムＬＳＩ２００は、圧縮ビデオストリームおよび圧縮オーディオストリームを転送するための周辺機器を以下の通り含む。すなわち、システムＬＳＩ２００は、圧縮ビデオストリーム（ビットストリーム）の示すハイビジョン映像をダウンデコードによって復号するビデオデコーダ２０４、圧縮オーディオストリームをデコードするオーディオデコーダ２０３、外部メモリ１０８ｂに格納されている参照画像を必要な解像度へ拡大又は縮小してモニタに出力するとともに、オーディオ信号を出力するビデオ出力部１１１ａ、ビデオデコーダ２０４とビデオ出力部１１１ａと外部メモリ１０８ｂとの間のデータアクセスを制御するメモリコントローラ１０８ａ、チューナやハードディスクドライブなどの外部装置とのインターフェースをとる周辺インターフェース部２０２、及びストリームコントローラ２０１を備える。
【０２２７】
ビデオデコーダ２０４は、上記実施の形態２または３のシンタックス解析・エントロピー復号部１０１、逆量子化部１０２、逆周波数変換部１０３、画面内予測部１０４、加算部１０５、デブロックフィルタ部１０６、埋め込み縮小処理部１０７、抽出拡大処理部１０９、およびフル解像度動き補償部１１０を備える。つまり、本実施の形態では、ビデオデコーダ２０４、外部メモリ１０８ｂ内にあるフレームメモリ、およびビデオ出力部１１１ａから、上記実施の形態２または３における画像復号装置１００が構成される。
【０２２８】
圧縮ビデオストリームおよび圧縮オーディオストリームは、外部装置から周辺インターフェース部２０２経由で、ビデオデコーダ２０４およびオーディオデコーダ２０３に供給される。外部装置の例としては、ＳＤカード、ハードディスクドライブ、ＤＶＤ、ブルーレイディスク（ＢＤ）、チューナ、ＩＥＥＥ１３９４、または、周辺機器インターフェース（ＰＣＩなど）バス経由で当該周辺インターフェース部２０２へ接続され得るその他全ての外部装置が含まれる。ストリームコントローラ２０１は、オーディオデコーダ２０３およびビデオデコーダ２０４に圧縮オーディオストリームと圧縮ビデオストリームを分離して供給する。なお、本実施の形態においては、ストリームコントローラ２０１はオーディオデコーダ２０３及びビデオデコーダ２０４と直結されているが、外部メモリ１０８ｂを介して接続されてもよい。また、周辺インターフェース部２０２とストリームコントローラ２０１についても、外部メモリ１０８ｂを介して接続されてもよい。
【０２２９】
ビデオデコーダ２０４の内部及び動作については、実施の形態２または３と同様であるので詳細な説明を省略する。
【０２３０】
ビデオデコーダ２０４が使用するフレームメモリは本実施の形態においては、システムＬＳＩ２００外部の外部メモリ１０８ｂに配置されている。外部メモリ１０８ｂには、一般的にはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）が使用されるが、他のメモリデバイスでもよい。また、外部メモリ１０８ｂはシステムＬＳＩ２００内部に備えられていても良い。また、外部メモリ１０８ｂを複数使用してもかまわない。
【０２３１】
メモリコントローラ１０８ａは、外部メモリ１０８ｂにアクセスするビデオデコーダ２０４やビデオ出力部１１１ａなどのブロック間のアクセス調停を行い、必要なアクセスを外部メモリ１０８ｂに対して行う。
【０２３２】
ビデオデコーダ２０４によって復号されて縮小された復号画像は、ビデオ出力部１１１ａによって外部メモリ１０８ｂから読み出されてモニタに表示される。ビデオ出力部１１１ａは、必要な解像度を得るために拡大又は縮小処理を行い、オーディオ信号と同期してビデオデータを出力する。その復号画像は、低解像度の復号画像に歪みを生じさせることなく符号化高次変換係数を透かしとして入れたものであるため、ビデオ出力部１１１ａに最低限必要とされるのは、一般的な拡大縮小機能のみである。なお、拡大縮小以外の高画質化処理やＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換処理が含まれても良い。
【０２３３】
本実施の形態では、上記実施の形態２および３と同様、ビデオデコーダ２０４において、縮小復号画像におけるドリフトエラーを最小限にとどめるために、ダウンサンプリングプロセスで切り捨てられた１以上の高次変換係数が符号化されて縮小復号画像に埋め込まれる。このような埋め込みは、デジタル透かし技術を用いた情報の埋め込みであるため、縮小復号画像に歪みを生じさせない。したがって、本実施の形態では、縮小復号画像をモニタに表示するための複雑な処理を必要としない。つまり、ビデオ出力部１１１ａには、簡素な拡大及び縮小機能があればよい。
【０２３４】
（変形例）
ここで、上記実施の形態５の変形例について説明する。本変形例に係るシステムＬＳＩのビデオ出力部は、実施の形態４のビデオ出力部１１１ｂと同様、抽出拡大処理と埋め込み縮小処理を実行する点に特徴がある。
【０２３５】
図２３は、本変形例に係るシステムＬＳＩの構成を示す構成図である。
【０２３６】
本変形例に係るシステムＬＳＩ２００ｂは、ビデオ出力部１１１ａの代わりにビデオ出力部１１１ｄを備える。このビデオ出力部１１１ｄは、ビデオ出力部１１１ａと同様、オーディオ信号を出力するとともに、実施の形態４のビデオ出力部１１１ｂと同一の処理を実行する。つまり、ビデオ出力部１１１ｄは、外部メモリ１０８ｂに参照画像として格納されている縮小復号画像をメモリコントローラ１０８ａを介して読み出すときには、その縮小復号画像に対して抽出拡大処理を行う。また、ビデオ出力部１１１ｄは、ビデオ出力における処理（ＩＰ変換処理、リサイズ処理および出力フォーマット変換処理）が施された画像をメモリコントローラ１０８ａを介して外部メモリ１０８ｂに格納するときには、その画像に対して埋め込み縮小処理を行う。
【０２３７】
これにより、本変形例に係るシステムＬＳＩ２００ｂにおいても、実施の形態４と同様の作用効果を得ることができる。
【０２３８】
（実施の形態６）
本発明は、様々な機能ブロックを備える。その機能ブロックとは、増大容量ビデオバッファ、フレームの解像度（フル解像度／低減解像度）を提供する縮小ＤＰＢ充足性チェックに用いられるプレパーサ、フル解像度および低減解像度でピクチャを復号できるビデオデコーダ、縮小サイズフレームバッファおよびビデオディスプレイサブシステムである（図２４）。
【０２３９】
ビデオバッファ（ステップＳＰ１０）は、従来のデコーダよりも格納容量が大きく、ステップＳＰ３０で実際にビデオを復号する前に、符号化ビデオデータの先読み予備解析（ステップＳＰ２０）に用いられる、追加の符号化ビデオデータを供給することができる。プレパーサは、バッファサイズを大きくすることで得られるタイムマージンの分、ビットストリームが実際に復号されるよりも早く、ＤＴＳに起動される。ビットストリームの実際の復号は、その増大ビデオバッファで得られたタイムマージンと同じ分だけ、ＤＴＳから遅延する。プレパーサ（ステップＳＰ２０）は、参照フレーム数と縮小サイズのバッファ容量に基づいて各フレームの復号モード（フル解像度または低減解像度）を決定するために、ステップＳＰ１０において格納されたビットストリームを構文解析する。不要な視覚的歪みを避けるため、可能であれば常に、フル解像度の復号が選択される。それにしたがってピクチャ解像度リストが更新される。その後、ステップＳＰ２０において決定された解像度にしたがって画像データを復号するために、ステップＳＰ３０において、符号化ビデオデータが、適応解像度ビデオデコーダに供給される。ステップＳＰ３０において、画像データは、必要であれば常に、復号処理に関連するピクチャに必要な解像度にアップ変換またはダウン変換される。必要に応じてダウン変換されたビデオ復号画像データは、ステップＳＰ５０において縮小サイズフレームバッファに格納される。（ステップＳＰ２０において決定された）復号ピクチャの解像度を有する情報は、必要であれば、表示目的で当該画像データをアップ変換するために、ステップＳＰ４０において、ビデオディスプレイサブシステムに供給される。
【０２４０】
増大サイズのビデオバッファ（ステップＳＰ１０）
ビデオ符号化規格に準拠するビットストリームは、理論上エンコーダの出力に接続され、少なくともプレデコーダバッファ、デコーダおよび出力／ディスプレイ部を備える仮想参照デコーダで復号できなければならない。この仮想デコーダは、Ｈ．２６３、Ｈ．２６４における仮想参照デコーダ（ＨＲＤ）、およびＭＰＥＧにおけるＶＢＶバッファ（ＶＢＶ）として知られている。ストリームは、バッファのオーバーフローもアンダーフローもなくＨＲＤで復号できれば、準拠している。バッファのオーバーフローは、バッファが一杯であるときにさらにビットを入力すべき場合に起こる。バッファのアンダーフローは、復号／再生のためバッファからビットがフェッチされるべきときに、対象ビットがバッファになければ起こる。
【０２４１】
Ｈ．２６４ビデオストリームのキャリッジおよびバッファ管理は、ＰＴＳやＤＴＳのような、［Ｓｅｃｔｉｏｎ  ２．１４．１  ｏｆ  ＩＴＵ−Ｔ  Ｈ．２２２．０  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  ｓｙｓｔｅｍｓ］からの既存のパラメータ、およびＡＶＣビデオストリーム内にある情報を用いて定義される。オーディオおよびビデオの表示時刻を示すタイムスタンプは、プレゼンテーション・タイム・スタンプ（ＰＴＳ）と称される。復号時刻を示すタイムスタンプは、デコーディング・タイム・スタンプ（ＤＴＳ）と称される。エレメンタリストリームバッファにあるＡＶＣアクセスユニットの各々は、ＤＴＳによって指定される復号時刻に、またはＨ．２６４の［Ｓｅｃｔｉｏｎ  ２．１４．３  ｏｆ  ＩＴＵ−Ｔ  Ｈ．２２２．０  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  ｓｙｓｔｅｍｓ］の場合はＣＰＢ除去時刻から、瞬時に除去される。ＣＰＢ除去時刻は、［Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］のアネックスＣにおいて提供されている。
【０２４２】
実際のデコーダシステムにおいては、個々のオーディオデコーダおよびビデオデコーダは瞬時に動作せず、その遅延を実施設計の際に考慮しなければならない。例えば、ビデオピクチャが正確に１ピクチャ表示間隔１／Ｐ（Ｐはフレームレート）で復号され、圧縮ビデオデータがビットレートＲでデコーダに到達する場合、各ピクチャに関連するビットの除去完了は、ＰＴＳおよびＤＴＳフィールドに示される時刻から１／Ｐだけ遅延し、ビデオデコーダバッファは、ＳＴＤモデルで指定されるバッファよりもＲ／Ｐだけ大きくなければならない。
【０２４３】
例として引用すると、最大符号化ピクチャバッファサイズ（ＣＰＢ）は、Ｈ．２６４のレベル４では３０，０００，０００ビット（３，７５０，０００バイト）である。レベル４．０はＨＤＴＶ用である。リアルデコーダは、上述の通りＣＰＢのバッファよりも少なくともＲ／Ｐ大きなビデオデコーダバッファを備える。これは、復号中にバッファに存在すべきデータの除去が１／Ｐ時間だけ遅延しなければならないからである。
【０２４４】
プレパーサ（ステップＳＰ２０）は、縮小メモリデコーダにおいてフル復号がおこなわれる可能性に関する情報をデコーダに供給できるように、ＤＴＳが示す意図される復号時刻前にバッファ内で利用可能な全てのビデオデータの予備解析を行う。ビデオバッファサイズは、リアルデコーダが必要とするサイズから、予備解析に必要な量だけ増やされる。実際の復号は予備解析に使われる追加時間だけ遅延するが、予備解析は、ＤＴＳに開始する。予備解析ビデオバッファの使用例を以下に示す。
【０２４５】
Ｈ．２６４レベル４．０の最大ビデオビットレートは２４Ｍｂｐｓである。追加の０．３３３ｓの先読み予備解析を達成するには、さらに約８メガビット（１，０００，０００バイト）のビデオバッファストレージを追加する必要がある。そのようなビットレートの１フレームは、平均で８００，０００ビットであり、１０フレームは平均で８，０００，０００ビットである。ストリームコントローラは、復号規格に従って入力ストリームを取得する。しかしながら、ストリームコントローラは、ＤＴＳに示される意図される除去時刻から０．３３３ｓだけ遅延した時刻に、ストリームをビデオバッファから除去する。そのような設計のために実際の復号は０．３３３ｓだけ遅延しなければならず、その結果、プレパーサは、実際の復号開始前に各フレームの復号モードに関する情報をより多く集めることが可能になる。
【０２４６】
縮小サイズフレームバッファ（ステップＳＰ５０）
ステップＳＰ５０は、複数参照フレームを用いる規格の現在復号中のフレームおよび復号ピクチャバッファのストレージを提供するものである。Ｈ．２６４において、復号ピクチャバッファはフレームバッファを有し、各フレームバッファは復号フレーム、復号補間フィールドペア、もしくは「参照に用いられる」と印付けられた単一の（ペアではない）復号フィールド（参照ピクチャ）を有してもよく、または将来の出力（順序が入れ替えられたピクチャ、もしくは遅延ピクチャ）用に保持されてもよい。
【０２４７】
ＤＰＢ復号モードのオペレーションは、［Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］のアネックスＣ．４に定義されている。このアネックスにおいて、ピクチャ復号および出力シーケンス、参照復号ピクチャのマーキングおよびＤＰＢへの格納、非参照ピクチャのＤＰＢへの格納、および、対象ピクチャが挿入される前にＤＰＢからピクチャが除去されること、およびバンピング処理が説明されている。
【０２４８】
ほとんどのＨ．２６４ストリームは、符号化においてプロファイルおよびレベル用に定義される参照フレームの最大数を利用することはない。ＩピクチャおよびＰピクチャ構造のみを用いて符号化されたストリームに関しては、予測において参照されるのは直前のフレームのみであるため、使用される参照フレーム数は大抵１である。多くのＢ参照フレームを用いて符号化されるストリームに関しては、ＤＰＢに多くの参照フレームを格納する必要がある。
【０２４９】
このようにして、フレームバッファ内のメモリを、複数の参照フレームを用いる縮小メモリデコーダに役立つような様々な構成にできることが推測できる。多くの参照フレームを格納する必要がないときは、デコーダは、より少ない数の参照フレームをフル解像度で格納することで、縮小メモリを効率よく利用できる。参照フレームは、複数の参照フレームの格納が必要なときのみ、ダウン変換されてメモリに格納される。
【０２５０】
例として引用するが、プロファイルおよびレベル用の最大ＤＰＢサイズが復号仕様書に記載されている。例えば、Ｈ．２６４レベル４．０のＤＰＢは、最大ＤＰＢサイズが１２，５８２，９１２バイトである２０４８×１０２４画素のフル解像度フレームを４つ格納可能である。処理可能なフル解像度フレームの数が２つのみになるまでＤＰＢが削減された縮小メモリ設計において、必要なフレームメモリ容量は３つのフル解像度フレーム（ＤＰＢに２つ、ワーキングバッファに１つ）である。ＤＰＢに４つの参照フレームが必要なときは常に、その４つのフレームはハーフ解像度で（４→２ダウンサンプリングがおこなわれる）格納される。フレームメモリは、フル解像度の５フレームのうち３フレームのみを扱う必要があるだけなので、フレームメモリストレージを４０％（６，２９１，４５６バイト）下げることができる。
【０２５１】
縮小ＤＰＢ充足性チェックに用いられるプレパーサ（ステップＳＰ２０）
プレパーサ（ステップＳＰ２０）は、各フレームの復号モード（フル解像度または低減解像度）を決定するために、ビデオバッファに格納されたビットストリームを構文解析する。プレパーサ（ステップＳＰ２０）は、縮小メモリデコーダにおいてフル復号がおこなわれる可能性に関する情報をデコーダに供給できるように、ＤＴＳが示す意図される復号時刻前にバッファ内で利用可能な全てのビデオデータの予備解析を行う。ビデオバッファサイズは、リアルデコーダが必要とするサイズから、予備解析に必要な量だけ増やされる。実際の復号は予備解析に使われる追加の時間だけ遅延するが、予備解析は、ＤＴＳに開始する。
【０２５２】
プレパーサは、ステップＳＰ２００において、Ｈ．２６４のシーケンスパラメータセット（ＳＰＳ）等の上位層情報を構文解析する。使用される参照フレームの数（Ｈ．２６４のｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ）が、縮小ＤＰＢで扱えるフル参照フレームの数以下であると分かった場合、このＳＰＳに基づくフレームの復号モードがステップＳＰ２２０においてフル復号に設定され、それに従ってビデオ復号およびメモリ管理に用いられるピクチャ解像度リストが更新される（ステップＳＰ２８０）。ステップＳＰ２００において、用いられる参照フレームの数が、縮小ＤＰＢがフル解像度で扱える数よりも大きければ、ステップＳＰ２４０において、フル解像度復号モードが特定フレームの処理に割り当て可能か否かを決定するために、下位シンタックス情報（Ｈ．２６４の場合スライスレイヤ）が調べられる。不要な視覚的歪みを避けるため、可能であれば常に、フル解像度の復号が選択される。ステップＳＰ２４０において、ｉ）フルＤＰＢと縮小ＤＰＢの参照リスト使用法が同じであり、ｉｉ）フル解像度復号モードをステップＳＰ２６０においてピクチャに割り当てる前に、そのピクチャオーダディスプレイが正しいことを確認する。そうでなければ、ステップＳＰ２６０において低減解像度復号モードが割り当てられる。それにしたがって、ステップＳＰ２８０において、ピクチャ解像度リストバッファが更新される。
【０２５３】
上位パラメータ層のチェック（ステップＳＰ２００）
ここで、縮小ＤＰＢのオペレーション（図２５）の可能性を確認するため、使用される参照フレームの数がチェックされる。Ｈ．２６４において、シーケンスパラメータセット（ＳＰＳ）内の「ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅ」のフィールドは、次のＳＰＳまでピクチャの復号に用いられる参照フレームの数を示す。使用される参照フレームの数が、縮小ＤＰＢフレームメモリがフル解像度で保持可能な数以下であれば、フル解像度復号モードが割り当てられ（ステップＳＰ２２０）、後にデコーダおよびディスプレイサブシステムによってビデオ復号およびメモリ管理に用いられるフレーム解像度リスト（ステップＳＰ２８０）がそれに従って更新される。ステップＳＰ２００において縮小ＤＰＢの充足性チェックがｆａｌｓｅである場合、縮小ＤＰＢの充足性を確認するために、下位層シンタックスがプレパーサによってさらにチェックされる（ステップＳＰ２４０）。
【０２５４】
下位層シンタックスの縮小ＤＰＢ充足性チェック（ステップＳＰ２４０）
図２５を参照のこと。
【０２５５】
縮小物理メモリ容量でＤＰＢ管理を行う目的で、デコーダのオペレーション可能な／実際のＤＰＢ（以下、リアルＤＰＢとする）内の各復号ピクチャに用いられる以下の管理パラメータが格納されている。
【０２５６】
ｉ）ＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ
このパラメータには、ＤＰＢから対象ピクチャを除去するためのタイミング情報が格納されている。可能性のある格納スキームの１つは、ＤＰＢからの対象ピクチャの除去を示すために、後のピクチャのＤＴＳタイムまたはＰＴＳタイムを用いることである。
【０２５７】
ｉｉ）ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ
ピクチャのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが０であれば、そのピクチャは低減解像度で格納される。そうでなければ（ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが１であれば）、そのピクチャはフル解像度で格納される。
【０２５８】
ｉｉｉ）ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ
このパラメータは、リアルＤＰＢのピクチャ管理オペレーションに直接用いられない。しかしながら、ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが下層先読み処理（ステップＳＰ２４０）で用いられるため、リアルＤＰＢ内のｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇの格納が下層先読み処理のピクチャトゥピクチャの実行に必要である。ピクチャのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが０であれば、当該ピクチャは復号規格のＤＰＢ管理に従ってＤＰＢから除去される。そうでなければ（ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが１であれば）、そのピクチャは、ＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅに示される値に従って、復号規格のＤＰＢバッファ管理によって命令される前に除去される。
【０２５９】
下層先読み処理を行う目的で、ＤＰＢの２つの仮想画像が先読み予備解析において維持される。
【０２６０】
ｉ）縮小ＤＰＢ
縮小ＤＰＢは、以下の先読み判定のための空間を供給する。
【０２６１】
・ピクチャがフル解像度で格納されるか、低減解像度で格納されるか。
【０２６２】
・ＤＰＢからピクチャを除去する除去時刻（ＤＰＢバッファ管理に基づくオンタイム、またはプレパーサによって付与されたアーリーリムーバル）。
【０２６３】
先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、各符号化ピクチャに対して先読み処理がおこなわれ、縮小ＤＰＢが更新される度に、フル解像度ピクチャ格納の実行可能性がチェックされる。先読み処理の終了時に、縮小ＤＰＢの状態が破棄される。
【０２６４】
ｉｉ）完全ＤＰＢ
完全ＤＰＢは、規格準拠ＤＰＢ管理スキーム（Ｈ．２６４の［Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］の副項Ｃ．４．４およびＣ．４．５．３）の動作をシミュレートする。完全ＤＰＢは、ステップＳＰ２４０における最終決定からは独立している。完全ＤＰＢは復号開始時に生成され、復号処理全体を通して更新される。完全ＤＰＢの状態は、ターゲットピクチャｊの先読み処理終了時に格納され、それに続いて次のピクチャ（ｊ＋１）の先読み処理において使用される。
【０２６５】
ステップＳＰ２４０において、（ターゲットピクチャｊから開始する）各ピクチャが復号され格納されると、今後のＤＰＢ状態の下層先読み処理を実行する。ステップＳＰ２４０は以下の出力を生成する。
【０２６６】
・ターゲットピクチャｊ用のリアルＤＰＢ管理パラメータの値
・ターゲットピクチャｊの復号終了時の完全ＤＰＢの状態
【０２６７】
ステップＳＰ２４０の詳細は以下の通りである（図２６）。ステップＳＰ２４１において、ターゲットピクチャｊに対して先読みピクチャｌｏｏｋａｈｅａｄ＿ｐｉｃを設定し、ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢをＴＲＵＥに初期化する。その後ステップＳＰ２４２において、リアルＤＰＢの現在の状態を縮小ＤＰＢにコピーする。
【０２６８】
ステップＳＰ２４２に続き、ステップＳＰ２４３において、ピクチャｊが完全ＤＰＢから除去されたか否かを確認するチェックをおこなう。ステップＳＰ２４３がＴＲＵＥであるとき、ステップＳＰ２５０を実行し、ステップＳＰ２４０を終了する。ステップＳＰ２４３がｆａｌｓｅであるとき、処理はステップＳＰ２４４に続く。
【０２６９】
ステップＳＰ２４４において、先読みバッファにおいて符号化ピクチャデータが利用可能か否かがチェックされる。先読みバッファが空の場合、先読み処理はもはや継続できない。よって、先読み処理が停止され、ステップＳＰ２４９が実行される。ステップＳＰ２４９において、当該ピクチャ用に選択された低減解像度で更新されたステップＳＰ２８０を伴って、ターゲットピクチャｊで用いられる低減解像度のオンタイムリムーバルモードが選択され（ステップＳＰ２６０）、リアルＤＰＢに以下の値が付与される。
【０２７０】
ｉ）リアルＤＰＢのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｊ］＝０ 
ｉｉ）リアルＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］＝０
ｉｉｉ）リアルＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］＝ｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ
【０２７１】
ステップＳＰ２４４でＦＡＬＳＥを出力した場合は、先読み処理を継続する。その後、ステップＳＰ２４５において、ステップＳＰ２４６でフル復号の実現可能性を調べるために使用されるｌｏｏｋａｈｅａｄ＿ｐｉｃ用の先読み情報が生成される。
【０２７２】
ステップＳＰ２４５の詳細は以下の通りである（図２７）。
【０２７３】
完全ＤＰＢバッファ画像およびオンタイムリムーバル情報は、ステップＳＰ２４５０からステップＳＰ２４５３において構文解析される。
【０２７４】
ステップＳＰ２４５０において、シンタックス要素の部分構文解析がおこなわれる。Ｈ．２６４に関し、復号ピクチャのバッファリングに関係する以下の情報全てが抽出される。
【０２７５】
・ＰＰＳ（ピクチャパラメータセット）の中のｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、ＳＨ（スライスヘッダ）の中のｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇ、ＳＨの中のｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１、
・ＳＨの中のｓｌｉｃｅ＿ｔｙｐｅ、
・ＳＨの中のｎａｌ＿ｒｅｆ＿ｉｄｃ、
・ＳＨの中の全てのｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（  ）シンタックス要素、
・ＳＨの中の全てのｄｅｃ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ（  ）シンタックス要素、
・ビデオ表示情報（ＶＵＩ）、バッファリングピリオド付加情報（ＳＥＩ）メッセージシンタックス要素、およびピクチャタイミングＳＥＩメッセージシンタックス要素などの、ピクチャ出力タイミングに関係する全シンタックス要素。
【０２７６】
【表１】
2010092740.tif 000088
【０２７７】
ピクチャ出力のタイミング情報がＨ．２６４エレメンタリストリームに存在しないとき、その情報はトランスポートストリーム内にプレゼンテーション・タイムスタンプ（ＰＴＳ）およびデコーディング・タイムスタンプ（ＤＴＳ）の形で存在する可能性がある。
【０２７８】
表１のシンタックス要素を用いて、ステップＳＰ２４５２において、完全ＤＰＢ用の先読み情報が生成される。完全ＤＰＢの仮想画像は、復号規格のＤＰＢバッファ管理を用いて更新される。
【０２７９】
ステップＳＰ２４５２における完全ＤＰＢの最近の更新に基づき、ステップＳＰ２４５３において、オンタイムリムーバルインスタンスを、必要なときに縮小ＤＰＢに格納する。ステップＳＰ２４５３の詳細は以下の通りである（図２８）。ステップＳＰ２４５３０において、ステップＳＰ２４５２でピクチャｋが最近、完全ＤＰＢから除去されたか否かをチェックする。Ｎｏであれば、ステップＳＰ２４５３を終了する。そうでなければ（ステップＳＰ２４５３０でＴＲＵＥを出力）、ステップＳＰ２４５３２において、ピクチャｋがターゲットピクチャｊであるか否かをチェックする。Ｙｅｓであれば、ターゲットピクチャがＤＰＢ管理に従ってオンタイムに除去されるので、ｌｏｏｋａｈｅａｄ＿ｐｉｃの復号終了時のタイムインスタンスがｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅに格納される。そうでなければ（ステップＳＰ２４５３２でＦＡＬＳＥを出力）、ステップＳＰ２４５３４において、ピクチャｋのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが縮小ＤＰＢにおいて０に設定されているか否かをチェックする。０であれば、縮小ＤＰＢ内のピクチャｋのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅが、ｌｏｏｋａｈｅａｄ＿ｐｉｃの復号終了時のインスタンスに設定される。そうでなければ（ステップＳＰ２４５３４でＦＡＬＳＥを出力）、ステップＳＰ２４５３を終了する。
【０２８０】
ステップＳＰ２４５４からステップＳＰ２４５５において、必要であれば縮小ＤＰＢの更新をおこなう。
【０２８１】
図２７に戻り、ステップＳＰ２４５４において縮小ＤＰＢが更新されるべきか否かをチェックする。ステップＳＰ２４５４でＦＡＬＳＥが出力されると、縮小ＤＰＢの更新はされていない。効果的なことに、一旦ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがＦＡＬＳＥに設定されると（ステップＳＰ２４６５）、縮小ＤＰＢの状態はターゲットピクチャｊの先読み処理終了まで同じ状態に保たれる。そうでなければ（ステップＳＰ２４５４でＴＲＵＥを出力）、ステップＳＰ２４５５において縮小ＤＰＢの仮想画像を更新する。最近に復号されたピクチャを縮小ＤＰＢに追加するときに、以下の条件付与がおこなわれ、それに従って、ステップＳＰ２８０の更新を伴ってステップＳＰ２６０が実行される。
【０２８２】
ｉ）最近復号されたピクチャのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇが１に設定される。
【０２８３】
ｉｉ）ＤＰＢで利用可能なサイズがフル解像度ピクチャに十分なものであれば、ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが１に設定され、復号ピクチャがフル解像度で縮小ＤＰＢに格納される。
【０２８４】
ｉｉｉ）ＤＰＢで利用可能なサイズがフル解像度ピクチャに不十分なものであれば、未定義のｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ＝１を伴うピクチャを縮小ＤＰＢから除去するために、縮小ＤＰＢバンピング処理をおこなう。バンピング処理に続いて、
・結果として得られた縮小ＤＰＢで利用可能なサイズがフル解像度ピクチャに十分なものであれば、ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが１に設定され、復号ピクチャがフル解像度で縮小ＤＰＢに格納される。
【０２８５】
・結果として得られた縮小ＤＰＢで利用可能なサイズがフル解像度ピクチャに不十分なものであれば、ｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇが０に設定され、復号ピクチャが低減解像度で縮小ＤＰＢに格納される。
【０２８６】
ｉｖ）ピクチャは、縮小ＤＰＢリムーバル処理の規則に従って、縮小ＤＰＢから除去される。
【０２８７】
縮小ＤＰＢのリムーバル処理を、以下に説明する。
【０２８８】
ｉ）ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ＝０を伴うピクチャに関し、
これらのピクチャは、これらのピクチャが完全ＤＰＢから除去されるのと同じインスタンスに縮小ＤＰＢから除去される。
【０２８９】
ｉｉ）ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ＝１を伴うピクチャに関し、
新たに符号化されたピクチャを格納する必要があり、ＤＰＢで利用可能なサイズがフル解像度ピクチャに十分なものでない場合は常に、縮小ＤＰＢバンピング処理をおこなう。縮小ＤＰＢバンピング処理により、予め定められた優先条件に基づいて優先順位が最も低いピクチャを除去する。考えられる優先条件は以下を含む。
【０２９０】
・最も古いピクチャを除去する（先入れ先出し）、または、
・Ｈ．２６４における最も低いｎａｌ＿ｒｅｆ＿ｉｄｃ等、最も低い参照レベルでピクチャを除去する、または、
・双方向予測符号化ピクチャ（Ｂ）から始まる等の、最も参照されることがないピクチャタイプを除去し、その後順方向予測符号化ピクチャ（Ｐ）、画面内符号化ピクチャ（Ｉ）の順に除去する。
【０２９１】
ステップＳＰ２４５６において、ｌｏｏｋａｈｅａｄ＿ｐｉｃによって用いられる参照ピクチャリストが、部分的に復号されたビットストリームの意味を解読することにより、生成される。
【０２９２】
ステップＳＰ２４５７において、ｌｏｏｋａｈｅａｄ＿ｐｉｃがターゲットピクチャｊであるか否かをチェックする。ステップＳＰ２４５７でＴＲＵＥを出力すると、ステップＳＰ２４５８およびステップＳＰ２４５９を実行する。そうでなければ（ステップＳＰ２４５７でＦＡＬＳＥを出力）、ステップＳＰ２４５を終了する。
【０２９３】
ステップＳＰ２４５８において、ターゲットピクチャｊの出力／表示時刻は、部分的に復号されたビットストリームまたはトランスポートストリーム情報から解読される。
【０２９４】
ステップＳＰ２４５９において、現在の完全ＤＰＢの状態（ターゲットピクチャｊが復号され、完全ＤＰＢが更新された後の状態）が、一時的なＤＰＢ画像である格納された完全ＤＰＢに格納される。ターゲットピクチャｊの先読み処理終了時に、格納された完全ＤＰＢが、後続のピクチャ（ピクチャ（ｊ＋１）等）の先読み処理に用いられるように、完全ＤＰＢにコピーバックされる。
【０２９５】
図２６に戻り、ステップＳＰ２４６において、ステップＳＰ２４５で生成された先読み情報を分析し、ｌｏｏｋａｈｅａｄ＿ｐｉｃの復号後に依然としてフル解像度モードが可能であるか否かをチェックする。ステップＳＰ２４６において、２つの条件が評価される。
【０２９６】
ｉ）条件１
ターゲットピクチャが縮小ＤＰＢから除去された直後のインスタンスから、ターゲットピクチャが完全ＤＰＢから除去されるインスタンスまで、ターゲットピクチャはいかなる参照リストにも存在しない。
【０２９７】
ｉｉ）条件２
ターゲットピクチャは、意図される出力／表示時刻の前には縮小ＤＰＢから除去されない。
【０２９８】
上記条件の何れかがＦＡＬＳＥであるとき、ＤＳ＿ｔｅｒｍｉｎａｔｅがＴＲＵＥに設定され、チェック済みのフレームにフル復号モードを用いることは不可能である。
【０２９９】
ステップＳＰ２４６の処理の詳細を以下に説明する（図２９）。まず、ＳＰ２４６２においてｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがチェックされる。ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがＴＲＵＥであれば、その後ステップＳＰ２４６４において、対象ｌｏｏｋａｈｅａｄ＿ｐｉｃが縮小ＤＰＢにもはや存在しないか否かをチェックする。ステップＳＰ２４６４でＦＡＬＳＥを出力すれば、ステップＳＰ２４６９において、出力フラグＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥを設定する。そうでなければ（ステップＳＰ２４６４でＴＲＵＥを出力）、ステップＳＰ２４６５においてｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢをＦＡＬＳＥに設定し、ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅをｌｏｏｋａｈｅａｄ＿ｐｉｃの復号終了時のタイムインスタンスに設定する。その後、ステップＳＰ２４６７において、条件２が評価される。条件２がＴＲＵＥであるとき、ステップＳＰ２４６７において、出力フラグＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥを設定する。そうでなければ（条件２がＦＡＬＳＥ）、ステップＳＰ２４６８において、出力フラグであるＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＴＲＵＥを設定する。ステップＳＰ２４６２に戻り、ｕｐｄａｔｅ＿ｒｅｄｕｃｅｄ＿ＤＰＢがＦＡＬＳＥであれば、ステップＳＰ２４６６において条件１を評価する。条件１がＴＲＵＥであれば、ステップＳＰ２４６７において、出力フラグＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥを設定する。そうでなければ（条件１がＦＡＬＳＥ）、ステップＳＰ２４６８において、出力フラグであるＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＴＲＵＥを設定する。ステップＳＰ２４６８によってＤＳ＿ｔｅｒｍｉｎａｔｅフラグが何れかに設定されると、ステップＳＰ２４６を終了する。
【０３００】
図２６に戻り、先読み処理を継続するか終了するかを決定するために、ステップＳＰ２４７において、ステップＳＰ２４６からのフラグＤＳ＿ｔｅｒｍｉｎａｔｅがチェックされる。
【０３０１】
ステップＳＰ２４７においてＤＳ＿ｔｅｒｍｉｎａｔｅがＦＡＬＳＥであるとき、ステップＳＰ２４８においてｌｏｏｋａｈｅａｄ＿ｐｉｃが１ずつインクリメントされ、ステップＳＰ２４２において復号順序が次のピクチャの先読み処理がおこなわれる。ステップＳＰ２４６において、完全ＤＰＢの仮想画像から最近除去されるターゲットピクチャがステップＳＰ２４２で検出されるまで、ＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥが継続的に出力される場合は、先読み処理はステップＳＰ２５０まで進む。ステップＳＰ２５０において、ターゲットピクチャｊ用にアーリーリムーバルモードが選択され、リアルＤＰＢの値が以下の通り付与される。
【０３０２】
ｉ）リアルＤＰＢのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｊ］＝１
ｉｉ）リアルＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］＝縮小ＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］
ｉｉｉ）リアルＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］＝縮小ＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］
【０３０３】
その一方、ステップＳＰ２４７においてＤＳ＿ｔｅｒｍｉｎａｔｅがＴＲＵＥであるとき、先読み処理ループを終了する。ステップＳＰ２４９において、ターゲットピクチャｊに用いるためにダウンサンプル解像度のオンタイムリムーバルモードが選択され、リアルＤＰＢに以下の値が付与される。
【０３０４】
ｉ）リアルＤＰＢのｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｊ］＝０
ｉｉ）リアルＤＰＢのｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［ｊ］＝０
ｉｉｉ）リアルＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ［ｊ］＝ｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅ
【０３０５】
ステップＳＰ２６０において、低減解像度が選択され、ステップＳＰ２８０において、フレームに付与された解像度が更新される。ステップＳＰ２４４またはステップＳＰ２４７による早期のループ終了により、完全ＤＰＢの状態の先読み更新は、ターゲットピクチャｊが完全ＤＰＢから除去されるインスタンスに到達しない可能性がある。この場合には、ステップＳＰ２４９においてｏｎｔｉｍｅ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅは正しい値を含まない。ステップＳＰ２５１においてそのような場合の対応をする。ステップＳＰ２５１において、ｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［ｋ］＝０を伴う全てのピクチャｋに対し、ＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅｓ［ｋ］の値をリアルＤＰＢにコピーする（縮小ＤＰＢのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅｓ［ｋ］はステップ２４５３において付与される）。効果的なことに、ステップＳＰ２５１において、後続ピクチャ（ピクチャ（ｊ＋１）またはそれ以降）の先読み処理の間に、オンタイムリムーバルモードで、ピクチャｊのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅが更新される。先読みの仕組みによると、オンタイムリムーバルモードでのピクチャｊのＤＰＢ＿ｒｅｍｏｖａｌ＿ｉｎｓｔａｎｃｅは常に、リアルＤＰＢから除去される実際のオンタイムリムーバルインスタンスの前に付与される。
【０３０６】
先読み処理を終了する前に、ステップＳＰ２５２において、後続のターゲットピクチャの先読み処理のために、格納された完全ＤＰＢから完全ＤＰＢの状態をコピーする。その後、ステップＳＰ２４０を終了する。
【０３０７】
ステップＳＰ２４０の先読み処理の例示的な説明−例１
図３０に、典型的なピクチャ構造を示す。各ピクチャはＸＹとラベル付けされており、Ｘはピクチャタイプ、Ｙは表示順序を示す。ＸはＩ（画面内符号化ピクチャ）、Ｐ（順方向予測符号化ピクチャ）、Ｂ（参照ピクチャとして用いられない双方向予測符号化ピクチャ）、およびＢｒ（参照ピクチャとして用いられる双方向予測符号化ピクチャ）であってもよい。ピクチャ参照の配列を曲線矢印で示す。Ｉ２がビットストリーム内の最初のピクチャであるとし、Ｉ２の下位層充足性チェックが以下の通り進行する。
【０３０８】
先読み処理がｌｏｏｋａｈｅａｄ＿ｐｉｃ＝Ｉ２から開始する。Ｉ２の復号終了時（タイムインデックス＝０）に、Ｉ２が、完全ＤＰＢおよび縮小ＤＰＢの両方に格納される。ステップＳＰ２４５４において、縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｉ２］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｉ２］＝１として設定される。部分復号から、Ｉ２の出力時刻はタイムインデックス＝３のときであると分かる。このとき、Ｉ２はまだ縮小ＤＰＢから除去されておらず、その結果、ＳＰ２４６において、ＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥが設定され、ｌｏｏｋａｈｅａｄ＿ｐｉｃはＢ０に進められる。
【０３０９】
Ｂ０およびＢ１の先読み処理の間、Ｂ０およびＢ１はＤＰＢに格納されることなく直ちに表示されるため、完全ＤＰＢおよび縮小ＤＰＢの状態は変更されない。Ｐ５が復号された後、完全ＤＰＢおよび縮小ＤＰＢの両方が更新される。ステップＳＰ２４５４において、縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｐ５］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｐ５］＝１として設定される。先読み処理を継続しながら、Ｂ３およびＢ４が完全ＤＰＢおよび縮小ＤＰＢの状態を変更しないことが記録される。
【０３１０】
Ｐ８が復号された後、完全ＤＰＢおよび縮小ＤＰＢの両方が更新される。完全ＤＰＢは、［ＡＤＶＡＮＣＥＤ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＦＯＲ  ＧＥＮＥＲＩＣ  ＡＵＤＩＯＶＩＳＵＡＬ  ＳＥＲＶＩＣＥＳ  ＩＴＵ−Ｔ  Ｈ．２６４（Ｈ．２６４  ＩＴＵ−Ｔ  オーディオビジュアルサービス全般のための高度ビデオ符号化方式）］の副項８．２．５．３の標準的なＨ．２６４処理によって更新される。説明を簡単にするため、この例においては縮小ＤＰＢバンピング処理に先入れ先出しのルールが用いられると仮定する。縮小ＤＰＢに空きスペースがないことから、Ｐ８を格納するためにタイムインデックス＝６のときにＩ２がバンピングにより出力される。このステップにより次にＳＰ２４６４が起動され、条件２をチェックする。Ｉ２が、その表示タイムインデックスよりも後のタイムインデックスで縮小ＤＰＢからバンピングにより出力されることから、条件２はＴＲＵＥであり、ＤＳ＿ｔｅｒｍｉｎａｔｅはＦＡＬＳＥに設定される。その後、先読み処理はＢ６へ続く。
【０３１１】
Ｂ６の先読み処理の間、Ｉ２はＢ６の復号の参照ピクチャとして用いられないことが分かる。したがって、ステップＳＰ２４６６において条件１がＴＲＵＥであるとき、ＤＳ＿ｔｅｒｍｉｎａｔｅがＦＡＬＳＥに設定される。その後、同様に先読み処理がＢ７からＢ１０へ続く。
【０３１２】
Ｐ１４の先読みの間、Ｐ１４の復号中に条件１はＴＲＵＥのままに保たれる（ＤＳ＿ｔｅｒｍｉｎａｔｅ＝ＦＡＬＳＥ）ことが分かり、Ｉ２は、最終的にＰ１４の復号終了時に完全ＤＰＢから除去される。よって、次にＳＰ２４２において先読みループが終了し、ＳＰ２５０においてｅａｒｌｙ  ｒｅｍｏｖａｌ  ｍｏｄｅをターゲットピクチャＩ２に割り当てる。
【０３１３】
【表２】
2010092740.tif 000089
【０３１４】
ステップＳＰ２４０の先読み処理の例示的な説明−例２
図３１に、その他の典型的なピクチャ構造を示す。この例においては、Ｉ３がビットストリームの最初のピクチャであると仮定する。この第２のピクチャ構造において、特定のＢピクチャ（Ｂ１、Ｂ６、Ｂ１０等）は、参照に用いられないが、これらのピクチャは復号終了後に直ちに表示されないため、ＤＰＢに格納される必要があることが分かる。したがって、完全ＤＰＢおよび縮小ＤＰＢの両方が、参照ピクチャに加えてこれらの非参照ピクチャも格納できなければならない。いくつかのピクチャに対する先読み処理を以下に説明する。
【０３１５】
Ｉ３に対する先読み処理
タイムインデックス＝０のときに、Ｉ３が、空の完全ＤＰＢおよび縮小ＤＰＢに格納される。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｉ３］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｉ３］＝１として設定される。Ｉ３の出力時刻はタイムインデックス＝５のときであると復号される。先読み処理は後続のピクチャ（Ｂｒ１、Ｂ０、Ｂ２等）へ続く。先読み処理がＢ２に到達したとき、Ｂ２が縮小ＤＰＢに入力できるように、Ｉ３がタイムインデックス＝３のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これは、意図されるタイムインデックス＝５のときにＩ３が表示できず、条件２は満たされないことを意味する。よって、ステップＳＰ２４７において先読み処理が終了し、オンタイムリムーバルモードを用いるようＩ３が選択される。
【０３１６】
Ｂｒ１に対する先読み処理
Ｂｒ１に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝１で、最近復号されたＢｒ１が、完全ＤＰＢおよび縮小ＤＰＢに格納される。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｂｒ１］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｂｒ１］＝１として設定される。Ｂｒ１の出力時刻は、タイムインデックス＝３のときであると復号される。先読み処理は後続のピクチャへ続く。先読み処理がＢ２に到達したとき、Ｂｒ１がタイムインデックス＝３のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これはＢｒ１の意図される出力インスタンスと適合しているため、条件２は満たされる。その後、先読み処理はＰ７へ続く。Ｐ７の復号中に、Ｂｒ１は参照ピクチャとして用いられず、よって条件１は満たされる。この例において、Ｐ７の復号終了時にＤＰＢからＢｒ１を除去するために、ＤＰＢ管理コマンドがビットストリーム内で発行されることが定義されている。よって、タイムインデックス＝４のときに、Ｂｒ１が完全ＤＰＢから除去される。その後、ステップＳＰ２４２において先読み処理が終了し、Ｂｒ１がｅａｒｌｙ  ｒｅｍｏｖａｌ  ｍｏｄｅを用いることが選択される。
【０３１７】
Ｂ０に対する先読み処理
Ｂ０に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝２で、ステップＳＰ２４５における部分復号により、Ｂ０をＤＰＢに格納する必要がないことが分かる。よって、ステップＳＰ２４２において、完全ＤＰＢおよび縮小ＤＰＢを変更することなく先読み処理が終了する。Ｂ０の物理的な／実際の復号終了時に、Ｂ０はリアルＤＰＢに格納されることなく、出力／表示のために直ちに送信される。
【０３１８】
Ｂ２に対する先読み処理
Ｂ２に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝２で、ステップＳＰ２４５における部分復号により、Ｂ２をタイムインデックス＝４までＤＰＢに格納する必要があることが分かる。その後、Ｂｒ１が縮小ＤＰＢからバンピングにより出力、Ｂ２が縮小ＤＰＢに格納される。先読み処理はＰ７へ続く。Ｐ７の復号終了時（タイムインデックス＝４）に、Ｂ２が、縮小ＤＰＢからバンピングにより出力され、Ｐ７が縮小ＤＰＢに格納される。Ｂ２を縮小ＤＰＢからバンピングにより出力するタイムインデックスは、完全ＤＰＢからＢ２を除去するタイムインデックスと適合することから、条件２は満たされる。Ｂ２は参照ピクチャとして用いられず、よって条件１は満たされる。したがって、Ｂ２に対しｅａｒｌｙ  ｒｅｍｏｖａｌ  ｍｏｄｅが選択される。
【０３１９】
Ｐ７に対する先読み処理
Ｐ７に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝４で、最近復号されたＰ７が、完全ＤＰＢおよび縮小ＤＰＢに格納される（Ｂ２は縮小ＤＰＢからバンピングにより出力される）。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｐ７］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｐ７］＝１として設定される。Ｐ７の出力時刻はタイムインデックス＝９のときであると解読される。先読み処理はＢｒ５へ続く。Ｂｒ５の復号終了時に、Ｐ７がタイムインデックス＝５のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これは、意図されるタイムインデックス＝９のときにＰ７が表示できず、条件２は満たされないことを意味する。よって、ステップＳＰ２４８において先読み処理が終了し、Ｐ７がオンタイムリムーバルモードを用いるよう選択される。
【０３２０】
Ｂｒ５に対する先読み処理
条件１が満たされない状況を説明するために、Ｐ１１のピクチャ参照がＢｒ５を含むように一部変更される（図３１）。Ｂｒ５に対する先読み処理の開始時に、リアルＤＰＢの状態が縮小ＤＰＢにコピーされる。その後、タイムインデックス＝１で、最近復号されたＢｒ５が、完全ＤＰＢおよび縮小ＤＰＢに格納される。縮小ＤＰＢフラグがｅａｒｌｙ＿ｒｅｍｏｖａｌ＿ｆｌａｇ［Ｂｒ５］＝１およびｆｕｌｌ＿ｒｅｓｏｌｕｔｉｏｎ＿ｆｌａｇ［Ｂｒ５］＝１として設定される。Ｂｒ５の出力時刻はタイムインデックス＝７のときであると解読される。先読み処理は後続のピクチャへ続く。先読み処理がＢ６に到達したとき、Ｂｒ５がタイムインデックス＝７のときに縮小ＤＰＢからバンピングにより出力されることが分かる。これはＢｒ５の意図される出力インスタンスと適合しているため、条件２は満たされる。その後、先読み処理はＰ１１へ続く。Ｐ１１の復号中に、Ｂｒ５はＰ１１によって参照ピクチャとして用いられ、よって条件１は満たされないことが分かる。その後、ステップＳＰ２４８において先読み処理が終了し、Ｂｒ５がオンタイムリムーバルモードを用いるよう選択される。
【０３２１】
後続ピクチャに対する先読み処理のプロセスは、同様の方法で実行可能である。
【０３２２】
上記例示的な説明から、先読み処理により、デコーダが、縮小メモリビデオデコーダにおいてピクチャレベルでフル解像度と低減解像度の復号を適応的に切り換えることが可能になることが分かる。例１のピクチャ構造に関し、全ての参照ピクチャが縮小サイズＤＰＢにフル解像度で格納可能であることが推測できる。例２のピクチャ構造に関し、いくつかの参照ピクチャがフル解像度ＤＰＢに格納可能である。可能であれば常にフル解像度の参照ピクチャを格納することにより、縮小メモリデコーダのエラードリフトを従来の縮小メモリビデオデコーダよりも少なくすることができ、よってより良好な復号画像の視覚的品質を得ることができる。
【０３２３】
【表３】
2010092740.tif 000090
【０３２４】
【表４】
2010092740.tif 000091
【０３２５】
【表５】
2010092740.tif 000092
【０３２６】
【表６】
2010092740.tif 000093
【０３２７】
【表７】
2010092740.tif 000094
【０３２８】
【表８】
2010092740.tif 000095
【０３２９】
フル解像度／低減解像度のデコーダ（ステップＳＰ３０）
図３２を参照のこと。このステップにおいて、ビデオストリームは復号対象ピクチャおよびステップＳＰ２０で予備決定された参照ピクチャの解像度に基づいて復号される。
【０３３０】
ビデオビットストリームは、増大容量バッファ（ステップＳＰ１０）から構文解析・エントロピー復号手段（ステップＳＰ３０４）に送られる。エントロピー復号において、ＣＡＶＬＤまたはＣＡＢＡＣの何れかを実行できる。逆量子化器は、構文解析・エントロピー復号手段に接続されており、エントロピー復号係数を逆量子化する（ステップＳＰ３０５）。フレームバッファ（ＳＰ５０）は、ステップＳＰ２０で決定された解像度のビデオピクチャを格納する。各フレームに付与された解像度は、予め定められたダウン変換率またはフル解像度である。ステップＳＰ２８０において、参照フレームの解像度に関連する情報がステップＳＰ２０によってステップＳＰ３０に供給される。低減解像度で復号された画像に関し、画像データは、ステップＳＰ５０において、低減解像度のダウンサンプル画像の形で、または圧縮フォーマットで格納される。フル解像度画像はその元の形式で格納される（ステップＳＰ５０）。ＭＣに用いられる参照フレームが低減解像度であれば、ダウン変換されたビデオ画素は、ステップＳＰ３１０においてアップコンバータによって取得され、ＭＣに用いられるフル解像度の画素を生成するために再構築される（画像のアップサンプリングまたは圧縮データの伸長は、用いられるダウン変換モード次第でおこなわれる）。その他に、参照フレームがフェッチされ、ＭＣ部にそのまま供給される。データは、ＭＣ入力にあるデータセレクタを介してＭＣ手段に供給される。参照フレームが低減解像度であれば、アップ変換された画像がＭＣ入力用に選択され、そうでなければ、フレームバッファ（ステップＳＰ５０）からフェッチされた画像データがＭＣ入力用にそのまま選択される。ＭＣ手段は、復号パラメータに基づいて予測画素を得るために、フル解像度の画素に基づいて画像予測をおこなう（ステップＳＰ３１４）。ＩＤＣＴブロック（ＳＰ３０６）は、逆量子化係数を受信し、変換画素を得るためにそれらの係数を変換する。必要であれば、近隣ブロックのデータを用いて画面内予測をおこなう（ステップＳＰ３０８）。画面内予測値が存在する場合、予測画素値を得るために、動き補償画素へ加算される（ステップＳＰ３０９）。その後、再構成画素を得るために、変換画素および予測画素を合算する（ステップＳＰ３０９）。デブロックフィルタ処理は、最終的な再構築画素を得るために必要であればおこなわれる（ＳＰ３１８）。ステップＳＰ２８０から、復号中フレームの解像度が低減解像度であれば、再構成画素は、コンプレッサまたは画像ダウンサンプラでダウン変換され（ステップＳＰ３１２）、フレームバッファに格納される。復号中フレームの解像度がフル解像度であれば、再構成画素は、そのままフレームバッファに格納される。縮小フレームバッファへの入力に存在するデータセレクタは、復号対象ピクチャがフル解像度であればフル解像度データを選択し、そうでなければ、ダウン変換画像データを選択する。
【０３３１】
ダウン変換手段（ステップＳＰ３１２）およびアップ変換手段（ステップＳＰ３１０）
Ｈ．２６４ビデオ復号は、画面内予測の利用によって参照画像の情報が損失する際に起こり得るノイズの発生に影響を受けやすい。本実施形態において低減解像度での復号は必要時にしかおこなわれないが、良好な視覚的品質の復号画像を生成するために、ダウン変換時のエラー発生を最小限に削減する必要がある。
【０３３２】
本好適な実施形態において、ダウンサンプリング処理において切り捨てられるダウンサンプルデータ内の高次変換係数の一部を埋め込む技術を利用して、ダウンサンプリング処理をおこなう。アップサンプリング処理では、ダウンサンプリング処理において失ったダウンサンプルデータ内の高次変換係数の一部を復元するために、ダウンサンプルデータ内に埋め込まれた情報を抽出して利用する。
【０３３３】
ダウンサンプリング処理およびアップサンプリング処理において、フーリエ変換（ＤＦＴ）、アダマール変換、カルーネンレーベ変換（ＫＬＴ）、離散コサイン変換（ＤＣＴ）、ルジャンドル変換等の、可逆的直交周波数変換を利用してもよい。本実施形態では、ダウンサンプリング処理およびアップサンプリング処理において、ＤＣＴ／ＩＤＣＴに基づく機能を利用する。
【０３３４】
その代わりに、他の最適なダウン変換技術をアップ変換およびダウン変換に利用してもよい。代替の圧縮／伸長技術の例が背景技術［Ｖｉｄｅｏ  Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｅｎｔ  ｆｏｒ  ＭＰＥＧ  Ｖｉｄｅｏ  Ｄｅｃｏｄｅ  ａｎｄ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍ，  Ｚｏｒａｎ  Ｃｏｒｐｏｒａｔｉｏｎ、米国特許第６１９８７７３号明細書  Ｂ１、２００１年３月６日］に記載されている。
【０３３５】
ダウンサンプリング手段（ＳＰ３１２）
図３３は、低減解像度画像を生成するための本発明の実施の形態におけるダウンサンプリング手段に関する概略フローチャートである。フル解像度の空間データ（サイズＮＦ）および意図されるダウンサンプルデータサイズ（サイズＮｓ）は、ステップＳＰ３２２への入力として送られる。
【０３３６】
ステップＳＰ３２２−フル解像度順方向変換
ＤＣＴおよびＩＤＣＴカーネルＫ
ＮｘＮの二次元ＤＣＴは上記（式１）のように定義される。
【０３３７】
ここで、上記（式１）において、ｘ，ｙはサンプルドメインにおける空間座標であり、ｕ，ｖは変換ドメインにおける座標である。上記（式２）参照。
【０３３８】
数学的実数ＩＤＣＴは上記（式３）のように定義される。
【０３３９】
ＩＤＣＴ回路の実現に際し、上記方程式の代わりにマトリクス演算を用いてもよい。変換カーネルが定義されており、ダイレクトＤＣＴおよびＩＤＣＴ演算はまさにマトリクス乗算である。（式１）および（式３）により、ＤＣＴ／ＩＤＣＴ変換カーネルＫ（ｍ，ｎ）（ｍ＝［０，Ｎ］，ｎ＝［０，Ｎ］）が以下の（式１０）のように導かれる。
【０３４０】
【数１０】
2010092740.tif 000096
【０３４１】
フル解像度（ＮＦｘＮＦサイズ）でのＤＣＴ係数（Ｕ）は、順方向ＤＣＴ（ＦＤＣＴ）カーネルＫ（Ｎ＝ＮＦである（式１０））をマトリクス乗算し、フル解像度の空間データの移項とすることによって得られる（ステップＳＰ３２２）。これはＵ＝ＫＦ．ＸＴと表される。Ｘは、フル解像度の空間データを表す。
【０３４２】
ステップＳＰ３２４−高次変換係数の抽出および符号化
ＮＦ高次変換係数は、ＤＣＴ演算の結果として得られる。切り捨てられるべき変換係数の数は、ＮＦ−ＮＳで表され、符号化できる高次変換係数は、ＮＳ＋１からＮＦまでの範囲のものである。
【０３４３】
高次変換係数は、符号化される（図３４のステップＳＰ３２４０）前に、まず量子化される。高次変換係数は、線形量子化スケールまたは非線形量子化スケールを用いて符号化可能である。量子化方式の設計において遵守すべきルールは、埋め込み後のダウンサンプル画素の総情報量は、埋め込み前のものより常に多くなければならないというものである。
【０３４４】
ＶＬＣはその後、量子化高次変換係数に付与される（図３４のステップＳＰ３２４２）。本発明においては、ＶＬＣの長さを、より大きい量子化変換係数を符号化するために累進的に増加させる。これは、低減解像度データにＶＬＣを埋め込むと、低減解像度のコンテンツが減損する結果となることからおこなわれる。したがって、より長いＶＬＣを用いて大きな変換係数を埋め込むことはまさに理にかなっており、その結果として得られる埋め込みのゲインは正の数となる。量子化係数のＶＬＣ符号化テーブルの設計において遵守すべき重大なルールは、埋め込み後のダウンサンプル画素の総情報量は、埋め込み前のＶＬＣコードと量子化係数の全組の総情報量よりも常に多くなければならないというものである。
【０３４５】
ステップＳＰ３２６−低減解像度逆変換に用いられる変換係数スケーリング
ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、ＮＦ−ポイントＤＣＴ低周波数係数のＮＳ−ポイントＩＤＣＴを取る前に、当該係数はスケーリングされなければならない［引例：Ｍｉｎｉｍａｌ  Ｅｒｒｏｒ  Ｄｒｉｆｔ  ｉｎ  Ｆｒｅｑｕｅｎｃｙ  Ｓｃａｌａｂｉｌｉｔｙ  ｆｏｒ  Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ  ＤＣＴ  ＣＯＤＩＮＧ，  Ｒｏｂｅｒｔ  Ｍｏｋｒｙ  ａｎｄ  Ｄｉｍｉｔｒｉｓ  Ａｎａｓｔａｓｓｉｏｕ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ］。ＤＣＴ係数はその後、ＩＤＣＴの前に、 
【０３４６】
【数１１】
2010092740.tif 000097
【０３４７】
の因数によってスケールダウンされる。
【０３４８】
ステップＳＰ３２８−低減解像度逆変換手段
ＩＤＣＴは、間引きに用いられた逆変換カーネル（Ｎ＝Ｎｓである（式１０））とより低い解像度の逆変換に用いるために選ばれスケーリングされたＤＣＴ係数の逆変換カーネルとを乗算することによっておこなわれる（ステップＳＰ３３０）。これは、Ｘｓ＝ＫｓＴ．Ｕ．と表される。
【０３４９】
ステップＳＰ３３０−符号化高次変換係数情報埋め込み手段
本実施の形態において、空間透かし技術が用いられる。または、透かしは変換ドメインにおいておこなわれてもよい。埋め込み方式の効果を確実にするため、埋め込み方式は、高次変換係数情報を埋め込む前よりも多い総情報量を確保できるものでなければならない。
【０３５０】
低減解像度空間データの変数は、チェックされる（図３５のステップＳＰ３３００）。変数が非常に小さい場合、画素値は、周辺画素の画素値に非常に近い（平坦領域）。低解像度画素の変数は、以下の数式を用いて演算される。
【０３５１】
【数１２】
2010092740.tif 000098
【０３５２】
ここで、Ｎｓは、低解像度画素の数である。ここで、μは、
【０３５３】
【数１３】
2010092740.tif 000099
【０３５４】
から得られる低解像度画素の平均値である。例えば、それぞれ１２１、１２２、１２３の値を有する３つの画素に関し、μは１２２であり、変数は０．６６６である。
【０３５５】
変数が予め定められた閾値ＴＨＲＥＳＨＯＬＤ＿ＥＶＥＮよりも小さい場合は、低減解像度空間データは、高次変換係数を埋め込まれることなく出力される。ステップＳＰ３３００がｆａｌｓｅであるとき、高次変換係数の埋め込みはステップＳＰ３３２０でおこなわれる。まず、影響された複数のＬＳＢを０でマスキングし、低減解像度画素のＬＳＢを切り捨てる（ステップＳＰ３３２２）ことによって、ステップＳＰ３３２０の空間透かしがおこなわれ（図３６）、その後、複数のＬＳＢに、ステップＳＰ３２４２において得られたＶＬＣコードを、ＯＲ算術関数を用いて埋め込む。
【０３５６】
空間的に透かしを入れられた低減解像度空間データは、外部のメモリバッファに送られ、将来の参照用に格納される。
【０３５７】
ステップＳＰ３４２−埋め込み高次係数情報の復号
図３８を参照のこと。ラインＮｓの空間解像度データは、符号化および空間透かし方式にしたがって、ステップＳＰ３１０における低減解像度データの複数のＬＳＢを用いて復号される。
【０３５８】
ステップＳＰ３４２０（図３９）において、低減解像度空間データの変数は、ＴＨＲＥＳＨＯＬＤ＿ＥＶＥＮよりも低くなるようチェックされる。ｔｒｕｅであるときは、その領域は平坦領域である可能性が高いため、低減解像度空間データには情報は埋め込まれない。ｆａｌｓｅであるときは、当該複数のＬＳＢはＶＬＣ復号される（ＳＰ３４３０）。埋め込まれたＶＬＣコードを抽出するために、ステップＳＰ３４３２において可変長復号がおこなわれる。抽出されたＶＬＣコードは、量子化高次変換係数を得る（ステップＳＰ３４３４）ために、予め定義された参照用ＶＬＣテーブルを用いてチェックされる。低減解像度画素は、まず埋め込みに用いられたＬＳＢを０でマスキングすることで逆量子化され、その後、ステップＳＰ３４４へ送られる前に、ＶＬＣの埋め込みに用いられた複数のＬＳＢの値の半分に相当する値が加算される（ステップＳＰ３４３６）。
【０３５９】
ステップＳＰ３４４−低減解像度順方向変換
低減解像度順方向変換をおこなうことにより、空間入力の低減解像度変換係数が、次のステップＳＰ３４４において得られる。この演算は、Ｕ＝ＫＳ．ＸＳＴと表される。ＸＳはダウンサンプルドメインにおける空間データを表し、ＫＳは低減解像度ＤＣＴ変換カーネルを表す。
【０３６０】
ステップＳＰ３４６−スケールアップされたＤＣＴ係数
ＤＣＴ−ＩＤＣＴの組み合わせにおいてはブロックサイズ分の１のスケーリングであるため、ＮＳ−ポイントＤＣＴ低周波数係数のＮＦ−ポイントＩＤＣＴを取る前に、当該係数はスケーリングされなければならない［引例：Ｍｉｎｉｍａｌ  Ｅｒｒｏｒ  Ｄｒｉｆｔ  ｉｎ  ｆｒｅｑｕｅｎｃｙ  ｓｃａｌａｂｉｌｉｔｙ  ｆｏｒ  Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ  ＤＣＴ  Ｃｏｄｉｎｇ，  Ｒｏｂｅｒｔ  Ｍｏｋｒｙ  ＡＮＤ  Ｄｉｍｉｔｒｉｓ  Ａｎａｓｔａｓｓｉｏｕ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ］。ＤＣＴ係数はその後、ＩＤＣＴの前に、
【０３６１】
【数１４】
2010092740.tif 000100
【０３６２】
の因数によってスケールアップされる。
【０３６３】
ステップＳＰ３４８−推定された高次変換係数のパディング
ステップＳＰ３４８において、ステップＳＰ３４４で復号された高次変換係数は、高ＤＣＴ係数として、ステップＳＰ３４６で得られたＤＣＴ係数にパディングされる。当該高次変換係数の埋め込みには含まれない高ＤＣＴ係数は、０でパディングされる。
【０３６４】
ステップＳＰ３５０−フル解像度ＩＤＣＴ
ステップＳＰ３５０において、ＩＤＣＴは、間引きに用いられた逆変換カーネル（Ｎ＝ＮＦである（式１０））と、ステップＳＰ３４８で選択して得られたフル解像度ＤＣＴ係数とを乗算することによっておこなわれる。これは、
【０３６５】
【数１５】
2010092740.tif 000101
【０３６６】
で表される。ここで、
【０３６７】
【数１６】
2010092740.tif 000102
【０３６８】
はフル解像度の再構築空間データを表し、
【０３６９】
【数１７】
2010092740.tif 000103
【０３７０】
はステップＳＰ３４８における再構築ＤＣＴ係数を表し、ＫＦは低減解像度ＤＣＴ変換カーネルを表す。
【０３７１】
ビデオディスプレイサブシステム（ステップＳＰ４０）
ビデオディスプレイサブシステム（ステップＳＰ４０）は、ビデオを正しい順序および解像度で表示するために、ステップ２０で得たフレームの解像度情報、およびステップＳＰ３０で得た表示順序情報を用いる。当該ビデオディスプレイサブシステムは、ピクチャ表示順序にしたがって、表示する目的でフレームバッファからピクチャを取得する。当該表示ピクチャが圧縮されていれば、対応するデコンプレッサを用いてデータをフル解像度に変換する。当該表示ピクチャがダウンサンプリングされていれば、包括画像アップスケール機能によって、ポスト処理部を用いてフル解像度にアップスケール可能である。当該画像がフル解像度であれば、そのまま表示される。
【０３７２】
プレパーサを伴わない適応的フル解像度／低減解像度のビデオデコーダの簡易な実施態様
本実施形態において、フレームの解像度を決定するプレパーサを用いる必要のない、代替の簡易な実施態様を提供する。
【０３７３】
図４２を参照のこと。本実施形態において、ビデオバッファサイズが従来のデコーダ（ステップＳＰ１０’）のビデオバッファのサイズ以下のビデオバッファにより、圧縮ビデオデータが、ステップＳＰ３０’において適応的フル解像度／低減解像度ビデオデコーダに供給される。ステップＳＰ３０’において、構文解析・エントロピー復号手段は、復号中シーケンスで用いられる参照フレーム数を確認するために上位層パラメータをチェックする。用いられる参照フレーム数が、縮小サイズフレームバッファ（ステップＳＰ５０’）で扱えるフル参照フレームの数以下である場合、ステップＳＰ３０’においてフル解像度で復号される。そうでなければ、ステップＳＰ３０’において低減解像度で復号される。その後、復号画像データは、ステップＳＰ５０’の縮小サイズフレームバッファに格納される。当該復号画像はビデオディスプレイサブシステムに送信され（ステップＳＰ４０）、ビデオディスプレイサブシステムは、表示目的のため、必要であれば、フェッチされたデータを正しい解像度にアップ変換する。 
【０３７４】
代替の簡易な実施態様に用いられるビデオバッファ（ステップＳＰ１０’）
図４２の代替の簡易な実施態様に関し、ステップＳＰ１０’のビデオバッファサイズは、従来のデコーダに必要なビデオバッファサイズ以下である。これは、フル解像度で復号するか低減解像度で復号するかを決定するために構文解析をおこなうパラメータが主復号ループ内で実行できるからである。上位層パラメータに定義されたパラメータセットを有するピクチャを復号する前に、その上位層パラメータのみが構文解析されるため、先読み構文解析の必要はない。しかしながら、この代替の簡易な実施態様は、ＤＰＢのオペレーションに影響する下位層パラメータがフレーム毎に必要なフレーム数を決定するためにチェックされることがないため、完全な実施態様と比較して非効果的である。例えば、上位層パラメータは、４つの参照フレームを最大限に使用することを示してもよい。しかしながら、フレームの復号において、用いられる参照フレームの実際の数は、ほとんどのピクチャの場合、２フレームのみであってよい。
【０３７５】
縮小サイズフレームバッファ（ステップＳＰ５０’）
縮小サイズフレームバッファのサイズは、ステップＳＰ５０において代替の簡易な実施態様のために定義されたサイズと実質的に同じである。しかしながら、フレームバッファＤＰＢ管理は、上位パラメータ層（Ｈ．２６４の場合はシーケンスパラメータセット）に定義されるピクチャについて、フル解像度または縮小サイズでフレームを格納するため、ステップＳＰ５０の管理よりもずっと簡易化されたものである。
【０３７６】
代替の簡易な実施態様のフル解像度／低減解像度のデコーダ（ステップＳＰ３０’）
図４４を参照のこと。ステップＳＰ３０’のオペレーションは、プレパーサを用いずにステップＳＰ３０における復号中フレームの解像度を決定するという点で、ステップＳＰ３０と異なる。
【０３７７】
図４４を参照のこと。ビデオビットストリームは、ビットストリームバッファ（ＳＰ１０’）から構文解析・エントロピー復号手段（ステップＳＰ３０４’）に送られる。エントロピー復号において、ＣＡＶＬＤまたはＣＡＢＡＣの何れかを実行できる。ステップＳＰ３０４’において、上位層パラメータ（Ｈ．２６４の場合はＳＰＳ）に定義されるピクチャの復号モードを決定するために、ステップＳＰ２００、ステップＳＰ２２０、ステップＳＰ２７０、およびステップＳＰ２８０（図４３）を実行する。ここで、上位層パラメータのみが、ビットストリームシーケンスで用いられる参照フレームの数を決定するために構文解析される。逆量子化器は、構文解析・エントロピー復号手段に接続されており、エントロピー復号係数を逆量子化する（ステップＳＰ３０５）。フレームバッファ（ＳＰ５０）は、ステップＳＰ２０で決定された解像度のビデオピクチャを格納する。各フレームに付与された解像度は、予め定められたダウン変換率またはフル解像度である。低減解像度で復号された画像に関し、画像データは、ステップＳＰ５０において、低減解像度のダウンサンプル画像の形で、または圧縮フォーマットで格納される。フル解像度画像はその元の形式で格納される（ステップＳＰ５０）。ＭＣに用いられる参照フレームが低減解像度であれば、ダウン変換されたビデオ画素は、アップコンバータによって取得され、ステップＳＰ３１０において、動き補償（ＭＣ）手段で用いるフル解像度の画素を生成するために再構築される（画像のアップサンプリングまたは圧縮データの伸長は、用いられるダウン変換モード次第でおこなわれる）。その他に、参照フレームがフェッチされ、ＭＣ部にそのまま供給される。データは、ＭＣ入力にあるデータセレクタを介してＭＣ手段に供給される。参照フレームが低減解像度であれば、アップ変換された画像がＭＣ入力用に選択され、そうでなければ、フレームバッファ（ステップＳＰ５０）からフェッチされた画像データがＭＣ入力用にそのまま選択される。ＭＣ手段は、復号パラメータに基づいて予測画素を得るために、フル解像度の画素に基づいて画像予測をおこなう（ステップＳＰ３１４）。ＩＤＣＴブロックは、逆量子化された係数を受信し、変換画素を得るためにそれらの係数を変換する（ＳＰ３０６）。必要であれば、近隣ブロックのデータを用いて画面内予測をおこなう（ステップＳＰ３０８）。画面内予測値が存在する場合は、予測画素値を得るために、動き補償された画素に加算される（ステップＳＰ３０９）。その後、再構成画素を得るために、変換画素および予測画素を合算する（ステップＳＰ３０９）。デブロックフィルタ処理は、最終的な再構築画素を得るために必要であればおこなわれる（ＳＰ３１８）。ステップＳＰ２８０から、復号中フレームの解像度が低減解像度であれば、再構成画素は、コンプレッサまたは画像ダウンサンプラでダウン変換され（ステップＳＰ３１２）、フレームバッファに格納される。復号中フレームの解像度がフル解像度であれば、再構成画素は、そのままフレームバッファに格納される。縮小フレームバッファへの入力に存在するデータセレクタは、復号対象ピクチャがフル解像度であればフル解像度データを選択し、そうでなければ、ダウン変換画像データを選択する。
【０３７８】
上位パラメータ層のチェック（ステップＳＰ２００、ステップＳＰ２２０、ステップＳＰ２７０、ステップＳＰ２８０）
図４３を参照のこと。ここで、ステップＳＰ２００における縮小ＤＰＢのオペレーションの可能性を確認するため、使用される参照フレームの数がチェックされる。Ｈ．２６４において、シーケンスパラメータセット（ＳＰＳ）内の「ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅ」のフィールドは、次のＳＰＳまでピクチャの復号に用いられる参照フレームの数を示す。使用される参照フレームの数が、縮小ＤＰＢフレームメモリがフル解像度で保持可能な数以下であれば、フル解像度復号モードが割り当てられ（ステップＳＰ２２０）、後にデコーダおよびディスプレイサブシステムによってビデオ復号およびメモリ管理に用いられるフレーム解像度リスト（ステップＳＰ２８０）が、それに従って更新される。ステップＳＰ２２０において縮小ＤＰＢの充足性チェックがｆａｌｓｅである場合、低減解像度復号モードが割り当てられる（ステップＳＰ２７０）。それにしたがって、フレーム解像度リスト（ステップＳＰ２８０）が更新される。
【０３７９】
フル解像度の参照フレーム２つを有する縮小サイズバッファの例示的なビデオデコーダで用いられる復号対象ピクチャの解像度付与を表１に示す。
【０３８０】
【表９】
2010092740.tif 000104
【０３８１】
ステップＳＰ２００において、用いられる参照フレームの数が４であれば、それは縮小サイズフレームバッファで扱える参照フレームの数を超えているので、フレームバッファが４つの低減解像度画像データを格納できるように、復号解像度が低減解像度に付与され、かつ復号画像がフル解像度の半分にダウン変換される。一方、用いられる参照フレームの数が２以下であれば、縮小サイズフレームバッファが参照フレームをフル解像度で格納する、フル復号モードが割り当てられる。 
【０３８２】
本発明の例示的なシステムＬＳＩ
プレパーサを伴う例示的なシステムＬＳＩ
例示的な実施の形態における装置およびプロセスを、例えば、図４５に概略的に示されるシステムＬＳＩとして実現することができる（なお、点線で囲まれた機能は本願の範囲を超えており、説明に万全を期すために提示されているに過ぎないため、簡潔に記載するにとどめる。）。
【０３８３】
当該システムＬＳＩは、入力圧縮ビデオストリームを外部メモリのビデオバッファ用に設計された領域に転送するための周辺機器を以下の通り含む。すなわち、各ピクチャに対し、縮小ＤＰＢ充足性チェックに基づいて、ビデオ復号モード（フル解像度復号モードまたは低減解像度復号モード）を決定して割り当てるプレパーサ、関連フレームの復号情報を供給するピクチャ復号モードおよびピクチャアドレスバッファ、当該プレパーサによって付与された解像度で圧縮ＨＤＴＶビデオデータを復号するビデオデコーダＬＳＩ、復号参照ピクチャおよび入力ビデオストリームを格納する縮小メモリ容量外部メモリ、必要であればダウンサンプルデータを所望の解像度へスケーリングするＡＶ  Ｉ／Ｏ部、および、ビデオデコーダとＡＶ  Ｉ／Ｏ部と外部データメモリの間のデータアクセスを、ピクチャ復号モードおよびピクチャアドレスバッファ内の情報に従って制御するメモリコントローラである。
【０３８４】
入力圧縮ビデオストリームおよびオーディオストリームは、外部ソースから周辺インターフェース経由でデコーダに供給される（ステップＳＰ６３０）。外部ソースの例としては、ＳＤカード、ハードディスクドライブ、ＤＶＤ、ブルーレイディスク（ＢＤ）、チューナ、ＩＥＥＥ１３９４ファイアーウォール、または、周辺機器相互連結（ＰＣＩ）バス経由で当該周辺インターフェースへ接続され得るその他全てのソースが含まれる。
【０３８５】
当該ストリームコントローラは、以下の二つの主要機能を果たす。すなわち、ｉ）オーディオデコーダおよびビデオデコーダで用いるためにオーディオストリームとビデオストリームを逆多重化する（ステップＳＰ６０３）機能と、ｉｉ）周辺機器から、復号規格にしたがってビデオバッファ専用の格納スペースを備える外部メモリ（ＤＲＡＭ）（ステップＳＰ６１６）へ入力ストリームを取得することを規制する機能である。Ｈ．２６４規格に、ビットストリームの部分を配置および除去する手順がセクションＣ．１．１およびＣ．１．２に記載されている。ビデオバッファ専用の格納スペースは、復号規格のビデオバッファ要件に適合していなければならない。例えば、Ｈ．２６４レベル４．０の最大符号化ピクチャバッファサイズ（ＣＰＢ）は、３０，０００，０００ビット（３，７５０，０００バイト）である。レベル４．０は、ＨＤＴＶ用である。
【０３８６】
主な実施形態に説明したとおり、デコーダに先読み予備解析のための追加バッファを備えるために、ビデオバッファの容量が増やされている。Ｈ．２６４レベル４．０の最大ビデオビットレートは２４Ｍｂｐｓである。追加の０．３３３ｓの先読み予備解析を達成するには、さらに約８メガビット（１，０００，０００バイト）のビデオバッファストレージを追加する必要がある。そのようなビットレートの１フレームは、平均で８００，０００ビットであり、１０フレームは平均で８，０００，０００ビットである。ストリームコントローラは、復号規格に従って入力ストリームを取得する。しかしながら、ストリームコントローラは、意図される除去時刻から０．３３３ｓだけ遅延した時刻に、ストリームをビデオバッファから除去する。これは、プレパーサが、実際の復号開始前に各フレームの復号モードに関する情報をより多く集めることができるように、実際の復号は０．３３３ｓだけ遅延しなければならないためである。
【０３８７】
最大ビデオバッファを格納する以外に、外部ＤＲＡＭはＤＰＢを格納する。Ｈ．２６４レベル４．０の最大ＤＰＢサイズは１２，５８２，９１２バイトである。２０４８×１０２４画素のピクチャのためのワーキングバッファと共に、フレームメモリを格納するために外部メモリに合計で１５，７２７，８７２バイトが必要である。外部メモリは、同位置ＭＢ  ＭＣに用いられる動きベクトル情報などの、他の復号パラメータの格納に使用可能である。
【０３８８】
ＬＳＩの設計において、ビデオバッファサイズの増大量は、縮小ＤＰＢの使用によって達成されるメモリ量の減少量よりも大幅に少なくなければならない。Ｈ．２６４レベル４．０のＤＰＢは、フル解像度フレームを４つ格納可能である。処理可能なフル解像度フレームの数が２つのみになるまでＤＰＢの容量が削減された縮小メモリ設計において、フレームメモリ容量は３つのフル解像度フレーム（ＤＰＢに２つ、ワーキングバッファに１つ）である。ＤＰＢに４つの参照フレームが必要なときは常に、その４つのフレームはハーフ解像度で（４→２ダウンサンプリングがおこなわれる）格納される。フレームメモリは、フル解像度の５フレームのうち３フレームのみを扱う必要があるだけなので、フレームメモリストレージの４０％（６，２９１，４５６バイト）削減が達成できる。メモリの削減量は、先に説明したビデオバッファサイズの増大量（１，０００，０００バイト）よりも大幅に大きく、ビデオバッファの増大を正当化できる。
【０３８９】
より良好な画質を実現するため、デコーダは、ＤＰＢサイズをより小さな比率で縮小することにより、ＤＰＢ用のフレームメモリストレージ削減を犠牲にすることができる。例えば、ＤＰＢ内のフル解像度フレームを４つではなく３つ扱うようにＤＰＢを設計し、フレームメモリストレージ（３，１４５，７２８バイト）の削減量を２０％減らすことができる。縮小フレームメモリは、５つのフル解像度フレームストレージのうち４つを格納可能である。縮小ＤＰＢにおいて４フレームが必要なときは常に、フレームメモリは２５％低減解像度（４→３ダウンサンプリングがおこなわれる）で４フレームを格納する。メモリの削減量は３，２４５，７２８バイトであり、ビデオバッファサイズの増大量（１，０００，０００バイト）よりも相当大きくなることがわかる。
【０３９０】
プレパーサ（ステップＳＰ６０１）は、各フレームの復号モード（フル解像度または低減解像度）を決定するために、ビデオバッファに格納されたビットストリームを構文解析する。プレパーサは、バッファサイズを大きくすることで得られるタイムマージンによるビットストリームの実際の復号に先立って、ＤＴＳに起動される。ビットストリームの実際の復号は、その増大ビデオバッファで得られたタイムマージンと同じぶんだけ、ＤＴＳから遅延する。プレパーサは、ＡＶＣのシーケンスパラメータセット（ＳＰＳ）等の上位層情報を構文解析する。使用される参照フレームの数（Ｈ．２６４のｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ）が、縮小ＤＰＢで扱えるフル参照フレームの数以下である場合、このＳＰＳに基づくフレームの復号モードがフル復号に設定され、それに従ってビデオ復号およびメモリ管理で用いられるピクチャ解像度リスト（ステップＳＰ６０２）が更新される。用いられる参照フレームの数が、縮小ＤＰＢがフル解像度で扱える数よりも大きければ、フル解像度復号モードが特定フレームの処理に割り当て可能か否かを決定するために、下位シンタックス情報（ＡＶＣの場合スライスレイヤ）が調べられる。不要な視覚的歪みを避けるため、可能であれば常に、フル解像度の復号が選択される。プレパーサは、ｉ）フルＤＰＢおよび縮小ＤＰＢの参照リスト使用法が同じであり、ｉｉ）フル解像度復号モードをピクチャに割り当てる前に、そのピクチャオーダディスプレイが正しいことを保証する。そうでなければ、低減解像度復号モードが割り当てられる。それにしたがってピクチャ解像度リストが更新される。
【０３９１】
構文解析・エントロピー復号手段は、予備解析のための固定の遅延を伴うＤＴＳにしたがってビデオバッファに指定された外部メモリ格納スペースから入力圧縮ビデオをフェッチする（ステップＳＰ６０４）。デコーダのパラメータは構文解析される。エントロピー復号には、Ｈ．２６４デコーダで用いられる文脈適応型可変長復号（ＣＡＶＬＤ）や文脈適応型算術符号化（ＣＡＢＡＣ）が含まれる。逆量子化器は、その後、エントロピー復号係数を逆量子化する（ステップＳＰ６０５）。その後、フル解像度逆変換がおこなわれる（ステップＳＰ６０６）。
【０３９２】
多用される外部メモリは、ダブルデータレート（ＤＤＲ）同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）である。メモリバッファへの読みとり・書き込みアクセスは、ＬＳＩ回路内のバッファまたは局所メモリと外部メモリ間でダイレクトメモリアクセス（ＤＭＡ）をおこなうメモリコントローラによって制御される（ステップＳＰ６１５）。
【０３９３】
動き補償（ＳＰ６１４）において、用いられる参照フレームの解像度は、ピクチャ解像度リスト内の情報を読み取ることによって得られる。参照フレーム復号モードが低減解像度であれば、メモリコントローラ（ステップＳＰ６１５）は、外部メモリ（ステップＳＰ６１６）から関連する画素データをフェッチし、ピクチャ復号モードおよびアドレスバッファに供給された当該参照ピクチャの動きベクトルおよび開始アドレスを用いて、これらのデータをアップサンプリング手段（ステップＳＰ６１０）のバッファに供給する。その後、ステップＳＰ３１０で説明した処理にしたがって逆動き補償手段で用いるためのアップサンプル画素を生成するためにアップサンプリングをおこなう。このアップサンプリング処理には、埋め込まれた高次係数情報が用いられる。参照フレーム復号モードがフル解像度であれば、メモリコントローラ（ステップＳＰ６１５）は、外部メモリから関連する画素データをフェッチし、これらのデータを動き補償部（ステップＳＰ６１４）のバッファに供給する。
【０３９４】
動き補償部は、予測画素を得るために、フル解像度の画像予測をおこなう。逆離散コサイン変換手段は、逆量子化係数を受信し、変換画素を得るためにそれらの係数を変換する。画面内予測ブロックが存在する場合は、隣接ブロックからのデータを用いて画面内予測（ステップＳＰ６０８）がおこなわれる。画面内予測値が存在する場合、予測画素値を得るために、逆動き補償画素へ加算される（ステップＳＰ６０９）。変換画素および予測画素は、その後、再構築画素を得るために合算される（ステップＳＰ６０９）。デブロックフィルタ処理は、最終的な再構築画素を得るために必要であればおこなわれる（ステップＳＰ６１８）。現在復号中のピクチャのピクチャ復号モードは、当該ピクチャ復号モードおよびピクチャアドレスバッファに対してチェックされる。当該ピクチャのピクチャ復号モードが低減解像度であれば、ダウンサンプルデータへの高次変換係数の埋め込みを伴ってダウンサンプリングがおこなわれる（ステップＳＰ６１２）。ダウンサンプリング手段は、好適な実施形態のステップＳＰ３１２に説明されている。低減解像度データに埋め込まれた高次係数情報を有するダウンサンプルデータは、その後、メモリコントローラ（ステップＳＰ６１５）経由で外部メモリ（ステップＳＰ６１６）に転送される。当該復号対象ピクチャのピクチャ復号モードがフル解像度であれば、ダウンサンプリング手段（ＳＰ６１２）はスキップされ、フル解像度の再構築画像データが、メモリコントローラ（ステップＳＰ６１５）経由で外部メモリ（ステップＳＰ６１６）に送信される。
【０３９５】
ＡＶ  Ｉ／Ｏ（ステップＳＰ６２０）は、ピクチャ解像度リスト内の情報を読み出す。表示対象ピクチャの画像データは、復号コーデックが示す表示順序で、外部メモリ（ステップＳＰ６１６）から、メモリコントローラ（ステップＳＰ６１５）経由でＡＶ  Ｉ／Ｏの入力バッファに送信される。その後、ＡＶ  Ｉ／Ｏ部は、（ピクチャ復号モードに基づいて）必要であれば所望の解像度にアップ変換をおこない、オーディオの出力と同期してビデオデータを出力する。当該低減解像度データは、低減解像度の視覚的コンテンツに歪みを生じさせることなく空間透かしを入れたものであるため、当該システムで低減解像度ピクチャをアップサンプルする際に必要なのは、一般的なＡＶ  Ｉ／Ｏアップスケーリング機能のみである。 
【０３９６】
本発明は、フレーム復号に不要な参照フレームを格納することをピクチャレベルで回避し、縮小メモリビデオデコーダで良好な視覚的品質を実現するため、可能なときは常にフル解像度復号をおこなうものである。低減解像度処理が用いられる場合は、本発明において、低減解像度データ内の高次逆変換係数を埋め込むことによって、低減解像度におけるエラー伝搬は最小限まで削減することが保証される。これは、埋め込みプロセスにおいて、情報損失よりも常に情報ゲインが多いことを保証する方法でおこなわれるためである。
【０３９７】
プレパーサを用いない、代替の簡易な、例示的なシステムＬＳＩ
図４６に、プレパーサを用いない代替の例示的なシステムＬＳＩの実施態様を説明する。この実施形態では、プレパーサを用いる代わりに、構文解析・エントロピー復号手段（ステップＳＰ６０４’）が、ピクチャ解像度リスト（ステップＳＰ６０２’）に、ピクチャ復号解像度を供給する。ステップＳＰ６０４’において、用いられる参照フレーム数を確認するために上位パラメータ層をチェックする。Ｈ．２６４デコーダにおいて、「ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅ」フィールドがＳＰＳ層でチェックされる。この代替の例示的な実施態様において、ステップＳＰ２４０（下位層縮小ＤＰＢ充足性チェック）および、ステップＳＰ２６０はスキップされる。この代替システムは、プレパーサを備える必要のない、簡易な実施態様である。しかしながら、このシステムでは、上位層パラメータのみが調べられるため、本発明の効果は減少する。
【０３９８】
以上、本発明に係る画像処理装置について、上記実施の形態１〜６およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。例えば、本発明は、上記実施の形態１〜６およびその変形例の技術内容を矛盾のない範囲で任意に組み合わせてもよく、上記実施の形態１〜６をさまざまに変更してもよい。
【０３９９】
例えば、上記実施の形態２〜５では、埋め込み縮小処理部１０７及び抽出拡大処理部１０９は、離散コサイン変換（ＤＣＴ）を用いたが、フーリエ変換（ＤＦＴ）、アダマール変換、カルーネンレーベ変換（ＫＬＴ）またはルジャンドル変換など他の変換を用いてもよい。
【０４００】
また、実施の形態２の変形例では、ＳＰＳに含まれる参照フレーム数に基づいて、第１の処理モードと第２の処理モードとをシーケンス単位で切り替えるが、他の情報に基づいて切り替えてもよく、他の単位（例えば、ピクチャ単位など）で切り替えてもよい。
【０４０１】
また、実施の形態１〜６およびその変形例における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、またはマウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。そのマイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０４０２】
また、実施の形態１〜６およびその変形例における各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。そのＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０４０３】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０４０４】
また、実施の形態１〜６およびその変形例における各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。そのＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０４０５】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、そのコンピュータプログラムからなるデジタル信号であるとしてもよい。
【０４０６】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ（Magneto-Optical disk (disc)）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、または半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【０４０７】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０４０８】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、そのコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作するとしてもよい。
【０４０９】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０４１０】
本発明の画像処理装置は、画質の劣化を防いでフレームメモリに必要とされる帯域および容量を抑えることができるという効果を奏し、例えば、パーソナルコンピュータや、ＤＶＤ／ＢＤプレーヤ、テレビなどに適用することができる。
【符号の説明】
【０４１１】
１００    画像復号装置
１０１    シンタックス解析・エントロピー復号部
１０２    逆量子化部
１０３    逆周波数変換部
１０４    画面内予測部
１０５    加算部
１０６    デブロックフィルタ部
１０７    埋め込み縮小処理部
１０８    フレームメモリ
１０９    抽出拡大処理部
１１０    フル解像度動き補償部
１１１    ビデオ出力部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の入力画像を順次処理する画像処理装置であって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する選択部と、
フレームメモリと、
前記選択部により前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像として前記フレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納する格納部と、
前記選択部により前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記選択部により前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す読み出し部と
を備える画像処理装置。
【請求項２】
前記画像処理装置は、さらに、
前記読み出し部によって読み出されて拡大された縮小画像、または前記読み出し部によって読み出された入力画像を、参照画像として参照し、ビットストリームに含まれる符号化画像を復号することにより復号画像を生成する復号部を備え、
前記格納部は、前記復号部によって生成された復号画像を入力画像として扱うことによって、前記第１の処理モードが選択されたときには、前記復号画像を縮小し、縮小された前記復号画像を前記縮小画像として前記フレームメモリに格納し、前記第２の処理モードが選択されたときには、前記復号部によって生成された復号画像を縮小することなく前記フレームメモリに格納し、
前記選択部は、前記ビットストリームに含まれる、前記参照画像に関する情報に基づいて、第１の処理モードまたは第２の処理モードを選択する、
請求項１に記載の画像処理装置。
【請求項３】
前記格納部は、前記フレームメモリに縮小画像を格納するときには、前記縮小画像の画素値を示すデータの一部を、削除された周波数の情報の少なくとも一部を示す埋め込みデータに置き換え、
前記読み出し部は、前記縮小画像を拡大するときには、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータから前記周波数の情報を復元し、前記埋め込みデータが抽出された縮小画像に、前記周波数の情報を付加することによって前記縮小画像を拡大する、
請求項２に記載の画像処理装置。
【請求項４】
前記格納部は、前記入力画像を縮小するときには、前記入力画像を水平方向に縮小することにより、前記入力画像の水平方向の画素数を減らし、
前記読み出し部は、前記縮小画像を拡大するときには、前記参照画像を水平方向に拡大することにより、前記縮小画像の水平方向の画素数を増やす、
請求項３に記載の画像処理装置。
【請求項５】
前記格納部は、
前記縮小画像の画素値を示すデータのうち、少なくともＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）を含む１つまたは複数のビットで示される値を、前記埋め込みデータに置き換える、
請求項３または４に記載の画像処理装置。
【請求項６】
前記格納部は、
前記入力画像を表す領域を画素領域から周波数領域に変換する第１の直交変換部と、
前記周波数領域の入力画像から、予め定められた高周波数成分を前記周波数の情報として削除する削除部と、
前記高周波数成分が削除された入力画像を表す領域を周波数領域から画素領域に変換する第１の逆直交変換部と、
前記第１の逆直交変換部によって変換された入力画像の画素値を示すデータの一部を、削除された前記高周波数成分の少なくとも一部を示す前記埋め込みデータに置き換える埋め込み部とを備える、
請求項３〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記読み出し部は、
前記縮小画像に含まれている前記埋め込みデータを抽出する抽出部と、
抽出された前記埋め込みデータから前記高周波数成分を復元する復元部と、
前記埋め込みデータが抽出された縮小画像を表す領域を画素領域から周波数領域に変換する第２の直交変換部と、
前記周波数領域の縮小画像に前記高周波数成分を付加する付加部と、
前記高周波数成分が付加された縮小画像を表す領域を周波数領域から画素領域に変換する第２の逆直交変換部とを備える、
請求項６に記載の画像処理装置。 
【請求項８】
前記格納部は、さらに、
前記削除部によって削除される前記高周波数成分を可変長符号化することにより前記埋め込みデータを生成する符号化部を備え、
前記復元部は、前記埋め込みデータを可変長復号することにより前記埋め込みデータから前記高周波数成分を復元する、
請求項７に記載の画像処理装置。
【請求項９】
前記格納部は、さらに、
前記削除部によって削除される前記高周波数成分を量子化することにより前記埋め込みデータを生成する量子化部を備え、
前記復元部は、前記埋め込みデータを逆量子化することにより前記埋め込みデータから前記高周波数成分を復元する、
請求項７に記載の画像処理装置。
【請求項１０】
前記抽出部は、
前記縮小画像の画素値を示すビット列からなるデータのうち、少なくとも１つの所定ビットにより示される前記埋め込みデータを抽出し、前記埋め込みデータが抽出された画素値を、前記少なくとも１つの所定ビットの値に応じて前記ビット列が取り得る値の範囲の中央値に設定し、
前記第２の直交変換部は、前記中央値に設定された画素値を有する縮小画像の領域を画素領域から周波数領域に変換する、
請求項７に記載の画像処理装置。
【請求項１１】
前記格納部は、前記縮小画像に基づいて、前記埋め込みデータに置き換えるべきか否かを判別し、置き換えるべきと判別した場合に、前記縮小画像の画素値を示すデータの一部を前記埋め込みデータに置き換え、
前記読み出し部は、前記縮小画像に基づいて、前記埋め込みデータを抽出するべきか否かを判別し、抽出するべきと判別した場合に、前記縮小画像から前記埋め込みデータを抽出し、前記埋め込みデータが抽出された縮小画像に前記周波数の情報を付加する、
請求項３〜１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記第１および第２の直交変換部は、画像に対して離散コサイン変換を行うことによって、前記画像を表す領域を画素領域から周波数領域に変換し、
前記第１および第２の逆直交変換部は、画像に対して逆離散コサイン変換を行うことによって、前記画像を表す領域を周波数領域から画素領域に変換する、
請求項７に記載の画像処理装置。
【請求項１３】
前記離散コサイン変換および前記逆離散コサイン変換の変換対象サイズは４×４サイズである、
請求項１２に記載の画像処理装置。
【請求項１４】
前記復号部は、
前記符号化画像を逆周波数変換することにより差分画像を生成する逆周波数変換部と、
前記参照画像を参照して動き補償を行うことにより前記符号化画像の予測画像を生成する動き補償部と、
前記差分画像と前記予測画像を加算することにより前記復号画像を生成する加算部とを備える、
請求項３〜１３の何れか１項に記載の画像処理装置。
【請求項１５】
複数の入力画像を順次処理する画像処理方法であって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択し、
前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像としてフレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納し、
前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す
画像処理方法。
【請求項１６】
複数の入力画像を順次処理するためのプログラムであって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択し、
前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像としてフレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納し、
前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す
ことをコンピュータに実行させるプログラム。
【請求項１７】
複数の入力画像を順次処理する集積回路であって、
少なくとも１つの入力画像ごとに第１の処理モードと第２の処理モードとを切り替えて選択する選択部と、
前記選択部により前記第１の処理モードが選択されたときには、前記入力画像に含まれる予め定められた周波数の情報を削除することにより前記入力画像を縮小し、縮小された前記入力画像を縮小画像としてフレームメモリに格納し、前記選択部により前記第２の処理モードが選択されたときには、前記入力画像を縮小することなく前記フレームメモリに格納する格納部と、
前記選択部により前記第１の処理モードが選択されたときには、前記フレームメモリから前記縮小画像を読み出して拡大し、前記選択部により前記第２の処理モードが選択されたときには、前記フレームメモリから縮小されていない前記入力画像を読み出す読み出し部と
を備える集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010092740.tif 000105
【図２】
2010092740.tif 000106
【図３】
2010092740.tif 000107
【図４】
2010092740.tif 000108
【図５】
2010092740.tif 000109
【図６】
2010092740.tif 000110
【図７】
2010092740.tif 000111
【図８】
2010092740.tif 000112
【図９】
2010092740.tif 000113
【図１０】
2010092740.tif 000114
【図１１】
2010092740.tif 000115
【図１２】
2010092740.tif 000116
【図１３】
2010092740.tif 000117
【図１４】
2010092740.tif 000118
【図１５】
2010092740.tif 000119
【図１６】
2010092740.tif 000120
【図１７】
2010092740.tif 000121
【図１８】
2010092740.tif 000122
【図１９】
2010092740.tif 000123
【図２０】
2010092740.tif 000124
【図２１】
2010092740.tif 000125
【図２２】
2010092740.tif 000126
【図２３】
2010092740.tif 000127
【図２４】
2010092740.tif 000128
【図２５】
2010092740.tif 000129
【図２６】
2010092740.tif 000130
【図２７】
2010092740.tif 000131
【図２８】
2010092740.tif 000132
【図２９】
2010092740.tif 000133
【図３０】
2010092740.tif 000134
【図３１】
2010092740.tif 000135
【図３２】
2010092740.tif 000136
【図３３】
2010092740.tif 000137
【図３４】
2010092740.tif 000138
【図３５】
2010092740.tif 000139
【図３６】
2010092740.tif 000140
【図３７】
2010092740.tif 000141
【図３８】
2010092740.tif 000142
【図３９】
2010092740.tif 000143
【図４０】
2010092740.tif 000144
【図４１】
2010092740.tif 000145
【図４２】
2010092740.tif 000146
【図４３】
2010092740.tif 000147
【図４４】
2010092740.tif 000148
【図４５】
2010092740.tif 000149
【図４６】
2010092740.tif 000150
【図４７】
2010092740.tif 000151
【図４８】
2010092740.tif 000152
【図４９Ａ】
2010092740.tif 000153
【図４９Ｂ】
2010092740.tif 000154
【国際調査報告】
2010092740.tif 000155
2010092740.tif 000156