(57)【要約】  最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置（１０）であって、動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号するＨ．２６４デコーダ（１００）と、復号済ピクチャを外部出力のために保持する外部メモリ（１０７）と、フレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な内部メモリ（１０６）と、１枚の符号化ピクチャの復号開始前にｎ枚の復号済ピクチャが内部メモリ（１０６）に格納されているように、外部メモリ（１０７）から内部メモリ（１０６）に復号済ピクチャを転送する第二転送部（１０２）とを備える。
2008146455.tif 000002
【特許請求の範囲】
【請求項１】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段と
を備える動画像復号化装置。
【請求項２】
前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、
前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始する
請求項１記載の動画像復号化装置。
【請求項３】
前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送する
請求項２記載の動画像復号化装置。
【請求項４】
さらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、
前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する
請求項１記載の動画像復号化装置。
【請求項５】
前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送する
請求項４記載の動画像復号化装置。
【請求項６】
前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されている
請求項１記載の動画像復号化装置。
【請求項７】
前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、
前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、
前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号する
請求項１記載の動画像復号化装置。
【請求項８】
動画像データを再生する再生装置であって、
請求項１記載の動画像復号化装置と、
前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、
前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段と
を備える再生装置。
【請求項９】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納する第二記憶手段と、
前記第二記憶手段に格納されている１枚以上の復号済ピクチャのうち、前記第一記憶手段に格納されている復号済ピクチャの次に表示されるべき復号済ピクチャを、前記第二記憶手段から前記第一記憶手段へ転送する転送手段と
を備える動画像復号化装置。
【請求項１０】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化方法であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化ステップと、
前記復号化ステップにおいて得られる復号済ピクチャを外部出力のために第一記憶手段に保持させる第一記憶ステップと、
前記復号化ステップにおける１枚の符号化ピクチャの復号開始前に前記復号化ステップにおけるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャが第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送ステップとを含み、
前記復号化ステップでは、前記第二記憶手段に記憶されている前記ｎ枚の復号済ピクチャを参照して前記１枚の符号化ピクチャを復号する
動画像復号化方法。
【請求項１１】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置に用いられる集積回路であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを前記集積回路の外部の第一記憶手段に転送する第一転送手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する第二転送手段と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測を行なう符号化規格で符号化された符号化ピクチャを復号する動画像復号化装置および動画像復号化方法に関する。
【背景技術】
【０００２】
従来、動画像データに対するフレーム間差分を用いた圧縮符号化（以下、単に「符号化」と呼ぶ）技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）符号化技術がある（非特許文献１参照）。また、近年ではさらに高圧縮を実現するＨ．２６４（非特許文献２参照）が符号化規格として採用されてきている。【０００３】
また、動画像データに対する符号化および復号化の要素技術であるフレーム間予測では、デコード済みのピクチャの情報を用いて画素値の予測を行なうため、デコード済みのピクチャを格納するメモリが必要となる。従来は必要な記憶容量やチップ面積の関係からこのメモリを、デコード部等を含むシステムＬＳＩの外部に置いていた（特許文献１参照）。【０００４】
外部のメモリに格納されるピクチャは、デコード中のピクチャ、デコード中のピクチャが参照する可能性のあるピクチャ、および、表示部へ出力されるピクチャ、これら全てである。【０００５】
このため、デコード中のピクチャを外部のメモリに書き込む処理の他に、デコード済みのピクチャをフレーム間予測のために外部のメモリからデコード部へ逐次読み込む、などの動作が必要となる。【０００６】
特に、後者のフレーム間予測のためにデコード済みのピクチャを逐次読み込む処理においては、データの転送頻度および転送量が非常に大きい。そのため、外部メモリのアクセスバンド幅の増大を招き、外部メモリとして高速なメモリが必要となるためコストが高くなるという問題点があった。【０００７】
これに対し近年、システムＬＳＩ内蔵の大容量メモリ（Ｅｍｂｅｄｄｅｄ  ＤＲＡＭ）の実用化が進み、外部のメモリだけでなく、内部のメモリを活用して外部のメモリアクセスを削減する技術が開発されている。【０００８】
特許文献２には、ＭＰＥＧの符号化処理において、動き探索処理用に用いるデータは内部及び外部のメモリ両方に書き込み、必要なデータを広帯域な内部メモリに配置することで、動き探索処理の処理効率を高める技術が開示されている（特許文献２参照）。
【特許文献１】特開２００４−２１５０４９号公報
【特許文献２】特開２００２−２１８４７４号公報
【非特許文献１】ＩＴＵ−Ｔ勧告  Ｈ．２６２  「Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒ    ｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  Ｖｉｄｅｏ」
【非特許文献２】ＩＴＵ−Ｔ勧告  Ｈ．２６４「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記特許文献２では、エンコード処理において、参照ピクチャが格納されるフレームメモリを内部に持つ場合の構成について述べている。【００１０】
このような構成をデコード処理に適応した場合、Ｈ．２６４規格においては、デコード済みのデータ、すなわちフレーム間予測に必要なピクチャのデータを、フレーム間予測に用いるために内部メモリに書き込み、これと同時に、ディスプレイ等の外部の装置に出力するために外部メモリに書き込むことになる。【００１１】
この場合、内部メモリにはデコード中のピクチャとデコード中のピクチャが必要とする参照可能なピクチャとが記憶されるため、内部メモリに必要な容量が増加してしまうという課題がある。【００１２】
本発明は、上記従来の課題を考慮し、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記従来の課題を解決するために、本発明の動画像復号化装置は、最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段とを備える。【００１４】
この構成により、復号化手段が参照する最大ｎ枚の復号済ピクチャは、当該復号の前に、第一記憶手段から、復号化手段がフレーム間予測を行う際の参照先である第二記憶手段に転送される。【００１５】
従って、従来のように、ある符号化ピクチャの復号中に当該復号結果のデータを第二記憶手段に蓄積していく必要がない。【００１６】
すなわち、本発明の動画像復号化装置では、復号対象の符号化ピクチャが参照可能な復号済ピクチャのみを、フレーム間予測の際の参照先である第二記憶手段に記憶させることができる。これにより、第二記憶手段の必要容量が増大することを防ぐことができる。【００１７】
具体的には、第二記憶手段の容量を、ｎ枚の復号済ピクチャを格納できるだけの容量とすることができる。【００１８】
また、復号手段は、第二記憶手段にのみアクセスすれば、全ての参照すべき復号済ピクチャを取得することが可能である。そのため、効率よく復号処理を行うことができる。【００１９】
例えば、復号化手段を集積回路の一つの機能として実現する場合、当該集積回路が有する内部メモリの容量を増加させることなく、当該内部メモリを第二記憶手段として使用することが可能である。これにより、フレーム間予測を伴う復号化処理を高速に実行することが可能となる。【００２０】
また、前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始するとしてもよい。【００２１】
この構成により、復号処理が行われていない期間、すなわち、復号化手段から第一記憶手段への復号済みのデータの転送が行われていない期間に、復号済ピクチャを第二記憶手段に転送することが可能となる。そのため、動画像復号化装置を効率よく動作させることができる。【００２２】
また、前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送するとしてもよい。【００２３】
このように、あるピクチャの復号の終了後、当該復号後のピクチャのデータのみを第一記憶手段から第二記憶手段に転送することで、第一記憶手段から第二記憶手段へのデータ転送量をより少なくすることができる。【００２４】
また、本発明の動画像復号化装置はさらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送するとしてもよい。【００２５】
この構成により、実際に参照される復号済ピクチャのみが第二記憶手段に格納されることになる。そのため、データ転送に係る処理負荷を低減させることができる。【００２６】
また、前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送するとしてもよい。【００２７】
この構成により、転送手段は、既に第二記憶手段に格納済みの復号済ピクチャを、第一記憶手段から第二記憶手段に転送することがない。つまり、データ転送に係る処理効率が向上する。【００２８】
また、前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されているとしてもよい。【００２９】
この構成により、集積回路の内部メモリを第二記憶手段として用いることで高速に復号処理を行う動画像復号装置を実現できる。【００３０】
また、前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号するとしてもよい。【００３１】
この構成により、Ｈ．２６４の規格に従い高効率で圧縮符号化された動画像データを復号する装置であって、復号に必要な記憶容量を増加させずに適切に復号処理を行う動画像復号化装置を実現できる。【００３２】
また、本発明の再生装置は、動画像データを再生する再生装置であって、本発明の動画像復号化装置と、前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段とを備える。【００３３】
これにより、復号に必要な記憶容量を増加させることなく効率よく動画像データを復号し再生する再生装置を実現できる。【００３４】
また、本発明の動画像復号化装置は、最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納する第二記憶手段と、前記第二記憶手段に格納されている１枚以上の復号済ピクチャのうち、前記第一記憶手段に格納されている復号済ピクチャの次に表示されるべき復号済ピクチャを、前記第二記憶手段から前記第一記憶手段へ転送する転送手段とを備える。【００３５】
この構成により、参照される復号済ピクチャを第二記憶手段に格納し、出画のタイミングにあわせて第二記憶手段から第一記憶手段に復号済ピクチャを転送することができる。【００３６】
従って、各符号化ピクチャの復号化の際に第二記憶手段にアクセスするだけで参照ピクチャを取得でき、かつ、第一記憶手段に必要な容量を従来より少なくすることができる。【００３７】
なお、本発明は、本発明の動画像復号化装置の特徴的な構成部を備える集積回路として実現することもできる。この場合、当該集積回路が有する内部メモリを第二記憶手段として使用し、当該集積回路の外部に配置された外部メモリを第一記憶手段として使用することができる。【００３８】
さらに、本発明は、本発明の動画像復号化装置の特徴的な構成部の動作をステップとする動画像復号化方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。【００３９】
そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。
【発明の効果】
【００４０】
本発明の動画像復号化装置は、復号対象の符号化ピクチャが参照可能なピクチャのみを、参照先の第二記憶手段に記憶させることができる。そのため、第二記憶手段の容量の増大を防ぐことができる。【００４１】
従って、本発明は、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置および動画像復号化方法であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置および動画像復号化方法を提供することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、本発明の実施の形態１における動画像復号化装置の主要な機能構成を示す機能ブロック図である。
【図２】図２は、Ｈ．２６４デコーダの主要な機能構成を示す機能ブロック図である。
【図３】図３は、実施の形態１における動画像復号化装置の処理の流れを示すフローチャートである。
【図４】図４は、Ｈ．２６４ストリームの階層構造を示す図である。
【図５】図５は、実施の形態１の動画像復号化装置における復号処理のタイミングチャートの一例である。
【図６】図６は、本発明の実施の形態２における動画像復号化装置の主要な機能構成を示す機能ブロック図である。
【図７】図７は、実施の形態２における動画像復号化装置の処理の流れを示すフローチャートである。
【図８】図８は、連続するピクチャシーケンスの一例を示す図である。
【図９】図９は、ピクチャの符号化順序と表示順序との対応関係を示す図である。
【図１０】図１０は、本発明の実施の形態３における動画像復号化装置の主要な機能構成を示す機能ブロック図である。
【図１１】図１１は、実施の形態３における動画像復号化装置の処理の流れを示すフローチャートである。
【図１２】図１２は、本発明を用いた集積回路を含む符号化画像の再生装置の構成図である。
【符号の説明】
【００４３】
１０、２０、３０    動画像復号化装置
５０、６０、７０    システムＬＳＩ
１００、６００、９００    Ｈ．２６４デコーダ
１０１、６０１、９０１    第一転送部
１０２、６０２、９０２    第二転送部
１０３、６０３、９０３    第三転送部
１０４、６０４、９０４    出画部
１０５、６０５、９０５    符号化データ供給部
１０６、６０６、９０６    内部メモリ
１０７、６０８、９０８    外部メモリ
２００    符号化ストリームバッファ
２０１    可変長復号部
２０２    逆量子化部
２０３    フレーム間予測部
２０４    フレーム内予測部
２０５    デブロッキングフィルタ部
２０６    復号化画像バッファ
６０７、９０７    判断部
１０００    再生装置
１１００    回路基板
１１０５    表示部
１１１０    ストリーム入力部
１１１１    外部出力部
【発明を実施するための最良の形態】
【００４４】
以下、本発明の実施の形態について、図面を参照しながら説明する。【００４５】
（実施の形態１）
図１は、本発明の実施の形態１における動画像復号化装置１０の主要な機能構成を示す機能ブロック図である。【００４６】
以下、図１を用いて実施の形態１における動画像復号化装置１０の構成について説明する。【００４７】
図１に示すように、実施の形態１の動画像復号化装置１０は、システムＬＳＩ５０と、システムＬＳＩ５０の外部に配置された外部メモリ１０７とを備える。【００４８】
システムＬＳＩ５０は、Ｈ．２６４デコーダ１００、第一転送部１０１、第二転送部１０２、第三転送部１０３、出画部１０４、符号化データ供給部１０５、およびフレーム間予測に用いる内部メモリ１０６を有する。【００４９】
つまり、これらの要素が１つのＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）に含まれることによりシステムＬＳＩ５０が構成されている。【００５０】
外部メモリ１０７は、本発明の動画像復号化装置における第一記憶手段の一例であり、符号化ピクチャならびにデコード済みのピクチャのデータを格納するメモリである。つまり、デコード対象の符号化ピクチャを保持するとともに、Ｈ．２６４デコーダ１００により得られる復号済ピクチャを外部出力のために保持するメモリである。【００５１】
内部メモリ１０６は、本発明の動画像復号化装置における第二記憶手段の一例であり、Ｈ．２６４デコーダ１００によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能なメモリである。【００５２】
なお、このｎは、符号化規格で定められる参照可能な最大枚数であり、本実施の形態においては、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）のピクチャ（１９２０画素×１０８０画素）を４枚格納することができる。【００５３】
符号化データ供給部１０５は、外部メモリ１０７に格納されている符号化データを読み取りＨ．２６４デコーダ１００に供給する処理部である。【００５４】
Ｈ．２６４デコーダ１００は、本発明の動画像復号化装置における復号化手段の一例であり、動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する処理部である。【００５５】
具体的には、Ｈ．２６４デコーダ１００は、フレーム間予測処理アルゴリズムが用いられるＨ．２６４符号化ストリームの復号回路である。Ｈ．２６４デコーダ１００の詳細については、図２を用いて後述する。【００５６】
第一転送部１０１は、Ｈ．２６４デコーダ１００により得られるデコード済ピクチャのデータを外部メモリ１０７に転送する処理部である。【００５７】
なお、本明細書、および請求の範囲において“転送”とは、元の場所に情報を残したまま他の場所に当該情報を複製する“コピー”を含む広い概念で用いている。【００５８】
第二転送部１０２は、本発明の動画像復号化装置における転送手段の一例であり、外部メモリ１０７に格納されているデコード済ピクチャのデータを内部メモリ１０６にコピーする処理部である。【００５９】
第三転送部１０３は、内部メモリ１０６に格納されているデコード済ピクチャのデータをＨ．２６４デコーダ１００にコピーする処理部である。【００６０】
なお、第一転送部１０１は、本発明の集積回路における第一転送手段の一例であり、第二転送部１０２は、本発明の集積回路における第二転送手段の一例である。【００６１】
このように第一転送部１０１、第二転送部１０２および第三転送部１０３のそれぞれは、構成要素間でのデータをコピーする際に用いられる。また、内部メモリ１０６に格納されたデコード済ピクチャは、以降のピクチャのデコード時に参照される。【００６２】
具体的には、内部メモリ１０６は、外部メモリ１０７に格納されているデコード済ピクチャのデータを第二転送部１０２から受け取ることにより、フレーム間予測処理に用いられるデコード済ピクチャのデータを格納する。【００６３】
なお、本実施の形態においては、デコード済ピクチャは第二転送部１０２により、外部メモリ１０７から内部メモリ１０６に全てコピーされるが、この処理は、次の符号化画像のデコードが始まる前に行われる。【００６４】
さらに、Ｈ．２６４デコーダ１００がフレーム間予測を用いたデコードをする際に、内部メモリ１０６に格納されているデータのうち、実際に参照に用いられるデータが第三転送部１０３によってＨ．２６４デコーダ１００にコピーされる。【００６５】
出画部１０４は、外部メモリ１０７に格納されているデコード済ピクチャのデータを読み取って、外部ディスプレイに出力する処理部である。これにより、動画像復号化装置１０に接続された外部ディスプレイにデコード済ピクチャが表示される。【００６６】
次に、図２を用いてＨ．２６４デコーダ１００の構成を説明する。【００６７】
図２は、Ｈ．２６４デコーダ１００の主要な機能構成を示す機能ブロック図である。【００６８】
図２に示すように、Ｈ．２６４デコーダ１００は、符号化ストリームを格納する符号化ストリームバッファ２００、可変長復号部２０１、逆量子化部２０２、フレーム間予測部２０３、フレーム内予測部２０４、デブロッキングフィルタ部２０５、およびデコード済ピクチャを書き出す復号化画像バッファ２０６を有する。【００６９】
符号化ストリームバッファ２００は、入力される動画像データを一時的に保持するバッファである。具体的にはＨ．２６４の符号化ストリームが符号化ストリームバッファ２００に入力される。【００７０】
可変長復号部２０１は、入力された符号化ストリームに対し可変長復号処理を施す処理部である。逆量子化部２０２は、可変長復号部２０１から得られるデータに対し逆量子化処理および逆整数変換処理を行う処理部である。【００７１】
フレーム間予測部２０３はフレーム間予測処理を行う処理部であり、フレーム内予測部２０４はフレーム内予測処理を行う処理部である。【００７２】
具体的には、可変長復号部２０１により得られた値から当該ピクチャの復号に際しフレーム内予測を行うかフレーム間予測を行うかの判断がなされる。この判断結果に応じて、フレーム間予測部２０３またはフレーム内予測部２０４のいずれかにより予測処理が行われる。【００７３】
デブロッキングフィルタ部２０５は、フレーム間予測部２０３またはフレーム内予測部２０４から得られるデータに対しフィルタ処理を施す処理部である。【００７４】
復号化画像バッファ２０６は、フィルタ処理がなされたデータを一時的に保持するバッファである。【００７５】
復号化画像バッファ２０６に蓄えられたデータは、第一転送部１０１により外部メモリ１０７に転送される。つまり、外部メモリ１０７は、Ｈ．２６４デコーダ１００によってデコードされたデコード済ピクチャを格納するためにも用いられる。【００７６】
次に、図１および図２に示す構成を有する動画像復号化装置１０における、Ｈ．２６４デコーダ１００の復号処理の手順を説明する。【００７７】
復号化の対象であるＨ．２６４符号化された動画像データが外部メモリ１０７に格納されているとき、まずこの動画像データは符号化データ供給部１０５によってＨ．２６４デコーダ１００に供給される。【００７８】
Ｈ．２６４デコーダ１００は、符号化データ供給部１０５から受け取った動画像データを符号化ストリームバッファ２００に格納し、可変長復号部２０１を用いて可変長復号処理を行う。【００７９】
可変長復号処理において復号化された情報から、デコードの対象のピクチャがフレーム間予測を用いないピクチャの種類であると判断される場合、続けて逆量子化処理および逆整数変換処理が逆量子化部２０２によって行われる。【００８０】
復号化の対象のピクチャがフレーム間予測を用いるピクチャであり、かつ復号化単位であるマクロブロック（以下、「ＭＢ」とも記す。）がフレーム間予測を用いるＭＢであった場合、デコード済ピクチャのデータが格納されている内部メモリ１０６から、第三転送部１０３を用いて、デコード済ピクチャのデータを取得する。取得されたデータはフレーム間予測部２０３に入力される。【００８１】
フレーム間予測部２０３は、このデコード済ピクチャのデータを用いてフレーム間予測処理を行う。フレーム間予測部２０３から出力されるデータは、デブロッキングフィルタ部２０５を経て、復号化画像バッファ２０６に格納される。【００８２】
また、復号化の対象のＭＢがフレーム内予測を行うＭＢであった場合には、フレーム内予測処理がフレーム内予測部２０４によって行われた後に、デブロッキングフィルタ部２０５を経て復号化画像バッファ２０６に復号化されたデータが格納される。【００８３】
復号化画像バッファ２０６に格納されたデータは第一転送部１０１によって外部メモリ１０７に転送される。【００８４】
ここで、Ｈ．２６４デコーダ１００によりピクチャがデコードされた後、Ｈ．２６４デコーダ１００が動作していない期間では、第一転送部１０１によるデータの転送も行われない。【００８５】
また、復号化されたピクチャのデータが外部メモリ１０７に書き込まれると、次の符号化データのデコードが開始されるまでに、つまり、Ｈ．２６４デコーダ１００によるデコード処理が行われていない期間に、次のデコードで参照される可能性のあるピクチャのデータを、第二転送部１０２を用いて内部メモリ１０６にコピーする。【００８６】
なお、本実施の形態においては、参照される可能性のあるピクチャとして、全てのデコード済ピクチャが外部メモリ１０７から内部メモリ１０６に転送される。【００８７】
また、内部メモリ１０６に転送されたデコード済ピクチャは、その後に復号される符号化ピクチャのピクチャヘッダに示される情報に基づいて要不要が判断される。この判断の結果、その後に参照されない、つまり、残す必要がないと判断されたデコード済ピクチャは内部メモリ１０６から削除される。【００８８】
この処理により、先に述べたとおり、以降のデコード処理の際にフレーム間予測が用いられるＭＢが出現した場合、フレーム間予測に必要な参照ピクチャのデータはフレーム間予測の際の参照先である内部メモリ１０６に格納されていることになる。【００８９】
そのため、Ｈ．２６４デコーダ１００は、外部メモリ１０７にアクセスする必要はない。一般的にシステムＬＳＩの内部のメモリへのアクセスは、外部に位置するメモリにアクセスするより高速に行うことができる。【００９０】
従って、本実施の形態の動画像復号化装置１０は、高速な外部メモリ１０７を用いることなく、フレーム間予測処理をシステムＬＳＩ５０の内部に配置された内部メモリ１０６に対するアクセスのみで行うことが可能となる。【００９１】
なお、外部メモリ１０７に格納されたデコード済ピクチャは出画部１０４によって外部メモリ１０７から読み出された後に、外部ディスプレイに出力される。これにより、当該ピクチャを含む動画像は外部ディスプレイに表示される。【００９２】
以上説明したデコード処理の流れを、図３のフローチャートを用いて説明する。【００９３】
図３は、実施の形態１における動画像復号化装置１０の処理の流れを示すフローチャートである。【００９４】
まずＨ．２６４デコーダ１００は初期状態として、ピクチャデコード処理の開始待ち状態（Ｓ３００）にある。【００９５】
この状態において例えばユーザの指示に基づいて、ピクチャデコードが開始される。具体的には、まず符号化ストリームに含まれるピクチャ全体を特徴付ける情報が格納されているピクチャヘッダと呼ばれるデータが可変長復号部２０１によりデコードされる（Ｓ３０１）。【００９６】
ピクチャヘッダのデコードが終了すると、続いてスライスヘッダと呼ばれるデータのデコード処理が行われる（Ｓ３０２）。【００９７】
Ｈ．２６４規格においては、通信路でのエラー耐性などの観点から１枚のピクチャは複数のスライスと呼ばれる単位に分けられることがある。【００９８】
図４は、Ｈ．２６４ストリームの階層構造を示す図である。【００９９】
図４に示すように、スライスとは、１画面のピクチャを＃１から＃ｎまで帯状に分割したものであり、各スライスは複数のマクロブロック（ＭＢ）から構成される。【０１００】
ＭＢは１６×１６画素の符号化および復号化の単位である。すなわちスライスは典型的には１６ラインのＭＢの帯のことである。【０１０１】
なお、複数のラインをまたいで単一のスライスを構成することも可能である。この場合スライスは１６×ｎ（ｎは自然数）のＭＢの帯で構成される。スライスヘッダは複数のＭＢを含むスライスの先頭に配置され、スライス内のマクロブロックで共通のパラメータが符号化されているデータである。【０１０２】
Ｈ．２６４デコーダ１００では、スライスヘッダのデコードが終わると続いて可変長復号部２０１によるＭＢのヘッダのデコードが開始される（Ｓ３０３）。【０１０３】
ＭＢのヘッダには、そのＭＢの詳細情報を含むデータが符号化されており、このデータを解釈することによって、当該ＭＢがフレーム間予測をするＭＢか、あるいはフレーム内予測をするＭＢであるかを判定することが可能である（Ｓ３０４）。【０１０４】
当該ＭＢがフレーム内予測を行うＭＢであった場合には、フレーム内予測部２０４は当該ＭＢに対しフレーム内予測処理を行う（Ｓ３０７）。フレーム内予測部２０４から出力されたデータは、デブロッキングフィルタ部２０５によるデブロッキング処理を経て、復号化画像バッファ２０６に格納される。【０１０５】
復号化画像バッファ２０６に格納されたデータは、第一転送部１０１により外部メモリ１０７に転送される（Ｓ３０８）。【０１０６】
一方、当該ＭＢがフレーム間予測処理を用いるＭＢだった場合には、Ｈ．２６４デコーダ１００は、内部メモリ１０６に格納されているデコード済ピクチャのデータを第三転送部１０３を用いて取得する。フレーム間予測部２０３は、取得されたデコード済ピクチャのデータを用いてフレーム間予測処理を行う（Ｓ３０６）。【０１０７】
フレーム間予測処理の完了後、フレーム間予測部２０３から出力されたデータは、デブロッキングフィルタ部２０５によるデブロッキング処理を経て、復号化画像バッファ２０６に格納される。【０１０８】
復号化画像バッファ２０６に格納されたデータは、第一転送部１０１により外部メモリ１０７に転送される（Ｓ３０８）。【０１０９】
また、ＭＢのデコードが終了した後に、当該ＭＢが、当該ＭＢが属するスライスの終端のＭＢであったかどうかが判定される（Ｓ３０９）。【０１１０】
この判定の結果、当該ＭＢがスライスの終端のＭＢでなかった場合（Ｓ３０９でＮｏ）、続けて以降のＭＢのデコード処理が継続される。当該ＭＢがスライスの終端のＭＢであった場合（Ｓ３０９でＹｅｓ）、続けて当該ＭＢがピクチャの終端のＭＢであるかどうかが判定される（Ｓ３１０）。【０１１１】
この判定の結果、当該ＭＢがピクチャの終端のＭＢでない場合（Ｓ３１０でＮｏ）、続けて以降のスライスのデコードを継続する。当該ＭＢがピクチャの終端のＭＢだった場合（Ｓ３１０でＹｅｓ）、Ｈ．２６４デコーダ１００は、当該ピクチャについてのデコード処理を完了する。【０１１２】
なお、上記の判定処理（Ｓ３０９およびＳ３１０）は、例えば可変長復号部２０１により行われる。【０１１３】
上記一連の処理の完了時には、Ｈ．２６４デコーダ１００によりデコードされたデータは全て外部メモリ１０７に格納されていることになる。つまり、当該ピクチャを構成するデコード済データは全て外部メモリ１０７に格納されていることになる。【０１１４】
このように、デコード処理が完了し外部メモリ１０７に書き出されたデコード済ピクチャのデータは第二転送部１０２により内部メモリ１０６に転送される（Ｓ３１１）。この転送の後、Ｈ．２６４デコーダ１００は、所定のタイミングで次のピクチャデコードを開始する。【０１１５】
その後、例えばユーザにより当該動画像データの再生を終了する指示があるまで、または、当該動画像データ全体のデコード処理が終了するまで、上記処理が繰り返される。【０１１６】
図５は、実施の形態１の動画像復号化装置１０における復号処理のタイミングチャートの一例である。なお、図中の“＃０”等の番号は、各ピクチャを識別する番号である。【０１１７】
動画像復号化装置１０は、上述のように、デコード後にフレーム間予測に用いられるピクチャのデータを外部メモリ１０７から内部メモリ１０６にコピーする処理を繰り返し行う。【０１１８】
これにより、図５に示すように、後続ピクチャのデコード処理の際に必要なデコード済ピクチャのデータは全て内部メモリ１０６に格納されていることになる。【０１１９】
従って、動画像復号化装置１０は、後続ピクチャのデコードを行う際、内部メモリ１０６へのアクセスのみでフレーム間予測を実行することが可能である。【０１２０】
なお、デコード済みのピクチャ＃４が内部メモリ１０６に転送される前に、ピクチャ＃０〜ピクチャ＃３のうちの、その後に参照されない１以上のピクチャが削除される。【０１２１】
また、外部メモリ１０７から内部メモリ１０６へのデータ転送処理はデコード処理が停止した状態で行われる。つまり、従来のように、デコード処理の期間中にデコード済のデータが内部メモリ１０６に転送されることはない。そのため、内部メモリ１０６の容量は、フレーム間予測を行うために必要な最低限のデータのみを格納できる容量で済む。【０１２２】
なお、Ｈ．２６４の規格においては、デコーダの能力および符号化されたビットストリームの複雑さ等を規定するものとしてレベルが定められている。またレベルごとに、規格で定められた符号化処理の要素技術である符号化ツールのうち、どの範囲までをサポートするかが規定されている。【０１２３】
具体的にはフルハイビジョンテレビおよびＢｌｕ−ｒａｙディスクなどの光ディスクでサポートされる１９２０画素×１０８０画素の動画ストリームをサポートするレベルにおいては、Ｈ．２６４の規格上、フレーム間予測で参照可能なデコード済ピクチャは最大でもピクチャ４枚分であると規定されている。【０１２４】
例えば、実施の形態１の動画像復号化装置１０が、当該動画ストリームをデコードの対象とする場合、内部メモリ１０６の容量を、規格で規定されるピクチャ４枚分の容量とすることが可能である。【０１２５】
以上説明したように、実施の形態１の動画像復号化装置１０は、繰り返し行われるデコード処理の停止期間に、以降のフレーム間予測で用いられる参照ピクチャを外部メモリ１０７から内部メモリ１０６に転送する。【０１２６】
つまり、動画像復号化装置１０では、１つの符号化ピクチャに対するデコード処理の期間中には、内部メモリ１０６へのデータ転送は発生せず、外部メモリ１０７へのデータ転送のみが行われる。その後、当該デコード処理が完了すると、次のデコード処理の開始までの間に、当該デコード済ピクチャのデータが外部メモリ１０７から内部メモリ１０６にコピーされる。【０１２７】
これにより、従来の動画像復号化装置のように内部メモリと外部メモリとに同時にデコード中のデータを書き込む場合に比べて、内部メモリの容量をピクチャ１枚分削減することができる。【０１２８】
具体的には、本実施の形態の動画像復号化装置１０であれば、図５に示すように、例えばピクチャ＃４に対するデコード処理中に内部メモリ１０６に存在するデータは、ピクチャ＃０〜ピクチャ＃３の４枚分のデータである。つまり、内部メモリ１０６は、ピクチャ４枚分の容量があれば足りる。【０１２９】
しかし、従来の動画像復号化装置であれば、ピクチャ＃４に対するデコード処理中に、デコードが終わったＭＢのデータが内部メモリに順次書き込まれることになる。そのため、内部メモリにはピクチャ５枚分の容量が必要である。このような必要容量の差異は、他のピクチャのデコード処理の期間においても同様に発生する。【０１３０】
このように、本実施の形態の動画像復号化装置１０は、復号に必要な記憶容量、具体的には内部メモリに必要な容量を増加させることがない。【０１３１】
また、復号処理の停止期間、つまり、第一転送部１０１による外部メモリ１０７へのデータ転送が行われない期間に、外部メモリ１０７から内部メモリ１０６へのデコード済ピクチャの転送が行われる。そのため、動画像復号化装置１０のデータ転送に係る処理負荷を不要に増大させることがない。【０１３２】
このように、実施の形態１の動画像復号化装置１０では、全ての参照ピクチャが内部メモリ１０６から取得可能であることにより、復号処理の迅速性は担保される。【０１３３】
さらに、外部メモリ１０７にのみ書き出したデコード済ピクチャを、その後のデコード処理におけるフレーム間予測に必要なタイミングで内部メモリ１０６へ転送することにより、従来よりも内部メモリ１０６の必要容量を削減することができる。【０１３４】
なお、本実施の形態においては、デコード済ピクチャは全て外部メモリ１０７から内部メモリ１０６にコピーされるとした。【０１３５】
この、複数のデコード済ピクチャの外部メモリ１０７から内部メモリ１０６へのコピーに際し、コピーを行う直前のデコードの終了前にすでに内部メモリ１０６に格納されているピクチャのデータから順にコピーしてもよい。【０１３６】
また、デコード順において直前にデコードが終了したピクチャのデータから順にコピーしてもよい。【０１３７】
つまり、ある１枚の符号化ピクチャのデコードの開始前に、そのデコード処理で参照される可能性のある全ての復号済みピクチャが内部メモリ１０６に格納されていればよい。【０１３８】
また、この格納の順番は特定のものに限定されるものではない。また、デコード処理の一回の停止期間に複数のデコード済ピクチャを外部メモリ１０７から内部メモリ１０６に転送してもよい。【０１３９】
本実施の形態のように、停止期間ごとに、直前のデコード処理による１枚のデコード済ピクチャのみを外部メモリ１０７から内部メモリ１０６にコピーすることで、外部メモリ１０７から内部メモリ１０６への一回あたりのデータ転送量をより少なくすることができる。【０１４０】
また、本実施の形態においては、図１に示すように、第一転送部１０１、第二転送部１０２、第三転送部１０３、および符号化データ供給部１０５のそれぞれが別の機能ブロックとして動画像復号化装置１０に備えられている。【０１４１】
しかしながら、これらは内部メモリ１０６および外部メモリ１０７等の構成要素の間でデータを転送する手段である。そのため、それぞれが果たす機能を時分割で行う単一の機能ブロックとして実現されてもよい。または複数の機能を並列に実行可能な単一の機能ブロックとして実現されてもよい。【０１４２】
（実施の形態２）
図６は、本発明の実施の形態２における動画像復号化装置２０の主要な機能構成を示す機能ブロック図である。【０１４３】
図６を用いて実施の形態２における動画像復号化装置２０の構成について説明する。【０１４４】
図６に示すように、動画像復号化装置２０は、実施の形態１における動画像復号化装置１０が備える構成要素に加えて判断部６０７を備えている。【０１４５】
すなわち、動画像復号化装置２０は、複数の機能が集積されたシステムＬＳＩ６０と、システムＬＳＩ６０の外部に配置された外部メモリ６０８とを備える。【０１４６】
システムＬＳＩ６０は、Ｈ．２６４デコーダ６００、第一転送部６０１、第二転送部６０２、第三転送部６０３、出画部６０４、符号化データ供給部６０５、およびフレーム間予測に用いる内部メモリ６０６を有し、さらに、判断部６０７を有する。【０１４７】
判断部６０７は、複数の復号済ピクチャのそれぞれが、符号化ピクチャの復号の際に参照されるか否かを判断する処理部である。つまり、判断部６０７は、後続のピクチャが参照するピクチャを検出する役割を担う。【０１４８】
具体的には、判断部６０７は、符号化ピクチャをデコードする際に得られるピクチャヘッダに含まれる情報から当該判断を行う。判断の具体例については図８を用いて後述する。【０１４９】
それ以外のそれぞれの構成要素の役割については、実施の形態１と同様であり説明を省略する。【０１５０】
次に図７〜図９を用いて、実施の形態２における動画像復号化装置２０の動作を説明する。【０１５１】
図７は、実施の形態２における動画像復号化装置２０の処理の流れを示すフローチャートである。【０１５２】
図７に示すように、実施の形態２における動画像復号化装置２０の基本的な処理の流れは図３に示す実施の形態２における動画像復号化装置２０の処理の流れと同じである。【０１５３】
すなわち、図７における、ピクチャデコード開始待ち（Ｓ７００）から、デコードしたＭＢがピクチャの終端のＭＢであるかどうかの判定（Ｓ７１０）までの処理は、図３における各処理（Ｓ３００〜Ｓ３１０）に対応する。【０１５４】
しかし、実施の形態２における動画像復号化装置２０は、デコードしたＭＢがピクチャの終端のＭＢである場合（Ｓ７１０でＹｅｓ）、判断部６０７が、デコード済ピクチャのデータがフレーム間予測に用いられるか否かを判断する。【０１５５】
この判断の結果、フレーム間予測に用いられると判断されたデコード済ピクチャのみが、外部メモリ６０８から内部メモリ６０６へ転送される。【０１５６】
これにより、外部メモリ６０８から内部メモリ６０６へのデータ転送量が削減される。【０１５７】
判断部６０７による、参照ピクチャの特定に係る処理の具体例を、図８および図９を用いて説明する。【０１５８】
図８は、連続するピクチャシーケンスの一例を示す図である。なお、以下の説明では、Ｈ．２６４のデコード処理における参照ピクチャの判断方法の一例を示している。【０１５９】
図８に示すそれぞれのピクチャを示す記号について説明する。Ｉ、Ｐ、Ｂとそれぞれ書かれているのはピクチャの種類を示す記号である。Ｉで示されるピクチャ（Ｉピクチャ）はフレーム内予測のみが符号化ツールとして用いられているピクチャであり、デコード済みの他のピクチャのデータを用いることなくデコードが可能なピクチャである。【０１６０】
Ｐで示されるピクチャ（Ｐピクチャ）は、デコード済ピクチャのデータを用いてフレーム間予測を行うピクチャであり、参照するピクチャは１枚のみであるという制限がある。【０１６１】
Ｂで示されるピクチャ（Ｂピクチャ）はＰピクチャと同様にフレーム間予測を行うピクチャであるが、２枚同時にピクチャを参照することが可能である。【０１６２】
なおＩ、ＰおよびＢに添えられた数字は符号化される順序を示す。この符号化される順序に従って符号化ストリームが構成されていくことから、この順序は復号化の順序とも一致することになる。【０１６３】
しかし一方で出画する順序はＩ0、Ｂ3、Ｂ2、Ｂ4、Ｐ1となることから、復号化したあと出画する際には、所定の手順による並べ替えが必要になることが明らかであろう。【０１６４】
図８に示す例においては、たとえばＰ1ピクチャはＩ0ピクチャを参照している。またＢ2ピクチャはＩ0とＰ1とを参照している。またＢ3ピクチャはＩ0とＢ2とを参照し、Ｂ４はＢ2とＰ1とを参照している。【０１６５】
このようなピクチャ間の参照関係を持つストリームの場合、たとえばＢ3とＢ4は他のピクチャのデコードの際にフレーム間予測のために参照されない非参照ピクチャである。このようなピクチャはデコード後に参照されることがないため、判断部６０７はこれらのピクチャを参照ピクチャではないと判断する。【０１６６】
具体的には、各ピクチャのピクチャヘッダには、どのピクチャを参照用として残しておくべきか、および、どのピクチャを参照するかを示す情報が含まれている。判断部６０７は、例えばこの情報をＨ．２６４デコーダ６００から受け取り、各ピクチャについて、参照ピクチャであるか否かの判断をすることができる。【０１６７】
この判断の結果、本実施の形態の動画像復号化装置２０は、外部メモリ６０８に格納されたＢ3およびＢ4のピクチャのデータを内部メモリ６０６にコピーすることはない。【０１６８】
図９は、ピクチャの符号化順序と表示順序との対応関係を示す図である。【０１６９】
なお、図９は、図８に示す参照関係にある複数のピクチャの符号化順序と表示順序との対応関係を示している。【０１７０】
図９に示すように、まず、フレーム内予測のみが用いられるＩ0ピクチャのデコードが行われ、その後に、Ｉ0ピクチャを参照してフレーム間予測を行うＰ1ピクチャのデコードが行われる。【０１７１】
また、Ｂ2ピクチャのデコードは、Ｉ0ピクチャとＰ1ピクチャとを参照して行われるため、Ｉ0ピクチャとＰ1ピクチャのデコードの次に行われることがわかる。【０１７２】
これらのピクチャ復号順と表示順序との関係は、上述のピクチャの先頭に格納されているピクチャヘッダに含まれる情報から判断することが可能である。【０１７３】
ここまでにデコードが行われたＩ0、Ｐ1、およびＢ2の各ピクチャは、フレーム間予測の際に参照されるピクチャである。【０１７４】
したがって本構成においては、Ｉ0ピクチャのデコードが終了して外部メモリ６０８に書き込まれた後、Ｐ1ピクチャのデコードを開始する前に、Ｉ0のデータは外部メモリ６０８から内部メモリ６０６に第二転送部６０２により転送される。【０１７５】
またＰ1のピクチャデコードが完了すると、Ｂ2のデコード開始前に同様にＰ1のデータが外部メモリ６０８から内部メモリ６０６に転送されることになる。【０１７６】
一方、Ｂ3のデコードにはＩ0とＢ2のデータが参照ピクチャとして用いられ、Ｂ4のデコードには、Ｂ2とＰ1のデータがそれぞれ参照ピクチャとして用いられるが、Ｂ3およびＢ4は以降のフレーム間予測に使用されないことが判断部６０７によって判断される。そのため、これらのデコード済ピクチャのデータは内部メモリ６０６に転送されることはない。【０１７７】
このように、実施の形態２における動画像復号化装置２０では、判断部６０７によって必要なデータのみが内部メモリ６０６に格納された状態でデコードを進めていくことが可能である。またこのような手順を経ることによって、復号化順序と表示順序の関係は図９のようになる。【０１７８】
以上説明したように、実施の形態２の動画像復号化装置２０は、判断部６０７を備えることにより、デコード済ピクチャについて、外部メモリ６０８から第二転送部６０２を通じて内部メモリ６０６にコピーすべきか否かが判断される。そのため、その後に実際にフレーム間予測に用いられるデコード済ピクチャのデータのみを内部メモリ６０６にコピーすることが可能になり、転送にかかるデータ量を削減することができる。【０１７９】
ここで、上述のように、Ｈ．２６４の規格では、デコーダの能力等を規定するレベルが定められており、規格で定められた符号化ツールのうち、レベルごとにどの範囲までをサポートするかを規定している。【０１８０】
具体的には、上述のように、フルハイビジョンテレビおよびＢｌｕ−ｒａｙディスクなどの光ディスクでサポートされる１９２０画素×１０８０画素の動画ストリームをサポートするレベルにおいては、フレーム間予測に用いられるデコード済ピクチャは最大でもピクチャ４枚分であると規定されている。【０１８１】
例えば、実施の形態２の動画像復号化装置２０が、当該動画ストリームを復号化の対象とする場合、内部メモリ６０６のサイズは規格で規定されるピクチャ４枚分の容量そのものでよい。【０１８２】
なお、判断部６０７が有する、各ピクチャが参照されるか否かを判断する機能は、例えば、Ｈ．２６４デコーダ６００が備えていてもよい。この場合、Ｈ．２６４デコーダ６００が第二転送部６０２に指示し、参照されるデコード済ピクチャのみを、外部メモリ６０８から内部メモリ６０６に転送させればよい。【０１８３】
（実施の形態３）
図１０は、本発明の実施の形態３における動画像復号化装置３０の主要な機能構成を示す機能ブロック図である。【０１８４】
以下、図１０を用いて実施の形態３における動画像復号化装置３０の構成について説明する。【０１８５】
図１０に示すように、動画像復号化装置３０は、実施の形態２における動画像復号化装置２０と同様の構成である。【０１８６】
すなわち、動画像復号化装置３０は、複数の機能が集積されたシステムＬＳＩ７０と、システムＬＳＩ７０の外部に配置された外部メモリ９０８とを備える。【０１８７】
システムＬＳＩ７０は、Ｈ．２６４デコーダ９００、第一転送部９０１、第二転送部９０２、第三転送部９０３、出画部９０４、符号化データ供給部９０５、フレーム間予測に用いる内部メモリ９０６を有し、さらに、判断部９０７を有する。【０１８８】
このように、実施の形態３における動画像復号化装置３０は、構成としては実施の形態２における動画像復号化装置２０と同じ構成である。【０１８９】
しかし、実施の形態３における動画像復号化装置３０は、第二転送部９０２が、内部メモリ９０６から外部メモリ９０８へデコード済ピクチャを転送する点で実施の形態１における動画像復号化装置１０および実施の形態２における動画像復号化装置２０とは異なる。【０１９０】
実施の形態３における動画像復号化装置３０は、この特徴により、外部メモリ９０８の容量を削減することが可能である。【０１９１】
なお、それぞれの構成要素の基本的な役割は実施の形態１および実施の形態２と共通であるため、説明を省略する。【０１９２】
次に、図１１を用いて、実施の形態３における動画像復号化装置３０の動作を説明する。【０１９３】
図１１は、実施の形態３における動画像復号化装置３０の処理の流れを示すフローチャートである。【０１９４】
まずＨ．２６４デコーダ９００は初期状態として、ピクチャデコード処理の開始待ち状態（Ｓ１０００）にある。【０１９５】
この状態において例えばユーザの指示に基づいて、ピクチャデコードが開始されると、Ｈ．２６４デコーダ９００は、ピクチャヘッダをデコードする（Ｓ１００１）。【０１９６】
判断部９０７は、デコードされたピクチャヘッダに含まれる情報から当該ピクチャがフレーム間予測に用いられるピクチャであるかどうかを判断する（Ｓ１００２）。【０１９７】
当該ピクチャがフレーム間予測に用いられないものであった場合（Ｓ１００２でＮｏ）、Ｈ．２６４デコーダ９００は、続けてスライスヘッダのデコード処理を行う（Ｓ１００４）。【０１９８】
一方、当該ピクチャがフレーム間予測に用いられるピクチャであった場合（Ｓ１００２でＹｅｓ）、以降の処理でこのピクチャのデコード結果が内部メモリ９０６にのみ書き込まれることになる。【０１９９】
この場合、当該ピクチャのデコード後、後続のピクチャをデコードする際に出画するタイミングにあるデータは、この時点では内部メモリ９０６に格納されている。そこで、このデータを出画のために外部メモリ９０８に転送するために、第二転送部９０２による転送処理が開始される（Ｓ１００３）。【０２００】
次にスライスヘッダのデコード処理（Ｓ１００４）、およびマクロブロックヘッダのデコード処理（Ｓ１００５）が行われる。【０２０１】
その後、デコード中のＭＢがフレーム間予測を行うＭＢであるか否かの判断が行われる（Ｓ１００６）。フレーム間予測を行うＭＢであった場合（Ｓ１００６でＹｅｓ）、Ｈ．２６４デコーダ９００は、デコード済ピクチャのデータを第三転送部９０３を用いて内部メモリ９０６から取得する。さらに、取得したデコード済ピクチャのデータを用いてフレーム間予測処理が行われる（Ｓ１００８）。【０２０２】
また、フレーム間予測が行われないＭＢであった場合（Ｓ１００６でＮｏ）、フレーム内予測処理が行われる（Ｓ１００９）。【０２０３】
フレーム間予測（Ｓ１００８）またはフレーム内予測（Ｓ１００９）を用いてデコードされたＭＢは、内部メモリ９０６または外部メモリ９０８のいずれか一方に書き出される。【０２０４】
具体的には、当該ピクチャがフレーム間予測のために後続のピクチャに参照されるか否かの判断（Ｓ１０１０）の結果に応じて出力先が決定される。【０２０５】
判断部９０７により、当該ピクチャが後続のピクチャに参照されるピクチャであると判断された場合（Ｓ１０１０でＹｅｓ）、当該デコード済みのＭＢは、第三転送部９０３を用いて内部メモリ９０６に転送される（Ｓ１０１２）。【０２０６】
判断部９０７により、当該ピクチャが後続のピクチャに参照されないピクチャであると判断された場合（Ｓ１０１０でＮｏ）、当該デコード済みのＭＢは、第一転送部９０１を用いて外部メモリ９０８に直接書き出される（Ｓ１０１１）。【０２０７】
ＭＢのデコードが完了すると、当該ＭＢが、当該ＭＢが属するスライスの終端のＭＢであるか否かが判定される（Ｓ１０１３）。当該ＭＢがスライスの終端のＭＢではない場合（Ｓ１０１３でＮｏ）、次のＭＢのデコード処理に移行する。【０２０８】
また、当該ＭＢがスライスの終端のＭＢである場合（Ｓ１０１３でＹｅｓ）、続いて当該ＭＢがピクチャの終端のＭＢであるかどうかが判定される（Ｓ１０１４）。【０２０９】
当該ＭＢがピクチャの終端のＭＢではない場合（Ｓ１０１４でＮｏ）、次のスライスのデコード処理に移行する。【０２１０】
また、当該ＭＢがピクチャの終端のＭＢである場合（Ｓ１０１４でＹｅｓ）、データ転送の完了確認（Ｓ１０１５）に移行する。【０２１１】
具体的には、当該ピクチャに属するＭＢのデコードがすべて完了した後に、内部メモリ９０６から外部メモリ９０８への出画用データの転送（Ｓ１００３）など、各転送部によるデータ転送がすべて終わっているかどうかが判定される（Ｓ１０１５）。【０２１２】
なお、この判定は、例えばＨ．２６４デコーダ９００が各転送部と通信することで行われる。【０２１３】
転送が完了していなければ（Ｓ１０１５でＮｏ）、転送が完了（Ｓ１０１５でＹｅｓ）するまで待って、次のピクチャのデコード処理に移行する。【０２１４】
動画像復号化装置３０は、以上の手順を踏むことにより、デコード処理においてフレーム間予測に用いられるデータがすべて内部メモリ９０６に格納されている状態で次のピクチャのデコードを開始することができる。【０２１５】
これにより、フレーム間予測のために外部メモリ９０８にアクセスをすることなくデコード動作を行うことが可能となり、高速な外部メモリ９０８は不要である。【０２１６】
また外部メモリ９０８に書き込まれるデータは現在出画されているピクチャの次に出画される予定のピクチャのデータである。そのためデコード済ピクチャのデータを格納するために外部メモリ９０８に必要な容量はピクチャ２枚分だけで済むことになる。【０２１７】
（実施の形態１〜３の補足事項）
実施の形態１〜３のいずれにおいてもＨ．２６４の復号処理に関して説明した。しかしながら、本発明は複数のフレームを参照して動画像データの符号化を行う動画像符号化規格のいずれにも適用することができる。【０２１８】
また、本発明を、例えば符号化された動画像データを再生する再生装置に適用することもできる。【０２１９】
図１２は、本発明を用いた集積回路を含む符号化画像の再生装置１０００の構成図である。【０２２０】
なお、図１２では、実施の形態１の動画像復号化装置１０が再生装置１０００に含まれる構成を示しているが、動画像復号化装置１０に換えて動画像復号化装置２０または動画像復号化装置３０が再生装置１０００に含まれていてもよい。【０２２１】
図１２に示すように、再生装置１０００は、回路基板１１００と、表示部１１０５とを備える。【０２２２】
回路基板１１００は、システムＬＳＩ５０と外部メモリ１０７とを有する動画像復号化装置１０と、ストリーム入力部１１１０と、外部出力部１１１１とを備える。【０２２３】
システムＬＳＩ５０は複数の機能が集積された一つのＬＳＩであり、機能的な構成は実施の形態１で説明した通りである。【０２２４】
ストリーム入力部１１１０は、本発明の再生装置における入力手段の一例であり、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナ、およびＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークなどからの入力信号を受けて符号化ストリームを取り出し、動画像復号化装置１０に供給する処理部である。【０２２５】
具体的には、ストリーム入力部１１１０により取り出された符号化ストリームは外部メモリ１０７に書き込まれる。外部メモリ１０７に書き込まれた符号化ストリームは、実施の形態１の処理フロー（図３参照）と同様にシステムＬＳＩ５０に入力されデコードされた後、第一転送部１０１を通じて外部メモリ１０７に書き込まれる。【０２２６】
なおストリーム入力部１１１０は、図１２においては、回路基板１１００上に実装された別回路として記載されている。しかし、ストリーム入力部１１１０は、システムＬＳＩ５０の内部に含まれていたり、あるいは別の回路基板に実装されて回路基板１１００に接続されていたりしてもかまわない。【０２２７】
また、ストリーム入力部１１１０は、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナ、およびＩＰネットワークなどの外部入力に対して、別々の回路で構成されていてかまわない。【０２２８】
外部メモリ１０７に書き込まれたデコード済ピクチャのデータは、出画部１０４を通じて、表示部１１０５の表示処理を司る外部出力部１１１１に入力される。外部出力部１１１１は、当該ピクチャのデータを表示部１１０５に出力する。これにより、当該ピクチャは表示部１１０５に表示される。【０２２９】
なお外部出力部１１１１は、図１２においては、回路基板１１００上に実装された別回路として記載されている。しかし、ストリーム入力部１１１０は、システムＬＳＩ５０の内部に含まれていたり、あるいは別の回路基板に実装されて回路基板１１００に接続されていたりしてもかまわない。【０２３０】
このような構成を有し、符号化画像を再生する再生装置１０００によれば、より少ない内部メモリを有する集積回路で符号化画像の再生が可能である。【０２３１】
また、このような再生装置１０００は、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナなどのデバイスから入力される符号化ストリームを再生するさまざまな機器への応用が可能である。【０２３２】
なお、全ての実施の形態における、Ｈ．２６４デコーダや転送部、符号化データ供給部、出画部などの各機能ブロックは、典型的には集積回路であるＬＳＩとして実現されるが、これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。【０２３３】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０２３４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０２３５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
【産業上の利用可能性】
【０２３６】
本発明は、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置を提供することができる。従って、本発明の動画像復号化装置は、デジタルスチルカメラ、デジタルビデオカメラ、ＤＶＤまたはＢｌｕ−ｒａｙディスクプレーヤー、デジタルテレビ、デジタルテレビの受信機、カーナビゲーションシステム、インターネットに接続されるセットトップボックスなどへの応用が可能である。
【図１】
2008146455.tif 000003
【図２】
2008146455.tif 000004
【図３】
2008146455.tif 000005
【図４】
2008146455.tif 000006
【図５】
2008146455.tif 000007
【図６】
2008146455.tif 000008
【図７】
2008146455.tif 000009
【図８】
2008146455.tif 000010
【図９】
2008146455.tif 000011
【図１０】
2008146455.tif 000012
【図１１】
2008146455.tif 000013
【図１２】
2008146455.tif 000014
【手続補正書】
【提出日】平成20年9月5日(2008.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段と
を備える動画像復号化装置。
【請求項２】
前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、
前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始する
請求項１記載の動画像復号化装置。
【請求項３】
前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送する
請求項２記載の動画像復号化装置。
【請求項４】
さらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、
前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する
請求項１記載の動画像復号化装置。
【請求項５】
前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送する
請求項４記載の動画像復号化装置。
【請求項６】
前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されている
請求項１記載の動画像復号化装置。
【請求項７】
前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、
前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、
前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号する
請求項１記載の動画像復号化装置。
【請求項８】
動画像データを再生する再生装置であって、
請求項１記載の動画像復号化装置と、
前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、
前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段と
を備える再生装置。
【請求項９】
（削除）
【請求項１０】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化方法であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化ステップと、
前記復号化ステップにおいて得られる復号済ピクチャを外部出力のために第一記憶手段に保持させる第一記憶ステップと、
前記復号化ステップにおける１枚の符号化ピクチャの復号開始前に前記復号化ステップにおけるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャが第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送ステップとを含み、
前記復号化ステップでは、前記第二記憶手段に記憶されている前記ｎ枚の復号済ピクチャを参照して前記１枚の符号化ピクチャを復号する
動画像復号化方法。
【請求項１１】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置に用いられる集積回路であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを前記集積回路の外部の第一記憶手段に転送する第一転送手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する第二転送手段と
を備える集積回路。
【手続補正書】
【提出日】平成20年12月19日(2008.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段と
を備える動画像復号化装置。
【請求項２】
前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、
前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始する
請求項１記載の動画像復号化装置。
【請求項３】
前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送する
請求項２記載の動画像復号化装置。
【請求項４】
さらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、
前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する
請求項１記載の動画像復号化装置。
【請求項５】
前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送する
請求項４記載の動画像復号化装置。
【請求項６】
前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されている
請求項１記載の動画像復号化装置。
【請求項７】
前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、
前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、
前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号する
請求項１記載の動画像復号化装置。
【請求項８】
動画像データを再生する再生装置であって、
請求項１記載の動画像復号化装置と、
前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、
前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段と
を備える再生装置。
【請求項９】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化方法であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化ステップと、
前記復号化ステップにおいて得られる復号済ピクチャを外部出力のために第一記憶手段に保持させる第一記憶ステップと、
前記復号化ステップにおける１枚の符号化ピクチャの復号開始前に前記復号化ステップにおけるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャが第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送ステップとを含み、
前記復号化ステップでは、前記第二記憶手段に記憶されている前記ｎ枚の復号済ピクチャを参照して前記１枚の符号化ピクチャを復号する
動画像復号化方法。
【請求項１０】
最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置に用いられる集積回路であって、
前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、
前記復号化手段により得られる復号済ピクチャを前記集積回路の外部の第一記憶手段に転送する第一転送手段と、
前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、
前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する第二転送手段と
を備える集積回路。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測を行なう符号化規格で符号化された符号化ピクチャを復号する動画像復号化装置および動画像復号化方法に関する。
【背景技術】
【０００２】
従来、動画像データに対するフレーム間差分を用いた圧縮符号化（以下、単に「符号化」と呼ぶ）技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）符号化技術がある（非特許文献１参照）。また、近年ではさらに高圧縮を実現するＨ．２６４（非特許文献２参照）が符号化規格として採用されてきている。
【０００３】
また、動画像データに対する符号化および復号化の要素技術であるフレーム間予測では、デコード済みのピクチャの情報を用いて画素値の予測を行なうため、デコード済みのピクチャを格納するメモリが必要となる。従来は必要な記憶容量やチップ面積の関係からこのメモリを、デコード部等を含むシステムＬＳＩの外部に置いていた（特許文献１参照）。
【０００４】
外部のメモリに格納されるピクチャは、デコード中のピクチャ、デコード中のピクチャが参照する可能性のあるピクチャ、および、表示部へ出力されるピクチャ、これら全てである。
【０００５】
このため、デコード中のピクチャを外部のメモリに書き込む処理の他に、デコード済みのピクチャをフレーム間予測のために外部のメモリからデコード部へ逐次読み込む、などの動作が必要となる。
【０００６】
特に、後者のフレーム間予測のためにデコード済みのピクチャを逐次読み込む処理においては、データの転送頻度および転送量が非常に大きい。そのため、外部メモリのアクセスバンド幅の増大を招き、外部メモリとして高速なメモリが必要となるためコストが高くなるという問題点があった。
【０００７】
これに対し近年、システムＬＳＩ内蔵の大容量メモリ（Ｅｍｂｅｄｄｅｄ  ＤＲＡＭ）の実用化が進み、外部のメモリだけでなく、内部のメモリを活用して外部のメモリアクセスを削減する技術が開発されている。
【０００８】
特許文献２には、ＭＰＥＧの符号化処理において、動き探索処理用に用いるデータは内部及び外部のメモリ両方に書き込み、必要なデータを広帯域な内部メモリに配置することで、動き探索処理の処理効率を高める技術が開示されている（特許文献２参照）。
【特許文献１】特開２００４−２１５０４９号公報
【特許文献２】特開２００２−２１８４７４号公報
【非特許文献１】ＩＴＵ−Ｔ勧告  Ｈ．２６２  「Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒ  ｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  Ｖｉｄｅｏ」
【非特許文献２】ＩＴＵ−Ｔ勧告  Ｈ．２６４「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記特許文献２では、エンコード処理において、参照ピクチャが格納されるフレームメモリを内部に持つ場合の構成について述べている。
【００１０】
このような構成をデコード処理に適応した場合、Ｈ．２６４規格においては、デコード済みのデータ、すなわちフレーム間予測に必要なピクチャのデータを、フレーム間予測に用いるために内部メモリに書き込み、これと同時に、ディスプレイ等の外部の装置に出力するために外部メモリに書き込むことになる。
【００１１】
この場合、内部メモリにはデコード中のピクチャとデコード中のピクチャが必要とする参照可能なピクチャとが記憶されるため、内部メモリに必要な容量が増加してしまうという課題がある。
【００１２】
本発明は、上記従来の課題を考慮し、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記従来の課題を解決するために、本発明の動画像復号化装置は、最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能な第二記憶手段と、前記復号化手段による１枚の符号化ピクチャの復号開始前に前記ｎ枚の復号済ピクチャが前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送する転送手段とを備える。
【００１４】
この構成により、復号化手段が参照する最大ｎ枚の復号済ピクチャは、当該復号の前に、第一記憶手段から、復号化手段がフレーム間予測を行う際の参照先である第二記憶手段に転送される。
【００１５】
従って、従来のように、ある符号化ピクチャの復号中に当該復号結果のデータを第二記憶手段に蓄積していく必要がない。
【００１６】
すなわち、本発明の動画像復号化装置では、復号対象の符号化ピクチャが参照可能な復号済ピクチャのみを、フレーム間予測の際の参照先である第二記憶手段に記憶させることができる。これにより、第二記憶手段の必要容量が増大することを防ぐことができる。
【００１７】
具体的には、第二記憶手段の容量を、ｎ枚の復号済ピクチャを格納できるだけの容量とすることができる。
【００１８】
また、復号手段は、第二記憶手段にのみアクセスすれば、全ての参照すべき復号済ピクチャを取得することが可能である。そのため、効率よく復号処理を行うことができる。
【００１９】
例えば、復号化手段を集積回路の一つの機能として実現する場合、当該集積回路が有する内部メモリの容量を増加させることなく、当該内部メモリを第二記憶手段として使用することが可能である。これにより、フレーム間予測を伴う復号化処理を高速に実行することが可能となる。
【００２０】
また、前記第一記憶手段は、前記復号化手段が符号化ピクチャを復号している間に、前記復号化手段から得られる復号済データを順次蓄積していくことにより前記符号化ピクチャの復号結果である復号済ピクチャを構成する全てのデータを保持し、前記転送手段は、前記１枚の符号化ピクチャの復号開始前であって、復号順において前記１枚の符号化ピクチャの一つ前の符号化ピクチャの復号の終了後に、前記ｎ枚の復号済ピクチャのうちの１枚の復号済ピクチャの転送を開始するとしてもよい。
【００２１】
この構成により、復号処理が行われていない期間、すなわち、復号化手段から第一記憶手段への復号済みのデータの転送が行われていない期間に、復号済ピクチャを第二記憶手段に転送することが可能となる。そのため、動画像復号化装置を効率よく動作させることができる。
【００２２】
また、前記転送手段は、前記転送において、前記ｎ枚の復号済ピクチャのうちの１枚である、前記一つ前の符号化ピクチャの復号結果である復号済ピクチャを前記第一記憶手段から前記第二記憶手段へ転送するとしてもよい。
【００２３】
このように、あるピクチャの復号の終了後、当該復号後のピクチャのデータのみを第一記憶手段から第二記憶手段に転送することで、第一記憶手段から第二記憶手段へのデータ転送量をより少なくすることができる。
【００２４】
また、本発明の動画像復号化装置はさらに、複数の復号済ピクチャのそれぞれが、前記１枚の符号化ピクチャの復号の際に参照されるか否かを判断する判断手段を備え、前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャが、前記１枚の符号化ピクチャの復号開始前に前記第二記憶手段に格納されているように、前記第一記憶手段から前記第二記憶手段に復号済ピクチャを転送するとしてもよい。
【００２５】
この構成により、実際に参照される復号済ピクチャのみが第二記憶手段に格納されることになる。そのため、データ転送に係る処理負荷を低減させることができる。
【００２６】
また、前記転送手段は、前記判断手段により前記１枚の符号化ピクチャの復号の際に参照されると判断されたｎ枚の復号済ピクチャのうち、前記第二記憶手段に格納されていない復号済ピクチャのみを、前記第一記憶手段から前記第二記憶手段に転送するとしてもよい。
【００２７】
この構成により、転送手段は、既に第二記憶手段に格納済みの復号済ピクチャを、第一記憶手段から第二記憶手段に転送することがない。つまり、データ転送に係る処理効率が向上する。
【００２８】
また、前記復号化手段と前記第二記憶手段とは一つの集積回路に含まれており、前記第一記憶手段は、前記集積回路の外部に配置されているとしてもよい。
【００２９】
この構成により、集積回路の内部メモリを第二記憶手段として用いることで高速に復号処理を行う動画像復号装置を実現できる。
【００３０】
また、前記動画像データが有する符号化ピクチャは、前記符号化方式により符号化された１９２０画素×１０８０画素のピクチャのデータであり、前記符号化方式は、Ｈ．２６４の規格で定められた最大４枚のピクチャを参照してフレーム間予測を行う符号化方式であり、前記復号化手段は、前記第一記憶手段から前記第二記憶手段に転送された４枚の復号済ピクチャのうちの１枚以上の復号済ピクチャを参照して前記符号化ピクチャを復号するとしてもよい。
【００３１】
この構成により、Ｈ．２６４の規格に従い高効率で圧縮符号化された動画像データを復号する装置であって、復号に必要な記憶容量を増加させずに適切に復号処理を行う動画像復号化装置を実現できる。
【００３２】
また、本発明の再生装置は、動画像データを再生する再生装置であって、本発明の動画像復号化装置と、前記動画像データの入力を受け付け、前記動画像復号化装置へ供給する入力手段と、前記第一記憶手段から出力される複数の復号済ピクチャを順次表示する表示手段とを備える。
【００３３】
これにより、復号に必要な記憶容量を増加させることなく効率よく動画像データを復号し再生する再生装置を実現できる。
【００３４】
また、本発明の動画像復号化装置は、最大ｎ（ｎは２以上の整数）枚のピクチャを参照してフレーム間予測を行う符号化方式により符号化された符号化ピクチャを有する動画像データを復号する動画像復号化装置であって、前記動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する復号化手段と、前記復号化手段により得られる復号済ピクチャを外部出力のために保持する第一記憶手段と、前記復号化手段によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納する第二記憶手段と、前記第二記憶手段に格納されている１枚以上の復号済ピクチャのうち、前記第一記憶手段に格納されている復号済ピクチャの次に表示されるべき復号済ピクチャを、前記第二記憶手段から前記第一記憶手段へ転送する転送手段とを備える。
【００３５】
この構成により、参照される復号済ピクチャを第二記憶手段に格納し、出画のタイミングにあわせて第二記憶手段から第一記憶手段に復号済ピクチャを転送することができる。
【００３６】
従って、各符号化ピクチャの復号化の際に第二記憶手段にアクセスするだけで参照ピクチャを取得でき、かつ、第一記憶手段に必要な容量を従来より少なくすることができる。
【００３７】
なお、本発明は、本発明の動画像復号化装置の特徴的な構成部を備える集積回路として実現することもできる。この場合、当該集積回路が有する内部メモリを第二記憶手段として使用し、当該集積回路の外部に配置された外部メモリを第一記憶手段として使用することができる。
【００３８】
さらに、本発明は、本発明の動画像復号化装置の特徴的な構成部の動作をステップとする動画像復号化方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。
【００３９】
そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。
【発明の効果】
【００４０】
本発明の動画像復号化装置は、復号対象の符号化ピクチャが参照可能なピクチャのみを、参照先の第二記憶手段に記憶させることができる。そのため、第二記憶手段の容量の増大を防ぐことができる。
【００４１】
従って、本発明は、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置および動画像復号化方法であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置および動画像復号化方法を提供することができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４３】
（実施の形態１）
図１は、本発明の実施の形態１における動画像復号化装置１０の主要な機能構成を示す機能ブロック図である。
【００４４】
以下、図１を用いて実施の形態１における動画像復号化装置１０の構成について説明する。
【００４５】
図１に示すように、実施の形態１の動画像復号化装置１０は、システムＬＳＩ５０と、システムＬＳＩ５０の外部に配置された外部メモリ１０７とを備える。
【００４６】
システムＬＳＩ５０は、Ｈ．２６４デコーダ１００、第一転送部１０１、第二転送部１０２、第三転送部１０３、出画部１０４、符号化データ供給部１０５、およびフレーム間予測に用いる内部メモリ１０６を有する。
【００４７】
つまり、これらの要素が１つのＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）に含まれることによりシステムＬＳＩ５０が構成されている。
【００４８】
外部メモリ１０７は、本発明の動画像復号化装置における第一記憶手段の一例であり、符号化ピクチャならびにデコード済みのピクチャのデータを格納するメモリである。つまり、デコード対象の符号化ピクチャを保持するとともに、Ｈ．２６４デコーダ１００により得られる復号済ピクチャを外部出力のために保持するメモリである。
【００４９】
内部メモリ１０６は、本発明の動画像復号化装置における第二記憶手段の一例であり、Ｈ．２６４デコーダ１００によるフレーム間予測の際に参照可能なｎ枚の復号済ピクチャを格納可能なメモリである。
【００５０】
なお、このｎは、符号化規格で定められる参照可能な最大枚数であり、本実施の形態においては、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）のピクチャ（１９２０画素×１０８０画素）を４枚格納することができる。
【００５１】
符号化データ供給部１０５は、外部メモリ１０７に格納されている符号化データを読み取りＨ．２６４デコーダ１００に供給する処理部である。
【００５２】
Ｈ．２６４デコーダ１００は、本発明の動画像復号化装置における復号化手段の一例であり、動画像データに含まれる符号化ピクチャを、フレーム間予測を用いて復号する処理部である。
【００５３】
具体的には、Ｈ．２６４デコーダ１００は、フレーム間予測処理アルゴリズムが用いられるＨ．２６４符号化ストリームの復号回路である。Ｈ．２６４デコーダ１００の詳細については、図２を用いて後述する。
【００５４】
第一転送部１０１は、Ｈ．２６４デコーダ１００により得られるデコード済ピクチャのデータを外部メモリ１０７に転送する処理部である。
【００５５】
なお、本明細書、および請求の範囲において“転送”とは、元の場所に情報を残したまま他の場所に当該情報を複製する“コピー”を含む広い概念で用いている。
【００５６】
第二転送部１０２は、本発明の動画像復号化装置における転送手段の一例であり、外部メモリ１０７に格納されているデコード済ピクチャのデータを内部メモリ１０６にコピーする処理部である。
【００５７】
第三転送部１０３は、内部メモリ１０６に格納されているデコード済ピクチャのデータをＨ．２６４デコーダ１００にコピーする処理部である。
【００５８】
なお、第一転送部１０１は、本発明の集積回路における第一転送手段の一例であり、第二転送部１０２は、本発明の集積回路における第二転送手段の一例である。
【００５９】
このように第一転送部１０１、第二転送部１０２および第三転送部１０３のそれぞれは、構成要素間でのデータをコピーする際に用いられる。また、内部メモリ１０６に格納されたデコード済ピクチャは、以降のピクチャのデコード時に参照される。
【００６０】
具体的には、内部メモリ１０６は、外部メモリ１０７に格納されているデコード済ピクチャのデータを第二転送部１０２から受け取ることにより、フレーム間予測処理に用いられるデコード済ピクチャのデータを格納する。
【００６１】
なお、本実施の形態においては、デコード済ピクチャは第二転送部１０２により、外部メモリ１０７から内部メモリ１０６に全てコピーされるが、この処理は、次の符号化画像のデコードが始まる前に行われる。
【００６２】
さらに、Ｈ．２６４デコーダ１００がフレーム間予測を用いたデコードをする際に、内部メモリ１０６に格納されているデータのうち、実際に参照に用いられるデータが第三転送部１０３によってＨ．２６４デコーダ１００にコピーされる。
【００６３】
出画部１０４は、外部メモリ１０７に格納されているデコード済ピクチャのデータを読み取って、外部ディスプレイに出力する処理部である。これにより、動画像復号化装置１０に接続された外部ディスプレイにデコード済ピクチャが表示される。
【００６４】
次に、図２を用いてＨ．２６４デコーダ１００の構成を説明する。
【００６５】
図２は、Ｈ．２６４デコーダ１００の主要な機能構成を示す機能ブロック図である。
【００６６】
図２に示すように、Ｈ．２６４デコーダ１００は、符号化ストリームを格納する符号化ストリームバッファ２００、可変長復号部２０１、逆量子化部２０２、フレーム間予測部２０３、フレーム内予測部２０４、デブロッキングフィルタ部２０５、およびデコード済ピクチャを書き出す復号化画像バッファ２０６を有する。
【００６７】
符号化ストリームバッファ２００は、入力される動画像データを一時的に保持するバッファである。具体的にはＨ．２６４の符号化ストリームが符号化ストリームバッファ２００に入力される。
【００６８】
可変長復号部２０１は、入力された符号化ストリームに対し可変長復号処理を施す処理部である。逆量子化部２０２は、可変長復号部２０１から得られるデータに対し逆量子化処理および逆整数変換処理を行う処理部である。
【００６９】
フレーム間予測部２０３はフレーム間予測処理を行う処理部であり、フレーム内予測部２０４はフレーム内予測処理を行う処理部である。
【００７０】
具体的には、可変長復号部２０１により得られた値から当該ピクチャの復号に際しフレーム内予測を行うかフレーム間予測を行うかの判断がなされる。この判断結果に応じて、フレーム間予測部２０３またはフレーム内予測部２０４のいずれかにより予測処理が行われる。
【００７１】
デブロッキングフィルタ部２０５は、フレーム間予測部２０３またはフレーム内予測部２０４から得られるデータに対しフィルタ処理を施す処理部である。
【００７２】
復号化画像バッファ２０６は、フィルタ処理がなされたデータを一時的に保持するバッファである。
【００７３】
復号化画像バッファ２０６に蓄えられたデータは、第一転送部１０１により外部メモリ１０７に転送される。つまり、外部メモリ１０７は、Ｈ．２６４デコーダ１００によってデコードされたデコード済ピクチャを格納するためにも用いられる。
【００７４】
次に、図１および図２に示す構成を有する動画像復号化装置１０における、Ｈ．２６４デコーダ１００の復号処理の手順を説明する。
【００７５】
復号化の対象であるＨ．２６４符号化された動画像データが外部メモリ１０７に格納されているとき、まずこの動画像データは符号化データ供給部１０５によってＨ．２６４デコーダ１００に供給される。
【００７６】
Ｈ．２６４デコーダ１００は、符号化データ供給部１０５から受け取った動画像データを符号化ストリームバッファ２００に格納し、可変長復号部２０１を用いて可変長復号処理を行う。
【００７７】
可変長復号処理において復号化された情報から、デコードの対象のピクチャがフレーム間予測を用いないピクチャの種類であると判断される場合、続けて逆量子化処理および逆整数変換処理が逆量子化部２０２によって行われる。
【００７８】
復号化の対象のピクチャがフレーム間予測を用いるピクチャであり、かつ復号化単位であるマクロブロック（以下、「ＭＢ」とも記す。）がフレーム間予測を用いるＭＢであった場合、デコード済ピクチャのデータが格納されている内部メモリ１０６から、第三転送部１０３を用いて、デコード済ピクチャのデータを取得する。取得されたデータはフレーム間予測部２０３に入力される。
【００７９】
フレーム間予測部２０３は、このデコード済ピクチャのデータを用いてフレーム間予測処理を行う。フレーム間予測部２０３から出力されるデータは、デブロッキングフィルタ部２０５を経て、復号化画像バッファ２０６に格納される。
【００８０】
また、復号化の対象のＭＢがフレーム内予測を行うＭＢであった場合には、フレーム内予測処理がフレーム内予測部２０４によって行われた後に、デブロッキングフィルタ部２０５を経て復号化画像バッファ２０６に復号化されたデータが格納される。
【００８１】
復号化画像バッファ２０６に格納されたデータは第一転送部１０１によって外部メモリ１０７に転送される。
【００８２】
ここで、Ｈ．２６４デコーダ１００によりピクチャがデコードされた後、Ｈ．２６４デコーダ１００が動作していない期間では、第一転送部１０１によるデータの転送も行われない。
【００８３】
また、復号化されたピクチャのデータが外部メモリ１０７に書き込まれると、次の符号化データのデコードが開始されるまでに、つまり、Ｈ．２６４デコーダ１００によるデコード処理が行われていない期間に、次のデコードで参照される可能性のあるピクチャのデータを、第二転送部１０２を用いて内部メモリ１０６にコピーする。
【００８４】
なお、本実施の形態においては、参照される可能性のあるピクチャとして、全てのデコード済ピクチャが外部メモリ１０７から内部メモリ１０６に転送される。
【００８５】
また、内部メモリ１０６に転送されたデコード済ピクチャは、その後に復号される符号化ピクチャのピクチャヘッダに示される情報に基づいて要不要が判断される。この判断の結果、その後に参照されない、つまり、残す必要がないと判断されたデコード済ピクチャは内部メモリ１０６から削除される。
【００８６】
この処理により、先に述べたとおり、以降のデコード処理の際にフレーム間予測が用いられるＭＢが出現した場合、フレーム間予測に必要な参照ピクチャのデータはフレーム間予測の際の参照先である内部メモリ１０６に格納されていることになる。
【００８７】
そのため、Ｈ．２６４デコーダ１００は、外部メモリ１０７にアクセスする必要はない。一般的にシステムＬＳＩの内部のメモリへのアクセスは、外部に位置するメモリにアクセスするより高速に行うことができる。
【００８８】
従って、本実施の形態の動画像復号化装置１０は、高速な外部メモリ１０７を用いることなく、フレーム間予測処理をシステムＬＳＩ５０の内部に配置された内部メモリ１０６に対するアクセスのみで行うことが可能となる。
【００８９】
なお、外部メモリ１０７に格納されたデコード済ピクチャは出画部１０４によって外部メモリ１０７から読み出された後に、外部ディスプレイに出力される。これにより、当該ピクチャを含む動画像は外部ディスプレイに表示される。
【００９０】
以上説明したデコード処理の流れを、図３のフローチャートを用いて説明する。
【００９１】
図３は、実施の形態１における動画像復号化装置１０の処理の流れを示すフローチャートである。
【００９２】
まずＨ．２６４デコーダ１００は初期状態として、ピクチャデコード処理の開始待ち状態（Ｓ３００）にある。
【００９３】
この状態において例えばユーザの指示に基づいて、ピクチャデコードが開始される。具体的には、まず符号化ストリームに含まれるピクチャ全体を特徴付ける情報が格納されているピクチャヘッダと呼ばれるデータが可変長復号部２０１によりデコードされる（Ｓ３０１）。
【００９４】
ピクチャヘッダのデコードが終了すると、続いてスライスヘッダと呼ばれるデータのデコード処理が行われる（Ｓ３０２）。
【００９５】
Ｈ．２６４規格においては、通信路でのエラー耐性などの観点から１枚のピクチャは複数のスライスと呼ばれる単位に分けられることがある。
【００９６】
図４は、Ｈ．２６４ストリームの階層構造を示す図である。
【００９７】
図４に示すように、スライスとは、１画面のピクチャを＃１から＃ｎまで帯状に分割したものであり、各スライスは複数のマクロブロック（ＭＢ）から構成される。
【００９８】
ＭＢは１６×１６画素の符号化および復号化の単位である。すなわちスライスは典型的には１６ラインのＭＢの帯のことである。
【００９９】
なお、複数のラインをまたいで単一のスライスを構成することも可能である。この場合スライスは１６×ｎ（ｎは自然数）のＭＢの帯で構成される。スライスヘッダは複数のＭＢを含むスライスの先頭に配置され、スライス内のマクロブロックで共通のパラメータが符号化されているデータである。
【０１００】
Ｈ．２６４デコーダ１００では、スライスヘッダのデコードが終わると続いて可変長復号部２０１によるＭＢのヘッダのデコードが開始される（Ｓ３０３）。
【０１０１】
ＭＢのヘッダには、そのＭＢの詳細情報を含むデータが符号化されており、このデータを解釈することによって、当該ＭＢがフレーム間予測をするＭＢか、あるいはフレーム内予測をするＭＢであるかを判定することが可能である（Ｓ３０４）。
【０１０２】
当該ＭＢがフレーム内予測を行うＭＢであった場合には、フレーム内予測部２０４は当該ＭＢに対しフレーム内予測処理を行う（Ｓ３０７）。フレーム内予測部２０４から出力されたデータは、デブロッキングフィルタ部２０５によるデブロッキング処理を経て、復号化画像バッファ２０６に格納される。
【０１０３】
復号化画像バッファ２０６に格納されたデータは、第一転送部１０１により外部メモリ１０７に転送される（Ｓ３０８）。
【０１０４】
一方、当該ＭＢがフレーム間予測処理を用いるＭＢだった場合には、Ｈ．２６４デコーダ１００は、内部メモリ１０６に格納されているデコード済ピクチャのデータを第三転送部１０３を用いて取得する。フレーム間予測部２０３は、取得されたデコード済ピクチャのデータを用いてフレーム間予測処理を行う（Ｓ３０６）。
【０１０５】
フレーム間予測処理の完了後、フレーム間予測部２０３から出力されたデータは、デブロッキングフィルタ部２０５によるデブロッキング処理を経て、復号化画像バッファ２０６に格納される。
【０１０６】
復号化画像バッファ２０６に格納されたデータは、第一転送部１０１により外部メモリ１０７に転送される（Ｓ３０８）。
【０１０７】
また、ＭＢのデコードが終了した後に、当該ＭＢが、当該ＭＢが属するスライスの終端のＭＢであったかどうかが判定される（Ｓ３０９）。
【０１０８】
この判定の結果、当該ＭＢがスライスの終端のＭＢでなかった場合（Ｓ３０９でＮｏ）、続けて以降のＭＢのデコード処理が継続される。当該ＭＢがスライスの終端のＭＢであった場合（Ｓ３０９でＹｅｓ）、続けて当該ＭＢがピクチャの終端のＭＢであるかどうかが判定される（Ｓ３１０）。
【０１０９】
この判定の結果、当該ＭＢがピクチャの終端のＭＢでない場合（Ｓ３１０でＮｏ）、続けて以降のスライスのデコードを継続する。当該ＭＢがピクチャの終端のＭＢだった場合（Ｓ３１０でＹｅｓ）、Ｈ．２６４デコーダ１００は、当該ピクチャについてのデコード処理を完了する。
【０１１０】
なお、上記の判定処理（Ｓ３０９およびＳ３１０）は、例えば可変長復号部２０１により行われる。
【０１１１】
上記一連の処理の完了時には、Ｈ．２６４デコーダ１００によりデコードされたデータは全て外部メモリ１０７に格納されていることになる。つまり、当該ピクチャを構成するデコード済データは全て外部メモリ１０７に格納されていることになる。
【０１１２】
このように、デコード処理が完了し外部メモリ１０７に書き出されたデコード済ピクチャのデータは第二転送部１０２により内部メモリ１０６に転送される（Ｓ３１１）。この転送の後、Ｈ．２６４デコーダ１００は、所定のタイミングで次のピクチャデコードを開始する。
【０１１３】
その後、例えばユーザにより当該動画像データの再生を終了する指示があるまで、または、当該動画像データ全体のデコード処理が終了するまで、上記処理が繰り返される。
【０１１４】
図５は、実施の形態１の動画像復号化装置１０における復号処理のタイミングチャートの一例である。なお、図中の“＃０”等の番号は、各ピクチャを識別する番号である。
【０１１５】
動画像復号化装置１０は、上述のように、デコード後にフレーム間予測に用いられるピクチャのデータを外部メモリ１０７から内部メモリ１０６にコピーする処理を繰り返し行う。
【０１１６】
これにより、図５に示すように、後続ピクチャのデコード処理の際に必要なデコード済ピクチャのデータは全て内部メモリ１０６に格納されていることになる。
【０１１７】
従って、動画像復号化装置１０は、後続ピクチャのデコードを行う際、内部メモリ１０６へのアクセスのみでフレーム間予測を実行することが可能である。
【０１１８】
なお、デコード済みのピクチャ＃４が内部メモリ１０６に転送される前に、ピクチャ＃０〜ピクチャ＃３のうちの、その後に参照されない１以上のピクチャが削除される。
【０１１９】
また、外部メモリ１０７から内部メモリ１０６へのデータ転送処理はデコード処理が停止した状態で行われる。つまり、従来のように、デコード処理の期間中にデコード済のデータが内部メモリ１０６に転送されることはない。そのため、内部メモリ１０６の容量は、フレーム間予測を行うために必要な最低限のデータのみを格納できる容量で済む。
【０１２０】
なお、Ｈ．２６４の規格においては、デコーダの能力および符号化されたビットストリームの複雑さ等を規定するものとしてレベルが定められている。またレベルごとに、規格で定められた符号化処理の要素技術である符号化ツールのうち、どの範囲までをサポートするかが規定されている。
【０１２１】
具体的にはフルハイビジョンテレビおよびＢｌｕ−ｒａｙディスクなどの光ディスクでサポートされる１９２０画素×１０８０画素の動画ストリームをサポートするレベルにおいては、Ｈ．２６４の規格上、フレーム間予測で参照可能なデコード済ピクチャは最大でもピクチャ４枚分であると規定されている。
【０１２２】
例えば、実施の形態１の動画像復号化装置１０が、当該動画ストリームをデコードの対象とする場合、内部メモリ１０６の容量を、規格で規定されるピクチャ４枚分の容量とすることが可能である。
【０１２３】
以上説明したように、実施の形態１の動画像復号化装置１０は、繰り返し行われるデコード処理の停止期間に、以降のフレーム間予測で用いられる参照ピクチャを外部メモリ１０７から内部メモリ１０６に転送する。
【０１２４】
つまり、動画像復号化装置１０では、１つの符号化ピクチャに対するデコード処理の期間中には、内部メモリ１０６へのデータ転送は発生せず、外部メモリ１０７へのデータ転送のみが行われる。その後、当該デコード処理が完了すると、次のデコード処理の開始までの間に、当該デコード済ピクチャのデータが外部メモリ１０７から内部メモリ１０６にコピーされる。
【０１２５】
これにより、従来の動画像復号化装置のように内部メモリと外部メモリとに同時にデコード中のデータを書き込む場合に比べて、内部メモリの容量をピクチャ１枚分削減することができる。
【０１２６】
具体的には、本実施の形態の動画像復号化装置１０であれば、図５に示すように、例えばピクチャ＃４に対するデコード処理中に内部メモリ１０６に存在するデータは、ピクチャ＃０〜ピクチャ＃３の４枚分のデータである。つまり、内部メモリ１０６は、ピクチャ４枚分の容量があれば足りる。
【０１２７】
しかし、従来の動画像復号化装置であれば、ピクチャ＃４に対するデコード処理中に、デコードが終わったＭＢのデータが内部メモリに順次書き込まれることになる。そのため、内部メモリにはピクチャ５枚分の容量が必要である。このような必要容量の差異は、他のピクチャのデコード処理の期間においても同様に発生する。
【０１２８】
このように、本実施の形態の動画像復号化装置１０は、復号に必要な記憶容量、具体的には内部メモリに必要な容量を増加させることがない。
【０１２９】
また、復号処理の停止期間、つまり、第一転送部１０１による外部メモリ１０７へのデータ転送が行われない期間に、外部メモリ１０７から内部メモリ１０６へのデコード済ピクチャの転送が行われる。そのため、動画像復号化装置１０のデータ転送に係る処理負荷を不要に増大させることがない。
【０１３０】
このように、実施の形態１の動画像復号化装置１０では、全ての参照ピクチャが内部メモリ１０６から取得可能であることにより、復号処理の迅速性は担保される。
【０１３１】
さらに、外部メモリ１０７にのみ書き出したデコード済ピクチャを、その後のデコード処理におけるフレーム間予測に必要なタイミングで内部メモリ１０６へ転送することにより、従来よりも内部メモリ１０６の必要容量を削減することができる。
【０１３２】
なお、本実施の形態においては、デコード済ピクチャは全て外部メモリ１０７から内部メモリ１０６にコピーされるとした。
【０１３３】
この、複数のデコード済ピクチャの外部メモリ１０７から内部メモリ１０６へのコピーに際し、コピーを行う直前のデコードの終了前にすでに内部メモリ１０６に格納されているピクチャのデータから順にコピーしてもよい。
【０１３４】
また、デコード順において直前にデコードが終了したピクチャのデータから順にコピーしてもよい。
【０１３５】
つまり、ある１枚の符号化ピクチャのデコードの開始前に、そのデコード処理で参照される可能性のある全ての復号済みピクチャが内部メモリ１０６に格納されていればよい。
【０１３６】
また、この格納の順番は特定のものに限定されるものではない。また、デコード処理の一回の停止期間に複数のデコード済ピクチャを外部メモリ１０７から内部メモリ１０６に転送してもよい。
【０１３７】
本実施の形態のように、停止期間ごとに、直前のデコード処理による１枚のデコード済ピクチャのみを外部メモリ１０７から内部メモリ１０６にコピーすることで、外部メモリ１０７から内部メモリ１０６への一回あたりのデータ転送量をより少なくすることができる。
【０１３８】
また、本実施の形態においては、図１に示すように、第一転送部１０１、第二転送部１０２、第三転送部１０３、および符号化データ供給部１０５のそれぞれが別の機能ブロックとして動画像復号化装置１０に備えられている。
【０１３９】
しかしながら、これらは内部メモリ１０６および外部メモリ１０７等の構成要素の間でデータを転送する手段である。そのため、それぞれが果たす機能を時分割で行う単一の機能ブロックとして実現されてもよい。または複数の機能を並列に実行可能な単一の機能ブロックとして実現されてもよい。
【０１４０】
（実施の形態２）
図６は、本発明の実施の形態２における動画像復号化装置２０の主要な機能構成を示す機能ブロック図である。
【０１４１】
図６を用いて実施の形態２における動画像復号化装置２０の構成について説明する。
【０１４２】
図６に示すように、動画像復号化装置２０は、実施の形態１における動画像復号化装置１０が備える構成要素に加えて判断部６０７を備えている。
【０１４３】
すなわち、動画像復号化装置２０は、複数の機能が集積されたシステムＬＳＩ６０と、システムＬＳＩ６０の外部に配置された外部メモリ６０８とを備える。
【０１４４】
システムＬＳＩ６０は、Ｈ．２６４デコーダ６００、第一転送部６０１、第二転送部６０２、第三転送部６０３、出画部６０４、符号化データ供給部６０５、およびフレーム間予測に用いる内部メモリ６０６を有し、さらに、判断部６０７を有する。
【０１４５】
判断部６０７は、複数の復号済ピクチャのそれぞれが、符号化ピクチャの復号の際に参照されるか否かを判断する処理部である。つまり、判断部６０７は、後続のピクチャが参照するピクチャを検出する役割を担う。
【０１４６】
具体的には、判断部６０７は、符号化ピクチャをデコードする際に得られるピクチャヘッダに含まれる情報から当該判断を行う。判断の具体例については図８を用いて後述する。
【０１４７】
それ以外のそれぞれの構成要素の役割については、実施の形態１と同様であり説明を省略する。
【０１４８】
次に図７〜図９を用いて、実施の形態２における動画像復号化装置２０の動作を説明する。
【０１４９】
図７は、実施の形態２における動画像復号化装置２０の処理の流れを示すフローチャートである。
【０１５０】
図７に示すように、実施の形態２における動画像復号化装置２０の基本的な処理の流れは図３に示す実施の形態２における動画像復号化装置２０の処理の流れと同じである。
【０１５１】
すなわち、図７における、ピクチャデコード開始待ち（Ｓ７００）から、デコードしたＭＢがピクチャの終端のＭＢであるかどうかの判定（Ｓ７１０）までの処理は、図３における各処理（Ｓ３００〜Ｓ３１０）に対応する。
【０１５２】
しかし、実施の形態２における動画像復号化装置２０は、デコードしたＭＢがピクチャの終端のＭＢである場合（Ｓ７１０でＹｅｓ）、判断部６０７が、デコード済ピクチャのデータがフレーム間予測に用いられるか否かを判断する。
【０１５３】
この判断の結果、フレーム間予測に用いられると判断されたデコード済ピクチャのみが、外部メモリ６０８から内部メモリ６０６へ転送される。
【０１５４】
これにより、外部メモリ６０８から内部メモリ６０６へのデータ転送量が削減される。
【０１５５】
判断部６０７による、参照ピクチャの特定に係る処理の具体例を、図８および図９を用いて説明する。
【０１５６】
図８は、連続するピクチャシーケンスの一例を示す図である。なお、以下の説明では、Ｈ．２６４のデコード処理における参照ピクチャの判断方法の一例を示している。
【０１５７】
図８に示すそれぞれのピクチャを示す記号について説明する。Ｉ、Ｐ、Ｂとそれぞれ書かれているのはピクチャの種類を示す記号である。Ｉで示されるピクチャ（Ｉピクチャ）はフレーム内予測のみが符号化ツールとして用いられているピクチャであり、デコード済みの他のピクチャのデータを用いることなくデコードが可能なピクチャである。
【０１５８】
Ｐで示されるピクチャ（Ｐピクチャ）は、デコード済ピクチャのデータを用いてフレーム間予測を行うピクチャであり、参照するピクチャは１枚のみであるという制限がある。
【０１５９】
Ｂで示されるピクチャ（Ｂピクチャ）はＰピクチャと同様にフレーム間予測を行うピクチャであるが、２枚同時にピクチャを参照することが可能である。
【０１６０】
なおＩ、ＰおよびＢに添えられた数字は符号化される順序を示す。この符号化される順序に従って符号化ストリームが構成されていくことから、この順序は復号化の順序とも一致することになる。
【０１６１】
しかし一方で出画する順序はＩ0、Ｂ3、Ｂ2、Ｂ4、Ｐ1となることから、復号化したあと出画する際には、所定の手順による並べ替えが必要になることが明らかであろう。
【０１６２】
図８に示す例においては、たとえばＰ1ピクチャはＩ0ピクチャを参照している。またＢ2ピクチャはＩ0とＰ1とを参照している。またＢ3ピクチャはＩ0とＢ2とを参照し、Ｂ４はＢ2とＰ1とを参照している。
【０１６３】
このようなピクチャ間の参照関係を持つストリームの場合、たとえばＢ3とＢ4は他のピクチャのデコードの際にフレーム間予測のために参照されない非参照ピクチャである。このようなピクチャはデコード後に参照されることがないため、判断部６０７はこれらのピクチャを参照ピクチャではないと判断する。
【０１６４】
具体的には、各ピクチャのピクチャヘッダには、どのピクチャを参照用として残しておくべきか、および、どのピクチャを参照するかを示す情報が含まれている。判断部６０７は、例えばこの情報をＨ．２６４デコーダ６００から受け取り、各ピクチャについて、参照ピクチャであるか否かの判断をすることができる。
【０１６５】
この判断の結果、本実施の形態の動画像復号化装置２０は、外部メモリ６０８に格納されたＢ3およびＢ4のピクチャのデータを内部メモリ６０６にコピーすることはない。
【０１６６】
図９は、ピクチャの符号化順序と表示順序との対応関係を示す図である。
【０１６７】
なお、図９は、図８に示す参照関係にある複数のピクチャの符号化順序と表示順序との対応関係を示している。
【０１６８】
図９に示すように、まず、フレーム内予測のみが用いられるＩ0ピクチャのデコードが行われ、その後に、Ｉ0ピクチャを参照してフレーム間予測を行うＰ1ピクチャのデコードが行われる。
【０１６９】
また、Ｂ2ピクチャのデコードは、Ｉ0ピクチャとＰ1ピクチャとを参照して行われるため、Ｉ0ピクチャとＰ1ピクチャのデコードの次に行われることがわかる。
【０１７０】
これらのピクチャ復号順と表示順序との関係は、上述のピクチャの先頭に格納されているピクチャヘッダに含まれる情報から判断することが可能である。
【０１７１】
ここまでにデコードが行われたＩ0、Ｐ1、およびＢ2の各ピクチャは、フレーム間予測の際に参照されるピクチャである。
【０１７２】
したがって本構成においては、Ｉ0ピクチャのデコードが終了して外部メモリ６０８に書き込まれた後、Ｐ1ピクチャのデコードを開始する前に、Ｉ0のデータは外部メモリ６０８から内部メモリ６０６に第二転送部６０２により転送される。
【０１７３】
またＰ1のピクチャデコードが完了すると、Ｂ2のデコード開始前に同様にＰ1のデータが外部メモリ６０８から内部メモリ６０６に転送されることになる。
【０１７４】
一方、Ｂ3のデコードにはＩ0とＢ2のデータが参照ピクチャとして用いられ、Ｂ4のデコードには、Ｂ2とＰ1のデータがそれぞれ参照ピクチャとして用いられるが、Ｂ3およびＢ4は以降のフレーム間予測に使用されないことが判断部６０７によって判断される。そのため、これらのデコード済ピクチャのデータは内部メモリ６０６に転送されることはない。
【０１７５】
このように、実施の形態２における動画像復号化装置２０では、判断部６０７によって必要なデータのみが内部メモリ６０６に格納された状態でデコードを進めていくことが可能である。またこのような手順を経ることによって、復号化順序と表示順序の関係は図９のようになる。
【０１７６】
以上説明したように、実施の形態２の動画像復号化装置２０は、判断部６０７を備えることにより、デコード済ピクチャについて、外部メモリ６０８から第二転送部６０２を通じて内部メモリ６０６にコピーすべきか否かが判断される。そのため、その後に実際にフレーム間予測に用いられるデコード済ピクチャのデータのみを内部メモリ６０６にコピーすることが可能になり、転送にかかるデータ量を削減することができる。
【０１７７】
ここで、上述のように、Ｈ．２６４の規格では、デコーダの能力等を規定するレベルが定められており、規格で定められた符号化ツールのうち、レベルごとにどの範囲までをサポートするかを規定している。
【０１７８】
具体的には、上述のように、フルハイビジョンテレビおよびＢｌｕ−ｒａｙディスクなどの光ディスクでサポートされる１９２０画素×１０８０画素の動画ストリームをサポートするレベルにおいては、フレーム間予測に用いられるデコード済ピクチャは最大でもピクチャ４枚分であると規定されている。
【０１７９】
例えば、実施の形態２の動画像復号化装置２０が、当該動画ストリームを復号化の対象とする場合、内部メモリ６０６のサイズは規格で規定されるピクチャ４枚分の容量そのものでよい。
【０１８０】
なお、判断部６０７が有する、各ピクチャが参照されるか否かを判断する機能は、例えば、Ｈ．２６４デコーダ６００が備えていてもよい。この場合、Ｈ．２６４デコーダ６００が第二転送部６０２に指示し、参照されるデコード済ピクチャのみを、外部メモリ６０８から内部メモリ６０６に転送させればよい。
【０１８１】
（実施の形態３）
図１０は、本発明の実施の形態３における動画像復号化装置３０の主要な機能構成を示す機能ブロック図である。
【０１８２】
以下、図１０を用いて実施の形態３における動画像復号化装置３０の構成について説明する。
【０１８３】
図１０に示すように、動画像復号化装置３０は、実施の形態２における動画像復号化装置２０と同様の構成である。
【０１８４】
すなわち、動画像復号化装置３０は、複数の機能が集積されたシステムＬＳＩ７０と、システムＬＳＩ７０の外部に配置された外部メモリ９０８とを備える。
【０１８５】
システムＬＳＩ７０は、Ｈ．２６４デコーダ９００、第一転送部９０１、第二転送部９０２、第三転送部９０３、出画部９０４、符号化データ供給部９０５、フレーム間予測に用いる内部メモリ９０６を有し、さらに、判断部９０７を有する。
【０１８６】
このように、実施の形態３における動画像復号化装置３０は、構成としては実施の形態２における動画像復号化装置２０と同じ構成である。
【０１８７】
しかし、実施の形態３における動画像復号化装置３０は、第二転送部９０２が、内部メモリ９０６から外部メモリ９０８へデコード済ピクチャを転送する点で実施の形態１における動画像復号化装置１０および実施の形態２における動画像復号化装置２０とは異なる。
【０１８８】
実施の形態３における動画像復号化装置３０は、この特徴により、外部メモリ９０８の容量を削減することが可能である。
【０１８９】
なお、それぞれの構成要素の基本的な役割は実施の形態１および実施の形態２と共通であるため、説明を省略する。
【０１９０】
次に、図１１を用いて、実施の形態３における動画像復号化装置３０の動作を説明する。
【０１９１】
図１１は、実施の形態３における動画像復号化装置３０の処理の流れを示すフローチャートである。
【０１９２】
まずＨ．２６４デコーダ９００は初期状態として、ピクチャデコード処理の開始待ち状態（Ｓ１０００）にある。
【０１９３】
この状態において例えばユーザの指示に基づいて、ピクチャデコードが開始されると、Ｈ．２６４デコーダ９００は、ピクチャヘッダをデコードする（Ｓ１００１）。
【０１９４】
判断部９０７は、デコードされたピクチャヘッダに含まれる情報から当該ピクチャがフレーム間予測に用いられるピクチャであるかどうかを判断する（Ｓ１００２）。
【０１９５】
当該ピクチャがフレーム間予測に用いられないものであった場合（Ｓ１００２でＮｏ）、Ｈ．２６４デコーダ９００は、続けてスライスヘッダのデコード処理を行う（Ｓ１００４）。
【０１９６】
一方、当該ピクチャがフレーム間予測に用いられるピクチャであった場合（Ｓ１００２でＹｅｓ）、以降の処理でこのピクチャのデコード結果が内部メモリ９０６にのみ書き込まれることになる。
【０１９７】
この場合、当該ピクチャのデコード後、後続のピクチャをデコードする際に出画するタイミングにあるデータは、この時点では内部メモリ９０６に格納されている。そこで、このデータを出画のために外部メモリ９０８に転送するために、第二転送部９０２による転送処理が開始される（Ｓ１００３）。
【０１９８】
次にスライスヘッダのデコード処理（Ｓ１００４）、およびマクロブロックヘッダのデコード処理（Ｓ１００５）が行われる。
【０１９９】
その後、デコード中のＭＢがフレーム間予測を行うＭＢであるか否かの判断が行われる（Ｓ１００６）。フレーム間予測を行うＭＢであった場合（Ｓ１００６でＹｅｓ）、Ｈ．２６４デコーダ９００は、デコード済ピクチャのデータを第三転送部９０３を用いて内部メモリ９０６から取得する。さらに、取得したデコード済ピクチャのデータを用いてフレーム間予測処理が行われる（Ｓ１００８）。
【０２００】
また、フレーム間予測が行われないＭＢであった場合（Ｓ１００６でＮｏ）、フレーム内予測処理が行われる（Ｓ１００９）。
【０２０１】
フレーム間予測（Ｓ１００８）またはフレーム内予測（Ｓ１００９）を用いてデコードされたＭＢは、内部メモリ９０６または外部メモリ９０８のいずれか一方に書き出される。
【０２０２】
具体的には、当該ピクチャがフレーム間予測のために後続のピクチャに参照されるか否かの判断（Ｓ１０１０）の結果に応じて出力先が決定される。
【０２０３】
判断部９０７により、当該ピクチャが後続のピクチャに参照されるピクチャであると判断された場合（Ｓ１０１０でＹｅｓ）、当該デコード済みのＭＢは、第三転送部９０３を用いて内部メモリ９０６に転送される（Ｓ１０１２）。
【０２０４】
判断部９０７により、当該ピクチャが後続のピクチャに参照されないピクチャであると判断された場合（Ｓ１０１０でＮｏ）、当該デコード済みのＭＢは、第一転送部９０１を用いて外部メモリ９０８に直接書き出される（Ｓ１０１１）。
【０２０５】
ＭＢのデコードが完了すると、当該ＭＢが、当該ＭＢが属するスライスの終端のＭＢであるか否かが判定される（Ｓ１０１３）。当該ＭＢがスライスの終端のＭＢではない場合（Ｓ１０１３でＮｏ）、次のＭＢのデコード処理に移行する。
【０２０６】
また、当該ＭＢがスライスの終端のＭＢである場合（Ｓ１０１３でＹｅｓ）、続いて当該ＭＢがピクチャの終端のＭＢであるかどうかが判定される（Ｓ１０１４）。
【０２０７】
当該ＭＢがピクチャの終端のＭＢではない場合（Ｓ１０１４でＮｏ）、次のスライスのデコード処理に移行する。
【０２０８】
また、当該ＭＢがピクチャの終端のＭＢである場合（Ｓ１０１４でＹｅｓ）、データ転送の完了確認（Ｓ１０１５）に移行する。
【０２０９】
具体的には、当該ピクチャに属するＭＢのデコードがすべて完了した後に、内部メモリ９０６から外部メモリ９０８への出画用データの転送（Ｓ１００３）など、各転送部によるデータ転送がすべて終わっているかどうかが判定される（Ｓ１０１５）。
【０２１０】
なお、この判定は、例えばＨ．２６４デコーダ９００が各転送部と通信することで行われる。
【０２１１】
転送が完了していなければ（Ｓ１０１５でＮｏ）、転送が完了（Ｓ１０１５でＹｅｓ）するまで待って、次のピクチャのデコード処理に移行する。
【０２１２】
動画像復号化装置３０は、以上の手順を踏むことにより、デコード処理においてフレーム間予測に用いられるデータがすべて内部メモリ９０６に格納されている状態で次のピクチャのデコードを開始することができる。
【０２１３】
これにより、フレーム間予測のために外部メモリ９０８にアクセスをすることなくデコード動作を行うことが可能となり、高速な外部メモリ９０８は不要である。
【０２１４】
また外部メモリ９０８に書き込まれるデータは現在出画されているピクチャの次に出画される予定のピクチャのデータである。そのためデコード済ピクチャのデータを格納するために外部メモリ９０８に必要な容量はピクチャ２枚分だけで済むことになる。
【０２１５】
（実施の形態１〜３の補足事項）
実施の形態１〜３のいずれにおいてもＨ．２６４の復号処理に関して説明した。しかしながら、本発明は複数のフレームを参照して動画像データの符号化を行う動画像符号化規格のいずれにも適用することができる。
【０２１６】
また、本発明を、例えば符号化された動画像データを再生する再生装置に適用することもできる。
【０２１７】
図１２は、本発明を用いた集積回路を含む符号化画像の再生装置１０００の構成図である。
【０２１８】
なお、図１２では、実施の形態１の動画像復号化装置１０が再生装置１０００に含まれる構成を示しているが、動画像復号化装置１０に換えて動画像復号化装置２０または動画像復号化装置３０が再生装置１０００に含まれていてもよい。
【０２１９】
図１２に示すように、再生装置１０００は、回路基板１１００と、表示部１１０５とを備える。
【０２２０】
回路基板１１００は、システムＬＳＩ５０と外部メモリ１０７とを有する動画像復号化装置１０と、ストリーム入力部１１１０と、外部出力部１１１１とを備える。
【０２２１】
システムＬＳＩ５０は複数の機能が集積された一つのＬＳＩであり、機能的な構成は実施の形態１で説明した通りである。
【０２２２】
ストリーム入力部１１１０は、本発明の再生装置における入力手段の一例であり、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナ、およびＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークなどからの入力信号を受けて符号化ストリームを取り出し、動画像復号化装置１０に供給する処理部である。
【０２２３】
具体的には、ストリーム入力部１１１０により取り出された符号化ストリームは外部メモリ１０７に書き込まれる。外部メモリ１０７に書き込まれた符号化ストリームは、実施の形態１の処理フロー（図３参照）と同様にシステムＬＳＩ５０に入力されデコードされた後、第一転送部１０１を通じて外部メモリ１０７に書き込まれる。
【０２２４】
なおストリーム入力部１１１０は、図１２においては、回路基板１１００上に実装された別回路として記載されている。しかし、ストリーム入力部１１１０は、システムＬＳＩ５０の内部に含まれていたり、あるいは別の回路基板に実装されて回路基板１１００に接続されていたりしてもかまわない。
【０２２５】
また、ストリーム入力部１１１０は、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナ、およびＩＰネットワークなどの外部入力に対して、別々の回路で構成されていてかまわない。
【０２２６】
外部メモリ１０７に書き込まれたデコード済ピクチャのデータは、出画部１０４を通じて、表示部１１０５の表示処理を司る外部出力部１１１１に入力される。外部出力部１１１１は、当該ピクチャのデータを表示部１１０５に出力する。これにより、当該ピクチャは表示部１１０５に表示される。
【０２２７】
なお外部出力部１１１１は、図１２においては、回路基板１１００上に実装された別回路として記載されている。しかし、ストリーム入力部１１１０は、システムＬＳＩ５０の内部に含まれていたり、あるいは別の回路基板に実装されて回路基板１１００に接続されていたりしてもかまわない。
【０２２８】
このような構成を有し、符号化画像を再生する再生装置１０００によれば、より少ない内部メモリを有する集積回路で符号化画像の再生が可能である。
【０２２９】
また、このような再生装置１０００は、メモリカード、ハードディスクドライブ、光ディスクドライブ、地上波アンテナ、衛星放送アンテナなどのデバイスから入力される符号化ストリームを再生するさまざまな機器への応用が可能である。
【０２３０】
なお、全ての実施の形態における、Ｈ．２６４デコーダや転送部、符号化データ供給部、出画部などの各機能ブロックは、典型的には集積回路であるＬＳＩとして実現されるが、これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０２３１】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２３２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０２３３】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
【産業上の利用可能性】
【０２３４】
本発明は、フレーム間予測を用いて符号化ピクチャを復号する動画像復号化装置であって、復号に必要な記憶容量を増加させることなく効率よく復号処理を行う動画像復号化装置を提供することができる。従って、本発明の動画像復号化装置は、デジタルスチルカメラ、デジタルビデオカメラ、ＤＶＤまたはＢｌｕ−ｒａｙディスクプレーヤー、デジタルテレビ、デジタルテレビの受信機、カーナビゲーションシステム、インターネットに接続されるセットトップボックスなどへの応用が可能である。
【図面の簡単な説明】
【０２３５】
【図１】図１は、本発明の実施の形態１における動画像復号化装置の主要な機能構成を示す機能ブロック図である。
【図２】図２は、Ｈ．２６４デコーダの主要な機能構成を示す機能ブロック図である。
【図３】図３は、実施の形態１における動画像復号化装置の処理の流れを示すフローチャートである。
【図４】図４は、Ｈ．２６４ストリームの階層構造を示す図である。
【図５】図５は、実施の形態１の動画像復号化装置における復号処理のタイミングチャートの一例である。
【図６】図６は、本発明の実施の形態２における動画像復号化装置の主要な機能構成を示す機能ブロック図である。
【図７】図７は、実施の形態２における動画像復号化装置の処理の流れを示すフローチャートである。
【図８】図８は、連続するピクチャシーケンスの一例を示す図である。
【図９】図９は、ピクチャの符号化順序と表示順序との対応関係を示す図である。
【図１０】図１０は、本発明の実施の形態３における動画像復号化装置の主要な機能構成を示す機能ブロック図である。
【図１１】図１１は、実施の形態３における動画像復号化装置の処理の流れを示すフローチャートである。
【図１２】図１２は、本発明を用いた集積回路を含む符号化画像の再生装置の構成図である。
【符号の説明】
【０２３６】
１０、２０、３０    動画像復号化装置
５０、６０、７０    システムＬＳＩ
１００、６００、９００    Ｈ．２６４デコーダ
１０１、６０１、９０１    第一転送部
１０２、６０２、９０２    第二転送部
１０３、６０３、９０３    第三転送部
１０４、６０４、９０４    出画部
１０５、６０５、９０５    符号化データ供給部
１０６、６０６、９０６    内部メモリ
１０７、６０８、９０８    外部メモリ
２００    符号化ストリームバッファ
２０１    可変長復号部
２０２    逆量子化部
２０３    フレーム間予測部
２０４    フレーム内予測部
２０５    デブロッキングフィルタ部
２０６    復号化画像バッファ
６０７、９０７    判断部
１０００    再生装置
１１００    回路基板
１１０５    表示部
１１１０    ストリーム入力部
１１１１    外部出力部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008146455.tif 000015
【図２】
2008146455.tif 000016
【図３】
2008146455.tif 000017
【図４】
2008146455.tif 000018
【図５】
2008146455.tif 000019
【図６】
2008146455.tif 000020
【図７】
2008146455.tif 000021
【図８】
2008146455.tif 000022
【図９】
2008146455.tif 000023
【図１０】
2008146455.tif 000024
【図１１】
2008146455.tif 000025
【図１２】
2008146455.tif 000026
【国際調査報告】
2008146455.tif 000027
2008146455.tif 000028
2008146455.tif 000029
2008146455.tif 000030