(57)【特許請求の範囲】
【請求項１】
１以上のブロックをそれぞれ含む複数のスライスを有する画像を復号する画像復号装置であって、
前記複数のスライスのうち第１スライスに含まれる１以上のブロックを復号する第１復号部と、
前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを復号する第２復号部と、
前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部と、
前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが復号されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが復号される時に参照される情報である第１スライス内周辺情報を記憶するための第２記憶部と、
前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが復号される時に参照される情報である第２スライス内周辺情報を記憶するための第３記憶部とを備え、
前記第１復号部は、前記境界ブロックを復号することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第１スライス内ブロックを復号することにより前記第１スライス内周辺情報を生成し、生成された前記第１スライス内周辺情報を前記第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して前記第１スライス内周辺ブロックを復号し、
前記第２復号部は、前記第２スライス内ブロックを復号することにより前記第２スライス内周辺情報を生成し、生成された前記第２スライス内周辺情報を前記第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して前記第２スライス内周辺ブロックを復号し、前記第１記憶部に格納された前記スライス間周辺情報を参照して前記スライス間周辺ブロックを復号する
画像復号装置。
【請求項５】
前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報、および、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して、前記スライス間周辺ブロックであって、前記第２スライス内周辺ブロックであるブロックを復号する
請求項１に記載の画像復号装置。
【請求項６】
前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報を参照した後で前記スライス間周辺情報を再度参照することがない場合、前記スライス間周辺情報が記録されている前記第１記憶部の領域を解放する
請求項１または請求項５に記載の画像復号装置。
【請求項７】
前記画像復号装置は、さらに、
第１データバッファと、
第２データバッファとを備え、
前記第１復号部は、前記第１スライスに含まれる前記１以上のブロックを可変長復号し、可変長復号された第１可変長復号データを前記第１データバッファに格納し、
前記第２復号部は、前記第２スライスに含まれる前記１以上のブロックを可変長復号し、可変長復号された第２可変長復号データを前記第２データバッファに格納し、
前記画像復号装置は、さらに、
前記第１データバッファに格納された前記第１可変長復号データを画素値に変換する第１画素復号部と、
前記第２データバッファに格納された前記第２可変長復号データを画素値に変換する第２画素復号部とを備える
請求項１、５、６のいずれか１項に記載の画像復号装置。
【請求項８】
前記第１記憶部は、前記スライス間周辺情報が前記第１記憶部に格納されたか否かを示す管理テーブルを記憶し、
前記第１復号部は、前記スライス間周辺情報を前記第１記憶部に格納した場合、前記スライス間周辺情報が前記第１記憶部に格納されたことを示すように、前記管理テーブルを更新し、
前記第２復号部は、前記管理テーブルを参照することにより、前記スライス間周辺情報が前記第１記憶部に格納されたことを確認した後、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号する
請求項１、５〜７のいずれか１項に記載の画像復号装置。
【請求項９】
前記第１復号部は、前記スライス間周辺情報を前記第１記憶部に格納した場合、前記スライス間周辺情報が前記第１記憶部に格納されたことを前記第２復号部に通知し、
前記第２復号部は、前記スライス間周辺情報が前記第１記憶部に格納されたことを前記第１復号部から通知された後、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号する
請求項１、５〜７のいずれか１項に記載の画像復号装置。
【請求項１０】
前記第２復号部は、前記スライス間周辺情報が前記第１記憶部に格納されたか否かを所定時間毎に確認し、前記スライス間周辺情報が前記第１記憶部に格納されたことを確認した後、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号する
請求項１、５〜７のいずれか１項に記載の画像復号装置。
【請求項１１】
前記第１復号部は、前記境界ブロックを復号することにより非ゼロ係数の有無を示す係数情報を生成し、生成された前記係数情報を前記スライス間周辺情報として前記第１記憶部に格納し、
前記第２復号部は、前記第１記憶部に格納された前記係数情報を前記スライス間周辺情報として参照して、前記スライス間周辺ブロックを復号する
請求項１、５〜１０のいずれか１項に記載の画像復号装置。
【請求項１２】
１以上のブロックをそれぞれ含む複数のスライスを有する画像を符号化する画像符号化装置であって、
前記複数のスライスのうち第１スライスに含まれる１以上のブロックを符号化する第１符号化部と、
前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを符号化する第２符号化部と、
前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部と、
前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが符号化されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが符号化される時に参照される情報である第１スライス内周辺情報を記憶するための第２記憶部と、
前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが符号化される時に参照される情報である第２スライス内周辺情報を記憶するための第３記憶部とを備え、
前記第１符号化部は、前記境界ブロックを符号化することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第１スライス内ブロックを符号化することにより前記第１スライス内周辺情報を生成し、生成された前記第１スライス内周辺情報を前記第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して前記第１スライス内周辺ブロックを符号化し、
前記第２符号化部は、前記第２スライス内ブロックを符号化することにより前記第２スライス内周辺情報を生成し、生成された前記第２スライス内周辺情報を前記第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して前記第２スライス内周辺ブロックを符号化し、前記第１記憶部に格納された前記スライス間周辺情報を参照して前記スライス間周辺ブロックを符号化する
画像符号化装置。
【請求項１３】
１以上のブロックをそれぞれ含む複数のスライスを有する画像を復号する画像復号方法であって、
前記複数のスライスのうち第１スライスに含まれる１以上のブロックを復号する第１復号ステップと、
前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを復号する第２復号ステップとを含み、
前記第１復号ステップでは、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される情報であるスライス間周辺情報を、前記境界ブロックを復号することにより生成し、生成された前記スライス間周辺情報を第１記憶部に格納し、前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが復号されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが復号される時に参照される情報である第１スライス内周辺情報を、前記第１スライス内ブロックを復号することにより生成し、生成された前記第１スライス内周辺情報を第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して前記第１スライス内周辺ブロックを復号し、
前記第２復号ステップでは、前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが復号される時に参照される情報である第２スライス内周辺情報を、前記第２スライス内ブロックを復号することにより生成し、生成された前記第２スライス内周辺情報を第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して前記第２スライス内周辺ブロックを復号し、前記第１記憶部に格納された前記スライス間周辺情報を参照して前記スライス間周辺ブロックを復号する
画像復号方法。
【請求項１４】
１以上のブロックをそれぞれ含む複数のスライスを有する画像を符号化する画像符号化方法であって、
前記複数のスライスのうち第１スライスに含まれる１以上のブロックを符号化する第１符号化ステップと、
前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを符号化する第２符号化ステップとを含み、
前記第１符号化ステップでは、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される情報であるスライス間周辺情報を、前記境界ブロックを符号化することにより生成し、生成された前記スライス間周辺情報を第１記憶部に格納し、前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが符号化されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが符号化される時に参照される情報である第１スライス内周辺情報を、前記第１スライス内ブロックを符号化することにより生成し、生成された前記第１スライス内周辺情報を第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して前記第１スライス内周辺ブロックを符号化し、
前記第２符号化ステップでは、前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが符号化される時に参照される情報である第２スライス内周辺情報を、前記第２スライス内ブロックを符号化することにより生成し、生成された前記第２スライス内周辺情報を第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して前記第２スライス内周辺ブロックを符号化し、前記第１記憶部に格納された前記スライス間周辺情報を参照して前記スライス間周辺ブロックを符号化する
画像符号化方法。
【請求項１５】
請求項１３に記載の画像復号方法に含まれるステップをコンピュータに実行させるための
プログラム。
【請求項１６】
請求項１４に記載の画像符号化方法に含まれるステップをコンピュータに実行させるための
プログラム。
【請求項１７】
１以上のブロックをそれぞれ含む複数のスライスを有する画像を復号する集積回路であって、
前記複数のスライスのうち第１スライスに含まれる１以上のブロックを復号する第１復号部と、
前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを復号する第２復号部と、
前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部と、
前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが復号されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが復号される時に参照される情報である第１スライス内周辺情報を記憶するための第２記憶部と、
前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが復号される時に参照される情報である第２スライス内周辺情報を記憶するための第３記憶部とを備え、
前記第１復号部は、前記境界ブロックを復号することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第１スライス内ブロックを復号することにより前記第１スライス内周辺情報を生成し、生成された前記第１スライス内周辺情報を前記第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して前記第１スライス内周辺ブロックを復号し、
前記第２復号部は、前記第２スライス内ブロックを復号することにより前記第２スライス内周辺情報を生成し、生成された前記第２スライス内周辺情報を前記第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して前記第２スライス内周辺ブロックを復号し、前記第１記憶部に格納された前記スライス間周辺情報を参照して前記スライス間周辺ブロックを復号する
集積回路。
【請求項１８】
１以上のブロックをそれぞれ含む複数のスライスを有する画像を符号化する集積回路であって、
前記複数のスライスのうち第１スライスに含まれる１以上のブロックを符号化する第１符号化部と、
前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを符号化する第２符号化部と、
前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部と、
前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが符号化されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが符号化される時に参照される情報である第１スライス内周辺情報を記憶するための第２記憶部と、
前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが符号化される時に参照される情報である第２スライス内周辺情報を記憶するための第３記憶部とを備え、
前記第１符号化部は、前記境界ブロックを符号化することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第１スライス内ブロックを符号化することにより前記第１スライス内周辺情報を生成し、生成された前記第１スライス内周辺情報を前記第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して前記第１スライス内周辺ブロックを符号化し、
前記第２符号化部は、前記第２スライス内ブロックを符号化することにより前記第２スライス内周辺情報を生成し、生成された前記第２スライス内周辺情報を前記第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して前記第２スライス内周辺ブロックを符号化し、前記第１記憶部に格納された前記スライス間周辺情報を参照して前記スライス間周辺ブロックを符号化する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された画像を復号する画像復号装置および画像を符号化する画像符号化装置に関するもので、特に、復号を並列に実行する画像復号装置、および、符号化を並列に実行する画像符号化装置に関するものである。
【背景技術】
【０００２】
動画像を符号化する画像符号化装置は、動画像を構成する各ピクチャを１６画素×１６画素からなるマクロブロックに分割し、マクロブロックごとに符号化する。そして、画像符号化装置は、符号化された動画像を示す符号化ストリームを生成する。画像復号装置は、この符号化ストリームをマクロブロック単位に復号し、元の動画像の各ピクチャを再生する。【０００３】
従来の符号化方式の１つとしてＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）のＨ．２６４規格がある（例えば、非特許文献１および非特許文献２を参照）。【０００４】
Ｈ．２６４規格に基づく画像符号化装置および画像復号装置は、空間依存、つまり、空間的な類似性を利用する。これにより、圧縮率が向上する。【０００５】
また、Ｈ．２６４規格では、可変長符号が採用されている。可変長符号では、各マクロブロックが可変長に符号化される。そして、画像復号装置は、各ピクチャ単位のストリームの先頭から順に復号しなければならない。そのため、可変長符号に基づく画像符号化装置および画像復号装置は、並列処理によって処理を高速化することができず、動作周波数の向上によって処理を高速化しなければならなかった。【０００６】
そこで、Ｈ．２６４規格では、並列処理を実現するため、スライスという概念が導入されている。例えば、ピクチャは、図５４Ａに示すように、スライスという単位に分割される。そして、図５４Ｂに示すように、スライスの先頭には開始位置を検出するためのスタートコードが配置される。これにより、画像符号化装置および画像復号装置は、スライス単位で並行処理を実行できる。【０００７】
しかしながら、ピクチャがスライスに分割された場合、画像復号装置はスライスの境界をまたいで復号情報を参照することができない。そのため、従来の画像符号化装置および画像復号装置は、ピクチャ内のデータの相関を利用することができず、圧縮率の低下を招き、結果として、ビットレートの増大、画質劣化をまねいていた。【０００８】
一方、次世代の画像符号化規格として提案されている技術の中には、このような問題を解決するものがある（例えば、非特許文献３を参照）。【０００９】
図５５Ａに示すように、非特許文献３では、ピクチャは、別のスライスから参照可能なスライス（非特許文献３ではエントロピースライスと呼んでいる）に分割される。このスライスは、スライスの境界を越えて別のスライスの内部を参照することができる。また、このスライスの先頭では可変長符号の初期化が行われる。ここでの可変長符号は、ハフマン符号、ランレングス符号および算術符号などの可変長に圧縮する符号を総称して用いられる。画像復号装置は、この参照可能なスライスを用いることで、隣接するスライスの復号情報によって、可変長符号化テーブルの切替え、あるいは、算術符号におけるコンテキスト情報の更新を行うことができる。【００１０】
この参照可能なスライスの導入により、並列処理が可能になり、圧縮効率が向上する。【００１１】
さらに、非特許文献３では、図５５Ｂに示すように、エントロピースライスの内部のスキャン順序が、従来のラスタースキャンから、ジグザグスキャンに変更されている。ジグザグスキャンにより、処理を実行するユニットであるＰＥ（Ｐｒｏｃｅｓｓｉｎｇ  Ｅｌｅｍｅｎｔ）が、効率的に並列処理を実行する。【００１２】
つまり、ジグザグスキャンによって、図５５Ｃに示すように、ＰＥ０がスライス０のＭＢ（ＭａｃｒｏＢｌｏｃｋ）８の処理を完了すると、ＰＥ１はスライス１のＭＢ０の処理を開始することができる。従来のラスタースキャンでは、横方向に復号処理が行われるため、ＰＥ１によるＭＢ０の処理の開始が大きく遅れ、効率が低下していた。【００１３】
また、図５５Ｃに示すように、並列処理を実行するユニット（ＰＥ）は、マクロブロック単位に同期して処理を実行する。【００１４】
なお、画像符号化装置または画像復号装置がスライス０を参照してスライス１を符号化または復号することを、単に、スライス１がスライス０を参照すると表現される場合がある。また、画像符号化装置または画像復号装置がＭＢ０を参照してＭＢ１を符号化または復号することを、単に、ＭＢ１がＭＢ０を参照すると表現される場合がある。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４規格書  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ、２００５年３月発行
【非特許文献２】Ｔｈｏｍａｓ  Ｗｉｅｇａｎｄ  ｅｔ  ａｌ、“Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ  Ｈ．２６４／ＡＶＣ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｓｔａｎｄａｒｄ”、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＣＩＲＣＵＩＴＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＶＩＤＥＯ  ＴＥＣＨＮＯＬＯＧＹ、  ＪＵＬＹ  ２００３、ＰＰ．１−１９．
【非特許文献３】Ｘｕｎ  Ｇｕｏ  ｅｔ  ａｌ著「Ｏｒｄｅｒｅｄ  Ｅｎｔｒｏｐｙ  Ｓｌｉｃｅｓ  ｆｏｒ  Ｐａｒａｌｌｅｌ  ＣＡＢＡＣ」、[online]、ＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ、２００９年４月１５日、[２００９年６月２９日検索]、インターネット＜ＵＲＬ：http://wftp3.itu.int/av-arch/video-site/0904_Yok/VCEG-AK25.zip＞
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上記従来技術（非特許文献３）では、複数のスライス間で参照を行うことにより、符号化効率が向上されることは示されているが、複数のスライス間での参照を許す仕組みが具体的に開示されていない。【００１７】
図５５Ｃに示されたように、各ＰＥはそれぞれ処理を実行するが、実際には、処理にかかる時間は一定ではない。例えば、ＰＥ０がスライス０のＭＢ８の処理を終了していなければ、ＰＥ１がスライス１のＭＢ０の処理を開始できない。そして、スライス０のＭＢ８の処理にかかる時間は不定である。また、ＰＥ０とＰＥ１とは、それぞれ独立に処理を実行しているため、ＰＥ１は、ＰＥ０がスライス０のＭＢ８の処理を終了したか否かを判断できない。【００１８】
そこで、ＰＥ０がスライスの全ての処理を終了した後に、ＰＥ１が処理を開始してもよいが、この場合、並列処理が実行できなくなる。【００１９】
また、ＰＥ０がマクロブロックを処理した後に、ＰＥ１に当該マクロブロックの情報を出力してもよいが、その時、ＰＥ１が適切に処理を開始できない場合がある。【００２０】
例えば、ＰＥ０がスライス０のＭＢ１１の処理を終了した時、ＰＥ１がスライス１のＭＢ０の処理を実行中の場合がある。この場合、ＰＥ０がスライス０のＭＢ１１の情報をＰＥ１に出力しても、ＰＥ１はスライス１のＭＢ１の処理を開始できないため、ＰＥ１はＰＥ０からの情報を受け取れない可能性がある。そのため、ＰＥ１は、必要な時に必要な情報を取得することができず、処理を円滑に実行できない場合がある。【００２１】
つまり、必要な時に必要な情報が参照可能でないため、複数のＰＥが円滑に並行処理を実行することができない。【００２２】
そこで、本発明は、スライス境界をまたぐ空間依存を利用しつつ、円滑に並行処理を実行することができる画像復号装置および画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記課題を解決するため、本発明に係る画像復号装置は、１以上のブロックをそれぞれ含む複数のスライスを有する画像を復号する画像復号装置であって、前記複数のスライスのうち第１スライスに含まれる１以上のブロックを復号する第１復号部と、前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを復号する第２復号部と、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部とを備え、前記第１復号部は、前記境界ブロックを復号することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号する。【００２４】
これにより、本発明に係る画像復号装置は、スライス境界をまたぐ空間依存を利用できる。また、記憶部により、復号処理にかかる時間の揺らぎが吸収される。したがって、円滑に並行処理が実行される。【００２５】
また、前記第１復号部は、前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックを復号することにより、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが復号される時に参照される情報である第１スライス内周辺情報を生成し、生成された前記第１スライス内周辺情報を前記第１記憶部に格納し、前記第１記憶部に格納された前記第１スライス内周辺情報を参照して、前記第１スライス内周辺ブロックを復号し、前記第２復号部は、前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックを復号することにより、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが復号される時に参照される情報である第２スライス内周辺情報を生成し、生成された前記第２スライス内周辺情報を前記第１記憶部に格納し、前記第１記憶部に格納された前記第２スライス内周辺情報を参照して、前記第２スライス内周辺ブロックを復号してもよい。【００２６】
これにより、スライス内で用いられる情報が、同じ記憶部に格納される。したがって、製造コストが抑制される。【００２７】
また、前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報、および、前記第１記憶部に格納された前記第２スライス内周辺情報を参照して、前記スライス間周辺ブロックであって、前記第２スライス内周辺ブロックであるブロックを復号してもよい。【００２８】
これにより、本発明に係る画像復号装置は、スライス境界をまたぐ空間依存、および、スライス内での空間依存の両方を利用できる。【００２９】
また、前記画像復号装置は、さらに、前記第１スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第１スライス内ブロックが復号されることにより生成される情報であって、前記第１スライスに含まれる前記１以上のブロックのうち、前記第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが復号される時に参照される情報である第１スライス内周辺情報を記憶するための第２記憶部と、前記第２スライスに含まれる前記１以上のブロックのうちいずれかのブロックである第２スライス内ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが復号される時に参照される情報である第２スライス内周辺情報を記憶するための第３記憶部とを備え、前記第１復号部は、前記第１スライス内ブロックを復号することにより前記第１スライス内周辺情報を生成し、生成された前記第１スライス内周辺情報を前記第２記憶部に格納し、前記第２記憶部に格納された前記第１スライス内周辺情報を参照して、前記第１スライス内周辺ブロックを復号し、前記第２復号部は、前記第２スライス内ブロックを復号することにより前記第２スライス内周辺情報を生成し、生成された前記第２スライス内周辺情報を前記第３記憶部に格納し、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して、前記第２スライス内周辺ブロックを復号してもよい。【００３０】
これにより、本発明に係る画像復号装置は、複数の復号部からアクセスされる記憶部に記憶されるデータを少なくすることができる。したがって、記憶部の容量不足が抑制される。また、記憶部へのアクセスが分散され、記憶部の構成が容易になる。【００３１】
また、前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報、および、前記第３記憶部に格納された前記第２スライス内周辺情報を参照して、前記スライス間周辺ブロックであって、前記第２スライス内周辺ブロックであるブロックを復号してもよい。【００３２】
これにより、本発明に係る画像復号装置は、スライス境界をまたぐ空間依存、および、スライス内での空間依存の両方を利用できる。【００３３】
また、前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報を参照した後で前記スライス間周辺情報を再度参照することがない場合、前記スライス間周辺情報が記録されている前記第１記憶部の領域を解放してもよい。【００３４】
これにより、さらに、記憶部の容量不足が抑制される。【００３５】
また、前記画像復号装置は、さらに、第１データバッファと、第２データバッファとを備え、前記第１復号部は、前記第１スライスに含まれる前記１以上のブロックを可変長復号し、可変長復号された第１可変長復号データを前記第１データバッファに格納し、前記第２復号部は、前記第２スライスに含まれる前記１以上のブロックを可変長復号し、可変長復号された第２可変長復号データを前記第２データバッファに格納し、前記画像復号装置は、さらに、前記第１データバッファに格納された前記第１可変長復号データを画素値に変換する第１画素復号部と、前記第２データバッファに格納された前記第２可変長復号データを画素値に変換する第２画素復号部とを備えてもよい。【００３６】
これにより、動作周波数が低い場合でも、円滑な復号処理が実現される。したがって、本発明に係る画像復号装置が、低コストで実現される。【００３７】
また、前記第１記憶部は、前記スライス間周辺情報が前記第１記憶部に格納されたか否かを示す管理テーブルを記憶し、前記第１復号部は、前記スライス間周辺情報を前記第１記憶部に格納した場合、前記スライス間周辺情報が前記第１記憶部に格納されたことを示すように、前記管理テーブルを更新し、前記第２復号部は、前記管理テーブルを参照することにより、前記スライス間周辺情報が前記第１記憶部に格納されたことを確認した後、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号してもよい。【００３８】
これにより、ブロックが復号されたことが通知される。よって、複数の復号部が、同期をとりながら、復号処理を実行できる。【００３９】
また、前記第１復号部は、前記スライス間周辺情報を前記第１記憶部に格納した場合、前記スライス間周辺情報が前記第１記憶部に格納されたことを前記第２復号部に通知し、前記第２復号部は、前記スライス間周辺情報が前記第１記憶部に格納されたことを前記第１復号部から通知された後、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号してもよい。【００４０】
これにより、複数の復号部が、同期をとりながら、復号処理を実行できる。【００４１】
また、前記第２復号部は、前記スライス間周辺情報が前記第１記憶部に格納されたか否かを所定時間毎に確認し、前記スライス間周辺情報が前記第１記憶部に格納されたことを確認した後、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号してもよい。【００４２】
これにより、記憶部に書き込まれたか否かを判定するという簡単な処理で、複数の復号部が、同期をとりながら、復号処理を実行できる。【００４３】
また、前記第１復号部は、前記境界ブロックを復号することにより非ゼロ係数の有無を示す係数情報を生成し、生成された前記係数情報を前記スライス間周辺情報として前記第１記憶部に格納し、前記第２復号部は、前記第１記憶部に格納された前記係数情報を前記スライス間周辺情報として参照して、前記スライス間周辺ブロックを復号してもよい。【００４４】
これにより、周辺ブロックの非０係数の有無に依存した可変長復号処理が、スライス境界を越えて、実現される。したがって、画像の高圧縮率化および高画質化が実現される。【００４５】
また、本発明に係る画像符号化装置は、１以上のブロックをそれぞれ含む複数のスライスを有する画像を符号化する画像符号化装置であって、前記複数のスライスのうち第１スライスに含まれる１以上のブロックを符号化する第１符号化部と、前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを符号化する第２符号化部と、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部とを備え、前記第１符号化部は、前記境界ブロックを符号化することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第２符号化部は、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを符号化する画像符号化装置であってもよい。【００４６】
これにより、本発明に係る画像復号装置は、スライス境界をまたぐ空間依存を利用できる。また、記憶部により、符号化処理にかかる時間の揺らぎが吸収される。したがって、円滑に並行処理が実行される。【００４７】
また、本発明に係る画像復号方法は、１以上のブロックをそれぞれ含む複数のスライスを有する画像を復号する画像復号方法であって、前記複数のスライスのうち第１スライスに含まれる１以上のブロックを復号する第１復号ステップと、前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを復号する第２復号ステップとを含み、前記第１復号ステップでは、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される情報であるスライス間周辺情報を、前記境界ブロックを復号することにより生成し、生成された前記スライス間周辺情報を第１記憶部に格納し、前記第２復号ステップでは、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号する画像復号方法であってもよい。【００４８】
これにより、復号時において、スライス境界をまたぐ空間依存の利用が可能になる。【００４９】
また、本発明に係る画像符号化方法は、１以上のブロックをそれぞれ含む複数のスライスを有する画像を符号化する画像符号化方法であって、前記複数のスライスのうち第１スライスに含まれる１以上のブロックを符号化する第１符号化ステップと、前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを符号化する第２符号化ステップとを含み、前記第１符号化ステップでは、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される情報であるスライス間周辺情報を、前記境界ブロックを符号化することにより生成し、生成された前記スライス間周辺情報を第１記憶部に格納し、前記第２符号化ステップでは、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを符号化する画像符号化方法であってもよい。【００５０】
これにより、符号化時において、スライス境界をまたぐ空間依存の利用が可能になる。【００５１】
また、本発明に係るプログラムは、前記画像復号方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。【００５２】
これにより、前記画像復号方法が、プログラムとして実現される。【００５３】
また、本発明に係るプログラムは、前記画像符号化方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。【００５４】
これにより、前記画像符号化方法が、プログラムとして実現される。【００５５】
また、本発明に係る集積回路は、１以上のブロックをそれぞれ含む複数のスライスを有する画像を復号する集積回路であって、前記複数のスライスのうち第１スライスに含まれる１以上のブロックを復号する第１復号部と、前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを復号する第２復号部と、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが復号されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部とを備え、前記第１復号部は、前記境界ブロックを復号することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第２復号部は、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを復号する集積回路であってもよい。【００５６】
これにより、前記画像復号装置が、集積回路として実現される。【００５７】
また、本発明に係る集積回路は、１以上のブロックをそれぞれ含む複数のスライスを有する画像を符号化する集積回路であって、前記複数のスライスのうち第１スライスに含まれる１以上のブロックを符号化する第１符号化部と、前記複数のスライスのうち、前記第１スライスとは異なる第２スライスに含まれる１以上のブロックを符号化する第２符号化部と、前記第１スライスに含まれる前記１以上のブロックのうち、前記第２スライスに隣接するブロックである境界ブロックが符号化されることにより生成される情報であって、前記第２スライスに含まれる前記１以上のブロックのうち、前記境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される情報であるスライス間周辺情報を記憶するための第１記憶部とを備え、前記第１符号化部は、前記境界ブロックを符号化することにより前記スライス間周辺情報を生成し、生成された前記スライス間周辺情報を前記第１記憶部に格納し、前記第２符号化部は、前記第１記憶部に格納された前記スライス間周辺情報を参照して、前記スライス間周辺ブロックを符号化する集積回路であってもよい。【００５８】
これにより、前記画像符号化装置が、集積回路として実現される。
【発明の効果】
【００５９】
本発明により、スライス境界をまたぐ空間依存を利用しつつ、円滑に並行処理が実行される。
【図面の簡単な説明】
【００６０】
【図１】図１は、実施の形態１に係る画像復号装置の構成を示す構成図である。
【図２】図２は、実施の形態１に係る画像復号装置の可変長復号部の構成を示す構成図である。
【図３】図３は、実施の形態１に係る画像復号装置の画素復号部の構成を示す構成図である。
【図４Ａ】図４Ａは、実施の形態１に係るスライスを示す図である。
【図４Ｂ】図４Ｂは、実施の形態１に係るストリームを示す図である。
【図４Ｃ】図４Ｃは、実施の形態１に係るスライス内の処理順序を示す図である。
【図５Ａ】図５Ａは、実施の形態１に係るブロックの参照関係を示す図である。
【図５Ｂ】図５Ｂは、実施の形態１に係るスライスの参照関係を示す図である。
【図６】図６は、実施の形態１に係る画像復号装置の動作を示すフローチャートである。
【図７】図７は、実施の形態１に係るポインタ動作を示す図である。
【図８】図８は、実施の形態１に係る画像復号装置の可変長復号部の動作を示すフローチャートである。
【図９】図９は、実施の形態１に係る周辺情報のチェック動作を示すフローチャートである。
【図１０】図１０は、実施の形態１に係る周辺情報の書き込み動作を示すフローチャートである。
【図１１】図１１は、実施の形態１に係る周辺情報の管理テーブルを示す図である。
【図１２】図１２は、実施の形態１に係る画像復号装置の画素復号部の動作を示すフローチャートである。
【図１３】図１３は、実施の形態１に係る画像復号装置の画素復号部の動作を示すフローチャートである。
【図１４】図１４は、実施の形態１に係る動きベクトル演算処理の概要を示す図である。
【図１５】図１５は、実施の形態１に係る面内予測の参照関係を示す図である。
【図１６】図１６は、実施の形態１に係るスライス間周辺情報メモリの状態を示す図である。
【図１７Ａ】図１７Ａは、実施の形態１に係る並列動作を示す図である。
【図１７Ｂ】図１７Ｂは、実施の形態１に係る並列動作の変形例を示す図である。
【図１８Ａ】図１８Ａは、実施の形態１に係る画像復号装置の特徴的な構成を示す構成図である。
【図１８Ｂ】図１８Ｂは、実施の形態１に係る画像復号装置の特徴的な動作を示すフローチャートである。
【図１９】図１９は、実施の形態２に係る符号化テーブルの一例を示す図である。
【図２０】図２０は、実施の形態３に係る画像復号装置の可変長復号部の構成を示す構成図である。
【図２１】図２１は、実施の形態３に係る画像復号装置の可変長復号部の動作を示すフローチャートである。
【図２２】図２２は、実施の形態３に係る算術復号処理を示すフローチャートである。
【図２３】図２３は、実施の形態３に係る算術復号処理を示すフローチャートである。
【図２４】図２４は、実施の形態３に係る多値化処理方式を示す図である。
【図２５】図２５は、実施の形態４に係る画像復号装置の構成を示す構成図である。
【図２６】図２６は、実施の形態４に係る画像復号装置の可変長復号部の構成を示す構成図である。
【図２７】図２７は、実施の形態４に係る画像復号装置の画素復号部の構成を示す構成図である。
【図２８】図２８は、実施の形態４に係る周辺情報のチェック動作を示すフローチャートである。
【図２９】図２９は、実施の形態４に係る周辺情報の書き込み動作を示すフローチャートである。
【図３０Ａ】図３０Ａは、実施の形態４に係るスライス内周辺情報メモリの状態を示す図である。
【図３０Ｂ】図３０Ｂは、実施の形態４に係るスライス間周辺情報メモリの状態を示す図である。
【図３１Ａ】図３１Ａは、実施の形態４に係るポインタ動作を示す図である。
【図３１Ｂ】図３１Ｂは、実施の形態４に係るポインタの状態を示す図である。
【図３２】図３２は、実施の形態４に係る画像復号装置の特徴的な構成を示す構成図である。
【図３３】図３３は、実施の形態５に係る画像復号装置の構成を示す構成図である。
【図３４】図３４は、実施の形態６に係る画像符号化装置の構成を示す構成図である。
【図３５】図３５は、実施の形態６に係る画像符号化装置の可変長符号化部の構成を示す構成図である。
【図３６】図３６は、実施の形態６に係る画像符号化装置の画素符号化部の構成を示す構成図である。
【図３７】図３７は、実施の形態６に係る画像符号化装置の動作を示すフローチャートである。
【図３８】図３８は、実施の形態６に係る画像符号化装置の画素符号化部の動作を示すフローチャートである。
【図３９】図３９は、実施の形態６に係る画像符号化装置の可変長符号化部の動作を示すフローチャートである。
【図４０Ａ】図４０Ａは、実施の形態６に係る画像符号化装置の特徴的な構成を示す構成図である。
【図４０Ｂ】図４０Ｂは、実施の形態６に係る画像符号化装置の特徴的な動作を示すフローチャートである。
【図４１】図４１は、実施の形態７に係る画像復号装置の構成を示す構成図である。
【図４２】図４２は、実施の形態７に係る画像復号装置の特徴的な構成を示す構成図である。
【図４３】図４３は、実施の形態８に係る画像符号化装置の構成を示す構成図である。
【図４４】図４４は、実施の形態９に係るシステムＬＳＩの構成を示す構成図である。
【図４５】図４５は、実施の形態１０に係るシステムＬＳＩの構成を示す構成図である。
【図４６】図４６は、実施の形態１１に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図４７】図４７は、実施の形態１１に係るデジタル放送用システムの全体構成図である。
【図４８】図４８は、実施の形態１１に係るテレビの構成例を示すブロック図である。
【図４９】図４９は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。
【図５０】図５０は、光ディスクである記録メディアの構造例を示す図である。
【図５１】図５１は、画像復号処理を実現する集積回路を示す構成図である。
【図５２】図５２は、画像符号化処理を実現する集積回路を示す構成図である。
【図５３】図５３は、画像符号化処理および画像復号処理を実現する集積回路の構成例を示す構成図である。
【図５４Ａ】図５４Ａは、従来技術に係るスライスを示す図である。
【図５４Ｂ】図５４Ｂは、従来技術に係るストリームを示す図である。
【図５５Ａ】図５５Ａは、従来技術に係る参照可能なスライスを示す図である。
【図５５Ｂ】図５５Ｂは、従来技術に係るスライス内の処理順序を示す図である。
【図５５Ｃ】図５５Ｃは、従来技術に係る動作の概略を示す図である。
【発明を実施するための形態】
【００６１】
以下、本発明の実施の形態における画像復号装置について、図面を参照しながら説明する。
【００６２】
（実施の形態１）
（１−１．概要）
まず、本発明の実施の形態１における画像復号装置の概要について説明する。
【００６３】
本発明の実施の形態１における画像復号装置は、ＡＶ多重されたストリームからシステムデコーダによって分離されたビデオストリームを複数の復号部で読み出す。ビデオストリームは、あらかじめ複数の復号部で読み出すことができるように構成されている。複数の復号部が、復号結果の一部を、周辺情報メモリを介して互いに参照することによって、同期をとりながら復号を実行する。
【００６４】
以上が、本実施の形態の画像復号装置の概要についての説明である。
【００６５】
（１−２．構成）
次に、本実施の形態の画像復号装置の構成について説明する。
【００６６】
図１は、本実施の形態の画像復号装置の構成図である。本実施の形態の画像復号装置は、システムデコーダ１、ＣＰＢ（Ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）３、オーディオバッファ２、２つの可変長復号部４、５、２つの画素復号部６、７、周辺情報メモリ１０、および、フレームメモリ１１を備える。
【００６７】
システムデコーダ１は、オーディオのストリームとビデオのストリームとを分離する。ＣＰＢ３は、ビデオストリームをバッファリングする。オーディオバッファ２は、オーディオストリームをバッファリングする。２つの可変長復号部４、５は、それぞれ、可変長符号データを復号する。２つの画素復号部６、７は、それぞれ、逆周波数変換など画素単位の復号処理を行う。周辺情報メモリ１０は、周辺マクロブロックの復号に使用するための情報を格納する。フレームメモリ１１は、復号した画像データを格納する。
【００６８】
また、可変長復号部４と画素復号部６とをあわせて復号部８と呼び、可変長復号部５と画素復号部７とをあわせて復号部９と呼ぶ。
【００６９】
図２は、図１に示された２つの可変長復号部４、５の構成を示す構成図である。図１と同じ構成要素については、説明を省略する。可変長復号部４は、ストリームを格納するストリームバッファ１２、および、可変長符号データを復号する可変長復号処理部１４を備える。可変長復号部５は、同様に、ストリームバッファ１３、および、可変長復号処理部１５を備える。
【００７０】
図３は、図１に示された２つの画素復号部６、７の構成図である。図１または図２と同じ構成要素については説明を省略する。
【００７１】
画素復号部６は、逆量子化部１６、逆周波数変換部１７、再構成部１８、面内予測部１９、動きベクトル計算部２０、動き補償部２１およびデブロックフィルタ部２２を備える。
【００７２】
逆量子化部１６は、逆量子化処理を行う。逆周波数変換部１７は、逆周波数変換処理を行う。
【００７３】
再構成部１８は、逆周波数変換処理されたデータと、動き補償または面内予測された予測データとから画像を復元する。面内予測部１９は、面内の上および左から予測データを生成する。動きベクトル計算部２０は、動きベクトルを計算する。動き補償部２１は、動きベクトルが指す位置の参照画像を取得し、フィルタ処理することによって予測データを生成する。
【００７４】
デブロックフィルタ部２２は、再構成処理された画像データにブロックノイズを低減するフィルタ処理を行う。
【００７５】
なお、画素復号部７の内部は、画素復号部６と同じであるので図３では記載を省略している。
【００７６】
以上が、本実施の形態の画像復号装置の構成についての説明である。
【００７７】
（１−３．動作）
次に、図１、図２および図３で示した画像復号装置の動作について説明する。
【００７８】
図４Ａは、対象ピクチャの構造を示す図である。１つのピクチャは、複数のスライスに分割される。また、スライス間参照が可能である。スライスは、さらに、１６画素×１６画素で構成されるマクロブロックに分割される。このマクロブロックが、符号化処理または復号処理の処理単位である。
【００７９】
図４Ｂは、符号化されたピクチャのストリームの構成を示す図である。まず、スタートコードに続いて、ピクチャヘッダがある。次に、スタートコード、スライスヘッダ、および、スライスデータがある。このような一連のストリームで１ピクチャ分のストリームが構成される。
【００８０】
ピクチャヘッダには、Ｈ．２６４規格でのＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）並びにＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）などのピクチャ単位で付加される各種ヘッダの情報が示される。スタートコードは、同期語とも呼ばれ、スライスデータ等に出現しない特定のパターンで構成される。復号部は、ストリームを先頭から順にサーチすることでスタートコードを検出する。これにより、復号部は、ピクチャヘッダまたはスライスヘッダの開始位置を知ることができる。
【００８１】
図４Ｃは、スライス内のマクロブロックの処理順序を示す図である。スライス内の処理順序は、図４Ｃにおいて各マクロブロック内の数字で表される。このマクロブロックの位置をマクロブロック単位の座標で表すと、（０、０）、（１、０）、（０、１）、（２、０）、（１、１）、（０、２）、（３、０）、（２、１）、（１、２）という順序でジグザグに処理する。
【００８２】
本実施の形態で示されるピクチャの構造は、スライス間参照を許すスライスがあることと、スライス内の処理順序が異なること以外について、Ｈ．２６４規格と同様である。
【００８３】
図５Ａは、対象マクロブロックと周辺マクロブロックの参照関係を示す図である。対象マクロブロックのデコード時に、処理内容にもよるが、左、上、右上および左上の４つのマクロブロックが参照される。参照されるマクロブロックは、それぞれ、ｎＡ、ｎＢ、ｎＣおよびｎＤと呼ばれる。上マクロブロックについてはマクロブロック内の下側のデータが参照され、左マクロブロックについてはそのマクロブロック中の右側のデータが参照される。
【００８４】
本実施の形態の画像復号装置が復号するストリームでは、スライスの境界を超えてこのような参照が許されており、図５Ｂに示すように、スライス１のＭＢ０は、スライス０のＭＢ５およびＭＢ８を参照して復号される。
【００８５】
図６は、図１に示した画像復号装置の動作を示すフローチャートである。本実施の形態において、復号部８はスライス０およびスライス２を復号し、復号部９はスライス１およびスライス３を復号する。
【００８６】
可変長復号部４は、システムデコーダ１がＡＶ分離してＣＰＢ３に格納したビデオストリームをストリームバッファ１２に読み込む（Ｓ１０１）。
【００８７】
ストリームデータの可変長復号部４は、ストリームバッファ１２に読み込んだストリームデータからスタートコードをサーチする（Ｓ１０２）。スタートコードがなければ（Ｓ１０２でＮｏ）、スタートコードが見つかるまで、ストリームバッファ１２からストリームを読み出す。ストリームバッファ１２にストリームデータがなくなれば、ストリームがＣＰＢ３からストリームバッファ１２に転送される。ＣＰＢ３からストリームバッファ１２への転送については後で詳しく説明する。
【００８８】
スタートコードが見つかれば（Ｓ１０２でＹｅｓ）、可変長復号部４は、ヘッダのデコードを行う（Ｓ１０３）。そして、可変長復号部４は、ストリームが可変長復号部４で処理すべきヘッダおよびスライスであるか否かを判定する（Ｓ１０４）。可変長復号部４で処理すべきスライスは、図４Ａにおけるスライス０およびスライス２である。
【００８９】
ストリームが処理すべきスライスであれば（Ｓ１０４でＹｅｓ）、可変長復号処理部１４は、可変長復号処理（Ｓ１０５）を行い、画素復号処理（Ｓ１０６）を行う。スライスの全てのデータの復号が完了していなければ（Ｓ１０７でＮｏ）、続くデータの処理を行う（Ｓ１０５、Ｓ１０６）。
【００９０】
一方、ストリームが処理すべきスライスでない場合は（Ｓ１０４でＮｏ）、再度スタートコードをサーチし（Ｓ１０１、Ｓ１０２）、後の処理を繰り返す。
【００９１】
可変長復号部５は、可変長復号部４と同様に、図４Ａにおけるスライス１およびスライス３を復号する。
【００９２】
図７は、ＣＰＢ３から２つのストリームバッファ１２、１３への転送の動作を示す図である。
【００９３】
ＣＰＢ３には、システムデコーダ１から順次ＡＶ分離された１本のビデオストリームが入力される。１本のビデオストリームに対して可変長復号部は２つあるため、ビデオストリームは次のように制御される。
【００９４】
図７に示すように、ＣＰＢ３は、１つのリングバッファとして構成される。このリングバッファには、システムデコーダ１が書き込むための書き込みポインタと、２つのストリームバッファ１２、１３に転送するための２つの読み出しポインタとが用意される。
【００９５】
システムデコーダ１が書き込むための書き込みポインタは、リングバッファのアドレス０からアドレスＮに向かって順に移動する。したがって、システムデコーダ１は、アドレス０からアドレスＮに向かって順に、ビデオストリームを書き込む。そして、ＣＰＢ３は、書き込みポインタがアドレスＮに到達したらアドレス０に戻るというリングバッファとして、動作する。
【００９６】
また、書き込みポインタは、２つの読み出しポインタのいずれも追い越さないように制御される。例えば、書き込みポインタが読み出しポインタを追い越しそうな場合、ＣＰＢ３は、システムデコーダ１からＣＰＢ３への書き込みを停止し、読み出しポインタを追い越さないように制御する。
【００９７】
一方、読み出しポインタも、書き込みポインタと同様にリングバッファのアドレス０からアドレスＮに向かって順に移動する。したがって、２つのストリームバッファ１２、１３が、アドレス０からアドレスＮに向かって順にビデオストリームを読み出す。そして、ＣＰＢ３は、アドレスＮに到達したらアドレス０に戻るというリングバッファとして動作する。
【００９８】
このとき、読み出しポインタが書き込みポインタと等しいアドレスを指した場合、ＣＰＢ３は、有効なデータがないとみなして、ポインタを停止させ、２つのストリームバッファ１２、１３への転送を停止する。２つのストリームバッファ１２、１３への転送が停止され、２つのストリームバッファ１２、１３中のストリームデータもなくなると、２つの可変長復号部４、５は、処理すべきデータがなくなる。この場合、２つの可変長復号部４、５は、動作を停止し、新たなストリームデータの入力を待つ。
【００９９】
次に、可変長復号処理部１４による可変長符号データの復号処理（Ｓ１０５）の動作について、図８、図９および図１０を用いて説明する。
【０１００】
まず、可変長復号処理部１４は、周辺情報メモリ１０に可変長復号に必要なデータがあるか否かをチェックする（Ｓ００１）。
【０１０１】
チェックは、図１１に示す周辺情報メモリに記憶されている管理テーブルを用いて行われる。
【０１０２】
例えば、スライス０のＭＢ１の処理では、スライス０のＭＢ０のデータが周辺情報として必要になる。可変長復号処理部１４は、図１１に示す管理テーブルのスライス番号とマクロブロック番号を検索する。管理テーブルにスライス０のＭＢ０があり、スライス内参照フラグまたはスライス外参照フラグが１であれば、可変長復号処理部１４は、対応するメモリ領域番号を取得する。そして、可変長復号処理部１４は、メモリ領域番号に基づくメモリ領域から周辺情報を読み込むことができる。
【０１０３】
この時、可変長復号処理部１４は、スライス内から再度周辺情報を参照することがない場合、スライス内参照フラグを０に変更し、スライス外から再度周辺情報を参照することがない場合、スライス外参照フラグを０に変更する。例えば、可変長復号処理部１４は、スライス１のＭＢ５を参照して、スライス２のＭＢ１を処理した後、スライス１のＭＢ５を再度参照しない。この場合、可変長復号処理部１４は、スライス外参照フラグを０に変更する。
【０１０４】
周辺情報が再度参照されるか否かは、図５Ａおよび図５Ｂで示されたマクロブロックの参照関係から判断可能である。
【０１０５】
スライス内のマクロブロックは順次処理されるため、スライス内の周辺情報は必ず存在する。しかし、スライス外の周辺情報は、並行して動作する可変長復号処理部１５の動作状態によって、生成されていない場合がある。図９に示すように、周辺情報がない場合、可変長復号処理部１４は、可変長復号に必要な周辺情報が周辺情報メモリ１０に書き込まれるまで、常時または所定の時間間隔毎に管理テーブルを検索し続ける（Ｓ１２１）。
【０１０６】
必要な周辺情報が周辺情報メモリ１０に書き込まれていた場合、可変長復号処理部１４は、可変長復号演算処理を行う（Ｓ１１１）。
【０１０７】
次に、可変長復号処理部１４は、周辺情報メモリ１０へ周辺情報の書き込み処理を行う（Ｓ００２）。
【０１０８】
周辺情報の書き込み処理では、図１０に示すように、まず、可変長復号処理部１４は、周辺情報メモリに空き領域があるか否かをチェックする（Ｓ１３１）。図１１の管理テーブルにおいてスライス内参照フラグとスライス間参照フラグが共に０となっている領域は、空き領域として判断される。
【０１０９】
図１０に示すように、空き領域があれば（Ｓ１３１でＹｅｓ）、可変長復号処理部１４は、可変長復号処理の結果の一部である周辺情報を周辺情報メモリ１０に書き込む（Ｓ１３２）。また、可変長復号処理部１４は、管理テーブルにスライス番号およびマクロブロック番号を書き込む。
【０１１０】
また、可変長復号処理部１４は、周辺情報がスライス内で参照される場合、スライス内参照フラグとして１を書き込む。また、可変長復号処理部１４は、周辺情報がスライス間で参照される場合、スライス間参照フラグに１を書き込む。空き領域がなければ（Ｓ１３１でＮｏ）、可変長復号処理部１４は、常時または所定の時間間隔毎に管理テーブルを検索し続け、空き領域が発生次第、書き込み処理を行う。
【０１１１】
なお、スライス内またはスライス間で参照されるか否かは、図５Ａおよび図５Ｂで示されたマクロブロックの参照関係から判断可能である。
【０１１２】
このように管理テーブルを介して、可変長復号処理部１４と可変長復号処理部１５とは、相互に、周辺情報を書き込んだことを通知している。
【０１１３】
ここでは、管理テーブルを介して周辺情報の書き込みを通知しているが、可変長復号処理部１４と可変長復号処理部１５とは、直接、相互に信号を送ることにより、周辺情報の書き込みを通知してもよい。または、可変長復号処理部１４と可変長復号処理部１５とは、このような管理テーブルを介さず、常時または所定の時間間隔で周辺情報が書き込まれたか否かを確認してもよい。
【０１１４】
これにより、可変長復号処理部１４と可変長復号処理部１５とは、相互に、周辺情報を交換することができる。
【０１１５】
また、周辺情報メモリ１０は、図１１に示す管理テーブルと同様の構成の管理テーブルを後述の動きベクトル演算部、面内予測部、および、デブロックフィルタ部等のそれぞれに対応させて記憶してもよい。
【０１１６】
なお、上記に示した可変長復号処理部１４の動作は、可変長復号部４の動作として、置き換えることもできる。また、可変長復号処理部１５の動作は、可変長復号処理部１４の動作と同様である。また、可変長復号部５の動作は、可変長復号部４の動作と同様である。
【０１１７】
次に、画素復号部６の動作について、図１２および図１３に示すフローチャートを用いて説明する。
【０１１８】
逆量子化部１６は、可変長復号部４から入力されたデータを逆量子化する（Ｓ１４１）。そして、逆周波数変換部１７は、逆量子化されたデータを逆周波数変換する（Ｓ１４２）。
【０１１９】
デコードするマクロブロックがインターＭＢの場合（Ｓ１４３でＹｅｓ）は、動きベクトル計算部２０は、周辺情報メモリ１０に動きベクトル計算に必要な情報があるか否かをチェックする（Ｓ００１）。必要な情報がない場合、動きベクトル計算部２０は、周辺情報メモリ１０に必要な情報が書き込まれるまで待機する。この動作は、可変長復号処理部１４における周辺情報のチェック（Ｓ００１）の動作と同様である。
【０１２０】
必要な情報がある場合、動きベクトル計算部２０は、その情報を用いて、動きベクトルの演算を行う（Ｓ１４４）。
【０１２１】
図１４は、動きベクトルの演算の概略を示す図である。動きベクトル計算部２０は、周辺マクロブロックの動きベクトル値ｍｖＡ、ｍｖＢおよびｍｖＣの中間値から予測動きベクトル値ｍｖｐを算出する。そして、動きベクトル計算部２０は、ストリーム中の差分動きベクトル値ｍｖｄと、予測動きベクトル値ｍｖｐとを加算することによって動きベクトル値ｍｖを取得する。
【０１２２】
動きベクトル計算部２０は、動きベクトル計算が終わると、周辺情報メモリ１０に空き領域があるかチェックする（Ｓ００２）。この動作は、可変長復号処理部１４における周辺情報の書き込み（Ｓ００２）の動作と同様である。動きベクトル計算部２０は、空き領域があれば周辺情報メモリ１０に算出した動きベクトルを書き込み、なければ待機する。
【０１２３】
図１４では簡単のため、各マクロブロックに動きベクトルが１つある場合が示されている。しかし、実際には、動きベクトルが複数存在する場合もある。複数の動きベクトルのうち参照される動きベクトルは、上のマクロブロック内の下側の動きベクトルであり、左のマクロブロック内の右側の動きベクトルである。したがって、周辺情報メモリ１０に書き込まれる情報は、複数の動きベクトルのうち、後で参照される動きベクトルのみであってもよい。参照される動きベクトルのみに限定することにより周辺情報メモリ１０の容量を削減することが可能である。
【０１２４】
動き補償部２１は、算出された動きベクトルを用いてフレームメモリ１１から参照画像を取得し、フィルタ処理などの動き補償を行う（Ｓ１４６）。
【０１２５】
デコードするマクロブロックがイントラＭＢ（面内予測ＭＢ）の場合（Ｓ１４３でＮｏ）、面内予測部１９は、周辺情報メモリ１０に面内予測の計算に必要な情報があるか否かをチェックする（Ｓ００１）。面内予測部１９は、必要な情報がなければ周辺情報メモリ１０に必要な情報が書き込まれるまで待機する。この動作は、可変長復号処理部１４における周辺情報のチェック（Ｓ００１）の動作と同様である。
【０１２６】
面内予測部１９は、周辺情報メモリ１０に必要な情報があればその情報を用いて、面内予測を行う（Ｓ１４５）。なお、面内予測モードにもよるが、面内予測には、周辺情報として、図１５に示すようにｎＡ、ｎＢ、ｎＣおよびｎＤの再構成処理後の画素データが必要になる。
【０１２７】
動き補償（Ｓ１４６）または面内予測（Ｓ１４５）の処理が終わると、再構成部１８は、生成された予測画像データと、逆周波数変換した差分データとを加算し（Ｓ１４７）、再構成画像を取得する。
【０１２８】
次に、周辺情報メモリ１０に空き領域があるかチェックする（Ｓ００２）。この動作は、可変長復号処理部１４における周辺情報の書き込み（Ｓ００２）の動作と同様である。再構成部１８は、空き領域があれば再構成処理（Ｓ１４７）で生成した再構成画像を周辺情報メモリ１０に書き込み、なければ待機する。
【０１２９】
ここで周辺情報メモリ１０に書き込む再構成画像は、マクロブロックの全ての再構成画像ではなく、後で参照されるマクロブロックの下側１ラインまたは右側１列のみであってもよい。参照される再構成画像のみにすることにより周辺情報メモリ１０の容量を削減することが可能である。
【０１３０】
次に、デブロックフィルタ部２２は、周辺情報メモリ１０にデブロックフィルタ処理に必要なデータがあるか否かをチェックする（Ｓ００１）。必要なデータがなければ、デブロックフィルタ部２２は、周辺情報メモリ１０に必要なデータが書き込まれるまで待機する。この動作は、可変長復号処理部１４における周辺情報のチェック（Ｓ００１）の動作と同様である。
【０１３１】
デブロックフィルタ部２２は、必要なデータがあればそのデータを用いてデブロックフィルタ処理（Ｓ１４８）を行い、フレームメモリ１１に復号画像を書き込む。
【０１３２】
デブロックフィルタ部２２は、デブロックフィルタ処理が終わると、周辺情報メモリ１０に空き領域があるかチェックする（Ｓ００２）。この動作は、可変長復号処理部１４における周辺情報の書き込み（Ｓ００２）の動作と同様である。デブロックフィルタ部２２は、空き領域があれば周辺情報メモリ１０に算出したデブロックフィルタ結果を書き込む。そして、画素復号部６は、処理を終了する。
【０１３３】
ここで周辺情報メモリ１０に書き込むデブロックフィルタ結果は、マクロブロック内の全てのデブロックフィルタ結果ではなく、後で参照されるマクロブロックの下側または右側の部分のみであってもよい。参照されるデブロックフィルタ結果のみにすることにより周辺情報メモリ１０の容量を削減することが可能である。
【０１３４】
画素復号部７の動作は、画素復号部６の動作と同様である。
【０１３５】
次に、復号部８の動作と周辺情報メモリ１０に格納されるデータの動きを、図１６を用いて説明する。図１６は、復号部９が動作を停止している場合を示している。また、横軸は、時間を示し、縦軸は周辺情報メモリのメモリ領域の番号を示している。そして、点線の四角は、デコード中のマクロブロック番号を示し、実線の四角は、参照用に保持されているマクロブロック番号を示している。
【０１３６】
復号部８は、ＭＢ０を復号する時、ＭＢ０のデータを周辺情報メモリに書き込む。復号部８は、ＭＢ１を復号する時、周辺情報メモリにあるＭＢ０のデータを参照しながらＭＢ１を復号する。
【０１３７】
ＭＢ５が復号される時、ＭＢ０のデータは後で参照されないため、ＭＢ０のデータが記憶されていた領域は空き領域となる。そして、ＭＢ５から参照されるＭＢ２およびＭＢ４のデータが、周辺情報メモリ１０に記憶されている。また、後続のマクロブロックから参照されるＭＢ１およびＭＢ３のデータが、周辺情報メモリ１０に記憶されている。
【０１３８】
スライス外から参照されるＭＢ５、ＭＢ８、ＭＢ１１、ＭＢ１４およびＭＢ１７のデータは、復号部９の動作によって、参照されなくなるタイミングが変化する。図１６の例では、復号部９が停止しているとしているため、ＭＢ５、ＭＢ８、ＭＢ１１、ＭＢ１４およびＭＢ１７のデータは、周辺情報メモリに、保持され続ける。
【０１３９】
次に、復号部８と復号部９の動作を、図１７Ａを用いて説明する。
【０１４０】
図１７Ａの例では、復号部８と復号部９が同時に復号を開始し、それぞれのマクロブロックの復号処理にかかる時間は、同一である。復号部８によって復号されるスライス０は、ピクチャの最も上であるので、他のスライスを参照しない。したがって、復号部８は、周辺情報メモリ１０へデータを書き込むことができれば、データを読み出すための待機時間なしで、スライス０を復号できる。
【０１４１】
一方、復号部９は、スライス１のＭＢ０を復号するため、復号部８が復号するスライス０のＭＢ５およびＭＢ８のデータを必要とする。したがって、復号部８と復号部９が同時に復号を開始しても、復号部８がＭＢ８の復号を終えるまで、復号部９は、処理を待機する。また、復号部９は、スライス１のＭＢ１を復号するため、スライス０のＭＢ１１のデータを必要とする。したがって、復号部９は、スライス０のＭＢ１１が復号されるまで処理を待機する。結果として、復号部９がＭＢ４を復号する時以降、処理待ちはなくなる。ただし、復号部９は、復号部８と比べて１２ＭＢ分遅延して、スライス１を復号する。
【０１４２】
図１７Ｂは、復号部８が復号部９に比べて常に２倍の速度で復号できる場合の動作を示す図である。復号部８は、図１７Ａと同様に、他のスライスを参照することがないため、高速にスライス０を復号する。復号部９は、復号部８の結果を待つ。ただし、図１７Ａの場合と比べて、待ち時間は小さくなる。
【０１４３】
実際には、復号部８および復号部９が各マクロブロックを処理するための処理時間には、揺らぎがある。しかし、復号部８および復号部９は、周辺情報メモリ１０を利用して、復号処理が可能な時に、復号処理を実行する。これにより、待ち時間が削減され、復号部８および復号部９は、効率よく復号を行うことができる。
【０１４４】
以上が、画像復号装置の動作についての説明である。
【０１４５】
（１−４．特徴的な要素）
次に、本実施の形態に係る特徴的な要素について説明する。
【０１４６】
図１８Ａは、図１に示された画像復号装置の特徴的な構成を示す構成図である。
【０１４７】
図１８Ａに示された画像復号装置は、第１復号部８０１、第２復号部８０２および第１記憶部８１１を備える。第１復号部８０１、第２復号部８０２および第１記憶部８１１は、それぞれ、図１に示された復号部８、復号部９および周辺情報メモリ１０によって実現される。図１８Ａに示された画像復号装置は、複数のスライスを有する画像を復号する。
【０１４８】
第１復号部８０１は、複数のスライスのうち第１スライスに含まれるブロックを復号する処理部である。
【０１４９】
第２復号部８０２は、複数のスライスのうち、第１スライスとは異なる第２スライスに含まれるブロックを復号する処理部である。
【０１５０】
第１記憶部８１１は、復号に用いられるスライス間周辺情報を記憶するための記憶部である。スライス間周辺情報は、第１スライスに含まれるブロックのうち第２スライスに隣接するブロックである境界ブロックが復号されることによって生成される。そして、スライス間周辺情報は、第２スライスに含まれるブロックのうち境界ブロックに隣接するブロックであるスライス間周辺ブロックが復号される時に参照される。
【０１５１】
なお、隣接する場合として、上下左右に隣接する場合のみに限られず、斜め方向に隣接する場合も含まれる。
【０１５２】
第１復号部８０１は、境界ブロックを復号することによって生成されるスライス間周辺情報を第１記憶部８１１に格納する。
【０１５３】
第２復号部８０２は、第１記憶部８１１に記憶されたスライス間周辺情報を参照して、スライス間周辺ブロックを復号する。
【０１５４】
図１８Ｂは、図１８Ａに示された画像復号装置の特徴的な動作を示すフローチャートである。
【０１５５】
まず、第１復号部８０１は、複数のスライスのうち、第１スライスに含まれるブロックを復号する。この時、第１復号部８０１は、境界ブロックを復号することによって生成されるスライス間周辺情報を第１記憶部８１１に格納する（Ｓ８１１）。
【０１５６】
次に、第２復号部８０２は、複数のスライスのうち、第１スライスとは異なる第２スライスに含まれるブロックを復号する。この時、第２復号部８０２は、第１記憶部８１１に格納されたスライス間周辺情報を参照して、スライス間周辺ブロックを復号する（Ｓ８１２）。
【０１５７】
なお、スライス内でのみ参照される情報は、第１記憶部８１１に記憶されてもよいし、別の記憶部に記憶されてもよい。
【０１５８】
以上が、本実施の形態に係る特徴的な要素についての説明である。
【０１５９】
（１−５．効果）
このように実施の形態１では、２つの復号部８、９と周辺情報メモリ１０とが配置される。そして、周辺情報メモリ１０には、参照に必要なデータのみが格納される。参照されなくなったデータは廃棄され、新たに参照に必要なデータが書き込み可能になる。これにより、周辺情報メモリ１０の容量が削減される。
【０１６０】
また、必要な情報が周辺情報メモリ１０に記憶されることにより、２つの復号部８、９は、互いに必要な情報を共有しながら、それぞれが独立して動作できる。そして、周辺情報メモリ１０の容量が十分に確保されることにより、２つの復号部８、９において待ち時間がより削減され、並行処理の動作効率が向上する。これにより、画像復号装置の動作周波数が低い場合でも、高速に画像が復号される。
【０１６１】
（１−６．補足）
なお、本実施の形態において、可変長符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、算術符号、ハフマン符号またはランレングス符号などの他の符号化方式であってもかまわない。
【０１６２】
また、本実施の形態において、復号部の数は、２つであった。しかし、復号部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０１６３】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０１６４】
また、本実施の形態において、周辺情報メモリの管理テーブルが、構成の一例として示されている。しかし、データの管理に用いられる構成は、参照されないデータの領域を開放し、参照データを書き込める構成であれば、どのような構成であってもよい。
【０１６５】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合、管理テーブルは１つだけでもよい。
【０１６６】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０１６７】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０１６８】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０１６９】
また、本実施の形態において、１つの周辺情報メモリに、算術復号、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０１７０】
また、本実施の形態において、２つの復号部が同時に処理を開始している。しかし、２つの復号部が同時に処理を開始する必要はなく、一方が遅れて開始してもかまわない。
【０１７１】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０１７２】
（実施の形態２）
（２−１．概要）
次に、本発明の実施の形態２における画像復号装置の概要について説明する。
【０１７３】
本実施の形態は、可変長符号化方式の１つとしてＨ．２６４規格で採用されているＣＡＶＬＣ（Ｃｏｎｔｅｘｔ  Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）符号に対応した形態である。
【０１７４】
以上が、本実施の形態における画像復号装置の概要についての説明である。
【０１７５】
（２−２．構成）
本実施の形態の画像復号装置の構成は、実施の形態１の構成と同様である。
【０１７６】
（２−３．動作）
次に、本実施の形態の動作について、実施の形態１の動作の説明に用いた図８を用いて説明する。実施の形態１と比較して、動作の違いは、可変長復号演算処理（Ｓ１１１）である。
【０１７７】
図１９は、実施の形態２に係る符号化テーブルの一例を示す図である。図１９に示されたｎＣは、周辺マクロブロックの非０係数の個数である。
【０１７８】
可変長復号演算処理（Ｓ１１１）では、図１９に示された例のように、周辺マクロブロックの非０係数の個数ｎＣに応じて、テーブル列が切り替えられる。場合によって異なるが、典型的な場合では、左のブロックの非０係数の個数ｎＡと、上のブロックの非０係数の個数ｎＢとの平均値でｎＣが算出される。
【０１７９】
２つの可変長復号処理部１４、１５は、それぞれ、ｎＡおよびｎＢを周辺情報メモリ１０から読み出す。そして、２つの可変長復号処理部１４、１５は、それぞれ、ｎＣを計算することにより、テーブル列を切り替えて、対象マクロブロックを可変長復号する。つまり、図１９に示された例では、ＴｒａｉｌｉｎｇＯｎｅｓおよびＴｏｔａｌＣｏｅｆｆが復号される。
【０１８０】
この方式の詳細については非特許文献１に詳しく述べられているので説明を省略する。
【０１８１】
（２−４．効果）
このように実施の形態２における画像復号装置は、実施の形態１の構成を用いて、Ｈ．２６４規格で規定されるＣＡＶＬＣ符号に対応できる。
【０１８２】
（２−５．補足）
なお、本実施の形態において、Ｈ．２６４におけるＣＡＶＬＣ符号データの復号処理が、例として示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、他の符号化方式であってもかまわない。
【０１８３】
また、本実施の形態において、復号部の数は、２つであった。しかし、復号部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０１８４】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０１８５】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合、管理テーブルは１つだけでよい。
【０１８６】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０１８７】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０１８８】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０１８９】
また、本実施の形態において、１つの周辺情報メモリに、算術復号、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０１９０】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０１９１】
（実施の形態３）
（３−１．概要）
次に、本発明の実施の形態３における画像復号装置の概要について説明する。
【０１９２】
本実施の形態では、可変長符号化方式が算術符号である。可変長復号部が算術復号部を備えることで、本実施の形態における画像復号装置は算術復号にも対応する。
【０１９３】
以上が、本実施の形態における画像復号装置の概要についての説明である。
【０１９４】
（３−２．構成）
次に、本実施の形態の画像復号装置の構成について説明する。
【０１９５】
図２０は、本実施の形態の画像復号装置における可変長復号部の構成図である。図２０において図２と同じ構成要素は、説明を省略する。本実施の形態における可変長復号部４は、算術符号に対応し、算術復号を行う算術復号部２３、および、多値化処理を行う多値化部２５を備える。同様に、可変長復号部５は、算術復号部２４および多値化部２６を備える。
【０１９６】
（３−３．動作）
図２１は、図２０に示した可変長復号部の動作を示すフローチャートである。
【０１９７】
まず、２つの算術復号部２３、２４は、それぞれ、周辺情報メモリ１０に算術符号データの復号に必要なデータがあるかをチェックする（Ｓ００１）。この処理は、実施の形態１と同様である。
【０１９８】
次に、２つの算術復号部２３、２４は、それぞれ、算術復号の演算処理を行う（Ｓ３０１）。
【０１９９】
２つの算術復号部２３、２４は、それぞれ、算術復号の演算処理において、図２２および図２３に示すように、周辺マクロブロックから生成された２値信号発生確率を用いて、入力されたビットから２値化された各シンタックスの値を算出する。本処理は、非特許文献１に示される算術復号処理そのものと同じであるので説明を省略する。
【０２００】
次に、２つの多値化部２５、２６は、それぞれ、２値化されて算術復号処理部から出力されたデータを多値化する（Ｓ３０２）。多値化の方式には、図２４に示された方式があるが、非特許文献１に示されている方式と同じであるので説明を省略する。
【０２０１】
最後に、２つの多値化部２５、２６は、それぞれ、多値化処理されたデータのうち他のマクロブロックの復号時に参照されるデータを周辺情報メモリ１０に書き込む（Ｓ００２）。この処理は、実施の形態１と同様である。
【０２０２】
算術復号で利用される値であって、周辺情報メモリ１０に格納する値は、非特許文献１に記載されているように、ｍｂ＿ｓｋｉｐ＿ｆｌａｇ、ｍｂ＿ｔｙｐｅ、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ、ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｄ＿ｌ０およびｍｖｄ＿ｌ１等がある。なお、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎとは、非ゼロ係数の有無を示す係数情報である。
【０２０３】
（３−４．効果）
このように実施の形態３の画像復号装置は、実施の形態１と同様の構成を用いて、算術符号に対応できる。算術符号では、処理時間のマクロブロック毎の揺らぎが他の可変長復号方式に比べて大きい。そのため、空き時間の削減による処理の効率化、および、動作周波数の低減化が、顕著になる。
【０２０４】
（３−５．補足）
なお、本実施の形態において、Ｈ．２６４に規定された算術符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、Ｈ．２６４に規定された算術符号化方式以外の方式であってもかまわない。
【０２０５】
また、本実施の形態において、復号部の数は、２つであった。しかし、復号部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０２０６】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０２０７】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合、管理テーブルは１つだけでもよい。
【０２０８】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０２０９】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０２１０】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０２１１】
また、本実施の形態において、１つの周辺情報メモリに、算術復号、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０２１２】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０２１３】
（実施の形態４）
（４−１．概要）
次に、本発明の実施の形態４における画像復号装置の概要について説明する。
【０２１４】
本実施の形態では、実施の形態１で示された周辺情報メモリが、スライス内周辺情報メモリとスライス間周辺情報メモリとの２つに分割される。１つの復号部のみがアクセスするスライス内周辺情報メモリと、複数の復号部がアクセスするスライス間周辺情報メモリとに分割されることにより、メモリの管理が容易になる。また、２つの復号部が非同期にアクセスするメモリが分離されることにより、性能の補償が容易になる。
【０２１５】
以上が、本実施の形態における画像復号装置の概要についての説明である。
【０２１６】
（４−２．構成）
次に、本実施の形態の画像復号装置の構成について説明する。
【０２１７】
図２５は、本実施の形態の画像復号装置の構成図である。図１と同じ構成要素は説明を省略する。本実施の形態の画像復号装置は、異なるスライスから参照される情報を格納するためのスライス間周辺情報メモリ２９を備える。また、本実施の形態の画像復号装置は、同じスライスから参照される情報を格納するための２つのスライス内周辺情報メモリ２７、２８を備える。
【０２１８】
図２６は、本実施の形態の可変長復号部の構成図である。図２または図２５と同じ構成要素は説明を省略する。
【０２１９】
図２７は、本実施の形態の画素復号部である。図３または図２５と同じ構成要素は説明を省略する。
【０２２０】
実施の形態１で示された周辺情報メモリ１０が、２つのスライス内周辺情報メモリ２７、２８と、スライス間周辺情報メモリ２９とに分離されている。それ以外について、図２５、図２６および図２７に示された構成は、図１、図２および図３に示された構成と同様である。２つのスライス内周辺情報メモリ２７、２８に記憶される情報は、スライス内でのみ参照される情報に限定される。スライス間周辺情報メモリ２９に記憶される情報は、スライス間でのみ参照される情報に限定される。
【０２２１】
なお、メモリへのアクセスを分散させるため、スライス内周辺情報メモリ２７は、復号部９からアクセスできないメモリであることが好ましい。また、スライス内周辺情報メモリ２８は、復号部８からアクセスできないメモリであることが好ましい。そのため、スライス間周辺情報メモリ２９、および、２つのスライス内周辺情報メモリ２７、２８は、物理的に別個のメモリであることが好ましい。
【０２２２】
例えば、スライス内周辺情報メモリ２７は、復号部８からのみアクセス可能であり、スライス内周辺情報メモリ２８は、復号部９からのみアクセス可能であってもよい。そして、復号部８が、スライス内周辺情報メモリ２７を備え、復号部９が、スライス内周辺情報メモリ２８を備えてもよい。
【０２２３】
しかし、複雑な構成をさけるため、スライス間周辺情報メモリ２９、および、２つのスライス内周辺情報メモリ２７、２８は、物理的に１個のメモリであって、論理的に区分されていてもよい。
【０２２４】
以上が、本実施の形態における画像復号装置の構成についての説明である。
【０２２５】
（４−３．動作）
次に、本実施の形態の画像復号装置の動作について説明する。
【０２２６】
本実施の形態の画像復号装置の動作は、周辺情報のチェック（Ｓ００１）および周辺情報の書き込み（Ｓ００２）以外において、図６、図８、図１２および図１３に示された実施の形態１の動作と同様である。
【０２２７】
可変長復号部４における周辺情報のチェック（Ｓ００１）の動作の詳細を、図２８を用いて説明する。
【０２２８】
まず、可変長復号部４は、対象マクロブロックがスライス間参照するか否かをチェックする（Ｓ４０１）。スライス内で参照されるデータは、マクロブロックの処理の順序から、必ずスライス内周辺情報メモリ２７に存在する。したがって、対象マクロブロックがスライス間参照をしない場合（Ｓ４０１でＮｏ）、必要なデータは必ず存在するので、可変長復号部４はチェックを終了する。
【０２２９】
対象マクロブロックがスライス間参照する場合、可変長復号部４は、スライス間周辺情報メモリ２９に必要な情報があるかをチェックする（Ｓ４０２）。もし情報がなければ（Ｓ４０２でＮｏ）、可変長復号部４は、可変長復号部５から情報が書き込まれるまで待機する。そして、情報が書き込まれた後、可変長復号部４は、チェックの処理を終了し、次の処理を実行する。
【０２３０】
次に、周辺情報メモリへの書き込み（Ｓ００２）の動作の詳細を、図２９を用いて説明する。ここでは、スライス内周辺情報メモリ２７およびスライス間周辺情報メモリ２９への書き込みについて説明する。
【０２３１】
まず、可変長復号部４は、スライス内周辺情報メモリ２７にスライス内で参照される情報を書き込む（Ｓ４１１）。
【０２３２】
次に、可変長復号部４は、復号したデータがスライス間参照されるか否かを判断する（Ｓ４１２）。
【０２３３】
復号したデータがスライス間参照されることがない場合（Ｓ４１２でＮｏ）、可変長復号部４は、書き込み処理を終了する。
【０２３４】
復号したデータがスライス間参照される場合（Ｓ４１２でＹｅｓ）、可変長復号部４は、スライス間周辺情報メモリ２９に空き領域があるかをチェックする（Ｓ４１３）。
【０２３５】
空き領域がなければ（Ｓ４１３でＮｏ）、可変長復号部４は、空き領域ができるまで待機する。
【０２３６】
空き領域があれば（Ｓ４１３でＹｅｓ）、可変長復号部４は、他のマクロブロックから参照される情報をスライス間周辺情報メモリ２９に書き込む（Ｓ１４４）。
【０２３７】
なお、可変長復号部５は、可変長復号部４と同様の動作をする。また、２つの画素復号部６、７も、２つの可変長復号部４，５と同様に、スライス間周辺情報メモリ２９と２つのスライス内周辺情報メモリ２７、２８を用いて、ブロックを復号する。
【０２３８】
次に、スライス内周辺情報メモリ２７とスライス間周辺情報メモリ２９へのデータの格納方法を説明する。
【０２３９】
図３０Ａは、スライス内周辺情報メモリ２７のデータを示す図である。
【０２４０】
スライス内周辺情報メモリ２７には８つのメモリ領域が設けられている。ＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）３ビットで、８つのメモリ領域のうち、データが格納されているメモリ領域が一意に決まる。したがって、８つのメモリ領域が設けられることにより、メモリ領域の判定が容易になる。
【０２４１】
スライス内において、マクロブロックの処理順序は、順番に復号できるよう定められている。したがって、スライス内周辺情報メモリ２７の容量が十分にあれば、必ず周辺情報は存在し、スライス内周辺情報メモリ２７に書き込まれている。
【０２４２】
また、８つのメモリ領域が設けられた場合、スライス内周辺情報を８つのメモリ領域より多く保持する必要はない。したがって、不要になった領域を順に書きつぶしていけばよい。すなわち、可変長復号部４は、データを書き込めない場合がないため、図２９のフローチャートに示したように、必ずスライス内周辺情報メモリ２７に書き込むことができる（Ｓ４１１）。
【０２４３】
なお、同様に、スライス内周辺情報メモリ２８にも、可変長復号部５等によってデータが書き込まれる。
【０２４４】
図３０Ｂは、スライス間周辺情報メモリ２９のデータを示す図である。
【０２４５】
スライス間周辺情報メモリ２９には、マクロブロック番号の小さいものから順にデータが格納される。また、データが読み出される場合も、マクロブロック番号の小さいものから順にデータが読み出される。データがランダムにアクセスされることがないため、書き込みと読み出しのポインタの制御によって、必要なデータがあるかのチェック（Ｓ００１）および書き込むための空き領域があるかのチェック（Ｓ００２）が可能である。
【０２４６】
図３１Ａおよび図３１Ｂは、スライス間周辺情報メモリ２９のポインタの動きを示す図である。
【０２４７】
復号部９がスライス１のＭＢ０を処理している時、読み出しポインタは−１とする。また、復号部９は、スライス１のＭＢ０を処理するため、復号部８が処理するスライス０のＭＢ５およびＭＢ８のデータを必要とする。
【０２４８】
復号部８は、書き込みポインタを用いて、スライス間周辺情報メモリ２９に書き込む。復号部８がスライス０のＭＢ０を処理する時、書き込みポインタは０である。そして、復号部８がＭＢ５を処理した後、書き込みポインタは１となる。また、復号部８がＭＢ８を処理した後、書き込みポインタは２となる。このように、スライス間周辺情報メモリ２９にデータが書き込まれる毎に、書き込みポインタがカウントアップする。
【０２４９】
そして、スライス間周辺情報メモリ２９からデータが読み出される毎に、読み出しポインタがカウントアップする。
【０２５０】
スライス間で参照されるマクロブロックの数は、最大で３つである。したがって、書き込みポインタと読み出しポインタの差が３以上あれば、復号部９はマクロブロックを処理できる。すなわち、差が３以上あれば、スライス間周辺情報メモリ２９に復号に必要なデータがあるとみなされる。また、読み出しポインタを書き込みポインタが追い越すことがなければ、空き領域があるとみなされる。そのため、書き込みポインタは、読み出しポインタを追い越さないように制御される。
【０２５１】
このように、ポインタの管理によって、管理テーブルを用いることなく、書き込みと読み出しが制御される。
【０２５２】
また、スライス間周辺情報メモリ２９は、リングバッファとして構成されている。したがって、バッファの最大値つまりバッファの最後までポインタが進むと、ポインタはバッファの先頭に戻る。スライス間周辺情報メモリ２９は、複数の復号部の動作タイミングのずれに比例した容量が必要である。
【０２５３】
図４Ａに示された４つのスライスが処理される場合、スライス１における１つのマクロブロックは、スライス０における最大で３つのマクロブロックのデータを参照する。したがって、スライス０とスライス１との参照関係に基づいて、スライス間周辺情報メモリ２９には、少なくとも３マクロブロックのデータが格納される必要がある。
【０２５４】
また、復号部８は、スライス０を処理している間、スライス２を処理できない。したがって、その間、スライス１のデータが確保されなければならない。そのため、スライス間周辺情報メモリ２９は、スライス１とスライス２との参照関係に基づいて、１マクロブロックラインのデータが格納できることが好ましい。
【０２５５】
スライス間周辺情報メモリ２９の容量が大きい場合、処理速度のずれの吸収幅が大きい。一方、容量が小さい場合、処理速度のずれの吸収幅が小さい。したがって、コストの範囲で容量を大きくするほうが、性能の向上は容易である。
【０２５６】
（４−４．特徴的な要素）
次に、本実施の形態に係る特徴的な要素について説明する。
【０２５７】
図３２は、図２５に示された画像復号装置の特徴的な構成を示す構成図である。
【０２５８】
図３２に示された画像復号装置は、第１復号部８０１、第２復号部８０２、第１記憶部８１１、第２記憶部８１２および第３記憶部８１３を備える。第１復号部８０１、第２復号部８０２、第１記憶部８１１、第２記憶部８１２および第３記憶部８１３は、それぞれ、図２５に示された復号部８、復号部９、スライス間周辺情報メモリ２９および２つのスライス内周辺情報メモリ２７、２８によって実現される。図３２に示された画像復号装置は、複数のスライスを有する画像を復号する。
【０２５９】
第１復号部８０１は、複数のスライスのうち第１スライスに含まれるブロックを復号する処理部である。
【０２６０】
第２復号部８０２は、複数のスライスのうち、第１スライスとは異なる第２スライスに含まれるブロックを復号する処理部である。
【０２６１】
第１記憶部８１１は、スライス間周辺情報を記憶するための記憶部である。
【０２６２】
上記の構成要素は、図１８Ａに示された実施の形態１に係る画像復号装置の構成要素と同様である。図３２に示された画像復号装置では、さらに、第２記憶部８１２および第３記憶部８１３が追加されている。
【０２６３】
第２記憶部８１２は、第１復号部８０１によって用いられる第１スライス内周辺情報を記憶するための記憶部である。第１スライス内周辺情報は、第１スライスに含まれるブロックのうちいずれかのブロックである第１スライス内ブロックが復号されることによって生成される。また、第１スライス内周辺情報は、第１スライスに含まれるブロックのうち第１スライス内ブロックに隣接するブロックである第１スライス内周辺ブロックが復号される時に参照される。
【０２６４】
第１復号部８０１は、第１スライス内ブロックを復号することによって生成される第１スライス内周辺情報を第２記憶部８１２に格納する。そして、第１復号部８０１は、第２記憶部８１２に格納された第１スライス内周辺情報を参照して、第１スライス内周辺ブロックを復号する。
【０２６５】
第３記憶部８１３は、第２復号部８０２によって用いられる第２スライス内周辺情報を記憶するための記憶部である。第２スライス内周辺情報は、第２スライスに含まれるブロックのうちいずれかのブロックである第２スライス内ブロックが復号されることによって生成される。また、第２スライス内周辺情報は、第２スライスに含まれるブロックのうち第２スライス内ブロックに隣接するブロックである第２スライス内周辺ブロックが復号される時に参照される。
【０２６６】
第２復号部８０２は、第２スライス内ブロックを復号することによって生成される第２スライス内周辺情報を第３記憶部８１３に格納する。そして、第２復号部８０２は、第３記憶部８１３に格納された第２スライス内周辺情報を参照して、第２スライス内周辺ブロックを復号する。
【０２６７】
なお、第１記憶部８１１、第２記憶部８１２および第３記憶部８１３は、アクセスの集中を避けるため、物理的に別個の記憶部であってもよいし、複雑な構成にならないように、論理的に区分された物理的に１個の記憶部でもよい。
【０２６８】
以上が、本実施の形態に係る特徴的な要素についての説明である。
【０２６９】
（４−５．効果）
実施の形態１、実施の形態２および実施の形態３では、図１１に示す管理テーブルによって空き領域が検出され、必要なデータが周辺情報メモリにあるか否かが判定された。本実施の形態では、周辺情報メモリが、スライス内周辺情報メモリとスライス間周辺情報メモリに分割される。これにより、管理テーブルを用いることなくポインタの比較という簡単な処理で、周辺情報メモリに必要なデータがあるか否かが判定され、また空き領域があるか否かが判定される。
【０２７０】
また、２つの復号部８、９は、それぞれ他方の処理を待たずに、スライス内周辺情報メモリを用いて、スライス境界に隣接しないブロックを復号することができる。したがって、動作効率が向上し、処理速度が向上する。
【０２７１】
（４−６．補足）
なお、本実施の形態において、２つのスライス内周辺情報メモリ２７、２８には、それぞれ、８つのメモリ領域が設けられている。しかし、メモリ領域の数は８つである必要はなく、情報の格納に必要な領域以上あればいくつであっても構わない。
【０２７２】
また、本実施の形態では、２つのスライス内周辺情報メモリ２７、２８には、左側のマクロブロックとして参照される場合と上側のマクロブロックとして参照される場合を区別せずに、データが保持されている。しかし、左側のマクロブロックとして参照される場合と上側のマクロブロックとして参照される場合とで情報が異なる場合、それらの情報が、それぞれ区別されて、メモリなどの記憶素子に格納されてもよい。
【０２７３】
また、本実施の形態において、可変長符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、算術符号、ハフマン符号またはランレングス符号などの他の符号化方式であってもかまわない。
【０２７４】
また、本実施の形態において、復号部の数は、２つであった。しかし、復号部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０２７５】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０２７６】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合は、管理テーブルは１つだけでよい。
【０２７７】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０２７８】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０２７９】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０２８０】
また、本実施の形態において、１つの周辺情報メモリに、算術復号、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０２８１】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０２８２】
（実施の形態５）
（５−１．概要）
次に、本発明の実施の形態５における画像復号装置の概要について説明する。
【０２８３】
本実施の形態では、実施の形態４のスライス間周辺情報メモリが２つに分割される。分割されることによりアクセスが分散され、メモリの構成が容易になるとともに、復号部の数を増加させる事が容易になる。
【０２８４】
以上が、本実施の形態における画像復号装置の概要についての説明である。
【０２８５】
（５−２．構成）
次に、本実施の形態の画像復号装置の構成について説明する。
【０２８６】
図３３は、本実施の形態の画像復号装置の構成図である。図２５と同じ構成要素は説明を省略する。本実施の形態の画像復号装置は、異なるスライスから参照される情報を格納するための２つのスライス間周辺情報メモリ５０、５１を備える。
【０２８７】
以上が、本実施の形態における画像復号装置の構成についての説明である。
【０２８８】
（５−３．動作）
本実施の形態における動作は、実施の形態４の動作と同様であるので、図２８と図２９を用いて説明する。図２８において、復号部８は、復号に使用するデータをチェックする時（Ｓ４０２）、復号部９によって管理されているスライス間周辺情報メモリ５１のデータをチェックする。また、図２９において、復号部８は、復号結果のデータを書き込む時（Ｓ４１４）、復号部８によって管理されているスライス間周辺情報メモリ５０にデータを書き込む。
【０２８９】
一方、図２８において、復号部９は、復号に使用するデータをチェックする時（Ｓ４０２）、復号部８によって管理されているスライス間周辺情報メモリ５０のデータをチェックする。また、図２９において、復号部９は、復号結果のデータを書き込む時（Ｓ４１４）、復号部９によって管理されているスライス間周辺情報メモリ５１にデータを書き込む。
【０２９０】
ここで、それぞれの復号部が、書き込む先のスライス間周辺情報メモリを管理するとしたが、読み出し先を管理するとしてもよい。
【０２９１】
（５−４．効果）
実施の形態４では、１つのスライス間周辺情報メモリに複数の復号部がアクセスする構成が示されている。しかし、復号部が増加した場合、スライス間周辺情報メモリにアクセスが集中し、メモリ管理が難しくなる。本実施の形態の構成は、スライス間周辺情報メモリをそれぞれの復号部に持たせる構成である。これにより、１つのスライス間周辺情報メモリにアクセスする復号部は、隣接するスライスを処理する復号部だけになる。したがって、アクセスが集中することがなく、メモリ管理が容易になる。
【０２９２】
（５−５．補足）
なお、本実施の形態において、可変長符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、算術符号、ハフマン符号またはランレングス符号などの他の符号化方式であってもかまわない。
【０２９３】
また、本実施の形態において、復号部の数は、２つであった。しかし、復号部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０２９４】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０２９５】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合、管理テーブルは１つだけでもよい。
【０２９６】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０２９７】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０２９８】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等の他の記憶素子でもかまわない。
【０２９９】
また、本実施の形態において、１つの周辺情報メモリに、算術復号、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０３００】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０３０１】
（実施の形態６）
（６−１．概要）
次に、本発明の実施の形態６における画像符号化装置の概要について説明する。
【０３０２】
本実施の形態における画像符号化装置は、画像を複数の符号化部で符号化し、ビデオストリームに変換する。さらに、システムエンコーダは、別途符号化されたオーディオストリームとＡＶ多重して出力する。符号化したビデオストリームは、複数の復号部で読み出すことができるように構成される。
【０３０３】
また、複数の符号化部は、周辺情報メモリを介して、符号化パラメータおよび局所復号（ローカルデコード）結果の一部を互いに参照する。そして、複数の符号化部は、同期をとりながら、画像を符号化する。
【０３０４】
以上が、本実施の形態における画像符号化装置の概要についての説明である。
【０３０５】
（６−２．構成）
次に、本実施の形態の画像符号化装置の構成について説明する。
【０３０６】
図３４は、本実施の形態の画像符号化装置の構成図である。本実施の形態の画像符号化装置は、フレームメモリ１１１と、２つの画素符号化部１０４、１０５と、２つの可変長符号化部１０６、１０７と、周辺情報メモリ１１０と、２つのＣＰＢ１３１、１３２と、オーディオバッファ１０２と、システムエンコーダ１０１とを備える。
【０３０７】
フレームメモリ１１１は、入力画像および局所復号画像を格納する。２つの画素符号化部１０４、１０５は、それぞれ、フレームメモリの画像の一部を切り出し符号化する。２つの可変長符号化部１０６、１０７は、それぞれ、可変長符号化処理を行う。周辺情報メモリ１１０は、符号化に使用する周辺マクロブロックの情報を格納する。
【０３０８】
２つのＣＰＢ１３１、１３２は、それぞれ、可変長符号化されたストリームをバッファリングする。すなわち、ＣＰＢ１３１は、符号化部１０８によって生成されたストリームをバッファリングし、ＣＰＢ１３２は、符号化部１０９によって生成されたストリームをバッファリングする。オーディオバッファ１０２は、別途符号化されたオーディオストリームをバッファリングする。システムエンコーダ１０１は、オーディオのストリームとビデオのストリームをＡＶ多重化する。
【０３０９】
また、画素符号化部１０４と可変長符号化部１０６とをあわせて符号化部１０８と呼び、画素符号化部１０５と可変長符号化部１０７とをあわせて符号化部１０９と呼ぶ。
【０３１０】
図３５は、図３４に示された２つの可変長符号化部１０６、１０７の構成を示す構成図である。図３４と同じ構成要素については、説明を省略する。可変長符号化部１０６は、ストリームを格納するストリームバッファ１１２、および、入力データを可変長符号化する可変長符号化処理部１１４を備える。同様に、可変長符号化部１０７は、ストリームバッファ１１３および可変長符号化処理部１１５を備える。
【０３１１】
図３６は、図３４に示された２つの画素符号化部１０４、１０５の構成図である。図３４または図３５と同じ構成要素については説明を省略する。
【０３１２】
画素符号化部１０４は、動き検出部１３８と、動き補償部１２１と、面内予測部１１９と、差分計算部１３３と、周波数変換部１３４と、量子化部１３５と、逆量子化部１１６と、逆周波数変換部１１７と、再構成部１１８と、デブロックフィルタ部１２２を備える。
【０３１３】
動き検出部１３８は、動き検出を行う。動き補償部１２１は、動き検出によって得られた動きベクトルを用いて、動き補償を行うことにより、予測画像を生成する。面内予測部１１９は、面内予測を行い、予測画像を生成する。差分計算部１３３は、入力画像と予測画像の差分を生成する。
【０３１４】
周波数変換部１３４は、周波数変換を行う。量子化部１３５は、生成符号量に応じて目標ビットレートに合うように量子化を行う。逆周波数変換部１１７は、逆量子化を行う逆量子化部１１６と、逆周波数変換を行う。再構成部１１８は、予測画像と逆周波数変換結果から再構成を行う。デブロックフィルタ部１２２は、再構成した復号結果にデブロックフィルタ処理を行う。
【０３１５】
なお、画素符号化部１０５の構成は、画素符号化部１０４と同様の構成であるので図３６では記載を省略している。
【０３１６】
以上が、本実施の形態における画像符号化装置の構成についての説明である。
【０３１７】
（６−３．動作）
次に、図３４、図３５および図３６で示した画像符号化装置の動作について説明する。
【０３１８】
本実施の形態においても、図４Ｂに示された実施の形態１のストリームの構造、図４Ｃに示された実施の形態１のマクロブロックの処理順序を使用する。また、実施の形態１と同様に、ピクチャの構造は、スライス間参照を許すスライスがあることと、スライス内の処理順序が異なること以外はＨ．２６４規格と同じである。同様に、マクロブロック間の参照関係は、図５Ａと同じである。また、符号化部１０８は、スライス０およびスライス２を符号化し、符号化部１０９はスライス１およびスライス３を符号化する。
【０３１９】
次に、図３４に示した画像符号化装置の符号化部１０８の動作を図３７のフローチャートを用いて説明する。図３７は、１ピクチャの符号化動作を示すフローチャートである。
【０３２０】
符号化部１０８は、まず、先頭スライスを処理するかを判定する（Ｓ６０１）。符号化部１０８は、先頭スライスを処理する場合（Ｓ６０１でＹｅｓ）、スタートコードを含むピクチャヘッダを生成する（Ｓ６０２）。生成されたピクチャヘッダはＣＰＢ１３１に書き込まれる。
【０３２１】
次に、符号化部１０８は、処理するスライスのスライスヘッダを生成する（Ｓ６０３）。
【０３２２】
次に、符号化部１０８の画素符号化部１０４は、マクロブロック単位に画素符号化処理（Ｓ６０４）を実行する。そして、符号化部１０８の可変長符号化部１０６は、可変長符号化処理（Ｓ６０５）を実行する。
【０３２３】
画素符号化処理、および、可変長符号化処理の後、スライスの全てのデータの符号化が完了していなかったら（Ｓ６０６でＮｏ）、符号化部１０８の画素符号化部１０４は、再度マクロブロック単位の画素符号化処理（Ｓ６０４）を実行する。
【０３２４】
スライスの全てのデータの符号化が終わっていたら（Ｓ６０６でＹｅｓ）、符号化部１０８は、ピクチャの中で符号化部１０８が担当する全てのスライスの符号化が終わっているか否か判定する（Ｓ６０７）。
【０３２５】
全てのスライスの符号化が終わっていなければ（Ｓ６０７でＮｏ）、符号化部１０８は、再度スライスヘッダを生成する（Ｓ６０３）。符号化が終わっていれば（Ｓ６０７でＹｅｓ）、符号化部１０８はピクチャの符号化処理を終える。
【０３２６】
符号化部１０９の動作は、担当するスライスが異なること以外は、符号化部１０８の動作と同様である。
【０３２７】
次に、図３７の画素符号化処理（Ｓ６０４）について、図３８を用いて説明する。
【０３２８】
まず、画素符号化部１０４の動き検出部１３８は、以前に局所復号したピクチャと、符号化するマクロブロックの最も相関の高い部分を検出する動き検出処理を行う（Ｓ６１１）。
【０３２９】
次に、画素符号化部１０４は、面内予測部１１９での面内予測処理のため、周辺情報をチェックする（Ｓ００１）。周辺情報のチェック（Ｓ００１）の処理は、図９に示された実施の形態１の処理と同様である。
【０３３０】
面内予測部１１９は、図１５に示す周辺マクロブロックの画像を用いて、面内予測画像を生成する（Ｓ６１２）。
【０３３１】
次に、差分計算部１３３は、動き検出によるインターＭＢと、面内予測によるイントラＭＢとのどちらの符号量が小さくなるかを判定し、符号化モードを決定する。そして、差分計算部１３３は、予測画像と符号化するマクロブロックの差分データを算出する（Ｓ６１３）。
【０３３２】
インターＭＢの場合（Ｓ６１４でＹｅｓ）は、差分計算部１３３は、周辺情報をチェックする（Ｓ００１）。周辺情報のチェック（Ｓ００１）の処理は、図９に示された実施の形態１の処理と同様である。
【０３３３】
差分計算部１３３は、差分動きベクトルの計算に必要なデータが周辺情報メモリ１１０にあれば、差分動きベクトルの計算を行う（Ｓ６１５）。差分動きベクトルの計算は、実施の形態１の図１４におけるｍｖｄを算出すればよいので、説明を省略する。
【０３３４】
差分計算部１３３は、差分動きベクトルの計算の後、決定した動きベクトルを周辺情報メモリ１１０に書き込むために、周辺情報の書き込みの処理を行う（Ｓ００２）。周辺情報の書き込みの処理は、実施の形態１と同様である。
【０３３５】
次に、周波数変換部１３４は、差分計算部１３３で算出した差分データを周波数変換する（Ｓ６１６）。
【０３３６】
次に、量子化部１３５は、周波数変換したデータを量子化する（Ｓ６１７）。この時、量子化部１３５は、可変長符号化部１０６が算出する生成符号量から量子化パラメータを決定し、データを量子化する。
【０３３７】
生成符号量が、あらかじめ決められたスライス単位の目標符号量に比べて大きくなることが予想される場合、量子化部１３５は、量子化幅を大きくすることにより、生成符号量を下げる。一方、目標符号量に比べて小さくなることが予想される場合、量子化部１３５は、量子化幅を小さくすることにより、生成符号量を大きくする。このように、フィードバック制御を行うことにより、符号量が、目標符号量に近づくように、制御される。
【０３３８】
ここで、符号化ストリーム生成のための画素符号化処理は完了する。しかし、参照画像を画像復号装置側と一致させるため、局所復号の処理が実行される。次に、局所復号処理について説明する。
【０３３９】
局所復号では、まず、逆量子化部１１６が、量子化されたデータを逆量子化する（Ｓ６１８）。
【０３４０】
次に、逆周波数変換部１１７は、逆量子化されたデータを逆周波数変換する（Ｓ６１９）。
【０３４１】
インターＭＢの場合、再構成部１１８は、逆周波数変換されたデータと、インターＭＢの場合は動き検出部１３８が生成した参照画像とから、再構成処理を行う（Ｓ６２０）。イントラＭＢの場合、再構成部１１８は、逆周波数変換されたデータと、面内予測部１１９が生成した参照画像とから、再構成処理を行う（Ｓ６２０）。
【０３４２】
再構成処理が終わった後、次のマクロブロックの面内予測処理のため、再構成部１１８は、周辺情報の書き込み処理を行う（Ｓ００２）。周辺情報の書き込み処理は、実施の形態１と同様である。
【０３４３】
次に、デブロックフィルタ部１２２は、デブロックフィルタのための周辺情報のチェックを行う（Ｓ００１）。
【０３４４】
処理に必要な周辺情報があれば、デブロックフィルタ部１２２は、デブロックフィルタを行い、結果をフレームメモリ１１１に格納する（Ｓ６２１）。
【０３４５】
デブロックフィルタ部１２２は、デブロックフィルタの処理が終わると、周辺情報の書き込み処理を行う（Ｓ００２）。これにより、画素符号化部１０４は、画素符号化処理を完了する。
【０３４６】
画素符号化部１０５の処理は、画素符号化部１０４の処理と同様である。
【０３４７】
次に、可変長符号化部１０６の処理を、図３９を用いて説明する。
【０３４８】
まず、可変長符号化部１０６は、周辺情報をチェックする（Ｓ００１）。必要な周辺情報が周辺情報メモリ１１０になければ、可変長符号化部１０６は、書き込まれるまで処理を待機する。必要な周辺情報があれば、可変長符号化部１０６は、画素符号化部１０４から入力されたデータを可変長符号化する（Ｓ６３１）。次に、可変長符号化部１０６は、可変長符号化した結果を周辺情報メモリ１１０に書き込む（Ｓ００２）。
【０３４９】
可変長符号化部１０７の動作は、可変長符号化部１０６の動作と同様である。
【０３５０】
以上のように、実施の形態１の画像復号装置と同様に、２つの符号化部が、周辺情報メモリを介して、同期して動作することにより、画像を符号化する。
【０３５１】
以上が、本実施の形態における画像符号化装置の動作について説明である。
【０３５２】
（６−４．特徴的な要素）
次に、本実施の形態に係る特徴的な要素について説明する。
【０３５３】
図４０Ａは、図３４に示された画像符号化装置の特徴的な構成を示す構成図である。
【０３５４】
図４０Ａに示された画像符号化装置は、第１符号化部８２１、第２符号化部８２２および第１記憶部８３１を備える。第１符号化部８２１、第２符号化部８２２および第１記憶部８３１は、それぞれ、図３４に示された符号化部１０８、符号化部１０９および周辺情報メモリ１１０によって実現される。図４０Ａに示された画像符号化装置は、複数のスライスを有する画像を符号化する。
【０３５５】
第１符号化部８２１は、複数のスライスのうち第１スライスに含まれるブロックを符号化する処理部である。
【０３５６】
第２符号化部８２２は、複数のスライスのうち、第１スライスとは異なる第２スライスに含まれるブロックを符号化する処理部である。
【０３５７】
第１記憶部８３１は、スライス間周辺情報を記憶するための記憶部である。ここで、スライス間周辺情報は、第１スライスに含まれるブロックのうち第２スライスに隣接するブロックである境界ブロックが符号化されることによって生成される。また、スライス間周辺情報は、第２スライスに含まれるブロックのうち境界ブロックに隣接するブロックであるスライス間周辺ブロックが符号化される時に参照される。
【０３５８】
第１符号化部８２１は、境界ブロックを符号化することによって生成されるスライス間周辺情報を第１記憶部８３１に格納する。
【０３５９】
第２符号化部８２２は、第１記憶部８３１に記憶されたスライス間周辺情報を参照して、スライス間周辺ブロックを符号化する。
【０３６０】
図４０Ｂは、図４０Ａに示された画像符号化装置の特徴的な動作を示すフローチャートである。
【０３６１】
まず、第１符号化部８２１は、複数のスライスのうち、第１スライスに含まれるブロックを符号化する。この時、第１符号化部８２１は、境界ブロックを符号化することによって生成されるスライス間周辺情報を第１記憶部８３１に格納する（Ｓ８２１）。
【０３６２】
次に、第２符号化部８２２は、複数のスライスのうち、第１スライスとは異なる第２スライスに含まれるブロックを符号化する。この時、第２符号化部８２２は、第１記憶部８３１に記憶されたスライス間周辺情報を参照して、スライス間周辺ブロックを符号化する（Ｓ８２２）。
【０３６３】
なお、スライス内でのみ参照される情報は、第１記憶部８３１に記憶されてもよいし、別の記憶部に記憶されてもよい。
【０３６４】
以上が、本実施の形態に係る特徴的な要素についての説明である。
【０３６５】
（６−５．効果）
このように実施の形態６の画像符号化装置は、実施の形態１と同様に、２つの符号化部１０８、１０９および周辺情報メモリ１１０を備える。そして、周辺情報メモリ１１０には、参照に必要なデータのみが格納される。参照されなくなったデータを廃棄し、新たに参照に必要なデータが書き込み可能になる。これにより、周辺情報メモリ１１０の容量が削減される。
【０３６６】
また、周辺情報メモリ１１０の容量が十分に確保されることにより、２つの符号化部１０８、１０９の処理の待ち時間が削減され、より効率のよい符号化が可能になる。そして、画像符号化装置の動作周波数が低い場合でも、並行処理によって、高速に画像が符号化される。
【０３６７】
（６−６．補足）
なお、本実施の形態において、実施の形態１に示した画像復号装置と同様の周辺情報メモリの構成を例にとりあげて説明したが、その他の実施の形態に示したような構成でもかまわない。
【０３６８】
また、本実施の形態において、可変長符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、算術符号、ハフマン符号またはランレングス符号などの他の符号化方式であってもかまわない。
【０３６９】
また、本実施の形態において、符号化部の数は、２つであった。しかし、符号化部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０３７０】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０３７１】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合は、管理テーブルは１つだけでもよい。
【０３７２】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０３７３】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０３７４】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０３７５】
また、本実施の形態において、１つの周辺情報メモリに、算術符号化、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０３７６】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０３７７】
（実施の形態７）
（７−１．概要）
次に、本発明の実施の形態７における画像復号装置の概要について説明する。
【０３７８】
本実施の形態における画像復号装置は、ＡＶ多重されたストリームからシステムデコーダによって分離されたビデオストリームを複数の復号部で読み出す。ビデオストリームは、あらかじめ複数の復号部で、読み出すことができるように構成されている。
【０３７９】
本実施の形態における画像復号装置は、前段で可変長復号処理を行い、復号結果を一旦バッファリングする。そして、本実施の形態における画像復号装置は、後段で画素復号処理を行う。
【０３８０】
このように構成することにより、可変長復号処理の演算時間の揺らぎが大きい場合でも、バッファによって、全体の処理時間が平均化される。したがって、より効率的に復号処理が実行される。
【０３８１】
以上が、本実施の形態の画像復号装置の概要についての説明である。
【０３８２】
（７−２．構成）
次に、本実施の形態の画像復号装置の構成について説明する。
【０３８３】
図４１は本実施の形態の画像復号装置の構成図である。本実施の形態の画像復号装置は、可変長復号部４から出力されるデータを一時格納し、画素復号部６から参照されるデータを記憶するデータバッファ３６を備える。また、本実施の形態の画像復号装置は、可変長復号部５から出力されるデータを一時格納し、画素復号部７から参照されるデータを記憶するデータバッファ３７を備える。その他の構成要素については、図１に示された実施の形態１と同様である。
【０３８４】
以上が本実施の形態における画像復号装置の構成についての説明である。
【０３８５】
（７−３．動作）
次に、本実施の形態の画像復号装置の動作について説明する。
【０３８６】
本実施の形態における画像復号装置の動作は、実施の形態１の動作と同様である。ただし、２つの可変長復号部４、５から出力されるデータは、そのまま、２つの画素復号部６、７に渡されるのではなく、一旦、２つのデータバッファ３６、３７に格納される。２つのデータバッファ３６、３７は、２つの可変長復号部４、５の処理が継続する間に出力されるデータに比べて、十分な容量がある。これにより、処理時間が平均化される。
【０３８７】
また、２つの可変長復号部４、５の処理時間は、基本的にはそのビット量に比例する。Ｈ．２６４では、ストリームの平均ビットレートが２０Ｍｂｐｓ程度であって、フレームレートが１秒間に３０フレームである場合、ピクチャあたりのビット量は、０．６７Ｍｂｉｔ程度である。
【０３８８】
しかし、実際には、ピクチャあたりのビット量は、これに比べ１０倍程度まで、許容されている。一方、平均ビットレートは２０Ｍｂｐｓ程度であるため、ビット量が最大であるピクチャの次のピクチャは、小さなビット量となる。したがって、ピクチャ単位の処理時間の変動が大きくなる。そのため、動作周波数を向上させなければ、円滑な復号処理が実現できない。
【０３８９】
本実施の形態における画像復号装置は、ピクチャ単位の処理時間を平均化させることで、動作周波数を向上させることなく、円滑な復号処理を実現する。
【０３９０】
なお、各復号部に割り当てられるスライスの符号量の合計は、均等である方が、各復号部の要求性能が、抑制される。
【０３９１】
（７−４．特徴的な要素）
次に、本実施の形態に係る特徴的な要素について説明する。
【０３９２】
図４２は、図４１に示された画像復号装置の特徴的な構成を示す構成図である。
【０３９３】
図４２に示された画像復号装置は、第１復号部８０１、第２復号部８０２、第１記憶部８１１、第１データバッファ８４１、第２データバッファ８４２、第１画素復号部８５１および第２画素復号部８５２を備える。第１復号部８０１、第２復号部８０２、第１記憶部８１１、第１データバッファ８４１、第２データバッファ８４２、第１画素復号部８５１および第２画素復号部８５２は、それぞれ、図４１に示された復号部８、復号部９、周辺情報メモリ１０、２つのデータバッファ３６、３７、および、２つの画素復号部６、７によって実現される。図４２に示された画像復号装置は、複数のスライスを有する画像を復号する。
【０３９４】
第１復号部８０１は、複数のスライスのうち第１スライスに含まれるブロックを復号する処理部である。
【０３９５】
第２復号部８０２は、複数のスライスのうち、第１スライスとは異なる第２スライスに含まれるブロックを復号する処理部である。
【０３９６】
第１記憶部８１１は、スライス間周辺情報を記憶するための記憶部である。
【０３９７】
上記の構成要素は、図１８Ａに示された実施の形態１に係る画像復号装置の構成要素と同様である。図４２に示された画像復号装置では、さらに、第１データバッファ８４１、第２データバッファ８４２、第１画素復号部８５１および第２画素復号部８５２が追加されている。
【０３９８】
第１データバッファ８４１および第２データバッファ８４２は、データを記憶するための記憶部である。
【０３９９】
第１復号部８０１は、第１スライスに含まれるブロックを可変長復号する。そして、第１復号部８０１は、可変長復号されたデータを第１データバッファ８４１に格納する。
【０４００】
第１画素復号部８５１は、第１データバッファ８４１に格納されたデータを画素値に変換する。
【０４０１】
第２復号部８０２は、第２スライスに含まれるブロックを可変長復号する。そして、第２復号部８０２は、可変長復号されたデータを第２データバッファ８４２に格納する。
【０４０２】
第２画素復号部８５２は、第２データバッファ８４２に格納されたデータを画素値に変換する。
【０４０３】
なお、第２復号部８０２は、第２スライスに含まれるブロックを可変長復号し、第１データバッファ８４１に可変長復号されたデータを格納してもよい。そして、第２復号部８０２によって可変長復号されたデータは、第１画素復号部８５１によって画素値に変換されてもよい。
【０４０４】
以上が、本実施の形態に係る特徴的な要素についての説明である。
【０４０５】
（７−５．効果）
本実施の形態に係る画像復号装置は、可変長復号部の処理時間が、画素復号部の処理時間に比べて著しく大きい場合においても、２つのデータバッファ３６、３７により、処理時間を平均化させることができる。したがって、本実施の形態に係る画像復号装置は、動作周波数が低い場合でも、円滑に画像を復号できる。
【０４０６】
（７−６．補足）
本実施の形態において、実施の形態１に示した画像復号装置と同様の周辺情報メモリの構成を例にとりあげて説明したが、他の実施の形態に示したような構成でもかまわない。
【０４０７】
また、データバッファの容量を削減するため、または、データバッファへのアクセスバンド幅を削減するため、可変長復号部が可変長復号したデータを圧縮し、画素復号部が画素復号する前に圧縮されたデータを伸長してもよい。
【０４０８】
また、本実施の形態において、復号部の数は、２つであった。しかし、復号部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０４０９】
また、本実施の形態において、可変長復号部の数が２つ、画素復号部の数が２つである。しかし、可変長復号部の数と画素復号部の数が異なっていても良い。例えば、可変長復号部の数が１つであり、画素復号部の数が２つであってもよく、それらの数は、性能を満たす範囲で自由に決定される。
【０４１０】
なお、本実施の形態において、可変長符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、算術符号、ハフマン符号またはランレングス符号などの他の符号化方式であってもかまわない。
【０４１１】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０４１２】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合、管理テーブルは１つだけでよい。
【０４１３】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０４１４】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０４１５】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０４１６】
また、本実施の形態において、１つの周辺情報メモリに、算術復号、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０４１７】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０４１８】
（実施の形態８）
（８−１．概要）
次に、本発明の実施の形態８における画像符号化装置の概要について説明する。
【０４１９】
本実施の形態における画像符号化装置は、画像を複数の符号化部で符号化し、ビデオストリームに変換する。さらに、システムエンコーダは、別途符号化されたオーディオストリームとＡＶ多重して出力する。符号化したビデオストリームは、複数の復号部で読み出すことができるように構成される。
【０４２０】
また、複数の符号化部は、周辺情報メモリを介して、符号化パラメータおよび局所復号結果の一部を互いに参照する。そして、複数の符号化部は、同期をとりながら、画像を符号化する。
【０４２１】
本実施の形態における画像符号化装置は、前段で画素符号化を行い、符号化結果を一旦バッファリングする。そして、本実施の形態における画像符号化装置は、後段で可変長符号化処理を行う。
【０４２２】
このように構成することにより、可変長符号化処理の演算時間の揺らぎが大きい場合でも、バッファによって、全体の処理時間が平均化される。したがって、より効率的に符号化処理が実行される。
【０４２３】
以上が、本実施の形態における画像符号化装置の概要についての説明である。
【０４２４】
（８−２．構成）
次に、本実施の形態の画像符号化装置の構成について説明する。
【０４２５】
図４３は、本実施の形態の画像符号化装置の構成図である。本実施の形態の画像符号化装置は、画素符号化部１０４から出力されるデータを一時格納し、可変長符号化部１０６から参照されるデータを記憶するデータバッファ１３６を備える。同様に、本実施の形態の画像符号化装置は、画素符号化部１０５から出力されるデータを一時格納し、可変長符号化部１０７から参照されるデータを記憶するデータバッファ１３７を備える。その他の構成要素は、図３４に示された実施の形態６の構成要素と同様である。
【０４２６】
以上が本実施の形態における画像符号化装置の構成についての説明である。
【０４２７】
（８−３．動作）
次に、本実施の形態の画像符号化装置の動作について説明する。
【０４２８】
本実施の形態における画像符号化装置の動作は、実施の形態６の動作と同様である。ただし、２つの画素符号化部１０４、１０５の出力は、そのまま、２つの可変長符号化部１０６、１０７に渡されるのではなく、一旦、２つのデータバッファ１３６、１３７に格納される。２つのデータバッファ１３６、１３７は、２つの可変長符号化部１０６、１０７の処理が継続する間に格納されるデータに比べて、十分な容量がある。これにより、処理時間が平均化される。
【０４２９】
また、２つの可変長符号化部１０６、１０７の処理時間は、基本的にはそのビット量に比例する。Ｈ．２６４では、ストリームの平均ビットレートが２０Ｍｂｐｓ程度であって、フレームレートが１秒間に３０フレームである場合、ピクチャあたりのビット量は、０．６７Ｍｂｉｔ程度である。
【０４３０】
しかし、実際には、ピクチャあたりのビット量は、これに比べ１０倍程度まで、許容されている。一方、平均ビットレートは２０Ｍｂｐｓ程度であるため、ビット量が最大であるピクチャの次のピクチャは、小さなビット量となる。したがって、ピクチャ単位の処理時間の変動が大きくなる。そのため、動作周波数を向上させなければ、円滑な符号化処理が実現できない。
【０４３１】
本実施の形態における画像符号化装置は、ピクチャ単位の処理時間を平均化させることで、動作周波数を向上させることなく、円滑な符号化処理を実現する。
【０４３２】
なお、各符号化部に割り当てられるスライスの符号量の合計は、均等である方が、各符号化部の要求性能が、抑制される。
【０４３３】
（８−４．効果）
本実施の形態に係る画像符号化装置は、可変長符号化部の処理時間が、画素符号化部の処理時間に比べて著しく大きい場合においても、２つのデータバッファ１３６、１３７により、処理時間を平均化させることができる。したがって、本実施の形態に係る画像符号化装置は、動作周波数が低い場合でも、円滑に画像を符号化できる。
【０４３４】
（８−５．補足）
本実施の形態において、実施の形態６に示した画像符号化装置と同様の周辺情報メモリの構成を例にとりあげて説明したが、他の実施の形態に示したような構成でもかまわない。
【０４３５】
また、データバッファの容量を削減するため、または、データバッファへのアクセスバンド幅を削減するために、画素符号化部が画素符号化したデータを圧縮し、可変長符号化部が可変長符号化する前に圧縮されたデータを伸長してもよい。
【０４３６】
また、本実施の形態において、可変長符号化部の数が２つ、画素符号化部の数が２つである。しかし、可変長符号化部の数と画素符号化部の数が異なっていても良い。例えば、可変長符号化部の数が１つであり、画素符号化部の数が２つであってもよく、それらの数は、性能を満たす範囲で自由に決定される。
【０４３７】
また、本実施の形態において、符号化部の数は、２つであった。しかし、符号化部の数は、２つに限るものではなく、３つまたは４つあるいはさらに大きな数であってもよい。
【０４３８】
また、本実施の形態において、可変長符号化方式への適用例が示された。しかし、符号化方式は、周辺マクロブロックのデータを参照する符号化方式であれば、算術符号、ハフマン符号またはランレングス符号などの他の符号化方式であってもかまわない。
【０４３９】
また、本実施の形態において、スライスの垂直方向のマクロブロック数は、３つであった。しかし、スライスの垂直方向のマクロブロック数は、３つに限定されるものではなく、少なくても多くてもよい。また、ピクチャ内のスライスの数は、本実施の形態において４つであったが、いくつでもかまわない。
【０４４０】
また、本実施の形態において、周辺情報のチェックおよび周辺情報の書き込みは、各処理の前後に行われている。しかし、マクロブロック単位にまとめて周辺情報のチェックおよび周辺情報の書き込みが行われてもよい。このようにマクロブロック単位にまとめる場合、管理テーブルは１つだけでもよい。
【０４４１】
また、本実施の形態において、スライス間で参照すること以外の処理は、Ｈ．２６４の例が示されている。しかし、符号化方式は、周辺マクロブロックの情報を参照して、符号化する符号化方式であれば、ＭＰＥＧ２、ＭＰＥＧ４、または、ＶＣ−１等のどのような方式であってもかまわない。
【０４４２】
また、本実施の形態において、対象マクロブロックが、左、上、右上、左上の４つのマクロブロックを参照している。しかし、参照されるマクロブロックは、左のみ、あるいは左と上のみなどであっても構わない。また、処理によって、参照されるマクロブロックが変わっても構わない。
【０４４３】
また、本実施の形態において、情報を格納する要素はメモリである。しかし、情報を格納する要素は、フリップフロップ等、他の記憶素子でもかまわない。
【０４４４】
また、本実施の形態において、１つの周辺情報メモリに、算術符号化、動きベクトル計算、面内予測、および、デブロックフィルタなどに用いられる全ての周辺情報が、記憶されている。しかし、それぞれの周辺情報が、別のメモリに記憶されてもよいし、フリップフロップなどの記憶素子に記憶されてもよい。
【０４４５】
また、周辺情報メモリに書き込む動きベクトル、再構成画像、または、デブロックフィルタ結果等のデータは、マクロブロックの全てのデータであってもよいし、後で参照されるものだけにしてもよい。これにより、周辺情報メモリの容量がより削減される。
【０４４６】
（実施の形態９）
次に、本発明の実施の形態９における画像復号装置について説明する。
【０４４７】
本実施の形態は、実施の形態１に示した画像復号装置を、典型的には半導体集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現した形態である。
【０４４８】
図４４は、本実施の形態の画像復号装置の構成図である。
【０４４９】
これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０４５０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサ等を利用しても良い。
【０４５１】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。
【０４５２】
さらに加えて、本実施の形態の画像復号装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラ、または、カーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶ディスプレイ、ＰＤＰ（プラズマディスプレイパネル）、有機ＥＬなどのフラットディスプレイ、または、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。
【０４５３】
また、本実施の形態は、システムＬＳＩとＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）の構成を示したが、ｅＤＲＡＭ（ｅｍｂｅｄｄｅｄ  ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）またはハードディスクなど他の記憶装置で構成してもかまわない。
【０４５４】
（実施の形態１０）
次に、本発明の実施の形態１０における画像符号化装置について説明する。
【０４５５】
本実施の形態は、実施の形態６に示した画像符号化装置を、典型的には半導体集積回路であるＬＳＩとして実現した形態である。
【０４５６】
図４５は、本実施の形態の画像符号化装置の構成図である。
【０４５７】
これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０４５８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０４５９】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。
【０４６０】
さらに加えて、本実施の形態の画像符号化装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラ、または、デジタルスチルカメラ等における撮像手段として、本発明を利用することが可能である。
【０４６１】
また、本実施の形態は、システムＬＳＩとＤＲＡＭの構成を示したが、ｅＤＲＡＭ、ＳＲＡＭまたはハードディスクなど他の記憶装置で構成してもかまわない。
【０４６２】
（実施の形態１１）
上記各実施の形態で示した画像符号化方法および画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０４６３】
さらに、ここで、上記各実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。
【０４６４】
図４６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。
【０４６５】
このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。
【０４６６】
しかし、コンテンツ供給システムｅｘ１００は、図４６のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０４６７】
カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０４６８】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。
【０４６９】
なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０４７０】
また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０４７１】
また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０４７２】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。
【０４７３】
なお、コンテンツ供給システムｅｘ１００の例に限らず、図４７に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。
【０４７４】
また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。
【０４７５】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。
【０４７６】
図４８は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。
【０４７７】
また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。
【０４７８】
インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。
【０４７９】
テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。
【０４８０】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。
【０４８１】
次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。
【０４８２】
なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０４８３】
また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。
【０４８４】
また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。
【０４８５】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４９に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。
【０４８６】
光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。
【０４８７】
システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０４８８】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０４８９】
図５０に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。
【０４９０】
情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。
【０４９１】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０４９２】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４８に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。
【０４９３】
このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【０４９４】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０４９５】
（実施の形態１２）
本実施の形態では、実施の形態１に示した画像復号装置および実施の形態６に示した画像符号化装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図５１および図５２に示す。画像復号装置の各構成要素は、図５１に示されたＬＳＩ上に構成され、画像符号化装置の各構成要素は、図５２に示されたＬＳＩ上に構成される。
【０４９６】
これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０４９７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０４９８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。
【０４９９】
さらに加えて、本実施の形態の画像復号装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。
【０５００】
また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ  ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携してもかまわない。
【０５０１】
（実施の形態１３）
上記各実施の形態で示した画像符号化装置、画像復号装置、画像符号化方法および画像復号方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図５３に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０５０２】
例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ  Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。
【０５０３】
また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。
【０５０４】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０５０５】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０５０６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０５０７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０５０８】
以上、各実施の形態における画像符号化装置および画像復号装置は、スライス境界をまたぐ空間依存を利用できる。したがって、効率的な並行処理が実現される。
【０５０９】
なお、本発明に係る画像符号化装置および画像復号装置について、複数の実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。各実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、複数の実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０５１０】
また、本発明は、画像符号化装置および画像復号装置として実現できるだけでなく、画像符号化装置および画像復号装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記憶媒体として実現できる。
【産業上の利用可能性】
【０５１１】
本発明の画像復号装置および画像符号化装置は、様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器および撮像機器に利用可能であり、利用価値が高い。
【符号の説明】
【０５１２】
１    システムデコーダ
２、１０２    オーディオバッファ
３、１３１、１３２    ＣＰＢ
４、５    可変長復号部
６、７    画素復号部
８、９    復号部
１０、１１０    周辺情報メモリ
１１、１１１    フレームメモリ
１２、１３、１１２、１１３    ストリームバッファ
１４、１５    可変長復号処理部
１６、１１６    逆量子化部
１７、１１７    逆周波数変換部
１８、１１８    再構成部
１９、１１９    面内予測部
２０    動きベクトル計算部
２１、１２１    動き補償部
２２、１２２    デブロックフィルタ部
２３、２４    算術復号部
２５、２６    多値化部
２７、２８    スライス内周辺情報メモリ
２９、５０、５１    スライス間周辺情報メモリ
３６、３７、１３６、１３７    データバッファ
１０１    システムエンコーダ
１０４、１０５    画素符号化部
１０６、１０７    可変長符号化部
１０８、１０９    符号化部
１１４、１１５    可変長符号化処理部
１３３    差分計算部
１３４    周波数変換部
１３５    量子化部
１３８    動き検出部
８０１    第１復号部
８０２    第２復号部
８１１、８３１    第１記憶部
８１２    第２記憶部
８１３    第３記憶部
８２１    第１符号化部
８２２    第２符号化部
８４１    第１データバッファ
８４２    第２データバッファ
８５１    第１画素復号部
８５２    第２画素復号部
ｅｘ１００    コンテンツ供給システム
ｅｘ１０１    インターネット
ｅｘ１０２    インターネットサービスプロバイダ
ｅｘ１０３    ストリーミングサーバ
ｅｘ１０４    電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０    基地局
ｅｘ１１１    コンピュータ
ｅｘ１１２    ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６    カメラ
ｅｘ１１４    携帯電話
ｅｘ１１５    ゲーム機
ｅｘ１１７    マイク
ｅｘ２００    デジタル放送用システム
ｅｘ２０１    放送局
ｅｘ２０２    放送衛星（衛星）
ｅｘ２０３    ケーブル
ｅｘ２０４、ｅｘ２０５    アンテナ
ｅｘ２１０    車
ｅｘ２１１    カーナビゲーション（カーナビ）
ｅｘ２１２    再生装置
ｅｘ２１３、ｅｘ２１９    モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６    記録メディア
ｅｘ２１７    セットトップボックス（ＳＴＢ）
ｅｘ２１８    リーダ／レコーダ
ｅｘ２２０    リモートコントローラ
ｅｘ２３０    情報トラック
ｅｘ２３１    記録ブロック
ｅｘ２３２    内周領域
ｅｘ２３３    データ記録領域
ｅｘ２３４    外周領域
ｅｘ３００    テレビ（受信機）
ｅｘ３０１    チューナ
ｅｘ３０２    変調／復調部
ｅｘ３０３    多重／分離部
ｅｘ３０４    音声信号処理部
ｅｘ３０５    映像信号処理部
ｅｘ３０６、ｅｘ５０７    信号処理部
ｅｘ３０７    スピーカ
ｅｘ３０８    表示部
ｅｘ３０９    出力部
ｅｘ３１０    制御部
ｅｘ３１１、ｅｘ５０５    電源回路部
ｅｘ３１２    操作入力部
ｅｘ３１３    ブリッジ
ｅｘ３１４    スロット部
ｅｘ３１５    ドライバ
ｅｘ３１６    モデム
ｅｘ３１７    インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４    バッファ
ｅｘ４００    情報再生／記録部
ｅｘ４０１    光ヘッド
ｅｘ４０２    変調記録部
ｅｘ４０３    再生復調部
ｅｘ４０５    ディスクモータ
ｅｘ４０６    サーボ制御部
ｅｘ４０７    システム制御部
ｅｘ５００    ＬＳＩ
ｅｘ５０２    マイコン（マイクロコンピュータ）
ｅｘ５０３    メモリコントローラ
ｅｘ５０４    ストリームＩ／Ｏ
ｅｘ５０９    ＡＶ  Ｉ／Ｏ
ｅｘ５１０    バス
ｅｘ５１１    メモリ
【図１】
0005518069.tif 000002
【図２】
0005518069.tif 000003
【図３】
0005518069.tif 000004
【図４Ａ】
0005518069.tif 000005
【図４Ｂ】
0005518069.tif 000006
【図４Ｃ】
0005518069.tif 000007
【図５Ａ】
0005518069.tif 000008
【図５Ｂ】
0005518069.tif 000009
【図６】
0005518069.tif 000010
【図７】
0005518069.tif 000011
【図８】
0005518069.tif 000012
【図９】
0005518069.tif 000013
【図１０】
0005518069.tif 000014
【図１１】
0005518069.tif 000015
【図１２】
0005518069.tif 000016
【図１３】
0005518069.tif 000017
【図１４】
0005518069.tif 000018
【図１５】
0005518069.tif 000019
【図１６】
0005518069.tif 000020
【図１７Ａ】
0005518069.tif 000021
【図１７Ｂ】
0005518069.tif 000022
【図１８Ａ】
0005518069.tif 000023
【図１８Ｂ】
0005518069.tif 000024
【図１９】
0005518069.tif 000025
【図２０】
0005518069.tif 000026
【図２１】
0005518069.tif 000027
【図２２】
0005518069.tif 000028
【図２３】
0005518069.tif 000029
【図２４】
0005518069.tif 000030
【図２５】
0005518069.tif 000031
【図２６】
0005518069.tif 000032
【図２７】
0005518069.tif 000033
【図２８】
0005518069.tif 000034
【図２９】
0005518069.tif 000035
【図３０Ａ】
0005518069.tif 000036
【図３０Ｂ】
0005518069.tif 000037
【図３１Ａ】
0005518069.tif 000038
【図３１Ｂ】
0005518069.tif 000039
【図３２】
0005518069.tif 000040
【図３３】
0005518069.tif 000041
【図３４】
0005518069.tif 000042
【図３５】
0005518069.tif 000043
【図３６】
0005518069.tif 000044
【図３７】
0005518069.tif 000045
【図３８】
0005518069.tif 000046
【図３９】
0005518069.tif 000047
【図４０Ａ】
0005518069.tif 000048
【図４０Ｂ】
0005518069.tif 000049
【図４１】
0005518069.tif 000050
【図４２】
0005518069.tif 000051
【図４３】
0005518069.tif 000052
【図４４】
0005518069.tif 000053
【図４５】
0005518069.tif 000054
【図４６】
0005518069.tif 000055
【図４７】
0005518069.tif 000056
【図４８】
0005518069.tif 000057
【図４９】
0005518069.tif 000058
【図５０】
0005518069.tif 000059
【図５１】
0005518069.tif 000060
【図５２】
0005518069.tif 000061
【図５３】
0005518069.tif 000062
【図５４Ａ】
0005518069.tif 000063
【図５４Ｂ】
0005518069.tif 000064
【図５５Ａ】
0005518069.tif 000065
【図５５Ｂ】
0005518069.tif 000066
【図５５Ｃ】
0005518069.tif 000067