(57)【特許請求の範囲】
【請求項１】
時系列の複数の画面を符号化する画像符号化装置であって、第１符号化器と、第２符号化器と、中間バッファと、符号化対象画像制御部とを備え、
前記第１符号化器は、符号化対象の画面内の画像情報を使用して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象の画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の画像情報の符号化を行い、
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させ、
前記第１符号化器はＩピクチャ符号化器であり、前記第２符号化器はＰピクチャ符号化器とＢピクチャ符号化器とを含んで構成され、前記中間バッファを第１中間バッファとし、第２中間バッファをさらに備え、
前記Ｉピクチャ符号化器は、供給される第１画面の画像情報の符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファに書き込み、
前記Ｐピクチャ符号化器は、供給される第２画面内の画像情報と前記第１ローカル復号画像とを参照して前記第２画面の画像情報の符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第２中間バッファに書き込み、
前記Ｂピクチャ符号化器は、供給される第３画面内の画像情報と前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して前記第３画面の画像情報の符号化を行い、
前記符号化対象画像制御部は、前記Ｉピクチャ符号化器から前記第１中間バッファに次の第１ローカル復号画像が書き込まれる前に、前記Ｐピクチャ符号化器による当該参照画像を参照する画面の符号化を開始させ、前記Ｐピクチャ符号化器から前記第２中間バッファに次の第２ローカル復号画像が書き込まれる前に、前記Ｂピクチャ符号化器による当該参照画像を参照する画面の符号化を開始させる、
画像符号化装置。
【請求項２】
請求項１において、前記時系列の複数の画面のそれぞれは、複数のマクロブロックよりなり、
前記Ｉピクチャ符号化器は、マクロブロック毎に前記符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファに書き込み、
前記Ｐピクチャ符号化器は、前記第１ローカル復号画像のうち所定範囲のマクロブロックの参照画像を参照して符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第２中間バッファに書き込み、
前記Ｂピクチャ符号化器は、前記第１ローカル復号画像と前記第２ローカル復号画像のうちそれぞれ前記所定範囲のマクロブロックの参照画像を参照して符号化を行い、
前記符号化対象画像制御部は、前記Ｉピクチャ符号化器から前記第１中間バッファへの前記所定範囲のマクロブロックの第１ローカル復号画像の書き込みが完了した後に、前記Ｐピクチャ符号化器に符号化を開始させ、前記Ｐピクチャ符号化器から前記第２中間バッファへの前記所定範囲のマクロブロックの第２ローカル復号画像の書き込みが完了した後に、前記Ｂピクチャ符号化器に符号化を開始させる、
画像符号化装置。
【請求項３】
時系列の複数の画面を符号化する画像符号化装置であって、第１符号化器と、第２符号化器と、中間バッファと、符号化対象画像制御部とを備え、
前記第１符号化器は、符号化対象の画面内の画像情報を使用して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象の画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の画像情報の符号化を行い、
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させ、
前記第１符号化器はＩピクチャ符号化器またはＰピクチャ符号化器として動作し、前記第２符号化器はＢピクチャ符号化器として動作し、前記中間バッファを第１中間バッファとし、第３中間バッファとをさらに備え、参照メモリが接続され、
前記第１符号化器は、Ｉピクチャ符号化器として動作するときには、供給される第１画面の画像情報の符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファと前記参照メモリに書き込み、
前記符号化対象画像制御部は、前記第１ローカル復号画像を前記参照メモリから読み出して前記第３中間バッファに格納し、
前記第１符号化器は、Ｐピクチャ符号化器として動作するときには、前記第３中間バッファに格納される前記第１ローカル復号画像を参照して供給される第２画面の画像情報の符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第１中間バッファに書き込み、
前記Ｂピクチャ符号化器は、前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して供給される第３画面の符号化を行い、
前記符号化対象画像制御部は、前記第１符号化器から前記第１中間バッファに前記第２ローカル復号画像が書き込まれた後、次の第１ローカル復号画像または次の第２ローカル復号画像が書き込まれる前に、前記Ｂピクチャ符号化器による当該参照画像を参照する画面の符号化を開始させる、
画像符号化装置。
【請求項４】
請求項３において、前記時系列の複数の画面のそれぞれは、複数のマクロブロックよりなり、
前記第１符号化器は、マクロブロック毎に符号化を行い、Ｐピクチャ符号化器として動作するときに当該符号化の結果から第２ローカル復号画像を生成して前記第１中間バッファに書き込み、
前記Ｂピクチャ符号化器は、前記第１ローカル復号画像と前記第２ローカル復号画像のうちそれぞれ所定範囲のマクロブロックの参照画像を参照して符号化を行い、
前記符号化対象画像制御部は、前記第１符号化器から前記第１中間バッファへの前記所定範囲のマクロブロックの第２ローカル復号画像の書き込みが完了した後に、前記Ｂピクチャ符号化器に符号化を開始させる、
画像符号化装置。
【請求項５】
供給される第１及び第２符号化ストリームから時系列の複数の画面を復号する画像復号装置であって、第１復号器と、第２復号器と、中間バッファと、復号対象画像制御部とを備え、
前記第１復号器は、前記第１符号化ストリームのみを参照して対応する画面の画像情報の復号を行い、前記復号の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２復号器は、前記第２符号化ストリームと前記中間バッファに格納される参照画像とを参照して前記第２符号化ストリームに対応する画面の画像情報の復号を行い、
前記復号対象画像制御部は、前記第１復号器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２復号器による当該参照画像を参照する画面の復号を開始させ、
前記第１復号器はＩピクチャ復号器またはＰピクチャ復号器として動作し、前記第２復号器はＢピクチャ復号器として動作し、前記中間バッファを第１中間バッファとし、第３中間バッファとをさらに備え、参照メモリが接続され、
前記第１復号器は、Ｉピクチャ復号器として動作するときには、第１画面に対応する符号化ストリームの復号を行い、当該復号の結果から第１ローカル復号画像を生成して前記第１中間バッファと前記参照メモリに書き込み、
前記復号対象画像制御部は、前記第１ローカル復号画像を前記参照メモリから読み出して前記第３中間バッファに格納し、
前記第１復号器は、Ｐピクチャ復号器として動作するときには、前記第３中間バッファに格納される前記第１ローカル復号画像を参照して第２画面に対応する符号化ストリームの復号を行い、当該復号の結果から第２ローカル復号画像を生成して前記第１中間バッファに書き込み、
前記Ｂピクチャ復号器は、前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して供給される第３画面に対応する符号化ストリームの復号を行い、
前記復号対象画像制御部は、前記第１復号器から前記第１中間バッファに前記第２ローカル復号画像が書き込まれた後、次の第１ローカル復号画像または次の第２ローカル復号画像が書き込まれる前に、前記Ｂピクチャ復号器による当該参照画像を参照する画面の復号を開始させる、
画像復号装置。
【請求項６】
画像符号化装置と出力制御装置とを含む送信装置と、送信路と、画像復号装置を含む受信装置とを備え、
前記画像符号化装置は、時系列の複数の画面を符号化する画像符号化装置であって、第１符号化器と、第２符号化器と、中間バッファと、符号化対象画像制御部とを備え、
前記第１符号化器は、符号化対象の画面内の画像情報を参照して当該画面の画像情報の符号化を行って第１符号化ビット列を出力し、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象の画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の画像情報の符号化を行って第２符号化ビット列を出力し、
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させ、
前記出力制御装置は、前記第１符号化ビット列と前記第２符号化ビット列を時分割多重して符号化ストリームとして前記送信路に送出し、
前記受信装置は、前記送信路から入力される前記符号化ストリームを前記画像復号装置に供給して復号させ、
前記出力制御装置は、前記第１符号化ビット列と前記第２符号化ビット列を、ピクチャよりも細かい単位で時分割多重して符号化ストリームとして前記送信路に送出し、
前記受信装置は、入力制御装置をさらに有し、
前記入力制御装置は、前記送信路から入力される前記符号化ストリームをデマルチプレクスして、前記第１符号化ビット列に対応する第１符号化ビットストリームと、前記第２符号化ビット列に対応する第２符号化ビットストリームとに分離し、前記第１符号化ビットストリームと前記第２符号化ビットストリームとを前記画像復号装置に供給し、
前記画像復号装置は、第１復号器と、第２復号器と、第１中間バッファと、第３中間バッファと、参照メモリと、復号対象画像制御部とを備え、
前記第１復号器は、Ｉピクチャ復号器またはＰピクチャ復号器として動作し、Ｉピクチャ復号器として動作するときには、第１画面に対応する第１符号化ストリームの復号を行い、当該復号の結果から第１ローカル復号画像を生成して前記第１中間バッファと前記参照メモリに書き込み、
前記復号対象画像制御部は、前記第１ローカル復号画像を前記参照メモリから読み出して前記第３中間バッファに格納し、
前記第１復号器は、Ｐピクチャ復号器として動作するときには、前記第３中間バッファに格納される前記第１ローカル復号画像を参照して第３画面に対応する第１符号化ストリームの復号を行い、当該復号の結果から第２ローカル復号画像を生成して前記第１中間バッファに書き込み、
前記第２復号器はＢピクチャ復号器として動作し、前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して第２画面に対応する第２符号化ストリームの復号を行い、
前記復号対象画像制御部は、前記第１復号器から前記第１中間バッファに前記第２ローカル復号画像が書き込まれた後、次の第１ローカル復号画像が書き込まれる前に、前記Ｂピクチャ復号器による当該ローカル復号画像を参照する画面の復号を開始させ、
前記復号対象画像制御部は、連続する第１画面と第２画面と第３画面にそれぞれ対応する第１符号化ストリームと第２符号化ストリームと第１符号化ストリームとを前記第１復号器と前記第２復号器とに順次供給し、並列して復号を実行させる、
画像通信システム。
【請求項７】
時系列の複数の画面を符号化する画像符号化装置であって、
第１符号化器と、前記第１符号化器と並列して実行される第２符号化器と、中間バッファと、符号化対象画像制御部とを有し、
前記時系列の複数の画面のそれぞれは、複数の画素ラインから構成されるフレームであり、前記フレームは偶数番目の画素ラインでありＩピクチャで構成される第１フィールドと、奇数番目の画素ラインでありＰピクチャで構成される第２フィールドよりなり、
前記第１符号化器は、符号化対象の画面内の画像情報を使用して当該画面の前記第１フィールドの画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象の画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の前記第２フィールドの画像情報の符号化を行い、
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させる、
画像符号化装置。
【請求項８】
請求項７において、前記符号化対象画像制御部は、前記第１フィールドと前記第２フィールドを、前記第１符号化器と前記第２符号化器にそれぞれ供給し、
前記第１符号化器は、符号化対象のフィールド内の画像情報を使用して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象のフィールド内の画像情報と前記中間バッファに格納される参照画像とを参照して当該フィールドの画像情報の符号化を行う、
画像符号化装置。
【請求項９】
請求項７において、前記時系列の複数の画面のそれぞれは、複数の画素ラインから構成されるフレームであり、前記フレームは複数のマクロブロックにより構成され、前記複数のマクロブロックのうち画素ラインに直交する方向で互いに隣接する２個のマクロブロックに含まれる偶数番目の画素ラインのみからなる第１フィールドと、当該２個のマクロブロックに含まれる奇数番目の画素ラインのみからなる第２フィールドとを含み、
前記符号化対象画像制御部は、前記第１フィールドと前記第２フィールドのうちの一方を前記第１符号化器に供給し、他方を前記第２符号化器に供給し、
前記第１符号化器は、符号化対象のフィールド内の画像情報を参照して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象のフィールド内の画像情報と前記中間バッファに格納される参照画像とを参照して当該フィールドの画像情報の符号化を行う、
画像符号化装置。
【請求項１０】
請求項９において、前記符号化対象画像制御部は、前記第１フィールドと前記第２フィールドのうちのどちらを前記第１符号化器に供給し他方を前記第２符号化器に供給するかを、当該２個のマクロブロックごとに、判断して切り替える、
画像符号化装置。
【請求項１１】
時系列の複数の画面を符号化する画像符号化装置であって、
第１符号化器と、前記第１符号化器と並列して実行される第２符号化器と、中間バッファと、符号化対象画像制御部と、を有し、
前記時系列の複数の画面のそれぞれは、それぞれが複数の画素よりなる複数の画素ラインから構成されるフレームであり、前記フレームは複数のマクロブロックにより構成され、前記複数のマクロブロックのうち画素ラインの延伸する方向で互いに隣接する２個のマクロブロックに含まれる各画素ラインの偶数番目の画素のみからなりＩピクチャで構成される第１カラム画面と、当該２個のマクロブロックに含まれる各画素ラインの奇数番目の画素のみからなりＰピクチャで構成される第２カラム画面とを含み、
前記符号化対象画像制御部は、前記第１カラム画面と前記第２カラム画面のうちの一方を前記第１符号化器に供給し、他方を前記第２符号化器に供給し、
前記第１符号化器は、符号化対象のカラム画面内の画像情報を参照して前記第１カラム画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象のカラム画面内の画像情報と前記中間バッファに格納される参照画像とを参照して前記第２カラム画面の画像情報の符号化を行う、
画像符号化装置。
【請求項１２】
請求項１１において、前記符号化対象画像制御部は、前記第１カラム画面と前記第２カラム画面のうちのどちらを前記第１符号化器に供給し他方を前記第２符号化器に供給するかを、当該２個のマクロブロックごとに、判断して切り替える、
画像符号化装置。
【請求項１３】
供給される第１及び第２符号化ストリームから時系列の複数の画面を復号する画像復号装置であって、第１復号器と、前記第１復号器と並列して実行される第２復号器と、中間バッファと、復号対象画像制御部とを備え、
前記第１符号化ストリームは、複数の画素ラインから構成されるフレームの偶数番目の画素ラインでありＩピクチャで構成される第１フィールドの符号化に基づいて生成され、
前記第２符号化ストリームは、前記フレームの奇数番目の画素ラインでありＰピクチャで構成される第２フィールドの符号化に基づいて生成され、
前記第１復号器は、前記第１符号化ストリームのみを参照して対応する画面の画像情報の復号を行い、前記復号の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２復号器は、前記第２符号化ストリームと前記中間バッファに格納される参照画像とを参照して前記第２符号化ストリームに対応する画面の画像情報の復号を行い、
前記復号対象画像制御部は、前記第１復号器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２復号器による当該参照画像を参照する画面の復号を開始させ、
前記第１復号器はＩピクチャ復号器であり、前記第２復号器はＰピクチャ復号器であり、
前記復号対象画像制御部は、前記第１符号化ストリームと前記第２符号化ストリームとをそれぞれ前記第１復号器と前記第２復号器とに供給し、並列して復号を実行させる、
画像復号装置。
【請求項１４】
画像符号化装置と出力制御装置とを含む送信装置と、送信路と、画像復号装置を含む受信装置とを備え、
前記画像符号化装置は、時系列の複数の画面を符号化する画像符号化装置であって、第１符号化器と、前記第１符号化器と並列して実行される第２符号化器と、中間バッファと、符号化対象画像制御部とを備え、
前記時系列の複数の画面のそれぞれは、複数の画素ラインから構成されるフレームであり、前記フレームは偶数番目の画素ラインのみからなりＩピクチャで構成される第１フィールドと奇数番目の画素ラインのみからなりＰピクチャで構成される第２フィールドよりなり、
前記第１符号化器は、符号化対象の画面内の画像情報を参照して当該画面の前記第１フィールドの画像情報の符号化を行って第１符号化ビット列を出力し、前記符号化の結果から参照画像を生成して前記中間バッファに書き込み、
前記第２符号化器は、符号化対象の画面内の前記第２フィールドの画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の画像情報の符号化を行って第２符号化ビット列を出力し、
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させ、
前記出力制御装置は、前記第１符号化ビット列と前記第２符号化ビット列を時分割多重して符号化ストリームとして前記送信路に送出し、
前記受信装置は、前記送信路から入力される前記符号化ストリームを前記画像復号装置に供給して復号させる、
画像通信システム。
【請求項１５】
請求項１４において、前記出力制御装置は、前記第１符号化ビット列と前記第２符号化ビット列を、ピクチャよりも細かい単位で時分割多重して符号化ストリームとして前記送信路に送出し、
前記受信装置は、入力制御装置をさらに有し、
前記入力制御装置は、前記送信路から入力される前記符号化ストリームをデマルチプレクスして、前記第１符号化ビット列に対応する第１符号化ビットストリームと、前記第２符号化ビット列に対応する第２符号化ビットストリームとに分離し、前記第１符号化ビットストリームと前記第２符号化ビットストリームとを前記画像復号装置に供給する、
画像通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像復号装置、および画像通信システムに関し、特に低コスト・低遅延の画像符号化及び画像復号に好適に利用できるものである。
【背景技術】
【０００２】
画像はその情報量が膨大であるのに対して、同じフレーム内で近くに位置する画像間または隣接するフレーム間でフレーム内の同じ座標に位置する画像間での相関が強いため、その相関を利用して符号量の圧縮が行われる。例えば、代表的な国際標準として、MPEG-2（ITU-T Rec. H.262 | ISO/IEC 13818-2）やMPEG-4（ISO/IEC 14496-2）、H.264（ITU-T Rec. H.264 | ISO/IEC 14496-10）などの動画の圧縮符号化と復号の方法が標準化されている。これらの符号化方法では、フレーム内符号化において、原画像を直交変換し、その結果を量子化し可変長符号化して送出する一方、逆量子化と逆直交変換を行って参照画像を生成し、以降のフレーム間符号化のために、参照フレームメモリに記憶しておく。フレーム間符号化では、入力された符号化対象のフレームの原画像と、参照フレームメモリに記憶されている過去または場合によっては未来のフレームの参照画像との差を取って、その差分に対して符号化を行う。符号化対象のフレームのみの画像情報を利用して符号化する画像は「Ｉピクチャ」と呼ばれ、符号化対象の現在のフレームの画像情報に加え、過去のフレームの画像情報を利用して符号化する画像は「Ｐピクチャ」と呼ばれ、さらに、未来のフレームの画像情報をも利用して符号化する画像は「Ｂピクチャ」と呼ばれる。ＩピクチャとＰピクチャさらにはＢピクチャを組合せる種々の符号化・復号方法が採用されている。Ｉピクチャは、圧縮効率が他より低いが、そのフレームのみの画像情報で符号化や復号が完結するため、必ず他のフレーム間符号化の起点として必要である。符号化効率を高めるために、Ｉピクチャ１個に対して１または複数のＰピクチャまたさらには１または複数のＢピクチャが組合せられる。
【０００３】
特許文献１には、参照画像を記憶しておく参照メモリへのアクセス頻度を減らすことができる、エンコード装置（画像符号化装置）が開示されている。エンコード装置１００は、同文献の図１に示されるように、動き補償部００３と周波数変換部００４等を含んで構成され、動き補償部００３は中間メモリ００９を介して参照メモリ０１０に接続されている。エンコード装置１００は符号化の際に動き補償部００３が使用する参照フレームの情報を参照メモリ０１０から読み出して中間メモリ００９に保存している。参照メモリ０１０はシステム内の共用ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）上に置かれ、中間メモリ００９はエンコード装置１００の専用メモリとして配置される。この構成により中間メモリ００９を置かない場合に比べて、参照メモリ０１０へのアクセス頻度を低減することができる。例えば同文献の図３に示されるように、Ｐ５（５番目に入力されたフレームであり、Ｐピクチャとして符号化される）を符号化する際には参照メモリ０１０内のＩ２を中間メモリ００９に一旦読み出して保存し、Ｐ５の符号化に用いる。Ｂ３およびＢ４を符号化する際には参照メモリ０１０内のＩ２およびＰ５を中間メモリ００９に保存してＢ３およびＢ４の両方の符号化に同時に用いる。本来Ｂ３を符号化する際にＩ２とＰ５を、またＢ４を符号化する際にも再度Ｉ２とＰ５を参照メモリ０１０から読み出す必要が発生するところ、Ｂ３とＢ４が同じフレーム（ここではＩ２とＰ５）の同じ領域を参照する場合に、Ｂ３とＢ４を同時に符号化することで同じデータを使用することができ、元々Ｂ４の符号化時に必要だった参照メモリ０１０へのアクセスを削減することが可能である。
【０００４】
特許文献２には、符号化効率の低下を抑えながら、符号化演算量と復号演算量を削減することができる、画像符号化装置と画像復号装置が開示されている。入力画像をｎ×ｍサイズのブロックに分割する。さらに各ブロックをｎ１×ｍ１サイズのＫ個のサブブロックに分割する。ブロック内の同じ位置にあるサブブロックのみを集めた分割画像Ｐｋを作る（ｋ＝１〜Ｋ）。分割画像Ｐ０を画面内符号化、分割画像Ｐ１〜ＰＫを画面間符号化する。ＰｋのサブブロックＢｋの参照画像を周辺のＰ０のサブブロックＢ０から画素の相対位置から決まるフィルタで作る。これにより、従来の画面内予測符号化よりも符号化演算量を抑えることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１１７９７号公報
【特許文献２】特開２０１２−１７５３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１及び２について本発明者が検討した結果、以下のような新たな課題があることがわかった。
【０００７】
特許文献１には、参照メモリ０１０へのアクセス頻度を低減することができる画像符号化装置が示されているが、例えばＢフレームの符号化時に参照メモリ０１０へのアクセスを完全になくすことはできず、メモリアクセス低減の効果が十分ではないことがわかった。
【０００８】
このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
一実施の形態によれば、下記の通りである。
【００１０】
すなわち、時系列の複数の画面を符号化する画像符号化装置であって、画面内符号化器と画面間符号化器と中間バッファとを備える。画面内符号化器によって生成されるローカル復号画像は参照画像として中間バッファに保持され、ローカル復号画像を参照する画面間符号化は、当該ローカル復号画像が中間バッファに保持されている期間内に実行される。当該ローカル復号画像をその後再び参照する必要がない場合には、ローカル復号画像を格納するための参照フレームメモリが省略される。画像復号装置の場合も同様に、画面内復号器と画面間復号器と中間バッファとを備える。画面内復号器によって生成されるローカル復号画像は参照画像として中間バッファに保持され、ローカル復号画像を参照する画面間復号は、当該ローカル復号画像が中間バッファに保持されている期間内に実行される。当該ローカル復号画像をその後再び参照する必要がない場合には、ローカル復号画像を格納するための参照フレームメモリが省略される。
【発明の効果】
【００１１】
前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。
【００１２】
すなわち、参照フレームメモリへのアクセス頻度が低く抑えられ、場合によっては参照フレームメモリが省略された構成が可能となる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態１の画像符号化装置の全体構成例を示すブロック図である。
【図２】図２は、出力制御装置の構成例を示すブロック図である。
【図３】図３は、実施形態１の画像符号化装置の構成例を示すブロック図である。
【図４】図４は、実施形態１の画像符号化装置の別の構成例を示すブロック図である。
【図５】図５は、Ｉピクチャ符号化の説明図である。
【図６】図６は、Ｐピクチャ符号化の説明図である。
【図７】図７は、Ｂピクチャ符号化の説明図である。
【図８】図８は、比較例における符号化の処理順序を示す説明図である。
【図９】図９は、実施形態１における符号化の処理順序の一例を示す説明図である。
【図１０】図１０は、実施形態１における符号化の処理順序の別の例を示す説明図である。
【図１１】図１１は、位置制御部による制御例（待ち指示）を示す説明図である。
【図１２】図１２は、位置制御部による制御例（処理許可）を示す説明図である。
【図１３】図１３は、実施形態２の画像符号化装置の全体構成例を示すブロック図である。
【図１４】図１４は、実施形態２の画像符号化装置の構成例を示すブロック図である。
【図１５】図１５は、実施形態２の位置制御部による制御例を示す説明図である。
【図１６】図１６は、実施形態３の画像符号化装置の全体構成例を示すブロック図である。
【図１７】図１７は、実施形態３の画像符号化装置の構成例を示すブロック図である。
【図１８】図１８は、実施形態３の位置制御部による制御例を示す説明図である。
【図１９】図１９は、実施形態４、実施形態５及び実施形態６の画像符号化装置の全体構成例を示すブロック図である。
【図２０】図２０は、実施形態４の画像符号化装置の構成例を示すブロック図である。
【図２１】図２１は、画像のフレーム構造を示す説明図である。
【図２２】図２２は、画像のフィールド構造（トップフィールドファースト）を示す説明図である。
【図２３】図２３は、画像のフィールド構造（ボトムフィールドファースト）を示す説明図である。
【図２４】図２４は、画像のフィールド分割を示す説明図である。
【図２５】図２５は、実施形態４の位置制御部による制御例を示す説明図である。
【図２６】図２６は、実施形態５の画像符号化装置の構成例を示すブロック図である。
【図２７】図２７は、フィールド分割された画像の符号化処理の動作を示す説明図である。
【図２８】図２８は、符号化におけるフィールド参照方向の例を示す説明図である。
【図２９】図２９は、実施形態５の画像符号化装置の別の構成例を示すブロック図である。
【図３０】図３０は、フィールド分割された画像の符号化処理の動作を示す説明図である。
【図３１】図３１は、符号化におけるフィールド参照方向の一例を示す説明図である。
【図３２】図３２は、符号化におけるフィールド参照方向の別の例を示す説明図である。
【図３３】図３３は、実施形態６の画像符号化装置の構成例を示すブロック図である。
【図３４】図３４は、画像の縦分割についての説明図（フレーム構造）である。
【図３５】図３５は、画像の縦分割についての説明図（縦分割された左右のカラム画面）である。
【図３６】図３６は、画像の縦分割を示す説明図である。
【図３７】図３７は、実施形態６の位置制御部による制御例を示す説明図である。
【図３８】図３８は、実施形態６の画像符号化装置の別の構成例を示すブロック図である。
【図３９】図３９は、画像の縦分割についての説明図（マクロブロックペア）である。
【図４０】図４０は、画像の縦分割についての説明図（縦分割されたマクロブロックペア）である。
【図４１】図４１は、縦分割された画像の符号化処理の動作を示す説明図である。
【図４２】図４２は、実施形態６の画像符号化装置のさらに別の構成例を示すブロック図である。
【図４３】図４３は、縦分割された画像の符号化における参照方向の一例を示す説明図である。
【図４４】図４４は、縦分割された画像の符号化における参照方向の別の例を示す説明図である。
【図４５】図４５は、縦分割された画像の符号化における参照方向が適宜変更される例を示す説明図である。
【図４６】図４６は、実施形態７の画像符号化装置の全体構成の一例を示すブロック図である。
【図４７】図４７は、図４６の画像符号化装置の構成例を示すブロック図である。
【図４８】図４８は、実施形態７の画像符号化装置の全体構成の別の例を示すブロック図である。
【図４９】図４９は、図４５の画像符号化装置の構成の一例を示すブロック図である。
【図５０】図５０は、実施形態７の画像符号化装置の別の構成例を示すブロック図である。
【図５１】図５１は、実施形態８ａの画像復号装置の全体構成例を示すブロック図である。
【図５２】図５２は、実施形態８ａの画像復号装置の構成例を示すブロック図である。
【図５３】図５３は、実施形態８ｂの画像復号装置の全体構成例を示すブロック図である。
【図５４】図５４は、実施形態８ｂの画像復号装置の構成例を示すブロック図である。
【図５５】図５５は、実施形態９の画像通信システムの全体構成例を示すブロック図である。
【図５６】図５６は、実施形態１０の画像通信システムの全体構成例を示すブロック図である。
【図５７】図５７は、実施形態１１の画像通信システムの全体構成例を示すブロック図である。
【図５８】図５８は、実施形態１２の画像通信システムの全体構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１５】
〔１〕＜第１（画面内）符号化器＋第２（画面間）符号化器＋中間バッファ＞
本願において開示される代表的な実施の形態は、時系列の複数の画面を符号化する画像符号化装置（１００〜７００等）であって、第１符号化器（画面内符号化器００１等）と、第２符号化器（画面間符号化器００２等）と、中間バッファ（００５、００６等）と、符号化対象画像制御部（００３、００４、００７等）とを備える。
【００１６】
前記第１符号化器は、符号化対象の画面内の画像情報を使用して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファに書き込む。
【００１７】
前記第２符号化器は、符号化対象の画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の画像情報の符号化を行う。
【００１８】
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させる。
【００１９】
これにより、参照フレームメモリ（１０３）へのアクセスを最小限に留めることができ、別の実施の形態においては、参照フレームメモリを不要とすることもできる。
【００２０】
〔２〕＜フィールド分割（実施形態４）＞
項１において、前記時系列の複数の画面のそれぞれは、複数の画素ラインから構成されるフレームであり、前記フレームは偶数番目の画素ラインのみからなる第１フィールドと奇数番目の画素ラインのみからなる第２フィールドよりなる。
【００２１】
前記符号化対象画像制御部（０４３、０４４）は、前記第１フィールドと前記第２フィールドを、前記第１符号化器（０４０）と前記第２符号化器（０４１）にそれぞれ供給する。
【００２２】
前記第１符号化器は、符号化対象のフィールド内の画像情報を使用して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファ（０４５）に書き込む。
【００２３】
前記第２符号化器は、符号化対象のフィールド内の画像情報と前記中間バッファに格納される参照画像とを参照して当該フィールドの画像情報の符号化を行う。
【００２４】
これにより、参照フレームメモリ（１０３）を不要とすることができる。
【００２５】
〔３〕＜より小さい単位でフィールド分割（実施形態５）＞
項１において、前記時系列の複数の画面のそれぞれは、複数の画素ラインから構成されるフレームであり、前記フレームは複数のマクロブロックにより構成される。前記時系列の複数の画面のそれぞれは、前記複数のマクロブロックのうち画素ラインに直交する方向で互いに隣接する２個のマクロブロックに含まれる偶数番目の画素ラインのみからなる第１フィールドと、当該２個のマクロブロックに含まれる奇数番目の画素ラインのみからなる第２フィールドとを含む。
【００２６】
前記符号化対象画像制御部（０５３、０５４）は、前記第１フィールドと前記第２フィールドのうちの一方を前記第１符号化器（０５０）に供給し、他方を前記第２符号化器（０５１）に供給する。
【００２７】
前記第１符号化器は、符号化対象のフィールド内の画像情報を参照して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファ（０５２）に書き込む。
【００２８】
前記第２符号化器は、符号化対象のフィールド内の画像情報と前記中間バッファに格納される参照画像とを参照して当該フィールドの画像情報の符号化を行う。
【００２９】
これにより、中間バッファ（０５２）をより小さい記憶容量の記憶素子で構成することができ、合せて符号化の遅延量も低く抑えることができる。
【００３０】
〔４〕＜参照方向の切替え（実施形態５ｂ）＞
項３において、前記符号化対象画像制御部（０５３、０５８、０５９）は、前記第１フィールドと前記第２フィールドのうちのどちらを前記第１符号化器（０５０）に供給し他方を前記第２符号化器（０５１）に供給するかを、当該２個のマクロブロックごとに、判断して切り替える。
【００３１】
これにより、より符号化効率の高い参照方向を適宜選択して適用することができる。
【００３２】
〔５〕＜縦方向に分割（実施形態６）＞
項１において、前記時系列の複数の画面のそれぞれは、それぞれが複数の画素よりなる複数の画素ラインから構成されるフレームであり、前記フレームは複数のマクロブロックにより構成される。前記時系列の複数の画面のそれぞれは、前記複数のマクロブロックのうち画素ラインの延伸する方向で互いに隣接する２個のマクロブロックに含まれる各画素ラインの偶数番目の画素のみからなる第１カラム画面と、当該２個のマクロブロックに含まれる各画素ラインの奇数番目の画素のみからなる第２カラム画面とを含む。
【００３３】
前記符号化対象画像制御部（０６３、０６４）は、前記第１カラム画面と前記第２カラム画面のうちの一方を前記第１符号化器（０６０）に供給し、他方を前記第２符号化器（０６１）に供給する。
【００３４】
前記第１符号化器は、符号化対象のカラム画面内の画像情報を参照して当該画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファ（０６５）に書き込む。
【００３５】
前記第２符号化器は、符号化対象のカラム画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該カラム画面の画像情報の符号化を行う。
【００３６】
これにより、中間バッファ（０６５）をより小さい記憶容量の記憶素子で構成することができ、合せて符号化の遅延量を項３よりもさらに低く抑えることができる。
【００３７】
〔６〕＜参照方向の切替え＞
項５において、前記符号化対象画像制御部（０６３、０６４、０６８）は、前記第１カラム画面と前記第２カラム画面のうちのどちらを前記第１符号化器に供給し他方を前記第２符号化器に供給するかを、当該２個のマクロブロックごとに、判断して切り替える。
【００３８】
これにより、より符号化効率の高い参照方向を適宜選択して適用することができる。
【００３９】
〔７〕＜Ｉ符号化器＋Ｐ符号化器＋中間バッファ（実施形態３）＞
項１において、前記第１符号化器はＩピクチャ符号化器（０３０）であり、前記第２符号化器はＰピクチャ符号化器（０３１）であり、前記符号化対象画像制御部（０３３、０３４）は、連続する２画面を前記第１符号化器と前記第２符号化器とに供給し、並列して符号化を実行させる。
【００４０】
これにより、ＩピクチャとＰピクチャを交互に含む、符号化ストリームを生成する画像符号化装置において、参照フレームメモリを不要とすることができる。
【００４１】
〔８〕＜位置制御回路（実施形態３）＞
項７において、前記時系列の複数の画面のそれぞれは、複数のマクロブロックよりなる。
【００４２】
前記第１符号化器（０３０）は、マクロブロック毎に前記符号化を行い、当該符号化の結果から参照画像を生成して前記中間バッファ（０３５）に書き込み、前記第２符号化器（０３１）は、前記参照画像のうち所定範囲のマクロブロックの参照画像を参照して符号化を行う。
【００４３】
前記符号化対象画像制御部（０３２）は、前記第１符号化器（０３０）から前記中間バッファ（０３５）に前記所定範囲のマクロブロックの参照画像の書き込みが完了した後に、前記第２符号化器（０３１）に前記符号化を開始させる。
【００４４】
これにより、Ｐピクチャ符号化器に符号化を開始させるまでの待ち時間を、必要最小限に抑えることができ、低遅延の画像符号化装置全体を提供することができる。
【００４５】
〔９〕＜Ｉ符号化器＋Ｐ符号化器＋Ｂ符号化器＋中間バッファ（実施形態２）＞
項１において、前記第１符号化器はＩピクチャ符号化器（０２０）であり、前記第２符号化器はＰピクチャ符号化器（０２１）とＢピクチャ符号化器（０２２）とを含んで構成され、前記中間バッファを第１中間バッファ（０２５）とし、画像符号化装置（２００）は、第２中間バッファ（０２６）をさらに備える。
【００４６】
前記Ｉピクチャ符号化器（０２０）は、供給される第１画面の画像情報の符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファ（０２５）に書き込む。
【００４７】
前記Ｐピクチャ符号化器（０２１）は、供給される第２画面内の画像情報と前記第１ローカル復号画像とを参照して前記第２画面の画像情報の符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第２中間バッファ（０２６）に書き込む。
【００４８】
前記Ｂピクチャ符号化器（０２２）は、供給される第３画面内の画像情報と前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して前記第３画面の画像情報の符号化を行う。
【００４９】
前記符号化対象画像制御部（０２７）は、前記Ｉピクチャ符号化器（０２０）から前記第１中間バッファ（０２５）に次の第１ローカル復号画像が書き込まれる前に、前記Ｐピクチャ符号化器（０２１）による当該参照画像を参照する画面の符号化を開始させる。また、前記符号化対象画像制御部（０２８）は、前記Ｐピクチャ符号化器（０２１）から前記第２中間バッファ（０２６）に次の第２ローカル復号画像が書き込まれる前に、前記Ｂピクチャ符号化器（０２２）による当該参照画像を参照する画面の符号化を開始させる。
【００５０】
これにより、ＩピクチャとＰピクチャとＢピクチャを順次含む、符号化ストリームを生成する画像符号化装置（２００）において、参照フレームメモリ（１０３）を不要とすることができる。このとき、ＰピクチャはＩピクチャのローカル復号画像を参照画像として参照し、ＢピクチャはＩピクチャのローカル復号画像とＰピクチャのローカル復号画像とを参照画像として参照する。ＩピクチャとＰピクチャとＢピクチャの符号化は並列して実行される。同じＩピクチャのローカル復号画像とＰピクチャのローカル復号画像とを参照画像として参照する、複数のＢピクチャ符号化器を含んで構成されても良い。
【００５１】
〔１０〕＜位置制御回路（実施形態２）＞
項９において、前記時系列の複数の画面のそれぞれは、複数のマクロブロックよりなる。
【００５２】
前記Ｉピクチャ符号化器（０２０）は、マクロブロック毎に前記符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファ（０２５）に書き込む。
【００５３】
前記Ｐピクチャ符号化器（０２１）は、前記第１ローカル復号画像のうち所定範囲のマクロブロックの参照画像を参照して符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第２中間バッファ（０２６）に書き込む。
【００５４】
前記Ｂピクチャ符号化器（０２２）は、前記第１ローカル復号画像と前記第２ローカル復号画像のうちそれぞれ前記所定範囲のマクロブロックの参照画像を参照して符号化を行う。
【００５５】
前記符号化対象画像制御部（０２７）は、前記Ｉピクチャ符号化器から前記第１中間バッファへの前記所定範囲のマクロブロックの第１ローカル復号画像の書き込みが完了した後に、前記Ｐピクチャ符号化器に符号化を開始させる。また、前記符号化対象画像制御部（０２８）は、前記Ｐピクチャ符号化器（０２１）から前記第２中間バッファ（０２６）への前記所定範囲のマクロブロックの第２ローカル復号画像の書き込みが完了した後に、前記Ｂピクチャ符号化器（０２２）に符号化を開始させる。
【００５６】
これにより、Ｐピクチャ符号化器（０２１）とＢピクチャ符号化器（０２２）に符号化を開始させるまでの待ち時間を、必要最小限に抑えることができ、低遅延の画像符号化装置（２００）を提供することができる。
【００５７】
〔１１〕＜Ｉ／Ｐ符号化器＋ｎ×Ｂ符号化器＋２×中間バッファ＋参照メモリ（実施形態１）＞
項１において、画像符号化装置（１００）は、前記第１符号化器（００１）はＩピクチャ符号化器またはＰピクチャ符号化器として動作し、前記第２符号化器（００２）はＢピクチャ符号化器として動作し、前記中間バッファを第１中間バッファ（００６）とし、第３中間バッファ（００５）とをさらに備え、参照メモリ（１０３）が接続される。
【００５８】
前記第１符号化器（００１）は、Ｉピクチャ符号化器として動作するときには、供給される第１画面の画像情報の符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファ（００６）と前記参照メモリ（１０３）に書き込む。
【００５９】
前記符号化対象画像制御部は、前記第１ローカル復号画像を前記参照メモリ（１０３）から読み出して前記第３中間バッファ（００５）に格納する。
【００６０】
前記第１符号化器（００１）は、Ｐピクチャ符号化器として動作するときには、前記第３中間バッファ（００５）に格納される前記第１ローカル復号画像を参照して供給される第２画面の画像情報の符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第１中間バッファ（００６）に書き込む。
【００６１】
前記Ｂピクチャ符号化器は、前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して供給される第３画面の符号化を行う。
【００６２】
前記符号化対象画像制御部（００７）は、前記第１符号化器（００１）から前記第１中間バッファ（００６）に前記第２ローカル復号画像が書き込まれた後、次の第１または第2ローカル復号画像が書き込まれる前に、前記Ｂピクチャ符号化器（００２）による当該参照画像を参照する画面の符号化を開始させる。
【００６３】
これにより、Ｉピクチャの符号化とＢピクチャの符号化、Ｐピクチャの符号化とＢピクチャの符号化を、それぞれ並列化することができ、参照メモリ（１０３）のアクセス頻度を低減することができる。Ｉピクチャのローカル復号画像は、一旦参照メモリに格納された後に第３中間バッファ（００５）に読み出され、Ｐピクチャの符号化において参照画像として参照され、並列してＢピクチャの符号化においても参照画像として参照される。Ｐピクチャのローカル復号画像は、第１中間バッファに格納され、上記Ｂピクチャの符号化において参照画像として参照される。このように、Ｉピクチャの符号化またはＰピクチャの符号化と、同じＩピクチャのローカル復号画像またはＰピクチャのローカル復号画像を参照する、Ｂピクチャの符号化とが並列化され、参照メモリからのローカル復号画像の読み出し回数が最小限に抑えられる。
【００６４】
〔１２〕＜位置制御回路（実施形態１）＞
項１１において、前記時系列の複数の画面のそれぞれは、複数のマクロブロックよりなる。
【００６５】
前記第１符号化器（００１）は、マクロブロック毎に符号化を行い、Ｐピクチャ符号化器として動作するときに当該符号化の結果から第２ローカル復号画像を生成して前記第１中間バッファ（００６）に書き込む。
【００６６】
前記Ｂピクチャ符号化器（００２）は、前記第１ローカル復号画像と前記第２ローカル復号画像のうちそれぞれ前記所定範囲のマクロブロックの参照画像を参照して符号化を行う。
【００６７】
前記符号化対象画像制御部（００７）は、前記第１符号化器（００１）から前記第１中間バッファ（００６）への前記所定範囲のマクロブロックの第２ローカル復号画像の書き込みが完了した後に、前記Ｂピクチャ符号化器（００２）に符号化を開始させる。
【００６８】
これにより、Ｂピクチャ符号化器（００２）に符号化を開始させるまでの待ち時間を、必要最小限に抑えることができ、低遅延の画像符号化装置（１００）を提供することができる。
【００６９】
〔１３〕＜多眼符号化（実施形態７）＞
項１において、前記時系列の複数の画面は多眼の視点から見たそれぞれ時系列の複数の画面を含み、１つの視点から見た時系列の画面を主画面とし、他の視点から見た時系列の画面を副画面とする。
【００７０】
前記第１符号化器（０７１）は、前記主画面を符号化対象とし、符号化対象の主画面内の画像情報を参照して当該主画面の画像情報の符号化を行い、前記符号化の結果から参照画像を生成して前記中間バッファ（０７６）に書き込む。
【００７１】
前記第２符号化器（０７２）は、前記主画面と対応する時刻の副画面を符号化対象とし、符号化対象の副画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該副画面の画像情報の符号化を行う。
【００７２】
これにより、多眼符号化を行う画像符号化装置（７００）において、参照メモリ（１０３）を不要とすることができる。
【００７３】
〔１４〕＜多眼符号化＝主画面用Ｉ／Ｐ符号化器＋副画面用Ｂ符号化器＋第１＆第３中間バッファ＋参照フレームメモリ（実施形態７）＞
項１において、前記時系列の複数の画面は多眼の視点から見たそれぞれ時系列の複数の画面を含み、１つの視点から見た時系列の画面を主画面とし、他の視点から見た時系列の画面を副画面とする。前記第１符号化器（０７１−１）はベースビュー符号化器として動作し、前記第２符号化器（０７１−２）はインタービュー符号化器として動作し、前記中間バッファを第１中間バッファ（０７６−１）とし、第３中間バッファ（０７５）とをさらに備え、参照メモリ（１０３）が接続される。
【００７４】
前記第１符号化器（０７１−１）は、供給される第１の主画面の画像情報の符号化を行い、当該符号化の結果から第１ローカル復号画像を生成して前記第１中間バッファ（０７６−１）と前記参照メモリ（１０３）に書き込む。
【００７５】
前記符号化対象画像制御部は、前記第１ローカル復号画像を前記参照メモリ（１０３）から読み出して前記第３中間バッファ（０７５）に格納する。
【００７６】
前記第１符号化器（０７１−１）は、前記第１の主画面の次の第２の主画面の符号化を行うときには、前記第３中間バッファに格納される前記第１ローカル復号画像を参照して供給される前記第２の主画面の画像情報の符号化を行い、当該符号化の結果から第２ローカル復号画像を生成して前記第１中間バッファ（０７６−１）に書き込む。
【００７７】
前記第２符号化器（０７１−２）は、前記第２ローカル復号画像を参照して供給される前記第１の主画面に対応する第１の副画面の画像情報の符号化を行う。
【００７８】
前記符号化対象画像制御部（０７７−２）は、前記第１符号化器から前記第１中間バッファ（０７６−１）に前記第２ローカル復号画像が書き込まれた後、次のローカル復号画像が書き込まれる前に、前記第２符号化器（０７１−２）による当該参照画像を参照する画面の符号化を開始させる。
【００７９】
これにより、主画面のＩピクチャ符号化と次の主画面のＢピクチャの符号化、副画面のインタービュー符号化と次の副画面のインタービュー符号化とを、それぞれ並列化することができ、項１１と同様に、参照メモリ（１０３）のアクセス頻度を低減することができる。
【００８０】
〔１５〕＜第１（画面内）復号器＋第２（画面間）復号器＋中間バッファ＞
本願において開示される代表的な実施の形態は、供給される第１及び第２符号化ストリームから時系列の複数の画面を復号する画像復号装置（８００、８１０）であって、第１復号器（画面内復号器０８１）と、第２復号器（画面間復号器０８２）と、中間バッファ（０８６）と、復号対象画像制御部（０８３、０８４、０８７）とを備える。
【００８１】
前記第１復号器（０８１）は、前記第１符号化ストリームを参照して対応する画面の画像情報の復号を行い、前記復号の結果から参照画像を生成して前記中間バッファ（０８６）に書き込む。
【００８２】
前記第２復号器（０８２）は、前記第２符号化ストリームと前記中間バッファに格納される参照画像とを参照して前記第２符号化ストリームに対応する画面の画像情報の復号を行う。
【００８３】
前記復号対象画像制御部（０８７）は、前記第１復号器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２復号器による当該参照画像を参照する画面の復号を開始させる。
【００８４】
これにより、画像復号装置において、参照メモリ（８０３）へのアクセスを最小限に留めることができ、別の実施の形態においては、参照メモリを不要とすることもできる。
【００８５】
〔１６〕＜Ｉ復号器＋Ｐ復号器＋中間バッファ（実施形態８ｂ）＞
項１５において、前記第１復号器はＩピクチャ復号器（０８８）であり、前記第２復号器はＰピクチャ復号器（０８９）である。
【００８６】
前記復号対象画像制御部（０８３、０８４）は、連続する２画面に対応する第１符号化ストリームと第２符号化ストリームとをそれぞれ前記第１復号器（０８８）と前記第２復号器（０８９）とに供給し、並列して復号を実行させる。
【００８７】
これにより、ＩピクチャとＰピクチャを交互に含む、符号化ストリームを復号する画像復号装置において、参照メモリを不要とすることができる。
【００８８】
〔１７〕＜Ｉ／Ｐ復号器＋ｎ×Ｂ復号器＋２×中間バッファ＋参照メモリ（実施形態８ａ）＞
項１５において、前記第１復号器（０８１）はＩピクチャ復号器またはＰピクチャ復号器として動作し、前記第２復号器（０８２）はＢピクチャ復号器として動作し、前記中間バッファを第１中間バッファ（０８６）とし、前記画像復号装置（８００）は、第３中間バッファ（０８５）とをさらに備え、参照メモリ（８０３）が接続される。
【００８９】
前記第１復号器（０８１）は、Ｉピクチャ復号器として動作するときには、第１画面に対応する符号化ストリームの復号を行い、当該復号の結果から第１ローカル復号画像を生成して前記第１中間バッファ（０８６）と前記参照メモリ（８０３）に書き込む。
【００９０】
前記復号対象画像制御部は、前記第１ローカル復号画像を前記参照メモリ（８０３）から読み出して前記第３中間バッファ（０８５）に格納する。
【００９１】
前記第１復号器（０８１）は、Ｐピクチャ復号器として動作するときには、前記第３中間バッファ（０８５）に格納される前記第１ローカル復号画像を参照して第２画面に対応する符号化ストリームの復号を行い、当該復号の結果から第２ローカル復号画像を生成して前記第１中間バッファ（０８６）に書き込む。
【００９２】
前記Ｂピクチャ復号器（０８２）は、前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して供給される第３画面に対応する符号化ストリームの復号を行う。
【００９３】
前記復号対象画像制御部（０８７）は、前記第１復号器（０８１）から前記第１中間バッファに前記第２ローカル復号画像が書き込まれた後、次の第１ローカル復号画像が書き込まれる前に、前記Ｂピクチャ復号器（０８２）による当該参照画像を参照する画面の復号を開始させる。
【００９４】
これにより、Ｉピクチャの復号とＢピクチャの復号、Ｐピクチャの復号とＢピクチャの復号を、それぞれ並列化することができ、参照メモリのアクセス頻度を、項１１に記載される画像符号化装置におけるものと同様に、低減することができる。
【００９５】
〔１８〕＜画像通信システム（実施形態９）＞
本願において開示される代表的な実施の形態は、画像符号化装置（１００）と出力制御装置（１０４）とを含む送信装置（１０００、１１００、１２００、１３００）と、送信路（１００２）と、画像復号装置（８００、８０５、８０６、８０７）を含む受信装置（１００１、１１０１、１２０１、１３０１）とを備える。
【００９６】
前記画像符号化装置（１００等）は、時系列の複数の画面を符号化する画像符号化装置であって、第１符号化器（００１等）と、第２符号化器（００２等）と、中間バッファ（００５、００６等）と、符号化対象画像制御部（００３、００４、００７等）とを備える。
【００９７】
前記第１符号化器は、符号化対象の画面内の画像情報を参照して当該画面の画像情報の符号化を行って第１符号化ビット列を出力し、前記符号化の結果から参照画像を生成して前記中間バッファに書き込む。
【００９８】
前記第２符号化器は、符号化対象の画面内の画像情報と前記中間バッファに格納される参照画像とを参照して当該画面の画像情報の符号化を行って第２符号化ビット列を出力する。
【００９９】
前記符号化対象画像制御部は、前記第１符号化器から前記中間バッファに次の参照画像が書き込まれる前に、前記第２符号化器による当該参照画像を参照する画面の符号化を開始させる。
【０１００】
前記出力制御装置は、前記第１符号化ビット列と前記第２符号化ビット列を時分割多重して符号化ストリームとして前記送信路に送出する。
【０１０１】
前記受信装置は、前記送信路から入力される前記符号化ストリームを前記画像復号装置に供給して復号させる。
【０１０２】
これにより、低遅延の画像通信システムを提供することができる。また、項１と同様に、画像符号化装置における参照メモリへのアクセスを最小限に留めることができ、別の実施の形態においては、参照メモリを不要とすることもできる。
【０１０３】
〔１９〕＜符号化ビット列のマルチプレクス（実施形態１０）＞
項１８において、前記出力制御装置（１０４）は、前記第１符号化ビット列と前記第２符号化ビット列を、ピクチャよりも細かい単位で時分割多重して符号化ストリームとして前記送信路に送出する。
【０１０４】
前記受信装置は、入力制御装置（８０１）をさらに有する。
【０１０５】
前記入力制御装置は、前記送信路から入力される前記符号化ストリームをデマルチプレクス（８３３）して、前記第１符号化ビット列に対応する第１符号化ビットストリームと、前記第２符号化ビット列に対応する第２符号化ビットストリームとに分離し、前記第１符号化ビットストリームと前記第２符号化ビットストリームとを前記画像復号装置（８０５）に供給する。
【０１０６】
これにより、受信装置は、送信路から受信した符号化ストリームから、符号化標準に準拠する第１及び第２符号化ビットストリームを再構成することができ、よって汎用の画像復号装置によって、画像を復号することができる。
【０１０７】
〔２０〕＜符号化ビット列のマルチプレクス（実施形態１２）＞
項１９において、前記画像復号装置は、第１復号器（０８１）と、第２復号器（０８２）と、第１中間バッファ（０８６）と、第３中間バッファ（０８５）と、復号対象画像制御部（０８３、０８４、０８７）とを備え、参照メモリ（８０３）が接続される。
【０１０８】
前記第１復号器（０８１）は、Ｉピクチャ復号器またはＰピクチャ復号器として動作し、Ｉピクチャ復号器として動作するときには、第１画面に対応する第１符号化ストリームの復号を行い、当該復号の結果から第１ローカル復号画像を生成して前記第１中間バッファ（０８６）と前記参照メモリ（８０３）に書き込む。
【０１０９】
前記復号対象画像制御部は、前記第１ローカル復号画像を前記参照メモリ（８０３）から読み出して前記第３中間バッファ（０８５）に格納する。
【０１１０】
前記第１復号器（０８１）は、Ｐピクチャ復号器として動作するときには、前記第３中間バッファ（０８５）に格納される前記第１ローカル復号画像を参照して第３画面に対応する第１符号化ストリームの復号を行い、当該復号の結果から第２ローカル復号画像を生成して前記第１中間バッファ（０８６）に書き込む。
【０１１１】
前記第２復号器はＢピクチャ復号器として動作し、前記第１ローカル復号画像と前記第２ローカル復号画像とを参照して第２画面に対応する第２符号化ストリームの復号を行う。
【０１１２】
前記復号対象画像制御部（０８７）は、前記第１復号器（０８１）から前記第１中間バッファに前記第２ローカル復号画像が書き込まれた後、次の第１ローカル復号画像が書き込まれる前に、前記Ｂピクチャ復号器による当該ローカル復号画像を参照する画面の復号を開始させる。
【０１１３】
前記復号対象画像制御部（０８７）は、連続する第１画面と第２画面と第３画面にそれぞれ対応する第１符号化ストリームと第２符号化ストリームと第１符号化ストリームとを前記第１復号器と前記第２復号器とに順次供給し、並列して復号を実行させる。
【０１１４】
これにより、項１１に記載される画像符号化装置（１００等）と項１７に記載される画像復号装置（８００等）とを組み合わせた、低遅延の画像通信システムを提供することができる。画像符号化装置では、Ｉピクチャの符号化とＢピクチャの符号化、Ｐピクチャの符号化とＢピクチャの符号化を、それぞれ並列化することができ、項１１と同様に参照メモリ（１０３）のアクセス頻度を低減することができる。画像復号装置でも、Ｉピクチャの復号とＢピクチャの復号、Ｐピクチャの復号とＢピクチャの復号を、それぞれ並列化することができ、項１７と同様に参照メモリ（８０３）のアクセス頻度を低減することができる。
【０１１５】
２．実施の形態の詳細
実施の形態について更に詳述する。
【０１１６】
〔実施形態１〕
本願において開示される代表的な実施の形態は、時系列の複数の画面を符号化する画像符号化装置であって、画面内符号化器と、画面間符号化器と、中間バッファと、符号化対象画像制御部とを備える。ここで「画面」とは、フレーム、フィールドなどに限らず、それを構成するブロック、マクロブロックなど、符号化や復号の単位となるひとまとまりの画像を指す。
【０１１７】
画面内符号化器は、符号化対象の画面内の画像情報を参照して当該画面の画像情報の符号化を行い、その符号化の結果から例えばローカル復号画像などの参照画像を生成して、中間バッファに書き込む。例えばＩピクチャの符号化器がこれに相当する。画面内符号化器は、符号化対象の画面以外の画面から生成された参照画像（ローカル復号画像）を参照して当該画面の画像情報の符号化を行う、画面間符号化（例えばＰピクチャやＢピクチャの符号化）機能をさらに備えてもよい。
【０１１８】
画面間符号化器は、符号化対象の画面内の画像情報と中間バッファに格納される参照画像（ローカル復号画像）とを参照して当該画面の画像情報の符号化を行う。例えば動き補償を伴うＰピクチャやＢピクチャの符号化器がこれに相当する。
【０１１９】
符号化対象画像制御部は、画面内符号化器から中間バッファに次の画面の符号化に伴って生成された参照画像が書き込まれるよりも前に、画面間符号化器による当該参照画像を参照する画面の符号化を開始させる。
【０１２０】
これにより、参照画像（ローカル復号画像）を一旦参照フレームメモリに格納した後に、それを参照する符号化（画面間符号化）の前に改めて読み出して参照する必要がなくなるので、参照フレームメモリへのアクセスを最小限に留めることができ、別の実施の形態においては、参照フレームメモリを不要とすることもできる。同じ参照画像を参照する複数の符号化処理を同時に並列して実行することにより、同じ参照画像が何度も参照フレームメモリから読み出されることなく、参照フレームメモリへのアクセスを最小限に留めることができるのである。
【０１２１】
以上は基本的な技術思想であって、種々の実施の形態に適用することができる。実施形態１から実施形態７に具体的な形態を示すが、これに制限されるものではない。また、対応する技術思想に基づく画像復号装置が実施形態８に、画像通信システムが実施形態９から１２にそれぞれ示されるが、画像復号装置と画像通信システムについても、開示される実施の形態に制限されるものではなく、他に種々の形態で実施されることができる。
【０１２２】
以下に具体例を上げて、より詳細に説明する。
【０１２３】
＜Ｉ／Ｐ符号化器＋ｎ×Ｂ符号化器＋２×中間バッファ＋参照フレームメモリ＞
図１は、実施形態１の画像符号化装置の全体構成例を示すブロック図であり、図２は、出力制御装置１０４の構成例を示すブロック図である。本願明細書が引用する各ブロック図における信号線は、１ビットまたは複数ビットの信号線で実装されるが、バス記述は省略される。
【０１２４】
実施形態１の画像符号化装置の全体構成は、入力画像供給装置１０１と、入力画像メモリ１０２と、符号化装置Ａ（１００）と、参照フレームメモリ１０３と、出力制御装置１０４とを含んで構成される。入力画像供給装置１０１は、符号化対象の原画像を供給する装置であって、例えばカメラなどの撮像装置である。入力画像メモリ１０２は、入力画像供給装置１０１から供給された原画像を保持し、参照フレームメモリ１０３は、ローカル復号画像などの参照画像を保持する。入力画像メモリ１０２と参照フレームメモリ１０３とは別個のメモリとして図示されるが、１個のメモリで実装されてもよく、例えばシステム全体で共有される外部のＳＤＲＡＭにアドレスマッピングされて実装される。符号化装置Ａ（１００）は、符号化対象の原画像を、符号化の単位及び符号化の順序に合せて、入力画像メモリ１０２から読み出して符号化を行い、その過程で生成されるローカル復号画像などの参照画像を参照フレームメモリ１０３に保持させ、符号化の過程で必要な参照画像を参照フレームメモリ１０３から読み出して参照する。符号化装置Ａ（１００）は、符号化の結果、複数の符号化ビット列を出力し、出力制御装置１０４はこの複数の符号化ビット列から符号化ストリームを生成する。図１には第１及び第２符号化ビット列が例示されるが、さらに多数の符号化ビット列が生成、出力されるように構成されてもよい。出力制御装置１０４は図２に示されるように、第１符号化ビット列を一時保存する第１出力バッファ０１０と第２符号化ビット列を一時保存する第２出力バッファ０１１とそれらを切替えて符号化ストリームを生成するスイッチ０１２よりなる。
【０１２５】
図３は、実施形態１の符号化装置Ａ（１００）の構成例を示すブロック図である。入力画像供給装置１０１と入力画像メモリ１０２と参照フレームメモリ１０３と出力制御装置１０４も合わせて示される。図１と同じ構成要素は同じ符号を付して説明を省く。なお、入力画像メモリ１０２と参照フレームメモリ１０３には、それぞれ原画面０、１、・・・２ｎ−１、２ｎ、・・・と参照面ＸとＹが保持される様子が模式的に図示される。ここでｎは任意の自然数であり、２ｎ−１は奇数フレーム、２ｎは偶数フレームを指すものとする。
【０１２６】
符号化装置Ａ（１００）は、Ｉ／Ｐ符号化器００１と、Ｂ符号化器００２と、入力制御部００３と、スイッチ００４と、第３中間バッファ００５と、第１中間バッファ００６と、位置制御部００７とを含んで構成される。Ｉ／Ｐ符号化器００１は、ＩピクチャまたはＰピクチャの符号化を行う符号化器であり、Ｂ符号化器００２はＢピクチャの符号化を行う符号化器である。Ｉピクチャ、Ｐピクチャ及びＢピクチャについては、後述する。入力制御部００３はスイッチ００４を制御して、入力画像メモリ１０２から原画面を読み出し、Ｉ／Ｐ符号化器００１とＢ符号化器００２に供給する。Ｉ／Ｐ符号化器００１は、符号化の過程で生成する参照画像を、参照フレームメモリ１０３に書き込むのと並行して、第１中間バッファ００６に一時保存する。第３中間バッファ００５は、参照フレームメモリ１０３から適宜読み出した参照画像（参照面）を一時保存する。Ｉ／Ｐ符号化器００１がＰピクチャの符号化を行うときには、第３中間バッファ００５に保存されている参照画像（参照面）を参照し、Ｂ符号化器００２がＢピクチャの符号化を行うときには、第１中間バッファ００６に一時保存されている参照画像（参照面）と、第３中間バッファ００５に保存されている参照画像（参照面）とを参照する。位置制御部００７は、Ｉ／Ｐ符号化器００１とＢ符号化器００２の処理位置、即ち、符号化における処理対象の画像データの位置を制御する。詳しくは後述する。
【０１２７】
Ｉ／Ｐ符号化器００１は、Ｉピクチャ符号化とＰピクチャ符号化のみを行う符号化器である必要はなく、Ｂピクチャ符号化も含むＩ／Ｐ／Ｂ符号化器であっても良い。同様に、Ｂ符号化器００２もＢピクチャ符号化のみを行う符号化器ではなく、Ｉ／Ｐ／Ｂ符号化器であっても良い。また、Ｂ符号化器は１つでなくても良い。Ｂ符号化器をＮ個搭載することで２つのＰピクチャ（またはＩピクチャ）の間のＢピクチャの数をＮ枚とすることができる。その際、入力となる参照領域Ｘおよび参照領域ＹはＮ個のＢ符号化器で共通であり、Ｎ個のＢ符号化器は第３中間バッファ００５および第１中間バッファ００６を共有することができる。同じＩまたはＰピクチャの組の間に挟まれる複数（Ｎ枚）のＢピクチャは、共通して当該ＩまたはＰピクチャの組の符号化の過程で生成される参照画像（ローカル符号画像）を参照する。したがって、その複数（Ｎ枚）のＢピクチャの符号化が実行されている期間は継続して、それらが参照する参照画像（ローカル符号画像）を第３中間バッファ００５と第１中間バッファ００６に保持していれば良く、参照フレームメモリ１０３にアクセスして別の参照画像を読み出す必要はない。その一例として図４にＮ＝２の場合の構成を示す。
【０１２８】
図４は、実施形態１の符号化装置Ａ（１００）の別の構成例を示すブロック図である。図３と同様に、入力画像供給装置１０１と入力画像メモリ１０２と参照フレームメモリ１０３と出力制御装置１０４も合わせて示される。符号化装置Ａ（１００）は、Ｉ／Ｐ符号化器００１と、入力制御部００３と、スイッチ００４と、第３中間バッファ００５と、第１中間バッファ００６と、位置制御部００７とを含んで構成され、図３との違いは、Ｎ＝２に対応して２個のＢ符号化器００２−１と００２−２を設けられている点である。２個のＢ符号化器００２−１と００２−２は、同じ参照画像を参照するため、第１中間バッファ００６と第３中間バッファ００５からはそれぞれ同じ参照面の画像データが供給される。２個のＢ符号化器００２−１と００２−２は、それぞれの符号化ビット列、Ｂ符号化ビット列１とＢ符号化ビット列２とを出力制御装置１０４に出力する。出力制御装置１０４は図３と異なり３入力となり、Ｉ／Ｐ符号化ビット列とＢ符号化ビット列１とＢ符号化ビット列２とから符号化ストリームを生成する。同じＩまたはＰピクチャの組の間に挟まれるＢピクチャの数が増えれば、さらにＢ符号化器を増やし、出力制御装置１０４の入力数を増やすことによって、対応することができる。
【０１２９】
画像符号化装置の動作について説明する。
【０１３０】
まず、Ｉピクチャ、Ｐピクチャ及びＢピクチャについて説明する。図５〜図７は、それぞれＩピクチャ、Ｐピクチャ及びＢピクチャの符号化についての説明図である。Ｉピクチャ、Ｐピクチャ及びＢピクチャは動画像符号化方式で採用されるピクチャタイプである。Ｉピクチャは、画面内の画像情報を用いた画面内予測によって符号化を行うピクチャタイプである。Ｐピクチャは、１つの参照面から画面間予測を行う符号化のピクチャタイプである。Ｂピクチャは、２つの参照面から画面間予測を行うことができる符号化のピクチャタイプである。図５〜図７は、画面が撮影順序で示され、左方向が過去、右方向が未来である。図５に示されるＩピクチャＩ０では、画面内の画像情報を用いた画面内予測によって符号化を行う。図６に示されるＰピクチャＰ３では、Ｉ０を参照面とする画面間予測を伴う符号化を行う。図７に示されるＢピクチャＢ１では、過去の画面であるＩ０を参照面とする画面間予測と、未来の画面であるＰ３を参照面とする画面間予測を伴う符号化が行われる。ここで、図示は省略されているが、ＢピクチャＢ２も同じくＩ０とＰ３を参照画面としている。Ｐピクチャは過去の１画面を参照し、Ｂピクチャは過去と未来の１枚ずつを参照することができる。複数のＩピクチャの間のＰピクチャの数、複数のＩまたはＰピクチャに挟まれるＢピクチャの数は、それぞれ任意である。ただし、H.264等符号化標準の種類によっては、例えば過去２画面からの参照も可能であり、本実施形態を始め、本願で開示される各実施形態では、符号化順序を規定するわけではない。実際に本願の符号化装置で符号化を行う場合には、参照される側の画面が参照する側の画面よりも先に符号化されるように順序を入れ替えて符号化装置へ入力する。
【０１３１】
図３に示される画像符号化装置によって、ＩＢＰＢＰＢ・・・のようにＩピクチャまたはＰピクチャの間にＢピクチャが１つ入るように符号化する場合の動作について説明する。入力画像メモリ１０２には原画面０、原画面１、・・・原画面（２ｎ−１）、原画面（２ｎ）、・・・というように、時系列に符号化対象の原画面が入力画像供給装置１０１から供給される。ＩＢＰＢＰＢ・・・と符号化する場合、原画面０がＩピクチャ、原画面１がＢピクチャ、原画面２がＰピクチャとなり、以後、奇数番目の原画面（２ｎ−１）がＢピクチャ偶数番目の原画面（２ｎ）がＩピクチャまたはＰピクチャとして符号化される（ｎは１以上の整数）。ここで原画面（２ｎ）はＰピクチャとして符号化されるものとし、Ｐピクチャ（２ｎ）は画面（２ｎ−２）を参照面として用い、Ｂピクチャ（２ｎ−１）は画面（２ｎ）および画面（２ｎ−２）を参照面として用いる。
【０１３２】
符号化装置Ａ（１００）は２ピクチャずつ並列に符号化する。一般的に、符号化は画面を矩形に区切ったブロック単位で行われる。この処理単位ブロックを「マクロブロック」（以下「ＭＢ」）と呼ぶ。また画面間符号化に用いる参照面は画面内のある領域に限定することも可能であり、ここでは参照領域と呼ぶ。本願では、ＭＢ単位で処理を行うことにより、Ｉ／Ｐ符号化器００１が符号化し終わったＭＢのデータを、Ｂ符号化器が符号化しようとするＭＢで使用することができ、２ピクチャの並列符号化を可能としている。
【０１３３】
Ｉ／Ｐ符号化器００１における符号化処理の順序について説明する。
【０１３４】
（１）原画面（２ｎ）の符号化対象ＭＢを入力画像メモリ１０２からＩ／Ｐ符号化器００１に入力する。
【０１３５】
（２）Ｐピクチャ符号化に用いる参照領域Ｘを、参照フレームメモリ１０３内の参照面Ｘから第３中間バッファ００５に入力する。
【０１３６】
（３）Ｉ／Ｐ符号化器００１は、原画面（２ｎ）ＭＢおよび第３中間バッファ００５内の参照領域Ｘから画面間予測によりＰピクチャ符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴って、符号化したビット列を復号した画像（以下、ローカル復号画像）を第１中間バッファ００６に書き込んで保持する。
【０１３７】
（４）第１中間バッファ００６に格納されたローカル復号画像は、以降の符号化で参照面として使用するために参照フレームメモリ１０３の参照面Ｙに書き出される。
【０１３８】
上記（１）〜（４）を原画面（２ｎ）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。なお、Ｉピクチャ符号化を行う場合は、（３）にて画面内予測によりＩピクチャ符号化を行う。このとき、第３中間バッファ００５内の参照領域Ｘは使用しない。ただし、Ｉピクチャ符号化を行う場合であっても（２）の参照領域Ｘの第３中間バッファ００５への格納は実施する。
【０１３９】
Ｂ符号化器００２における符号化処理の順序について説明する。
【０１４０】
（５）原画面（２ｎ−１）の符号化対象ＭＢを入力画像メモリ１０２からＢ符号化器００２に入力する。
【０１４１】
（６）Ｂ符号化器００２は、原画面（２ｎ−１）ＭＢ、第３中間バッファ００５内の参照領域Ｘおよび第１中間バッファ００６内のローカル復号画像で構成する参照領域Ｙから、画面間予測によりＢピクチャ符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。
【０１４２】
上記（５）〜（６）を原画面（２ｎ−１）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。
【０１４３】
上記Ｉ／Ｐ符号化器００１による（１）〜（４）の処理と、Ｂ符号化器００２による（５）〜（６）の処理とは並列に実行される（２ピクチャ並列の符号化）。
【０１４４】
図８〜１０に、Ｉ、Ｐ、Ｂピクチャの符号化の処理順序を模式的に示す。図８には比較例における符号化の処理順序が示され、図９と図１０には本実施形態１において採用することができる、２通りの処理順序が示される。期間Ｎ（Ｎ＝０，１，・・・２ｎ＋１，・・・）が１ピクチャの処理時間であり、Ｎの値が小さい方が前（過去）の時間、大きい方が後（未来）の時間を表す。Ｉ、Ｐ、Ｂに付随する数字は画像が撮影されたときの順序を表す。
【０１４５】
図８に示されるように、比較例では１期間に１種類のピクチャタイプの符号化のみが実行される。期間０にはＩ０、期間１にはＩ０以前に撮影されたＢピクチャ、期間２にはＰ２、期間３にはＢ１、期間４にはＰ４、期間５にはＢ３の符号化が実行され、その後、期間（２ｎ−２）にはＰ（２ｎ−２）、期間（２ｎ−１）にはＢ（２ｎ−３）、期間（２ｎ）にはＰ（２ｎ）、期間（２ｎ＋１）にはＢ（２ｎ−１）の符号化が実行される。図中の矢印は、参照画像の参照関係を表している。即ち、矢印の先端のピクチャを符号化するときに、矢印の根本のピクチャの符号化で生成された参照画像（ローカル復号画像）が参照される。期間４においてＰ４の符号化を実行するときに、期間２で実行されたＰ２の符号化で生成された参照画像（ローカル復号画像）が参照される。期間５においてＢ３の符号化を実行するときには、期間２で実行されたＰ２の符号化で生成された参照画像（ローカル復号画像）に加えて、さらに期間４で実行されたＰ４の符号化で生成された参照画像（ローカル復号画像）が参照される。このように、原画像は撮影された順序ではなく符号化される順序で入力画像メモリ１０２から読み出されて供給される。Ｂ３は撮影順序ではＰ２とＰ４の間の画面であるが、Ｂピクチャであるので、過去のＰ２の参照画像だけでなく未来のＰ４の参照画像も使用するため、Ｐ４よりも後に入力されている。以降、期間（２ｎ）で実行されるＰ（２ｎ）の符号化では期間（２ｎ−２）で実行されたＰ（２ｎ−２）の符号化で生成された参照画像（ローカル復号画像）が参照される。期間（２ｎ＋１）においてＢ（２ｎ−１）の符号化を実行するときには、期間（２ｎ−２）で実行されたＰ（２ｎ−２）の符号化で生成された参照画像（ローカル復号画像）に加えて、さらに期間（２ｎ）で実行されたＰ（２ｎ）の符号化で生成された参照画像（ローカル復号画像）が参照される。ここで、期間２で実行されたＰ２の符号化で生成された参照画像（ローカル復号画像）は、期間２に参照フレームメモリに書き込まれた後、期間４でＰ４の符号化のために読み出され、さらに、期間５でＢ３の符号化のために再度読み出される。一般に、期間（２ｎ−２）で実行されたＰ（２ｎ−２）の符号化で生成された参照画像（ローカル復号画像）は、期間（２ｎ−２）に参照フレームメモリに書き込まれた後、期間（２ｎ）でＰ（２ｎ）の符号化のために読み出され、さらに、期間（２ｎ＋１）でＢ（２ｎ−１）の符号化のために再度読み出される。このように、参照フレームメモリは、１個の参照画像について１回の書き込みと少なくとも２回の読み出しのアクセスが行われることとなる。
【０１４６】
本実施形態１に示される符号化装置Ａ（１００）は、Ｉ／Ｐ符号化器００１とＢ符号化器００２とを同時に並列動作させることができるため、ＩまたはＰピクチャの符号化とＢピクチャの符号化とを並列に実行することができる。
【０１４７】
図９は、実施形態１における符号化の処理順序の一例を示す説明図である。期間０にはＩ／Ｐ符号化器００１がＩ０の符号化を実行し、Ｂ符号化器００２がＩ０以前に撮影されたＢピクチャの符号化を実行する。その後、期間２にはＰ３とＢ１、期間４にはＰ４とＢ３、期間（２ｎ−２）にはＰ（２ｎ−２）とＢ（２ｎ−３）、期間（２ｎ）にはＰ（２ｎ）とＢ（２ｎ−１）の符号化が、それぞれ並列に実行される。ここで、期間２で実行されたＰ２の符号化で生成された参照画像（ローカル復号画像）は、期間２に参照フレームメモリに書き込まれた後、期間４でＰ４の符号化のために読み出され、同じ期間４でＢ３の符号化のために使用される。一般に、期間（２ｎ−２）で実行されたＰ（２ｎ−２）の符号化で生成された参照画像（ローカル復号画像）は、期間（２ｎ−２）に参照フレームメモリに書き込まれた後、期間（２ｎ）にＰ（２ｎ）との符号化のために読み出され、同じ期間（２ｎ）にＢ（２ｎ−１）の符号化のために使用されるため、再度読み出される必要がない。このように、参照フレームメモリのアクセス頻度は、１個の参照画像について１回の書き込みと１回の読み出しのアクセスに抑えられる。なお、期間４におけるＢ３の符号化では同じ期間４に実行されるＰ４で生成される参照画像も使用される。このため、Ｂ３の符号化で必要とされる参照画像が、Ｐ４の符号化の過程で既に生成され、第１中間バッファ００６に書き込まれた後に、Ｂ３の符号化を開始することができる。このような制御は、後述のように位置制御部００７によって実行される。
【０１４８】
図１０は、実施形態１における符号化の処理順序の別の例を示す説明図である。期間０にはＩ／Ｐ符号化器００１がＩ０の符号化を実行し、Ｂ符号化器００２がＩ０以前に撮影されたＢピクチャの符号化を実行する。その後、期間１にはＰ３とＢ１、期間２にはＰ４とＢ３、期間（ｎ−１）にはＰ（２ｎ−２）とＢ（２ｎ−３）、期間（ｎ）にはＰ（２ｎ）とＢ（２ｎ−１）の符号化が、それぞれ並列に実行される。ここで、期間１で実行されたＰ２の符号化で生成された参照画像（ローカル復号画像）は、期間１に参照フレームメモリに書き込まれた後、期間２でＰ４の符号化のために読み出され、同じ期間２でＢ３の符号化のために使用される。一般に、期間（ｎ−１）で実行されたＰ（２ｎ−２）の符号化で生成された参照画像（ローカル復号画像）は、期間（ｎ−１）に参照フレームメモリに書き込まれた後、期間（ｎ）でＰ（２ｎ）との符号化のために読み出され、同じ期間（ｎ）でＢ（２ｎ−１）の符号化のために使用されるため、再度読み出される必要がない。このように、参照フレームメモリのアクセス頻度は、図９に前述した例と同様に、１個の参照画像について１回の書き込みと１回の読み出しのアクセスに抑えられる。図９に示される例が撮影されるフレーム間隔と同じ間隔で符号化処理を実行するため、２ピクチャ期間に２ピクチャの符号化処理を実行するので、動作周波数を下げて消費電力を抑えることができる。もしくは、１ピクチャ期間に２ピクチャの符号化処理を実行した後、２ピクチャ期間終了までクロック停止して消費電力を抑えることもできる。これに対し、図１０に示される例では、１ピクチャ期間に２ピクチャの符号化処理を実行している。この場合、処理性能を２倍に上げることが可能となる。
【０１４９】
次に位置制御部００７の動作について説明する。上述のように、図９の期間４におけるＢ３の符号化では同じ期間４で実行されるＰ４で生成される参照画像も使用されるため、Ｂ３の符号化で必要とされる参照画像がＰ４の符号化の過程で既に生成され第１中間バッファ００６に書き込まれた後に、Ｂ３の符号化が開始されるように制御されなければならない。
【０１５０】
図１１と図１２は、位置制御部００７による制御例を示す説明図であり、図１１には待ち指示の状態、図１２には処理許可の状態が示される。ここでの説明では簡単のため、水平方向に６個のマクロブロック（ＭＢ）で構成される画面を用い、参照領域が符号化対象ＭＢと同一位置を起点とした２×２の４ＭＢ領域である例を示す。例えば１フレームなどの１画面を構成するマクロブロックの数や参照領域の大きさは任意であり、画像符号化の標準によって規定され、或いは、画像システムの仕様として規定される。また、Ｉ／Ｐ符号化器００１の参照領域X、Ｂ符号化器００２の参照領域X、参照領域Yはそれぞれ同じ大きさである必要はない。
【０１５１】
図１１には、Ｉ／Ｐ符号化器００１とＢ符号化器００２と、位置制御部００７、第１及び第３中間バッファ００６と００５が示される。Ｉ／Ｐ符号化器００１に入力される原画像（２ｎ）がＭＢごとに示され、Ｂ符号化器００２に入力される原画像（２ｎ−１）がＭＢごとに示される。ハッチングは既に入力されたＭＢを表し、太枠が現時点での符号化処理の対象ＭＢを表す。図１１には、Ｂ符号化器００２がＭＢ０の処理を開始しようとしているのに対して、Ｉ／Ｐ符号化器００１はＭＢ７を処理中である例が示される。Ｉ／Ｐ符号化器００１にはＭＢ０〜ＭＢ６が既に入力され、符号化が終わって、ローカル復号されたＭＢ０〜ＭＢ６は第１中間バッファ００６に格納されている。また、第３中間バッファ００５には参照フレームメモリ１０３から必要な参照面の参照画像が読み出されて格納されている。図１１に示されるように、Ｉ／Ｐ符号化器００１には原画面（２ｎ）のＭＢ７が入力され、第３中間バッファ００５から参照領域ＸであるＭＢ７、ＭＢ８、ＭＢ１３及びＭＢ１４の４ブロックを参照して符号化を行い、ローカル復号したＭＢ７を第１中間バッファ００６に書き出す。Ｉ／Ｐ符号化器００１は、位置制御部００７へ「ＭＢ７処理中」を表す情報を通知する。一方、Ｂ符号化器００２は位置制御部００７に対して「ＭＢ０処理要求」のリクエストを行う。位置制御部００７は、Ｂ符号化器００２が必要な参照領域Ｙのデータがそろっているかを管理しており、Ｂ符号化器００２に対して、「待ち指示」または「処理許可」を通知する。図１１には、Ｉ／Ｐ符号化器００１がＭＢ７の処理を完了していないため、Ｂ符号化器００２のＭＢ０処理に必要な参照領域Ｙ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）がそろっておらず、「待ち指示」が通知されている状態が示されている。「待ち指示」を受けたＢ符号化器００２は、待ち状態となり符号化を開始しない。
【０１５２】
図１２には、Ｂ符号化器００２がＭＢ０の処理を開始しようとしているのに対して、Ｉ／Ｐ符号化器００１が上述のＭＢ７の処理を終えてＭＢ８を処理中である例が示される。この場合、Ｉ／Ｐ符号化器００１はＭＢ７の処理を完了しているため、Ｂ符号化器００２のＭＢ０処理に必要な参照領域Ｙ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）が第１中間バッファ００６内にそろっており、位置制御部００７はＢ符号化器００２に「処理許可」を通知する。「処理許可」を受けたＢ符号化器００２は、原画面（２ｎ−１）のＭＢ０と参照領域ＸのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７ならびに参照領域ＹのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７を用いて符号化を開始する。
【０１５３】
図９と図１０で説明したように、Ｉ／Ｐ符号化とＢ符号化は、マクロ（巨視的）には同じピクチャ期間に並列して実行されるが、ミクロ（微視的）には図１１と図１２を引用してすでに説明したように、符号化の処理単位であるＭＢを単位として、必要な参照領域のＭＢの符号化処理が完了するのを待って符号化を開始させる制御（処理位置制御）が行われる。参照領域は、例えば動き補償で許される動きベクトルの範囲や大きさに依存して決定され、最大でも１フレーム以内である。参照領域が最大の１フレームである場合には、被参照側のＩ／Ｐ符号化が１フレーム完了した後に参照側のＢ符号化に対して「処理許可」が通知されることとなるため、例えば図９におけるＢ３の処理は、期間５にずれこむこととなる。この場合でも参照側のＢ符号化は一様に遅れるので、図１０に示されるように１ピクチャ期間に２ピクチャの符号化を並列して実行することは可能である。一方、参照側のＢ符号化は中間バッファ、特に第１中間バッファ００６の内容が、次の画面（フレーム）の符号化による参照面（ローカル復号画像）で上書きされるよりも前に開始されるように構成するのが好適である。これにより、中間バッファの記憶容量は、１画面（１フレーム）分に抑えることができる。一方、参照領域が限られる場合には、中間バッファの記憶容量は、さらに小さくすることもできる。
【０１５４】
本実施形態１に係る画像符号化装置は、Ｉ／Ｐ符号化器００１で第１のピクチャを符号化し、その際に生成するローカル復号画像を第１中間バッファ００６に保存し、Ｂ符号化器００２がそのローカル復号画像を参照して並列に第２のピクチャの符号化を行い、両符号化器の間の制御を位置制御部００７で行うことを特徴としている。以上述べてきたように、本構成により、参照フレームメモリ１０３へのアクセス頻度を低減できる効果がある。本構成では、Ｂピクチャを符号化するＢ符号化器００２は、第３中間バッファ００５および第１中間バッファ００６にすでに保存してあるデータを参照領域として使用するため、Ｂピクチャ符号化時に参照フレームメモリ１０３へのアクセスは発生しない。したがって、参照フレームメモリ１０３からデータをリードするのはＰピクチャ符号化時のみで良い。
【０１５５】
特許文献１に開示される画像符号化装置では、Ｐピクチャ符号化時の１ピクチャ分に加えＢピクチャ符号化時の２ピクチャ分のリードが必要なところ、本構成ではＰピクチャ符号化時の１ピクチャ分のみとなり、メモリ帯域を１／３にまで削減できる効果がある。特許文献１が解決しようとした一般的な従来例に比べると、本構成ではメモリ帯域を１／５にまで削減できる効果がある。
【０１５６】
その他の効果として、参照フレームメモリ１０３の容量を削減できる。従来、３面分の容量が必要であったところ、本構成では読み出し用の１面と書き込み用の１面の合計２面分の容量で構成できる。
【０１５７】
符号化装置Ａ（１００）の内部に追加する第３中間バッファ００５の容量は、Ｉ／Ｐ符号化器００１が参照する領域およびＢ符号化器００２が参照する領域を含む分のデータを保存すればよく、高々数ＭＢライン分、最小３ＭＢ分でよい。第１中間バッファ００６の容量は、Ｉ／Ｐ符号化器００１が復号ＭＢを書き出す領域とＢ符号化器００２が参照する領域を含む分のデータを保存すればよく、高々数ＭＢライン分、最小２ＭＢ分でよい。
【０１５８】
なお、本構成は、ほぼ全ての動画像符号化標準に適用することができる。
【０１５９】
〔実施形態２〕＜Ｉ符号化器＋Ｐ符号化器＋Ｂ符号化器＋中間バッファ＞
実施形態１では、２つの符号化器と２つの中間バッファを設けることで、参照フレームメモリのアクセス帯域を削減できることを示した。しかしながら、アクセス帯域を０とすることはできず、参照フレームメモリが必要であることに変わりはない。例えば、参照フレームメモリを外部の共用メモリに置くことを考えた場合、参照フレームメモリの容量、アクセス帯域の存在はシステムコストを圧迫する。
【０１６０】
そこで本実施形態２では、参照フレームメモリを必要としない構成を示す。
【０１６１】
図１３は、実施形態２の画像符号化装置の全体構成例を示すブロック図である。
【０１６２】
実施形態２の画像符号化装置の全体構成は、入力画像供給装置１０１と、入力画像メモリ１０２と、符号化装置Ｂ（２００）と、出力制御装置１０４とを含んで構成される。実施形態１の画像符号化装置と異なり、参照フレームメモリ１０３を備えず、符号化装置Ｂ（２００）は、入力画像メモリ１０２から入力した原画像をある画像符号化方式に則って、参照フレームメモリを用いずに符号化する。また、符号化装置Ｂ（２００）は３つ以上の符号化ビット列を出力する。
【０１６３】
図１４は、実施形態２の画像符号化装置の構成例を示すブロック図である。入力画像供給装置１０１と入力画像メモリ１０２と出力制御装置１０４も合わせて示される。なお、入力画像メモリ１０２には、原画面０、１、・・・３ｎ、３ｎ＋１、３ｎ＋２、・・・が保持される様子が模式的に図示される。
【０１６４】
符号化装置Ｂ（２００）は、Ｉ符号化器０２０と、Ｐ符号化器０２１と、Ｂ符号化器０２２と、入力制御部０２３と、スイッチ０２４と、第１及び第２中間バッファ０２５と０２６と、第１及び第２位置制御部０２７と０２８とを含んで構成される。Ｉ符号化器０２０はＩピクチャの符号化を行い、第１符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として第１中間バッファ０２５に出力する。Ｐ符号化器０２１は、第１中間バッファ０２５に保持されているローカル復号画像を参照してＰピクチャ符号化を行い、第２符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として第２中間バッファ０２６に出力する。Ｂ符号化器は、第１中間バッファ０２５に保持されているローカル復号画像と第２中間バッファ０２６に保持されているローカル復号画像とを参照してＢピクチャ符号化を行い、第３符号化ビット列を生成して出力制御装置１０４に出力する。
【０１６５】
Ｉ符号化器０２０、Ｐ符号化器０２１、Ｂ符号化器０２２はそれぞれのピクチャタイプ専用の符号化器である必要はなく、いずれも例えばＩ／Ｐ／Ｂ符号化器であっても良い。Ｂ符号化器は１つでなくても良い。Ｂ符号化器をＮ個搭載することでＩピクチャとＰピクチャの間のＢピクチャの数をＮ枚とすることができる。
【０１６６】
実施形態２の画像符号化装置の動作について説明する。図１４に示される画像符号化装置によって、ＩＢＰＩＢＰＩＢＰ・・・のようにＩピクチャとＢピクチャとＰピクチャの３つのピクチャタイプが３画面毎に繰り返されるように符号化する場合の動作について説明する。入力画像メモリ１０２には原画面０、原画面１、・・・、原画面（３ｎ）、原画面（３ｎ＋１）、原画面（３ｎ＋２）、・・・というように、時系列に符号化対象の原画面が入力画像供給装置１０１から供給される。ＩＢＰＩＢＰＩＢＰ・・・と符号化する場合、原画面０がＩピクチャ、原画面１がＢピクチャ、原画面２がＰピクチャとなり、以後原画面（３ｎ）がＩピクチャ、原画面（３ｎ＋１）がＢピクチャ、原画面（３ｎ＋２）がＰピクチャとして符号化される（ｎは０以上の整数）。
【０１６７】
符号化装置Ｂ（２００）は３ピクチャずつ並列に符号化する。
【０１６８】
Ｉ符号化器０２０における符号化処理の順序について説明する。
【０１６９】
（１）原画面（３ｎ）の符号化対象ＭＢを入力画像メモリ１０２からＩ符号化器０２０に入力する。
【０１７０】
（２）Ｉ符号化器０２０は、原画面（３ｎ）の対象ＭＢを画面内予測によりＩピクチャ符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴って、ローカル復号画像を第１中間バッファ０２５に書き込んで保持する。
【０１７１】
上記（１）〜（２）を原画面（３ｎ）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。
【０１７２】
Ｐ符号化器０２１における符号化処理の順序について説明する。
【０１７３】
（３）原画面（３ｎ＋２）の符号化対象ＭＢを入力画像メモリ１０２からＰ符号化器０２１に入力する。
【０１７４】
（４）Ｐ符号化器０２１は、原画面（３ｎ＋２）の対象ＭＢおよび第１中間バッファ０２５内のＩ符号化器０２０のローカル復号画像で構成する参照領域Ｘから画面間予測によりＰピクチャ符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。それに伴って、ローカル復号画像を第２中間バッファ０２６に書き込んで保持する。
【０１７５】
上記（３）〜（４）を原画面（３ｎ＋２）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。
【０１７６】
Ｂ符号化器０２２における符号化処理の順序について説明する。
【０１７７】
（５）原画面（３ｎ＋１）の符号化対象ＭＢを入力画像メモリ１０２からＢ符号化器０２２に入力する。
【０１７８】
（６）Ｂ符号化器０２２は、原画面（３ｎ＋１）の対象ＭＢ、第１中間バッファ０２５内のＩ符号化器０２０のローカル復号画像で構成する参照領域Ｘおよび第２中間バッファ０２６内のＰ符号化器０２１のローカル復号画像で構成する参照領域Ｙから、画面間予測によりＢピクチャ符号化を行い、第３符号化ビット列を出力制御装置１０４へ出力する。
【０１７９】
上記（５）〜（６）を原画面（３ｎ＋１）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。
【０１８０】
上記Ｉ符号化器０２０による（１）〜（２）の処理と、Ｐ符号化器０２１による（３）〜（４）の処理と、Ｂ符号化器０２２による（５）〜（６）の処理とは並列に実行される（３ピクチャ並列の符号化）。
【０１８１】
Ｐ符号化器０２１は原画面（３ｎ＋２）のＰピクチャ符号化のために、過去の原画面（３ｎ）のＩピクチャ符号化によるローカル復号画像を参照するが、そのローカル復号画像は第１中間バッファ０２５に保持されているので、参照フレームメモリにアクセスする必要がない。また、Ｂ符号化器０２２は原画面（３ｎ＋１）のＢピクチャ符号化のために、過去の原画面（３ｎ）のＩピクチャ符号化によるローカル復号画像と未来の原画面（３ｎ＋２）のＰピクチャ符号化によるローカル復号画像とを参照するが、それらの参照画像はそれぞれ第１中間バッファ０２５と第２中間バッファ０２６に保持されているので、参照フレームメモリにアクセスする必要がない。これにより、本実施形態２に係る画像符号化装置では、参照フレームメモリを備える必要がない。
【０１８２】
次に第１及び第２位置制御部０２７と０２８の動作について説明する
図１５は、実施形態２の位置制御部０２７と０２８による制御例を示す説明図である。ここでの説明では簡単のため、図１１と図１２と同様に水平方向に６個のマクロブロック（ＭＢ）で構成される画面を用い、参照領域が符号化対象ＭＢと同一位置を起点とした２×２の４ＭＢ領域である例を示す。
【０１８３】
図１５には、Ｉ符号化器０２０とＰ符号化器０２１とＢ符号化器０２２と、第１及び第２位置制御部０２７と０２８と、第１及び第２中間バッファ０２５と０２６とが示される。Ｉ符号化器０２０に入力される原画像（３ｎ）が、Ｐ符号化器０２１に入力される原画像（３ｎ＋２）が、Ｂ符号化器０２２に入力される原画像（３ｎ＋１）が、それぞれＭＢごとに示される。ハッチングは既に入力されたＭＢを表し、太枠が現時点での符号化処理の対象ＭＢを表す。
【０１８４】
Ｉ符号化器０２０には原画面（３ｎ）のＭＢ０〜ＭＢ１５が既に入力され、符号化が終わって、ローカル復号されたＭＢ０〜ＭＢ１５が第１中間バッファ０２５に格納されている。Ｉ符号化器０２０は、現時点ではＭＢ１６を対象として符号化を実行しており、「ＭＢ１６処理中」の情報を第１位置制御部０２７と第２位置制御部０２８へ通知している。
【０１８５】
Ｐ符号化器０２１には原画面（３ｎ＋２）のＭＢ０〜ＭＢ７が既に入力され、符号化が終わって、ローカル復号されたＭＢ０〜ＭＢ７が第２中間バッファ０２６に格納されている。Ｐ符号化器０２１は、現時点ではＭＢ８を対象として符号化を実行するために、第１位置制御部０２７に対して「ＭＢ８処理要求」を通知している。第１位置制御部０２７は、Ｐ符号化器０２１が必要な参照領域Ｘのデータがそろっているかを管理しており、Ｐ符号化器０２１に対して、「待ち指示」または「処理許可」を通知する。図１５に示される例では、第１位置制御部０２７は、Ｐ符号化器０２１がＭＢ８の符号化処理のために参照する、参照領域Ｘ（ＭＢ８／ＭＢ９／ＭＢ１４／ＭＢ１５）がＩ符号化器０２０から第１中間バッファ０２５に書き込まれた後に、Ｐ符号化器０２１に対して「処理許可」を通知することにより、Ｐ符号化器０２１にＭＢ８の符号化処理を開始させる。「処理許可」を受けたＰ符号化器０２１は、原画面（３ｎ＋２）のＭＢ８と参照領域ＸのＭＢ８／ＭＢ９／ＭＢ１４／ＭＢ１５を用いて符号化を開始する。符号化処理を開始すると、「ＭＢ８処理中」を第２位置制御部０２８に通知する。
【０１８６】
Ｂ符号化器０２２には原画面（３ｎ＋１）のＭＢ０が入力され、それを対象として符号化を実行するために、第２位置制御部０２８に対して「ＭＢ０処理要求」を通知している。Ｉ符号化器０２０は、ローカル復号したＭＢ１６を第１中間バッファ０２５に書き出し、第２位置制御部０２８へは「ＭＢ１６処理中」の情報を通知している。Ｐ符号化器０２１は、ローカル復号したＭＢ８を第２中間バッファ０２６に書き出し、第２位置制御部０２８へは「ＭＢ８処理中」の情報を通知している。第２位置制御部０２８は、Ｂ符号化器０２２が必要な参照領域Ｘおよび参照領域Ｙのデータがそろっているかを管理しており、Ｂ符号化器０２２に対して、「待ち指示」または「処理許可」を通知する。図１５に示される例では、Ｉ符号化器０２０、Ｐ符号化器０２１共にＭＢ８の処理を完了しているため、Ｂ符号化器０２２がＭＢ０の符号化処理に必要な参照領域Ｘ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）及び参照領域Ｙ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）はそろっており、「処理許可」を通知する。換言すれば、第２位置制御部０２８は、Ｉ符号化器０２０から参照領域Ｘ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）が第１中間バッファ０２５に書き込まれ、且つ、Ｐ符号化器０２１から参照領域Ｙ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）が第２中間バッファ０２６に書き込まれた後に、Ｂ符号化器０２２に対して「処理許可」を通知する。「処理許可」を受けたＢ符号化器０２２は、原画面（３ｎ＋１）のＭＢ０と参照領域ＸのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７、参照領域ＹのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７を用いて符号化を開始する。なお、Ｐ符号化器０２１の処理位置のみで、Ｉ符号化器０２０のローカル復号ＭＢで構成される第１中間バッファ０２５内の参照領域もそろっていることが保証できる場合、Ｉ符号化器０２０から第２位置制御部０２８への処理位置通知を省略することも可能である。
【０１８７】
本実施形態２では、実施形態１が２個の符号化器の間に１個の中間バッファを設ける１段の組合せであるのに対し、３個の符号化器の間に２個の中間バッファを設ける２段の組合せを採用することにより、実施形態１で必要であった参照フレームメモリ１０３を削除することができる。
【０１８８】
実施形態１では、Ｉ／Ｐ符号化器００１、Ｂ符号化器００２、位置制御部００７、第１中間バッファ００６のように、２個の符号化器の間に１個の中間バッファを設ける１段の組合せを採用した。１段目のローカル復号画像を中間バッファに一時保存して２段目の符号化器による符号化処理で参照することにより、参照フレームメモリへのアクセス頻度を削減することができるが、１段目のＩ／Ｐ符号化器００１がＰピクチャの符号化を実行するときには、参照フレームメモリアクセスする必要があった。これに対し、本実施形態２では、Ｉ符号化器０２０、第１中間バッファ０２５と第１位置制御部０２７、Ｐ符号化器０２１、第２中間バッファ０２６と第２位置制御部０２８、Ｂ符号化器０２２のように、３個の符号化器の間に２個の中間バッファを設ける２段の組合せを採用している。Ｉ符号化器０２０で第１のピクチャを符号化し、その際に生成するローカル復号画像を第１中間バッファ０２５に保存し、Ｐ符号化器０２１で第１中間バッファ０２５内のローカル復号画像を参照して並列に第２のピクチャを符号化する。Ｐ符号化器０２１による第２のピクチャを符号化の際に生成するローカル復号画像を第２中間バッファ０２６に保存し、Ｂ符号化器０２２が第１中間バッファ０２５および第２中間バッファ０２６のローカル復号画像を参照して並列に第３のピクチャの符号化を行う。Ｉ符号化器０２０による第１のピクチャの符号化と、Ｐ符号化器０２１による第２のピクチャを符号化と、Ｂ符号化器０２２による第３のピクチャの符号化とは、マクロには並列して実行され、それぞれの符号化処理の開始を許可する符号化器の間の制御は、第１位置制御部０２７および第２位置制御部０２８で行う。本構成では、Ｐピクチャを符号化するＰ符号化器０２１は、第１中間バッファ０２５にすでに保存してあるデータを参照領域として使用し、Ｂピクチャを符号化するＢ符号化器０２２は、第１中間バッファ０２５および第２中間バッファ０２６にすでに保存してあるデータを参照領域として使用するため、参照フレームメモリ１０３へのアクセスは一切発生しない。従って本構成では、参照フレームメモリのメモリ帯域およびメモリ容量を０とすることができるため、システムのコストを大幅に削減できる。
【０１８９】
〔実施形態３〕＜Ｉ符号化器＋Ｐ符号化器＋中間バッファ＞
実施形態２では１つのＩ符号化器、１つのＰ符号化器、ならびに１つ以上のＢ符号化器を備えることで、参照フレームメモリを不要として、システムコストを削減する構成を示した。しかしながら、実施形態２では３つ以上の符号化器を具備する必要があり、実施形態１に比べてハードウェアコストが増大する。また一般的に、ＩピクチャやＰピクチャの間にＢピクチャが入る符号化は符号化効率が向上する反面、入力画像を符号化処理の順序に合せて並び替える必要が生じるため、符号化遅延が大きくなるというデメリットも存在する。これは復号側にも同様に入力から表示までの遅延が大きくなるというデメリットを強いる。そのため、Ｂピクチャを含まない符号化のニーズもある。
【０１９０】
実施形態３では、実施形態２からＢ符号化器を除くことで、ハードウェアコストの低減および符号化遅延の低減を可能とする構成を示す。
【０１９１】
図１６は、実施形態３の画像符号化装置の全体構成例を示すブロック図である。
【０１９２】
実施形態３の画像符号化装置の全体構成は、入力画像供給装置１０１と、入力画像メモリ１０２と、符号化装置Ｃ（３００）と、出力制御装置１０４とを含んで構成される。実施形態１の画像符号化装置と異なり、参照フレームメモリ１０３を備えず、符号化装置Ｃ（３００）は、入力画像メモリ１０２から入力した原画像をある画像符号化方式に則って、参照フレームメモリを用いずに符号化する。また、実施形態２の画像符号化装置と異なり、符号化装置Ｃ（３００）は３つの符号化ビット列を出力する。
【０１９３】
図１７は、実施形態３の画像符号化装置の構成例を示すブロック図である。入力画像供給装置１０１と入力画像メモリ１０２と出力制御装置１０４も合わせて示される。なお、入力画像メモリ１０２には、原画面０、１、・・・、２ｎ−１、２ｎ、２ｎ＋１、・・・が保持される様子が模式的に図示される。
【０１９４】
符号化装置Ｃ（３００）は、Ｉ符号化器０３０と、Ｐ符号化器０３１と、入力制御部０３３と、スイッチ０３４と、第１中間バッファ０３５と、第１位置制御部０３２とを含んで構成される。Ｉ符号化器０３０はＩピクチャの符号化を行い、第１符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として第１中間バッファ０３５に出力する。Ｐ符号化器０３１は、第１中間バッファ０３５に保持されているローカル復号画像を参照してＰピクチャ符号化を行い、第２符号化ビット列を生成して出力制御装置１０４に出力する。Ｉ符号化器０３０、Ｐ符号化器０３１はそれぞれのピクチャタイプ専用の符号化器である必要はなく、いずれも例えばＩ／Ｐ／Ｂ符号化器であっても良い。
【０１９５】
実施形態３の画像符号化装置の動作について説明する。図１６に示される画像符号化装置によって、ＩＰＩＰＩＰ・・・のようにＩピクチャとＰピクチャの２つのピクチャタイプが２画面毎に繰り返されるように符号化する場合の動作について説明する。入力画像メモリ１０２には原画面０、原画面１、・・・、原画面（２ｎ−１）、原画面（２ｎ）、原画面（２ｎ＋１）というように、時系列に符号化対象の原画面が入力画像供給装置１０１から供給される。ＩＰＩＰＩＰ・・・と符号化する場合、原画面０がＩピクチャ、原画面１がＰピクチャとなり、以後原画面（２ｎ−１）がＩピクチャ、原画面（２ｎ）がＰピクチャ、原画面（２ｎ＋１）がＩピクチャとして符号化される（ｎは０以上の整数）。
【０１９６】
符号化装置Ｃ（３００）は２ピクチャずつ並列に符号化する。
【０１９７】
Ｉ符号化器０３０における符号化処理の順序について説明する。
【０１９８】
（１）原画面（２ｎ−１）の符号化対象ＭＢを入力画像メモリ１０２からＩ符号化器０３０に入力する。
【０１９９】
（２）Ｉ符号化器０３０は、原画面（２ｎ−１）の対象ＭＢを画面内予測によりＩピクチャ符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴って、ローカル復号画像を第１中間バッファ０３５に書き込んで保持する。
【０２００】
上記（１）〜（２）を原画面（２ｎ−１）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。
【０２０１】
Ｐ符号化器０３１における符号化処理の順序について説明する。
【０２０２】
（３）原画面（２ｎ）の符号化対象ＭＢを入力画像メモリ１０２からＰ符号化器０３１に入力する。
【０２０３】
（４）Ｐ符号化器０３１は、原画面（２ｎ）の対象ＭＢおよび第１中間バッファ０３５内のＩ符号化器０３０のローカル復号画像で構成する参照領域Ｘから画面間予測によりＰピクチャ符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。
【０２０４】
上記（３）〜（４）を原画面（２ｎ）内の全てのＭＢに対して実施することで、１画面の符号化が完了する。
【０２０５】
上記Ｉ符号化器０３０による（１）〜（２）の処理と、Ｐ符号化器０３１による（３）〜（４）の処理とは、並列に実行される（２ピクチャ並列の符号化）。
【０２０６】
Ｐ符号化器０３１は原画面（２ｎ）のＰピクチャ符号化のために、過去の原画面（２ｎ−１）のＩピクチャ符号化によるローカル復号画像を参照するが、そのローカル復号画像は第１中間バッファ０３５に保持されているので、参照フレームメモリにアクセスする必要がない。これにより、本実施形態３に係る画像符号化装置では、参照フレームメモリを備える必要がない。
【０２０７】
次に第１位置制御部０３２の動作について説明する。
【０２０８】
図１８は、実施形態３の第１位置制御部０３２による制御例を示す説明図である。ここでの説明では簡単のため、図１１、図１２及び図１５と同様に水平方向に６個のマクロブロック（ＭＢ）で構成される画面を用い、参照領域が符号化対象ＭＢと同一位置を起点とした２×２の４ＭＢ領域である例を示す。
【０２０９】
図１８には、Ｉ符号化器０３０とＰ符号化器０３１と、第１位置制御部０３２と、第１中間バッファ０３５とが示される。Ｉ符号化器０３０に入力される原画像（２ｎ−１）が、Ｐ符号化器０３１に入力される原画像（２ｎ）が、それぞれＭＢごとに示される。ハッチングは既に入力されたＭＢを表し、太枠が現時点での符号化処理の対象ＭＢを表す。
【０２１０】
Ｉ符号化器０３０には原画面（２ｎ−１）のＭＢ０〜ＭＢ７が既に入力され、符号化が終わって、ローカル復号されたＭＢ０〜ＭＢ７が第１中間バッファ０３５に格納されている。Ｉ符号化器０３０は、現時点ではＭＢ８を対象として符号化を実行しており、「ＭＢ８処理中」の情報を第１位置制御部０３２へ通知している。
【０２１１】
Ｐ符号化器０３１は、原画面（２ｎ）のＭＢ８を対象として符号化を実行するために、第１位置制御部０２７に対して「ＭＢ０処理要求」を通知している。第１位置制御部０３２は、Ｐ符号化器０３１が必要な参照領域Ｘのデータがそろっているかを管理しており、Ｐ符号化器０３１に対して、「待ち指示」または「処理許可」を通知する。図１８に示される例では、第１位置制御部０３２は、Ｐ符号化器０３１がＭＢ０の符号化処理のために参照する、参照領域Ｘ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）がＩ符号化器０３０から第１中間バッファ０３５に書き込まれた後に、Ｐ符号化器０３１に対して「処理許可」を通知することにより、Ｐ符号化器０３１にＭＢ０の符号化処理を開始させる。「処理許可」を受けたＰ符号化器０３１は、原画面（２ｎ）のＭＢ０と参照領域ＸのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７を用いて符号化を開始する。
【０２１２】
実施形態３では、実施形態２のＢ符号化器０２２、第２中間バッファ０２６、第２位置制御部０２８を削除することで、ハードウェアコストの低減および符号化遅延の低減の効果がある。また、復号側の復号遅延の低減効果もある。これらの効果により、システムコストの低減の効果がある。
【０２１３】
〔実施形態４〕＜フィールド分割＞
実施形態１〜３では、２画面以上の原画面を同時に（並列して）供給するために、入力画像メモリ１０２が必要であった。実施形態３のように参照フレームメモリ１０３を削除したとしても、入力画像メモリ１０２を必要とするため、外部共有メモリへのアクセスをなくすことはできず、システムコストが大きくなる課題があった。また、入力画像供給装置１０１からいったん入力画像メモリ１０２へ原画面を保存する必要があり、入力から出力までの処理遅延が増加するという課題があった。
【０２１４】
実施形態４では、符号化装置内で画面分割することによって、入力画像メモリ１０２を不要とする構成を示す。
【０２１５】
図１９は、実施形態４の画像符号化装置の全体構成例を示すブロック図である。
【０２１６】
実施形態４の画像符号化装置の全体構成は、入力画像供給装置１０１と、符号化装置Ｄ（４００）と、出力制御装置１０４とを含んで構成される。実施形態１〜３の画像符号化装置と異なり、入力画像メモリ１０２を備えておらず、符号化対象の原画像データは、入力画像供給装置１０１から直接、符号化装置Ｄ（４００）に入力される。
【０２１７】
図２０は、実施形態４の画像符号化装置の構成例を示すブロック図である。入力画像供給装置１０１と出力制御装置１０４も合わせて示される。
【０２１８】
符号化装置Ｄ（４００）は、Ｉ符号化器０４０と、Ｐ符号化器０４１と、位置制御部０４２と、入力制御部０４３と、フィールド分割器０４４と、中間バッファ０４５と、入力バッファ０４６と、第１及び第２ＭＢバッファ０４７と０４８とを含んで構成される。Ｉ符号化器０４０はＩピクチャの符号化を行い、第１符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として中間バッファ０４５に出力する。Ｐ符号化器０４１は、中間バッファ０４５に保持されているローカル復号画像を参照してＰピクチャ符号化を行い、第２符号化ビット列を生成して出力制御装置１０４に出力する。Ｉ符号化器０４０、Ｐ符号化器０４１はそれぞれのピクチャタイプ専用の符号化器である必要はなく、いずれも例えばＩ／Ｐ／Ｂ符号化器であっても良い。
【０２１９】
符号化装置Ｄ（４００）は、実施形態３の符号化装置Ｃ（３００）と比べて、入力画像供給装置１０１から原画面を直接入力する点と、スイッチ０３４の代わりに原画面を分割して供給するフィールド分割器０４４を具備する点と、原画面をいったん保持する入力バッファ０４６とフィールド分割器０４４の出力をいったん保持する第１及び第２ＭＢバッファ０４７と０４８を具備する点が異なる。すなわち符号化装置Ｄ（４００）では、入力バッファ０４６は、入力画像供給装置１０１から入力したフレーム構造の原画面をいったん保持し、フィールド分割器０４４は、その原画面をフィールド構造に分解した上でいずれかの符号化器（Ｉ符号化器０４０とＰ符号化器０４１）に供給する。フィールド分割器０４４は、各符号化器の符号化処理の単位であるＭＢごとに画面を分割・再構成して、第１ＭＢバッファ０４７を介してＩ符号化器０４０に、第２ＭＢバッファ０４８を介してＰ符号化器０４１に、それぞれ符号化対象の画像データを供給する。
【０２２０】
符号化装置Ｄ（４００）の動作を説明するために、まずフレーム構造とフィールド構造について説明する。
【０２２１】
図２１は、画像のフレーム構造を示す説明図であり、図２２と２３は、それぞれトップフィールドファーストとボトムフィールドファーストの、画像のフィールド構造を示す説明図である。
【０２２２】
図２１に示されるフレーム構造は１画面を構成する画素ラインがすべて同一のデータ構造内に存在する。これに対して、図２２に示されるフィールド構造は、フレーム構造の偶数番目（０，２，４，・・・）の画素ラインのみからなるトップフィールドと、奇数番目（１，３，５，・・・）の画素ラインのみからなるボトムフィールドとの、２つのデータ構造で１画面が構成される。図２２は第１のフィールドとしてトップフィールド、第２のフィールドとしてボトムフィールドで構成されるトップフィールドファーストのフィールド構造を示している。図２３に示すように、ボトムフィールドが第１のフィールド、トップフィールドが第２のフィールドとなるボトムフィールドファーストのフィールド構造も定義できる。
【０２２３】
H.264等多くの動画像符号化標準ではこのフィールド構造に対する符号化方式が定義されている。
【０２２４】
実施形態４の画像符号化装置の動作について説明する。図１９に示される画像符号化装置によって、ＩＰＩＰＩＰ・・・のようにＩピクチャとＰピクチャの２つのピクチャタイプが２フィールド毎に繰り返されるように符号化する場合の動作について説明する。
【０２２５】
図２４は、画像のフィールド分割を示す説明図である。入力画像供給装置１０１から入力されるフレーム構造の原画面は、フィールド分割器０４４でフィールド構造に分割して、図２４に示す通り第１のフィールドをＩピクチャ、第２のフィールドをＰピクチャとして交互に符号化する。
【０２２６】
符号化装置Ｄ（４００）のフィールド分割動作について説明する。
【０２２７】
フィールド分割器０４４では例えば次のようにフィールド分割が行われる。入力は１ラインずつ入力されると仮定する。フィールド分割方式は入力形式にも依存し、下記に限定されるわけではない。
【０２２８】
（１）入力画像供給装置１０１から入力した画素ラインは入力バッファ０４６に保存される。
【０２２９】
（２）入力バッファ０４６に３２ライン分が格納された後、画素ラインのライン番号の偶奇に応じて偶数ラインの対象ＭＢ位置の画素を第１ＭＢバッファ０４７に、奇数ラインの対象ＭＢ位置の画素を第２ＭＢバッファ０４８に格納する。
【０２３０】
（３）第１ＭＢバッファ０４７に１６ライン分たまった時点で、トップフィールドのＭＢとして出力可能となる。同様に第２ＭＢバッファ０４８に１６ライン分たまった時点で、ボトムフィールドのＭＢとして出力可能となる。
【０２３１】
（４）３２ラインの最後のＭＢをフィールド分割器０４７へ出力した時点でその３２ラインは入力バッファ０４６から破棄できる。
【０２３２】
なお、偶数ライン・奇数ラインの格納先を入れ替えることでトップとボトムのいずれを第１フィールドとすることもできる。
【０２３３】
また、入力バッファ０４６を置かず、フィールド分割したデータを第１ＭＢバッファ０４７および第２ＭＢバッファ０４８に直接保存することも考えられる。この場合、第１ＭＢバッファ０４７および第２ＭＢバッファ０４８がそれぞれ少なくとも画面幅×１６ライン分の容量を持つ。
【０２３４】
符号化装置Ｄ（４００）の符号化動作について説明する。
【０２３５】
符号化装置Ｄ（４００）は、１フレームの原画面が入力されると、２つのフィールドに分割し、それぞれのフィールドを対象として並列に符号化する。
【０２３６】
Ｉ符号化器０４０では次のように符号化される。
【０２３７】
（１）第１フィールドの符号化対象ＭＢを第１ＭＢバッファ０４７からＩ符号化器０４０に入力する。
【０２３８】
（２）Ｉ符号化器０４０は、第１フィールドの対象ＭＢを画面内予測によりＩピクチャ符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴ってローカル復号画像を生成し、中間バッファ０４５に保持する。
【０２３９】
上記（１）〜（２）を第１フィールド内の全てのＭＢに対して実施することで、第１フィールドの符号化が完了する。 
Ｐ符号化器０４１では次のように符号化される。
【０２４０】
（３）第２フィールドの符号化対象ＭＢを第２ＭＢバッファ０４８からＰ符号化器０４１に入力する。
【０２４１】
（４）Ｐ符号化器０４１は、第２フィールドの対象ＭＢおよび中間バッファ０４５内のＩ符号化器０４０のローカル復号画像で構成する参照領域Ｘから画面間予測によりＰピクチャ符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。
【０２４２】
上記（３）〜（４）を第２フィールド内の全てのＭＢに対して実施することで、第２フィールドの符号化が完了する。
【０２４３】
上記Ｉ符号化器０４０による（１）〜（２）の処理と、Ｐ符号化器０４１による（３）〜（４）の処理とは、２フィールドずつ並列に実行される。
【０２４４】
次に位置制御部０４２の動作について説明する。
【０２４５】
図２５は、実施形態４の位置制御部０４２による制御例を示す説明図である。ここでの説明では簡単のため、図１１、図１２及び図１８等と同様に水平方向に６個のマクロブロック（ＭＢ）で構成される画面を用い、参照領域が符号化対象ＭＢと同一位置を起点とした２×２の４ＭＢ領域である例を示す。
【０２４６】
図２５には、Ｉ符号化器０４０とＰ符号化器０４１と、位置制御部０４２と、中間バッファ０４５とが示される。Ｉ符号化器０４０に入力される第１フィールドと、Ｐ符号化器０４１に入力される第２フィールドが、それぞれＭＢごとに示される。ハッチングは既に入力されたＭＢを表し、太枠が現時点での符号化処理の対象ＭＢを表す。
【０２４７】
Ｉ符号化器０４０には第１フィールドのＭＢ０〜ＭＢ７が既に入力され、符号化が終わって、ローカル復号されたＭＢ０〜ＭＢ７が中間バッファ０４５に格納されている。Ｉ符号化器０４０は、現時点ではＭＢ８を対象として符号化を実行しており、「ＭＢ８処理中」の情報を位置制御部０４２へ通知している。
【０２４８】
Ｐ符号化器０４１は、第２フィールドのＭＢ８を対象として符号化を実行するために、位置制御部０４２に対して「ＭＢ０処理要求」を通知している。位置制御部０４２は、Ｐ符号化器０４１が必要な参照領域Ｘのデータがそろっているかを管理しており、Ｐ符号化器０４１に対して、「待ち指示」または「処理許可」を通知する。図２５に示される例では、位置制御部０４２は、Ｐ符号化器０４１がＭＢ０の符号化処理のために参照する、参照領域Ｘ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）がＩ符号化器０４０から第１中間バッファ０４５に書き込まれた後に、Ｐ符号化器０４１に対して「処理許可」を通知することにより、Ｐ符号化器０４１にＭＢ０の符号化処理を開始させる。「処理許可」を受けたＰ符号化器０４１は、第２フィールドのＭＢ０と参照領域ＸのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７を用いて符号化を開始する。
【０２４９】
実施形態４では、入力された１フレームの原画面を２つのフィールドに分割するフィールド分割器０４４を具備することを特徴としており、これにより入力画像メモリ１０２を不要とし、外部の共有メモリへのアクセスをまったくなしとすることができるため、システムコストを大幅に削減できる効果がある。また、入力画像供給装置１０１からいったん入力画像メモリ１０２へ原画面を保存する必要がないため、入力から出力までの処理遅延が大幅に削減できる効果もある。なお、入力画像メモリ１０２を備えない構成に限定されるものではなく、図１６と同様に入力画像メモリ１０２を設けてもよい。
【０２５０】
符号化装置Ｄ（４００）の内部に追加する中間バッファ０４５の容量は、Ｉ符号化器０４０とＰ符号化器０４１の間で処理位置を制御することで、１画面分のバッファ量は不要であり、高々数ＭＢライン分で実現可能である。また、Ｐ符号化器ではＩ符号化の対象である第１フィールドからの動き予測と動き補償を行うことができる一方、第１フィールドと第２フィールドは、同一フレームから分割して作成されるので、「動き」がないものとして、符号化することもできる。即ち、Ｐ符号化で動き予測を実施せず動きベクトルを常に０とする実装も考えられる。この場合、中間バッファ０４５の容量は理論的に２ＭＢ分で実現することができる。
【０２５１】
〔実施形態５〕＜より小さい単位でフィールド分割＞
実施形態４では、１フレームの画面を２つのフィールドに分割して、第２フィールドが第１フィールドを参照することで、入力画像メモリ１０２を不要とする構成を示した。本実施形態５では、より小さい単位（例えば縦２ＭＢ）でフィールド分割を行い、分割した一方のブロックが他方のブロックを参照して補間処理による符号化を行い、分割したブロック単位でマルチプレクスを行って１画面の符号化ストリームを構成する例を示す。
【０２５２】
実施形態５の画像符号化装置の全体構成は、図１９に示される構成例と同様であり、入力画像供給装置１０１と、符号化装置Ｅａ（５００）と、出力制御装置１０４とを含んで構成される。本実施形態５では、実施形態４と同様に入力画像メモリ１０２を備える必要はないが、入力画像メモリ１０２を備えない構成に限定されるものではなく、図１６と同様に入力画像メモリ１０２を設ける構成としてもよい。
【０２５３】
図２６は、実施形態５の画像符号化装置の構成例を示すブロック図である。入力画像供給装置１０１と出力制御装置１０４も合わせて示される。
【０２５４】
符号化装置Ｅａ（５００）は、イントラＭＢ符号化器０５０と、インターＭＢ符号化器０５１と、入力制御部０５３と、フィールド分割器０５４と、中間バッファ０５２と、入力バッファ０５５と、第１及び第２ＭＢバッファ０５６と０５７とを含んで構成される。入力バッファ０５５は、入力画像供給装置１０１から入力したフレーム構造の原画面をいったん保持する。フィールド分割器０５４は、入力制御部０５３による制御により、入力バッファ０５５に保持されているフレーム構造の原画面をフィールド構造（第１フィールドと第２フィールド）に分解した上で、第１及び第２ＭＢバッファ０５６と０５７を介していずれかの符号化器（イントラＭＢ符号化器０５０とインターＭＢ符号化器０５１）に供給する。イントラＭＢ符号化器０５０は第１フィールドの画面内符号化を行い、第１符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として中間バッファ０５２に出力する。インターＭＢ符号化器０５１は、中間バッファ０５２に保持されているローカル復号画像を参照して画面間符号化を行い、第２符号化ビット列を生成して出力制御装置１０４に出力する。
【０２５５】
ここで、符号化装置Ｅａ（５００）には、位置制御部は不要とされる。後述のように、フィールド分割の単位を、垂直の位置関係にある２ＭＢとすることにより、位置制御部を不要とすることができる。
【０２５６】
符号化装置Ｅａ（５００）の動作について説明する。
【０２５７】
図２７は、フィールド分割された画像の符号化処理の動作を示す説明図である。フィールド分割器０５４と、イントラＭＢ符号化器０５０と、インターＭＢ符号化器０５１と、中間バッファ０５２とが示され、フィールド分割器０５４に入力されるフレーム構造のＭＢペアと、フィールド分割された第１及び第２フィールドＭＢとが合わせて示される。フィールド分割器０５４に入力されるフレーム構造のＭＢペアは、フレーム内に垂直方向（縦方向）に互いに隣接する２個のマクロブロック（ＭＢ）である。ここでマクロブロック（ＭＢ）とは、イントラＭＢ符号化器０５０とインターＭＢ符号化器０５１の符号化処理の処理単位である。ＭＢは複数の画素ラインで構成されている。フィールド分割器０５４はフレーム構造のＭＢペア（縦２ＭＢ）から第１フィールドＭＢと第２フィールドＭＢに分割して、それぞれイントラＭＢ符号化器０５０とインターＭＢ符号化器０５１に入力する。第１フィールドＭＢは、例えばフレーム構造のＭＢペアの偶数（０，２，４，…）ラインのみから再構成されたフィールド（トップフィールド）で、第２フィールドＭＢは、例えばフレーム構造のＭＢペアの奇数（１，３，５，…）ラインのみから再構成されたフィールド（ボトムフィールド）であり、大きさはそれぞれ１個のＭＢになる。イントラＭＢ符号化器０５０は第１フィールドＭＢを符号化すると同時に、ローカル復号されたＭＢを中間バッファ０５２に保存する。インターＭＢ符号化器０５１は中間バッファ０５２を参照ＭＢとして第２フィールドＭＢを画面間符号化手法により符号化を行う。出力制御装置１０４では、第１符号化ビット列と第２符号化ビット列をＭＢ単位でマルチプレクスして符号化ストリームを構成し出力する。
【０２５８】
フィールド分割器０５４で行うフィールド分割は、実施形態４のフィールド分割器０４４によるフィールド分割と同様に行っても良い。
【０２５９】
処理単位は上記した、縦２ＭＢを２つのフィールドに分割した単位で行っても良いし、それより小さい単位、例えば１ＭＢを１６×８画素単位で分割した単位で行うことも考えられる。後者の場合、フィールド分割器０５４内で２ＭＢライン分の遅延が不要であり、より低遅延、低バッファ容量を実現できる。
【０２６０】
符号化装置Ｅａ（５００）では、より小さい単位（例えば縦２ＭＢ）でフィールド分割を行い、分割した一方のブロックが他方のブロックを参照して補間処理による符号化を行い、分割したブロック単位でマルチプレクスを行って１画面の符号化ストリームを構成することを特徴としている。
【０２６１】
図２８は、符号化におけるフィールド参照方向の例を示す説明図である。縦２ＭＢから分割された一方の第１フィールドＭＢ（トップフィールド）はイントラフィールド符号化され、他方の第２フィールドＭＢ（ボトムフィールド）は第１フィールドＭＢを参照するインターフィールド符号化される。なお、トップフィールドとボトムフィールドの関係は任意であり、第１フィールドＭＢがボトムフィールド、第２フィールドＭＢがトップフィールドであってもよい。図２６に示される本構成例を用いることで、図２８に示したような符号化方式が実現できる。すなわち、例えばH.264に規定されているＭＢＡＦＦ（MacroBlock Adaptive Field Frame；マクロブロック適応フレームフィールド符号化）のようなブロック構造を仮定した場合、第２フィールドが第１フィールドを参照する補間処理による符号化を行うことができる。
【０２６２】
本構成例により、既存の画面内符号化より符号化効率のよい画面内符号化を可能とする効果がある。
【０２６３】
他に、実施形態４と比べて、中間バッファ０５２の容量が少なくてよく、位置制御器も不要なことからコストを削減できる効果がある。
【０２６４】
フィールド分割の単位をより小さい単位、例えば１ＭＢを１６×８画素単位で分割するような場合、フィールド分割器０５４内で２ＭＢライン分の遅延が不要であり、より低遅延、低バッファ容量を実現できる効果がある。
【０２６５】
本実施形態５における変形例について説明する。この変形例についての画像符号化装置の全体構成も、図１９に示される構成例と同様であり、入力画像供給装置１０１と、符号化装置Ｅｂ（５０１）と、出力制御装置１０４とを含んで構成される。本変形例では、符号化装置の符号をＥａ（５００）からＥｂ（５０１）に変更する。
【０２６６】
図２９は、実施形態５の画像符号化装置の別の構成例を示すブロック図である。
【０２６７】
符号化装置Ｅｂ（５０１）は、図２６に示した符号化装置Ｅａ（５００）の構成に加えて、フィールド分割器０５４の出力の保存先を切り替えるスイッチ０５８と、２つの符号化器（０５０および０５１）の出力先を切り替えるスイッチ０５９とを具備する点が異なる。これらのスイッチは入力制御部０５３が制御する。他の構成については、図２６に示した符号化装置Ｅａ（５００）と同様であるので、説明を省略する。
【０２６８】
符号化装置Ｅｂ（５０１）の動作について説明する。
【０２６９】
図３０は、フィールド分割された画像の、符号化装置Ｅｂ（５０１）による符号化処理の動作を示す説明図である。図２７に対して、スイッチ０５８とスイッチ０５９とが追加されている。スイッチ０５８は、フィールド分割器０５４で分割されたトップフィールドを第１フィールドＭＢとしボトムフィールドを第２フィールドＭＢとするか、または逆に、ボトムフィールドを第１フィールドＭＢとしトップフィールドを第２フィールドＭＢとするかを選択的に切替えることができる。スイッチ０５９は、イントラＭＢ符号化器０５０の出力を第１符号化ビット列としインターＭＢ符号化器０５１の出力を第２符号化ビット列とするか、または逆に、イントラＭＢ符号化器０５０の出力を第２符号化ビット列としインターＭＢ符号化器０５１の出力を第１符号化ビット列とするかを選択的に切替えることができる。図３０はスイッチ０５８の対角線の経路（太線で表示）が選択された様子を示している。この場合、フィールド分割器０５４の出力のボトムフィールド側が第１フィールドＭＢに、トップフィールド側が第２フィールドＭＢになる。それぞれイントラフィールド符号化およびインターフィールド符号化された後、スイッチ０５９の対角線の経路（太線で表示）により順序が戻される。
【０２７０】
図３１は、符号化におけるフィールド参照方向の一例を示す説明図である。以上の手順により、図３１に示すようなボトムフィールドＭＢからトップフィールドＭＢへの参照を行うことができる。
【０２７１】
図３２は、符号化におけるフィールド参照方向の別の例を示す説明図である。スイッチ０５８およびスイッチ０５９の切り替えを適応的に行うことにより、図３２に示すように、参照方向を適応的に変更することもできる。
【０２７２】
出力制御装置１０４では、第１符号化ビット列と第２符号化ビット列をＭＢ単位でマルチプレクスして符号化ストリームを生成して出力する。スイッチ０５９の機能を出力制御装置１０４に含めて構成しても良い。
【０２７３】
フィールド分割器０５４で行うフィールド分割は、実施形態４のフィールド分割器０４４によるフィールド分割と同様に行っても良い。
【０２７４】
処理単位は上記した、縦２ＭＢを２つのフィールドに分割した単位で行っても良いし、それより小さい単位、例えば１ＭＢを１６×８画素単位で分割した単位で行うことも考えられる。後者の場合、フィールド分割器０５４内で２ＭＢライン分の遅延が不要であり、より低遅延、低バッファ容量を実現できる。
【０２７５】
本構成例により、符号化装置Ｅａ（５００）と同様に、既存の画面内符号化より符号化効率のよい画面内符号化を可能とする効果があり、実施形態４と比べて、中間バッファ０５２の容量が少なくてよく、位置制御器も不要なことからコストを削減できる効果がある。また、フィールド分割の単位をより小さい単位、例えば１ＭＢを１６×８画素単位で分割するような場合、フィールド分割器０５４内で２ＭＢライン分の遅延が不要であり、より低遅延、低バッファ容量を実現できる効果がある。
【０２７６】
さらに、フィールドブロック間の参照方向を任意に変更することができる。すなわち、例えばH.264に規定されているＭＢＡＦＦに適用することができる。
【０２７７】
〔実施形態６〕＜縦方向に分割＞
実施形態４と５では、１フレームの画面をそれぞれが奇数と偶数の画素ラインからなる２つのフィールドに分割して、一方のフィールドの符号化が他方のフィールドを参照することで、入力画像メモリ１０２を不要とする構成を示した。しかし、分割は必ずしもフィールド単位、即ち、画素ライン毎でなくても良い。本実施形態６では、フレームを画素ラインとは直交する縦方向（カラム方向）に分割する例を示す。
【０２７８】
本実施形態６の画像符号化装置の全体構成も、図１９に示される構成例と同様であり、入力画像供給装置１０１と、符号化装置Ｆ（６００）と、出力制御装置１０４とを含んで構成される。本実施形態６では、他の実施形態の符号化装置と区別するために、符号化装置の符号をＦ（６００）とする。
【０２７９】
図３３は、実施形態６の符号化装置Ｆ（６００）の構成例を示すブロック図である。入力画像供給装置１０１と出力制御装置１０４も合わせて示される。
【０２８０】
符号化装置Ｆ（６００）は、Ｉ符号化器０６０と、Ｐ符号化器０６１と、位置制御部０６２と、入力制御部０６３と、画面縦分割器０６４と、中間バッファ０６５と、入力バッファ０６６と、第１及び第２ＭＢバッファ０６７−１と０６７−２とを含んで構成される。Ｉ符号化器０６０はＩピクチャの符号化を行い、第１符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として中間バッファ０６５に出力する。Ｐ符号化器０６１は、中間バッファ０６５に保持されているローカル復号画像を参照してＰピクチャ符号化を行い、第２符号化ビット列を生成して出力制御装置１０４に出力する。Ｉ符号化器０６０、Ｐ符号化器０６１はそれぞれのピクチャタイプ専用の符号化器である必要はなく、いずれも例えばＩ／Ｐ／Ｂ符号化器であっても良い。
【０２８１】
符号化装置Ｆ（６００）は、実施形態４の符号化装置Ｄ（４００）と比べて、フィールド分割器０４４の代わりに原画面を縦方向に分割して供給する画面縦分割器０６４を具備する点が異なる。
【０２８２】
画面の縦方向（カラム方向）への分割について説明する。
【０２８３】
図３４と図３５は、画像の縦分割についての説明図であり、図３４にはフレーム構造が、図３５には縦分割された左右のカラム画面がそれぞれ示される。図３４に示されるフレーム構造の画面に対して、図３５に示される縦分割構造は、垂直１カラムごとに偶数（０，２，４，…）番目のカラムを集めた左カラム画面（第１画面）と、奇数番目（１，３，５，…）のカラムを集めた右カラム画面（第２画面）とに分割することができる。
【０２８４】
実施形態６の画像符号化装置Ｆの動作について説明する。図３３に示される画像符号化装置Ｆによって、ＩＰＩＰＩＰ・・・のようにＩピクチャとＰピクチャの２つのピクチャタイプが縦分割された２画面毎に繰り返されるように符号化する場合の動作について説明する。
【０２８５】
図３６は、画像の画面縦分割を示す説明図である。入力画像供給装置１０１から入力されるフレーム構造の原画面は、画面縦分割器０６４で縦分割構造に分割して、図３６に示す通り第１縦分割画面をＩピクチャ、第２縦分割画面をＰピクチャとして交互に符号化する。
【０２８６】
符号化装置Ｆ（６００）の画面の縦分割動作について説明する。
【０２８７】
画面縦分割器０６４では例えば次のように画面の縦分割が行われる。入力は１ラインずつ入力されると仮定する。また、１ＭＢは１６ラインで構成されるものとする。分割方式は入力形式にも依存し、下記に限定されるわけではない。
【０２８８】
（１）入力画像供給装置１０１から入力した画素ラインは入力バッファ０６６に保存される。
【０２８９】
（２）入力バッファ０６６に１ＭＢの１６ライン分が格納された後、画素のカラム番号の偶奇に応じて偶数カラムの対象ＭＢ位置の画素を第１ＭＢバッファ０６７−１に、奇数カラムの対象ＭＢ位置の画素を第２ＭＢバッファ０６７−２に格納する。
【０２９０】
（３）第１ＭＢバッファ０６７−１に１６ライン分たまった時点で、左カラムのＭＢとして出力可能となる。同様に第２ＭＢバッファ０６７−２に１６ライン分たまった時点で、右カラムのＭＢとして出力可能となる。
【０２９１】
（４）１６ラインの最後のＭＢを画面縦分割器０６４へ出力した時点でその１６ラインは入力バッファ０６６から破棄できる。
【０２９２】
なお、偶数カラム・奇数カラムの格納先を入れ替えることで右カラムと左カラムのいずれを第１縦分割画面とすることもできる。
【０２９３】
また、入力バッファ０６６を置かず、縦分割したデータを第１ＭＢバッファ０６７−１および第２ＭＢバッファ０６７−２に直接保存することも考えられる。この場合、第１ＭＢバッファ０６７−１および第２ＭＢバッファ０６７−２がそれぞれ少なくとも（画面幅／２）×１６ライン分の容量を持つ。
【０２９４】
符号化装置Ｆ（６００）の符号化動作について説明する。
【０２９５】
符号化装置Ｆ（６００）は、１フレームの原画面が入力されると、２つの縦分割画面に分割し、それぞれの縦分割画面を対象として並列に符号化する。
【０２９６】
Ｉ符号化器０６０では次のように符号化される。
【０２９７】
（１）第１画面の符号化対象ＭＢを第１ＭＢバッファ０６７−１からＩ符号化器０６０に入力する。
【０２９８】
（２）Ｉ符号化器０６０は、第１画面の対象ＭＢを画面内予測によりＩピクチャ符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴ってローカル復号画像を生成し、中間バッファ０６５に保持する。
【０２９９】
上記（１）〜（２）を第１縦分割画面内の全てのＭＢに対して実施することで、第１縦分割画面の符号化が完了する。 
Ｐ符号化器０６１では次のように符号化される。
【０３００】
（３）第２縦分割画面の符号化対象ＭＢを第２ＭＢバッファ０６７−２からＰ符号化器０６１に入力する。
【０３０１】
（４）Ｐ符号化器０６１は、第２フィールドの対象ＭＢおよび中間バッファ０６５内のＩ符号化器０６０のローカル復号画像で構成する参照領域Ｘから画面間予測によりＰピクチャ符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。
【０３０２】
上記（３）〜（４）を第２縦分割画面内の全てのＭＢに対して実施することで、第２縦分割画面の符号化が完了する。
【０３０３】
上記Ｉ符号化器０６０による（１）〜（２）の処理と、Ｐ符号化器０６１による（３）〜（４）の処理とは、２縦分割画面ずつ並列に実行される。
【０３０４】
次に位置制御部０６２の動作について説明する。
【０３０５】
図３７は、実施形態６の位置制御部０６２による制御例を示す説明図である。ここでの説明では簡単のため、図１１、図１２及び図１８等と同様に水平方向に６個のマクロブロック（ＭＢ）で構成される画面（縦分割画面）を用い、参照領域が符号化対象ＭＢと同一位置を起点とした２×２の４ＭＢ領域である例を示す。
【０３０６】
図３７には、Ｉ符号化器０６０とＰ符号化器０６１と、位置制御部０６２と、中間バッファ０６５とが示される。Ｉ符号化器０６０に入力される第１縦分割画面と、Ｐ符号化器０６１に入力される第２縦分割画面が、それぞれＭＢごとに示される。ハッチングは既に入力されたＭＢを表し、太枠が現時点での符号化処理の対象ＭＢを表す。
【０３０７】
Ｉ符号化器０６０には第１縦分割画面のＭＢ０〜ＭＢ７が既に入力され、符号化が終わって、ローカル復号されたＭＢ０〜ＭＢ７が中間バッファ０６５に格納されている。Ｉ符号化器０６０は、現時点ではＭＢ８を対象として符号化を実行しており、「ＭＢ８処理中」の情報を位置制御部０６２へ通知している。
【０３０８】
Ｐ符号化器０６１は、第２縦分割画面のＭＢ８を対象として符号化を実行するために、位置制御部０４２に対して「ＭＢ０処理要求」を通知している。位置制御部０６２は、Ｐ符号化器０６１が必要な参照領域Ｘのデータがそろっているかを管理しており、Ｐ符号化器０６１に対して、「待ち指示」または「処理許可」を通知する。図３７に示される例では、位置制御部０６２は、Ｐ符号化器０６１がＭＢ０の符号化処理のために参照する、参照領域Ｘ（ＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７）がＩ符号化器０６０から第１中間バッファ０６５に書き込まれた後に、Ｐ符号化器０６１に対して「処理許可」を通知することにより、Ｐ符号化器０６１にＭＢ０の符号化処理を開始させる。「処理許可」を受けたＰ符号化器０６１は、第２縦分割画面のＭＢ０と参照領域ＸのＭＢ０／ＭＢ１／ＭＢ６／ＭＢ７を用いて符号化を開始する。
【０３０９】
実施形態６では、入力された１フレームの原画面を２つの縦分割画面に分割する画面縦分割器０６４を具備することを特徴としており、これにより実施形態４同様、入力画像メモリ１０２を不要とし、外部の共有メモリへのアクセスをまったくなしとすることができるため、システムコストを大幅に削減できる効果がある。また、入力画像供給装置１０１からいったん入力画像メモリ１０２へ原画面を保存する必要がないため、入力から出力までの処理遅延が大幅に削減できる効果もある。なお、入力画像メモリ１０２を備えない構成に限定されるものではなく、図１６と同様に入力画像メモリ１０２を設けてもよい。
【０３１０】
実施形態４が縦２ＭＢの入力画像が入力された後に画面の分割が完了するのに対し、実施形態６では縦方向には１ＭＢの入力画像が入力されただけで、画面の分割に必要な画像情報が揃うこととなる。そのため、実施形態４の入力バッファ０４６が２ＭＢのライン数分の容量が必要であるのに対し、実施形態６では符号化装置Ｆ（６００）の入力バッファ０６６は１ＭＢのライン数で足りる。このため、コストのみならず符号化遅延をも削減する効果がある。また、各符号化器の処理する画面横幅が１／２になるため、符号化で必要な周辺ブロック情報を格納するラインメモリの削減ができる効果もある。
【０３１１】
符号化装置Ｆ（６００）の内部に追加する中間バッファ０６５の容量は、Ｉ符号化器０６０とＰ符号化器０６１の間で処理位置を制御することで、１画面分のバッファ量は不要であり、高々数ＭＢライン分で実現可能である。また、Ｐ符号化器０６１ではＩ符号化の対象である第１フィールドからの動き予測と動き補償を行うことができる一方、第１縦分割画面と第２縦分割画面は、同一フレームから分割して作成されるので、「動き」がないものとして、符号化することもできる。即ち、Ｐ符号化で動き予測を実施せず動きベクトルを常に０とする実装も考えられる。この場合、中間バッファ０６５の容量は理論的に２ＭＢ分で実現することができる。
【０３１２】
＜より小さい単位で縦画面分割＞
上述の構成例では、１フレームの画面を２つの縦分割画面に分割して、第２縦分割画面が第１縦分割画面を参照することで、入力画像メモリ１０２を不要とする構成を示した。本実施形態６では、実施形態４に対応する実施形態５のような別の構成を採ることもできる。より小さい単位（例えば横２ＭＢ）で縦画面分割を行い、分割した一方のブロックが他方のブロックを参照して補間処理による符号化を行い、分割したブロック単位でマルチプレクスを行って１画面の符号化ストリームを構成する別の構成例を示す。
【０３１３】
本構成例の画像符号化装置の全体構成も、図１９に示される構成例と同様であり、入力画像供給装置１０１と、符号化装置Ｆａ（６０１）と、出力制御装置１０４とを含んで構成される。本構成例では、図３３に示される構成例と同様に入力画像メモリ１０２を備える必要はないが、入力画像メモリ１０２を備えない構成に限定されるものではなく、図１６と同様に入力画像メモリ１０２を設ける構成としてもよい。
【０３１４】
図３８は、実施形態６の別の構成例である符号化装置Ｆａ（６０１）を示すブロック図である。入力画像供給装置１０１と出力制御装置１０４も合わせて示される。
【０３１５】
符号化装置Ｆａ（６０１）は、イントラＭＢ符号化器０６０と、インターＭＢ符号化器０６１と、入力制御部０６３と、画面縦分割器０６４と、中間バッファ０６５と、入力バッファ０６６と、第１及び第２ＭＢバッファ０６７−１と０６７−２とを含んで構成される。入力バッファ０６６は、入力画像供給１０１から入力したフレーム構造の原画面をいったん保持する。画面縦分割器０６４は、入力制御部０６３による制御により、入力バッファ０６６に保持されているフレーム構造の原画面をカラム方向（縦方向）に分割した、第１ブロックと第２ブロックを、第１及び第２ＭＢバッファ０６７−１と０６７−２を介していずれかの符号化器（イントラＭＢ符号化器０６０とインターＭＢ符号化器０６１）に供給する。イントラＭＢ符号化器０６０は第１ブロックの画面内符号化を行い、第１符号化ビット列を生成して出力制御装置１０４に出力し、ローカル復号画像を参照画像として中間バッファ０６５に出力する。インターＭＢ符号化器０６１は、中間バッファ０６５に保持されているローカル復号画像を参照して画面間符号化を行い、第２符号化ビット列を生成して出力制御装置１０４に出力する。
【０３１６】
画面の縦方向（カラム方向）への分割については、上述の説明と同様で、フレーム構造は図３４に示される通りであり、縦分割された左右のカラム画面は図３５に示される通りである。
【０３１７】
図３９と図４０は、同様の画像の縦分割をマクロブロック（ＭＢ）単位で行う場合についての説明図であり、図３９にはフレーム構造のＭＢペアが、図４０には縦分割構造のＭＢペアが示される。図３９にはフレーム構造のＭＢペアは、符号化の単位であるマクロブロック（ＭＢ）が水平方向に２個隣接したものである。図４０に示される縦分割構造ＭＢペアは、垂直１カラムごとに偶数番目のカラムを集めた左カラム（第１ＭＢ）と、奇数番目のカラムを集めた右カラム（第２ＭＢ）とに分割することができる。ここで、図３９と図４０に示されるように、画像の縦分割の単位を、水平の位置関係にある２ＭＢとするにより、符号化装置において位置制御部を不要とすることができる。図３８に示される符号化装置Ｆａ（６０１）は、この分割方法を採用することにより、位置制御部が不要とされている。
【０３１８】
符号化装置Ｆａ（６０１）の動作について説明する。
【０３１９】
図４１は、縦分割された画像の符号化処理の動作を示す説明図である。画面縦分割器０６４と、イントラＭＢ符号化器０６０と、インターＭＢ符号化器０６１と、中間バッファ０６５とが示され、画面縦分割器０６４に入力されるフレーム構造のＭＢペアと、縦分割された第１ＭＢと第２ＭＢとが合わせて示される。画面縦分割器０６４に入力されるフレーム構造のＭＢペアは、フレーム内に水平方向（横方向）に互いに隣接する２個のマクロブロック（ＭＢ）である。ここでマクロブロック（ＭＢ）とは、イントラＭＢ符号化器０６０とインターＭＢ符号化器０６１の符号化処理の処理単位である。ＭＢは複数の画素カラムで構成されている。画面縦分割器０６４はフレーム構造のＭＢペア（横２ＭＢ）から第１ＭＢと第２ＭＢに分割して、それぞれイントラＭＢ符号化器０６０とインターＭＢ符号化器０６１に入力する。第１ＭＢは、例えばフレーム構造のＭＢペアの偶数カラムのみから再構成された左カラムブロックで、第２ＭＢは、例えばフレーム構造のＭＢペアの奇数カラムのみから再構成された右カラムブロックであり、大きさはそれぞれ１個のＭＢになる。イントラＭＢ符号化器０６０は第１ＭＢを符号化すると同時に、ローカル復号されたＭＢを中間バッファ０６５に保存する。インターＭＢ符号化器０６１は中間バッファ０６５を参照ＭＢとして第２ＭＢを画面間符号化手法により符号化を行う。出力制御装置１０４では、第１符号化ビット列と第２符号化ビット列をＭＢ単位でマルチプレクスして符号化ストリームを構成し出力する。
【０３２０】
符号化装置Ｆａ（６０１）の画面の縦分割動作について説明する。
【０３２１】
画面縦分割器０６４では例えば次のように画面の縦分割が行われる。入力は１ラインずつ入力されると仮定する。また、１ＭＢは１６ラインで構成されるものとする。分割方式は入力形式にも依存し、下記に限定されるわけではない。
【０３２２】
（１）入力画像供給装置１０１から入力した画素ラインは入力バッファ０６６に保存される。
【０３２３】
（２）入力バッファ０６６に１ＭＢの１６ライン分が格納された後、画素のカラム番号の偶奇に応じて偶数カラムの対象ＭＢ位置の画素を第１ＭＢバッファ０６７−１に、奇数カラムの対象ＭＢ位置の画素を第２ＭＢバッファ０６７−２に格納する。
【０３２４】
（３）第１ＭＢバッファ０６７−１に１６ライン分たまった時点で、左カラムのＭＢとして出力可能となる。同様に第２ＭＢバッファ０６７−２に１６ライン分たまった時点で、右カラムのＭＢとして出力可能となる。
【０３２５】
（４）１６ラインの最後のＭＢを画面縦分割器０６４へ出力した時点でその１６ラインは入力バッファ００６６から破棄できる。
【０３２６】
処理単位は上記した、横２ＭＢを左右のカラムごとに第１ＭＢと第２ＭＢに分割した単位で行っても良いし、それより小さい単位、例えば１ＭＢを８×１６画素単位で分割した単位で行うことも考えられる。
【０３２７】
本構成例の符号化装置Ｆａ（６０１）では、画面を縦に分割して、分割した一方のブロックの符号化処理が他方のブロックの符号化処理で生成された参照画像を参照して補間処理による符号化を行う。
【０３２８】
本構成例により、既存の画面内符号化より符号化効率のよい画面内符号化を可能とする効果がある。他に、図３３に示される符号化装置Ｆ（６００）と比べて、中間バッファ０６５の容量が少なくてよく、位置制御器も不要なことからコストを削減できる効果がある。画面横幅が１／２になるため、符号化で必要な周辺ブロック情報を格納するラインメモリの削減ができる効果もある。
【０３２９】
実施形態５が縦２ＭＢの入力画像が入力された後に画面の分割が完了するのに対し、本構成例では縦方向には１ＭＢの入力画像が入力されただけで、画面の分割に必要な画像情報が揃うこととなる。そのため、実施形態５の入力バッファ０５５が２ＭＢのライン数分の容量が必要であるのに対し、本構成例では符号化装置Ｆａ（６０１）の入力バッファ０６６は１ＭＢのライン数で足りる。このため、コストのみならず符号化遅延をも削減する効果がある。
【０３３０】
さらに別の変形例について説明する。この変形例についての画像符号化装置の全体構成も、図１９に示される構成例と同様であり、入力画像供給装置１０１と、符号化装置Ｆｂ（６０２）と、出力制御装置１０４とを含んで構成される。本変形例では、符号化装置の符号をＦａ（６０１）からＦｂ（６０２）に変更する。
【０３３１】
図４２は、実施形態６の画像符号化装置のさらに別の構成例を示すブロック図である。
【０３３２】
符号化装置Ｆｂ（６０２）は、図３８に示した符号化装置Ｆａ（６０１）の構成に加えて、画面縦分割器０６４の出力の保存先を切り替えるスイッチ０６８と、２つの符号化器（０６０および０６１）の出力先を切り替えるスイッチ０６９とを具備する点が異なる。これらのスイッチは入力制御部０６３が制御する。他の構成については、図３８に示した符号化装置Ｆａ（６０１）と同様であるので、説明を省略する。
【０３３３】
符号化装置Ｆｂ（６０２）の動作について説明する。符号化装置Ｆａ（６０１）では、左カラムＭＢと右カラムＭＢのどちらをイントラＭＢ符号化器０６０とインターＭＢ符号化器０６１に入力し、どちらの符号化処理で他方のローカル復号画像を参照するかの参照方向が、固定されているのに対して、符号化装置Ｆｂ（６０２）では、参照方向を逆転させ、または２ＭＢごとに適応的に変更することができる。符号化装置Ｆｂ（６０２）では追加されたスイッチ０６８と０６９により、参照方向の切替えを可能としている。スイッチ０６８は、画面縦分割器０６４で分割された左カラムＭＢを第１ＭＢとし右カラムＭＢを第２ＭＢとするか、または逆に、右カラムＭＢを第１ＭＢとし左カラムＭＢを第２ＭＢとするかを選択的に切替えることができる。スイッチ０６９は、イントラＭＢ符号化器０６０の出力を第１符号化ビット列としインターＭＢ符号化器０６１の出力を第２符号化ビット列とするか、または逆に、イントラＭＢ符号化器０６０の出力を第２符号化ビット列としインターＭＢ符号化器０６１の出力を第１符号化ビット列とするかを選択的に切替えることができる。
【０３３４】
図４３〜図４５は、縦分割された画像の符号化における参照方向の例を示す説明図である。図４３には、左カラムＭＢが第１ＭＢとされてイントラＭＢ符号化器０６０で符号化され、右カラムＭＢが第２ＭＢとされてインターＭＢ符号化器０６１によって左カラムＭＢのローカル復号画像を参照して符号化される例が、模式的に図示されている。図４４には逆に、右カラムＭＢのローカル復号画像が左カラムＭＢの符号化処理において参照される例が図示され、図４５にはその参照方向が２ＭＢごとに適応的に切替えられる例が図示される。
【０３３５】
符号化装置Ｆｂ（６０２）では、符号化装置Ｆａ（６０１）と同様に、画面を縦に分割して、分割した一方のブロックの符号化処理が他方のブロックの符号化処理で生成された参照画像を参照して補間処理による符号化を行う。本構成例においても、既存の画面内符号化より符号化効率のよい画面内符号化を可能とする効果があり、図３３に示される符号化装置Ｆ（６００）と比べて、中間バッファ０６５の容量が少なくてよく、位置制御器も不要なことからコストを削減できる効果がある。画面横幅が１／２になるため、符号化で必要な周辺ブロック情報を格納するラインメモリの削減ができる効果もある点も符号化装置Ｆａ（６０１）と同様である。
【０３３６】
さらに、符号化装置Ｆｂ（６０２）の構成を採ることにより、上述のような参照方向を２ＭＢごとに適応的に切替える符号化方式を実現することができる。すなわち、例えばH.264に規定されているＭＢＡＦＦを水平・垂直転置したようなブロック構造を仮定した場合、右カラムＭＢが左カラムＭＢを参照して補間処理による符号化を行う（図４３）。左カラムＭＢから右カラムＭＢを参照することも可能であり（図４４）、画面内に混在することも考えられる（図４５）。
【０３３７】
〔実施形態７〕＜多眼符号化＞
図４６は、実施形態７の画像符号化装置の全体構成の一例を示すブロック図である。上述の実施形態１の構成を、多眼符号化方式に応用した例である。
【０３３８】
実施形態７の画像符号化装置の全体構成は、第１眼の原画像を供給する第１入力画像供給装置７０１と、第２眼の原画像を供給する第２入力画像供給装置７０２と、入力画像メモリ１０２と、符号化装置Ｇａ（７００）と、参照フレームメモリ１０３と、出力制御装置１０４とを含んで構成される。第１及び第２入力画像供給装置７０１と７０２は、符号化対象の多眼の原画像を供給する装置であって、例えば車載のアラウンドビューモニタなどに使用される多眼カメラなどの撮像装置である。入力画像メモリ１０２は、第１及び第２入力画像供給装置７０１と７０２から供給された原画像を保持し、参照フレームメモリ１０３は、ローカル復号画像などの参照画像を保持する。入力画像メモリ１０２と参照フレームメモリ１０３とは別個のメモリとして図示されるが、１個のメモリで実装されてもよく、例えばシステム全体で共有される外部のＳＤＲＡＭにアドレスマッピングされて実装される。符号化装置Ｇａ（７００）は、符号化対象の原画像を所定の多眼符号化方式に則って符号化する符号化装置である。符号化の単位及び符号化の順序に合せて、入力画像メモリ１０２から原画像を読み出して符号化を行い、その過程で生成されるローカル復号画像などの参照画像を参照フレームメモリ１０３に保持させ、符号化の過程で必要な参照画像を参照フレームメモリ１０３から読み出して参照する。符号化装置Ｇａ（７００）は、符号化の結果、複数の符号化ビット列を出力し、出力制御装置１０４はこの複数の符号化ビット列から多眼符号化ストリームを生成する。図４３には第１及び第２符号化ビット列が例示されるが、さらに多数の符号化ビット列が生成、出力されるように構成されてもよい。
【０３３９】
図４７は、図４６の符号化装置Ｇａ（７００）の構成例を示すブロック図である。説明のために、第１及び第２入力画像供給装置７０１と７０２と入力画像メモリ１０２と参照フレームメモリ１０３と出力制御装置１０４も合わせて示される。なお、入力画像メモリ１０２には原画面の主画面０、１、・・・、ｎ−１、ｎ、・・・と副画面０、１、・・・ｎ−１、ｎ、・・・が保持され（ｎは任意の自然数）、参照フレームメモリ１０３には参照面ＸとＹが保持される様子が、模式的に図示される。
【０３４０】
符号化装置Ｇａ（７００）は、ベースビュー符号化器０７１と、インタービュー符号化器０７２と、入力制御部０７３と、スイッチ０７４と、第３中間バッファ０７５と、第１中間バッファ０７６と、位置制御部０７７とを含んで構成される。ベースビュー符号化器０７１は主画面の符号化を行う符号化器であり、インタービュー符号化器０７２は副画面の符号化を行う符号化器である。入力制御部０７３はスイッチ０７４を制御して、入力画像メモリ１０２から原画面を読み出し、ベースビュー符号化器０７１とインタービュー符号化器０７２に供給する。ベースビュー符号化器０７１は、符号化の過程で生成する参照画像を、参照フレームメモリ１０３に書き込むのと並行して、第１中間バッファ０７６に一時保存する。第３中間バッファ００５は、参照フレームメモリ１０３から適宜読み出した参照画像（参照面）を一時保存する。インタービュー符号化器０７２は副画面の符号化を行うときに第１中間バッファ０７６を参照するが、実施形態１と異なり、第３中間バッファ０７５は参照しない。
【０３４１】
本例の説明では、副画像が１つである２眼の例を示しているが、副画像が２つ以上の多眼の構成も可能である。その場合はインタービュー符号化器０７２と位置制御部０７７の組を追加することで実現できる。
【０３４２】
符号化装置Ｇａ（７００）の動作について説明する。
【０３４３】
ベースビュー符号化器０７１は参照フレームメモリ１０３を用いた通常の多眼符号化のベースビュー符号化を行う。その際、ローカル復号ＭＢを第１中間バッファ０７６に保存する。インタービュー符号化器０７２は、第１中間バッファ０７６のローカル復号ＭＢを参照して副画面の符号化を行う。
【０３４４】
符号化装置Ｇａ（７００）は２ピクチャずつ、即ち１組の主画面と副画面を、並列に符号化する。
【０３４５】
ベースビュー符号化器０７１では次のように符号化が実行される。
【０３４６】
（１）主画面（ｎ）の符号化対象ＭＢを入力画像メモリ１０２からベースビュー符号化器０７１に入力する。
【０３４７】
（２）ベースビュー符号化に用いる参照領域Ｘを、参照フレームメモリ１０３内の参照面Ｘから第３中間バッファ０７５に入力する。
【０３４８】
（３）ベースビュー符号化器０７１は、主画面（ｎ）ＭＢおよび第３中間バッファ０７５内の参照領域Ｘからベースビュー符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴ってローカル復号ＭＢを生成して第１中間バッファ０７６に書き込む。
【０３４９】
（４）第１中間バッファ０７６に格納されたローカル復号ＭＢは、以降のベースビュー符号化で参照面として使用するために参照フレームメモリ１０３に書き出される。
【０３５０】
上記（１）〜（４）を主画面（ｎ）内の全てのＭＢに対して実施することで、１画面のベースビュー符号化が完了する。ここでのベースビュー符号化はＩ／Ｐの各ピクチャの符号化を含むことができる。なお、Ｉピクチャの符号化を行う場合には、上記ステップ（３）において、ベースビュー符号化器０７１は第３中間バッファ０７５内の参照領域Ｘを参照しない。
【０３５１】
インタービュービュー符号化器０７２では次のように符号化が実行される。
【０３５２】
（５）副画面（ｎ）の符号化対象ＭＢを入力画像メモリ１０２からインタービュー符号化器０７２に入力する。
【０３５３】
（６）インタービュー符号化器０７２は、副画面（ｎ）ＭＢと第１中間バッファ０７６内の主画面のローカル復号ＭＢで構成する参照領域Ｙから、ビュー間予測によりインタービュー符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。
【０３５４】
上記（５）〜（６）を副画面（ｎ）内の全てのＭＢに対して実施することで、１画面の副画面符号化が完了する。ここでのインタービュー符号化は主画面を参照するビュー間予測を用いた符号化または画面内予測のみを行う。
【０３５５】
上記ベースビュー符号化器０７１による（１）〜（４）の処理と、インタービュー符号化器０７２による（５）〜（６）の処理とは、１組の主画面（ｎ）と副画面（ｎ）について並列に実行される。
【０３５６】
なお、第３中間バッファ０７５のデータはインタービュービュー符号化器０７２で使用しないため、ベースビュー符号化器０７１の処理に合わせて破棄できる。ベースビュー符号化器０７１の構成によっては第３中間バッファ０７５を省略しても良い。また、同様に参照フレームメモリ１０３も省略することができる。例えばベースビュー符号化器０７１がＩピクチャの符号化のみを行う場合には、第３中間バッファと参照フレームメモリは不要とされる。
【０３５７】
位置制御部０７７は、ベースビュー符号化器０７１とインタービュービュー符号化器０７２の処理位置の同期制御を行う。ベースビュー符号化器０７１が「処理位置」を出力し、インタービュービュー符号化器０７２が「処理要求」を出力し、位置制御部０７７が「待ち指示」または「処理許可」をインタービュービュー符号化器０７２へ通知する。制御方式は、実施形態１において図１１と図１２を引用して説明した方法と同様である。
【０３５８】
第１中間バッファ０７６と位置制御部０７７により、ベースビュー符号化器０７１のローカル復号ＭＢをインタービュー符号化器０７２で参照して副画面の符号化を行うことを特徴とする本構成により、副画面の符号化時に参照フレームメモリ１０３へのアクセスを０とすることができる。したがって、参照フレームメモリ１０３のメモリ容量削減・メモリ帯域削減の効果がある。また、ベースビュー符号化と並列にインタービュー符号化が可能であるため、符号化遅延の低減が可能となる効果がある。
【０３５９】
＜実施形態７の変形例；実施形態４の多眼符号化方式への応用＞
図４８は、実施形態７の画像符号化装置の全体構成の別の例を示すブロック図である。上述の実施形態４の構成を、多眼符号化方式に応用した例である。
【０３６０】
図４８に示される画像符号化装置の全体構成は、第１及び第２入力画像供給装置７０１と７０２と、符号化装置Ｇｂ（７０３）と、出力制御装置１０４とを含んで構成される。図４６に示される画像符号化装置と異なり、入力画像メモリ１０２と参照フレームメモリ１０３を備えておらず、符号化対象の原画像データは、第１及び第２入力画像供給装置７０１と７０２から直接、符号化装置Ｇｂ（７０３）に入力される。
【０３６１】
図４９は、図４８の、符号化装置Ｇｂ（７０３）の構成の一例を示すブロック図である。図４７に示される符号化装置Ｇａ（７００）の構成と比較すると、第３中間バッファ０７５が省略されている点が異なる。スイッチ０７４は、第１入力画像供給装置７０１は直接主画面をベースビュー符号化器０７１に入力し、第２入力画像供給装置７０２は直接副画面をインタービュー符号化器０７２に入力する。入力制御部０７３とスイッチ０７４は、簡略でよく、または省略されてもよい。また、第１中間バッファから参照フレームメモリへの出力はない。
【０３６２】
図４５に示される構成例では、副画像が１つである２眼の例を示しているが、副画像が２つ以上の多眼の構成も可能である。その場合はインタービュー符号化器０７２と位置制御部０７７の組を追加することで実現できる。
【０３６３】
符号化装置Ｇｂ（７０３）の動作について説明する。
【０３６４】
ベースビュー符号化器０７１は参照フレームメモリ１０３を用いずに多眼符号化のベースビュー符号化を行う。すなわち、画面内予測のみを行うＩピクチャ符号化のみとなる。その際、ローカル復号ＭＢを第１中間バッファ０７６に保存する。インタービュー符号化器０７２は、第１中間バッファ０７６のローカル復号ＭＢを参照して副画面の符号化を行う。
【０３６５】
符号化装置Ｇｂ（７０３）は２ピクチャずつ、即ち１組の主画面と副画面を、並列に符号化する。
【０３６６】
ベースビュー符号化器０７１では次のように符号化が実行される。
【０３６７】
（１）主画面（ｎ）の符号化対象ＭＢを第１入力画像供給装置７０１からベースビュー符号化器０７１に入力する。
【０３６８】
（２）ベースビュー符号化器０７１は、主画面（ｎ）ＭＢからベースビュー符号化を行い、第１符号化ビット列を出力制御装置１０４へ出力する。それに伴って、ローカル復号ＭＢを生成して第１中間バッファ０７６に保持する。
【０３６９】
上記（１）〜（２）を主画面（ｎ）内の全てのＭＢに対して実施することで、１画面のベースビュー符号化が完了する。ここでのベースビュー符号化はＩピクチャの符号化となる。
【０３７０】
インタービュー符号化器０７２では次のように符号化が実行される。
【０３７１】
（３）副画面（ｎ）の符号化対象ＭＢを第２入力画像供給装置７０２からインタービュー符号化器０７２に入力する。
【０３７２】
（４）インタービュー符号化器０７２は、副画面（ｎ）ＭＢと第１中間バッファ０７６内の主画面のローカル復号ＭＢで構成する参照領域Ｙから、ビュー間予測によりインタービュー符号化を行い、第２符号化ビット列を出力制御装置１０４へ出力する。
【０３７３】
上記（３）〜（４）を副画面（ｎ）内の全てのＭＢに対して実施することで、１画面の副画面符号化が完了する。ここでのインタービュー符号化は主画面を参照するビュー間予測を用いた符号化または画面内予測のみを行う。
【０３７４】
上記ベースビュー符号化器０７１による（１）〜（２）の処理と、インタービュー符号化器０７２による（３）〜（４）の処理とは、１組の主画面（ｎ）と副画面（ｎ）について並列に実行される。
【０３７５】
位置制御部０７７は、ベースビュー符号化器０７１とインタービュービュー符号化器０７２の処理位置の同期制御を行う。制御方法は、上述の符号化装置Ｇａ（７００）における位置制御部０７７と同様である。
【０３７６】
以上のように、符号化装置Ｇｂ（７０３）に例示される、実施形態７の変形例は、第１中間バッファ０７６と位置制御部０７７により、ベースビュー符号化器０７１のローカル復号ＭＢをインタービュー符号化器０７２で参照して副画面の符号化を行うことを特徴とする。さらに、第１入力画像供給装置７０１、第２入力画像供給装置７０２からの原画面の直接入力、ベースビュー符号化器０７１を画面内符号化に限定することにより、入力画像メモリ１０２および参照フレームメモリ１０３を使用しないことを特徴とする。
【０３７７】
本構成により、多眼符号化時に入力画像メモリ１０２および参照フレームメモリ１０３を不要とすることができる。したがって、システムのコスト低減ができる効果がある。
【０３７８】
他に、ベースビュー符号化と並列にインタービュー符号化が可能であるため、符号化遅延の低減が可能となる効果がある。
【０３７９】
＜実施形態７のさらなる変形例；Ｂピクチャを含むベースビュー符号化＞
符号化装置Ｇａ（７００）のベースビュー符号化器０７１はＩピクチャとＰピクチャの符号化を行い、符号化装置Ｇｂ（７０３）のベースビュー符号化器０７１はＩピクチャのみの符号化を行うが、ベースビュー符号化器０７１は、ＩピクチャとＰピクチャに加えＢピクチャの符号化をも実行するように構成することができる。この場合、主画面用に２画面、副画面用に２画面の合計４画面を入力し、ベースビュー符号化器０７１の部分を実施形態１と同様のＩ／Ｐ符号化器とＢ符号化器の組に置き換え、インタービュー符号化器０７２の部分を上記Ｉ／Ｐ符号化器の出力を参照する符号化器とＢ符号化器の出力を参照する符号化器の組に置き換えることで実現できる。このような技術思想に基づいて構成される、符号化装置Ｇｃ（７０４）の構成例について説明する。
【０３８０】
図５０は、符号化装置Ｇｃ（７０４）の構成を示すブロック図である。
【０３８１】
符号化装置Ｇｃ（７０４）は、入力制御部０７３と、スイッチ０７４と、Ｉ／Ｐベースビュー符号化器０７１−１と、Ｂベースビュー符号化器０７１−２と、第１インタービュー符号化器０７２−１と、第２インタービュー符号化器０７２−２と、第１〜第３中間バッファ０７６−１〜０７６−２及び０７５と、位置制御部０７７−１〜０７７−３とを備える。
【０３８２】
入力制御部０７３はスイッチ０７４を制御して、主画面（２ｎ）と（２ｎ−１）をそれぞれＩ／Ｐベースビュー符号化器０７１−１とＢベースビュー符号化器０７１−２に供給し、副画面（２ｎ）と（２ｎ−１）をそれぞれ第１インタービュー符号化器０７２−１と第２インタービュー符号化器０７２−２に供給する。
【０３８３】
Ｉ／Ｐベースビュー符号化器０７１−１とＢベースビュー符号化器０７１−２と第１中間バッファ０７６−１と第３中間バッファ０７５と位置制御部０７７−１は、実施形態１の符号化装置Ａ（１００）における、Ｉ／Ｐ符号化器００１とＢ符号化器００２と第１中間バッファ００６と第３中間バッファ００５と位置制御部００７にそれぞれ対応する。またその動作は、実施形態１で説明した符号化装置Ａ（１００）の動作と同様であり、主画面に対して、例えばＩＢＰＢＰＢ・・・のようにＩピクチャまたはＰピクチャの間にＢピクチャが１つ入るように符号化する。Ｉ／Ｐベースビュー符号化器０７１−１とＢベースビュー符号化器０７１−２は、それぞれ、第１符号化ビット列と第２符号化ビット列を出力する。
【０３８４】
主画面（２ｎ）のローカル復号画像は、第１中間バッファ０７６−１に一時保存され、主画面（２ｎ−１）のＢピクチャ符号化で参照されるのに加え、第１インタービュー符号化器０７２−１にも供給される。Ｂベースビュー符号化器０７１−２で符号化される主画面（２ｎ−１）のローカル復号画像は、第２中間バッファ０７６−２に一時保存され、第２インタービュー符号化器０７２−２に供給される。第１インタービュー符号化器０７２−１は、主画面（２ｎ）のローカル復号画像を参照しながら副画面（２ｎ）の符号化を実行し、第３符号化ビット列を出力する。このとき、処理対象のマクロブロック（ＭＢ）についての処理要求と処理許可は、位置制御部０７７−２によって制御される。第２インタービュー符号化器０７２−２は、主画面（２ｎ−１）のローカル復号画像を参照しながら副画面（２ｎ−１）の符号化を実行し、第４符号化ビット列を出力する。このとき、処理対象のＭＢについての処理要求と処理許可は、位置制御部０７７−３によって制御される。
【０３８５】
以上の構成により、多眼符号化においてもベースビューにＢピクチャを含む符号化処理を実行可能とすることができ、符号化効率を向上させ画質を向上させることができる。
【０３８６】
以上はベースビュー符号化に実施形態１に示した符号化装置を組合せた構成例について説明したが、他の実施形態２、３、４、５、６に示される種々の符号化装置を組合せることもできる。例えば実施形態３、４、５、６に示される種々の符号化装置を組合せれば、図４５図４９と同様に参照フレームメモリへのアクセスをなくすことができる多眼符号化装置を構成することが可能である。
【０３８７】
〔実施形態８〕＜画像復号装置＞
以上の各実施形態に示される各種画像符号化装置には、同様の技術思想に基づいて、それぞれに対応する画像復号装置を構成し提供することができる。
【０３８８】
〔実施形態８ａ〕＜実施形態１に対応する画像復号装置＞
実施形態１に対応する画像復号装置の構成例について説明する。復号装置を搭載するシステムで、Ｉ／Ｐピクチャ間のＢピクチャの枚数、およびＢピクチャの参照領域が一定に制限されていることがあらかじめ分かっている場合に、本例の復号装置を活用することができる。例えば、いわゆる自己録再型のシステムのような場合が考えられる。
【０３８９】
図５１は、実施形態８ａの画像復号装置の全体構成例を示すブロック図である。
【０３９０】
実施形態８ａの画像復号装置の全体構成は、入力制御装置８０１と、入力符号メモリ８０２と、参照フレームメモリ８０３と、復号装置Ｈａ（８００）と、画面処理装置８０４とを含んで構成される。入力制御装置８０１は、例えばネットワークなどの送信路から入力される符号化ストリームを入力符号メモリ８０２に書き込む。入力符号メモリ８０２は入力された符号化ストリームを保持し、参照フレームメモリ８０３は、参照フレームを保持する。復号装置Ｈａ（８００）は、符号化ストリームを入力符号メモリ８０２から読み出し、参照フレームメモリ８０３に保持されている参照フレームを参照して復号処理を実行し、複数の復号画面を生成して出力する。画面処理装置８０４は、復号装置Ｈａ（８００）が出力する２つ以上の復号画面を再構成などの処理をする。入力符号メモリ８０２および参照フレームメモリ８０３は、例えばシステム共有の外部のＳＤＲＡＭに割り付けられる。
【０３９１】
図５２は、実施形態８ａの復号装置Ｈａ（８００）の構成例を示すブロック図である。入力制御装置８０１と入力符号メモリ８０２と参照フレームメモリ８０３と画面処理装置８０４も合わせて示される。なお、入力符号メモリ８０２と参照フレームメモリ８０３には、それぞれ符号列０、１、…２ｎ−１、２ｎ、…と参照面ＸとＹが保持される様子が模式的に図示される。
【０３９２】
復号装置Ｈａ（８００）は、Ｉ／Ｐ復号器０８１と、Ｂ復号器０８２と、入力制御部０８３と、スイッチ０８４と、第３中間バッファ０８５と、第１中間バッファ０８６と、位置制御部０８７とを含んで構成される。Ｉ／Ｐ復号器０８１は、ＩピクチャまたはＰピクチャの復号を行う復号器であり、Ｂ復号器０８２はＢピクチャの復号を行う復号器である。入力制御部０８３はスイッチ０８４を制御して、入力符号メモリ８０２から符号列を読み出し、Ｉ／Ｐ復号器０８１とＢ復号器０８２に供給する。Ｉ／Ｐ復号器０８１は、ＩピクチャまたはＰピクチャの復号を行って第１復号画面を画面処理装置８０４に出力し、復号の過程で生成する参照面を、参照フレームメモリ８０３に書き込むのと並行して、第１中間バッファ０８６に一時保存する。第３中間バッファ０８５は、参照フレームメモリ８０３から適宜読み出した参照面を一時保存する。Ｉ／Ｐ復号器０８１がＰピクチャの復号を行うときには、第３中間バッファ０８５に保存されている参照面を参照する。Ｂ復号器０８２は、第１中間バッファ０８６に一時保存されている参照面と、第３中間バッファ０８５に保存されている参照面とを参照して、Ｂピクチャの復号を行い、第２復号画面を画面処理装置８０４に出力する。位置制御部０８７は、Ｉ／Ｐ復号器０８１とＢ復号器０８２の処理位置、即ち、復号における処理対象の画像の位置を制御する。
【０３９３】
Ｉ／Ｐ復号器０８１は、Ｉピクチャ復号とＰピクチャ復号のみを行う復号器である必要はなく、Ｂピクチャ復号も含むＩ／Ｐ／Ｂ復号器であっても良い。同様に、Ｂ復号器０８２もＢピクチャ復号のみを行う復号器ではなく、Ｉ／Ｐ／Ｂ復号器であっても良い。
【０３９４】
Ｂ復号器は１つでなくても良い。Ｂ復号器をＮ個搭載することで２つのＰピクチャ（またはＩピクチャ）の間のＢピクチャの数をＮ枚とすることができる。その際、入力となる参照領域Ｘおよび参照領域Ｙは、第１中間バッファ０８５および第２中間バッファ０８６を共有することができる。
【０３９５】
復号装置Ｈａ（８００）の動作について説明する。本例では、ＩＢＰＢＰＢ・・・のようにＩピクチャまたはＰピクチャの間にＢピクチャが１つ入るような符号化ストリームを復号することが前提となる。
【０３９６】
入力符号メモリ８０２には送信された順に符号化ストリームが格納されているとする。バイナリビット列であり、ピクチャの切れ目があるわけではないが、便宜上ピクチャごとに符号列０、符号列１、・・・符号列（２ｎ−１）、符号列（２ｎ）というように図示している。
【０３９７】
入力制御部０８３、スイッチ０８４によりＩまたはＰピクチャの符号列がＩ／Ｐ復号器０８１に入力され、Ｂピクチャの符号列がＢ復号器０８２に入力され、並列に復号される。Ｉ／Ｐ／Ｂの判別は、符号列を構成するビット列のヘッダを検索することで判別可能である。
【０３９８】
復号装置Ｈａ８００は２ピクチャずつ並列に復号する。
【０３９９】
Ｉ／Ｐ復号器０８１では次のように復号される。
【０４００】
（１）Ｉ／Ｐの符号列をＩ／Ｐ復号器０８１に入力する。
【０４０１】
（２）符号列を復号するために必要な参照領域Ｘを、参照フレームメモリ８０３内の参照面Ｘから第３中間バッファ０８５に入力する。必要な参照領域は復号とともに決まる。
【０４０２】
（３）Ｉ／Ｐ復号器０８１は、第１符号列と参照領域ＸからＩまたはＰピクチャ復号を行い、第１復号画面を画面処理装置８０４へ出力する。それに伴って、復号した画像を第１中間バッファ０８６に保持する。
【０４０３】
（４）第１中間バッファ０８６に格納された復号画像は、以降の復号で参照面として使用するために参照フレームメモリ８０３の参照面Ｙに書き出される。
【０４０４】
上記（１）〜（４）を第１符号列の全てのＭＢに対して実施することで、１画面の復号が完了する。なお、Ｉピクチャ復号を行う場合は、（３）にて画面内予測によりＩピクチャ復号を行う。このとき、第１中間バッファ０８５内の参照領域Ｘは使用しない。
【０４０５】
Ｂ復号器０８２では次のように符号化される。
【０４０６】
（５）Ｂの符号列をＢ復号器０８２に入力する。
【０４０７】
（６）Ｂ復号器０８２は、第１符号列、第３中間バッファ０８５内の参照領域Ｘおよび第１中間バッファ０８６内の復号画像で構成する参照領域Ｙから、画面間予測によりＢピクチャ復号を行い、第２復号画面を画面処理装置８０４へ出力する。
【０４０８】
上記（５）〜（６）を第２符号列の全てのＭＢに対して実施することで、１画面の復号が完了する。
【０４０９】
上記Ｉ／Ｐ復号器０８１による（１）〜（４）の処理と、Ｂ復号器０８２による（５）〜（６）の処理とは並列に実行される（２ピクチャ並列の復号）。
【０４１０】
位置制御部０８７でＩ／Ｐ復号器０８１とＢ復号器０８２の処理位置の同期を行う。Ｉ／Ｐ復号器０８１が「処理位置」を出力し、Ｂ復号器０８２が「処理要求」を出力し、位置制御部０８７が「待ち指示」または「処理許可」をＢ復号器０８２へ通知する。この制御は実施形態１において図１１と図１２を引用して説明した方法と同等である。この時、参照領域の最大の範囲が決まっていることが前提となる。
【０４１１】
以上のように、復号装置Ｈａ（８００）は第１中間バッファ０８６と位置制御部０８７により、Ｉ／Ｐ復号器０８１の復号ＭＢをＢ復号器０８２で参照してＢピクチャの復号を行うことを特徴とする。これにより、Ｉ／Ｐピクチャ間のＢピクチャの枚数、およびＢピクチャの参照領域が一定に制限されていることがあらかじめ分かっている場合に、Ｂピクチャ復号の際の参照フレームメモリ８０３へのアクセスを不要とする効果がある。したがって、参照フレームメモリ８０３のメモリ容量削減・メモリ帯域削減の効果がある。
【０４１２】
〔実施形態８ｂ〕＜実施形態３に対応する画像復号装置＞
本例は実施形態２、実施形態３、実施形態４の応用である。ここでは実施形態３に対応する画像復号装置の構成例について説明する。
【０４１３】
復号装置を搭載するシステムで、ＩＰＩＰＩＰ・・・のようにＩピクチャとＰピクチャが交互に符号化されていて、なおかつＰピクチャの参照領域が一定に制限されていることがあらかじめ分かっている場合に、本例の復号装置を活用することができる。例えば、実施形態３の符号化装置Ｃ３００を使用した自己録再型のシステムのような場合が考えられる。
【０４１４】
図５３は、実施形態８ｂの画像復号装置の全体構成例を示すブロック図である。
【０４１５】
実施形態８ｂの画像復号装置の全体構成は、入力制御装置８０１と、復号装置Ｈｂ（８１０）と、画面処理装置８０４とを含んで構成される。入力制御装置８０１と画面処理装置８０４は、図５１を引用した上述の通りであるので、説明を省略する。本実施形態８ｂは、入力符号メモリ８０２と参照フレームメモリ８０３を備えていない点で、実施形態８ａと異なる。入力制御装置８０１から直接復号装置Ｈｂ８１０に符号列が供給され、復号装置Ｈｂ８１０は参照フレームメモリ８０３を使用せずに復号を行う。
【０４１６】
図５４は、実施形態８ｂの復号装置Ｈｂ（８１０）の構成例を示すブロック図である。入力制御装置８０１と画面処理装置８０４も合わせて示される。
【０４１７】
復号装置Ｈｂ（８１０）は、Ｉ復号器０８８と、Ｐ復号器０８９と、入力制御部０８３と、スイッチ０８４と、中間バッファ０８６と、位置制御部０８７とを含んで構成される。Ｉ復号器０８８は、Ｉピクチャの復号を行う復号器であり、Ｐ復号器０８９はＰピクチャの復号を行う復号器である。入力制御部０８３はスイッチ０８４を制御して、入力制御装置８０１から直接第１符号列と第２符号列をそれぞれＩ復号器０８８とＰ復号器０８９に供給する。Ｉ復号器０８８は、Ｉピクチャの復号を行って第１復号画面を画面処理装置８０４に出力し、復号の過程で生成する参照面を、中間バッファ０８６に一時保存する。中間バッファ０８６から参照フレームメモリへの出力はない。Ｐ復号器０８９は、中間バッファ０８６に一時保存されている参照面を参照してＰピクチャの復号を行い、第２復号画面を画面処理装置８０４に出力する。位置制御部０８７は、Ｉ／Ｐ復号器０８１とＢ復号器０８２の処理位置、即ち、復号における処理対象の画像の位置を制御する。
【０４１８】
本例の説明では、入力制御装置８０１が第１符号列と第２符号列を分離して入力する例を示しているが、入力制御部０８３とスイッチ０８４で分離を行う構成も可能である。
【０４１９】
Ｉ復号器０８８は、Ｉピクチャ復号のみを行う復号器である必要はなく、Ｉ／Ｐ／Ｂ復号器もしくはＩ／Ｐ復号器であっても良い。同様に、Ｐ復号器０８９もＰピクチャ復号のみを行う復号器ではなく、Ｉ／Ｐ／Ｂ復号器もしくはＩ／Ｐ復号器であっても良い。
【０４２０】
例えば、ＩＢＰＩＢＰＩＢＰ・・・のように符号化順が固定されていて、なおかつＰピクチャおよびＢピクチャの参照領域が一定に制限されていることがあらかじめ分かっている場合（例えば実施形態２の符号化装置Ｂ（２００）を使った自己録再システム）には、Ｂ復号器およびそれに関連する第２中間バッファ、第２位置制御部を追加することで対応する画像復号装置を実現することができる。
【０４２１】
また、フィールド構造のＩＰＩＰ・・・の符号ストリーム（例えば、実施形態４の符号化装置Ｄ（４００）を使った自己録再システム）にも対応する画像復号装置も、同様に実現することができる。
【０４２２】
復号装置Ｈｂ（８１０）の動作について説明する。本例では、ＩＰＩＰ・・・のようにＩピクチャとＰピクチャが交互になるような符号化ストリームを復号することが前提となる。
【０４２３】
復号装置Ｈｂ（８１０）は２ピクチャずつ並列に復号する。
【０４２４】
Ｉ復号器０８８では次のように復号処理が実行される。
【０４２５】
（１）Ｉピクチャの符号列（第１符号列）をＩ復号器０８８に入力する。
【０４２６】
（２）Ｉ復号器０８８は、第１符号列からＩピクチャ復号を行い、第１復号画面を画面処理装置８０４へ出力する。それに伴って、復号した画像を中間バッファ０８６に保持する。
【０４２７】
上記（１）〜（２）を第１符号列の全てのＭＢに対して実施することで、１画面の復号が完了する。
【０４２８】
Ｐ復号器０８９では次のように復号処理が実行される。
【０４２９】
（３）Ｐピクチャの符号列（第２符号列）をＰ復号器０８９に入力する。
【０４３０】
（４）Ｐ復号器０８９は、第２符号列と中間バッファ０８６内の復号画像で構成する参照領域から、画面間予測によりＰピクチャ復号を行い、第２復号画面を画面処理装置８０４へ出力する。
【０４３１】
上記（３）〜（４）を第２符号列の全てのＭＢに対して実施することで、１画面の復号が完了する。
【０４３２】
上記Ｉ復号器０８８による（１）〜（２）の処理と、Ｐ復号器０８９による（３）〜（４）の処理とは並列に実行される（２ピクチャ並列の復号）。
【０４３３】
位置制御部０８７でＩ復号器０８８とＰ復号器０８９の処理位置の同期を行う。制御方法は上述の実施形態８ａと同等である。この時、参照領域の最大の範囲が決まっていることが前提となる。
【０４３４】
以上のように、復号装置Ｈｂ（８１０）は中間バッファ０８６と位置制御部０８７により、Ｉ復号器０８８の復号ＭＢをＰ復号器０８９で参照してＰピクチャの復号を行うことを特徴とする。ＩＰＩＰＩＰ・・・のようにＩピクチャとＰピクチャが交互に符号化されていて、なおかつＰピクチャの参照領域が一定に制限されていることがあらかじめ分かっている場合に、参照フレームメモリ８０３へのアクセスを不要とする効果がある。したがって、システムのコスト低減ができる効果がある。
【０４３５】
以上実施形態８では、実施形態１〜４に示した符号化装置に対応する画像復号装置について説明したが、他の実施形態に示される符号化装置に対応する画像復号装置も、同様の技術思想に基づいて構成することができる。
【０４３６】
〔実施形態９〕＜画像通信システム＞
以上の実施形態で述べた画像符号化装置と画像復号装置を、送信装置、又は、受信装置、或いはその両方に搭載して、画像通信システムを構成することができる。
【０４３７】
図５５は、実施形態９の画像通信システムの全体構成例を示すブロック図である。
【０４３８】
送信装置１０００と受信装置１００１は送信路１００２を介して接続されている。送信装置１０００は、入力画像供給装置１０１と、実施形態１に示した符号化装置Ａ（１００）と出力制御装置１０４とを含んで構成される。出力制御装置１０４は、第１符号化ビット列をいったん保持する第１出力バッファ０１０と第２符号化ビット列をいったん保持する第２出力バッファ０１１と送信するビット列を選択するスイッチ０１２からなる。受信装置１００１は、入力バッファ８３０を含む入力制御装置８０１と、汎用復号装置８０５と、画面処理装置８０４とを含んで構成される。
【０４３９】
送信装置１０００内の符号化装置として、実施形態１に示した符号化装置Ａ（１００）が記載されているが、実施形態２の符号化装置Ｂ（２００）、実施形態３の符号化装置Ｃ（３００）、または実施形態４の符号化装置Ｄ（４００）でも同様のシステム構成が可能である。入力フレームメモリ１０２、参照フレームメモリ１０３は図では省略している。
【０４４０】
送信装置１０００では、符号化装置Ａ（１００）が出力する第１符号化ビット列と第２符号化ビット列をそれぞれバッファし、ピクチャ単位で交互に出力することで、符号化標準規格に準拠した符号化ストリームとして伝送できる。符号化装置が実施形態４の符号化装置Ｄ（４００）の場合には、インターレース符号化ストリームとなる。
【０４４１】
受信装置１００１では、入力バッファ８３０で符号化ストリームをいったんバッファし、汎用復号装置８０５で復号する。画面処理装置８０４は例えば画像表示装置であるが、如何なる画像処理装置であってもよい。
【０４４２】
本実施形態９の送信装置１０００は、符号化装置Ａ（１００）、符号化装置Ｂ（２００）、符号化装置Ｃ（３００）または符号化装置Ｄ（４００）の出力をピクチャ単位で交互に送信することを特徴とする。本例により、送信側のメモリアクセスを低減できる効果がある。なおかつ、受信側に特別な装置が必要なく、既存の符号化規格準拠の汎用復号装置で構成が可能である。
【０４４３】
〔実施形態１０〕＜画像通信システム＞
図５６は、実施形態１０の画像通信システムの全体構成例を示すブロック図である。
【０４４４】
図５５に示した画像通信システムと同様に、送信装置１１００と受信装置１１０１は送信路１００２を介して接続されている。送信装置１１００は、入力画像供給装置１０１と、符号化装置Ａ（１００）と出力制御装置１０４とを含んで構成され、受信装置１１０１は、入力制御装置８０１と、汎用復号装置８０５と、画面処理装置８０４とを含んで構成される。送信装置１１００において出力制御装置１０４がスイッチ０１２に代えてマルチプレクサ０１３を含んで構成され、受信装置１１０１において入力制御装置８０１がデマルチプレクサ８３３と第１及び第２入力バッファ８３１と８３２とスイッチ８３４を含んで構成される点で、図５５に示した画像通信システムと相違する。
【０４４５】
本実施形態１０の送信装置１１００内の符号化装置としても、実施形態９と同様に、実施形態１に示した符号化装置Ａ（１００）が記載されているが、実施形態２の符号化装置Ｂ（２００）、実施形態３の符号化装置Ｃ（３００）、または実施形態４の符号化装置Ｄ（４００）でも同様のシステム構成が可能である。入力フレームメモリ１０２、参照フレームメモリ１０３は図では省略している。
【０４４６】
送信装置１１００の出力制御装置１０４内のマルチプレクサ０１３は、符号化装置が出力した第１符号化ビット列と第２符号化ビット列をピクチャ内のより細かい単位でマルチプレクスして伝送する。マルチプレクスする単位は符号化規格で規定されているようなスライス等の単位でも良いし、独自のより小さい単位でも良い。
【０４４７】
受信装置１１０１の入力制御装置８０１内のデマルチプレクサ８３３は、送信装置１１００のマルチプレクサ０１３と同様の単位でデマルチプレクスして、第１符号化ビット列と第２符号化ビット列に戻す。戻した第１符号化ビット列と第２符号化ビット列はスイッチ８３４で符号化標準のストリームとなるように選択して、汎用復号器８０５へ供給する。
【０４４８】
本実施形態１０の送信装置１１００は、符号化装置Ａ（１００）、符号化装置Ｂ（２００）、符号化装置Ｃ（３００）または符号化装置Ｄ（４００）の出力を、ピクチャ内のより細かい単位でマルチプレクスして送信し、受信装置１１０１で符号化標準のストリームに再構成して復号することを特徴とする。本例により、送信装置１１００の第１出力バッファ０１０および第２出力バッファ０１１の容量を少なくすることができ、送信側の出力遅延を小さくできる効果がある。他に、ビットレートの平滑化が容易になる効果がある。
【０４４９】
〔実施形態１１〕＜画像通信システム＞
図５７は、実施形態１１の画像通信システムの全体構成例を示すブロック図である。
【０４５０】
図５６に示した実施形態１０の画像通信システムと同様に、送信装置１２００と受信装置１２０１は送信路１００２を介して接続されている。送信装置１２００は、入力画像供給装置１０１と、符号化装置Ａ（１００）と出力制御装置１０４とを含んで構成される。受信装置１２０１は、実施形態１０の画像通信システムにおける受信装置１１０１と異なり、入力制御装置８０１と、画面処理装置８０４とに加えて、第１及び第２汎用復号装置８０６と８０７とを含んで構成される。それに伴って、入力制御装置８０１内のスイッチ８３４は削除される。
【０４５１】
本実施形態１１の送信装置１２００内の符号化装置としても、実施形態９、１０と同様に、実施形態１に示した符号化装置Ａ（１００）が記載されているが、実施形態２の符号化装置Ｂ（２００）、実施形態３の符号化装置Ｃ（３００）、または実施形態４の符号化装置Ｄ（４００）でも同様のシステム構成が可能である。入力フレームメモリ１０２、参照フレームメモリ１０３は図では省略している。
【０４５２】
受信装置１２０１の第１汎用復号装置８０６は第１入力バッファ８３１内の第１符号化ストリームを入力して復号を行う。並行して、第２汎用復号装置８０７は第２入力バッファ８３２内の第２符号化ストリームを入力して復号を行う。必要であれば、画面処理装置８０４では、第１汎用復号装置８０６の出力画面と第２汎用復号装置８０７の出力画面を再構成する。
【０４５３】
本実施形態１１の画像通信システムは、実施形態１０の特徴に加え、受信装置１２０１において受信側の復号装置を並列化することを特徴とする。本例により、送受信の両方の符号バッファ量を削減できる効果がある。他に、受信装置１２００をより低遅延に処理ができ、低遅延性が求められるシステムに適す構成を実現できる効果がある。
【０４５４】
〔実施形態１２〕＜画像通信システム＞
図５８は、実施形態１２の画像通信システムの全体構成例を示すブロック図である。
【０４５５】
図５７に示した実施形態１１の画像通信システムと同様に、送信装置１３００と受信装置１３０１は送信路１００２を介して接続されている。送信装置１３００は、入力画像供給装置１０１と、符号化装置Ａ（１００）と出力制御装置１０４とを含んで構成される。受信装置１３０１は、入力制御装置８０１と、画面処理装置８０４を備え、実施形態１１の画像通信システムにおける受信装置１２０１と異なり、第１及び第２汎用復号装置８０６と８０７に代えて、実施形態８の復号装置Ｈａ（８００）を備える。このとき、符号化装置Ａ（１００）と復号装置Ｈａ（８００）において、Ｂピクチャ枚数およびＢピクチャ参照領域制限の仕様があらかじめ同一に決まっていることが前提である。
【０４５６】
符号化装置Ａ（１００）と復号装置Ｈａ（８００）の組は、実施形態３の符号化装置Ｃ（３００）と実施形態８ｂの復号装置Ｈｂ（８１０）の組、または実施形態４の符号化装置Ｄ（４００）と実施形態８ｂの復号装置Ｈｂ（８１０）の組と置き換えが可能である。これらの場合も、符号化装置のＰピクチャ参照領域制限の仕様があらかじめ決まっていることが前提である。
【０４５７】
受信装置１３０１の復号装置Ｈａ（８００）はあらかじめ決められたＢピクチャ枚数およびＢピクチャ参照領域制限の仕様に従って、第１符号化ストリームと第２符号化ストリームを復号する。
【０４５８】
本実施形態１２の画像通信システムは、受信側が送信側の符号化制限をあらかじめ知っているシステムであり、送信側と受信側の両方に本願の符号化装置ならびに復号装置を配置することを特徴とする。本例により、送信側の符号化装置に加えて受信側の復号装置においても、外部メモリ帯域・外部メモリ容量の削減が可能となる効果がある。
【０４５９】
符号化装置Ａ（１００）と復号装置Ｈａ（８００）の組の場合は、Ｂピクチャ符号化・復号の際のメモリアクセスを不要とする効果がある。
【０４６０】
符号化装置Ｃ（３００）と復号装置Ｈｂ（８１０）の組の場合は、受信側の外部メモリアクセスを不要とする効果がある。また、よりシステムコストを削減する効果がある。
【０４６１】
符号化装置Ｄ（４００）と復号装置Ｈｂ（８１０）の組の場合は、送受信の外部メモリアクセスを一切不要とする効果がある。また、よりシステムコストの削減する効果がある。
【０４６２】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０４６３】
例えば、符号化装置、復号装置、その他の装置、制御部などは、例えば半導体集積回路上の専用ハードウェアで実現されても良いし、プロセッサ上で動作するソフトウェアの機能の一部として実現されても良い。
【符号の説明】
【０４６４】
１００、２００、３００、４００、５００、５０１、６００、６０１、６０２、７００、７０３、７０４  符号化装置
００１  Ｉ／Ｐ符号化器
０２０、０３０、０４０  Ｉ符号化器
０２１、０３１、０４１  Ｐ符号化器
００２、０２２、０３２  Ｂ符号化器
０５０、０６０  イントラＭＢ符号化器
０５１、０６１  インターＭＢ符号化器
０７１、０７１−１、０７１−２  ベースビュー符号化器
０７２、０７２−１、０７２−２  インタービュー符号化器
００３、０２３、０３３、０４３、０５３、０６３、０７３  入力制御部
００４、０２４、０３４、０７４  入力スイッチ
０４４、０５４  フィールド分割器
０６４  画面縦分割器
０４６〜０４８、０５５〜０５７、０６６〜０６７  バッファ
０５８、０５９、０６８、０６９  スイッチ
００５、００６、０２５、０２６、０３５、０４５、０５２、０６５、０７５〜０７６、０７６−１〜０７６−２  中間バッファ
００７、０２７、０２８、０４２、０６２、０７７、０７７−１〜０７７−３  位置制御部
１０１、７０１、７０２  入力画像供給装置
１０２  入力画像メモリ
１０３  参照フレームメモリ
１０４  出力制御装置
０１０、０１１  出力バッファ
０１２  出力スイッチ
０１３  マルチプレクサ
８００、８１０  画像復号装置
０８１  Ｉ／Ｐ復号器
０８２  Ｂ復号器
０８８  Ｉ復号器
０８９  Ｐ復号器
０８３  入力制御部
０８４  入力スイッチ
０８５〜０８６  中間バッファ
０８７  位置制御部
８０１  入力制御装置
８０２  入力符号メモリ
８０３  参照フレームメモリ
８０４  画面処理装置
１０００、１１００、１２００、１３００  送信装置
１００１、１１０１、１２０１、１３０１  受信装置
１００２  送信路
８３０、８３１、８３２  入力バッファ
８３３  デマルチプレクサ
８３４  入力スイッチ
８０５、８０６、８０７  汎用復号装置
【図１】
0006410495.tif 000002
【図２】
0006410495.tif 000003
【図３】
0006410495.tif 000004
【図４】
0006410495.tif 000005
【図５】
0006410495.tif 000006
【図６】
0006410495.tif 000007
【図７】
0006410495.tif 000008
【図８】
0006410495.tif 000009
【図９】
0006410495.tif 000010
【図１０】
0006410495.tif 000011
【図１１】
0006410495.tif 000012
【図１２】
0006410495.tif 000013
【図１３】
0006410495.tif 000014
【図１４】
0006410495.tif 000015
【図１５】
0006410495.tif 000016
【図１６】
0006410495.tif 000017
【図１７】
0006410495.tif 000018
【図１８】
0006410495.tif 000019
【図１９】
0006410495.tif 000020
【図２０】
0006410495.tif 000021
【図２１】
0006410495.tif 000022
【図２２】
0006410495.tif 000023
【図２３】
0006410495.tif 000024
【図２４】
0006410495.tif 000025
【図２５】
0006410495.tif 000026
【図２６】
0006410495.tif 000027
【図２７】
0006410495.tif 000028
【図２８】
0006410495.tif 000029
【図２９】
0006410495.tif 000030
【図３０】
0006410495.tif 000031
【図３１】
0006410495.tif 000032
【図３２】
0006410495.tif 000033
【図３３】
0006410495.tif 000034
【図３４】
0006410495.tif 000035
【図３５】
0006410495.tif 000036
【図３６】
0006410495.tif 000037
【図３７】
0006410495.tif 000038
【図３８】
0006410495.tif 000039
【図３９】
0006410495.tif 000040
【図４０】
0006410495.tif 000041
【図４１】
0006410495.tif 000042
【図４２】
0006410495.tif 000043
【図４３】
0006410495.tif 000044
【図４４】
0006410495.tif 000045
【図４５】
0006410495.tif 000046
【図４６】
0006410495.tif 000047
【図４７】
0006410495.tif 000048
【図４８】
0006410495.tif 000049
【図４９】
0006410495.tif 000050
【図５０】
0006410495.tif 000051
【図５１】
0006410495.tif 000052
【図５２】
0006410495.tif 000053
【図５３】
0006410495.tif 000054
【図５４】
0006410495.tif 000055
【図５５】
0006410495.tif 000056
【図５６】
0006410495.tif 000057
【図５７】
0006410495.tif 000058
【図５８】
0006410495.tif 000059