(57)【要約】【課題】単位グループの各フレーム処理において、ワークメモリを時間軸上で効率的に活用しつつ、復号化速度の向上を図る。【解決手段】第１のデコーダは、ＧＯＰの各フレーム処理において、複数の連続したフレーム間予測符号化画像（Ｓピクチャ）の共通の参照画像となるフレーム内符号化画像（Ｉピクチャ）の復号化を行う。第２のデコーダは、ＧＯＰの各フレーム処理において、Ｓピクチャの復号化を行う。ＧＯＰの各フレーム処理において、第１および第２のデコーダは並行して動作し、かつ、第１のデコードの方が第２のデコーダよりも先行して復号化を行う。【選択図】図４
2008136124.tif 000002
【特許請求の範囲】
【請求項１】
あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化装置において、
前記単位グループのそれぞれのフレーム処理において、前記複数の連続したフレーム間予測符号化画像にとっての共通の参照画像である前記フレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第１の復号化データを順次生成する第１のデコーダと、
前記単位グループのそれぞれのフレーム処理において、前記第１のデコーダと並行して動作し、前記記憶部から読み出された前記第１の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、前記記憶部に格納すべき第２の復号化データを順次生成する第２のデコーダとを有し、
前記単位グループのそれぞれのフレーム処理において、前記第１のデコーダは、前記第２のデコーダよりも先行して復号化を行うことを特徴とする動画復号化装置。
【請求項２】
前記第１のデコーダの処理進捗を管理し、前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、当該ブロックの復号化の開始を前記第２のデコーダに指示する調停部をさらに有することを特徴とする請求項１に記載された動画復号化装置。
【請求項３】
前記調停部は、前記単位グループのそれぞれのフレーム処理において、前記記憶部に格納された前記第１の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第２の復号化データに順次置き換えることを特徴とする請求項２に記載された動画復号化装置。
【請求項４】
前記第１のデコーダは、前記単位グループのそれぞれのフレーム処理において、前記第２のデコーダによる現在のフレームの処理が終了するよりも前に、当該現在のフレームとは別のフレームの処理を開始することを特徴とする請求項１から３のいずれかに記載された動画復号化装置。
【請求項５】
前記動画復号化装置は、グラフィックＬＳＩであって、
前記記憶部は、前記グラフィックＬＳＩに内蔵されたメモリであることを特徴とする請求項１から４のいずれかに記載された動画復号化装置。
【請求項６】
あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化方法において、
前記単位グループのそれぞれのフレーム処理において、前記複数の連続したフレーム間予測符号化画像にとっての共通の参照画像である前記フレーム内符号化画像の復号化をブロック単位で行うことによって、第１の復号化データを順次生成する第１のステップと、
前記単位グループのそれぞれのフレーム処理において、前記第１の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、第２の復号化データを順次生成する第２のステップとを有し、
前記第１の復号化データの生成および前記第２の復号化データの生成は並行して行われ、かつ、前記第１の復号化データの生成の方が前記第２の復号化データの生成よりも先行して行われることを特徴とする動画像復号化方法。
【請求項７】
前記第２のステップは、
前記第１の復号化データの生成進捗を管理するステップと、
前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲に関する前記第１の復号化データの生成が終了したことを条件として、当該ブロックに関する前記第２の復号化データの生成を開始するステップと
を含むことを特徴とする請求項６に記載された動画復号化方法。
【請求項８】
前記第１のステップは、
前記第１の復号化データを記憶部に順次格納するステップを含み、
前記第２のステップは、
前記記憶部に格納された前記第１の復号化データを読み出すステップと、
前記記憶部に格納された前記第１の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第２の復号化データに順次置き換えるステップと
を含むことを特徴とする請求項６または７に記載された動画復号化方法。
【請求項９】
前記第１のステップは、
現在のフレームにおける前記第２の復号化データを生成が終了するよりも前に、次のフレームにおける前記第１の復号化データを生成を開始するステップを含むことを特徴とする請求項６から８のいずれかに記載された動画復号化方法。
【請求項１０】
時系列的に並んだ一連のフレームによって構成された単位グループを有する圧縮動画データ構造において、
前記単位グループ内の単一フレームは、フレーム内符号化方法によって符号化されたフレーム内符号化画像であり、
前記単位グループ内の少なくとも前記単一フレーム以外の残りの複数フレームは、前記フレーム内符号化画像を共通の参照画像とし、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化されたフレーム間予測符号化画像であることを特徴とする圧縮動画データ構造。
【請求項１１】
前記単一フレームに関しては、前記フレーム内符号化画像のみならず、前記フレーム間予測符号化画像も存在し、
前記フレーム内符号化画像については復号化時の表示用フレームとしては用いず、前記フレーム内符号化画像に代わる復号化時の表示用フレームとして、前記単一フレームに関する前記フレーム間予測符号化画像を用いる旨の情報が付加されていることを特徴とする請求項１０に記載された圧縮動画データ構造。
【請求項１２】
処理対象となる動画データを符号化して圧縮動画データを生成する動画符号化方法において、
時系列的に並んだ一連のフレームによって構成された単位グループを前記動画データに設定する第１のステップと、
前記単位グループ内の単一フレームをフレーム内符号化画像として、フレーム内符号化方法によって符号化する第２のステップと、
前記単位グループ内の少なくとも前記単一フレーム以外の残りの複数フレームを、前記フレーム内符号化画像を共通の参照画像としたフレーム間予測符号化画像として、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化する第３のステップと
を有することを特徴とする動画符号化方法。
【請求項１３】
前記第３のステップは、
前記フレーム内符号化画像を共通の参照画像としたフレーム間予測符号化画像として、前記単一フレームをフレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化するステップと、
前記フレーム内符号化画像については復号化時の表示用フレームとしては用いず、前記フレーム内符号化画像に代わる復号化時の表示用フレームとして、前記単一フレームに関する前記フレーム間予測符号化画像を用いる旨の情報を前記圧縮動画データに付加するステップと
を含むことを特徴とする請求項１２に記載された動画符号化方法。
【請求項１４】
圧縮動画データを復号化する動画復号化装置において、
フレーム間予測符号化画像を復号化する際に、前記フレーム間予測符号化画像にとっての参照画像であるフレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第１の復号化データを順次生成する第１のデコーダと、
前記第１のデコーダと並行して動作し、前記記憶部から読み出された前記第１の復号化データに基づいて、前記フレーム間予測符号化画像の復号化をブロック単位で行うことによって、前記記憶部に格納すべき第２の復号化データを順次生成する第２のデコーダと、
前記第２のデコーダよりも先行して復号化を行う前記第１のデコーダの処理進捗を管理し、前記フレーム間予測符号化画像内の処理対象となるブロックに関して、当該ブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、当該ブロックの復号化の開始を前記第２のデコーダに指示する調停部と
を有することを特徴とする動画復号化装置。
【請求項１５】
前記調停部は、前記記憶部に格納された前記第１の復号化データのうち、前記フレーム内符号化画像上における前記動きベクトル探索範囲の移動に伴い、前記動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、前記第２の復号化データに順次置き換えることを特徴とする請求項１４に記載された動画復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム内符号化画像を参照画像としたフレーム間予測符号化画像の復号化処理、この復号化処理に適した圧縮動画データ構造および動画符号化方法に関する。
【背景技術】
【０００２】
特許文献１には、前段のイントラ復号部と、後段の動き補償復号部と、これらの復号部の間に存在するワークメモリ（ワーク領域として使用される記憶部）とを有し、ワークメモリを効率的に活用しながら、Ｐフレームを復号化する画像処理装置が開示されている。前段のイントラ復号部は、Ｐフレームの復号化に必要な参照画像（ＩフレームまたはＰフレーム）の復号化データを生成する。イントラ復号部から出力された参照画像の復号化データは、ワークメモリに一旦格納される。後段の動き補償復号部は、ワークメモリに格納された参照画像の復号化データを読み出し、これに基づいて、Ｐフレームの復号化データを順次生成する。Ｐフレームの復号化データは、ワークメモリに格納された参照画像の復号化データのうち、画像上における動きベクトル探索範囲の移動に伴い、この探索範囲のデータとして保持しておく必要がなくなったデータ上に順次上書きされる。参照画像の復号化データを格納するワークメモリをＰフレーム用の格納先として共用することで、Ｐフレーム用の格納先を別個に用意する必要がなくなるので、ワークメモリの省容量化を図ることができる。
【０００３】
また、特許文献２には、フレーム間予測符号化画像の復号化処理に直接関係するものではないが、逐次処理を基本とする復号器を複数用いて、復号処理を同時並行的に行う並列画像復号装置が開示されている。具体的には、入力ビットストリームは、各種ヘッダ類に含まれるピクチャ符号化情報と、ｎ個の分割ストリームとに分割される。ｎ個の分割画像復号部のそれぞれは、ピクチャ符号化情報を用いて分割ストリームを復号し、復号結果としての分割画像と、その分割画像の左上のマクロブロックの位置を示す分割画像位置情報とを出力する。画像結合部は、分割画像位置情報を用いて、ｎ個の分割画像を結合・出力する。
【０００４】
【特許文献１】特開２００６−２１７１６６号公報
【特許文献２】特開２００１−２１８２０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、単位グループの各フレーム処理において、ワークメモリを時間軸上で効率的に活用しつつ、復号化速度の向上を図ることである。
【０００６】
また、本発明の別の目的は、単位グループの各フレーム処理において、単位グループ内のフレーム順序に起因した復号化速度の変動を抑制することである。
【０００７】
また、本発明の別の目的は、このような復号化に適した動画データの新規な圧縮フォーマットまたは新規な動画符号化方法を提供することである。
【０００８】
さらに、本発明の別の目的は、フレーム間予測符号化画像の復号化において、復号化速度の向上を図ることである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するために、第１の発明は、あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化装置を提供する。この復号化装置は、互いに並行して動作する第１および第２のデコーダを有する。第１のデコーダは、単位グループのそれぞれのフレーム処理において、複数の連続したフレーム間予測符号化画像の共通の参照画像となるフレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第１の復号化データを順次生成する。また、第２のデコーダは、単位グループのそれぞれのフレーム処理において、記憶部から読み出された第１の復号化データに基づいて、フレーム間予測符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第２の復号化データを順次生成する。そして、単位グループのそれぞれのフレーム処理において、第１のデコーダは、第２のデコーダよりも先行して復号化を行う。
【００１０】
ここで、第１の発明において、第１のデコーダの処理進捗を管理する調停部を設けることが好ましい。この調停部は、フレーム間予測符号化画像内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、このブロックの復号化の開始を第２のデコーダに指示する。また、調停部は、単位グループのそれぞれのフレーム処理において、記憶部に格納された第１の復号化データのうち、フレーム内符号化画像上における動きベクトル探索範囲の移動に伴い、動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、第２の復号化データに順次置き換えるようにしてもよい。
【００１１】
また、第１の発明において、第１のデコーダは、単位グループのそれぞれのフレーム処理において、第２のデコーダによる現在のフレームの処理が終了するよりも前に、当該現在のフレームとは別のフレームの処理を開始することが好ましい。
【００１２】
また、第１の発明において、動画復号化装置は、グラフィックＬＳＩであって、記憶部は、グラフィックＬＳＩに内蔵されたメモリであってもよい。
【００１３】
第２の発明は、あるフレーム内符号化画像を共通の参照画像とした複数の連続したフレーム間予測符号化画像を主体に単位グループが構成された圧縮動画データを復号化する動画復号化方法を提供する。この復号化方法は、単位グループのそれぞれのフレーム処理において、複数の連続したフレーム間予測符号化画像の共通の参照画像となるフレーム内符号化画像の復号化をブロック単位で行うことによって、第１の復号化データを順次生成する第１のステップと、単位グループのそれぞれのフレーム処理において、第１の復号化データに基づいて、フレーム間予測符号化画像の復号化をブロック単位で行うことによって、第２の復号化データを順次生成する第２のステップとを有する。第１の復号化データの生成および第２の復号化データの生成は並行して行われ、かつ、第１の復号化データの生成の方が第２の復号化データの生成よりも先行して行われる
【００１４】
ここで、第２の発明において、第２のステップは、第１の復号化データの生成進捗を管理するステップと、フレーム間予測符号化画像内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲に関する第１の復号化データの生成が終了したことを条件として、このブロックに関する第２の復号化データの生成を開始するステップとを含んでいてもよい。
【００１５】
また、第２の発明において、第１のステップは、第１の復号化データを記憶部に順次格納するステップを含み、第２のステップは、記憶部に格納された第１の復号化データを読み出すステップと、記憶部に格納された第１の復号化データのうち、フレーム内符号化画像上における動きベクトル探索範囲の移動に伴い、動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、第２の復号化データに順次置き換えるステップとを含んでいてもよい。
【００１６】
また、第２の発明において、第１のステップは、現在のフレームにおける第２の復号化データを生成が終了するよりも前に、次のフレームにおける第１の復号化データを生成を開始するステップを含んでいてもよい。
【００１７】
第３の発明は、時系列的に並んだ一連のフレームによって構成された単位グループを有する圧縮動画データ構造を提供する。単位グループ内の単一フレームは、フレーム内符号化方法によって符号化されたフレーム内符号化画像である。また、単位グループ内の少なくとも単一フレーム以外の残りの複数フレーム（したがって、単一フレームを含めた全フレームであってもよい）は、フレーム内符号化画像を共通の参照画像とし、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化されたフレーム間予測符号化画像である。
【００１８】
ここで、第３の発明において、単一フレームに関しては、フレーム内符号化画像のみならず、フレーム間予測符号化画像も存在することが好ましい。この場合、フレーム内符号化画像については復号化時の表示用フレームとしては用いず、フレーム内符号化画像に代わる復号化時の表示用フレームとして、単一フレームに関するフレーム間予測符号化画像を用いる旨の情報が圧縮動画データに付加されていることが望ましい。
【００１９】
第４の発明は、処理対象となる動画データを符号化して圧縮動画データを生成する動画符号化方法を提供する。この符号化方法は、時系列的に並んだ一連のフレームによって構成された単位グループを動画データに設定する第１のステップと、単位グループ内の単一フレームをフレーム内符号化画像として、フレーム内符号化方法によって符号化する第２のステップと、単位グループ内の少なくとも単一フレーム以外の残りの複数フレームを、フレーム内符号化画像を共通の参照画像としたフレーム間予測符号化画像として、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化する第３のステップとを有する。
【００２０】
ここで、第４の発明において、第３のステップは、フレーム内符号化画像を共通の参照画像としたフレーム間予測符号化画像として、単一フレームをフレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に適用することによって符号化するステップと、フレーム内符号化画像については復号化時の表示用フレームとしては用いず、フレーム内符号化画像に代わる復号化時の表示用フレームとして、単一フレームに関するフレーム間予測符号化画像を用いる旨の情報を圧縮動画データに付加するステップと含むことが好ましい。
【００２１】
第５の発明は、並行に動作する第１および第２のデコーダと、調停部とを有し、圧縮動画データを復号化する動画復号化装置を提供する。第１のデコーダは、フレーム間予測符号化画像を復号化する際に、フレーム間予測符号化画像の参照画像となるフレーム内符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第１の復号化データを順次生成する。第２のデコーダは、記憶部から読み出された第１の復号化データに基づいて、フレーム間予測符号化画像の復号化をブロック単位で行うことによって、記憶部に格納すべき第２の復号化データを順次生成する。調停部は、第２のデコーダよりも先行して復号化を行う第１のデコーダの処理進捗を管理し、フレーム間予測符号化画像内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲の復号化が終了したことを条件として、このブロックの復号化の開始を第２のデコーダに指示する。
【００２２】
ここで、第５の発明において、調停部は、記憶部に格納された第１の復号化データのうち、フレーム内符号化画像上における動きベクトル探索範囲の移動に伴い、動きベクトル探索範囲のデータとして保持する必要がなくなったデータを、第２の復号化データに順次置き換えるようにしてもよい。
【発明の効果】
【００２３】
第１または第２の発明によれば、単位グループ内の各フレーム処理として、フレーム間予測符号化画像にとっての共通の参照画像であるフレーム内符号化画像の復号化が繰り返し実行される。したがって、フレーム内符号化画像の復号化データを複数フレームに亘ってワークメモリとしての記憶部に保持しておく必要がない。このような復号化データの保持に関する時間軸上での制約が解消された分だけ、記憶部を効率的に活用することが可能になる。また、第１および第２のデコーダによる並列処理を行うことで、第１のデコーダの処理の終了を待って第２のデコーダの処理を開始する逐次処理と比較して、単位グループ全体における処理速度の向上を図ることができる。さらに、単位グループ内のそれぞれのフレーム処理において、参照画像が単一のフレーム内符号化画像に共通化されているため、複数フレームに亘って参照画像を順番にトレースしていく必要がない。したがって、各フレームの処理に関して、単位グループ内におけるフレーム順序に起因した処理速度の変動を抑制できる。
【００２４】
また、第３の発明によれば、上述した復号化処理に適した圧縮動画データのフォーマットを提供でき、これを採用することによって、上述した復号化時の効果を享受することができる。この点は、第４の発明についても同様である。
【００２５】
さらに、第５の発明によれば、フレーム間予測符号化画像の復号化の際、第１および第２のデコーダによる並列処理を行うことで、第１のデコーダの処理の終了を待って第２のデコーダの処理を開始する逐次処理と比較して、処理速度の向上を図ることができる。
【発明を実施するための最良の形態】
【００２６】
（第１の実施形態）
［圧縮動画データのフォーマット］
まず、本実施形態に係る復号化処理に適した動画データの圧縮フォーマットについて説明する。図１は、時系列的に並んだ一連のフレームｆ１，ｆ２，ｆ３，・・によって構成された動画データの圧縮フォーマットの説明図である。動画データは、ＧＯＰ（Group of Picture）と呼ばれる単位グループの集合として規定されるが、それぞれのＧＯＰは、以下にその構成要件を示すように、標準化技術であるＭＰＥＧ等とは異なる特殊な圧縮フォーマット（データ構造）を有する。
【００２７】
（ＧＯＰの構成要件）
（１）複数の連続したフレーム間予測符号化画像を主体に構成されていること
ここで、「フレーム間予測符号化画像」とは、フレーム内符号化方法およびフレーム間予測符号化方法のいずれかを選択的に用いて、所定の処理単位毎に符号化されたフレームを指す。同図の例において、最初のＧＯＰ内のすべてのフレームｆ１〜ｆ５は、フレーム間予測符号化画像Ｓ１〜Ｓ５として符号化されている。本要件（１）により、基本的に、復号化時におけるＧＯＰの各フレーム処理として、フレーム間予測符号化画像Ｓ１〜Ｓ５の復号化が繰り返されることになる。
【００２８】
（２）各フレーム間予測符号化画像は、単一のフレーム内符号化画像を共通の参照画像とすること
ここで、「フレーム内符号化画像」とは、フレーム内符号化方式のみを用いて、所定の処理単位毎に符号化されたフレームを指す(以下、適宜「Ｉピクチャ」（Intra Picture）と略称する）。同図の例において、最初のＧＯＰ内の単一フレームｆ１は、フレーム内符号化画像Ｉ１として符号化されており、予測符号化画像Ｓ１〜Ｓ５は、フレーム内符号化画像Ｉ１を共通の参照元としている。また、フレームｆ１については、フレーム内符号化画像Ｉ１のみならず、フレーム間予測符号化画像Ｓ１も存在するが、前者は、フレーム間予測符号化画像Ｓ１〜Ｓ５の参照画像としての役割のみを担っている。換言すれば、フレーム内符号化画像Ｉ１は、復号化時に表示フレームとしては用いられない隠しフレームであり、これに代わる表示用フレームとして、フレーム間予測符号化画像Ｓ１が用いられる。本要件（２）は、復号化時に、後述するように、ＧＯＰの各フレーム処理としてフレーム内符号化画像Ｉ１の復号化を繰り返すことの必要条件となる。なお、本構成要件（２）との関係でいえば、フレーム内符号化画像Ｉ１を隠しフレームにすることは必須ではなく、表示用フレームとしてもよい。
【００２９】
（３）フレーム間予測符号化画像と、これらの参照画像は、同一のＧＯＰに属すること
同図の例において、フレーム間予測符号化画像Ｓ１〜Ｓ５と、これらの参照画像であるフレーム内符号化画像Ｉ１は、同一のＧＯＰに属する。本要件（３）により、それぞれのＧＯＰの独立性・編集性が担保される。
【００３０】
なお、同図の例では、ＧＯＰの先頭フレームｆ１をフレーム内符号化画像Ｉ１（参照画像）としているが、これ以外の任意のフレームｆ２〜ｆ５をフレーム内符号化画像化してもよい（ＭＰＥＧのように、ＧＯＰの先頭フレームをＩピクチャにすべきといった制限は存在しない）。特に、参照画像を隠しフレームとする場合、参照画像は元画像（フレームｆ１〜ｆ５）そのものである必要はなく、例えば、複数の元画像に基づき参照画像を生成するといった如く、元画像とは異なる参照画像を用いても構わない。また、あるＧＯＰにおけるフレームの時系列な並びにおいて、フレーム間予測符号化画像と、参照画像であるフレーム内符号化画像との前後関係は問わない。したがって、フレーム間予測画像は、前方参照および後方参照のどちらであっても構わない。この点が、一般にＰピクチャ（Predictive Picture）と呼ばれるフレーム間予測符号化画像とは異なるので、本明細書では、この特徴的なフレーム間予測符号化画像のことを適宜「Ｓピクチャ」（Seek-able Picture）と略称する。さらに、この圧縮フォーマットにおいて、一般にＢフレーム（Bidirectional Picture）と呼ばれる双方向予測符号化画像は存在しない。
【００３１】
［動画符号化手順］
つぎに、上述したようなフォーマットを有する圧縮動画データの生成手順について概略的に説明する。まず、処理対象となる原動画データ（ストリーム）にＧＯＰが設定される。例えば、ストリームを時系列的に分割することによって、ストリーム中に複数のＧＯＰを設定してもよいし、ストリーム全体を単一のＧＯＰとしてもよい。つぎに、それぞれのＧＯＰに関して、ＧＯＰ内の時系列的に並んだ一連のフレームの中から、所定の選択規則にしたがって、Ｉピクチャ化すべき単一フレームｆ１が選択される。この選択規則はどのようなものであってもよく、例えば、同図に示したようにＧＯＰの先頭フレームｆ１を選択してもよいし、フレーム間予測誤差の平準化の観点から略中央のフレームｆ３を選択してもよい。また、このような固定的な選択手法に代えて、例えば、ＧＯＰ内の画像の特性を考慮して、Ｉピクチャ化すべきフレームを動的に設定してもよいし、上述したようにフレームｆ１〜ｆ５とは異なる参照画像を生成することも可能である。そして、Ｉピクチャ化すべきフレームｆ１に関して、既知のフレーム内符号化方法（その具体的な手法は問わない）を適用し、ブロック単位で符号化することによって、フレーム内符号化画像Ｉ１、すなわち、Ｉピクチャの符号化データが生成される。
【００３２】
また、それぞれのＧＯＰに関して、ＧＯＰ内の時系列的に並んだ一連のフレームの中から、Ｓピクチャ化すべきフレームが特定される。Ｓピクチャ化すべきフレームは、少なくとも、Ｉピクチャ化される単一フレームを除いた複数フレームであるが、これにＩピクチャ化される単一フレーム自体を含めてもよい。ＧＯＰの全フレームをＳピクチャ化する場合はもとより、単一フレーム以外をＳピクチャ化する場合であっても、上述したＧＯＰの構成要件（１）は満たされるものとする。最初のＧＯＰを例に挙げると、先頭フレームｆ１を除いたフレームｆ２〜ｆ５のみをＳピクチャ化してもよいし、図１の例に示したように、先頭フレームｆ１を含めた全フレームｆ１〜ｆ５をＳピクチャ化してもよい。そして、Ｓピクチャ化すべき各フレームに関して、既知のフレーム内符号化方法および既知のフレーム間予測符号化方法（これらの具体的な手法問わない）のいずれかを選択的に適用し、ブロック単位で符号化することによって、フレーム間予測符号化画像、すなわち、Ｓピクチャの符号化データが生成される。周知のように、この符号化データは、符号化処理の最小単位となるブロック（画素ブロック）の動きベクトルと、Ｉピクチャの対応ブロック内における画像値との差分を表す差分情報とを含む。ＧＯＰの符号化データは、このようなＩピクチャおよび複数のＳピクチャによって構成される。また、この符号化データには、ＩピクチャＩ１が隠しフレームであることを特定するための情報が付加されており、具体的には、隠しフレームであるか否かを示すフラグがフレーム単位で付与されている。
【００３３】
［動画復号化装置］
図２は、動画復号化装置の一例としてのグラフィックＬＳＩのブロック構成図である。このグラフィックＬＳＩ１は、ＣＰＵやＲＯＭといった外部装置とのインターフェース２，３と、データ転送回路４と、動画復号化回路５と、メモリ６，７と、描画回路８と、表示回路９とを主体に構成されており、これらは内部バスを介して接続されている。ＣＰＵによって発行された実行情報（パラメータやコマンド等）は、ＣＰＵ Ｉ／Ｆ２を介してグラフィックＬＳＩ１内に取り込まれ、内部レジスタ（図示せず）に格納される。そして、このレジスタに格納された実行情報に基づいて、データ転送回路４や描画回路８等の制御が行われる。また、外付けのＲＯＭより読み出された圧縮画像データは、ＲＯＭ Ｉ／Ｆ３を介してグラフィックＬＳＩ１内に入力データとして取り込まれ、適宜復号化された後に、ワークメモリ６に一旦格納される。入力データが可逆圧縮データ（キャラクタ等の静止画）の場合、入力データは、ＲＯＭ Ｉ／Ｆ３によってデータ転送回路４に転送された後、データ転送回路４による復号化処理を経て、ワークメモリ６に転送される。これに対して、入力データが非可逆圧縮データ（動画）の場合、入力データは、ＲＯＭ Ｉ／Ｆ３によって動画復号化回路５に転送され、動画復号化回路５による復号化処理を経て、ワークメモリ６に転送される。描画回路８は、ワークメモリ６に格納されたデータを読み出し、レジスタより読み出された実行情報に応じた描画処理を行った上で、処理後のデータをフレームメモリ７に書き込む。表示回路９は、外部の表示装置であるＬＣＤの表示走査と同期して、フレームメモリ７に格納されたデータを読み出し、これをＬＣＤに出力する。
【００３４】
図３は、動画復号化回路５のブロック構成図である。この動画復号化回路５は、一対のデコーダ５ａ，５ｂと、調停部５ｃとを有する。第１のデコーダ５ａは、処理対象となる圧縮動画データの一部であるＩピクチャの符号化データに基づいて、Ｉピクチャの復号化データをブロック単位で順次生成する。生成されたＩピクチャの復号化データは、ワークメモリ６に順次格納される。一方、第２のデコーダ５ｂは、ワークメモリ６より読み出されたＩピクチャの復号化データと、圧縮動画データの一部であるＳピクチャの符号化データとに基づいて、Ｓピクチャの復号化データをブロック単位で順次生成する。最終的な復号化出力となるＳピクチャの復号化データは、ワークメモリ６に順次格納される。
【００３５】
本実施形態では、ＧＯＰにおける各フレーム処理において、第１のデコーダ５ａおよび第２のデコーダ５ｂを互いに並列して動作させる。その際、動きベクトルの探索範囲との関係上、第１のデコーダ５ａの処理を第２のデコーダ５ｂの処理よりも先行させる必要がある。そこで、調停部５ｃは、第１のデコーダ５ａの処理進捗、換言すれば、Ｉピクチャの復号化データの生成進捗を管理する。この点について説明すると、第１のデコーダ５ａは、カウンタを内蔵しており、自己が処理するブロックの推移に伴い、カウント値を順次カウントアップする。画面サイズやブロックサイズ等は既知なので、処理済のブロック番号を示すカウント値によって、画面上の処理済領域が一義的に特定される。調停部５ｃは、このカウント値をモニタリングすることによって、第１のデコーダ５ａの処理進捗（どのブロックまで処理が完了したのか）を把握する。そして、調停部５ｃは、Ｓピクチャ内の処理対象となるブロックに関して、このブロックに対応する動きベクトル探索範囲の復号化（この復号化は第１のデコーダ５ａによって行われる）が終了していることを条件として、このブロックの復号化の開始を第２のデコーダ５ｂに指示する。
【００３６】
図４は、図１に示したフレームｆ１〜ｆ５によって構成された最初のＧＯＰに関する復号化処理のタイミングチャートである。以下、図５から図９を参照しながら、このＧＯＰに関する一連のフレーム処理について詳述する。一例として、ブロックのサイズを８×８画素、動きベクトル探索範囲のサイズを２４×２４画素（３×３ブロック）とする。以下、Ｉピクチャの処理単位となるブロックをＩブロックＩｂといい、Ｓピクチャの処理単位となるブロックをＳブロックＳｂという。また、これらの表記Ｉｂ，Ｓｂに付された添字は、画面上におけるブロックの位置を示す。一方、図５に示すように、フレーム内における各ブロックの処理は、ＬＣＤ等の線順次走査方向と同様に、左から右に向かう水平ラインを上から下に向かう順序で行われるものとする。さらに、ワークメモリ６には、本実施形態に係る復号化処理の作業用領域として、第１のワーク領域と、第２のワーク領域とが予め確保されている。第１のワーク領域は、少なくとも１フレーム分の画像データを保持可能なサイズを有する。この第１のワーク領域には、最終的には、Ｓピクチャの復号化データが格納されるが、その過程において、Ｉピクチャの復号化データが一時的に格納される。また、第２のワーク領域は、少なくとも（２水平ライン＋２）ブロック分の画像データを保持可能なサイズを有する。この第２のワーク領域には、第２のデコーダ５ｂによって生成され、かつ、第１のワーク領域に格納する前のＳピクチャの復号化データが一時的に格納される。
【００３７】
１フレームの処理が行われる最初の期間ｔ0〜ｔ3では、ＧＯＰの先頭フレームｆ１の復号化が行われる。まず、フレーム開始タイミングｔ0において、第１のデコーダ５ａは、ＩピクチャＩ１の復号化を開始する。図５に示すように、画面左上に位置するＩブロックＩｂ11を処理対象として、Ｉピクチャ符号化データに基づいてＩピクチャ復号化データが生成される。生成されたＩブロックＩｂ11の復号化データは、第１のワーク領域内の所定の格納先に格納される。この格納先は、ＩブロックＩｂ11と位置的に対応付けて予め設定されている。以後、処理順序に応じた処理対象の移動に伴い、Ｉピクチャ復号化データの生成と、第１のワーク領域への格納とが繰り返される。この段階では、Ｓピクチャの復号化を開始するのに必要な動きベクトル探索範囲のデータ（Ｉピクチャの復号データの一部）が未だ生成されていないので、第２のデコーダ５ｂは待機状態になっている。
【００３８】
その後、開始指示タイミングｔ1になると、調停部５ｃは、画面左上に位置するＳブロックＳｂ11に関する処理の開始を第２のデコーダ５ｂに指示する。この開始指示は、図６に示すように、最初のＳブロックＳｂ11に関して、これに対応する動きベクトル探索範囲ＳＲ11の復号化が終了していることを条件に行われる。この探索範囲ＳＲ11は、４つのＩブロック（Ｉｂ11，Ｉｂ21，Ｉｂ12，Ｉｂ22）によって構成されている。したがって、探索範囲ＳＲ11中でもっとも遅く処理されるＩブロックＩｂ22の処理が少なくとも終了していることを条件として、換言すれば、第１のデコーダ５ａの処理が少なくとも（１水平ライン＋２）ブロックだけ先行したことを条件として、第２のデコーダ５ｂの処理が開始される。
【００３９】
ＳブロックＳｂ11がフレーム内符号化方法によって符号化されたイントラブロックの場合、探索範囲ＳＲ11内のデータを用いることなく、Ｉピクチャ符号化データのみに基づいて、このＳブロックＳｂ11が復号化される。これに対して、ＳブロックＳｂ11がフレーム間予測符号化方法によって符号化されたインターブロックの場合、探索範囲ＳＲ11内の、Ｓピクチャ符号化データの一部である動きベクトルによって指定された領域のデータが第１のワーク領域より読み出される。そして、この読み出された復号化データと、Ｓピクチャ符号化データの一部である差分情報とに基づいて、ＳブロックＳｂ１１が復号化される。
【００４０】
ＳブロックＳｂ11に復号化によって生成された復号化データは、最終的には、第１のワーク領域内におけるＩブロックＩｂ11の復号化データの格納先に格納される。しかしながら、現時点では、この格納先への格納は禁止されている。なぜなら、ＩブロックＩｂ11の復号化データは、後の処理対象の復号化の際にも使用され得るからである。それゆえに、ＩブロックＩｂ11の復号化データが不要になるまでの間、ＳブロックＳｂ11の復号化データは、第２のワーク領域に一時的に格納される。以後、調停部５ｃによる制御の下、第１のデコーダ５ａと並行して動作する第２のデコーダ５ｂは、処理順序に応じた処理対象の移動に伴い、Ｓピクチャ復号化データの生成と、第２のワーク領域への格納とを繰り返す。
【００４１】
図７は、タイミングｔ2におけるワークメモリ６の使用状態を示す図である。Ｓピクチャの復号化はＳブロックＳｂ12まで終了している。また、Ｉピクチャの復号化は、これよりも（１水平ライン＋２）ブロック分だけ先行した、ＩブロックＩｂ33まで終了している。このような状態、すなわち、動きベクトル探索範囲ＳＲ22のデータが生成済であることを条件として、第２のデコーダ５ｂは、ＳブロックＳｂ22の復号化を開始する。ここで留意すべきは、探索範囲ＳＲ22内の左上に位置するＩブロックＩｂ11の復号化データを必要とするのは、ＳブロックＳｂ22が最後であり、これ以降のＳブロックＳｂ32，Ｓｂ43，・・・では不要になるという点である。したがって、図８に示すように、ＳブロックＳｂ22の処理が終了したタイミングｔ2'で、第２のワーク領域に格納されているＳブロックＳｂ11の復号化データが読み出されるとともに、第１のワーク領域に格納されているＩブロックＩｂ11の復号化データ（不要データ）がこれに置き換えられる。また、図９に示すように、この置き換えが終了したタイミングｔ2''で、第２のワーク領域内のＳブロックＳｂ11の復号化データが、第２のデコーダ５ｂから出力されたＳブロックＳｂ22の復号化データに置き換えられる。それとともに、第２のデコーダ５ｂと並列動作している第１のデコーダ５ａから出力されたＩブロックＩｂ34の復号化データが、第１のワーク領域に新たに格納される。以後、調停部５ｃは、処理順序に応じた処理対象の移動に伴い、以上のような不要データの置き換えを繰り返す。
【００４２】
先行する第１のデコーダ５ａの一連の処理は、画面右下のＩブロックＩｂの復号化を以て終了し、それ以降は、後追いの第２のデコーダ５ｂによる単独処理となる。そして、第２のデコーダ５ｂの一連の処理は、画面右下のＳブロックＳｂの復号化の終了を以て終了する。上述した調停部５ｃによるデータの置き換えにより、最終的に、第１のワーク領域には、１フレーム分のＳピクチャＳ１の復号化データが格納される。そして、このＳピクチャの復号化データは、フレーム終了タイミングｔ3に至る前に読み出され、後段の描画回路８に出力される。
【００４３】
なお、ＳピクチャＳ１の復号化の過程で生成されるＩピクチャＩ１の復号化データは、第１のワーク領域に随時格納されるものの、最終的には、調停部５ｃによるデータの置き換えによって消去される。その結果、最初のフレームｆ１の表示フレームとして、ＩピクチャＩ１（隠しフレーム）は使用されず、これに代わって、ＳピクチャＳ１が使用されることになる。表示フレームとしてＩピクチャＩ１が使用されない点については、２番目以降のフレーム処理においても同様である。
【００４４】
２番目のフレーム処理では、上述した先頭フレーム処理と同様の手順で、ＩピクチャＩ１の復号化データの生成と、ＳピクチャＳ２の復号化データの生成とが並行して行われ、かつ、前者のデータ生成の方が後者のデータ生成よりも先行して行われる。これにより、先頭フレーム処理で第１のワーク領域に格納されたＳピクチャＳ１の復号化データは、順次、ＩピクチャＩ１の復号化データに置き換えられた後、最終的には、本フレームの最終的な出力であるＳピクチャＳ２の復号化データに置き換えられる。以下同様に、３番目のフレーム処理では、ＩピクチャＩ１およびＳピクチャＳ３、４番目のフレーム処理では、ＩピクチャＩ１およびＳピクチャＳ４、最後のフレーム処理では、ＩピクチャＩ１およびＳピクチャＳ５の復号化がそれぞれ並行に実行される。
【００４５】
このように、本実施形態では、フレーム間予測符号化画像を復号化する際に、第１のデコーダ５ａおよび第２のデコーダ５ｂを並行して動作させ、かつ、第２のデコーダ５ｂによるフレーム間予測符号化画像の復号化よりも第１のデコーダ５ａによるフレーム内符号化画像の復号化の方を先行させる。このような並列処理を行うことで、フレーム内符号化画像全体の復号化の終了を待ってフレーム間予測符号化画像の復号化を開始する逐次処理と比較して、処理速度の向上を図ることができる。なお、この効果のみに着目した場合、フレーム間予測符号化画像は、上述したＳピクチャに限定されるものではなく、通常のＰピクチャであっても構わない。
【００４６】
また、Ｉピクチャを共通の参照画像とした複数の連続したＳピクチャを主体にＧＯＰを構成した場合、ＧＯＰの各フレーム処理において、ワークメモリ６を時間軸上で効率的に活用できる。Ｓピクチャの処理に必要なＩピクチャの復号化データは、各フレーム処理でその都度新たに生成される。これにより、Ｉピクチャの復号化データを複数フレームに亘ってワークメモリ６に保持しておく必要がなくなり、復号化データの保持に関する時間軸上での制約が解消される。
【００４７】
その際、ワークメモリ６におけるＩピクチャの格納先（第１のワーク領域）をＳピクチャの格納先として共用すれば、復号化処理に必要なワーク領域は１フレーム＋α（αは第２のワーク領域分）で済む。これにより、ワークメモリ６を時間軸上で効率的に活用しつつ、ワークメモリ６の省容量化をも図ることができる。ただし、本発明は、第１のワーク領域の共用化を必須の構成要件とするものではなく、Ｉ，Ｓピクチャそれぞれの格納先を完全に分離した形態であっても適用可能である。
【００４８】
また、Ｉピクチャを共通の参照画像とした複数の連続したＳピクチャを主体にＧＯＰを構成し、ＧＯＰの各フレーム処理において、第１および第２のデコーダ５ａ，５ｂによる並列処理を行う場合には、逐次処理と比較して、ＧＯＰ全体における処理速度の向上を図ることができる。
【００４９】
さらに、ＧＯＰの各フレーム処理において、Ｓピクチャの参照画像がＩピクチャに共通化されているため、複数フレームに亘って参照画像を順番にトレースしていく必要がない。したがって、ＧＯＰ内におけるＳピクチャのフレーム順序に関わりなく、Ｓピクチャの処理は、参照画像の復号化およびＳピクチャ自体の復号化という２つのステップ（これらのステップは並行して行われる）で済む。その結果、ＧＯＰ内におけるフレーム順序に起因したＳピクチャの復号化処理速度の変動を有効に抑制できる。
【００５０】
なお、本実施形態は、特に、復号化処理における演算量の増大よりもワーク領域の省容量化を重視すべきシステム、例えば、容量的な制限を伴う内蔵メモリをワーク領域として使用するグラフィックＬＳＩ等への適用が有効である。なお、この点は、後述する各実施形態についても同様である。
【００５１】
（第２の実施形態）
上述した第１の実施形態では、現在のフレームにおけるＩピクチャＩ１の復号化の終了と、次のフレームにおけるＩピクチャＩ１の復号化の開始との間に、第１のデコーダ５ａの待機状態が生じていた。これに対して、本実施形態の特徴は、第１のデコーダ５ａを待機させることなく、現在のフレームとは別のフレームの処理を開始・実行させる点である。図１０は、第２の実施形態に係る復号化処理のタイミングチャートである。第１のデコーダ５ａは、ＧＯＰの各フレーム処理において、第２のデコーダ５ｂによる現在のフレームの処理が終了するよりも前に、次のフレームの処理を開始する。なお、このような同じストリーム内における次フレームの処理に代えて、この期間内で、異なるストリームのフレームの処理をパイプライン的に行ってもよい。
【００５２】
本実施形態によれば、上述した第１の実施形態と比較して、復号化時における全体的な処理効率の向上を図ることができる。
【００５３】
（第３の実施形態）
上述した第１の実施形態では、図１に示したように、ＧＯＰ内の全フレームをＳピクチャとし、これらの共通の参照画像となるＩピクチャを隠しフレームとした。これに対して、本実施形態の特徴は、Ｉピクチャを隠しフレームとせず、表示フレームとして用いる点である。
【００５４】
図１１は、第３の実施形態に係る復号化処理の説明図である。最初のＧＯＰに関して、中間のフレームｆ３をＩピクチャＩ３として符号化する。これ以外のフレームｆ１，ｆ２，ｆ４，ｆ５については、ＩピクチャＩ３を共通の参照画像としたＳピクチャＳ１，Ｓ２，Ｓ４，Ｓ５として符号化する。この場合、フレームｆ１，ｆ２，ｆ４，ｆ５の復号化に関しては、上述した第１の実施形態と同様に、Ｉピクチャの復号化と、Ｓピクチャの復号化とが並行に行われる。
【００５５】
一方、フレームｆ３の復号化に関しては、Ｉピクチャの復号化のみが単独で行われる。この場合、復号化すべきＳピクチャが存在しないので、第１のワーク領域に格納されたＩピクチャＩ３の復号化データは、他のデータに置き換えられることなく保持され、所定のタイミングで後段の描画回路８に出力される。これにより、フレームｆ３の表示フレームとして、ＩピクチャＩ１が使用されることになる。
【００５６】
本実施形態によれば、隠しフレームを使用しない分だけ、上述した第１の実施形態と比較して、圧縮動画データ量を低減することができる。
【図面の簡単な説明】
【００５７】
【図１】第１の実施形態に係る圧縮動画データのフォーマットの説明図
【図２】グラフィックＬＳＩのブロック構成図
【図３】動画復号化回路のブロック構成図
【図４】復号化処理のタイミングチャート
【図５】タイミングｔ0直後におけるワークメモリの使用状態を示す図
【図６】タイミングｔ1におけるワークメモリの使用状態を示す図
【図７】タイミングｔ2におけるワークメモリの使用状態を示す図
【図８】タイミングｔ2'におけるワークメモリの使用状態を示す図
【図９】タイミングｔ2''におけるワークメモリの使用状態を示す図
【図１０】第２の実施形態に係る復号化処理のタイミングチャート
【図１１】第３の実施形態に係る復号化処理の説明図
【符号の説明】
【００５８】
１  グラフィックＬＳＩ
２  ＣＰＵ Ｉ／Ｆ
３  ＲＯＭ Ｉ／Ｆ
４  データ転送回路
５  動画復号化回路
６  ワークメモリ
７  フレームメモリ
８  描画回路
９  表示回路
５ａ  第１のデコーダ
５ｂ  第２のデコーダ
５ｃ  調停部
【図１】
2008136124.tif 000003
【図２】
2008136124.tif 000004
【図３】
2008136124.tif 000005
【図４】
2008136124.tif 000006
【図５】
2008136124.tif 000007
【図６】
2008136124.tif 000008
【図７】
2008136124.tif 000009
【図８】
2008136124.tif 000010
【図９】
2008136124.tif 000011
【図１０】
2008136124.tif 000012
【図１１】
2008136124.tif 000013