(57)【要約】【課題】  ランダムアクセスが指示された際に、復号開始ポイントがＩＤＲピクチャではなくとも、適切なＤＰＢ状態を生成し、早期に違和感のない自然な画像を再生することを目的とする。【解決手段】  本発明の符号化データ再生装置１００は、任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部１５０と、ＩＤＲピクチャからアクセスポイントまでのヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、アクセスポイント以降、導出されたＤＰＢ状態を開始状態としてヘッダ情報に従ってＤＰＢ制御を実行するＤＰＢ管理部１６０と、アクセスポイント以降、ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部１６６と、生成された復号データを再生する画像再生部１４０と、を備えることを特徴とする。【選択図】    図１
2009296078.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置であって、
任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部と、
前記ＩＤＲピクチャからアクセスポイントまでの前記ヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、該アクセスポイント以降、該導出されたＤＰＢ状態を開始状態として前記ヘッダ情報に従ってＤＰＢ制御を実行するＤＰＢ管理部と、
前記アクセスポイント以降、前記ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部と、
前記生成された復号データを再生する画像再生部と、
を備えることを特徴とする符号化データ再生装置。
【請求項２】
前記画像制御部は、前記アクセスポイントにおけるＤＰＢ状態に含まれる参照ピクチャが参照される場合、該参照ピクチャを、アクセスポイントより後の任意のピクチャに置換して参照させることを特徴とする請求項１に記載の符号化データ再生装置。
【請求項３】
前記画像制御部は、前記アクセスポイントにおけるＤＰＢ状態に含まれる参照ピクチャが参照される場合、該参照ピクチャを所定のピクチャに置換して参照させることを特徴とする請求項１に記載の符号化データ再生装置。
【請求項４】
動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置であって、
任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部と、
前記ＩＤＲピクチャから前記抽出されたヘッダ情報によるＤＰＢ制御を通じてＤＰＢ状態を更新するＤＰＢ管理部と、
前記アクセスポイント以降、前記ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部と、
前記生成された復号データを再生する画像再生部と、
を備えることを特徴とする符号化データ再生装置。
【請求項５】
前記ヘッダ情報抽出部は、前記ＩＤＲピクチャからアクセスポイントまでの間、非参照ピクチャのヘッダ情報を前記ＤＰＢ管理部に伝達しないことを特徴とする請求項１から４のいずれか１項に記載の符号化データ再生装置。
【請求項６】
動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生方法であって、
任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出し、
前記ＩＤＲピクチャからアクセスポイントまでの前記ヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、
前記アクセスポイント以降、前記導出されたＤＰＢ状態を開始状態として前記ヘッダ情報に従ってＤＰＢ制御を実行し、該ＤＰＢ状態に従って、ピクチャ単位の復号データを生成し、
前記生成された復号データを再生することを特徴とする符号化データ再生方法。
【請求項７】
コンピュータを、
動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置として機能させる符号化データ再生プログラムであって、
前記コンピュータを、
任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部と、
前記ＩＤＲピクチャからアクセスポイントまでの前記ヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、該アクセスポイント以降、該導出されたＤＰＢ状態を開始状態として前記ヘッダ情報に従ってＤＰＢ制御を実行するＤＰＢ管理部と、
前記アクセスポイント以降、前記ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部と、
前記生成された復号データを再生する画像再生部と、
して機能させることを特徴とする符号化データ再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラムに関する。
【背景技術】
【０００２】
Ｈ.２６４／ＭＰＥＧ−４  ＡＶＣ（以下、「Ｈ．２６４」と称す。）では、参照ピクチャを任意に選択できるため、直前のＩピクチャより前のピクチャを参照することも可能となっている。従って、Ｈ．２６４では、そのピクチャより前のピクチャを利用しなくともそれ以降のピクチャを正しく復号できるように、ＤＰＢ（Decoded Picture Buffer）状態やＦＮ（Frame Number）、ＰＯＣ（Picture Order Count）等、符号化データを復号するために必要な状態をリセットするＩＤＲ（Instantaneous Decoding Refresh）ピクチャが準備される。ランダムアクセスが指示されたときには、通常ＩＤＲピクチャから再生する。
【０００３】
ＭＰＥＧ２における非クローズドＧＯＰや、Ｈ．２６４では、符号化順で直前のＩピクチャより前のピクチャを参照することが可能となっているため、そのＩピクチャをアクセスポイントとするランダムアクセスが指示された場合であっても、ＤＰＢに参照すべき参照ピクチャが存在せず、そのＩピクチャから復号を開始することはできないといった問題が生じていた。
【０００４】
そこで、ＭＰＥＧ２において、最初のＩピクチャが復号されるまでブルーバックを表示し、乱れた画像を抑制する技術が開示されている（例えば、特許文献１）。また、ランダムアクセスが指示された場合に、次のＩＤＲピクチャが検出されるまで、参照ピクチャリストの画像を復号済みの画像に置き換え、任意のアクセスポイントから強制的に再生を開始する技術も公開されている（例えば、特許文献２）。
【特許文献１】特開平８−２１４２６５号公報
【特許文献２】特開２００７−１８４７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、Ｈ．２６４符号化方式では、参照ピクチャを任意に選択でき、また長期間参照ピクチャとして保持できるＬＴ（Long Term）ピクチャを用いた場合などにおいては、ＩＤＲピクチャが復号されるまで長期間に亘って復号開始ポイントより前のピクチャが参照されることがあり、ＭＰＥＧ２の符号化に比べて画像が乱れる期間が長いという問題があった。
【０００６】
さらに、ＩＤＲピクチャではないＩピクチャから復号を開始した場合、本来のＤＰＢの状態とＩピクチャから唐突に復号を開始した場合のＤＰＢの状態に矛盾が生じるため、復号開始ポイント以降のピクチャにおいて、ＤＰＢ内のピクチャを任意に操作するメモリ・マネジメント・コントロール・オペレーション（ＭＭＣＯ：Memory Management Control Operation）コマンド（以下、単にＭＭＣＯコマンドという。）や参照ピクチャのリオーダリング情報が付加されていた場合に、正常な処理が遂行できないという問題も生じていた。
【０００７】
本発明は、このような課題に鑑み、ランダムアクセスが指示された際に、復号開始ポイントがＩＤＲピクチャではなくとも、適切なＤＰＢ状態を生成し、早期に違和感のない自然な画像を再生することが可能な符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の代表的な構成は、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置であって、任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部と、ＩＤＲピクチャからアクセスポイントまでのヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、アクセスポイント以降、導出されたＤＰＢ状態を開始状態としてヘッダ情報に従ってＤＰＢ制御を実行するＤＰＢ管理部と、アクセスポイント以降、ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部と、生成された復号データを再生する画像再生部と、を備えることを特徴とする。
【０００９】
ここでは、アクセスポイントにおける本来のＤＰＢ状態を、ヘッダ情報中の参照情報（ピクチャタイプ、期間識別子、表示順、符号化順、参照要否）を用いた簡易ＤＰＢ制御（参照ピクチャの配置のみに特化したＤＰＢ制御）によって導出している。従って、ＩＤＲピクチャ以外の任意のＩピクチャがアクセスポイントとして指定された場合であっても、適切なＤＰＢ状態を生成することができ、復号画像の品質劣化を防止し、違和感のない自然な画像を再生することが可能となる。また、ＤＰＢ制御で本来実行される出力制御や実際の復号処理（逆ＶＬＣ、逆量子化、逆ＤＣＴ、動き補償、画像制御）を省略し、参照情報による簡易ＤＰＢ制御のみを実行することで、迅速にＤＰＢ状態を導出することができ、復号開始時を遅延させることなく早期の画像再生が可能となる。
【００１０】
画像制御部は、アクセスポイントにおけるＤＰＢ状態に含まれる参照ピクチャが参照される場合、参照ピクチャを、アクセスポイントより後の任意のピクチャに置換して参照させてもよい。また、参照ピクチャを所定のピクチャに置換して参照させてもよい。
【００１１】
本発明では、実際の復号を伴わないのでＤＰＢ状態で表される参照ピクチャの配置は適切ではあるが、そのピクチャを復号した画像情報がない。従って、画像制御部は、アクセスポイントにおけるＤＰＢ状態に含まれる参照ピクチャが参照されるか否かを判断し、参照する場合には近接する他のピクチャまたは予め準備された所定のピクチャの復号データを参照させて予測画像を生成する。かかる構成により、ある程度の画質劣化は生じるものの復号画像の乱れなどを防ぐことが可能となる。
【００１２】
本発明の代表的な他の構成は、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置であって、任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部と、ＩＤＲピクチャから抽出されたヘッダ情報によるＤＰＢ制御を通じてＤＰＢ状態を更新するＤＰＢ管理部と、アクセスポイント以降、ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部と、生成された復号データを再生する画像再生部と、を備えることを特徴とする。
【００１３】
上述した簡易ＤＰＢ制御と相異し、本発明では、任意のアクセスポイントの直前に位置するＩＤＲピクチャから本来のＤＰＢ制御を行うことで、出力制御も含む完全なＤＰＢ状態を導出することができる。ここでは、既存のＤＰＢ制御構成をそのまま利用することが可能なので、構成やプログラムの大きな変更を伴うことなく確実に効果を得ることができる。
【００１４】
ヘッダ情報抽出部は、ＩＤＲピクチャからアクセスポイントまでの間、非参照ピクチャのヘッダ情報をＤＰＢ管理部に伝達しなくてもよい。
【００１５】
上述した発明では、アクセスポイントまでの復号画像の実際の出力制御を伴わないので、非参照ピクチャを制御する必要がない。従って、非参照ピクチャを簡易ＤＰＢ制御またはＤＰＢ制御に含まないことで効率的かつ迅速に制御結果を導出することができる。
【００１６】
本発明の代表的な他の構成は、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生方法であって、任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出し、ＩＤＲピクチャからアクセスポイントまでのヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、アクセスポイント以降、導出されたＤＰＢ状態を開始状態としてヘッダ情報に従ってＤＰＢ制御を実行し、ＤＰＢ状態に従って、ピクチャ単位の復号データを生成し、生成された復号データを再生することを特徴とする。
【００１７】
本発明の代表的な他の構成は、コンピュータを、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置として機能させる符号化データ再生プログラムであって、コンピュータを、任意のアクセスポイントの直前に位置するＩＤＲピクチャからのヘッダ情報を順次抽出するヘッダ情報抽出部と、ＩＤＲピクチャからアクセスポイントまでのヘッダ情報中の参照情報による簡易ＤＰＢ制御を通じてアクセスポイントにおけるＤＰＢ状態を導出し、アクセスポイント以降、導出されたＤＰＢ状態を開始状態としてヘッダ情報に従ってＤＰＢ制御を実行するＤＰＢ管理部と、アクセスポイント以降、ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する画像制御部と、生成された復号データを再生する画像再生部と、して機能させることを特徴とする。
【００１８】
上述した符号化データ再生装置における技術的思想に対応する構成要素やその説明は、当該符号化データ再生方法、符号化データ再生プログラムにも適用可能である。
【発明の効果】
【００１９】
以上説明したように、本発明によれば、トラックサーチ、チャプタサーチまたはタイムコードサーチなどのランダムアクセスが指示された際、復号開始ポイントがＩＤＲピクチャではなくとも、適切なＤＰＢ状態を生成し、早期に違和感のない自然な画像を再生することが可能となる。従って、アクセスポイント以降の符号化データにＭＭＣＯコマンドやリオーダリング情報が付加されていたとしても、それらの処理に必要となるＤＰＢ状態を保持しているので、正常に処理を行うことができ、ＤＰＢ状態の不整合による画像の乱れを防ぐことができる。
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２１】
本実施形態では、アクセスポイントがＩＤＲピクチャではない場合のＤＰＢ状態の不整合から生じる問題を、直前のＩＤＲピクチャからの簡易ＤＰＢ制御を通じて本来のＤＰＢ状態を形成することで解決している。こうして、アクセスポイントから違和感のない自然な画像を再生することができる。ここでは、まず、符号化データ再生装置の全体構成を説明する。
【００２２】
図１は、本実施形態における符号化データ再生装置１００の構成を示すブロック図である。符号化データ再生装置１００は、ディスクドライブ１１０と、ストリームバッファ１２０と、デコーダ１３０と、画像再生部１４０とを含んで構成される。
【００２３】
ディスクドライブ１１０は、動画像信号がＩＴＵ−Ｔ  Ｈ．２６４符号化方式を用いてピクチャ単位で符号化（エンコード）された符号化データを記憶媒体１０２から読み出す。ここでは記憶媒体１０２としてディスク形状の媒体を想定しているがスタティックメモリやＨＤＤ等様々な媒体を適用することができる。ストリームバッファ１２０は、ディスクドライブ１１０により読み出された符号化データを一時的に保持し、デコーダ１３０からの指令に従って随時符号化データを出力する。デコーダ１３０は、ストリームバッファ１２０からの符号化データを復号（デコード）し、復号データを生成する。画像再生部１４０は、デコーダ１３０が生成した復号データを再生しその再生信号をモニタ１０４に送信する。
【００２４】
上記デコーダ１３０は、ヘッダ情報抽出部１５０と、逆ＶＬＣ部１５２と、逆量子化部１５４と、逆ＤＣＴ部１５６と、加算器１５８と、ＤＰＢ管理部１６０と、ＤＰＢ状態保持部１６２と、参照ピクチャリスト作成部１６４と、画像制御部１６６と、フレームメモリ１６８と、動き補償部１７０とを含んで構成される。
【００２５】
ヘッダ情報抽出部１５０は、ストリームバッファ１２０からの符号化データにおける各ピクチャのヘッダ情報を順次抽出し、逆ＶＬＣ部１５２、ＤＰＢ管理部１６０、および参照ピクチャリスト作成部１６４に供給する。本実施形態においては、ヘッダ情報を抽出する位置は任意のアクセスポイントの直前に位置するＩＤＲピクチャとなる。ただし、アクセスポイントがＩＤＲピクチャであった場合、後述する簡易ＤＰＢ制御を行わず、当該ＩＤＲピクチャから本来のＤＰＢ制御を実行してもよい。
【００２６】
また、ヘッダ情報抽出部１５０は、直前のＩＤＲピクチャからアクセスポイントまで、後述する逆ＶＬＣ部１５２、逆量子化部１５４、逆ＤＣＴ部１５６、加算器１５８、画像制御部１６６、フレームメモリ１６８に復号フラグデータを出力し復号処理が不要なことを示す。そして、アクセスポイントからは復号処理が必要となったことを示す復号フラグデータを出力し、復号処理を開始すると共に逆ＶＬＣ部１５２にストリームを出力する。
【００２７】
さらに、ヘッダ情報抽出部１５０は、ＩＤＲピクチャからアクセスポイントまでの間、ピクチャが非参照ピクチャであればそのヘッダ情報をＤＰＢ管理部１６０に伝達しない。本実施形態の簡易ＤＰＢ制御では、アクセスポイントまでの復号画像の実際の出力制御を伴わないので、非参照ピクチャを制御する必要がない。従って、非参照ピクチャを簡易ＤＰＢ制御またはＤＰＢ制御に含まないことで効率的かつ迅速に制御結果を導出することができる。
【００２８】
逆ＶＬＣ部１５２は、ヘッダ情報抽出部１５０から供給されるヘッダ情報を用いて、ヘッダ情報に続く符号化データに逆ＶＬＣ処理を施し、逆ＶＬＣ処理されたデータと量子化ステップサイズを逆量子化部１５４に供給すると共に、動きベクトル情報を後述する動き補償部１７０に出力する。逆量子化部１５４は、逆ＶＬＣ部１５２に指示された量子化ステップサイズに従って入力されたデータを逆量子化し逆ＤＣＴ部１５６に出力する。逆ＤＣＴ部１５６は、入力されたデータに逆ＤＣＴ処理を施して加算器１５８に供給する。加算器１５８は、逆ＤＣＴ部１５６の出力と動き補償部１７０の出力とを加算して画像制御部１６６に出力する。
【００２９】
一方、ＤＰＢ管理部１６０は、ＤＰＢ制御を通じて、ＤＰＢ状態保持部１６２に保持されているＤＰＢ状態、例えば参照ピクチャの配置とそれに付随する各パラメータ（ピクチャタイプ、期間識別子、表示順、符号化順、参照要否、出力状態）を更新し、そのＤＰＢ状態を画像制御部１６６および参照ピクチャリスト作成部１６４に供給する。ここではＤＰＢ状態を保持するＤＰＢ状態保持部１６２と、ＤＰＢ状態に従って実際の復号データを格納するフレームメモリ１６８のＤＰＢとを別構成で示しているが、一括して制御することも可能である。
【００３０】
本実施形態において、ＤＰＢ管理部１６０は、ヘッダ情報抽出部１５０が抽出した、ＩＤＲピクチャからアクセスポイントまでのヘッダ情報の特に参照情報（ピクチャタイプ、期間識別子、表示順、符号化順、参照要否）による簡易ＤＰＢ制御を通じて、アクセスポイントにおけるＤＰＢ状態を導出し、アクセスポイント以降、導出されたＤＰＢ状態を開始状態として本来のＤＰＢ制御を実行する。ここで、簡易ＤＰＢ制御とは、参照ピクチャの配置のみに特化したＤＰＢ制御をいう。
【００３１】
従って、ＩＤＲピクチャ以外の任意のＩピクチャがアクセスポイントとして指定された場合であっても、適切なＤＰＢ状態を生成することができ、復号画像の品質劣化を防止し、違和感のない自然な画像を再生することが可能となる。また、ＤＰＢ制御で本来実行される出力制御や実際の復号処理（逆ＶＬＣ、逆量子化、逆ＤＣＴ、動き補償、画像制御）を省略し、参照情報による簡易ＤＰＢ制御のみを実行することで、迅速にＤＰＢ状態を導出することができ、復号開始時を遅延させることなく早期の画像再生が可能となる。
【００３２】
参照ピクチャリスト作成部１６４は、ヘッダ情報抽出部１５０で抽出されたヘッダ情報およびＤＰＢ管理部１６０からの指令を用いて参照ピクチャリストを作成し画像制御部１６６に供給する。かかる参照ピクチャリストには、動き補償部１７０がＤＰＢのどの位置の参照ピクチャを参照するかを特定できる記載、例えば、ＤＰＢの配置番号、フレームメモリ１６８のアドレス、ＦＮ（ＬＴＰＮ（LT Picture Number））等が記載されている。
【００３３】
画像制御部１６６は、ＤＰＢ状態保持部１６２に保持されているＤＰＢ状態に従って、復号された画像の出力やフレームメモリ１６８への保持を指示すると共に、参照ピクチャリスト作成部１６４から供給される参照ピクチャリストに従って、参照ピクチャの動き補償部への出力をフレームメモリ１６８に指示する。フレームメモリ１６８は、復号された画像（復号データ）を保持し、画像制御部１６６からの指示に従って保持した画像の出力または削除を行う。動き補償部１７０は、参照ピクチャリスト作成部１６４で作成された参照ピクチャリストに従い、フレームメモリ１６８から供給される参照ピクチャを取得して、動き補償処理を行い加算器１５８に出力する。
【００３４】
以下、本実施形態の理解を容易にするため、まず、アクセスポイント以降の通常のＤＰＢ制御を説明し、その後、本実施形態において特徴的なＤＰＢ状態の形成動作を説明する。
【００３５】
上述したようにＨ．２６４では、任意に離れたピクチャを参照することが可能なため、復号した画像をＤＰＢとしてのフレームメモリ１６８に保持させて管理を行う。このとき、ＤＰＢ管理部１６０は、その保持されるべき参照ピクチャの配置やそのパラメータをＤＰＢ状態としてＤＰＢ状態保持部１６２に保持させ、ヘッダ情報に応じて更新している。
【００３６】
図２は、Ｈ．２６４におけるＤＰＢ制御を説明するための説明図である。特に図２（ａ）は各ピクチャの表示順を、図２（ｂ）は復号順を示す。図２中および以後の図において「ＩＤＲ」はＩＤＲピクチャを、「Ｉ」はＩピクチャを、「Ｐ」はＰピクチャを、「Ｂ」はＢピクチャを示し、付随する数値は主として表示順（ＰＯＣ）を示し、矢印はそれぞれ参照関係を示している。
【００３７】
図２（ａ）のようなＩＤＲピクチャから再生開始されるデータストリームを想定した場合、復号開始時にＤＰＢ状態はリセットされる。Ｈ．２６４の下では、例えばＰピクチャＰ６は、直前のＰピクチャＰ３ではなく、更に時間的に離れたＩＤＲピクチャＩＤＲ０を参照することが可能である。ただし、このＩＤＲピクチャＩＤＲ０を跨いで前のピクチャを参照することはできない。また、Ｂピクチャに関しても、ＢピクチャＢ１のように時間的に離れたＰピクチャＰ６を参照したり、ＢピクチャＢ２のように時間的に後に位置するＰピクチャＰ３、Ｐ６を参照したり、ＢピクチャＢ５のようにＢピクチャＢ４を参照したりすることが可能である。
【００３８】
図２（ａ）に示したデータストリームを復号する場合、各ピクチャが復号時に参照するピクチャは先に復号されていなければならない。従って、図２（ｂ）に示すように、参照ピクチャを有さないＩＤＲピクチャＩＤＲ０を用いてＰピクチャＰ３、Ｐ６が復号され、そのＰピクチャＰ３、Ｐ６に基づいてＢピクチャＢ１、Ｂ２、Ｂ４、Ｂ５が復号される。ＰピクチャＰ９以降も同様の手順で復号が遂行される。
【００３９】
図３は、図２（ｂ）のデータストリームに対するＤＰＢ管理部１６０のＤＰＢ管理手順を説明する概念図である。ここでＤＰＢ管理部１６０は、ＤＰＢ状態、即ちＤＰＢに入るべき参照ピクチャの配置とそれに付随する各パラメータ（ピクチャタイプ、期間識別子、表示順、符号化順、参照要否、出力状態）を管理する。そして、各ピクチャを実際に復号した復号データはフレームメモリ１６８内のＤＰＢにおいて保持されている。
【００４０】
上述したように各ピクチャには、パラメータ（ピクチャタイプ、期間識別子、表示順、符号化順、参照要否、出力状態）が付されている。ここでピクチャタイプはＩピクチャ、Ｐピクチャ、Ｂピクチャの識別を、期間識別子は短期参照ピクチャ（ＳＴピクチャ）と後述する長期参照ピクチャ（ＬＴピクチャ）の識別子を、表示順はＰＯＣを、符号化順はＦＮを、参照要否はｕｓｅｄ（used for reference）またはｕｎｕｓｅｄ（unused for reference）により参照ピクチャとして利用されるかどうかを、出力状態はｎｅｅｄｅｄ（needed for output）またはｎｏｔ  ｎｅｅｄｅｄ（not needed to output）により出力待ちまたは出力済みのどちらの状態であるかを示している。ここでは期間識別子がＳＴの場合を説明する。
【００４１】
図３（ａ）では、ＩＤＲピクチャＩＤＲ０によりＤＰＢ状態がリセットされ、先頭のＩＤＲピクチャＩＤＲ０がカレントピクチャにセットされている。参照ピクチャは随時ＤＰＢ状態を形成する。復号すべきカレントピクチャがＰピクチャＰ６となった場合、図３（ｂ）に示すようにＤＰＢ状態の１番目と２番目のエリアにはＩＤＲピクチャＩＤＲ０とＰピクチャＰ３のヘッダ情報が保持され、３番目のエリアにはなんら保持されていない。ここでは、このようなＤＰＢ状態の各保持領域を通じて参照ピクチャのヘッダ情報が管理される。
【００４２】
図４は、図２（ｂ）のピクチャに付与されるＰＯＣとＦＮを説明する図である。ＦＮは前のピクチャが参照ピクチャであれば数値がインクリメントされ、例えばＰピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャという並びであると、ＦＮは、Ｎ（整数）、Ｎ＋１、Ｎ＋１、Ｎ＋１となる。従って図４のようなデータストリームのＦＮは、０、１、２、３、３、３、４、４、５、５となる。
【００４３】
図５は、図３（ｂ）以降のデータストリームに対するＤＰＢ管理部１６０のＤＰＢ管理手順を説明する概念図である。ＤＰＢ状態に含まれるピクチャのマーキング処理には、特に情報を付加しないで行われるスライディング・ウィンドウ方式と、ＭＭＣＯコマンドという情報を付加するＭＭＣＯ方式とがあり、特にコマンドが付加されない場合にはスライディング・ウィンドウ方式が用いられる。ここではかかるスライディング・ウィンドウ方式のマーキング処理に関して説明する。
【００４４】
図５において、ＤＰＢ状態のフレーム数の上限（ＭａｘＤＰＢ）は３、参照ピクチャの最大格納枚数（no_of_ref）は３であるとする。図５（ａ）は、図４においてＰ６を復号した後のＤＰＢの状態を示している。ＤＰＢ状態におけるピクチャＩＤＲ０、Ｐ３、Ｐ６はすべて参照ピクチャなので、参照要否が「ｕｓｅｄ」にマークされている。また、ＩＤＲピクチャＩＤＲ０は出力済みなので出力状態が「ｎｏｔ  ｎｅｅｄｅｄ」に、ＰピクチャＰ３、Ｐ６は出力待ちであるので「ｎｅｅｄｅｄ」にマークされている。引き続きＦＮ３のＢピクチャＢ１が復号される場合、ＢピクチャＢ１は参照ピクチャではないので「ｕｎｕｓｅｄ」がマークされる。
【００４５】
ここで、ＤＰＢ状態におけるピクチャのＰＯＣと、カレントピクチャにおけるＢピクチャＢ１のＰＯＣを比較すると、「ｎｅｅｄｅｄ」にマークされている中ではＢピクチャＢ１のＰＯＣが最小なので、ピクチャＢ１の復号データが出力対象となり出力バッファに転送される。この場合、ＢピクチャＢ１は、「ｕｎｕｓｅｄ」および「ｎｏｔ  ｎｅｅｄｅｄ」となってＤＰＢ状態に保持する必要がなくなる。従って、実際のＤＰＢにもその復号データは保持されない。ＢピクチャＢ２も同様に出力されるので、ＤＰＢ状態は図５（ａ）のままとなる。
【００４６】
続いて、図５（ｂ）の如く、ＢピクチャＢ４が復号される場合、ＢピクチャＢ４は参照ピクチャなので「ｕｓｅｄ」にマークされている。従って、「ｕｓｅｄ」とマークされている参照ピクチャの数が４になり、最大格納枚数を上回ってしまうため、ＦＮの最も小さいピクチャ、即ちＩＤＲピクチャＩＤＲ０を「ｕｎｕｓｅｄ」にマークする。するとＩＤＲピクチャＩＤＲ０は「ｕｎｕｓｅｄ」かつ「ｎｏｔ  ｎｅｅｄｅｄ」となり、以降の復号処理では不要となるのでＤＰＢ状態から削除される。そして、ＤＰＢ状態では、ピクチャＰ３、Ｐ６、Ｂ４が残される。
【００４７】
ＢピクチャＢ４に続いてＦＮが等しいＢピクチャＢ５が復号される。ＢピクチャＢ５は参照ピクチャではないので、図５（ｃ）に示されるように「ｕｎｕｓｅｄ」がマークされる。次に、ＤＰＢ状態に保持されているピクチャのＰＯＣと、ＢピクチャＢ５のＰＯＣが比較され、Ｂ５のＰＯＣは最小ではないので、この時点では「ｎｅｅｄｅｄ」がマークされる。しかし、ＤＰＢ状態においては参照ピクチャの数が最大格納枚数に達しているためＰＯＣが最小のピクチャ、即ちＰピクチャＰ３を出力し、「ｎｏｔ  ｎｅｅｄｅｄ」にマークする。しかしＰピクチャＰ３は「ｕｓｅｄ」にマークされているのでＤＰＢ状態から削除することはできない。
【００４８】
そこで、次にＰＯＣが最小のピクチャ、即ちＢピクチャＢ４を出力し、「ｎｏｔ  ｎｅｅｄｅｄ」にマークする。しかしＢピクチャＢ４も「ｕｓｅｄ」にマークされているのでＤＰＢ状態から削除することはできない。ＰＯＣが次に小さいピクチャはＢピクチャＢ５なので、ＢピクチャＢ５が出力され「ｎｏｔ  ｎｅｅｄｅｄ」にマークされたＢピクチャＢ５は、「ｕｎｕｓｅｄ」かつ「ｎｏｔ  ｎｅｅｄｅｄ」となり、ＤＰＢ状態に保持されることなく削除される。
【００４９】
このようにしてＤＰＢ状態は順次更新され、その参照ピクチャの配置を保持する。そして、次のＩＤＲピクチャが復号されると、ＤＰＢ状態のピクチャはすべて「ｕｎｕｓｅｄ」とマークされ、かつＰＯＣ順にすべてのピクチャが出力されて、ＤＰＢ状態保持部１６２から削除され、ＤＰＢ状態が空となる。従って、ＤＰＢ自体にも復号データが残らないことになる。このとき、符号化データ内の情報によって、ピクチャの出力を行わないことも可能である。このように、Ｈ．２６４では、離れた位置のピクチャを参照することはできるが、ＩＤＲピクチャを跨いで前のピクチャを参照することはできない。ＩＤＲピクチャが検出されるとＰＯＣおよびＦＮは０にリセットされる。このような背景からＨ．２６４では、従来、アクセスポイントの位置に拘わらず、直後のＩＤＲピクチャから復号を開始していた。
【００５０】
次に、ＬＴピクチャおよびＭＭＣＯ方式のマーキングについて説明する。上述したように、スラインディング・ウィンドウ方式のマーキング処理では、ＤＰＢ状態に格納されたピクチャのＦＮの比較を行い、ＦＮの小さいピクチャから順に「ｕｎｕｓｅｄ」をマークする。これに対して、ＭＭＣＯコマンドを付加するＭＭＣＯマーキング方式では、ＦＮの大小に関わらず、任意のピクチャを「ｕｎｕｓｅｄ」とすることが可能である。
【００５１】
また、ＭＭＣＯコマンドを用いることにより、ＤＰＢ内のＳＴピクチャをＬＴピクチャにすることも可能である。ここで、ＬＴピクチャは、参照ピクチャとしてＤＰＢに長期に滞在するピクチャであり、ＳＴピクチャと異なり、スライディング・ウィンドウ方式では「ｕｎｕｓｅｄ」に変更されることがない。ＬＴピクチャが「ｕｎｕｓｅｄ」とマークされるのは、当該ＬＴピクチャを「ｕｎｕｓｅｄ」とマークするＭＭＣＯコマンドが付加された場合か、ＩＤＲピクチャが復号された場合か、ＩＤＲと同様の動作を行うＭＭＣＯコマンドが付加された場合である。
【００５２】
このようにＬＴピクチャを用いると、符号化順に拘わらずピクチャをＤＰＢ内に長期間格納しておくことができるので、長期にわたって参照ピクチャとして使用することが可能となる。スライディング・ウィンドウ方式とＭＭＣＯ方式とはスライスという複数のマクロブロックからなる符号化単位毎に切り替えることができる。
【００５３】
図６は、ＭＭＣＯ方式のマーキングとＬＴピクチャを使用した場合のＤＰＢの処理を説明するための説明図である。例えば図４におけるＰピクチャＰ６の符号化データに「ＰＮ（Picture Number）１のピクチャにＬＴＰＮ０を割り当てる」というＭＭＣＯコマンドと、「現在のピクチャにＬＴＰＮ１を割り当てる」というＭＭＣＯコマンドが付加されているものとする。
【００５４】
ここで、ＰＮとは、ＦＮに基づいてフィールド順を加味したものであり、ＦＮと同等に取り扱うことができる。また、ＬＴＰＮとは、ＬＴピクチャを識別するための番号である。この場合、ＰピクチャＰ６を復号した後のＤＰＢの状態は、図６（ａ）のようになる。ＤＰＢに格納されているピクチャのうち、ＰピクチャＰ３、Ｐ６はＬＴピクチャとなり、ＬＴＰＮが付されている。引き続き、ＢピクチャＢ１、Ｂ２、Ｂ４、Ｂ５を復号するが、このときのＤＰＢの処理は前述した図４、図５を用いたＤＰＢ処理の説明の場合と同様に遂行される。図６（ｂ）に、Ｂ５を復号した後のＤＰＢの状態を示す。
【００５５】
ＢピクチャＢ５の復号が完了すると次にＰピクチャＰ９が復号される。ＰピクチャＰ９は参照ピクチャであるので、「ｕｓｅｄ」にマークされる。ここで、「ｕｓｅｄ」とマークされている参照ピクチャの数が４になり、最大格納枚数を上回ってしまう。そこで、ＦＮの最も小さいピクチャを「ｕｎｕｓｅｄ」にしなければならないが、ＦＮが最小であるＰピクチャＰ３はＬＴピクチャなのでスライディング・ウィンドウ方式のマーキングにおいては「ｕｎｕｓｅｄ」とマークされない。また、同様に、ＰピクチャＰ６もＬＴピクチャなので、「ｕｎｕｓｅｄ」とマークされず、代わりにＢピクチャＢ４を「ｕｎｕｓｅｄ」とマークする。
【００５６】
ＢピクチャＢ４は「ｕｎｕｓｅｄ」かつ「ｎｏｔ  ｎｅｅｄｅｄ」となるので、ＤＰＢ状態から削除され、ＰピクチャＰ９がＤＰＢ状態に追加されるべくＤＰＢ状態保持部１６２に格納される。こうしてＤＰＢ状態保持部１６２のＤＰＢ状態は図６（ｃ）に示された状態になる。このように、ＬＴピクチャを用いることにより、スラインディング・ウィンドウ方式では「ｕｎｕｓｅｄ」とマークされてしまうピクチャを「ｕｓｅｄ」状態に維持しておくことができ、さらに後のピクチャ、例えば図４のＢピクチャＢ７の復号において、かかるＬＴピクチャを参照ピクチャとして用いることが可能となる。
【００５７】
次に、参照ピクチャリストについて説明する。参照ピクチャリストは、ＤＰＢ状態保持部１６２に保持されている参照ピクチャのヘッダ情報のうち、「ｕｓｅｄ」とマークされているピクチャを順番に並べたものである。このリスト中の、何番目のピクチャを参照するという情報をマクロブロック（ＭＢ）またはサブＭＢごとに付加することにより、参照ピクチャを指定する。
【００５８】
Ｐピクチャでは、まず、ＰＮの大きな順に並べ、次に、ＤＰＢのＬＴピクチャをＬＴＰＮの小さい順に並べる。Ｂピクチャは、一つ目の参照ピクチャリストは復号しようとするピクチャよりＰＯＣの小さいＳＴピクチャをＰＯＣの大きい順に並べ、その後に復号しようとするピクチャよりＰＯＣの大きいＳＴピクチャをＰＯＣの小さい順に並べ、その後にＬＴピクチャをＬＴＰＮの小さい順に並べる。もう１つの参照ピクチャリストは、復号しようとするピクチャよりＰＯＣの大きいＳＴピクチャをＰＯＣの小さい順に並べ、その後に復号しようとするピクチャよりＰＯＣの小さいＳＴピクチャをＰＯＣの大きい順に並べ、その後にＬＴピクチャをＬＴＰＮの小さい順に並べる。例えば、図６の例において、ＰピクチャＰ９を復号するときのＤＰＢ状態は、図６（ｂ）の状態であるので、参照ピクチャリストは「Ｂ４、Ｐ３、Ｐ６」となる。
【００５９】
また、参照ピクチャリストはスライス毎に付加されるスライスヘッダ内でリオーダリング情報を送ることにより、前述したリストを並びかえることが可能である。リオーダリング情報は、参照ピクチャリスト内の位置とその場所に挿入する参照ピクチャのＦＮを含んでおり、これを用いることで参照ピクチャリストの任意の位置に任意のピクチャを入れたり、同じピクチャを複数入れたりすることが可能となる。
【００６０】
以上、説明したＤＰＢ制御は、いずれもアクセスポイント直後のＩＤＲピクチャから復号を開始した場合を想定している。本実施形態では以下に示すように、ランダムアクセスが指示された際に、アクセスポイント直前のＩＤＲピクチャから軽負荷の簡易ＤＰＢ制御を行い、本来あるべきＤＰＢ状態を生成することでアクセスポイントからの再生を可能としている。
【００６１】
図７は、アクセスポイント以前の簡易ＤＰＢ制御を説明するための説明図である。図７に示されたデータストリームは、符号化データの一部を抜粋したもので、この前後にも符号化データが存在しているものとする。かかる符号化データのＰＯＣおよびＦＮは図７の通りであり、アクセスポイントを、２つのＩＤＲ０ピクチャ間のＩピクチャＩ６としている。
【００６２】
ヘッダ情報抽出部１５０は、ストリームバッファ１２０からの符号化データから外部より指定されるアクセスポイントに応じて、アクセスポイントの直前に位置するＩＤＲピクチャのヘッダを検出する。ここでは、アクセスポイントを外部から指定されるものとしているが、かかる場合に限らず、当該符号化データ再生装置１００自体にアクセスポイントを指定できる手段を設けることもできる。また、ヘッダ情報抽出部１５０は、復号フラグデータを出力し復号処理が不要なことを示す。
【００６３】
さらに、ヘッダ情報抽出部１５０は、ストリームバッファ１２０から供給される符号化データからヘッダ情報を抽出する。抽出したヘッダ情報に含まれる参照要否情報から、そのピクチャが参照ピクチャであるか否かを判定し、そのピクチャが参照ピクチャでない場合にはそのピクチャは無視し、次のピクチャの処理に移行する。また、ヘッダ情報抽出部１５０は直前のＩＤＲピクチャからアクセスポイントまでの間、逆ＶＬＣ部１５２に符号化ストリームを供給せず、逆ＶＬＣ、逆量子化、逆ＤＣＴなどの復号処理を実行させない。さらに、画像制御部１６６にも画像の出力や記憶などの処理を行わせない。
【００６４】
ヘッダ情報抽出部１５０は、対象とするピクチャが参照ピクチャである場合には、抽出したヘッダ情報を復号フラグデータと共にＤＰＢ管理部１６０に、また、復号フラグデータを画像制御部１６６に供給する。ＤＰＢ管理部１６０は、供給された復号フラグデータが復号処理不要を示していると、通常のＤＰＢ制御ではなく、簡易ＤＰＢ制御を行う。簡易ＤＰＢ制御は、従来のＤＰＢ制御のうち、画像の出力に関する制御、即ち、「ｎｅｅｄｅｄ」または「ｎｏｔ  ｎｅｅｄｅｄ」の管理を行わず常に「ｎｏｔ  ｎｅｅｄｅｄ」をマークし、参照ピクチャに関する制御、即ち、「ｕｓｅｄ」または「ｕｎｕｓｅｄ」の管理のみを行うものである。従って、ＤＰＢ状態のみを生成する点および画像の出力に関する制御を行わない点以外は、上述したアクセスポイント以降のＤＰＢ制御に従っている。
【００６５】
そして、ＤＰＢ管理部１６０は、アクセスポイント以降、このようにして導出されたＤＰＢ状態を開始状態として、ヘッダ情報に従う本来のＤＰＢ制御を実行する。
【００６６】
図８は、簡易ＤＰＢ制御を実行した場合のアクセスポイントにおけるＤＰＢ状態を説明するための説明図である。特に図８（ａ）はＤＰＢ状態を、図８（ｂ）はアクセスポイントからの符号化データを示している。ここでは、アクセスポイントはＩピクチャＩ６であり、ＤＰＢのピクチャ（フレーム）数の上限は、例えば２ピクチャ、参照ピクチャの最大格納枚数も２ピクチャであるとする。なお、図８に示す符号化データは、検出されたヘッダ以降の先頭の部分のみを示したものであり、シーケンス・パラメータ・セットなどは記載していない。
【００６７】
このように、アクセスポイントとなるＩピクチャＩ６の復号処理を開始する前に、アクセスポイントの直前に位置するＩＤＲピクチャからアクセスポイントまでのヘッダ情報を抽出し、そのピクチャが参照ピクチャの場合にはＤＰＢ簡易制御を実行しているので、ＤＰＢ内のピクチャの参照に関するマーキングとＦＮ、ＰＯＣの情報は、アクセスポイントの直前に位置するＩＤＲピクチャから従来の復号処理を行ったときと同様の状態になっている。ただし、出力状態には「ｎｏｔ  ｎｅｅｄｅｄ」が強制的に書き込まれるので、かかる点に関してのみ本来のＤＰＢ状態と相異する可能性がある。
【００６８】
ヘッダ情報抽出部１５０は、アクセスポイントに対応したヘッダ位置を検出すると、復号処理が必要であることを示す復号フラグデータを各構成に送信すると共に、それ以降の符号化ストリームを逆ＶＬＣ部１５２に供給し、通常の方法で、逆ＶＬＣ、逆量子化、逆ＤＣＴなどの復号処埋が行われる。ＤＰＢ管理部１６０も、供給されたヘッダ情報に従い、通常の方法でＤＰＢ制御を行う。
【００６９】
画像制御部１６６は、ＤＰＢ管理部１６０から入力されるＤＰＢ状態に従って、フレームメモリ１６８における復号データを操作し、順次復号データを生成させる。
【００７０】
このとき、参照ピクチャリスト作成部１６４は、ＤＰＢ管理部１６０から入力されるＤＰＢ状態に応じて参照ピクチャリストを作成する。
【００７１】
図９は、アクセスポイント直後のＤＰＢ制御を説明するための説明図である。例えばＩピクチャＩ６の次に符号化されたＢピクチャＢ５を復号する場合に用いられる参照ピクチャリストは、図９（ａ）のようにｉｄｘ０にＰピクチャＰ４がｉｄｘ１にＩピクチャＩ６が記され、画像制御部１６６はかかる参照ピクチャリストに従い、動き補償部１７０に対して図９（ａ）で特定される参照ピクチャを供給するようフレームメモリ１６８に指示する。ここで、画像制御部１６６は、ＤＰＢ状態保持部１６２を参照し、動き補償部１７０が参照する参照ピクチャが、アクセスポイントにおけるＤＰＢ状態に含まれるかどうか判断し、参照されている場合、参照ピクチャを、アクセスポイントより後の任意のピクチャに置換して参照させる。また、参照ピクチャを所定のピクチャに置換して参照させてもよい。
【００７２】
例えば、図９（ａ）に示すような参照ピクチャリストが供給された場合、ＩピクチャＩ６はＤＰＢ状態保持部１６２のＤＰＢ状態に存在し、復号データもフレームメモリ１６８に格納されている。しかし、ＰピクチャＰ４は、ＤＰＢ状態保持部１６２のＤＰＢ状態に存在してはいるものの、復号データもフレームメモリ１６８には格納されていない。ここでは例えばフレームメモリ１６８におけるＰ４の位置に復号されたＩピクチャＩ６を置換してＢピクチャＢ５の復号処理を遂行させる。
【００７３】
本実施形態では、実際の復号を伴わないのでＤＰＢ状態で表される参照ピクチャの配置は適切ではあるが、そのピクチャを復号した画像情報がない。このとき、本来の画像情報の代わりに何らかの復号されたピクチャを用いる。従って、画像制御部１６６は、アクセスポイントにおけるＤＰＢ状態に含まれる参照ピクチャが参照されるか否かを判断し、参照する場合には近接する他のピクチャ、例えば、その時点で利用可能なピクチャのうち、本来のピクチャと類似する中で時間的に最も近いピクチャや単に参照リスト内で近い位置のピクチャ、または予め準備された所定のピクチャ、例えば「真っ白」や「真っ黒」、「グレー」といったピクチャの復号データを適応的に参照させて予測画像を生成する。かかる構成により、ある程度の画質劣化は生じるものの復号画像の乱れなどを防ぐことが可能となる。
【００７４】
図９（ｂ）には、比較例として、本実施形態を適用せずにＩピクチャＩ６から復号を開始した場合の参照ピクチャリストとＤＰＢ状態が示されている。かかる状況下においてＢピクチャＢ５を復号しようとすると、ＤＰＢ状態としてＩピクチャＩ６のみが保持されていることになり、図９（ｂ）のような参照ピクチャリストが生成される。この場合、復号対象であるピクチャが２つの画像を要するＢピクチャであるにも拘わらず、図中ｉｄｘ１に相当するピクチャが存在しないので、復号処理において不具合を招くおそれがある。
【００７５】
本実施形態では、簡易ＤＰＢ制御を行っているので、このようにＩＤＲ以外のＩピクチャを、アクセスポイントとして指定された場合でも、アクセスポイント以降の符号化データの復号において、ＤＰＢの状態に不整合が生じることなく、復号処理を行うことができる。また、アクセスポイントにおけるＤＰＢの参照に関するマーキングの状態が直前のＩＤＲピクチャから復号処理を行った場合と同様に保たれているので、アクセスポイント以降の符号化データにおいて、リオーダリング情報やＭＭＣＯ情報が用いられていても不整合を生じることなく処理することができる。
【００７６】
さらに、直前のＩＤＲピクチャからアクセスポイントまでの符号化データに対して、復号処理は行わず、参照ピクチャに限って、通常のＤＰＢの制御処理より簡易な方法でのＤＰＢ制御処理を行っているので、アクセスポイント以降の符号化データの復号を速やかに開始することが可能である。
【００７７】
（符号化データ再生プログラム）
図１０は、本実施形態における符号化データ再生装置１００により符号化データの再生が可能なコンピュータ（情報処理装置）２００の典型例を示した機能ブロック図である。コンピュータ２００は、中央処理装置２１０と、一時記憶装置２１２と、外部記憶装置２１４と、通信部２１６と、入力部２１８と、出力部２２０とを含んで構成される。
【００７８】
中央処理装置（ＣＰＵ）２１０は、一時記憶装置２１２や外部記憶装置２１４のプログラムやアプリケーションによりコンピュータ２００全体を管理および制御する。一時記憶装置２１２は、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ等から構成され、中央処理装置２１０で処理されるプログラムや符号化データ等を一時的に記憶する。外部記憶装置２１４は、フラッシュメモリ、ＨＤＤ等で構成され、中央処理装置２１０で処理されるプログラムや符号化データ等を記憶する。通信部２１６は、通信回線２３０を介して様々な電子機器やサーバと接続され、それらと映像データや符号化データを送受信することができる。入力部２１８は、記憶媒体１０２からの符号化データを入力できる。出力部２２０は、モニタ１０４等に映像出力を出力できる。
【００７９】
上述した符号化データの再生は、中央処理装置２１０がプログラムを実行することによって為される。従って、符号化データ再生装置１００が提供されると同時に、コンピュータ２００を、符号化データ再生装置１００として機能させる符号化データ再生プログラムも提供される。また、この符号化データ再生プログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信回線２３０を介して伝送されてコンピュータに取り込まれてもよい。
【００８０】
（符号化データ再生方法）
また、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生方法も提供される。
【００８１】
図１１は、当該符号化データ再生方法の具体的な処理を示したフローチャートである。ランダムアクセスによる任意のアクセスポイントが指定されると、まず、ヘッダ情報抽出部１５０はストリームバッファ１２０からの符号化データにおける任意のアクセスポイントの直前に位置するＩＤＲピクチャのヘッダの位置を検出し、そのＩＤＲピクチャからのヘッダ情報を順次抽出する（Ｓ３００）。
【００８２】
続いて、ヘッダ情報抽出対象のピクチャがアクセスポイントに到達したかどうか判断され（Ｓ３０２）、到達していない場合（Ｓ３０２における「ＮＯ」）、ＤＰＢ管理部１６０は、ヘッダ情報中の参照情報のみを用いて簡易ＤＰＢ制御を行い、アクセスポイントにおけるＤＰＢ状態を導出する（Ｓ３０４）。かかる簡易ＤＰＢ制御は、アクセスポイントに到達するまで繰り返される。
【００８３】
そして、アクセスポイントに到達した場合（Ｓ３０２における「ＹＥＳ」）、即ち、アクセスポイント以降は、ＤＰＢ管理部１６０は、簡易ＤＰＢ制御により導出されたＤＰＢ状態を開始状態として、ヘッダ情報抽出部１５０が抽出したヘッダ情報全てに従ってＤＰＢ状態を導出し（Ｓ３０６）、画像制御部１６６は、ＤＰＢ状態に従ってピクチャ単位の復号データを生成する（Ｓ３０８）。そして、画像再生部１４０は、このようにして生成された復号データを再生する（Ｓ３１０）。最後に再生終了指令が生じているかどうか判断され（Ｓ３１２）、再生終了指令が生じるまで（Ｓ３１２における「ＹＥＳ」）、本来のＤＰＢ制御による複合データ再生が繰り返される。
【００８４】
かかる符号化データ再生方法においても、ランダムアクセスが指示された際、復号開始ポイントがＩＤＲピクチャではなくとも、適切なＤＰＢ状態を生成し、早期に違和感のない自然な画像を再生することが可能となる。従って、アクセスポイント以降の符号化データにＭＭＣＯコマンドやリオーダリング情報が付加されていたとしても、それらの処理に必要となるＤＰＢ状態を保持しているので、正常に処理を行うことができ、ＤＰＢ状態の不整合による画像の乱れを防ぐことができる。
【００８５】
（他の実施形態）
また、上述した実施形態では、アクセスポイントにおけるＤＰＢ状態を形成するために簡易ＤＰＢ制御を行っているが、任意のアクセスポイントの直前に位置するＩＤＲピクチャから本来のＤＰＢ制御（フルＤＰＢ制御）を行うことで、出力制御も含む完全なＤＰＢ状態を導出することができる。
【００８６】
ここでは、上述した実施形態と相異し、ＤＰＢ管理部１６０は、ＩＤＲピクチャから、抽出されたヘッダ情報による本来のＤＰＢ制御を通じてＤＰＢ状態を更新し、画像制御部１６６も、アクセスポイント以降、ＤＰＢ状態に従って、ピクチャ単位の復号データを生成する。当該実施形態では、既存のＤＰＢ制御構成をそのまま利用することが可能なので、プログラムの大きな変更を伴うことなく確実に効果を得ることができる。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８８】
なお、上記実施の形態では、ＩＴＵ−Ｔ  Ｈ．２６４符号化方式により符号化された符号化データを再生の対象として説明したが、本実施形態は、これに限るものではなく、他の符号化方式により符号化された符号化データを対象としてももちろんよい。
【００８９】
なお、本明細書の符号化データ再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９０】
本発明は、動画像信号がピクチャ単位で符号化された符号化データを、ＤＰＢ制御を通じて再生する符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラムに利用することができる。
【図面の簡単な説明】
【００９１】
【図１】符号化データ再生装置の構成を示すブロック図である。
【図２】Ｈ．２６４におけるＤＰＢ制御を説明するための説明図である。
【図３】図２（ｂ）のデータストリームに対するＤＰＢ管理部のＤＰＢ管理手順を説明する概念図である。
【図４】図２（ｂ）のピクチャに付与されるＰＯＣとＦＮを説明する図である。
【図５】図３（ｂ）以降のデータストリームに対するＤＰＢ管理部のＤＰＢ管理手順を説明する概念図である。
【図６】ＭＭＣＯ方式のマーキングとＬＴピクチャを使用した場合のＤＰＢの処理を説明するための説明図である。
【図７】アクセスポイント以前の簡易ＤＰＢ制御を説明するための説明図である。
【図８】簡易ＤＰＢ制御を実行した場合のアクセスポイントにおけるＤＰＢ状態を説明するための説明図である。
【図９】アクセスポイント直後のＤＰＢ制御を説明するための説明図である。
【図１０】本実施形態における符号化データ再生装置により符号化データの再生が可能なコンピュータ（情報処理装置）の典型例を示した機能ブロック図である。
【図１１】符号化データ再生方法の具体的な処理を示したフローチャートである。
【符号の説明】
【００９２】
１００  …符号化データ再生装置
１４０  …画像再生部
１５０  …ヘッダ情報抽出部
１６０  …ＤＰＢ管理部
１６６  …画像制御部
【図１】
2009296078.tif 000003
【図２】
2009296078.tif 000004
【図３】
2009296078.tif 000005
【図４】
2009296078.tif 000006
【図５】
2009296078.tif 000007
【図６】
2009296078.tif 000008
【図７】
2009296078.tif 000009
【図８】
2009296078.tif 000010
【図９】
2009296078.tif 000011
【図１０】
2009296078.tif 000012
【図１１】
2009296078.tif 000013