(57)【要約】【課題】ＧＯＰ境界付近での再生速度のばらつき抑制して滑らかな再生を実現すること。【解決手段】時系列沿って再生される画像間の相関に応じて予測符号化された符号化画像データである複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する代わりに、逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する復号処理制御部を備える半導体集積回路。【選択図】図１
2013085067.tif 000002
【特許請求の範囲】
【請求項１】
動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち前記時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する代わりに、前記逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する復号処理制御部を備える半導体集積回路。
【請求項２】
表示対象のピクチャを復号するために復号され、その後メモリから破棄された参照ピクチャの数である破棄参照ピクチャ数を計測する計測部をさらに備え、
前記復号処理制御部は、前記破棄参照ピクチャ数が所定数未満の場合に、前記制御を行う
ことを特徴とする請求項１に記載の半導体集積回路。
【請求項３】
前記復号処理制御部は、前記メモリに格納可能な参照ピクチャ数をさらに考慮して前記制御を行う
ことを特徴とする請求項２に記載の半導体集積回路。
【請求項４】
前記復号処理制御部は、前記破棄参照ピクチャ数が所定数以上の場合に、前記ピクチャ集合内で当該破棄参照ピクチャ数分の参照ピクチャを復号するように制御する
ことを特徴とする請求項２又は３に記載の半導体集積回路。
【請求項５】
前記復号処理制御部は、メモリに格納された前記参照ピクチャが前記逆方向の再生による表示後に他のピクチャから参照されることがなくなったことにより前記メモリから破棄され、かつ、前記メモリに前記第１参照ピクチャ及び前記第２参照ピクチャが格納された場合に、前記制御を行う
ことを特徴とする請求項１に記載の半導体集積回路。
【請求項６】
前記ピクチャ集合に属するピクチャ数とメモリに格納可能な参照ピクチャ数とにより予め定められた前記非参照ピクチャを復号しようとする場合に、当該非参照ピクチャの復号に代えて、前記制御を行う
ことを特徴とする請求項１に記載の半導体集積回路。
【請求項７】
動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する半導体集積回路。
【請求項８】
表示対象のピクチャを復号する際に参照するために復号され、その後メモリから破棄された参照ピクチャの数である破棄参照ピクチャ数を計測する計測部をさらに備え、
前記復号処理制御部は、前記破棄参照ピクチャ数に基づいて、前記第２のピクチャを決定する
ことを特徴とする請求項７に記載の半導体集積回路。
【請求項９】
前記復号処理制御部は、前記破棄参照ピクチャ数が所定数未満の場合に、前記逆方向の再生順で、前記複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを前記第２のピクチャとして決定する
ことを特徴とする請求項８に記載の半導体集積回路。
【請求項１０】
前記復号処理制御部は、
前記破棄参照ピクチャ数が所定数以上の場合に、当該破棄参照ピクチャ数分の参照ピクチャを復号し、
その間に前記メモリから破棄された参照ピクチャの数により前記破棄参照ピクチャ数を更新する
ことを特徴とする請求項８又は９に記載の半導体集積回路。
【請求項１１】
動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち前記時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する代わりに、前記逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する復号処理制御部を備える半導体集積回路を搭載した動画像再生装置。
【請求項１２】
動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する半導体集積回路を搭載した動画像再生装置。
【請求項１３】
動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち前記時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号される予定であることを検出し、
前記検出した場合に、前記非参照ピクチャを復号せずに、前記逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する
動画像データの逆方向再生方法。
【請求項１４】
表示対象のピクチャを復号するために復号され、その後メモリから破棄された参照ピクチャの数である破棄参照ピクチャ数を計測し、
前記破棄参照ピクチャ数が所定数未満の場合に、前記制御を行う
ことを特徴とする請求項１３に記載の動画像データの逆方向再生方法。
【請求項１５】
動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する動画像データの逆方向再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半導体集積回路、動画像再生装置及び動画像データの逆方向再生方法に関し、特に、動画像データを逆方向に再生するための半導体集積回路、動画像再生装置及び動画像データの逆方向再生方法に関する。
【背景技術】
【０００２】
近年のデジタル技術の発展に伴い、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）レコーダやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）プレーヤーのようなデジタル方式の音声／画像再生装置が実用化されている。このような再生装置（以下、「動画像再生装置」という。）では、順方向の通常の速度による再生だけでなく、順／逆方向の早送り、順／逆方向のスロー、順／逆方向のコマ送りなどの複数の再生モードに対応することが要求される。
【０００３】
このような動画像再生装置で再生される画像データには、フレーム間の相関関係を利用した圧縮方法を用いるＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ  ２）などの画像符号化方式が利用されている。一般に、フレーム間の相関関係を利用した動画像の符号化方式の特徴として、以下の２つがある。
（Ａ）復号の際に、先行して復号済みのピクチャデータを参照するピクチャがある。
Ｉピクチャ：当該ピクチャ単体で復号可能なピクチャ（他のピクチャの参照不要）
Ｐピクチャ：先行して復号又は表示されるＩ又はＰピクチャを参照して復号するピクチャ
Ｂピクチャ：先行して復号されるＩ又はＰピクチャを参照して復号するピクチャ
（Ｂ）入力、復号処理の順序と、復号結果の表示順序が異なる。
【０００４】
以降、上述のＩピクチャまたはＰピクチャの特徴を持つピクチャを参照ピクチャ、Ｂピクチャの特徴を持つピクチャを非参照ピクチャと記述する。
【０００５】
ここで、上述の特徴をもつ符号化方式による符号化画像データを対象にして、かかる動画像再生装置において逆方向のスロー再生を行う場合、Ｐ又はＢピクチャを表示するためには、これらのＰ又はＢピクチャの復号時に参照される参照ピクチャを先行して復号しておく必要がある。そして、動画像再生装置は、後に表示するための復号処理を省略するために、当該先行して復号された参照ピクチャをメモリに保持しておくことが望ましい。但し、動画像再生装置では、メモリ容量の制約もあり、常に参照ピクチャをメモリに保持しておくことが困難な場合もある。また、動画像再生装置では、パソコンなどの汎用的なコンピュータ装置に比べて、容易にメモリを増加することもできない。
【０００６】
特に、参照ピクチャは、非参照ピクチャを復号するために参照されるばかりでなく、他の参照ピクチャを復号するために参照される場合がある。そのため、逆方向の再生を行う場合には、１つのピクチャを表示用に復号するために複数の参照ピクチャを連鎖的に復号する必要がある。そして、復号済みの参照ピクチャを保持するメモリ容量が十分でないために、これらを破棄することとなる。その後、他のピクチャを表示用に復号するために以前に復号した参照ピクチャを改めて復号する必要がある。つまり、メモリの増加ができない場合には、動画像再生装置は、同一のピクチャの復号と破棄を繰り返す必要がある。
【０００７】
特許文献１には、復号した画像をメモリに保持する際に、メモリ容量が不足した場合にはメモリに書き込まない、又は、メモリに上書きする間引き処理を有する技術が開示されている。そして、特許文献１に開示された技術は、メモリ容量の許す範囲で動画像の滑らかな逆方向再生を行うことを目的としている。特に、メモリ容量に応じて再生フレームを間引く処理が開示されている。
【０００８】
図９は、特許文献１にかかる画像再生装置の構成を示すブロック図である。図９に示すように、画像再生装置１は、符号化された画像データが入力される入力バッファ３、可変長符号化された量子化変換係数を復号する可変長復号部５、量子化ステップ情報に基づいて量子化変換係数を逆量子化する逆量子化部７、逆離散コサイン変換によりフレーム内符号化画像を復号する逆ＤＣＴ部９、前方参照画像及び後方参照画像並びに動きベクトル情報を用いてフレーム間予測符号化された画像の復号を行う動き補償部１１、出力Ｉ／Ｆ部１３、メモリＩ／Ｆ部１５、複数フレームの記憶容量を有するメモリ１７を備える。そして、メモリＩ／Ｆ部１５は、書込み制御部２１、順方向／逆方向再生制御部２３、読出し制御部２５、間引き制御部２７、領域割当部２９、再生順序記憶部３１を備えている。
【０００９】
図１０は、特許文献１にかかる画像再生装置１において、復号化画像をメモリに保持する際に間引きを行う方法を説明する図である。書込み制御部２１は、領域割当部２９が割り当てたメモリ１７の領域に順方向復号された画像を書き込む。再生順序記憶部３１は、メモリ１７に保持された複数の画像の再生順序を記録する。逆方向再生する際には、読出し制御部２５は、再生順序記憶部３１が記録する順序の逆順に従って、メモリ１７内に保持されている復号画像を読み出す。領域割当部２９が割り当てるべき空き領域がない場合、間引き制御部２７は、メモリ１７に保持された復号画像又は表示済み画像をメモリ１７に上書きさせることにより画像を間引く。
【００１０】
図１１は、特許文献１にかかる画像再生装置１において、逆方向再生を行う際のメモリの動的領域割当を説明する図である。ここではメモリ１７の容量として、４フレーム分が必要となっている。そして、この４フレーム中に、復号化の際に前方参照画像及び後方参照画像を保持する参照メモリの分もが含まれている。
【００１１】
また、特許文献１には、画像再生装置１による逆方向の再生時の復号化及び表示法をオープンＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）の構成を有する動画像に適用する場合について、次のように開示されている。この場合、画像再生装置１は、各ＧＯＰ内のＩピクチャに先行して伝送されるＢピクチャ及びＰピクチャはデコードせずに、代わりの画像（Ｉピクチャ）を表示する。または、画像再生装置１は、時系列上で一つ前のＧＯＰ（ｎ−１）を先取りして、このＧＯＰ（ｎ−１）のＩピクチャ及びＰピクチャを復号化し、この復号化された画像を前方参照画像として、ＧＯＰ（ｎ）の先頭部のＢピクチャ又はＰピクチャを復号化する。このようにして、特許文献１ではオープンＧＯＰについて逆方向の再生を実現できる。
【００１２】
その他、本発明に関連する技術として以下の特許文献２乃至５がある。特許文献２には、特殊再生時に、復号に必要な参照ピクチャがバッファに存在しないことによる特殊再生の破綻を防止し、特殊再生をピクチャのスキップ再生により容易に実現する再生システムに関する技術が開示されている。特許文献２にかかる再生システムは、符号化ピクチャから構成されるストリームが記録された記録媒体と、前記記録媒体からストリームを読み込み、再生を行う再生装置とから構成される。前記再生装置は、復号対象の符号化ピクチャを復号し、前記復号対象の符号化ピクチャに、第一の情報、または、第二の情報が格納されている場合に、前記第一の情報、または、前記第二の情報を復号する復号手段と、前記復号手段により復号されたコマンドの内容により、バッファを管理するバッファ管理手段と、を備える。
【００１３】
また、特許文献３には、小さい装置規模で逆転再生時にも高速処理を可能にする画像復号装置に関する技術が開示されている。特許文献３にかかる画像復号装置は、画像間の相関に応じて予測符号化された符号化画像が入力され、予測復号化によって復号画像を得る復号手段と、前記予測符号化における参照画像の符号化画像に対する前記復号手段からの復号画像を前記参照画像として記憶可能な記憶手段と、逆転再生時に配列順で末尾側の前記参照画像の符号化画像に対する復号画像を前記記憶手段に記憶させると共に、前記記憶手段に記憶された復号画像の出力処理によって開放可能な前記記憶手段の容量分だけ配列順で前方の参照画像の符号化画像についてその復号画像を前記記憶手段に記憶させるように制御する制御手段とを具備したことを特徴とする。
【００１４】
また、特許文献４には、削除可能な保有アンカーフレームを検出する情報処理装置に関する技術が開示されている。特許文献４にかかる情報処理装置は、１０フレーム分の保有アンカーバンクが設けられ、複数のバンクにＧＯＰ（Ｎ−１）、ＧＯＰ（Ｎ）、ＧＯＰ（Ｎ＋１）にそれぞれ対応する保有アンカーフレームのベースバンド画像データが格納されている状態で、ＧＯＰ（Ｎ−３）が供給された場合、Ｉ２ピクチャのデコード時に、空きバンクが確保され、対応するベースバンド画像データが格納される。このとき、ＧＯＰ（Ｎ＋１）のＰ５ピクチャおよびＢ１０ピクチャが表示指令待ちであり、ＧＯＰ（Ｎ−１）のＰ８ピクチャが既にデコードスケジュールに含まれているので、ＧＯＰ（Ｎ＋１）およびＧＯＰ（Ｎ−１）の保有アンカーフレームに対応するベースバンド画像データは削除されず、ＧＯＰ（Ｎ）の保有アンカーフレームに対応するベースバンド画像データが削除される。
【００１５】
また、特許文献５には、ＭＰＥＧビデオストリームの逆方向再生を滑らかに行うＭＰＥＧビデオ再生装置に関する技術が開示されている。特許文献５にかかるＭＰＥＧビデオ再生装置は、ＭＰＥＧビデオストリームを格納する容量を有するストリームバッファと、ＭＰＥＧビデオストリーム復号化部と、ピクチャデータを受信するフレームバッファとからなる順方向等倍再生可能なＭＰＥＧビデオ復号化装置を複数組備える。そして、ストリームバッファは、複数組のＭＰＥＧビデオ復号化装置の内の全てのＭＰＥＧビデオストリーム復号化部から参照可能である。また、ＭＰＥＧビデオストリーム復号化部は、複数組の全てのフレームバッファを参照可能かつ書き込み可能である。そして、ＭＰＥＧビデオストリームの連続した２つのＧＯＰを、ＭＰＥＧビデオストリーム復号化部によって並行して復号化させる。また、ＭＰＥＧビデオストリーム復号化部が、ストリームバッファ及びフレームバッファを参照することによって、ＭＰＥＧビデオストリームの逆方向再生を行う。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平１１−２０５７３９号公報
【特許文献２】特開２０１０−０５０９８０号公報
【特許文献３】特開２００８−２５２７４７号公報
【特許文献４】特開２００７−３３６０６９号公報
【特許文献５】特開２００７−３１２００２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
ここで、特許文献１のように、メモリの空き状態に応じてピクチャの復号と破棄を繰り返しながらメモリに保持する表示ピクチャを選択する方法の場合、ＧＯＰ単位で再生速度のばらつきが大きくなるという問題点がある。特許文献１でこのような問題が発生する理由を以下に説明する。
【００１８】
図１２は、特許文献１の画像再生装置１で問題が発生する符号化画像データの例を表した図である。すなわち、図１２は、オープンＧＯＰにおける符号化画像データの例を表した図である。Ｉ／Ｐ／Ｂに併記している番号は、順方向再生時の表示順序を示している。また、Ｉ／Ｐ／Ｂを含むＧＯＰ（Ｎ）は、順方向再生時にＩ'／Ｐ'／Ｂ'を含むＧＯＰ（Ｎ−１）に続いて再生されるＧＯＰであるものとする。そして、復号器はＧＯＰ（Ｎ−１）から読み込みを開始するものとする。
【００１９】
図１３は、特許文献１の画像再生装置１における逆方向の再生時に、図１２の符号化画像データを１ＧＯＰ単位で復号した場合のＧＯＰの切り替わり付近の表示画像、復号画像及び参照保持画像等の関係を説明する図である。ここでは、複数のＧＯＰが入力バッファ領域に格納されている場合について説明する。また、メモリには、２つの参照保持画像までが保持可能な領域として割り当てられているものとする。
【００２０】
このとき、逆方向の再生表示のために１ＧＯＰ単位で復号する場合には、画像再生装置１は、順方向では後に表示されるべきＧＯＰ（Ｎ）に含まれるピクチャの復号と表示を、ＧＯＰ（Ｎ−１）に含まれるピクチャに比べて優先して処理する。例えば、画像再生装置１は、ＧＯＰ（Ｎ）に含まれるピクチャをＰ１４、Ｂ１３、Ｂ１２、・・・と逆方向で表示する（〜時刻ｔ１７）。そして、Ｂ３まで復号が終わると（時刻ｔ１８）、ＧＯＰ（Ｎ−１）との境界付近のピクチャ（Ｉ２、Ｂ１、Ｂ０）の復号が必要となる。ここで、Ｉ２は既に参照保持されているため、表示のために再度の復号が不要である。しかし、Ｉ２に続くＢ１及びＢ０については、復号のためにＧＯＰ（Ｎ−１）に含まれるピクチャであるＰ'１４を参照する必要がある。そして、Ｐ'１４を復号するためには復号済みのＰ'１１を参照し、同様に、Ｐ'８、Ｐ'５、Ｉ'２と遡り、Ｉ'２から復号していく必要がある。そこで、画像再生装置１は、時刻ｔ１９（タイミングＡと呼ぶ。）からＧＯＰ（Ｎ−１）に含まれるピクチャ（Ｉ'２、Ｐ'５、Ｐ'８、Ｐ'１１、Ｐ'１４）の復号を行う（時刻ｔ１９〜ｔ２３）。
【００２１】
ここで、参照保持画像は、上記の通りメモリ上で２つまでしか保持できない。また、復号済みのＩ２は、Ｉ２自身の表示ができたとしても、Ｂ１及びＢ０を復号するために参照する必要があり、メモリに保持し続けることとなる。よって、先行して復号されるＧＯＰ（Ｎ−１）の参照ピクチャについては、実質的に１つしかメモリに保持することができない。例えば、時刻ｔ２０において参照保持画像としてはＩ２とＩ'２が保持されている。そして、例えば、時刻ｔ２０では、画像再生装置１は、Ｉ'２を参照してＰ'５を復号する。その後、画像再生装置１は、Ｐ'８を復号するためにＰ'５を参照保持画像としてメモリに格納する。その際、Ｉ'２については破棄、つまり、Ｐ'５で上書きされる。そのため、連続して参照ピクチャを復号していく際に、直前の復号処理で参照された参照ピクチャについては破棄されることとなる。また、時刻ｔ２１〜ｔ２３においても順番にＰ'５、Ｐ'８、Ｐ'１１が破棄される。これにより時刻ｔ２４及びｔ２５において、画像再生装置１は、メモリに格納されたＰ'１４及びＩ２を参照してＢ１及びＢ０を復号し、時刻ｔ２５及びｔ２６において復号後のＢ１及びＢ０を表示することができる。その後、画像再生装置１は、Ｂ'１３を表示するために、Ｉ'２、Ｐ'５、Ｐ'８、Ｐ'１１と順番に再度、復号し、さらにＩ'２、Ｐ'５、Ｐ'８について破棄していくこととなる。
【００２２】
このように、特許文献１では、ＧＯＰ単位に逆方向の再生を行う場合に、同一のピクチャの復号と破棄を繰り返すこととなる。具体的には、ＧＯＰ（Ｎ）とＧＯＰ（Ｎ−１）との境界付近においては、ＧＯＰ（Ｎ−１）に含まれる参照ピクチャの復号時間中、例えば時刻ｔ２０〜ｔ２４において連続してＩ２を表示し続けることとなる。よって、ＧＯＰ境界付近で再生速度のばらつきが大きくなってしまう。
【課題を解決するための手段】
【００２３】
本発明の第１の態様にかかる半導体集積回路は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち前記時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する代わりに、前記逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する復号処理制御部を備える。
【００２４】
本発明の第２の態様にかかる半導体集積回路は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する。
【００２５】
本発明の第３の態様にかかる動画像再生装置は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち前記時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する代わりに、前記逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する復号処理制御部を備える半導体集積回路を搭載する。
【００２６】
本発明の第４の態様にかかる動画像再生装置は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する半導体集積回路を搭載する。
【００２７】
本発明の第５の態様にかかる動画像データの逆方向再生方法は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、当該複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合内の参照ピクチャのうち前記時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号される予定であることを検出し、前記検出した場合に、前記非参照ピクチャを復号せずに、前記逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する。
【００２８】
本発明の第６の態様にかかる動画像データの逆方向再生方法は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する。
【００２９】
上述した本発明の第１、第３及び第５の態様により、例えば、ＧＯＰ（Ｎ）の第１参照ピクチャ（Ｉ２）と第２参照ピクチャ（Ｐ５）とを直接参照することにより復号可能なピクチャ（Ｂ４，Ｂ３）を復号せずに、ＧＯＰ（Ｎ−１）の参照ピクチャ（Ｉ'２、Ｐ'５、Ｐ'８、Ｐ'１１、Ｐ'１４）を復号するように制御することができる。
【００３０】
また、上述した本発明の第２、第４及び第６の態様により、例えば、ＧＯＰ（Ｎ）の第１のピクチャ（Ｂ１３）を復号する際に参照される参照ピクチャ（Ｐ１１及びＰ１４）を復号するために参照されたピクチャ（Ｉ２、Ｐ５、Ｐ８）の数（３）に基づいて、第２のピクチャ（Ｉ２）を決定でき、また、第１のピクチャ（Ｂ４）を復号する際に参照される参照ピクチャ（Ｉ２及びＰ５）を復号するために参照されたピクチャ（なし）の数（０）に基づいて、第２のピクチャ（Ｉ'２）を決定できる。
【００３１】
これにより、ＧＯＰ（Ｎ−１）の参照ピクチャの復号処理の開始を早め、また、ＧＯＰ（Ｎ）とＧＯＰ（Ｎ−１）の境界のピクチャ（Ｉ２）の表示回数を削減することにより、特許文献１に比べてＧＯＰ境界付近の再生速度のばらつきが抑えられた滑らかな再生が実現できる。
【発明の効果】
【００３２】
本発明により、ＧＯＰ境界付近での再生速度のばらつき抑制して滑らかな再生を実現するための半導体集積回路、動画像再生装置及び動画像データの逆方向再生方法を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１にかかる動画像再生装置の構成を示すブロック図である。
【図２】本発明の実施の形態１にかかる復号処理制御部及び破棄ピクチャ管理部の処理の流れを示すフローチャート（１／３）である。
【図３】本発明の実施の形態１にかかる復号処理制御部及び破棄ピクチャ管理部の処理の流れを示すフローチャート（２／３）である。
【図４】本発明の実施の形態１にかかる復号処理制御部及び破棄ピクチャ管理部の処理の流れを示すフローチャート（３／３）である。
【図５】本発明の実施の形態１にかかる逆方向再生時のＧＯＰの切り替わり付近の表示画像、復号画像及び参照保持画像等の関係を説明する図である。
【図６】本発明の実施の形態１にかかる逆方向再生時のＧＯＰの切り替わり付近の表示画像、復号画像及び参照保持画像等の関係を説明する図である。
【図７】本発明の実施の形態４にかかる半導体集積回路を搭載した動画像再生装置の構成を示すブロック図である。
【図８】本発明の実施の形態４にかかる復号処理制御部の処理の流れを示すフローチャートである。
【図９】関連技術にかかる画像再生装置の構成を示すブロック図である。
【図１０】関連技術にかかる画像再生装置において、復号化画像をメモリに保持する際に間引きを行う方法を説明する図である。
【図１１】関連技術にかかる画像再生装置において、逆方向再生を行う際のメモリの動的領域割当を説明する図である。
【図１２】オープンＧＯＰにおける符号化画像データの例を表した図である。
【図１３】関連技術における逆方向再生時のＧＯＰの切り替わり付近の表示画像、復号画像及び参照保持画像等の関係を説明する図である。
【発明を実施するための形態】
【００３４】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００３５】
＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる動画像再生装置１００の構成を示すブロック図である。動画像再生装置１００は、順方向又は逆方向で再生を行うために、外部から入力された符号化画像データＩＮを復号し、復号画像ＯＵＴとして出力する。ここで、逆方向とは、順方向、すなわち、時系列に対して逆方向であることを示す。また、符号化画像データＩＮには、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャが含まれる。そして、符号化画像データＩＮは、複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合に区切られているものとする。ここで、ピクチャ集合の例としては、上述したＧＯＰが挙げられる。但し、ピクチャ集合はこれに限定されない。
【００３６】
動画像再生装置１００は、入力バッファ１０１と、画像復号部１０２と、メモリ１０３と、出力Ｉ／Ｆ１０４と、入力ＧＯＰ数識別部１０５と、ＧＯＰ情報記憶部１０６と、復号処理制御部１０７と、破棄ピクチャ管理部１１２と、破棄参照ピクチャ情報記憶部１１３と、順方向／逆方向再生制御部１１４と、復号画像表示制御部１１５とを備える。尚、動画像再生装置１００の構成要素については、半導体集積回路により実現することができる。つまり、動画像再生装置１００は、当該半導体集積回路を搭載したものであればよい。
【００３７】
入力バッファ１０１は、動画像再生装置１００の外部の記憶媒体等（不図示）から入力される符号化画像データＩＮを保持する記憶領域である。入力バッファ１０１には、２つのＧＯＰを保持可能である。但し、本発明の実施の形態１にかかる入力バッファ１０１はこれに限定されず、３以上のＧＯＰを保持可能であってもよい。
【００３８】
メモリ１０３は、復号用画像格納領域１２０と、参照保持画像格納領域１２１及び１２２とが少なくとも確保されている。復号用画像格納領域１２０は、画像復号部１０２により復号されたピクチャのデータが格納される領域である。また、参照保持画像格納領域１２１及び１２２は、画像復号部１０２が復号時に参照するピクチャが格納された領域である。尚、復号用画像格納領域１２０、参照保持画像格納領域１２１及び１２２の各領域は、復号処理ごとに適宜、その用途（復号用であるか、参照保持用であるか）が入れ替わるものとする。つまり、あるピクチャが復号されるときに復号用画像格納領域１２０として用いられた領域について、次のピクチャが復号されるときには参照保持画像格納領域１２１として用いられる場合がある。そして、どの領域がどの用途として用いられるかについては、後述する領域割当部１１１が判断し、画像復号部１０２へ指示するものとする。
【００３９】
出力Ｉ／Ｆ１０４は、動画像再生装置１００において復号された画像を再生するために復号画像ＯＵＴとして外部の表示装置等（不図示）に出力する。
【００４０】
入力ＧＯＰ数識別部１０５は、入力バッファ１０１に格納されているＧＯＰ数をカウントし、ＧＯＰ情報記憶部１０６に格納する。
【００４１】
破棄ピクチャ管理部１１２は、復号済みピクチャの破棄についてメモリ１０３を管理する。つまり、破棄ピクチャ管理部１１２は、メモリ１０３に格納された参照ピクチャが逆方向の再生による表示後に、他のピクチャから参照されることがなくなったことによりメモリ１０３から破棄されたことを検出する。ここで、ピクチャの破棄とは、メモリ１０３内の管理領域（不図示）において上述した各領域に格納されたデータを無効とすること、上書き可能とすること、又は、当該領域のアドレスを解放すること等を指す。
【００４２】
また、破棄ピクチャ管理部１１２は、各ＧＯＰの最初のピクチャを表示する時点で、そのＧＯＰの復号過程での破棄参照ピクチャ数と余剰メモリ数を比較し、比較結果と破棄参照ピクチャ数を破棄参照ピクチャ情報記憶部１１３に格納する。破棄ピクチャ管理部１１２は、いわば、破棄参照ピクチャ数を計測する計測部としても機能する。
【００４３】
ここで、破棄参照ピクチャ数とは、次に表示するピクチャを復号する際に、ＧＯＰ先頭から目的のピクチャを復号するまでに、復号して破棄した参照ピクチャ（破棄参照ピクチャ）の数を指す。言い換えると、破棄参照ピクチャ数とは、表示対象のピクチャを復号するために復号され、その後メモリ１０３から破棄された参照ピクチャの数である。例えば、破棄ピクチャ管理部１１２は、メモリ１０３内の管理領域における各領域に対応する有効無効を示すフラグが無効に更新された契機に、当該領域に格納されているピクチャが破棄参照ピクチャである場合に破棄参照ピクチャ数を"１"増加する。
【００４４】
また、余剰メモリ数とは、順方向の再生に必要なメモリサイズを超えるメモリを指し、単位は１ピクチャ（１フレーム）とする。本発明の実施の形態１では、上述の通り、メモリ１０３の参照保持画像格納領域が２つであるため、余剰メモリ数は"０"となる。但し、メモリ１０３の参照保持画像格納領域が３以上である場合には、それに応じて余剰メモリ数も増加する。
【００４５】
また、破棄ピクチャ管理部１１２は、破棄参照ピクチャ情報記憶部１１３に格納されている破棄参照ピクチャ数から、復号するＧＯＰの切り替わりの有無を判定し、復号処理制御部１０７に通知する。具体的には、破棄ピクチャ管理部１１２は、ＧＯＰに含まれている参照ピクチャの復号結果の破棄枚数から、再生中のＧＯＰ（Ｎ）の先頭及び２番目の参照ピクチャの復号と保持が完了したかどうかを判定し、これが完了している場合はＧＯＰ（Ｎ−１）の復号を優先して開始するよう復号処理制御部１０７に指示する。
【００４６】
復号処理制御部１０７は、処理対象のＧＯＰ（Ｎ）内の参照ピクチャのうち時系列で先頭の第１参照ピクチャ（例えば、Ｉ２）と、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャ（例えば、Ｐ５）とを直接参照することにより復号可能な非参照ピクチャ（例えば、Ｂ３及びＢ４）を復号する代わりに、逆方向で当該ＧＯＰ（Ｎ）の次に再生されるＧＯＰ（Ｎ−１）に属する参照ピクチャ（例えば、Ｉ'２、Ｐ'５、Ｐ'８、Ｐ'１１及びＰ'１4）を復号するように制御する。特に、復号処理制御部１０７は、破棄参照ピクチャ数が"０"の場合に、前記制御を行うものである。
【００４７】
また、復号処理制御部１０７は、破棄参照ピクチャ数が所定数以上の場合に、前記ピクチャ集合内で当該破棄参照ピクチャ数分の参照ピクチャを復号するように制御する。さらに、復号処理制御部１０７は、メモリ１０３に格納された参照ピクチャが逆方向の再生による表示後に他のピクチャから参照されることがなくなったことによりメモリ１０３から破棄され、かつ、メモリ１０３に第１参照ピクチャ及び第２参照ピクチャが格納された場合に、前記制御を行うものである。
【００４８】
具体的には、本発明の実施の形態１にかかる復号処理制御部１０７は、復号ピクチャ判定部１０８と、間引き制御部１０９と、書込み制御部１１０と、領域割当部１１１とを備える。
【００４９】
間引き制御部１０９は、ＧＯＰ情報記憶部１０６から入力したＧＯＰ数と、破棄ピクチャ管理部１１２によるＧＯＰ（Ｎ）の破棄参照ピクチャ数の判定処理の結果から、復号するＧＯＰを決定する。復号ピクチャ判定部１０８は、順方向／逆方向再生制御部１１４から指示された再生方向と再生速度と、間引き制御部１０９が決定したＧＯＰの情報から次に復号するピクチャを決定する。領域割当部１１１は、メモリ１０３の空き状態から復号結果の格納先を決定して、書き込み制御部１１０に通知する。また、領域割当部１１１は、メモリ１０３内の各領域について破棄すべきか否かを判定し、破棄すべきと判定した領域については、メモリ１０３内の管理領域を更新する。例えば、領域割当部１１１は、参照保持画像格納領域１２１に格納された参照ピクチャを破棄する場合には、メモリ１０３内の管理領域における参照保持画像格納領域１２１に対応するフラグを"０"に更新する。書き込み制御部１１０は、領域割当部１１１から指定された領域に復号結果を書き込むよう画像復号部１０２を制御する。
【００５０】
画像復号部１０２は、復号処理制御部１０７が決定したピクチャを入力バッファ１０１から読み出し、復号する。また、画像復号部１０２は、復号処理制御部１０７から指定されたメモリ１０３内の領域に復号結果を格納する。画像復号部１０２は、図９の可変長復号部５、逆量子化部７、逆ＤＣＴ部９及び動き補償部１１に相当する構成を有する。尚、画像復号部１０２の構成の図示は、省略している。
【００５１】
順方向／逆方向再生制御部１１４は、復号処理制御部１０７と復号画像表示制御部１１５に対して再生方向と再生速度を指示する。復号画像表示制御部１１５は、順方向／逆方向再生制御部の指示に従って画像復号部１０２の出力結果の表示順序を決定し、表示ピクチャをメモリ１０３から読み出し、出力Ｉ／Ｆ１０４へ出力する。
【００５２】
図２〜図４は、本発明の実施の形態１にかかる逆方向で再生する場合の復号処理制御部１０７及び破棄ピクチャ管理部１１２の処理の流れを示すフローチャートである。また、図５及び図６は、本発明の実施の形態１にかかる逆方向再生時のＧＯＰの切り替わり付近の表示画像、復号画像及び参照保持画像等の関係を説明する図である。以下で図２〜図４の説明する際には適宜、図５及び図６を参照する。
【００５３】
まず、ステップＳ１０１で、入力ＧＯＰ数識別部１０５は、入力バッファ１０１に含まれているＧＯＰ数をカウントし、ＧＯＰ情報記憶部１０６に格納する。入力バッファ１０１に複数のＧＯＰが入力されている場合はステップＳ１０２に進み、１ＧＯＰのみの場合はステップＳ２０１に進む。
【００５４】
ステップＳ１０１から分岐したステップＳ２０１で、復号処理制御部１０７は、入力されている１ＧＯＰを先頭から復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。その後、ステップＳ１０８へ進む。尚、以下の説明では、入力バッファ１０１にＧＯＰ（Ｎ−１）とＧＯＰ（Ｎ）との２つのＧＯＰが格納されているものとする。
【００５５】
また、ステップＳ１０１から分岐したステップＳ１０２で、復号処理制御部１０７は、ＧＯＰ（Ｎ）の表示開始ピクチャまで復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。併せて、破棄ピクチャ管理部１１２は、表示開始ピクチャの復号までのメモリ１０３の管理を行い、ＧＯＰ（Ｎ）の破棄参照ピクチャ数を更新して、破棄参照ピクチャ情報記憶部１１３に格納する。
【００５６】
ここでは、ＧＯＰ（Ｎ）から逆方向で再生する場合とする。そのため、Ｐ１４を表示開始ピクチャとし、時刻ｔ０〜ｔ４において画像復号部１０２は、Ｉ２、Ｐ５、Ｐ８、Ｐ１１及びＰ１４を復号する。例えば、時刻ｔ０において画像復号部１０２は、他のピクチャを参照せずにＩ２を復号し、復号用画像格納領域１２０に格納する。そして、復号後のＩ２が格納された領域は、時刻ｔ１においては参照保持画像格納領域１２１として扱われる。時刻ｔ１において画像復号部１０２は、参照保持画像格納領域１２１に格納されたＩ２を参照してＰ５を復号し、復号用画像格納領域１２０に格納する。そして、Ｐ５が格納された復号用画像格納領域１２０は、時刻ｔ２においては参照保持画像格納領域１２２として扱われる。
【００５７】
時刻ｔ２において画像復号部１０２は、参照保持画像格納領域１２２に格納されたＰ５を参照してＰ８を復号し、復号用画像格納領域１２０に格納する。そして、Ｐ８の復号に続いてＰ１１を復号するに当たり、メモリ１０３内の各領域の全てにデータが格納されているため、領域割当部１１１は、Ｉ２の破棄を決定する。つまり、領域割当部１１１は、Ｉ２をメモリ１０３から破棄する。ここで、破棄ピクチャ管理部１１２は、破棄参照ピクチャ数を"１"として破棄参照ピクチャ情報記憶部１１３に格納する。同様に、時刻ｔ３及びｔ４において画像復号部１０２は、Ｐ１１及びＰ１４を復号し、Ｐ５及びＰ８が破棄される。そして、破棄ピクチャ管理部１１２は、破棄参照ピクチャ数を都度、"２"、その後"３"として破棄参照ピクチャ情報記憶部１１３を更新する。そして、時刻ｔ５の開始時点で、参照保持画像格納領域１２１及び１２２には、Ｐ１１及びＰ１４が格納された状態となる。
【００５８】
ステップＳ１０３で、復号画像表示制御部１１５は、メモリ１０３に格納されている復号済みの画像データを指定された再生方向に従って表示を開始する。例えば、時刻ｔ５において復号画像表示制御部１１５の読出し制御部１１７は、復号用画像格納領域１２０からＰ１４を読み出して、出力Ｉ／Ｆ１０４を介して復号画像ＯＵＴとして出力する。以後、復号画像表示制御部１１５は、復号処理と並行して表示対象の復号済みのピクチャを出力する。
【００５９】
ステップＳ１０４で、破棄ピクチャ管理部１１２は、メモリ１０３から表示済みの参照ピクチャが破棄されたか否かを判定する。例えば、時刻ｔ５においては、表示済みの参照ピクチャが破棄されていないため、ステップＳ３０１へ進む。
【００６０】
ステップＳ３０１で、破棄ピクチャ管理部１１２は、破棄参照ピクチャ情報記憶部１１３に格納されたＧＯＰ（Ｎ）の破棄参照ピクチャ数が"０"か否かを判定する。例えば、時刻ｔ５においてはＧＯＰ（Ｎ）の破棄参照ピクチャ数が"３"であるため、ステップＳ７０１へ進む。
【００６１】
ステップＳ７０１で、復号処理制御部１０７は、ＧＯＰ（Ｎ）の非参照ピクチャを復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。具体的には、復号処理制御部１０７は、メモリ１０３に保持されている参照ピクチャにより復号可能な非参照ピクチャを連続して復号する。例えば、時刻ｔ５においてメモリ１０３にはＰ１１及びＰ１４が保持されているため、復号処理制御部１０７は、Ｂ１３を復号し、続いて時刻ｔ６においてＢ１２を復号するように画像復号部１０２を制御する。
【００６２】
その後、ステップＳ７０２で、画像復号部１０２は、表示済みの参照ピクチャをメモリ１０３から破棄する。例えば、時刻ｔ６においてメモリ１０３に保持されていたＰ１４は、表示後にＢ１３及びＢ１２の復号時に参照された。しかし、その後はＧＯＰ（Ｎ）を逆方向で再生する限りでは他のピクチャから参照されることがない。よって、画像復号部１０２は、Ｂ１２の復号後から時刻ｔ７の開始時までの間に、メモリ１０３からＰ１４を破棄する。その後、ステップＳ１０４に戻る。
【００６３】
時刻ｔ７において、ステップＳ１０４では、破棄ピクチャ管理部１１２は、メモリ１０３から表示済みの参照ピクチャＰ１４が破棄されたと判定し、ステップＳ１０５へ進む。
【００６４】
ステップＳ１０５で、破棄ピクチャ管理部１１２は、破棄参照ピクチャ情報記憶部１１３に格納されたＧＯＰ（Ｎ）の破棄参照ピクチャ数が"０"か否かを判定する。例えば、時刻ｔ７においてはＧＯＰ（Ｎ）の破棄参照ピクチャ数が"３"であるため、ステップＳ４０１へ進む。
【００６５】
ステップＳ４０１で、破棄ピクチャ管理部１１２は、破棄参照ピクチャ情報記憶部１１３に格納されているＧＯＰ（Ｎ）の破棄参照ピクチャ数を読み出し、復号処理制御部１０７を介して破棄参照ピクチャ数分のＧＯＰ（Ｎ）の参照ピクチャを復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。また、破棄ピクチャ管理部１１２は、ＧＯＰ（Ｎ）の破棄参照ピクチャ数を更新し、破棄参照ピクチャ情報記憶部１１３に格納する。例えば、時刻ｔ７において破棄参照ピクチャ数が"３"であるため、復号処理制御部１０７は、ＧＯＰ（Ｎ）の参照ピクチャのうち先頭から３つであるＩ２、Ｐ５及びＰ８を復号するように画像復号部１０２を制御する。よって、時刻ｔ７〜ｔ９において画像復号部１０２は、Ｉ２、Ｐ５及びＰ８を復号する。これにより、復号処理制御部１０７は、復号すべき参照ピクチャを容易に特定でき、処理を効率化することができる。また、時刻ｔ９においてＰ８の復号後にＩ２及びＰ５がメモリ１０３から破棄されているため、破棄ピクチャ管理部１１２は、Ｐ８の復号後から時刻ｔ１０の開始時までに破棄参照ピクチャ数を"２"として破棄参照ピクチャ情報記憶部１１３を更新する。その後、ステップＳ１０４に戻る。
【００６６】
以後、同様に、時刻ｔ１０〜ｔ１３まで処理されることにより、破棄参照ピクチャ数が"１"となり、時刻ｔ１４〜ｔ１６まで処理されることにより、破棄参照ピクチャ数が"０"となる。特に、時刻ｔ１６において、破棄参照ピクチャ数が"１"であるため、復号処理制御部１０７は、ＧＯＰ（Ｎ）の参照ピクチャのうち先頭から１つであるＩ２を復号するように画像復号部１０２を制御する。よって、時刻ｔ１６において画像復号部１０２は、Ｉ２を復号する。また、時刻ｔ１６においてＩ２の復号後には参照ピクチャがメモリ１０３から破棄されていないため、破棄ピクチャ管理部１１２は、Ｉ２の復号後から時刻ｔ１７の開始時までに破棄参照ピクチャ数を"０"として破棄参照ピクチャ情報記憶部１１３を更新する。その後、ステップＳ１０４に戻る。
【００６７】
時刻ｔ１７において、ステップＳ１０４では、破棄ピクチャ管理部１１２は、メモリ１０３から表示済みの参照ピクチャが破棄されていないと判定し、ステップＳ３０１へ進む。
【００６８】
時刻ｔ１７において、ステップＳ３０１で、破棄ピクチャ管理部１１２は、破棄参照ピクチャ情報記憶部１１３に格納されたＧＯＰ（Ｎ）の破棄参照ピクチャ数が"０"であるため、ステップＳ３０２へ進む。
【００６９】
ステップＳ３０２で、復号処理制御部１０７は、ＧＯＰ（Ｎ−１）の参照ピクチャを復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。ここで、ＧＯＰ（Ｎ）のＢ１及びＢ０を復号するためには、復号済みのＰ'１４が必要である。そこで、例えば、時刻ｔ１７において復号処理制御部１０７は、ＧＯＰ（Ｎ−１）の参照ピクチャＩ'２を復号するように画像復号部１０２を制御する。
【００７０】
ステップＳ３０３で、領域割当部１１１は、メモリ１０３から参照ピクチャを１枚破棄し、破棄ピクチャ管理部１１２は、破棄されたピクチャが属するＧＯＰ（Ｎ）の破棄参照ピクチャ数を更新する。但し、ここでは、破棄すると決定された参照ピクチャのデータ自体は参照保持画像格納領域１２１又は１２２に保持されているものとする。そのため、実際に次のピクチャの復号結果により上書きされる前に、読出し制御部１１７が表示用にメモリ１０３から参照ピクチャを読み出し、出力Ｉ／Ｆ１０４へ出力できる。例えば、時刻ｔ１７においてＩ'２の復号に続いてＰ'５を復号するに当たり、領域割当部１１１はＰ５の破棄を決定する。但し、Ｐ５は次の時刻ｔ１８で表示に用いられるため破棄参照ピクチャに当たらず、表示済みの参照ピクチャとして扱われるものとする。そこで、破棄ピクチャ管理部１１２は、破棄参照ピクチャ数を"０"として破棄参照ピクチャ情報記憶部１１３を更新する。その後、ステップＳ１０４に戻る。
【００７１】
時刻ｔ１８において、ステップＳ１０４では、破棄ピクチャ管理部１１２は、メモリ１０３から表示済みの参照ピクチャＰ５が破棄されたと判定し、ステップＳ１０５へ進む。
【００７２】
時刻ｔ１８において、ステップＳ１０５で、破棄ピクチャ管理部１１２は、ＧＯＰ（Ｎ）の破棄参照ピクチャ数が"０"であるため、ステップＳ１０６へ進む。
【００７３】
ステップＳ１０６で、復号ピクチャ判定部１０８は、ＧＯＰ（Ｎ−１）の最後尾の参照ピクチャが復号済みか否かを判定する。例えば、時刻ｔ１８においてメモリ１０３にはＧＯＰ（Ｎ−１）の最後尾の参照ピクチャであるＰ'１４が未格納であるため、ステップＳ５０１に進む。
【００７４】
ステップＳ５０１で、復号処理制御部１０７は、ＧＯＰ（Ｎ−１）の参照ピクチャを復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。例えば、時刻ｔ１８において復号処理制御部１０７は、ＧＯＰ（Ｎ−１）の参照ピクチャＰ'５を復号するように画像復号部１０２を制御する。よって、時刻ｔ１８において画像復号部１０２は、Ｐ'５を復号する。
【００７５】
ステップＳ５０２で、領域割当部１１１は、メモリ１０３から参照ピクチャを１枚破棄し、破棄ピクチャ管理部１１２は、破棄されたピクチャが属するＧＯＰ（Ｎ−１）の破棄参照ピクチャ数を更新する。例えば、時刻ｔ１８においてＰ'５の復号に続いてＰ'８を復号するに当たり、領域割当部１１１はＩ'２の破棄を決定する。そこで、破棄ピクチャ管理部１１２は、Ｐ'５の復号後から時刻ｔ１９の開始時までに、破棄されたＩ'２の属するＧＯＰ（Ｎ−１）の破棄参照ピクチャ数を"１"として破棄参照ピクチャ情報記憶部１１３を更新する。その後、ステップＳ１０６に戻る。
【００７６】
以後、同様に、時刻ｔ１９〜ｔ２１までステップＳ１０６、Ｓ５０１及びＳ５０２が繰り返し処理されることにより、ＧＯＰ（Ｎ−１）の最後尾の参照ピクチャであるＰ'１４がメモリ１０３に格納される。よって、時刻ｔ２２においてステップＳ１０７へ進む。
【００７７】
ステップＳ１０７で、復号処理制御部１０７は、ＧＯＰ（Ｎ）の非参照ピクチャを復号するよう画像復号部１０２に指示し、画像復号部１０２が復号する。具体的には、復号処理制御部１０７は、メモリ１０３に保持されている参照ピクチャにより復号可能な非参照ピクチャを連続して復号する。例えば、時刻ｔ２２においてメモリ１０３にはＩ２及びＰ'１４が保持されているため、復号処理制御部１０７は、Ｂ１を復号し、続いて時刻ｔ２３においてＢ０を復号するように画像復号部１０２を制御する。その後、ステップＳ１０８へ進む。
【００７８】
ステップＳ１０８で、復号処理制御部１０７は、次のＧＯＰ（Ｎ−１）の入力を要求する。
【００７９】
ここで、図１３と図６とを比較して本発明の実施の形態１にかかる効果を説明する。上述した通り、図１３は、図１２に示した符号化画像データを特許文献１の画像再生装置１により復号した場合の表示画像と参照画像と復号画像を表した図である。また、図６は、図１２に示した符号化画像データを本発明の実施の形態１にかかる動画像再生装置１００により復号した場合の表示画像と参照画像と復号画像を表した図である。
【００８０】
特許文献１では、ＧＯＰ（Ｎ）に含まれるピクチャの復号を完了したタイミングＡでＧＯＰ（Ｎ−１）に属する参照ピクチャ（Ｉ'２）の復号を開始する。一方、本発明の実施の形態１では、ＧＯＰ（Ｎ）のＰ５とＩ２の復号と保持を完了したタイミングＢで破棄参照ピクチャ数が"０"となり、特許文献１においてＧＯＰ（Ｎ）のＢ４を復号していたタイミングでＧＯＰ（Ｎ−１）に属する参照ピクチャ（Ｉ'２）の復号を開始する。つまり、本発明の実施の形態１では、Ｂ４及びＢ３の復号を行っていない。また、タイミングＢはタイミングＡに比べて２時刻早い。そして、Ｂ４を復号する予定であることを、破棄参照ピクチャ数を使用して検出している。すなわち、ＧＯＰ（Ｎ）に属する参照ピクチャの復号状況をチェック（ステップＳ１０５及びステップＳ３０１）することで、ＧＯＰ（Ｎ）に属する参照ピクチャの復号とメモリへの保持が完了したタイミングＢを検出する。そして、タイミングＢからＧＯＰ（Ｎ−１）に属するピクチャの復号を開始する（ステップＳ３０２及びステップＳ５０１）ことで、ＧＯＰをまたいだ間引き処理を行うことができるようになる。これにより、Ｉ２の表示回数が減り、再生速度のばらつきが抑えられた滑らかな再生となる。
【００８１】
以上、説明したとおり、本発明ではＧＯＰ（Ｎ−１）の復号開始タイミングを早め、ＧＯＰ（Ｎ）とＧＯＰ（Ｎ−１）の境界のピクチャの表示回数を削減することにより、再生速度のばらつきが抑えられた滑らかな再生が実現できる効果がある。
【００８２】
尚、本発明の実施の形態１では、逆方向の再生時において破棄参照ピクチャ数を動的に算出している。そのため、ＧＯＰのピクチャ数が上述の例以外であっても柔軟に対応できる。
【００８３】
尚、本発明の実施の形態１にかかる動画像再生装置１００は、次のような側面を有する。すなわち、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定する。例えば、ＧＯＰ（Ｎ）の第１のピクチャを（Ｂ１３又はＢ１２）を復号する際に参照される参照ピクチャ（Ｐ１１及びＰ１４）を復号するために参照されたピクチャ（Ｉ２、Ｐ５、Ｐ８）の数は、上述した破棄参照ピクチャ数を用いた場合には"３"となる。このとき、時刻ｔ７〜ｔ９において復号すべき第２のピクチャをＩ２、Ｐ５、Ｐ８の順と決定することができる。
【００８４】
また、ＧＯＰ（Ｎ）の第１のピクチャ（Ｂ４又はＢ３）を復号する際に参照される参照ピクチャ（Ｉ２及びＰ５）を復号するために参照されたピクチャの数は、上述した破棄参照ピクチャ数を用いた場合には"０"となる。このとき、時刻ｔ１７〜ｔ２１において復号すべき第２のピクチャをＩ'２、Ｐ'５、Ｐ'８、Ｐ'１１、Ｐ'１４の順と決定することもできる。
【００８５】
特に、表示対象のピクチャを復号する際に参照するために復号され、その後メモリから破棄された参照ピクチャの数である破棄参照ピクチャ数を計測する計測部をさらに備え、前記復号処理制御部は、前記破棄参照ピクチャ数に基づいて、前記第２のピクチャを決定することが望ましい。
【００８６】
また、前記復号処理制御部は、前記破棄参照ピクチャ数が所定数未満の場合に、前記逆方向の再生順で、前記複数のピクチャの圧縮及び伸張を行う処理単位であるピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを前記第２のピクチャとして決定するとよい。
【００８７】
さらに、前記復号処理制御部は、前記破棄参照ピクチャ数が所定数以上の場合に、当該破棄参照ピクチャ数分の参照ピクチャを復号し、その間に前記メモリから破棄された参照ピクチャの数により前記破棄参照ピクチャ数を更新するとよい。
【００８８】
＜発明の実施の形態２＞
本発明の実施の形態２では、本発明の実施の形態１に改良を加え、復号処理制御部は、前記メモリに格納可能な参照ピクチャ数をさらに考慮して復号処理の制御を行うものである。これにより、メモリ１０３の参照保持画像格納領域の数が３以上の場合であっても適切にＧＯＰ（Ｎ−１）の参照ピクチャの復号を開始すべきタイミングを検出できる。具体的には、メモリ１０３の容量に応じて余剰メモリ数を設定しておき、破棄参照ピクチャ数と余剰メモリ数との関係に応じて処理を分岐させる。
【００８９】
例えば、図４のステップＳ３０１の前に、以下の処理を追加する。まず、破棄ピクチャ管理部１１２は、ＧＯＰ（Ｎ）の表示開始時のＧＯＰ（Ｎ）の破棄参照ピクチャ数と余剰メモリ数を比較し、破棄参照ピクチャ数の方が大きい場合はステップＳ３０１に進み、そうでなかった場合は次のステップＳ６０１に進む。
【００９０】
ステップＳ３０１から分岐したステップＳ６０１で、復号処理制御部１０７は、メモリ１０３に格納されている参照ピクチャをチェックし、メモリ１０３に格納されている参照ピクチャでＧＯＰ（Ｎ）の非参照ピクチャを復号可能であればステップＳ７０１に進み、そうでなければステップＳ１０４に戻る。
【００９１】
これにより、実施の形態１をメモリ１０３の参照保持画像格納領域の数が３以上の場合にも適用することができる。よって、様々なメモリ容量を有する動画像再生装置１００に対しても適用することができる。
【００９２】
＜発明の実施の形態３＞
本発明の実施の形態３では、復号処理制御部は、ピクチャ集合の属するピクチャ数とメモリに格納可能な参照ピクチャ数とにより予め定められた非参照ピクチャを復号しようとする場合に、当該非参照ピクチャの復号に代えて、復号処理の制御を行うものである。例えば、図１２の符号化画像データの場合、つまり、ＧＯＰのピクチャ数が"１５"で周期が"３"の場合には、ＧＯＰ（Ｎ）のＢ４を復号しようとするタイミングを検出し、そのときに、Ｂ４の復号に代えて、ＧＯＰ（Ｎ−１）のＩ'２等の復号を開始すればよい。
【００９３】
そのため、予め符号化画像データの仕様に対応して検出すべきピクチャを定義したテーブルを動画像再生装置１００に備えることで、実施の形態１と同等の効果が実現できる。さらに、本発明の実施の形態３では、破棄参照ピクチャ数の算出・管理が不要なため、回路規模を抑え、処理コストを軽減できる。また、複数の符号化画像データの仕様に対応させるには、それに応じて予め複数の定義をしておけば実現できる。
【００９４】
＜発明の実施の形態４＞
本発明の実施の形態４は、本発明の効果が得られる最小限の構成について説明するものである。図７は、本発明の実施の形態４にかかる半導体集積回路２０１を搭載した動画像再生装置２００の構成を示すブロック図である。動画像再生装置２００は、外部から符号化画像データＩＮを入力し、逆方向に再生するための復号後に、復号画像ＯＵＴとして外部へ出力する。動画像再生装置２００は、半導体集積回路２０１を備える。
【００９５】
半導体集積回路２０１は、ピクチャ集合内の参照ピクチャのうち時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する代わりに、逆方向で当該ピクチャ集合の次に再生されるピクチャ集合に属する参照ピクチャを復号するように制御する復号処理制御部２０２を備える。
【００９６】
図８は、本発明の実施の形態４にかかる復号処理制御部２０２の処理の流れを示すフローチャートである。尚、ここでは、動画像再生装置２００における外部とのデータの入出力やその他一般的な逆方向の再生に関する処理については説明を省略する。また、図８では、説明のため、１つのピクチャを復号する処理に限定しているが、複数のピクチャを連続して逆方向に再生する場合を対象としており、その場合、当該フローをピクチャごとに繰り返せばよい。
【００９７】
まず、復号処理制御部２０２は、ＧＯＰ（Ｎ）の特定のピクチャが復号予定であることを検出したか否かを判定する（ステップＳ８０１）。具体的には、復号処理制御部２０２は、ピクチャ集合内の参照ピクチャのうち時系列で先頭の第１参照ピクチャと、当該第１参照ピクチャの次の参照ピクチャである第２参照ピクチャとを直接参照することにより復号可能な非参照ピクチャを復号する予定であるか否かを判定する。つまり、当該非参照ピクチャを特定のピクチャとして判定する。
【００９８】
ステップＳ８０１で検出された場合、復号処理制御部２０２は、ＧＯＰ（Ｎ−１）の参照ピクチャを復号する（ステップＳ８０２）。また、ステップＳ８０１で検出されなかった場合、復号処理制御部２０２は、逆方向の再生順序に応じてＧＯＰ（Ｎ）のピクチャを復号する（ステップＳ８０３）。
【００９９】
このように本発明の実施の形態４により、ＧＯＰ境界付近での再生速度のばらつき抑制して滑らかな再生を実現することができる。
【０１００】
＜発明の実施の形態５＞
また、本発明の実施の形態５は、本発明の効果が得られる最小限の他の構成について説明するものである。尚、本発明の実施の形態５にかかる動画像再生装置２００、半導体集積回路２０１及び復号処理制御部２０２の構成は、図７と同等であるため、図示を省略する。本発明の実施の形態５にかかる半導体集積回路２０１は、動画像データのフレーム間の相関関係を利用して符号化された複数のピクチャを時系列と逆方向に再生する場合に、第１のピクチャを復号する際に参照される参照ピクチャを復号するために参照されたピクチャの数に基づいて、当該第１のピクチャの次に復号される第２のピクチャを決定するものである。
【０１０１】
これにより、間接的に参照されたピクチャ数に応じて適切な第２のピクチャを決定することができる。
【０１０２】
＜その他の発明の実施の形態＞
本発明は、デジタルＡＶ機器に関し、特にＤＶＤやハードディスクなどの記録媒体に記録されている符号化画像データの再生機器の逆方向再生方法として適用することもできる。
【０１０３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、本発明は、符号化された動画像データを復号して出力する動画像再生装置であって、逆方向再生する場合において、破棄ピクチャ管理部と、復号ピクチャ判定部とを具備する。当該動画像再生装置は、一つのピクチャの表示毎に破棄した参照ピクチャの数を計測し、破棄した参照ピクチャの数が０のときに、現在再生中のＧＯＰに含まれる、次に復号予定であった非参照ピクチャを復号せずに、一つ前の時刻のＧＯＰに含まれる参照ピクチャを復号する。これにより、一つ前の時刻のＧＯＰの復号開始タイミングが早まり、現在再生中のＧＯＰとの境界のピクチャの繰り返し表示回数が削減され、再生速度のばらつきが抑えられた滑らかな再生が実現できる効果がある。
【０１０４】
尚、本発明は以下のように表現することもできる。すなわち、符号化された動画像データを復号して出力する動画像再生装置であって、前記動画像再生装置による逆方向再生を行う場合において、破棄した参照ピクチャの数を一つのピクチャの表示毎に計測する破棄ピクチャ管理部と、前記該破棄ピクチャ管理部における計測結果に基づいて次に復号するピクチャを決定する復号ピクチャ判定部とを有することを特徴とする動画像再生装置。
【０１０５】
さらに、上記復号ピクチャ判定部において、破棄ピクチャ管理部で破棄した参照ピクチャの数が０の時に現在再生中のＧＯＰに含まれる次に復号予定であった非参照ピクチャを復号しないピクチャとし、一つ前の時刻のＧＯＰに含まれる参照ピクチャを復号するピクチャと決定することを特徴とする動画像再生装置。
【０１０６】
また、符号化された動画像データを復号して出力する動画像再生方法であって、前記動画像再生装置による逆方向再生を行う場合において、破棄した参照ピクチャの数を一つのピクチャの表示毎に計測するステップと、前記破棄した参照ピクチャの数が０の時に現在再生中のＧＯＰに含まれる次に復号予定であった非参照ピクチャを復号しないピクチャとし、一つ前の時刻のＧＯＰに含まれる参照ピクチャを復号するピクチャと決定するステップとを有することを特徴とする動画像再生方法。
【符号の説明】
【０１０７】
１  画像再生装置
３  入力バッファ
５  可変長復号部
７  逆量子化部
９  逆ＤＣＴ部
１１  動き補償部
１３  出力Ｉ／Ｆ部
１５  メモリＩ／Ｆ部
１７  メモリ
２１  書込み制御部
２３  順方向／逆方向再生制御部
２５  読出し制御部
２７  間引き制御部
２９  領域割当部
３１  再生順序記憶部
１００  動画像再生装置
１０１  入力バッファ
１０２  画像復号部
１０３  メモリ
１０４  出力Ｉ／Ｆ
１０５  入力ＧＯＰ数識別部
１０６  ＧＯＰ情報記憶部
１０７  復号処理制御部
１０８  復号ピクチャ判定部
１０９  間引き制御部
１１０  書込み制御部
１１１  領域割当部
１１２  破棄ピクチャ管理部
１１３  破棄参照ピクチャ情報記憶部
１１４  順方向／逆方向再生制御部
１１５  復号画像表示制御部
１１６  再生順序記憶部
１１７  読出し制御部
１２０  復号用画像格納領域
１２１  参照保持画像格納領域
１２２  参照保持画像格納領域
ＩＮ  符号化画像データ
ＯＵＴ  復号画像
２００  動画像再生装置
２０１  半導体集積回路
２０２  復号処理制御部
【図１】
2013085067.tif 000003
【図２】
2013085067.tif 000004
【図３】
2013085067.tif 000005
【図４】
2013085067.tif 000006
【図５】
2013085067.tif 000007
【図６】
2013085067.tif 000008
【図７】
2013085067.tif 000009
【図８】
2013085067.tif 000010
【図９】
2013085067.tif 000011
【図１０】
2013085067.tif 000012
【図１１】
2013085067.tif 000013
【図１２】
2013085067.tif 000014
【図１３】
2013085067.tif 000015