(57)【要約】【課題】複数の動画像を復号する動画像復号装置、それに用いる動画像復号方法、及び復号プログラムを提供する。【解決手段】多量の動画像を表示する際に、動画像を構成するピクチャの種類毎に復号処理の遅延量を算出し、遅延を判定することで、各ピクチャに係る復号処理の時間の違いと、各ピクチャの復号処理の終了時刻から表示時刻までの間隔の変動とによって起こる遅延量に柔軟に対応して復号に係る遅延を正確に検知し、遅延の度合いに応じて復号処理を一部省略し滞りなく多量の動画像の復号処理を行う。【選択図】図２
2011155486.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ 復 号する動画像復号装置であって、
前記動画像を記憶する第１の記憶部と、
前記動画像の入出を切替る切替部と、
前記動画像を前記ピクチャ単位毎に復号する復号部と、
前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶部と、
前記切替部と前記復号部とを制御する制御部と、
前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶部と
を備え、
前記制御部は、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出し、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定し、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定し、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減することを特徴とする動画像復号装置。
【請求項２】
前記復号処理の遅延の発生の度合いは、遅延の大きさ、発生頻度又は増加率に基づいて定められ、段階的に形成することを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
前記制御部は、前記復号処理の遅延の発生の度合いに応じて、特定の種類の前記ピクチャの復号に係る処理を省略することを特徴とする請求項１又は２に記載の動画像復号装置。
【請求項４】
前記制御部は、前記復号処理の遅延の発生の度合いに応じて、特定の種類の前記ピクチャの表示処理を省略することを特徴とする請求項１乃至３の何れか１項に記載の動画像復号装置。
【請求項５】
時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号装置であって、
前記動画像を記憶する第１の記憶部と、
前記動画像の入出を切替る切替部と、
前記動画像を前記ピクチャ単位毎に復号する復号部と、
前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶部と、
前記切替部と前記復号部とを制御する制御部と、
前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶部と
を備え、
前記制御部は、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出し、前記ピクチャ毎に累積された前記遅延量を加重平均し、加重平均された遅延量と前記第３の記憶部に記録された前記閾値と比較し、復号に係る遅延を判定し、前記判定に基づき前記復号処理の遅延の発生の度合を設定し、前記設定に応じて復号に係る処理を低減することを特徴とする動画像復号装置。
【請求項６】
前記制御部は、前記ピクチャの前記表示時刻を遅らせて前記複数のピクチャを表示すること特徴とする請求項１乃至５の何れか１項に記載の動画像復号装置。
【請求項７】
時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号方法であって、
前記動画像を記憶する第１の記憶ステップと、
前記動画像の入出を切替る切替ステップと、
前記動画像を前記ピクチャ単位毎に復号する復号ステップと、
前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶ステップと、
前記切替部と前記復号部とを制御する制御ステップと、
前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶ステップと
を備え、
前記制御ステップは、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出する算出ステップと、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定する判定ステップと、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定する設定ステップと、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減する低減ステップとを備えることを特徴とする動画像復号方法。
【請求項８】
時間的に連続する複数のフレーム画像から成る動画像データを復号する動画像復号方法をコンピュータに実行させる復号プログラムであって、
前記動画像を記憶する第１の記憶ステップと、
前記動画像の入出を切替る切替ステップと、
前記動画像を前記ピクチャ単位毎に復号する復号ステップと、
前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶ステップと、
前記切替部と前記復号部とを制御する制御ステップと、
前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶ステップと
を備え、
前記制御ステップは、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出する算出ステップと、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定する判定ステップと、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定する設定ステップと、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減する低減ステップと、を実行させる復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の動画像を同時に表示するための動画像復号装置、それに用いる動画像復号方法、及び復号プログラムに関する。
【背景技術】
【０００２】
放送のデジタル化による動画像の放送やインターネットによる動画像の配信等の普及により、一般に流通する動画像は増加する傾向にある。またハードディスク・ドライブ等の記憶媒体の大容量化が進み、家庭において多くの動画像を記録し蓄積できるようになり、家庭における動画像の視聴の仕方も変化してきている。
【０００３】
一般に、放送や配信によって提供された、時系列に連続する画像（動画像）はデジタル信号の情報として取り扱われる。その際に、効率の高い情報の放送、配信又は蓄積を目的とし、時間方向の冗長性を利用して動き補償予測が行なわれ、さらに、空間方向の冗長性を利用して離散コサイン変換等の直交変換が用いられる。このように時間的・空間的冗長性を利用して圧縮符号化するＭＰＥＧ（Moving Picture Experts Group）符号化方式に準拠した装置が普及している。画像の性質として、図柄が入り組んで且つ濃淡がはっきりした画像は情報量が多く冗長性が少ない。一方、一様な図柄は情報量が少なく、図柄の周辺には連続性が冗長部分を省略することで画像のデータ量を少なくすることができる。
【０００４】
ＭＰＥＧ-２（ＩＳＯ／ＩＥＣ１３８１８-２）符号化方式は、動画像の汎用圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応している。光ディスクであるＤＶＤ（Digital Versatile Disk）等のデジタルＶＴＲによる磁気テープなどの蓄積メディアや、デジタル放送等のアプリケーションとして広く用いられている。
【０００５】
また、ネットワーク伝送や携帯端末等のアプリケーションにおいて、より高い符号化効率を目標とする、ＭＰＥＧ-４（ＩＳＯ／ＩＥＣ １４４９６-２）符号化方式の標準化が行われている。更に、ＭＰＥＧ-４ ＡＶＣ／Ｈ.２６４（以下、Ｈ．２６４と称す）符号化方式が国際標準として制定され、従来のＭＰＥＧ-２やＭＰＥＧ-４等の符号化方式に比べ、より高い符号化効率を実現している。
【０００６】
ＭＰＥＧ符号化方式において、イントラ符号化とインター符号化の２つの方式がある。イントラ符号化は、時系列に前後に存在する他のフレーム画像を参照せず、他のフレーム画像とは無関係にフレーム画像内だけで符号化する。この符号化されるフレーム画像をＩピクチャ（Ｉフレーム）と称する。一方、インター符号化は、時系列に前後に存在する他のフレーム画像を参照し、フレーム画像間の冗長性の予測によって、時系列に存在する前後のフレーム画像から予測される値との差分を符号化する。時系列順方向に予測されるフレーム画像をＰピクチャ（Ｐフレーム）と称し、また、時系列双方向に予測するフレーム画像をＢピクチャ（Ｂフレーム）と称する（以下、これらのピクチャの種類をピクチャ符号化タイプと称する）。
【０００７】
近年、ＭＰＥＧ符号化方式を始めとして、様々な符号化による動画像の圧縮技術が進むにつれて、ユーザーは膨大な数の動画像を記録し蓄積する傾向にある。ユーザーが所望する動画像を記録された膨大の数の動画像から直感的に検索することを可能にするためには大量の動画像を表示画面上に一覧できるようにすることが要求されており、動画像サムネール等のマルチ表示が複数の動画像の同時検索に有効である。動画像サムネールのマルチ表示を実現するためには、同時に圧縮符号化された動画像を複数個再生する必要がある。
【０００８】
一般に動画像は、動画像を構成するフレーム画像（ピクチャ）単位で再生され、１秒間に所定の表示速度（フレームレート）で表示される。このために動画像の復号処理もフレーム画像単位で所定の時間内に各フレーム画像の表示が完了することが要求される（以下、リアルタイム制約と称する）。各フレーム画像（ピクチャ）毎に対応して存在する固有の表示時刻までにそれぞれのフレーム画像の復号処理が間に合わない場合、復号処理が表示時刻に間に合わなかったフレーム画像は表示されないことになる。この場合、リアルタイム制約を満たせずに動画像の表示の遅れやフレーム画像落ち等、ユーザーに明確に認識できる不具合が生じる。更に、情報量の多いフレーム画像の復号処理が頻発すると、復号処理の時間的な遅れが連続して発生し、復号処理全体として遅れが蓄積して、復号装置を有する装置の全体の動作及び機能が破綻する原因となる可能性がある。
【０００９】
このような問題に対し、所定のフレーム画像数を時間監視の範囲として、各フレーム画像の処理時間と表示時間との差分を累算し、累算遅延を算出し、時間的に復号処理が破綻したか否かを判定する技術が、特許文献１において提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１７０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
動画像の復号に係る処理量は時間的に変動し、更に、ピクチャ符号化タイプ毎に復号に係る処理量は異なる。Ｉピクチャでは、Ｉピクチャを構成する画素データが全て符号化されるのに対して、Ｐピクチャ又はＢピクチャでは、時間的に前後して存在する他のピクチャを参照し変化の少ない部分の符号化を省略できるため、Ｉピクチャと比較して復号に係る処理量は少なくなる。また、３つのピクチャ符号化タイプのうち、Ｉピクチャの動画像における出現率は、Ｐピクチャ及びＢピクチャに比べて低くなる。従って、動画像の復号処理の遅延量を累算する際の所定期間において、Ｐピクチャ及びＢピクチャの復号に係る処理の遅延量は増加し、Ｉピクチャの復号に係る処理の遅延量は増加しない場合が起こり得る。 
【００１２】
従って、Ｉピクチャの復号処理が完了する前に、Ｉピクチャの表示時刻に到達している状態でも、遅延の累算値が設定した閾値を超えない場合が生じ、復号処理の遅延の判定が正確に行えないという課題があった。
【００１３】
また、動画動のおける複数のピクチャ（ピクチャ符号化タイプ）の復号される順序（復号順）と、表示される順序（表示順）とは異なる。また、各ピクチャは復号された後に並び替えて表示されるため、従来の技術では復号処理の遅延が発生しているか否かの判定が正確に行えないという課題があった。
【００１４】
本発明は、上述のごとき実情に鑑みてなれたもので、複数の動画像を表示する際に、動画像を構成するピクチャの種類毎に復号処理の遅延量を算出し、遅延を判定することで、各ピクチャに係る復号処理の時間の違いと、各ピクチャの復号処理の終了時刻から表示時刻までの間隔の変動とによって起こる遅延量に柔軟に対応して復号に係る遅延を正確に検知し、復号処理の遅延の度合いに応じて復号処理を一部省略して滞りなく複数の動画像の復号処理を行う動画像復号装置、それに用いる動画像復号方法、及び復号プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
上述した課題を解決するために本発明に係る動画像復号装置の各構成は、次の通りである。
【００１６】
本発明の動画像復号装置は、時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号装置であって、前記動画像を記憶する第１の記憶部と、前記動画像の入出を切替る切替部と、前記動画像を前記ピクチャ単位毎に復号する復号部と、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶部と、前記切替部と前記復号部とを制御する制御部と、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶部とを備え、前記制御部は、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出し、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定し、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定し、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減することを特徴とするものである。
【００１７】
また、本発明の動画像復号装置における復号処理の遅延の発生の度合いは、遅延の大きさ、発生頻度及び増加率に基づいて定められ、段階的に形成することを特徴とするものである。
【００１８】
また、本発明の動画像復号装置の制御部は、前記復号処理の遅延の発生の度合いに応じて、特定の種類の前記ピクチャの復号に係る処理を省略することを特徴とするものである。
【００１９】
また、本発明の動画像復号装置の制御部は、前記復号処理の遅延の発生の度合いに応じて、特定の種類の前記ピクチャの表示処理を省略することを特徴とするものである。
【００２０】
また、本発明の動画像復号装置は、時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号装置であって、前記動画像を記憶する第１の記憶部と、前記動画像の入出を切替る切替部と、前記動画像を前記ピクチャ単位毎に復号する復号部と、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶部と、前記切替部と前記復号部とを制御する制御部と、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶部とを備え、前記制御部は、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出し、前記ピクチャ毎に累積された前記遅延量を加重平均し、加重平均された遅延量と前記第３の記憶部に記録された前記閾値と比較し、復号に係る遅延を判定し、前記判定に基づき前記復号処理の遅延の発生の度合を設定し、前記設定に応じて復号に係る処理を低減することを特徴とするものである。
【００２１】
また、本発明の動画像復号装置の制御部は、前記ピクチャの前記表示時刻を遅らせて前記複数のピクチャを表示すること特徴とするものである。
【００２２】
また、本発明の動画像復号方法は、時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号方法であって、前記動画像を記憶する第１の記憶ステップと、前記動画像の入出を切替る切替ステップと、前記動画像を前記ピクチャ単位毎に復号する復号ステップと、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶ステップと、前記切替部と前記復号部とを制御する制御ステップと、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶ステップとを備え、前記制御ステップは、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出する算出ステップと、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定する判定ステップと、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定する設定ステップと、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減する低減ステップとを備えることを特徴とするものである。
【００２３】
また、本発明の復号プログラムは、時間的に連続する複数のフレーム画像から成る動画像データを復号する動画像復号方法をコンピュータに実行させる復号プログラムであって、前記動画像を記憶する第１の記憶ステップと、前記動画像の入出を切替る切替ステップと、前記動画像を前記ピクチャ単位毎に復号する復号ステップと、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶ステップと、前記切替部と前記復号部とを制御する制御ステップと、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶ステップとを備え、前記制御ステップは、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出する算出ステップと、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定する判定ステップと、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定する設定ステップと、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減する低減ステップと、を実行させることを特徴とするものである。
【発明の効果】
【００２４】
本発明によれば、動画像復号装置は、時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号装置であって、前記動画像を記憶する第１の記憶部と、前記動画像の入出を切替る切替部と、前記動画像を前記ピクチャ単位毎に復号する復号部と、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶部と、前記切替部と前記復号部とを制御する制御部と、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶部とを備え、前記制御部は、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出し、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定し、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定し、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減することで、ピクチャ符号化タイプ毎に正確に遅延を検知でき、復号処理の遅延の発生の度合いが段階的に認識されて復号に係る処理を度合いに応じて省略できるため、リアルタイム制約を満たして複数の動画像を同時に再生できるという優れた効果を奏し得る。
【００２５】
本発明によれば、動画像復号装置における復号処理の遅延の発生の度合いは、遅延の大きさ、発生頻度及び増加率に基づいて定められ、段階的に形成することで動画像の品質が一様でない場合にも、正確に遅延を判定でき、復号処理の遅延の発生の度合いを柔軟にランク付けできるため、リアルタイム制約を満たす複数の動画像の再生が可能になるという優れた効果を奏し得る。
【００２６】
本発明によれば、動画像復号装置の制御部は、前記復号処理の遅延の発生の度合いに応じて、特定の種類の前記ピクチャの復号に係る処理を省略することで、復号の処理量が大きいピクチャの復号処理を省略してリアルタイム制約を満たしながら動画像の再生できるという優れた効果を奏し得る。
【００２７】
本発明によれば、動画像復号装置の制御部は、前記復号処理の遅延の発生の度合いに応じて、特定の種類の前記ピクチャの表示処理を省略することで、動画像の表示品質が下げて複数の動画像が完全に再生不能に陥ることを防ぐことができるという優れた効果を奏し得る。
【００２８】
本発明によれば、動画像復号装置は、時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号装置であって、前記動画像を記憶する第１の記憶部と、前記動画像の入出を切替る切替部と、前記動画像を前記ピクチャ単位毎に復号する復号部と、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶部と、前記切替部と前記復号部とを制御する制御部と、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶部とを備え、前記制御部は、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出し、前記ピクチャ毎に累積された前記遅延量を加重平均し、加重平均された遅延量と前記第３の記憶部に記録された前記閾値と比較し、復号に係る遅延を判定し、前記判定に基づき前記復号処理の遅延の発生の度合を設定し、前記設定に応じて復号に係る処理を低減することで、動画像の映像品質に著しいバラツキを含んでいる場合にもピクチャ符号化タイプ毎の遅延を正確に算出でき、復号に係る処理を省略することでリアルタイム制約を満たしながら動画像の再生できるという優れた効果を奏し得る。
【００２９】
本発明によれば、動画像復号装置の制御部は、前記ピクチャの前記表示時刻を遅らせて前記複数のピクチャを表示することで、制御部の処理の負荷を軽減でき、制御部の動作周波数が下がり発熱や消費電力を低減することができるという優れた効果を奏し得る。
【００３０】
本発明によれば、動画像復号方法は、時間的に連続する複数のピクチャから成る動画像を、少なくとも１つ復号する動画像復号方法であって、前記動画像を記憶する第１の記憶ステップと、前記動画像の入出を切替る切替ステップと、前記動画像を前記ピクチャ単位毎に復号する復号ステップと、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶ステップと、前記切替部と前記復号部とを制御する制御ステップと、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶ステップとを備え、前記制御ステップは、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出する算出ステップと、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定する判定ステップと、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定する設定ステップと、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減する低減ステップとを備えることで、ピクチャ符号化タイプ毎に正確に遅延を検知でき、復号処理の遅延の発生の度合いが段階的に認識されて復号に係る処理を度合いに応じて省略できるため、リアルタイム制約を満たして複数の動画像を同時に再生できるという優れた効果を奏し得る。
【００３１】
本発明によれば、復号プログラムは、時間的に連続する複数のフレーム画像から成る動画像データを復号する動画像復号方法をコンピュータに実行させる復号プログラムであって、前記動画像を記憶する第１の記憶ステップと、前記動画像の入出を切替る切替ステップと、前記動画像を前記ピクチャ単位毎に復号する復号ステップと、前記復号部から出力された前記複数のピクチャを前記ピクチャ毎に記憶する第２の記憶ステップと、前記切替部と前記復号部とを制御する制御ステップと、前記ピクチャの種類毎に遅延を判定する際の基準となる閾値を記憶する第３の記憶ステップとを備え、前記制御ステップは、前記ピクチャの種類毎に、ピクチャの復号終了時刻から表示時刻までの間隔に基づいて復号に係る遅延量を算出する算出ステップと、前記遅延量と前記閾値とを比較し前記ピクチャの復号処理の遅延を判定する判定ステップと、前記ピクチャの復号処理の遅延が発生していると判定した場合、前記判定に基づき前記復号処理の遅延の発生の度合いを設定する設定ステップと、前記復号処理の遅延の発生の度合いに応じて復号に係る処理を低減する低減ステップと、を実行させることで、ピクチャ符号化タイプ毎に正確に遅延を検知でき、復号処理の遅延の発生の度合いが段階的に認識されて復号に係る処理を度合いに応じて省略できるため、リアルタイム制約を満たして複数の動画像を同時に再生できるという優れた効果を奏し得る。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る動画像復号装置を備える映像同時視聴装置の構成を示す概略図である。
【図２】第１の実施形態に係る動画像復号装置の構成を示すブロック図である。
【図３】第１の実施形態に係る復号部の構成を示すブロック図である。
【図４】第１の実施形態に係る動画像のデータ構造を示す概略図の一例である。
【図５】第１の実施形態に係る動画像を構成するピクチャの復号処理量をピクチャ符号化タイプ毎に表わした図表の一例である。
【図６】第１の実施形態に係る動画像復号装置において復号される複数のピクチャを復号順序と表示順序と並べ、ピクチャ符号化タイプ毎に遅延量を表した説明図である。
【図７】本実施形態に係る動画像復号装置が複数の動画像を復号する場合の第１の処理フローの前判の処理を表すフローチャートである。
【図８】本実施形態に係る動画像復号装置が複数の動画像を復号する場合の第１の処理フローの後半の処理を表すフローチャートである。
【図９】本実施形態に係る動画像復号装置が複数の動画像を復号する場合の第２の処理フローの前半の処理を表すフローチャートである。
【図１０】本実施形態に係る動画像復号装置が複数の動画像を復号する場合の第２の処理フローの中盤の処理を表すフローチャートである。
【図１１】本実施形態に係る動画像復号装置が複数の動画像を復号する場合の第２の処理フローの後半の処理を表すフローチャートである。
【図１２】本実施形態に係る動画像復号装置の復号部に入出力するＰＴＳの関係を表す表の一例である。
【発明を実施するための形態】
【００３３】
次に、第１の実施形態に係る動画像復号装置１０を用いた映像同時視聴装置１を説明する。図１は、第１の実施形態に係る動画像復号装置１０を備える映像同時視聴装置１の構成を示す概略図である。
【００３４】
映像同時視聴装置１は、図１に示すように、動画像復号装置１５、動画像分離部１４、画像合成処理部１６、画像記憶部１３、チューナ１２、外部入力部１７及び外部アンテナ１１ を備えている。
【００３５】
映像同時視聴装置１は、送信された複数の動画像等を復号し、リアルタイム制約を満たして動画像を同時に再生する装置である。尚、ここで動画像は、圧縮符号化したデジタルデータの系列を示すものである。動画像を符号化する方式としては、ＭＰＥＧ−１、ＭＰＥＧ−２，ＭＰＥＧ−４，ＭＰＥＧ−４／ＡＶＣ（Ｈ２６４）、Ｍｏｔｉｏｎ−ＪＰＥＧ等が挙げられるが、これらに限定されない。
【００３６】
次に、第１の実施形態に係る映像同時視聴装置１の 各構成要素を順次説明する。
【００３７】
外部アンテナ１１は、ワンセグ放送等のデジタル放送等の電波（デジタルデータ）を受信する。チューナ１２は、外部アンテナ１１によって受信されたデジタル放送から特定のチャンネルを選局し受信したデジタルデータを画像記憶部１３に送信する。
【００３８】
画像記憶部１３は、チューナ１２から送信された複数のデジタルデータ又は外部入力部１７に記憶された複数の動画像を記憶する。
【００３９】
動画像分離部１４は、画像記憶部１３に記憶された複数の動画像を所定の単位（音声、映像、内容等）にデータを分離して、動画像復号装置１５に送信する。
【００４０】
動画像復号装置１５は、受信した複数の動画像を復号する。動画像復号装置１５の詳細は後述する。
【００４１】
画像合成処理部１６は、動画像復号装置１５で復号された複数のピクチャを合成し動画像を再生可能な状態にする。
【００４２】
外部入力部１７は、複数の動画像が記憶された外部記録媒体に接続し、複数の動画像を取込む。取込まれた複数の動画像は、画像記憶部１３に送信され記憶される。
【００４３】
以下、本発明を実施するための形態について図面を参照して説明する。
図２ は発明 を実施する形態の一例であって、第１の実施形態に係る動画像復号装置１５の構成を示す概略図である。
【００４４】
動画像復号装置１５は、図２に示すように、制御部２０、動画像記憶部３０（第１の記憶部）、入力選択部４０、復号部５０、ピクチャ保存部６０（第２の記憶部）、クロック部７０、フラッシュメモリ８０（第３の記憶部）を備えている。
【００４５】
次に、第１の実施形態に係る動画像復号装置１５に係る各構成要素を順次説明する。
【００４６】
制御部２０は、動画像復号装置１５の全体の動作を制御する。制御部２０は、動画像を構成するピクチャの復号に係る処理の遅延量を算出し、フラッシュメモリ８０（第３の記憶部）に記憶されている遅延を判定する尺度（遅延判定基準値）と該遅延量とをピクチャ符号化タイプ毎に比較する。さらに制御部２０は、ピクチャ符号化タイプ毎に遅延を判定する。判定した結果に基づいて入力選択部を制御し動画像の入出力の流れを統制する。同時に、遅延の発生しているピクチャの遅延処理の一部を省略するように復号部５０を制御する。また、制御部２０は、内部にタイマを含み、クロック部７０からの基準同期信号（クロック）を受信してタイマにより時刻を認識する。
【００４７】
動画像記憶部３０は、動画像分離部１４から送信された複数の動画像を保存する。動画像記憶部３０は、入力された順序で記憶し、入力された順序で出力する。
【００４８】
入力選択部４０は、動画像記憶部３０と復号部５０とを接続し、制御部２０の制御に基づき動画像の入出力を行う。
【００４９】
復号部５０は、図３に示すように、ピクチャ符号化タイプ毎にピクチャを復号処理する 処理部５５と、復号済みの複数のピクチャを記憶するバッファ５６とを含んでいる。復号部５０は、入力選択部４０から受信した動画像を所定の圧縮符号化方式に則りピクチャ単位で復号し再構成し、その後に、バッファ５６に各ピクチャを記憶する。尚、各ピクチャには、ピクチャの表示を開始する時刻を記す固有の時間情報（プレゼーションタイムスタンプ、以下、ＰＴＳと称する）が予め付加されている。このＰＴＳが示す時刻までに復号処理が間に合わないと、動画像を表示する際の不具合が発生する。
【００５０】
一般に、ＭＰＥＧ−２の符号化方式のデータは、図４に示すように、段階的な構造なっている。各階層の先頭に、その下位階層の復号に必要なデータと、それに続いて、下位階層構造が１つ以上並んでいる構造を成している。最上位階層は、シークエンス層であり、以下、ＧＯＰ（Group Of Picture)層、ピクチャ層、スライス層、マクロブロック層と構成されている。すべての層の先頭にはヘッダが存在し該当する層に関するデータを含んでいる。  
【００５１】
復号部５０には、図３に示すように、入力選択部４０から復号前のピクチャとＰＴＳ（例えば、Ｉピクチャ８３、Ｂピクチャ８１，８２と、それらに固有のＰＴＳ８００、８１０、８２０）が入力され、復号化されたピクチャとＰＴＳ（例えば、Ｉピクチャ９２、Ｂピクチャ９１，９２と、復号部５０はバッファ５６を利用して、復号済みのピクチャを表示順に並びかえる。その結果、復号済みのピクチャはＰＴＳの値が小さいもの（表示時刻が差し迫っているもの）から順次、ピクチャ保存部６０へ出力される。
【００５２】
ピクチャ保存部６０は、復号部５０により復号され、再構成された各ピクチャを保存する。また、ピクチャ保存部６０は、復号部５０により入力された順序で保存し、入力された順序で出力する。
【００５３】
クロック部７０は、内部にクリスタル（図示せず）を備え、動画像復号装置の基本動作のタイミングの基準となるクロックを生成する。制御部２０は、このクロックに基づいて内部に在るタイマ（図示せず）により、ピクチャの復号処理の終了時刻や表示時刻を認識する。
【００５４】
制御部２０は、内部のタイマにより、現在時刻を取得する。尚、ピクチャの復号処理に係る遅延量は、ピクチャの復号処理が終了した時刻からピクチャの表示期限時刻（ＰＴＳ）を引いた値とする。制御部２０は、ピクチャ符号化タイプ毎に遅延量を算出する。
【００５５】
また、フラッシュメモリ８０（第３の記憶部）は、遅延の判定の基準となる遅延判定基準値をピクチャ符号化タイプ毎に記憶する。制御部２０は、ピクチャ符号化タイプ毎に、遅延判定基準値ＴＨ（Ｉ）、ＴＨ（Ｐ）、ＴＨ（Ｂ）を参照して遅延を判定する。例えば、復号されたピクチャがＩピクチャである場合、制御部２０は、Ｉピクチャの遅延量と遅延判定基準値ＴＨ（Ｉ）とを比較し、遅延量が遅延判定基準値ＴＨ（Ｉ）を下回ると遅延が発生していると判定する。
【００５６】
また、フラッシュメモリ８０は、遅延レベル・テーブルを記憶する。遅延レベル・テーブルは、遅延量の大きさ、発生頻度又増加率に基づいて、所定の範囲で遅延の度合い（遅延レベル）をランク付けしたものである。尚、遅延判定基準値や、何れの範囲において１つの遅延レベルとするか否かの設定は、処理対象の動画像の複雑さや復号部５０の持つ処理能力を勘案し、予め実験により統計的に定められる。
【００５７】
例えば、制御部２０は、遅延が発生していると判定した場合に、遅延レベルを一つ上げる。一方、遅延なしの判定により遅延レベルを一つ下げる。尚、遅延レベルの最小値は０である。
【００５８】
第１の実施形態では、予め設定された遅延レベルに対応してピクチャの復号処理を一部省略する構成とする。具体的に記すと、制御部２０は、遅延レベルに応じて復号部５０を制御する。遅延レベルが０の場合、復号部５０は各ピクチャの復号処理を行う。遅延レベルが１の場合、復号部５０は、Ｂピクチャの復号処理のみを省略する。また、遅延レベルが２の場合、Ｐピクチャの表示処理を省略し、復号処理は行う。遅延レベルが３の場合、Ｐピクチャの復号処理を省略する。このように一部のピクチャ符号化タイプの復号処理又は表示処理を省略することで、遅延が発生してもリアルタイム制約を満たしながら複数の動画像を表示することができる。
【００５９】
図５は、複数のピクチャに対する復号処理量を表す図表である。図５に示すように、復号部５０が復号するピクチャの復号処理量は、動画像の内容や動画像を構成するピクチャ符号化タイプによって変化する。図５の横軸ＰＮは、ピクチャを表し、縦軸ＰＴは、復号処理量を表す。
【００６０】
図６は、復号部５０にて復号される動画像を構成するピクチャを復号順序と表示順序とに基づいて配置した概略図である。図６の上段に示すピクチャは復号順序で並べられている。一方、図６の下段に示すピクチャは表示順序で並べられている。図６のＩ，Ｐ，Ｂはピクチャ符号化タイプを示す。アルファベットに付属する数字は、ピクチャの番号を表す。図６の横軸は時間を表し、ＩピクチャＩ０の表示時刻を基準（時刻０）として、他のピクチャの表示時刻及び復号処理の終了時刻を表している。
【００６１】
例えば、Ｉピクチャの復号処理に係る遅延量を算出する場合、Ｉピクチャの復号終了時刻からＩピクチャの表示時刻までの間隔Ｄ１が遅延量となる。同様にＢピクチャ及びＰピクチャの遅延量は、それぞれ間隔Ｄ２、Ｄ３で表される。
【００６２】
ＭＰＥＧ符号化では、参照されるピクチャが先に圧縮符号化される。例えば、Ｐ３がＢ１よりも先に符号化されているので、復号処理においては、表示順序で後のピクチャを参照していたとしても符号化されたデータを順次復号できる。ただし、符号化されたデータのピクチャの順序が表示順序になっていないため、復号処理後に各ピクチャを表示順序に適切に並べ替える必要がある。この並べ替えを行う際、ピクチャの復号終了時刻から表示時刻までの長さ（間隔）において、Ｂピクチャの間隔がＩピクチャ及びＰピクチャの間隔に比べ相対的に短くなる。
【００６３】
次に、図７〜図８のフローチャートを用いて動画像を復号する際の動画像復号装置１０の第１の処理フローを示す。
【００６４】
始めに、制御部２０が復号処理の開始する信号を映像同時視聴装置１の中央制御部（図示せず）から受信する（ステップ１０）。
【００６５】
次に、制御部２０は、復号処理が実行可能であるか否かを判定する。まず復号部５０のバッファ５６に空きがあるか否かを確認する（ステップ２０）。バッファ５６内に未出力のピクチャが存在する場合（ステップ２０、Ｎ），復号処理は行わない。
【００６６】
続いて、復号部５０の動画像記憶部３０内に空きがあるか否かを確認する（ステップ３０）。空きがない場合（ステップ３０、Ｎ）復号処理は行わない。
【００６７】
また、前ピクチャの遅延量に基づき遅延レベルがすでに設定されているか否かを判定する（ステップ４０）。さらに、遅延レベルが設定されていると判定された場合、現時点でどの遅延レベルに一致するか判定する。所定の遅延レベルに一致する場合（ステップ４０、Ｙ）、制御部２０は入力選択部４０を制御して動画像の送信を遮断し（ステップ５０
【００６８】
遅延レベルに一致しない場合（ステップ４０、Ｎ）、動画像記憶部３０に複数の動画像が転送され、記憶される（ステップ６０）。例えば、ＭＰＥＧ−２に準拠している場合、図４に示すように、ピクチャ層ＰＬの全データが転送される。尚、図３に示すように、符号前の各ピクチャには表示時刻を示す表示情報（ＰＴＳ）が予め付加されている。
【００６９】
次に、復号部５０は、各ピクチャ毎に復号処理を行い、複数のピクチャを表示順に再構成する（ステップ７０）。バッファ５６に復号された後のピクチャは順次記録されるが、バッファ５６に留めるかの判断は参照するピクチャ間の関係に依存する。例えば、Ｂピクチャの復号が行われている場合、参照関係にあるＩピクチャとＰピクチャとをバッファ５６に留めておく必要がある。
【００７０】
また、復号済みの各ピクチャは、予め付加されていたＰＴＳが再付加されてバッファ５６に記録される（ステップ７５）。バッファ５６に記録された復号済みピクチャのうちＰＴＳの値が小さいものから順次出力されることになる（ステップ８０）。
【００７１】
次に、制御部２０は、復号済みのピクチャの表示処理を行うか否かを判定する。（ステップ９０）。制御部２０は、前述したように、遅延レベルが表示処理の遅延レベルであると判定した場合、該当するピクチャの表示処理を省略する（ステップ１００）。
【００７２】
また、制御部２０は、表示処理の遅延レベルに該当しないと判定した場合（ステップ９０、Ｙ）、該当するピクチャの表示処理を実行する（ステップ１１０）。
【００７３】
復号部５０は、復号済みのピクチャを表示順序に並び替え（ステップ１２０）、ＰＴＳの値を目安にして小さいものから順に復号済みのピクチャとＰＴＳとをピクチャ保存部６０に出力する（ステップ１３０）。
【００７４】
次に、復号済みのピクチャについて復号処理に係る遅延量を算出する（ステップ１４０）。各ピクチャに付加されているＰＴＳと復号終了時刻とに基づき、復号処理の係る遅延量Ｄを算出する。遅延量Ｄは、ピクチャの復号処理時刻からピクチャの表示時刻までの時間量で表される。
【００７５】
次に、制御部２０は、算出した遅延量と、フラッシュメモリ８０（第３の記憶部）に記録されている遅延判定基準値ＴＨ（Ｉ）、ＴＨ（Ｐ）、ＴＨ（Ｂ）とを各ピクチャ符号化タイプ毎に比較し、遅延が発生しているか否かを判定する（ステップ１５０）。
【００７６】
また、制御部２０は、判定結果に基づき、遅延レベルの段階を上げ下げして遅延レベルを設定する（ステップ１６０）。
【００７７】
制御部２０は、設定された遅延レベルに基づき、復号処理又は表示処理を省略するよう復号部５０を制御する（ステップ１７０ ）。 
【００７８】
尚、上記の説明では、ピクチャ符号化タイプ毎に遅延量を算出しているが、ピクチャを他のピクチャを参照するピクチャ（参照ピクチャ、例えば、ＰピクチャとＢピクチャ）と他のピクチャを参照しないピクチャ（被参照ピクチャ、例えば、Ｉピクチャ）に分けて、遅延量を算出するような構成としてもよい。
【００７９】
第１の実施形態によれば、ピクチャ符号化タイプ毎にピクチャの復号処理に係る遅延量を算出して正確に遅延を判定し、判定結果に基づき遅延レベルを設定し、遅延レベルに応じてピクチャの復号処理または表示処理の一部を省略することで、リアルタイム制約を満たしながら複数の動画像の再生を維持することができる。
【００８０】
次に、図９〜図１１のフローチャートを用いて動画像を復号する際の動画像復号装置１０の第２の処理フローを示す。第２の処理フローのステップ５００〜６３０は、第１の処理フローのステップ１０〜１３０と同じであるため、説明を省略する。
【００８１】
図１０に示すように、復号部５０は、復号部５０の処理部５５により復号されたピクチャと、ピクチャに付加されているＰＴＳとをピクチャ保存部６０に出力し（ステップ６３０）、制御部２０は、復号済みのピクチャの復号処理に係る遅延量をピクチャ符号化タイプ毎に算出する（ステップ６４０）。
【００８２】
制御部２０は、予め定められた所定の回数、ピクチャ符号化タイプ毎に遅延量を加算する（ステップ６５０）。ここで所定の回数とは、動画像の数やその整数倍の数である。また、回数の代わりに所定の時間を設定し、所定の時間にピクチャの復号処理を行うとしてもよい。ここで所定の時間は、ピクチャの表示処理においてピクチャを更新する間隔（例えば、フレームレートの逆数）やその整数倍の値である。
【００８３】
制御部２０は、内部のタイマ（図示せず）により所定の回数（又は所定の時間）に到達するまでカウントする（ステップ６６０）。
【００８４】
制御部２０は、所定の回数（又は所定の時間）に到達したか否かを判定し（ステップ６７０）、所定の回数に到達した場合（ステップ６７０、Ｙ）、ステップ６７０は、ジャンプＪ６を介してステップ６８０に移る。所定の回数に到達していない場合（ステップ６７０、Ｎ）、ステップ６７０は、ジャンプＪ５を介してステップ５６０に戻る。
【００８５】
所定の回数に到達した後、制御部２０は、ピクチャ符号化タイプ毎にピクチャの復号処理に係る遅延量の加重平均値を算出する（ステップ６８０）。
【００８６】
制御部２０は、ピクチャ符号化タイプ毎に加重平均値と、フラッシュメモリ８０（第３の記憶部）に記憶されている遅延判定基準値ＴＨ（Ｉ）、ＴＨ（Ｐ）、ＴＨ（Ｂ）とを比較し（ステップ６９０）、遅延が発生しているか否かを判定する（ステップ７００）。
【００８７】
以下、図１２に示すステップ７１０〜７２０は、第１の処理フローのステップ１６０〜１７０と同じであるため説明を省略する。
【００８８】
このようにピクチャの復号処理に係る遅延量を所定の回数加算し、ピクチャ符号化タイプ毎に加重平均値を求め遅延判定基準値と比較することで、動画像の映像品質が一様でない場合でも、ピクチャ符号化タイプ毎に正確に遅延を判定でき、遅延レベルに応じて復号処理又は表示処理の一部を省略して複数の動画像を再生することができる。
【００８９】
上記に記した実施形態では、遅延レベルに応じてピクチャの復号処理又は表示処理の一部を省略する形態を説明したが、厳密なリアルタイム制約を要求されない場合、表示処理の遅延が許される。このような場合には、意図的にＰＴＳを遅らせて、再生速度をスローにするようにしてもよい。
【００９０】
例えば、遅延レベルが０の場合、通常通り表示処理を行う。遅延レベルが１つ上がる場合、Ｂピクチャのみの復号処理又は表示処理を省略する。また、遅延レベルが１つ下がる場合、ＰピクチャのＰＴＳ付け替えてスロー再生としてもよい。更に、遅延レベルが１つ上がる場合、Ｐピクチャの復号処理又は表示処理を省略し、Ｉピクチャのみを再生するとしてもよい。
【００９１】
制御部２０は、復号部５０を制御してスロー再生におけるＰＴＳの付け替えを実行する。例えば、スロー再生の再生速度の２倍が通常の再生速度と同等とすると、（通常、６０秒の長さの動画像を１２０秒で再生）、現在、ピクチャに付加されているＰＴＳの値をＬｉ、時系列上前のピクチャのＰＴＳの値をＬｉ−１とした場合、ΔＬ＝Ｌｉ−（Ｌｉ−１）として、新たなＰＴＳは、Ｌ’ｉ＝Ｌｉ−１＋２ΔＬとして算出される。
【００９２】
図１２は、復号部５０におけるＰＴＳの入出力の関係を示す表図である。図１２の横軸ＰＴＳ−ＩＮは復号部５０に入力されるＰＴＳ、縦軸ＰＴＳ−ＯＵＴは復号部５０から出力されるＰＴＳを表す。時刻Ｌｃにおいて遅延レベルが上昇して通常の再生速度からスロー再生の再生速度になった場合、ＰＴＳの入出力関係は、直線Ａから傾きが２倍の直線Ｂに変わる。尚、図１２の点Ｃにおいて通常再生からスロー再生に再生速度が変わる。
【００９３】
リアルタイム制約を満たすことが要求されていない場合、このようにピクチャの付加されているＰＴＳを取り替え、ピクチャの表示処理を遅らせることで、制御部２０の処理の負荷を軽減でき、制御部の動作周波数が下がり発熱や消費電力を低減することができる。
【符号の説明】
【００９４】
１０  動画像復号装置
２０  制御部
３０  動画像記憶部
４０  入力選択部
５０  復号部
５５  処理部
５６  バッファ
６０  ピクチャ保存部
７０  クロック部
８０  フラッシュメモリ
【図１】
2011155486.tif 000003
【図２】
2011155486.tif 000004
【図３】
2011155486.tif 000005
【図４】
2011155486.tif 000006
【図５】
2011155486.tif 000007
【図６】
2011155486.tif 000008
【図７】
2011155486.tif 000009
【図８】
2011155486.tif 000010
【図９】
2011155486.tif 000011
【図１０】
2011155486.tif 000012
【図１１】
2011155486.tif 000013
【図１２】
2011155486.tif 000014