(57)【要約】【課題】一つの復号装置で複数の動画像ストリームを一定時間中に復号する際に、再生品質を考慮しながら、一時的な処理量が輻輳しても再生遅延することがない動画像ストリーム復号装置を提供することを目的とする。【解決手段】処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、抽出された処理単位の特徴量を取得する特徴量取得部と、通常処理と、複数の簡易処理とのいずれかの方式で抽出された処理単位を復号する復号処理部と、特徴量に基づき処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定部と、を備え、処理時間推定部で推定した復号処理時間が、複数の処理単位毎に割り当てた処理許容時間以内である場合は、当該処理単位を処理する復号処理部方式を通常処理とし、その他の場合には、当該処理単位を処理する復号処理方式を処理許容時間内に処理できる簡易処理に選択する。【選択図】図８
2010206486.tif 000002
【特許請求の範囲】
【請求項１】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、
前記抽出された処理単位の特徴量を取得する特徴量取得部と、
前記符号化方式の仕様に適合した通常処理と、通常処理よりも演算量の少ない簡易処理とのいずれかの方式で前記抽出された処理単位を復号する復号処理部と、を備え、
前記特徴量のうちフレームの符号化方式を示すピクチャ符号化タイプがＩピクチャである場合に、当該処理単位を処理する復号処理方式を簡易処理とし、その他の場合には、当該処理単位を処理する復号処理方式を通常処理とすることを特徴とする動画像ストリーム復号装置。
【請求項２】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、
前記抽出された処理単位の特徴量を取得する特徴量取得部と、
前記符号化方式の仕様に適合した通常処理と、通常処理よりも演算量の少ない複数の簡易処理とのいずれかの復号処理方式で前記抽出された処理単位を復号する復号処理部と、
前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定部と、を備え、
前記処理時間推定部で推定した復号処理時間が、複数の処理単位毎に割り当てた現在時刻から処理期限時刻までの処理許容時間以内である場合は、当該処理単位を処理する復号処理部方式を通常処理とし、その他の場合には、当該処理単位を処理する復号処理方式を前記処理許容時間内に処理できる簡易処理に選択することを特徴とする動画像ストリーム復号装置。
【請求項３】
前記処理期限時刻を、前記特徴量のうちフレームの符号化方式を示すピクチャ符号化タイプに応じて割り当てることを特徴とする請求項２に記載の動画像ストリーム復号装置。
【請求項４】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、
前記抽出された処理単位の特徴量を取得する特徴量取得部と、
前記処理対象の動画像ストリームの符号化データを復号する復号処理部と、
前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出部と、
を備え、
前記入力抽出部は、前記データ量算出部で算出したデータ量に応じた量の符号化データを前記復号処理部へ転送するように制御する
ことを特徴とする動画像ストリーム復号装置。
【請求項５】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、
前記抽出された処理単位の特徴量を取得する特徴量取得部と、
前記処理対象の動画像ストリームの符号化データを復号する復号処理部と、
前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出部と、
前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定部と、
を備え、
前記入力抽出部は、前記データ量算出部で算出したデータ量と前記復号処理時間の推定値に応じた量の符号化データを前記復号処理部へ転送するように制御することを特徴とする動画像ストリーム復号装置。
【請求項６】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置で用いられる制御方法において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、
前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、
前記特徴量のうちフレームの符号化方式を示すピクチャ符号化タイプがＩピクチャである場合に、当該処理単位を処理する復号処理方式を通常処理よりも演算量の少ない簡易処理とし、その他の場合には、当該処理単位を処理する復号処理方式を前記符号化方式の仕様に適合した通常処理とする復号処理ステップと、を備えることを特徴とする動画像ストリーム復号装置の制御方法。
【請求項７】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置で用いられる制御方法において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、
前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、
前記符号化方式の仕様に適合した通常処理と、通常処理よりも演算量の少ない複数の簡易処理とのいずれかの復号処理方式で前記抽出された処理単位を復号する復号処理ステップと、
前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定ステップと、を備え、
前記処理時間推定ステップで推定した復号処理時間が、複数の処理単位毎に割り当てた現在時刻から処理期限時刻までの処理許容時間以内である場合は、当該処理単位を処理する復号処理方式を通常処理とし、その他の場合には、当該処理単位を処理する復号処理方式を前記処理許容時間内に処理できる簡易処理に選択することを特徴とする動画像ストリーム復号装置の制御方法。
【請求項８】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置で用いられる制御方法において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、
前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、
前記処理対象の動画像ストリームの符号化データを復号する復号処理ステップと、
前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出ステップと、
を備え、
前記入力抽出ステップは、前記データ量算出ステップで算出したデータ量に応じた量の符号化データを前記復号処理ステップへ転送するように制御することを特徴とする動画像ストリーム復号装置の制御方法。
【請求項９】
デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置で用いられる制御方法において、
処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、
前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、
前記処理対象の動画像ストリームの符号化データを復号する復号処理ステップと、
前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出ステップと、
前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定ステップと、
を備え、
前記入力選択ステップは、前記データ量算出ステップで算出したデータ量と前記復号処理時間の推定値に応じた量の符号化データを前記復号処理ステップへ転送するように制御することを特徴とする動画像ストリーム復号装置の制御方法。
【請求項１０】
請求項６乃至９のいずれかに記載の動画像ストリーム復号装置の制御方法の各処理ステップをコンピュータに実行させるためのプログラム。
【請求項１１】
コンピュータが読み取り可能な記録媒体であって、請求項１０に記載のプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像コンテンツを同時に画面に表示するための動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体に関する。
【背景技術】
【０００２】
放送のデジタル化によるチャンネル数の増加、ＤＶＤパッケージ、インターネットにおける配信などにより、世の中に流通する映像コンテンツの量は増加する傾向にある。
さらに、ハードディスクドライブなどの記録媒体の大容量化が進んだ結果、より多くの映像コンテンツを記録蓄積できるようになり、関心のあるコンテンツはとりあえず記録しておくというように、家庭における映像の視聴スタイルも次第に変化してきている。
【０００３】
近年、膨大な数の映像の中からユーザが目的の映像を直感的に選択可能とする動画サムネールを用いたマルチ表示が注目されている。このようなマルチ表示を実現するためには、映像信号を符号化したデジタル形式の動画像ストリームを複数同時に再生する必要がある。
【０００４】
マルチ表示で表示される複数の動画像ストリームの符号化データを１つの復号装置で時分割に復号処理する場合には、処理量の合計が性能を超えてしまうことが考えられるが、特許文献１の動画像復号化装置では、複数チャンネルの個々の復号処理量を見積もり、見積もった合計の処理量が所定の値を越えた場合に、分割画面の優先度に応じて簡易的な復号処理（簡易再生）を行うことにより、限られたリソースで複数チャンネルを高画質に表示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６３９５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、動画像ストリームの復号にかかる処理量は、時間の経過に対して常に一定となっているわけではなく、フレーム単位で変動がある。一般に、フレーム内符号化によって符号化されたデータを復号処理する処理量の方が、フレーム間予測符号化によって符号化されたデータを復号処理する処理量よりも大きくなる傾向がある。このため、図１７に示すようにフレーム毎の処理量が変動することになる。この変動により、複数の動画像ストリームを復号処理するときに処理量のピークが重なると、一時的に負荷が集中し、表示までの処理期限に遅延する虞がでてくる。
【０００７】
上述の特許文献１では、動画像ストリームのヘッダ部から得られる解像度（ドットサイズ）やフレームレート、走査方式のフォーマットを考慮することで、動画像ストリームに対する処理量を固定的に見積もっているため、時間軸に対して一定の処理量（固定値）で見積もりをすることになる。
【０００８】
例えば、図１７のＬ１のように処理量として最大値を用いる場合には、本来の処理量としては最大値よりも小さいために余裕があるにもかかわらず処理量の少ない簡易再生が選ばれてしまうことになる。
一方、図１７のＬ２のように処理量として平均値を用いる場合には、処理量のピークにおいては実際よりも少なく見積もられるために簡易再生が選ばれないので、処理量のピークが重なったときに復号処理の遅延が発生してしまうことになる。
いずれにしても上記の特許文献１では、処理量の変化に対する制御が十分でないという問題がある。
【０００９】
本発明は、上述のような実情を考慮してなされたものであって、一つの復号装置で複数の動画像ストリームを一定時間中に復号する際に、再生品質を考慮しながら、一時的な処理量が輻輳しても再生遅延することがない動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の目的を達成するために、本発明では、デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置において、次のような構成をとるものとする。
【００１１】
（１）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、前記抽出された処理単位の特徴量を取得する特徴量取得部と、前記符号化方式の仕様に適合した通常処理と、通常処理よりも演算量の少ない簡易処理とのいずれかの方式で前記抽出された処理単位を復号する復号処理部と、を備え、前記特徴量のうちフレームの符号化方式を示すピクチャ符号化タイプがＩピクチャである場合に、当該処理単位を処理する復号処理方式を簡易処理とし、その他の場合には、当該処理単位を処理する復号処理方式を通常処理とする。
【００１２】
（２）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、前記抽出された処理単位の特徴量を取得する特徴量取得部と、前記符号化方式の仕様に適合した通常処理と、通常処理よりも演算量の少ない複数の簡易処理とのいずれかの復号処理方式で前記抽出された処理単位を復号する復号処理部と、前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定部と、を備え、前記処理時間推定部で推定した復号処理時間が、複数の処理単位毎に割り当てた現在時刻から処理期限時刻までの処理許容時間以内である場合は、当該処理単位を処理する復号処理方式を通常処理とし、その他の場合には、当該処理単位を処理する復号処理方式を前記処理許容時間内に処理できる簡易処理に選択する。
前記処理期限時刻は、前記特徴量のうちフレームの符号化方式を示すピクチャ符号化タイプに応じて、前記処理対象の動画像ストリームの処理単位に割り当てる。
【００１３】
（３）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、前記抽出された処理単位の特徴量を取得する特徴量取得部と、前記処理対象の動画像ストリームの符号化データを復号する復号処理部と、前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出部と、を備え、前記入力抽出部は、前記データ量算出部で算出したデータ量に応じた量の符号化データを前記復号処理部へ転送するように制御する。
【００１４】
（４）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出部と、前記抽出された処理単位の特徴量を取得する特徴量取得部と、前記処理対象の動画像ストリームの符号化データを復号する復号処理部と、前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出部と、前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定部と、を備え、前記入力抽出部は、前記データ量算出部で算出したデータ量と前記復号処理時間の推定値に応じた量の符号化データを前記復号処理部へ転送するように制御する。
【００１５】
また、デジタル動画像信号を所定の符号化方式により圧縮した複数の動画像ストリームに対する符号化データを復号する動画像ストリーム復号装置に用いられる制御方法として構成した場合には、以下のような構成をとるものとする。
【００１６】
（１）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、前記特徴量のうちフレームの符号化方式を示すピクチャ符号化タイプがＩピクチャである場合に、当該処理単位を処理する復号処理方式を通常処理よりも演算量の少ない簡易処理とし、その他の場合には、当該処理単位を処理する復号処理方式を前記符号化方式の仕様に適合した通常処理とする復号処理ステップと、を備える。
【００１７】
（２）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、前記符号化方式の仕様に適合した通常処理と、通常処理よりも演算量の少ない複数の簡易処理とのいずれかの復号処理方式で前記抽出された処理単位を復号する復号処理ステップと、前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定ステップと、を備え、前記処理時間推定ステップで推定した復号処理時間が、複数の処理単位毎に割り当てた現在時刻から処理期限時刻までの処理許容時間以内である場合は、当該処理単位を処理する復号処理方式を通常処理とし、その他の場合には、当該処理単位を処理する復号処理方式を前記処理許容時間内に処理できる簡易処理に選択する。
【００１８】
（３）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、前記処理対象の動画像ストリームの符号化データを復号する復号処理ステップと、前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出ステップと、を備え、前記入力抽出ステップは、前記データ量算出ステップで算出したデータ量に応じた量の符号化データを前記復号処理ステップへ転送するように制御する。
【００１９】
（４）処理対象の動画像ストリームに対する符号化データの処理単位を抽出して入力する入力抽出ステップと、前記抽出された処理単位の特徴量を取得する特徴量取得ステップと、前記処理対象の動画像ストリームの符号化データを復号する復号処理ステップと、前記特徴量に基づき前記処理単位のデータ量を算出するデータ量算出ステップと、前記特徴量に基づき前記処理単位の通常処理での復号処理時間の推定値を算出する処理時間推定ステップと、を備え、前記入力選択ステップは、前記データ量算出ステップで算出したデータ量と前記復号処理時間の推定値に応じた量の符号化データを前記復号処理ステップへ転送するように制御する。
【００２０】
また、上述した構成の復号装置の各処理部（入力抽出部、特徴量取得部、復号処理部、処理時間推定部、データ量算出部）として、コンピュータを機能させるためのプログラムを作成しておき、または、そのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータで実行することによっても上記目的を達成することができる。
【発明の効果】
【００２１】
本発明によれば、一つの復号装置で複数の動画像ストリームを一定時間中に復号する際に、個々の動画像ストリームに対する復号処理の時間的な処理量の変動を小さくするため、一時的な処理量の輻輳による再生遅延を防ぐことができる。
さらに、必要以上に処理量の少ない簡易再生を選択しないので、再生品質を向上させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る動画像ストリーム復号装置を使用した同時視聴システムの構成例を示すブロック図である。
【図２】本発明に係る動画像ストリーム復号装置によって処理した結果を説明する図である。
【図３】実施形態１に係る動画像ストリーム復号装置の構成例を示すブロック図である。
【図４】動画像ストリームの符号化データの構成例を示す図である。
【図５】実施形態１に係る復号処理部の詳細な構成例を示すブロック図である。
【図６】ハイブリッド符号化方式における復号処理を示す図である。
【図７】実施形態１に係る動画像ストリーム復号装置の動作例を示すフローチャート図である。
【図８】実施形態２に係る動画像ストリーム復号装置の構成例を示すブロック図である。
【図９】処理許容時間の割り当て例を示す図である。
【図１０】実施形態２に係る復号処理部の詳細な構成例を示すブロック図である。
【図１１】実施形態２に係る動画像ストリーム復号装置の動作例を示すフローチャート図である。
【図１２】符号化データのデータ量と実行頻度の関係を説明する図である。
【図１３】実施形態３に係る動画像ストリーム復号装置の構成例を示すブロック図である。
【図１４】実施形態３に係る動画像ストリーム復号装置の処理概要を説明する図である。
【図１５】実施形態３に係る動画像ストリーム復号装置の動作例を示すフローチャート図である。
【図１６】実施形態４に係る動画像ストリーム復号装置の構成例を示すブロック図である。
【図１７】従来の動画像ストリーム復号装置の処理例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明に係る好適な実施形態について説明する。尚、以下の説明において同一の符号を付した機能は同一の機能を表すものとする。
【００２４】
図１は、本発明に係る動画像ストリーム復号装置を用いた映像の同時視聴システムの構成例を示すブロック図である。同図において、映像の同時視聴システムは、チューナ部１０、受信部１２、外部映像入力部１３、データバッファ部１４、ストリーム分離部１５、動画像復号処理部１６、合成処理部１７、出力画面制御部１８を含んで構成されている。本発明に係る動画像ストリーム復号装置は、図１における動画像復号処理部１６に相当する。
【００２５】
動画像復号処理部１６は、テレビ放送などから映像を受信する１台以上のチューナ部１０、ネットワークを介して映像を受信する受信部１２、あるいは、外部接続された機器から映像を入力する外部映像入力部１３等からｎ個の動画像ストリーム＃１〜＃ｎを入力する。
【００２６】
動画像復号処理部１６は、入力したｎ個の動画像ストリームを復号し、ｎ系統のベースバンド画像（画像出力＃１〜＃ｎ）を合成処理部１７に出力する。
合成処理部１７は、入力したｎ系統のベースバンド画像（画像出力＃１〜＃ｎ）を、出力画面制御部１８から指定された配置とサイズに応じてマルチ表示画面に合成して出力する。
【００２７】
＜実施形態１＞
動画像復号処理部１６における動画像ストリームの処理量は、動画像のフレームの符号化方式や動画像の内容の影響により、所定の処理単位において一定ではない。ここで、処理量とは、例えば、処理に要するサイクル数である。
例えば、処理単位をフレームとすると、図１７に示したようにフレーム毎の処理量には大小のばらつきが発生する。これは各フレームにおける画像情報の違いのほか、フレームの符号化方式にも起因するものである。
【００２８】
このフレームの符号化方式には、次の２つの方式がある。第１の方式は、フレーム内だけで前後のフレームと無関係に符号化するフレーム内符号化であり、第２の方式は、当該フレームと前後のフレームからの予測値との差分を符号化するフレーム間予測符号化である。第１の方式が適用されるフレームをＩピクチャ、第２の方式のうち順方向予測が適用されるフレームをＰピクチャ、双方向予測が適用されるフレームをＢピクチャと呼ぶ。
これらのピクチャの処理量は、Ｉピクチャの処理量が最も大きく、Ｐピクチャ、Ｂピクチャの順に小さくなる傾向がある。
【００２９】
ここで、動画像復号処理部１６が常に同じ処理能力で動作していると考えると、処理量の大小関係はそのまま処理時間の大小関係となる。即ち、図２に示すようにフレーム毎の処理開始から処理終了までの時間（処理時間）にも、同じく大小のばらつきが発生することになる。
【００３０】
マルチ表示において、複数の動画像の再生を破綻なく実行するためには、一定のレートでフレームを表示しなければならないことから、動画像ストリームの復号処理もフレーム単位で一定時間内に終了することが要求される（これをリアルタイム制約と呼ぶ）。
【００３１】
したがって、本実施形態１の動画像復号処理部１６では、リアルタイム制約を満たすために、図２の破線で示すようにフレーム単位の復号処理時間が所定の時間よりも大きい場合に復号処理時間を短縮させ、フレーム毎の処理時間のばらつきが小さくなるように復号処理の演算量またはリソースの使用率を調節する。
【００３２】
図３は、本実施形態１に係る動画像ストリーム復号装置１００の構成例を示すブロック図である。同図において、動画像ストリーム復号装置１００は、入力抽出部１０１、特徴量取得部１０２、ストリーム保持部１０３、復号処理部１０４、フレーム保持部１０５、出力切替部１０６を含んで構成されている。
【００３３】
尚、本発明の構成要素である各処理部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両者のいずれかによって構成される。例えば、コンピュータを利用する場合には、プロセッサ、メモリ、バス、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なプログラムを用い、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各処理部の機能が実現される。
【００３４】
ここで、動画像ストリームとは、ベースバンド画像を圧縮・符号化したデータ（符号化データ）の系列を指すものとする。この動画像を符号化する方式としては、国際標準規格であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ（Ｈ.２６４）などの方式の他、独自の符号化方式が挙げられる。
【００３５】
入力抽出部１０１は、ストリーム分離部１５から出力されるｎ個の動画像ストリーム＃１〜＃ｎの中から所定のタイミングで所定の順番に復号処理の対象となっている１個の動画像ストリームを選択し、動画像ストリームの所定の処理単位相当の符号化データを抽出してストリーム保持部１０３に転送して記憶させる。ここで、ｎは正の整数であり、マルチ表示する動画像の個数である。また、転送される符号化データは、例えば、動画像ストリームがＭＰＥＧ−２ビデオに準拠している場合、図４に示すピクチャ層の全データである。
【００３６】
特徴量取得部１０２は、ストリーム保持部１０３に記憶された動画像ストリームの符号化に関する情報（符号化情報）を復号し、符号化データのヘッダ部に格納されているピクチャ符号化タイプがＩピクチャである場合、簡易的な復号処理（簡易復号）を実行する復号モードの信号を復号処理部１０４に送信する。
また、ピクチャ符号化タイプがＰピクチャまたはＢピクチャである場合、通常の復号処理（通常復号）を実行する復号モードの信号を復号処理部１０４に送信する。
【００３７】
ここで、通常の復号処理（通常復号）とは、符号化方式の仕様にしたがって適合性を満たすように復号する処理である。また、簡易的な復号処理（簡易処理）は、通常復号に近似した演算により復号アルゴリズムの演算量を削減した処理である（詳細は後述する）。
【００３８】
復号処理部１０４は、特徴量取得部１０２から受信した復号モードの信号に基づいて、ストリーム保持部１０３から符号化データを読み出して復号処理を施し、ベースバンド画像（フレームの画素データ；フレームデータ）を再構成後、フレーム保持部１０５に記憶する。
【００３９】
この復号処理は、復号モードが簡易的な復号処理（簡易処理）の実行を示す信号である場合には、ストリーム保持部１０３から符号化データを読み込み、符号化方式の仕様に適合した通常の復号処理（通常復号）よりも演算量の少ない復号処理を行い、また、復号モードが通常の復号処理（通常復号）の実行を示す信号である場合には、ストリーム保持部１０３から符号化データを読み込み、符号化方式の仕様に従って復号する。
このように、Ｉピクチャの復号処理を簡易処理とすることにより、復号処理の時間変動を小さくすることができる。
【００４０】
図５に復号処理部１０４の詳細な構成例を示す。この構成例では、通常復号を実行する復号部１０４ｂ＃１と、簡易処理で復号する復号部１０４ｂ＃２を備えている。
２つのスイッチ１０４ａ，１０４ｃは、通常は復号部１０４ｂ＃１側に接続されており、簡易処理が指定されたときに復号部１０４ｂ＃２側に接続が切り替えられる。
【００４１】
出力切替部１０６は、復号処理部１０４による復号処理の終了後、フレーム保持部１０５に記憶されたフレームの画像データを動画像ストリームに対応させて出力させる。
即ち、ｎ個の端子が動画像ストリーム＃１〜＃ｎに対応しており、動画像ストリーム＃ｉ（１≦ｉ≦ｎ）のフレームの画像データを対応する端子ｉに出力する。
【００４２】
次に、簡易処理について説明する。図６は、フレーム間予測符号化と直交変換による変換符号化を用いたハイブリッド符号化方式における従来の復号処理を示す図である。
可変長復号は、出現頻度によって符号長の異なる符号語が割り振られた可変長符号を復号する。符号化の例としてハフマン符号化や算術符号化などのエントロピー符号化が利用されている。
逆変換は、周波数領域の情報から画素領域の情報に再変換する処理である。逆量子化や逆離散コサイン変換（ＩＤＣＴ）を８画素×８ラインや４画素×４ラインのブロック単位で実行する。
動き補償は、逆変換後の差分データに予測データを加算する（ピクチャ符号化タイプがＩピクチャ以外の場合に実行される）。
ループフィルタは、予測ループ（復号画像を次フレームの予測データとして用いるループである）の内部に設けられ、動き補償後（Ｉピクチャの場合は逆変換後）の画素にノイズ成分を除去するフィルタ処理を施す（ただし、ループフィルタを使用しない符号化方式もある）。
【００４３】
本実施形態１における簡易処理は、上述の復号処理の各ステップにおいて、画質の劣化を抑えつつも通常処理より演算量を低減した手法を用いるものである。
例えば、逆変換ではＩＤＣＴにおいて低周波成分のみを処理対象として他をゼロとみなして演算する。可変長復号では、逆変換で処理する以外の周波数成分の復号処理を省略する。動き補償では、整数画素以外の位置から予測データを生成する補間方式を簡素化するなどが挙げられる。
復号処理の各ステップにおけるこれらの演算量の低減手法は単独で用いてもよいし、複数組み合わせて用いてもよい。
【００４４】
以上のような構成により、動画像ストリーム復号装置１００は、入力抽出部１０１を介して動画像ストリーム＃ｉを各端子から所定のタイミングで取得し、所定の処理単位（例えばフレーム）で時分割に復号した後に動画像ストリームごとに出力切替部１０６から出力する。
【００４５】
次に、動画像ストリーム復号装置１００の動作を図７のフローチャートを参照して説明する。ここで、図７は１フレームの符号化データを復号する場合の処理の流れを示したものである。
【００４６】
システム側から復号開始が通知され、復号処理が開始する。
まず、復号処理の対象となっている動画像ストリーム＃ｉの符号化データが抽出されて動画像ストリーム復号装置１００に転送される（ステップＳ１）。
このとき、入力抽出部１０１は、システム側に設けられたメモリから１フレーム分の符号化データを抽出してストリーム保持部１０３に記憶する。例えば、動画像ストリームがＭＰＥＧ−２ビデオに準拠している場合、図４に示すピクチャ層の全データが転送される。
【００４７】
符号化データの符号化情報を復号し、符号化情報を特徴量として取得する（ステップＳ２）。このとき、特徴量取得部１０２は、ストリーム保持部１０３中に記憶されている符号化データのヘッダ部（図４の場合、ピクチャ層のデータのうちピクチャヘッダが該当する）を復号し、符号化情報を得る。
【００４８】
符号化情報のうちフレームの予測符号化方法を示すピクチャ符号化タイプがＩピクチャである場合（ステップＳ３でＹＥＳ）、復号モードを簡易的な復号処理（簡易復号）とする（ステップＳ４）。
一方、ピクチャ符号化タイプがＰピクチャあるいはＢピクチャのいずれかである場合（ステップＳ３でＮＯ）、復号モードを通常の復号処理（通常復号）とする（ステップＳ５）。
【００４９】
次に、ストリーム保持部１０３から符号化データを読み込み、復号モードに基づいて、１フレーム分の符号化データを復号して、フレーム保持部１０５に記憶する（ステップＳ６）。ここで、復号モードが通常復号であれば、符号化方式の仕様に従って復号し、復号モードが簡易処理であれば、通常の復号処理（通常復号）よりも演算量の少ない復号処理を行う。
【００５０】
本実施形態１によれば、処理時間の大きいフレームに対して簡易的な復号処理を適用することでフレーム毎の復号処理時間の変動を小さくすることができる。このため、本来処理量の大きいフレームの復号処理が複数の動画像ストリームについて輻輳することで発生していた処理遅延を防止し、破綻のないリアルタイム再生を実現することができる。
また、フレームの復号時間についてのばらつきが少なくなるため、複数の動画像ストリームの再生を効率的に実行することができ、結果として、同時再生時の再生品質の向上が可能となる。
【００５１】
＜実施形態２＞
図８は、本実施形態２に係る動画像ストリーム復号装置２００の構成例を示すブロック図である。同図において、動画像ストリーム復号装置２００は、入力抽出部１０１、特徴量取得部１０２、ストリーム保持部１０３、フレーム保持部１０５、出力切替部１０６、処理時間推定部１０７、復号処理部１０８を含んで構成されている。
上記構成において、図３と同じ部分については同一符号を付し、相違点だけについて説明する。
【００５２】
特徴量取得部１０２は、ストリーム保持部１０３に記憶された動画像ストリームの符号化に関する情報（符号化情報）を復号し、この符号化情報に基づいて処理時間推定部１０７により通常復号における所定の処理単位の復号処理時間を推定する。
上記の符号化情報としては、符号化データのヘッダ部に格納されている解像度、アスペクト比、フレームレート、ビットレート、ピクチャ符号化タイプ、プロファイルとレベル、プログレッシブのフラグ等がある。
【００５３】
ここで、処理単位において動画像ストリームの再生が破綻なく実行できる時間を動画像ストリーム毎に割り当てておく。この割り当てた時間を処理許容時間と呼ぶ。
この処理許容時間は、図９（Ａ）のように、処理単位においてｎ個の動画像ストリームの再生が破綻なく実行できる時間（全体の処理許容時間と呼ぶ）を動画像ストリーム数ｎで割り、各動画像ストリームに均一に時間を割り当ててもよいし、また、図９（Ｂ）のように、ピクチャ符号化タイプごとに事前に決めておいた割合で、Ｉピクチャには相対的に多く、ＰおよびＢピクチャには相対的に少なくなるように割り当てるようにしてもよい。
【００５４】
さらに、説明を簡単にするために、処理対象となっている動画像ストリーム＃ｉ（１≦ｉ≦ｎ）について、以下の記号を定義しておく。
ｔ＃ｉ＝処理時間推定部１０７により推定された復号処理の処理時間。
Ｔｐ＃ｉ＝動画像ストリーム＃ｉに割り当てた処理許容時間。
【００５５】
特徴量取得部１０２は、推定した復号処理時間ｔ＃ｉが動画像ストリーム毎に割り当てられた処理許容時間Ｔｐ＃ｉを超えていた場合、処理許容時間内に復号処理が終了する適切な簡易処理を決定し、この簡易処理を指定する復号モードの信号を復号処理部１０８に送信する。
【００５６】
通常復号の処理量を１としたときに、処理量αｋ（０＜αｋ＜１）で簡易処理が行える復号部を複数備えておき、次のように復号部を選択決定する。
（１）ｔ＃ｉ＜Ｔｐ＃ｉの場合には通常復号する復号部を選択する。
（２）それ以外の場合には、ｔ＃ｉ×αｋ≦Ｔｐ＃ｉの条件を満たす簡易処理する復号部を選択する。
【００５７】
処理時間推定部１０７は、特徴量取得部１０２で取得した動画像ストリーム＃ｉの符号化情報に基づいて、ピクチャ符号化タイプ別の複雑度と演算量の関係から復号処理の処理時間を推定する。ここで、複雑度とは、所定の処理単位の符号化データを復号する際の複雑さを表わす指標であり、複雑度が大きいほど処理時間が多く必要となるものとする。この複雑度と演算量の関係は、ニューラルネットやＳＶＭ（Support Vector Machine）などの機械的学習方法を用いて、事前にピクチャ符号化タイプ別にメモリに設定しておくものとする。
また、複雑度は、次のようにして推定する。
【００５８】
（１）複雑度を推定するためのヒント情報が動画像ストリームに付加されている場合：
例えば、ＭＰＥＧ−４には、可変長符号のシンボル数や符号化されないブロックの割合（％）などのヒント情報があり、このヒント情報に基づいて複雑度を推定する。可変長符号のシンボル数が多い場合には複雑度を大きくし、符号化されていないブロックの割合が大きい場合には複雑度を小さくする。
【００５９】
（２）複雑度を推定するためのヒント情報がない場合：
例えば、Ｉピクチャの場合には、全マクロブロック（ＭＢ、図４参照）について逆変換が実行されるため、この部分の処理量は処理するＭＢ数つまり解像度（ＭＢは所定サイズの画素の集合であるため、ＭＢ数は画像の画素数つまり解像度と同様の意味を持つ）について概略一定であり、可変長復号された周波数成分の係数の個数が多いほど符号量が増加することから、符号量が増加するほど複雑度が増加するものとみなせる。
また、ＰピクチャおよびＢピクチャでは符号化されないＭＢには符号量が割り当てられない、また、逆変換の処理量は、動き補償の処理量より大きく、逆変換で処理される周波数成分の係数の符号量が動き補償に関係する動きベクトルの符号量よりも大きいことから、符号量が増加するほど複雑度が増加するとみなせる。
以上のように符号量の変化と複雑度の変化には高い相関があるとみなせることから、符号量と複雑度とを予め算定しておいた近似式により関連付けることができる。
【００６０】
処理時間推定部１０７は、事前に設定しておいた複雑度と演算量の関係により、複雑度に応じた演算量を決定する。ここで、演算量とは、例えば、プロセッサの命令数が挙げられる。プロセッサの動作周波数から当該演算量を処理するために必要な時間を算出し、これを処理時間の推定値とする。複雑度と演算量の関係は、予め使用するプロセッサにおいて復号処理を行った結果を統計的に処理して関係付けを行う。したがって、プロセッサのアーキテクチャが異なると複雑度と演算量の関係も異なる。
【００６１】
復号処理部１０８は、特徴量取得部１０２から受信した復号モードの信号に基づいて、ストリーム保持部１０３から符号化データを読み出して復号処理を施し、ベースバンド画像（フレームの画素データ；フレームデータ）を再構成後、フレーム保持部１０５に記憶する。
【００６２】
図１０は、復号処理部１０８の詳細な構成例である。この構成例では、通常復号を実行する復号部１０８ｂ＃１に、複数の簡易処理を行う復号部１０８ｂ＃２〜＃ｍを加えてｍ基備えている。ｍ個のスイッチ１０８ａとｍ個のスイッチ１０８ｃは、通常は復号部１０８ｂ＃１側に接続されており、簡易処理が指定されたときに復号モードに対応する復号部１０８ｂ＃２〜＃ｍのいずれか側に接続が切り替えられる。
【００６３】
この簡易処理は、前述のように、復号処理の各ステップにおいて、画質の劣化を抑えつつ通常処理より演算量を低減した手法を用いるものである。ここでは、図６に示した復号処理の各ステップにおける処理量の低減手法の組み合わせを適宜変えることで、異なる処理量の簡易処理を実現する。
【００６４】
以上のような構成により、動画像ストリーム復号装置２００は、入力抽出部１０１を介して動画像ストリーム＃ｉを各端子から所定のタイミングで取得し、処理時間推定部１０７により通常処理における１処理単位当り（例えばフレーム）の復号処理時間を推定し、処理期限内に復号処理を完了する上で適切な復号方式（復号モード）を決定して、復号方式（復号モード）に基づいて復号した後に動画像ストリームごとに出力切替部１０６から出力する。
【００６５】
次に、動画像ストリーム復号装置２００の動作を図１１のフローチャートを参照して説明する。ここで、図１１は１フレームの符号化データを復号する場合の処理の流れを示したものである。
【００６６】
システム側から復号開始が通知され、本復号処理が開始する。
まず、復号処理の対象となっている動画像ストリーム＃ｉの符号化データが抽出されて動画像ストリーム復号装置２００に転送される（ステップＳ１１）。
このとき、入力抽出部１０１は、システム側に設けられたメモリから１フレーム分の符号化データをストリーム保持部１０３に転送する。例えば、動画像ストリームがＭＰＥＧ−２ビデオに準拠している場合、図４に示すピクチャ層の全データが転送される。
【００６７】
符号化データの符号化情報を復号し、符号化情報を特徴量として取得する（ステップＳ１２）。このとき、特徴量取得部１０２は、ストリーム保持部１０３中に記憶されている符号化データのヘッダ部を復号し、符号化データのヘッダ部に格納されている解像度、アスペクト比、フレームレート、ビットレート、ピクチャ符号化タイプ、プロファイルとレベル、プログレッシブのフラグ等を得る。
【００６８】
次に、処理時間推定部１０７により、取得した符号化情報に基づいて、ピクチャ符号化タイプ別の複雑度を決定し、事前に設定しておいた関係を用いて、複雑度に応じた演算量を決定する。プロセッサの動作周波数から必要な処理時間ｔ＃ｉを算出する（ステップＳ１３）。
【００６９】
推定した復号処理時間ｔ＃ｉが動画像ストリーム＃ｉに割り当てられた処理許容時間Ｔｐ＃ｉを超えている場合、処理許容時間Ｔｐ＃ｉ内に符号化データの復号が終了するように簡易処理の復号方式（復号モード）を決定する（ステップＳ１４）。
ここで、ｔ＃ｉ＜Ｔｐ＃ｉであれば通常復号する復号部１０８ｂ＃１を選択し、それ以外の場合、ｔ＃ｉ×αｋ≦Ｔｐ＃ｉの条件を満たす復号部１０８ｂ＃ｋの簡易処理を選択する。
【００７０】
ストリーム保持部１０３から符号化データを読み込み、上記のように選択された復号モードの復号部１０８ｂ＃ｋに復号処理を変更して、１フレーム分の符号化データを復号して、フレーム保持部１０５に記憶する（ステップＳ１５）。
【００７１】
本実施形態２によれば、処理時間の大きいフレームに対して簡易的な復号処理を適用することでフレーム毎の復号処理時間の変動を小さくすることができる。このため、本来処理量の大きいフレームの復号処理が複数の動画像ストリームについて輻輳することで発生していた処理遅延を防止し、破綻のないリアルタイム再生を実現することができる。
また、フレームの復号時間についてのばらつきが少なくなるため、複数の動画像ストリームの再生を効率的に実行することができ、結果として、同時再生時の再生品質の向上が可能となる。
【００７２】
上述の実施形態１で、ピクチャ符号化タイプによって復号モードを決定しているところを、本実施形態２において示したように処理時間推定部１１６を備える構成とし、復号処理時間の推定値を用いて復号モードを決定するようにしてもよい。この場合、実験により事前に測定した復号処理時間に関する閾値と復号処理時間の推定値とを比較し、推定値が閾値を越えるときに簡易処理を選択するようにする。
【００７３】
また、上述の実施形態１および２では、１フレームを処理単位として説明したが、１スライスを処理単位としても同様に適用可能である。
【００７４】
＜実施形態３＞
例えば、図１２（Ａ）に示すように、動画像ストリーム＃１〜＃３における処理対象のフレームの符号化データの処理量が異なる場合、フレーム毎の復号処理時間にばらつきがでてくる。
一方、処理対象のフレームの符号化データのデータ量の大きさに応じて、復号処理の実行頻度を高くすると、符号化データのデータ量の多い動画像ストリームの処理時間が短縮される。
例えば、動画像ストリーム＃１に対する実行頻度を他の動画像ストリームより大きくすると、図１２（Ｂ）に示すように、動画像ストリーム＃１の復号処理時間が短縮され、各動画像ストリームにおけるフレーム毎の処理時間の変動を小さくすることができる。
【００７５】
本実施形態３では、復号処理へ転送される符号化データの処理単位を、例えば、動画像ストリームがＭＰＥＧ−２ビデオに準拠している場合、図４に示すスライス層の全データとし、処理対象のフレームの符号化データのデータ量に応じた優先度を与え、この優先度の大きさに応じて実行頻度を割り当てることにする。ここで、優先度とは、所定の処理単位の符号化データのデータ量の大きさを表わす指標であり、優先度が大きいほど実行頻度が多くなるものとする。この優先度は、事前にデータ量をクラス分けし、このクラスに対応してメモリに設定しておくものとする。
【００７６】
図１３は、本発明の実施形態３に係る動画像ストリーム復号装置３００の構成例を示すブロック図である。同図において、動画像ストリーム復号装置３００は、入力抽出部１１１、特徴量取得部１１２、ストリーム保持部１０３、フレーム保持部１０５、データ量算出部１１３、復号処理部１１４、出力切替部１１５を含んで構成されている。
【００７７】
本実施形態３における処理概要について説明する。
まず、ｎ個の動画像ストリームの符号化データのヘッダ部を調べて、復号処理に使われる符号化データのデータ量から優先度を後述する方法で動画像ストリーム毎に算出し、この優先度に応じた復号処理の実行頻度数を後述する方法で算出する。
【００７８】
次に、ｎ個の動画像ストリームについて、動画像ストリーム毎に時分割で順次、上記の実行頻度数分の処理単位の符号化データを取得して、ストリーム保持部１０３に記憶させる。この転送は、すべての動画像ストリームについて１フレーム分終了するまで繰り返される。
【００７９】
例えば、ストリーム保持部１０３は、動画像ストリーム＃１の実行頻度数が２、その他の動画像ストリーム＃２と＃３の実行頻度数が１であれば、各動画像ストリームのはじめての転送で図１４に示すように記憶される。
図中、Ａ１およびＡ２は、同一の動画像ストリーム＃１の異なる処理単位であり、Ａ３はそれとは別の動画像ストリーム＃２に属する処理単位、Ａ４はさらに別の動画像ストリーム＃３に属する処理単位である。
次の転送では、動画像ストリーム＃１で２つの処理単位、動画像ストリーム＃２と動画像ストリーム＃３では１つの処理単位が転送されてストリーム保持部１０３に追加記憶される。
【００８０】
１つの動画像ストリームについて、上記の実行頻度数分の処理単位の符号化データが転送されると、その転送された符号化データをストリーム保持部１０３から読み出して、符号化方式の仕様に従って復号処理を施し、ベースバンド画像（フレームの画素データ；フレームデータ）を再構成後、フレーム保持部１０５に出力する。
【００８１】
例えば、図１４では、動画像ストリーム＃１のフレームを構成する画素データは、Ｂ１、Ｂ２に記憶され、動画像ストリーム＃２のフレームを構成する画素データは、Ｂ３に記憶され、動画像ストリーム＃３のフレームを構成する画素データは、Ｂ４に記憶される。以下同様に、復号処理がなされるたびに各動画像ストリームに対する画像データがフレーム保持部１０５に追加記憶される。
【００８２】
最後に、フレーム保持部１０５に記憶された各動画像ストリームのフレームに関する画素データを出力して、次のフレームについて同様に処理する。
【００８３】
次に、本実施形態３における各構成要素について説明する。
入力抽出部１１１は、ストリーム分離部１５から出力されるｎ個の動画像ストリーム＃１〜＃ｎの中から１個の動画像ストリームを選択し、この動画像ストリームに対応した実行頻度数分の処理単位の符号化データを抽出してストリーム保持部１０３に転送して記憶させる。
【００８４】
次に、入力抽出部１１１の動作について説明する。
まず、ストリーム分離部１５から出力されるｎ個の動画像ストリーム＃１〜＃ｎを時分割で順番に動画像ストリームのヘッダ部を取り込んで、ストリーム保持部１０３に転送すると共に、このヘッダ部を特徴量取得部１１２へ送信し、データ量算出部１１３から送られてきた優先度を動画像ストリームと対応付けてメモリに保持する。
【００８５】
ｎ個のすべての動画像ストリームについて、ヘッダ部を取り込んだ後、保持していた優先度に基づいて、各動画像ストリームの所定の処理単位の復号処理の実行頻度数を算出する。
この実行頻度数は、ｎ個の動画像ストリームのデータ量に対応した優先度に応じて、大きい優先度には実行頻度数を多く与え、小さい優先度には少ない実効頻度数を与えるように相対的に決定する。
【００８６】
次に、ストリーム分離部１５から出力されるｎ個の動画像ストリーム＃１〜＃ｎを時分割で順番に動画像ストリーム＃ｉを選択して、動画像ストリーム＃ｉに与えられた実行頻度数分の所定の処理単位の符号化データを抽出してストリーム保持部１０３に転送する。
与えられた実行頻度数分の符号化データの転送が終わると、復号処理部１１４を呼び出す。
【００８７】
次に、１フレーム分の符号化データの転送が終了した動画像ストリームがあれば、この動画像ストリームに与えられた実行頻度数を、１フレーム分の転送が終わっていない残りの動画像ストリームの実行頻度数に配分して調整し、残りの動画像ストリームについてこの調整された実行頻度数で符号化データを転送する。
【００８８】
ｎ個のすべての動画像ストリームが１フレーム分の復号処理を終えた後、復号処理の終了指示が外部から送られて来るまで、次のフレームについて上記の処理を繰り返す。
【００８９】
特徴量取得部１１２は、入力抽出部１１１から送られてくる動画像ストリームのヘッダ部を復号し、符号化情報をデータ量算出部１１３に送信する。
この符号化情報は、フレームレート、フレーム番号、ピクチャ符号化タイプ等であり、データ量を算出するのに用いられる情報である。
【００９０】
データ量算出部１１３は、特徴量取得部１１２から送られてきた符号化情報に基づいてデータ量を算出し、このデータ量が属するクラスに対応した優先度を入力抽出部１１１に送信する。
この優先度は、ピクチャ符号化タイプ等から判断されるデータ量の多いフレームについては大きくし、さらに、フレームレートやフレーム番号等や外部から与えられる表示時刻から処理期限の早いと判断されるフレームについても優先度を大きくする。
例えば、ピクチャ符号化タイプがＩピクチャやＰピクチャならば、Ｂピクチャよりも大きい優先度を設定する。
【００９１】
復号処理部１１４は、実行頻度数分の処理単位の符号化データをストリーム保持部１０３から読み出して、符号化方式の仕様に従って復号処理を施し、ベースバンド画像（フレームの画素データ；フレームデータ）を再構成後、フレーム保持部１０５に追加記憶する。
【００９２】
出力切替部１１５は、１フレームの復号処理を終えた動画像ストリームごとに、フレーム保持部１０５に記憶された画素データをこの動画像ストリームに対応する端子から出力する。
【００９３】
次に、動画像ストリーム復号装置３００の動作を図１５のフローチャートを参照して説明する。ここで、図１５はすべての動画像ストリームの１フレーム分の符号化データを復号する場合の処理の流れを示したものである。
【００９４】
まず、ｎ個のすべての動画像ストリームに対してヘッダ部の読み取りが完了していれば（ステップＳ２０でＹＥＳ）、ステップＳ２３に進む。
一方、ヘッダ部の読み取りが完了していない動画像ストリームがあれば（ステップＳ２０でＮＯ）、読み取りが完了していない動画像ストリームのヘッダ部のみを取り込んで、ストリーム保持部１０３に転送して記憶すると共に、特徴量取得部１１２にて、読み取ったヘッダ部を復号し、符号化情報を特徴量として取得する（ステップＳ２１）。
次に、データ量算出部１１３にて、この取得した符号化情報に基づいて優先度を決定し、動画像ストリームと対応付けてメモリに記憶し（ステップＳ２２）、ステップＳ２０に戻る。
【００９５】
次に、ｎ個のすべての動画像ストリームに対応する優先度に基づいて、各動画像ストリームの所定の処理単位の実行頻度数を算出する（ステップＳ２３）。
【００９６】
次に、ストリーム分離部１５から出力されるｎ個の動画像ストリームの中から時分割で順番に処理する動画像ストリームを選択し（ステップＳ２４）、当該動画像ストリームの実行頻度数分の処理単位の符号化データを抽出してストリーム保持部１０３に転送して記憶する（ステップＳ２５）。
復号処理部１１４により、符号化データをストリーム保持部１０３から読み出して、符号化方式の仕様に従って復号処理を施してフレーム保持部１０５に追加記憶する（ステップＳ２６）。
【００９７】
当該動画像ストリームが１フレーム分の復号処理を終えた場合（ステップＳ２７のＹＥＳ）、このストリームに与えられた実行頻度数を、１フレーム分の転送が終わっていない残りの動画像ストリームの実行頻度数に配分して調整し（ステップＳ２８）、復号されたフレームの画像データを出力切替部１１５を介して出力する（ステップＳ２９）。
すべての動画像ストリームの復号処理が完了していなければ（ステップＳ３０のＮＯ）、ステップＳ２４に戻る。
一方、すべての動画像ストリームの復号処理が完了していれば（ステップＳ３０のＹＥＳ）、復号処理の終了指示が外部から送られて来るまで、次のフレームについて同様な処理を行う。
【００９８】
以上のように構成すれば、データ量が大きいフレームに対して、復号処理に符号化データの量を多く割り当てることで、フレーム毎の復号処理時間の変動を小さくできる。このため、フレームの復号時間についてのばらつきが少なくなり、複数の動画像ストリームの再生を効率的に実行することができ、結果として、同時再生時の再生品質の向上が可能となる。
【００９９】
＜実施形態４＞
図１６は、本発明の実施形態４に係る動画像ストリーム復号装置４００の構成例を示すブロック図である。同図において、動画像ストリーム復号装置４００は、入力抽出部１１１、特徴量取得部１１２、ストリーム保持部１０３、フレーム保持部１０５、データ量算出部１１３、復号処理部１１４、出力切替部１１５、処理時間推定部１１６を含んで構成されている。
【０１００】
実施形態４では、符号化データのヘッダ部から取得した符号化情報だけでなく、フレームの通常処理で復号するのにかかる処理時間を加味して復号処理の実行頻度数を決定するところが実施形態３と異なり、それ以外については実施形態３と同じである。
したがって、以下、実施形態３と相違する点についてのみ説明する。
【０１０１】
特徴量取得部１１２は、実施形態３の特徴量取得部１１２の機能に加えて、実施形態２で説明した、フレーム単位の復号処理時間を推定するための符号化情報を取得し、処理時間推定部１１６に送信する点が相違する。
即ち、この符号化情報は、符号化データのヘッダ部に格納されている解像度、アスペクト比、フレームレート、ビットレート、ピクチャ符号化タイプ、プロファイルとレベル、プログレッシブのフラグ等である。
【０１０２】
処理時間推定部１１６は、実施形態２の処理時間推定部１０７と同じ機能を有しており、特徴量取得部１１２から送られてきた符号化情報からフレーム単位の復号処理時間を推定し、この推定値を入力抽出部１１１に送信する。
【０１０３】
入力抽出部１１１は、実施形態３の入力抽出部１１１の機能に加えて、データ量算出部１１３から送られてきた優先度と、処理時間推定部１１６から送られてきた処理時間の推定値を動画像ストリームと対応付けてメモリに記憶する。
ｎ個のすべての動画像ストリームについてヘッダ部の取り込みが終了すると、保持していたｎ個のすべての動画像ストリームの優先度と処理時間の推定値に基づいて、各動画像ストリームの処理単位の実行頻度数を算出する。
この実行頻度数は、ｎ個の動画像ストリームの優先度に応じて、大きい優先度には実行頻度数を多く与え、同じ優先度については、復号処理時間の推定値が大きい方に実行頻度数を多く与えて、相対的に決定する。
さらに、すべての動画像ストリームの復号処理時間の推定値の総和がリアルタイム制約を満足しない場合、Ｂピクチャの動画像ストリームの実行頻度数をゼロとしてもよい。
【０１０４】
以上のように構成すれば、実施形態３よりもフレーム毎の復号処理時間の変動を小さくすることができ、フレームの復号時間についてのばらつきが少なくなり、複数の動画像ストリームの再生を効率的に実行することができ、結果として、同時再生時の再生品質の向上が可能となる。
【０１０５】
上記の実行頻度数は、処理時間の推定値と処理期限の時刻から必要な処理の割合を決定し、この割合に所定の数値を乗じることによっても算出することができる。
例えば、現在の時刻が５０ミリ秒で、処理期限の時刻が１００ミリ秒、処理時間の推定値から求まる処理終了の時刻が８０ミリ秒であるとすると、実行頻度数の割合は次のように求めることができる。
実行頻度数の割合＝（８０−５０）／（１００−５０）＝０．６
この実行頻度数の割合を全動画像ストリームに対して合計し、この合計が１に収まるように各動画像ストリームの割合を調整してから、所定の数値を乗じることによって実行頻度数を算出する。
【０１０６】
また、実行頻度数は、各動画像ストリームの実行頻度数の割合を記憶しておき、ストリーム数の増減に対して、任意のタイミングで上述のような割合の調整を行うことによって任意のタイミングで算出することができる。
【０１０７】
尚、上記の実施形態３および実施形態４において、復号処理部１１４は通常の復号処理を実行するものとして説明したが、上記の実施形態１および２で説明した簡易的な復号処理を実行するものとしてもよい。ここで、簡易的な復号処理を実行する場合には、処理量と画質とのトレードオフとして事前に設定しておいた関係を用いて、この対象となった動画像ストリームの実行頻度数を減らすようにする。
【０１０８】
尚、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。例えば、本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、ＭＰＵ（Microprocessing Unit）またはＤＳＰ（Digital Signal Processor）によりプログラムコードが実行されることによっても本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が本実施形態の機能を実現することになり、プログラムコードを記録した記録媒体は本発明を構成することになる。
【符号の説明】
【０１０９】
１０…チューナ部、１２…受信部、１３…外部映像入力部、１４…データバッファ部、１５…ストリーム分離部、１６…動画像復号処理部、１７…合成処理部、１８…出力画面制御部、１００，２００，３００，４００…動画像ストリーム復号装置、１０１…入力抽出部、１０２…特徴量取得部、１０３…ストリーム保持部、１０４…復号処理部、１０４ａ，１０４ｃ…スイッチ、１０４ｂ…復号部、１０５…フレーム保持部、１０６…出力切替部、１０７…処理時間推定部、１０８…復号処理部、１０８ａ，１０８ｃ…スイッチ、１０８ｂ…復号部、１１１…入力抽出部、１１２…特徴量取得部、１１３…データ量算出部、１１４…復号処理部、１１５…出力切替部、１１６…処理時間推定部。
【図１】
2010206486.tif 000003
【図２】
2010206486.tif 000004
【図３】
2010206486.tif 000005
【図４】
2010206486.tif 000006
【図５】
2010206486.tif 000007
【図６】
2010206486.tif 000008
【図７】
2010206486.tif 000009
【図８】
2010206486.tif 000010
【図９】
2010206486.tif 000011
【図１０】
2010206486.tif 000012
【図１１】
2010206486.tif 000013
【図１２】
2010206486.tif 000014
【図１３】
2010206486.tif 000015
【図１４】
2010206486.tif 000016
【図１５】
2010206486.tif 000017
【図１６】
2010206486.tif 000018
【図１７】
2010206486.tif 000019