(57)【特許請求の範囲】
【請求項１】
動画の圧縮符号化データの復号化処理を実行し、復号結果である復号化済み画像データを復号画像メモリに記憶させる復号化手段と、
時間を複数のタイムスロットに分割し、タイムスロットが切り換わる度に実行対象を切り換えて、複数チャネルの動画の圧縮符号化データの復号化処理の各々を前記復号化手段に順次かつ巡回的に実行させる手段であって、各チャネルの復号化処理を実行させるタイムスロットの長さおよび各チャネルの復号化処理の実行順序をチャネル毎に指定された優先度に応じて制御する並列処理制御手段とを備え、
前記復号化手段は、垂直走査周期が切り換わる毎に、前記復号画像メモリに記憶された新たなフレームに対応した１または複数チャネルの復号化済み画像データを用いた描画処理を実行する描画処理手段のために、１または複数チャネルの復号化済み画像データを生成して前記復号画像メモリに記憶させるものであり、そのために１または複数の動画の圧縮符号化データの復号化処理を実行し、チャネル毎に１フレーム分の復号結果である復号化済み画像データが得られるたびに、前記復号画像メモリに当該復号化済み画像データを記憶させるものであり、
前記並列処理制御手段は、１つのチャネルの動画の圧縮符号化データの１フレーム分の復号化処理を前記復号化手段が実行した場合に、当該チャネルのためのタイムスロットを利用して前記垂直走査周期の切り換わりを待つことなく当該チャネルの後続のフレームの復号化処理を前記復号化手段に続けて実行させることを特徴とする動画像復号化装置。
【請求項２】
前記並列処理制御手段は、
各チャネルの優先度を示す情報として、時間経過に伴って変化する優先度を示す情報を受け取り、前記各チャネルの優先度を示す情報に従い、前記各チャネルの復号化処理を実行するタイムスロットの長さおよび前記各チャネルの復号化処理の実行順序を、時間経過に伴って変化させる
ことを特徴とする請求項１に記載の動画像復号化装置。
【請求項３】
前記動画の圧縮符号化データが時間経過に伴って変化する優先度を示す時系列情報を含み、前記並列処理制御手段は、各チャネルの動画の圧縮符号化データに含まれる優先度を示す時系列情報に従い、前記各チャネルの復号化処理を実行するタイムスロットの長さおよび前記各チャネルの復号化処理の実行順序を、時間経過に伴って変化させる
ことを特徴とする請求項２に記載の動画像復号化装置。
【請求項４】
前記動画の圧縮符号化データは、バッファを介して前記復号化手段へ供給されるものであり、前記並列処理制御手段は、バッファに記憶される各チャネルの復号化処理待ちの圧縮符号化データの優先度を監視し、監視の結果、あるチャネルの優先度が高くなったことを検知すると、そのチャネルの優先度の高い区間の圧縮符号化データの復号化処理が開始されるよりも前に、そのチャネルの復号化処理に利用するタイムスロットを長くし、その後、当該チャネルの優先度が元の低い値に戻ったことを検知すると、そのチャネルのタイムスロットの長さを元に戻すことを特徴とする請求項２または３に記載の動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の再生に好適な動画像復号化装置に関する。
【背景技術】
【０００２】
マルチチャネルデコーダを備えた動画像再生装置が各種提供されている。ここで、マルチチャネルデコーダは、複数種類の動画の圧縮符号化データの復号化処理を並列に実行するデコーダである。図３（Ａ）は、この種のデコーダの動作例を示すタイムチャートである。図示の例のように、従来のマルチチャネルデコーダは、まず、チャネル１に割り当てられた動画の圧縮符号化データの復号化処理を実行し、フレーム一枚分の復号結果が得られると、チャネル２に割り当てられた動画の圧縮符号化データの復号化処理を実行する、という具合に各チャネルの復号化処理を順次実行する構成となっていた。動画像再生装置では、このマルチチャネルデコーダの復号結果である画像データが動画の種類毎に分けて復号画像メモリに蓄積される。そして、この復号画像メモリに蓄積された各動画の画像データを表示装置の表示画像に反映させる描画処理が表示装置の垂直走査周期Ｔに同期して実行される。
【特許文献１】特開２００６−１２７２０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
複数種類の動画像の合成画像をリアルタイムに再生するためには、描画対象である各チャネルの復号結果がそれらの復号結果を利用した描画処理の開始タイミングよりも前に復号画像メモリに蓄積される必要がある。しかし、図３（Ｂ）に示すように、全チャネルの復号化処理に要する時間が垂直走査周期Ｔよりも長くなると、実行順序が後のチャネルの復号結果の復号画像メモリへの格納がその復号結果を利用した描画処理に間に合わなくなる場合がある。この場合、動画像再生装置では、復号化を終えた一部のチャネルの復号結果、たとえば、図３（Ｂ）で示すチャネル１とチャネル２の復号結果だけが表示画像に反映され、チャネル３の復号結果が表示画像に反映されない。このため、チャネル３の復号結果が重要なものである場合に問題が生じる。
本発明は、このような背景の下に案出されたものであり、複数種類の動画像の圧縮符号化データの復号化処理を並列に実行する場合において重要な動画像についての復号化処理の遅延を防止することができる動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である動画像復号化装置は、動画の圧縮符号化データの復号化処理を実行する復号化手段と、時間を複数のタイムスロットに分割し、タイムスロットが切り換わる度に実行対象を切り換えて、複数チャネルの動画の圧縮符号化データの復号化処理の各々を前記復号化手段に順次かつ巡回的に実行させる手段であって、各チャネルの復号化処理を実行させるタイムスロットの長さをチャネル毎に指定された優先度に応じて制御する並列処理制御手段とを備える。
この態様によると、並列処理制御手段は、復号化手段に実行させる各チャネルの復号化処理のタイムスロットの長さを、それらのチャネル毎に指定された優先度に応じて制御する。よって、復号化処理を実行させる各チャネルの優先度に各々の重要度に応じた差をつけることにより、優先度を高くしたチャネルの復号化処理をその復号結果を利用した描画処理に遅れることなく実行させることができる。
【０００５】
本発明の別の好適な態様である動画像復号化装置は、動画の圧縮符号化データの復号化処理を実行する復号化手段と、時間を複数のタイムスロットに分割し、タイムスロットが切り換わる度に実行対象を切り換えて、複数チャネルの動画の圧縮符号化データの復号化処理の各々を前記復号化手段に順次かつ巡回的に実行させる手段であって、各チャネルの復号化処理の実行順序をチャネル毎に指定された優先度に応じて制御する並列処理制御手段とを備えることを特徴とする。
この態様によると、並列処理制御手段は、各チャネルの復号化処理の実行順序を、それらのチャネル毎に指定された優先度に応じて制御する。よって、復号化処理を実行させる各チャネルの優先度に各々の重要度に応じた差をつけることにより、優先度を高くしたチャネルの復号化処理をその復号結果を利用した描画処理に遅れることなく実行させることができる。
【０００６】
なお、音声データの復号化処理に関するものではあるが、複数種類の圧縮符号化データの復号化処理を実行する装置に関する文献として特許文献１がある。しかし、この特許文献１に開示された装置は、複数チャネルの圧縮符号化データの復号化処理を時分割制御により実行し、かつ、各チャネルの復号化処理を実行するタイムスロットの長さや各チャネルの復号化処理の実行順序を各チャネルの優先度に応じて実行するものでなく、本発明とは異なったものである。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照し、この発明の実施形態を説明する。
図１は、本発明の一実施形態にかかる動画像復号化装置１０を含む動画像再生装置５０の構成を示すブロック図である。この動画像再生装置５０は、ホストＣＰＵ１１、パターンＲＯＭ１２、復号画像メモリ１３、動画像復号化装置１０、フレームメモリ１６、表示制御部１７、描画処理部１８、表示装置１９を有する。
【０００８】
ホストＣＰＵ１１は、この動画像再生装置５０の制御中枢である。
パターンＲＯＭ１２は、背景やキャラクタなどの複数種類の動画の圧縮符号化データを記憶した読み出し専用メモリである。
復号画像メモリ１３は、復号結果である画像データを一時記憶するためのメモリであり、例えばＲＡＭにより構成されている。
【０００９】
動画像復号化装置１０は、復号化部１４と並列処理制御部１５とによって構成されている。ここで、復号化部１４は、並列処理制御部１５による制御の下、複数チャネルの復号化処理を実行する装置である。各チャネルの復号化処理では、１種類の動画の圧縮符号化データをパターンＲＯＭ１２から読み出して復号化し、フレーム１枚分の復号結果である復号化済み画像データが得られるたびに、復号画像メモリ１３内の各チャネルに対応付けられたエリアをリングバッファとして使用し、得られた復号化済み画像データをその通番と対応付けて記憶させる。
並列処理制御部１５は、復号化部１４による復号化処理を制御する役割を果たす。さらに詳述すると、本実施形態では、複数種類の動画を表示装置１９に表示させるに当たり、ホストＣＰＵ１１と並列処理制御部１５との間でネゴシエーションが行われ、並列処理制御部１５は、このネゴシエーションによりホストＣＰＵ１１から次の情報を取得する。
ａ．パターンＲＯＭ１２における各動画の圧縮符号化データの各々の先頭の記憶アドレス
ｂ．各動画の圧縮符号化データの復号化処理を実行させるチャネルのチャネル番号
ｃ．復号画像メモリ１３における各チャネルの復号結果の書き込み先となるリングバッファの先頭と終端の記憶アドレス
ｄ．各チャネルの優先度
【００１０】
そして、並列処理制御部１５は、時間を複数のタイムスロットに分割し、タイムスロットが切り換わる度に実行対象であるチャネルを切り換えて、複数チャネルの動画の圧縮符号化データの復号化処理の各々を復号化部１４に順次かつ巡回的に実行させる。その際、並列処理制御部１５は、各チャネルの復号化処理を実行させるタイムスロットの長さをチャネル毎に指定された優先度に応じて決定する。また、並列処理制御部１５は、各チャネルの復号化処理の実行順序をチャネル毎に指定された優先度に応じて決定する。さらに詳述すると、並列処理制御部１５は、優先度の高い順となるように各チャネルの復号化処理の実行順序を決定する。本実施形態において、優先度はレベル１〜レベル１６までの１６段階がある。ここで、レベル１６が最も優先度の高いレベルであり、レベル１が最も優先度の低いレベルである。同じ優先度のレベルが指定された複数のチャネルがある場合、並列処理制御部１５は、それらのチャネルの実行順序をチャネル番号の若い順にする。また、各チャネルの復号化処理を継続するタイムスロットは、各チャネルの優先度のレベルを十分に短い単位割当時間ｔに掛けることにより求める。
並列処理制御部１５は、各チャネルの復号化処理を順次かつ巡回的に実行させるため、実行対象であるチャネルのチャネル番号を復号化部１４に通知し、そのチャネルに対応したタイムスロットが経過したときに次のチャネルのチャネル番号を復号化部１４に通知する、という処理をサイクリックに繰り返す。
一方、復号化部１４は、並列処理制御部１５から新たなチャネル番号が通知されるたびに、それまで実行していたチャネルの復号化処理を中断してその新たなチャネル番号と対応するチャネルの復号化処理に移る、というサイクルを繰り返す。各チャネルの復号化処理を中断する際、復号化部１４は、次のサイクルにおけるその中断チャネルの復号化処理の再開に必要な情報を内蔵のメモリに退避する。
【００１１】
フレームメモリ１６は、表示装置１９の表示対象となる画像データを記憶するメモリである。表示制御部１７は、一定時間長の垂直走査周期Ｔが切り換わるたびに、フレームメモリ１６の画像データをラスタスキャン順に読み出して表示装置１９に表示させる表示処理を行う。
描画処理部１８は、フレームメモリ１６における各チャネルの復号結果の描画位置を示す描画指令をホストＣＰＵ１１から取得し、その描画指令に従って描画処理を実行する。この描画処理は、各チャネルの復号化済み画像データを復号画像メモリ１３から読み出してフレームメモリ１６内の画像データに反映させる処理である。描画処理部１８は、垂直走査周期Ｔが切り換わるたびにこの描画処理を実行する。すなわち、描画処理部１８は、自らに内蔵されたカウンタにより垂直走査周期Ｔの切り換わりの数をカウントし、そのカウンタがカウントアップするたびに、カウントアップ後のカウント数と同じ通番に対応付けられた各チャネルの復号化済み画像データを復号画像メモリ１３の各バッファから探索し、それらの復号化済み画像データを描画指令が示すフレームメモリ１６の描画位置へ描画するのである。ここで、復号化部１４による復号化処理の進捗の如何によっては、描画処理部１８による探索までにその探索対象となる復号化済み画像データのすべてを復号画像メモリ１３に記憶できない場合も生じ得る。この場合、描画処理部１８は、復号画像メモリ１３から探索できた一部のチャネルの復号化済み画像データのみをフレームメモリ１６の画像データに反映させる。
【００１２】
以上の構成によれば、本実施形態にかかる動画像復号化装置１０の復号化部１４は、パターンＲＯＭ１２の複数の圧縮符号化データの各々を各チャネルの処理対象として復号化処理を実行する。そして、並列処理制御部１５は、各チャネルのタイムスロットの長さを、各チャネルの優先度に応じて制御する。よって、各チャネルの優先度に差をつけることにより、優先度の高いチャネルの復号結果が欠損し、表示内容へ影響を与えるのを防止することができる。
【００１３】
この作用について、図２（Ａ）および図２（Ｂ）を参照してさらに具体的に説明する。図２（Ａ）および図２（Ｂ）は、垂直走査周期Ｔの３周期分に相当する間の動画像復号化装置１０による復号化処理と描画処理部１８による描画処理の様子を示すタイムチャートである。図２（Ａ）および図２（Ｂ）の例において、復号化部１４による復号化処理のチャネルは、チャネル１からチャネル３までの３つである。そして、各チャネルの時間軸の経過をそれぞれ示す実線上に離散的に並ぶ矩形の横幅は、それらのチャネルにおける復号化処理の実行時間の長さを示し、鎖線は、垂直走査周期Ｔが切り換わるごとに描画処理部１８が実行する描画処理の実行タイミングを示す。また、各矩形の上の数は、各チャネルの復号結果を基に描画されるフレームのフレーム番号を示す。以降は、ｎ番目のフレームの圧縮符号化データを圧縮符号化データ（ｎ）と記す。
【００１４】
ここで、３つのチャネルの優先度をすべてレベル１にしている図２（Ａ）の例の場合、復号化部１４は、それらのチャネルを、チャネル１、チャネル２、チャネル３の順で切り換え、各々のチャネルのタイムスロットの長さを同じにする。この場合、チャネル１の圧縮符号化データ（１）の復号結果を１番目のフレームの描画までに得ることはできるものの、チャネル２とチャネル３の圧縮符号化データ（１）の復号結果をそれまでに得ることはできない。
一方、３つのチャネルのうちチャネル３の優先度をレベル２にし、チャネル１および２の優先度をレベル１にした図２（Ｂ）の例の場合、復号化部１４は、それらのチャネルを、チャネル３、チャネル１、チャネル２の順で切り換え、チャネル３のタイムスロットの長さをチャネル１および２の各タイムスロットのものよりも長くする。この場合、チャネル２の圧縮符号化データ（１）の復号結果を得る時刻は図２（Ａ）の例より遅れるものの、チャネル１の圧縮符号化データ（１）の復号結果とチャネル３の圧縮符号化データ（１）の復号結果を１番目のフレームの描画までに得ることができる。
【００１５】
この例に示すように、本実施形態にかかる動画像復号化装置１０によると、優先度の低いチャネルの復号結果が得られる時刻よりも、優先度の高いチャネルの復号結果が得られる時刻を早め、優先度の高いチャネルの復号結果を描画に間に合わせる、といった復号化部１４の制御が可能になる。各フレームに登場するパターンの中には、連続するフレーム間の変化が非常に大きいものもあれば、その変化が非常に小さいものもある。そして、前者のパターンの方が看者の注意を惹く。本実施形態によれば、連続するフレーム間の変化が小さいパターンの圧縮符号化データを復号化するチャネルの優先度を低くし、変化が大きいパターンの圧縮符号化データを復号化するチャネルの優先度を高くすることにより、看者の注意を惹く変化の大きいパターンの復号結果の欠損を防止することができる。
【００１６】
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記実施形態では、復号化部１４における各チャネルの復号化処理を実行させるタイムスロットの長さおよび各チャネルの復号化処理の実行順序を、各々の優先度に応じて変えた。しかし、各チャネルのタイムスロットの長さだけを各々の優先度に応じて変えてもよいし、各チャネルの復号化処理の実行順序を各々の優先度に応じて変えてもよい。
（２）上記実施形態において、操作部の操作を通じて指定できる優先度のレベルを１６段階より多くしてもよいし、少なくしてもよい。たとえば、「高」、「中」、「低」の３段階にしてもよい。
（３）上記実施形態において、各チャネルの優先度は、動画の開始から終了まで固定されたものであった。しかし、動画の種類によっては、全般的な優先度はそれ程高くする必要はないが、特定の区間には重要な画像があり、その区間の画像は確実に表示装置１９に表示させたい、というものもある。そこで、チャネル毎に時間経過に伴って変化する優先度を取り扱えるように構成してもよい。時間経過に伴って変化する優先度を並列処理制御部１５に与えるための手段としては、各種のものが考えられるが、動画像の圧縮符号化データ自体に時間経過に伴って変化する優先度を示す時系列情報を含める態様が考えられる。この態様では、パターンＲＯＭ１２の圧縮符号化データは、そのパターンＲＯＭ１２と復号化部１４の間に挿入されたＦＩＦＯ（First-In First-Out）型のバッファを介して復号化部１４へ供給されるようにする。その上で、並列処理制御部１５は、バッファに記憶される各チャネルの復号化処理待ちの圧縮符号化データの優先度を監視する。そして、並列処理制御部１５は、監視の結果、あるチャネルの優先度が高くなったことを検知すると、そのチャネルの優先度の高い区間の圧縮符号化データの復号化処理が開始されるよりも、ある程度の時間だけ前に、そのチャネルの復号化処理に利用するタイムスロットを長くする。また、このようにタイムスロットを長くした後、当該チャネルの優先度が元の低い値に戻ったことを検知すると、そのチャネルのタイムスロットの長さを元に戻す。この態様によれば、重要な区間のみに限定して、復号結果の欠損を生じさせない優先的な取り扱いをすることができる。優先度の高くなったチャネルのタイムスロットを長くする代わりに、そのチャネルの実行順序を前に移動してもよい。あるいはタイムスロットを長くし、さらに実行順序を前に移動してもよい。
（４）上記実施形態において、不定期に再生されたり、再生時期までの時間的な余裕があるパターンの圧縮符号化データであって復号化の所要時間が長いものの復号化処理を、優先度を低くしたチャネルによりバックグラウンド処理で実行させてもよい。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態にかかる動画像復号化装置を含む動画像再生装置の構成を示すブロック図である。
【図２】同実施形態にかかる動画像復号化装置の復号化部による復号化処理と描画処理部による描画処理の様子を示すタイムチャートである。
【図３】従来のデコーダによる復号化処理の様子を示すタイムチャートである。
【符号の説明】
【００１８】
１０…動画像復号化装置、１１…ホストＣＰＵ、１２…パターンＲＯＭ、１３…復号画像メモリ、１４…復号化部、１５…並列処理制御部、１６…フレームメモリ、１７…表示制御部、１８…描画処理部、１９…表示装置、５０…動画像再生装置。
【図１】
0005045495.tif 000002
【図２】
0005045495.tif 000003
【図３】
0005045495.tif 000004