(57)【要約】【課題】再生品質の低下を抑制することができるようにする。【解決手段】基準トラック決定部３２は、再生情報解析部３１からの解析情報に基づき、マルチトラック編集において、基準となるトラック（すなわち、優先度の高いトラック）を決定し、それに基づいて、GOP内のフレームの復号する順番を決定する。復号制御部３３は、基準トラック決定部３２により決定された順番の情報と、負荷監視部２２からの負荷情報に基づいて、復号部２３−１および２３−２に対して、フレームドロップを行うか否かの情報を逐次供給する。本発明は、例えば、符号化されたビットストリームを復号する画像復号装置に適用することができる。【選択図】図１
2011166486.tif 000002
【特許請求の範囲】
【請求項１】
GOP単位でビットストリームの復号処理を行う復号装置において、
前記復号処理の負荷を監視する負荷監視手段と、
マルチトラック編集において、特殊効果の内容に応じて基準となるトラックを決定する基準トラック決定手段と、
前記負荷監視手段により監視された前記負荷の情報、および前記基準トラック決定手段により決定された前記基準となるトラックの情報に基づいて、前記復号処理の実行または中断の制御を行う復号制御手段と
前記復号制御手段による前記制御のもと、前記ビットストリームの前記復号処理を行う復号手段と
を備える復号装置。
【請求項２】
前記復号制御手段は、リアルタイム性を満たすように、前記復号処理の実行または中断の制御を行う
請求項１に記載の復号装置。
【請求項３】
前記復号制御手段は、複数の前記復号手段に対して、個別に前記復号処理の実行または中断の制御を行う
請求項１に記載の復号装置。
【請求項４】
前記特殊効果は、ワイプまたはαブレンドである
請求項１に記載の復号装置。
【請求項５】
前記復号手段により復号された画像を用いて前記特殊効果処理を行う特殊効果処理手段
をさらに備える請求項１に記載の復号装置。
【請求項６】
GOP単位でビットストリームの復号処理を行い、負荷監視手段と、基準トラック決定手段と、復号制御手段と、復号手段とを備える復号装置の復号方法において、
前記負荷監視手段が、前記復号処理の負荷を監視し、
前記基準トラック決定手段が、マルチトラック編集において、特殊効果の内容に応じて基準となるトラックを決定し、
前記復号制御手段が、監視された前記負荷の情報、および決定された前記基準となるトラックの情報に基づいて、前記復号処理の実行または中断の制御を行い、
前記復号手段が、前記制御のもと、前記ビットストリームの前記復号処理を行う
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は復号装置および方法に関し、特に、再生品質の低下を抑制することができるようにした復号装置および方法に関する。
【背景技術】
【０００２】
動画像を再生する際にリアルタイムの復号処理を実現する技術として、例えば、特許文献１では、フルフレームのリアルタイム伸長処理が行えなくなった場合に音声との遅延判定を行い、フレームドロップの処理を行っている。フレームドロップの対象ピクチャは、参照フレームにならない「Ｂピクチャ」である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３０９３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動画編集など複数の動画像が同時にデコードされる場合には音声と映像の同期をとることが困難である状況が考えられる。また、クロスフェードなど複数の動画像のフレームを同時に取り出す状況では、複数のフレームのピクチャが全てＢフレームとならない場合もあり、特許文献１に記載の技術では、画質劣化などが生じてしまうなど、最適なフレームドロップが困難であった。
【０００５】
このように、従来技術の多くは、１つの動画像をリアルタイム再生する際のフレームドロップの方法について言及していることが多く、動画編集時など複数の映像を用いる際のリアルタイム再生とその適切なフレームドロップについて言及されているものが殆どなかった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、再生品質の低下を抑制することができるものである。
【課題を解決するための手段】
【０００７】
本発明の一の側面の復号装置は、GOP単位でビットストリームの復号処理を行う復号装置において、前記復号処理の負荷を監視する負荷監視手段と、マルチトラック編集において、特殊効果の内容に応じて基準となるトラックを決定する基準トラック決定手段と、前記負荷監視手段により監視された前記負荷の情報、および前記基準トラック決定手段により決定された前記基準となるトラックの情報に基づいて、前記復号処理の実行または中断の制御を行う復号制御手段と前記復号制御手段による前記制御のもと、前記ビットストリームの前記復号処理を行う復号手段とを備える。
【０００８】
前記復号制御手段は、リアルタイム性を満たすように、前記復号処理の実行または中断の制御を行う
【０００９】
前記復号制御手段は、複数の前記復号手段に対して、個別に前記復号処理の実行または中断の制御を行うことができる。
【００１０】
前記特殊効果は、ワイプまたはαブレンドである。
【００１１】
前記復号手段により復号された画像を用いて前記特殊効果処理を行う特殊効果処理手段をさらに備えることができる。
【００１２】
本発明の一側面の復号方法は、GOP単位でビットストリームの復号処理を行い、負荷監視手段と、基準トラック決定手段と、復号制御手段と、復号手段とを備える復号装置の復号方法において、前記負荷監視手段が、前記復号処理の負荷を監視し、前記基準トラック決定手段が、マルチトラック編集において、特殊効果の内容に応じて基準となるトラックを決定し、前記復号制御手段が、監視された前記負荷の情報、および決定された前記基準となるトラックの情報に基づいて、前記復号処理の実行または中断の制御を行い、前記復号手段が、前記制御のもと、前記ビットストリームの前記復号処理を行う。
【００１３】
本発明の一側面においては、復号処理の負荷が監視され、マルチトラック編集において、特殊効果の内容に応じて基準となるトラックが決定され、監視された前記負荷の情報、および決定された前記基準となるトラックの情報に基づいて、前記復号処理の実行または中断の制御が行われる。その制御のもと、前記ビットストリームの前記復号処理が行われる。
【００１４】
なお、上述の復号装置は、独立した装置であっても良いし、１つの復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００１５】
本発明の一側面によれば、フレームドロップの数を低減することができる。これにより、本発明の一側面によれば、再生品質の低下を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。
【図２】再生（編集）情報を説明する図である。
【図３】ピクチャの並び順番の例を示す図である。
【図４】特殊効果がワイプである場合の基準となるトラックを説明する図である。
【図５】特殊効果がαブレンドである場合の基準となるトラックを説明する図である。
【図６】基準トラックの決定による表示可能なフレームの例を示す図である。
【図７】基準トラックの決定による表示可能なフレームの例を示す図である。
【図８】従来のフレームドロップの表示可能なフレームの例を示す図である。
【図９】画像復号装置の再生処理を説明するフローチャートである。
【図１０】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、図を参照して本発明の実施の形態について説明する。
【００１８】
［画像復号装置の構成例］
図１は、本発明を適用した画像復号装置の一実施の形態の構成を表している。
【００１９】
この画像復号装置１１は、符号化されたビットストリームをGOP単位で復号する。
【００２０】
図１の例において、画像復号装置１１は、制御部２１、負荷監視部２２、復号部２３−１および２３−２、特殊効果処理部２４、および表示部２５により構成される。
【００２１】
図示せぬ操作入力部などからユーザにより入力された動画編集時の再生（編集）情報が図示せぬ記憶部などに記憶されている。制御部２１は、その再生（編集）情報を取得し、取得した再生（編集）情報を解析し、GOP内のフレームの復号する順番を決定し、復号部２３−１および２３−２に対して、フレームドロップを行うか否かの情報を逐次供給する。
【００２２】
具体的には、制御部２１は、再生情報解析部３１、基準トラック決定部３２、および復号制御部３３により構成されている。再生情報解析部３１は、再生（編集）情報を取得して解析し、解析した情報を、基準トラック決定部３２に供給する。
【００２３】
基準トラック決定部３２は、再生情報解析部３１からの解析情報に基づき、マルチトラック編集において、優先度の高いトラックを基準となるトラックとして決定する。そして、基準トラック決定部３２は、決定した基準となるトラックに基づいて、GOP内のフレームの復号する順番を決定し、決定した順番の情報を復号制御部３３に供給する。
【００２４】
復号制御部３３は、基準トラック決定部３２により決定された順番の情報と、負荷監視部２２からの負荷情報に基づいて、復号部２３−１および２３−２に対して、フレームドロップを行うか否かの情報を逐次供給する。すなわち、復号制御部３３は、複数の復号部２３−１および２３−２に対して、復号処理の実行または中断をそれぞれ制御する。
【００２５】
負荷監視部２２は、システム情報を解析し、編集結果の再生中などに、解析したシステム情報に基づいて、復号処理の負荷、すなわち、システムの負荷を監視する。そして、負荷監視部２２は、リアルタイム再生が間に合わなくなった場合や復号用のバッファが不足した場合に、復号制御部３３に負荷情報を供給する。
【００２６】
具体的には、負荷監視部２２は、システム情報解析部４１および負荷監視処理部４２により構成されている。
【００２７】
システム情報解析部４１は、システム情報を取得して解析し、その解析情報を負荷監視処理部４２に供給する。システム情報解析部４１は、編集結果の再生中などに、復号処理の負荷、すなわち、システムの負荷を監視し、負荷情報を取得する。システムの負荷としては、例えば、プロセッサのパフォーマンスやメモリ残量、ハードディスクなどの読み出し速度などの情報が監視される。プロセッサとしては、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などが含まれる。
【００２８】
負荷監視処理部４２は、システム情報解析部４１からの解析情報に基づいて、取得した負荷情報を解析して、例えば、リアルタイム再生が間に合わなくなった場合や復号用のバッファが不足した場合に、その負荷情報を、復号制御部３３に供給する。
【００２９】
復号部２３−１および復号部２３−２には、それぞれ符号化されたビットストリームが入力される。復号部２３−１および復号部２３−２は、復号制御部３３の制御のもと、入力されたビットストリームの復号処理を行い、復号結果の画像を、それぞれ、特殊効果処理部２４に出力する。
【００３０】
特殊効果処理部２４は、複数の画像に対して、エフェクトやトランジションなどの特殊効果処理を行い、その結果の画像を、表示部２５に出力する。表示部２５は、特殊効果処理部２４からの画像を表示する。
【００３１】
なお、図１の例においては、復号部２３−１および２３−２が２つで構成される例が示されているが、復号部の数は、２つに限らない。例えば、ビットストリームの数に応じた複数個の復号部で構成されるようにしてもよい。
【００３２】
［基準トラックの決定方法の説明］
基準トラック決定部３２は、デコードを優先するTrackを決定することにより、GOP内のフレームを復号する順番を算出する。このTrackの決定方法として、図２に示される再生（編集）情報が用いられる。
【００３３】
図２の例においては、再生に用いる素材としてのTrackAとTrackBの２つのトラックが左から右を再生方向として示されている。これらのトラックにおけるハッチング部分は、それぞれ、再生に用いる部分を表しており、その境界が開始点と終了点を示している。また、TrackAのハッチング部分とTrackBのハッチング部分の重なっている部分のうち右側が、エフェクト・トランジション区間Ｅ１、左側が、エフェクト・トランジション区間Ｅ２として示されている。
【００３４】
このように、再生（編集）情報には、再生に用いる素材とその開始点および終了点、エフェクトやトランジションなどの特殊効果の情報（期間や内容）が保持されている。
【００３５】
図３の例においては、図２のエフェクト・トランジション区間Ｅ１におけるピクチャの並び順が示されている。すなわち、エフェクト・トランジション区間Ｅ１においては、TrackAは、BPBPBPBPのピクチャが順に並んで構成されており、TrackBは、BBIBPBPBのピクチャが順に並んで構成されている。
【００３６】
このエフェクト・トランジション区間Ｅ１に行われる特殊効果が、図４に示されるようなワイプである場合、基準トラック決定部３２は、デコードした画像の書き出し領域の大きい方を優先度が高いトラック、すなわち、基準のトラックとして決定する。
【００３７】
図４の例においては、エフェクト・トランジション区間Ｅ１における、ワイプにより書き出されるTrackAおよびTrackBの画像の領域の割合が示されている。
【００３８】
エフェクト・トランジション区間Ｅ１の最初のピクチャ（丸数字１のピクチャ）乃至４番目のピクチャ（丸数字４のピクチャ）の区間は、TrackAよりもTrackBの画像の書き出し領域が大きい。したがって、基準トラック決定部３２は、最初のピクチャ乃至４番目のピクチャの区間を、TrackBを優先する、すなわち、基準とする区間であると決定する。
【００３９】
一方、エフェクト・トランジション区間Ｅ１の５番目のピクチャ（丸数字５のピクチャ）乃至８番目のピクチャ（丸数字８のピクチャ）の区間は、TrackBよりもTrackAの画像の書き出し領域が大きくなる。したがって、基準トラック決定部３２は、５番目のピクチャ乃至８番目のピクチャの区間を、TrackAを優先する、すなわち、基準とする区間であると決定する。
【００４０】
また、このエフェクト・トランジション区間Ｅ１に行われる特殊効果が、図５に示されるようなαブレンドである場合、基準トラック決定部３２は、デコードした画像にかけられるブレンド値の強い方を、優先度が高いトラック、すなわち、基準のトラックとして決定する。
【００４１】
図５の例においては、エフェクト・トランジション区間Ｅ１における、書き出すTrackAおよびTrackBの画像のαブレンドの強度の割合が示されている。なお、図５の例の場合、TrackAの書き出す画像が白であり、TrackBの書き出す画像が濃いハッチングである。すなわち、エフェクト・トランジション区間Ｅ１の最初のピクチャ（丸数字１のピクチャ）は、TrackBの画像のαブレンドの強度が最も高い割合であり、各ピクチャにおけるその割合が再生方向に向けて徐々に低くなり、最後のピクチャ（丸数字８のピクチャ）においては、TrackAの画像のαブレンドの強度が最も高い割合となっている。
【００４２】
したがって、エフェクト・トランジション区間Ｅ１の最初のピクチャ（丸数字１のピクチャ）乃至４番目のピクチャ（丸数字４のピクチャ）の区間は、TrackAよりもTrackBの画像のαブレンド値の強度が大きい。したがって、基準トラック決定部３２は、最初のピクチャ乃至４番目のピクチャの区間を、TrackBを優先する、すなわち、基準とする区間であると決定する。
【００４３】
一方、エフェクト・トランジション区間Ｅ１の５番目のピクチャ（丸数字５のピクチャ）乃至８番目のピクチャ（丸数字８のピクチャ）の区間は、TrackBよりもTrackAのαブレンド値の強度が大きくなる。したがって、基準トラック決定部３２は、５番目のピクチャ乃至８番目のピクチャの区間を、TrackAを優先する、すなわち、基準とする区間であると決定する。
【００４４】
なお、上記説明においては、特殊効果の内容を、基準トラックの決定方法に用いる例を説明したが、復号処理の重さに応じて基準トラックを決定するようにしてもよい。例えば、一方のトラックが、H．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）で符号化されているビットストリームであり、他方のトラックが、MPEG（Moving Picture Experts Group）2で符号化されているビットストリームであるとする。この場合、H．264/AVCで符号化されているトラックの方が処理が重くなる。このように、トラックによって、復号処理の重さが大きく異なる場合には、軽い処理の素材を有するトラックの復号を優先すべく、このトラックを基準トラックと決定することも可能である。
【００４５】
またさらに、トラックによって、時間方向にGOPが早く終わる場合や長く続く場合がある。その時間方向のGOPの終了タイミングに応じて、基準トラックを決定するようにすることも可能である。
【００４６】
［基準トラックの決定による効果］
上述したような基準トラックの決定方法を用いて、例えば、図３においてTrackAの方を基準トラックに決定した場合、復号処理の順番は、次のようになる。
(1) TrackAのIピクチャおよびPピクチャのみ復号する
(2) TrackBのIピクチャおよびPピクチャのうち、必要なピクチャのみ復号する
(3) TrackBのうち、TrackAのIピクチャおよびPピクチャと同じタイミングで表示するピクチャを復号する
(4) TrackBのIピクチャおよびPピクチャのうち、復号していないピクチャを復号する
(5) TrackAのうち、TrackBのIピクチャおよびPピクチャと同じタイミングで表示するピクチャを復号する
(6) まだ復号していないその他のBピクチャを復号する
【００４７】
なお、この復号処理順番は、逆にみると、フレームドロップの順序とも言える。
【００４８】
以上の復号処理順番において、(1)の復号後に、GOP内のデコードが中断された場合、表示されるフレームは、図６の点線に示されるフレームとなる。
【００４９】
図６の例において、ハッチングされたフレームは復号済みであることを示している。エフェクト・トランジション区間Ｅ１において、TrackAもTrackBも復号済みであり、表示可能なフレームは、点線で囲まれている。また、エフェクト・トランジション区間Ｅ１以外で、TrackAまたはTrackBが復号済みであり、表示可能なフレームも適宜点線で囲まれている。なお、以降の図７および図８においても同様である。
【００５０】
(1)の復号後に、GOP内のデコードが中断されているので、図６の例の場合、TrackAのIピクチャおよびPピクチャしか復号されていない。
【００５１】
すなわち、エフェクト・トランジション区間Ｅ１より時間的に前は、エフェクト・トランジション区間ではないので、TrackAのフレームさえ復号されていれば、表示可能である。したがって、エフェクト・トランジション区間Ｅ１より時間的に前のIピクチャおよびPピクチャのフレームは、表示可能である。
【００５２】
しかしながら、エフェクト・トランジション区間Ｅ１においては、どのフレームも表示可能ではない。
【００５３】
次に、上述した復号処理順番において、(1),(2),(3) の復号後に、GOP内のデコードが中断された場合、表示されるフレームは、図７の点線に示されるフレームとなる。
【００５４】
(1),(2),(3)の復号後に、GOP内のデコードが中断されているので、図７の例の場合、TrackAのIピクチャおよびPピクチャが復号され、TrackBにおける必要なIピクチャおよびPピクチャが復号されている。次いで、TrackBのうち、TrackAのIピクチャおよびPピクチャと同じタイミングで表示するピクチャが復号されている。
【００５５】
すなわち、エフェクト・トランジション区間Ｅ１より時間的に前後は、エフェクト・トランジション区間ではないので、TrackAまたはTrackBのフレームさえ復号されていれば、表示可能である。したがって、エフェクト・トランジション区間Ｅ１より時間的に前のTrackAのIピクチャおよびPピクチャのフレームは、表示可能である。また、エフェクト・トランジション区間Ｅ１より時間的に後のTrackBのIピクチャおよびPピクチャのフレームは、表示可能である。
【００５６】
さらに、エフェクト・トランジション区間Ｅ１においては、TrackAのPピクチャと同じタイミングで表示するBピクチャが復号されているので、それらの４つのフレームが表示可能となる。
【００５７】
これに対して、従来においては、例えば、図８に示されるように、基準となるトラックを決定せずに、単純にBピクチャをフレームドロップさせた場合には、エフェクト・トランジション区間Ｅ１より前後のIピクチャやPピクチャのフレームは表示可能である。
【００５８】
しかしながら、エフェクト・トランジション区間Ｅ１においては、表示可能なフレームがない。
【００５９】
以上のように、画像復号装置１１においては、基準となるトラックを決定することにより、従来と比較しても、表示できるフレーム数を増やすことが可能となる。
【００６０】
［画像復号装置の再生処理］
次に、図９のフローチャートを参照して、画像復号装置１１の再生処理について説明する。
【００６１】
図示せぬ操作入力部からのユーザによる操作情報が入力されると、ステップＳ１１において、システム情報解析部４１は、システム情報を取得し、取得されたシステム情報を解析する。システム情報解析部４１は、その解析情報を、負荷監視処理部４２に供給する。
【００６２】
ステップＳ１２において、負荷監視処理部４２は、復号処理の負荷の監視として、プロセッサのパフォーマンスやメモリ情報の監視を開始する。
【００６３】
ステップＳ１３において、再生情報解析部３１および基準トラック決定部３２は、再生情報を解析し、フレームドロップの順序を決定する。すなわち、再生情報解析部３１は、再生（編集）情報を取得して解析し、解析した情報を、基準トラック決定部３２に供給する。基準トラック決定部３２は、再生情報解析部３１からの解析情報に基づき、マルチトラック編集において、優先度の高いトラックを基準となるトラックとして決定する。そして、基準トラック決定部３２は、決定した基準となるトラックに基づいて、GOP内のフレームの復号する順番を決定し、決定した順番の情報を復号制御部３３に供給する。
【００６４】
ステップＳ１４において、復号部２３−１および２３−２は、復号制御部３３の制御のもと、入力されたビットストリームの復号処理を行う。復号部２３−１および２３−２は、復号結果の画像を、それぞれ、特殊効果処理部２４に出力する。
【００６５】
ステップＳ１５において、負荷監視処理部４２は、CPUのパフォーマンスやメモリ情報を監視することにより、負荷情報を取得し、システム情報解析部４１からの解析情報に基づいて、取得した負荷情報を解析する。
【００６６】
負荷監視処理部４２は、解析した負荷情報を参照して、ステップＳ１６において、リアルタイム再生が間に合っているか否かを判定する。ステップＳ１６において、リアルタイム再生が間に合っていないと判定された場合、負荷監視処理部４２は、解析した負荷情報を、復号制御部３３に供給し、処理は、ステップＳ１７に進む。
【００６７】
復号制御部３３は、ステップＳ１７において、復号部２３−１および２３−２のうちの対応する復号部に対して、フレームドロップの指示を行う。すなわち、復号制御部３３は、基準トラック決定部３２により決定された順番の情報と、負荷監視部２２からの負荷情報に基づいて、復号部２３−１および２３−２のうちの対応する復号部に対して、フレームドロップ（復号処理停止）の指示を行う。
【００６８】
例えば、上述した復号処理の順番の場合、 (6)のまだ復号されていないその他のBピクチャがフレームドロップの対象として指示される。
【００６９】
ステップＳ１７の処理の後、処理は、ステップＳ１６に戻る。すなわち、ステップＳ１６において、まだ、リアルタイム再生が間に合ってないと判定される場合には、ステップＳ１７において、上述した復号処理の順番の場合、(5)のTrackAのうち、TrackBのIピクチャおよびPピクチャと同じタイミングで表示するピクチャがフレームドロップの対象として指示される。
【００７０】
ステップＳ１６において、リアルタイム再生が間に合っていると判定された場合、処理は、ステップＳ１８に進む。ステップＳ１８において、特殊効果処理部２４は、特殊効果処理に必要なピクチャを全て取得できたか否かを判定する。ステップＳ１８において、特殊効果処理に必要なピクチャを全て取得できたと判定された場合、特殊効果処理部２４は、ステップＳ１９において、必要なピクチャを用いて、特殊効果処理を行い、その結果の画像を、表示部２５に出力する。その後、処理は、ステップＳ２０に進む。
【００７１】
一方、ステップＳ１８において、特殊効果処理に必要なピクチャを全て取得できていないと判定された場合も処理は、ステップＳ２０に進む。
【００７２】
ステップＳ２０において、復号部２３−１および２３−２は、復号対象の次のフレームがあるか否かを判定する。ステップＳ２０において、次のフレームがあると判定された場合、処理は、ステップＳ１４に進み、それ以降の処理が繰り返される。
【００７３】
ステップＳ２０において、次のフレームがないと判定された場合、再生処理は終了する。
【００７４】
なお、復号制御部３３による復号部２３−１および２３−２への制御は、個別にそれぞれ行われる。
【００７５】
以上のように、画像復号装置１１においては、マルチトラック編集において、再生情報に基づいて基準となるトラックが決定され、復号処理順（すなわち、フレームドロップ順）が制御される。
【００７６】
これにより、動画編集のプレビュー時など複数本のストリームに復号処理、および特殊効果（エフェクト）の処理を行う装置において、リアルタイム再生を行う際のフレームドロップの数を低減でき、再生品質の低下を抑制することができる。
【００７７】
また、動画編集時など、エフェクトの適用範囲やその開始点および終了点などが随時更新される場合にも、デコード処理の重さやエフェクトの適用範囲に応じて、フレームドロップを適切に処理することが可能となる。
【００７８】
以上においては、符号化方式としてH．264/AVC方式やMPEG2を用いるようにしたが、本発明はこれに限らず、その他の符号化方式／復号方式を適用することができる。
【００７９】
なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
【００８０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【００８１】
［パーソナルコンピュータの構成例］
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００８２】
コンピュータにおいて、CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。
【００８３】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。
【００８４】
入力部３０６は、キーボード、マウス、マイクロホンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
【００８５】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００８６】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【００８７】
コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【００８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８９】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９０】
１１  画像復号装置，  ２１  制御部，  ２２  負荷監視部，  ２３−１，２３−２  復号部，  ２４  特殊効果処理部，  ２５  表示部，  ３１  再生情報解析部，  ３２  基準トラック決定部，  ３３  復号制御部，  ４１  システム情報解析部，  ４２  負荷監視処理部
【図１】
2011166486.tif 000003
【図２】
2011166486.tif 000004
【図３】
2011166486.tif 000005
【図４】
2011166486.tif 000006
【図５】
2011166486.tif 000007
【図６】
2011166486.tif 000008
【図７】
2011166486.tif 000009
【図８】
2011166486.tif 000010
【図９】
2011166486.tif 000011
【図１０】
2011166486.tif 000012