(57)【要約】【課題】符号化された動画像や音を復号する復号化システムにおいて、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができる復号化システムを提供する。【解決手段】動画像デコード部１０１から復号情報を取得し、復号状況に応じて動画像処理部１０２の処理を調整する動画像処理調整部１０３を有し、動画像処理部１０２にて現在の復号データの動画像処理が終わる前に、動画像デコード部１０１にて次の動画像データの復号処理が終わった場合、現在の復号データに対する動画像処理を終了させて、その次の動画像データの復号を開始させる。これにより、高いフレームレートを実現できる。【選択図】図１
2009021837.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像データを復号すると共に復号状況を出力する動画像復号手段と、
前記動画像復号手段から出力された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、
前記動画像復号手段から出力された復号状況に応じて前記動画像処理手段の動画像処理を調整する動画像処理調整手段と、
を備える復号化システム。
【請求項２】
前記動画像処理調整手段は、前記動画像復号手段にて１フレームの復号が終了したときに前記動画像処理手段の動画像処理を終了させる請求項１に記載の復号化システム。
【請求項３】
前記動画像処理調整手段は、前記動画像復号手段にてｎ（ｎ：整数）マクロブロックの復号が終了したときに前記動画像処理手段の動画像処理を終了させる請求項１に記載の復号化システム。
【請求項４】
前記動画像処理調整手段は、フレームの動画像処理時間を、前記動画像復号手段の復号の処理時間に合わせて間引く請求項１に記載の復号化システム。
【請求項５】
前記動画像処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均デコード時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く請求項４に記載の復号化システム。
【請求項６】
前記動画像処理調整手段は、ｎ（ｎ：整数）マクロブロックの動画像処理時間を、前記動画像復号手段のｎマクロブロックの復号時間に合わせて間引く請求項１に記載の復号化システム。
【請求項７】
前記動画像処理調整手段は、ｎマクロブロックの復号時間をｋ、フレームレートを達成するために必要なｎマクロブロックの平均復号時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く請求項６に記載の復号化システム。
【請求項８】
前記動画像処理調整手段は、前記動画像復号手段の復号時における復号画像の情報により負荷を計算し、この結果に基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
【請求項９】
前記動画像処理調整手段は、復号のフレーム種別に基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
【請求項１０】
前記動画像処理調整手段は、復号画像の色情報に基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
【請求項１１】
前記動画像処理調整手段は、復号画像の量子化値や動きベクトルに基づいて前記動画像処理手段の動画像処理を調整する請求項１に記載の復号化システム。
【請求項１２】
前記動画像処理調整手段は、動画像処理を調整するパターンを複数有し、前記動画像復号手段から出力される復号状況に応じて最適なパターンを選択する請求項１に記載の復号化システム。
【請求項１３】
符号化された動画像データを復号する動画像復号手段と、
前記動画像復号手段で復号された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、
前記動画像復号手段と前記動画像処理手段との間に介挿され、前記動画像復号手段で復号された復号データを一時的に保存し、保存した順で前記復号データを前記動画像処理手段に入力するデータ一時蓄積手段と、
を備える復号化システム。
【請求項１４】
符号化された音データを復号すると共に復号状況を出力する音復号手段と、
前記音復号手段から出力された復号データに対してノイズフィルタ処理を含む音処理を行う音処理手段と、
前記音復号手段から出力された復号状況に応じて前記音処理手段の音処理を調整する音処理調整手段と、
を備える復号化システム。
【請求項１５】
前記音処理調整手段は、前記音復号手段にて１フレームの復号が終了したときに前記音処理手段の音処理を終了させる請求項１４に記載の復号化システム。
【請求項１６】
前記音処理調整手段は、フレームの音処理時間を、前記音復号手段の復号の処理時間に合わせて間引く請求項１４に記載の復号化システム。
【請求項１７】
前記音処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均復号時間をｊとして、前記フレームの音処理時間が２ｊ-ｋになるように間引く請求項１６に記載の復号化システム。
【請求項１８】
動画像と音が多重化された多重化データを記憶する記憶手段と、
前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１乃至請求項１２のいずれかに記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
【請求項１９】
動画像と音が多重化された多重化データを記憶する記憶手段と、
前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１３に記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
【請求項２０】
携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、
前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１乃至請求項１２のいずれかに記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
【請求項２１】
携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、
前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、
請求項１３に記載の復号化システムと、
請求項１４乃至請求項１７のいずれかに記載の復号化システムと、
前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、
前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、
を備える再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル圧縮された画像データ又は音データを伸張して再生する復号化システムに関する。
【背景技術】
【０００２】
近年、マルチメディア技術の進歩、蓄積メディアの大容量化、ネットワーク網の強化により、様々な機器でＡＶ（Audio Visual）再生が行われるようになっている。また、再生される画像サイズの大型化に対応するため、機器の制御において、復号、ノイズフィルタ処理をパイプラインで行ったり、フルにノイズフィルタ処理を行ったりすることができる程度のＣＰＵ（Central Processing Unit）処理能力を持たないシステムでは、ＣＰＵの負荷が大きいときにはノイズフィルタ処理を飛ばす技術が提案されている（例えば、特許文献１参照）。
【０００３】
また、近年の画像サイズの拡大により復号の処理時間が長くかかる場合は、復号、画像処理を逐次実行するのでは間に合わないので、パイプライン処理により、画像処理を行っている間に次の画像の復号処理を行う。その場合、従来の復号化システムでは、復号処理というのはフレーム毎に長短があるが、動画像処理というのは略一定時間かかるため、復号が前のフレームの動画像処理よりも早く終わっても、復号した動画像を動画像処理部に渡せないために、前のフレームの動画像処理が終わるのを待って、次の復号処理を行うようにしている。
【特許文献１】特開２００７−１３３１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、単にＣＰＵの負荷によりノイズフィルタ処理を行うか行わないかを調整していたため、例えば復号処理を途切れることなしに常時行うようなシステムでは、復号の負荷が一定のためにノイズフィルタ処理の細かい調整を行うことができなかった。そのため、復号処理、ノイズフィルタ処理をパイプライン処理で行うようなシステムでは、１フレームの復号処理の長短に関らずノイズフィルタ処理を一定時間行ってしまうため、復号処理が短く終わった後でも並行して実行しているノイズフィルタ処理が終わらずにパイプラインが乱れ、復号処理単体では達成できるフレームレートが達成できないという課題があった。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、符号化された動画像や音を復号する復号化システムにおいて、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができる復号化システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の復号化システムは、符号化された動画像データを復号すると共に復号状況を出力する動画像復号手段と、前記動画像復号手段から出力された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、前記動画像復号手段から出力された復号状況に応じて前記動画像処理手段の動画像処理を調整する動画像処理調整手段と、を備える。
【０００７】
この構成によれば、動画像処理が終わる前に次の動画像データの復号処理が終わった場合、動画像処理を終了させて、その次の動画像データの復号を開始させることができる。これにより、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。
【０００８】
また、上記構成において、前記動画像処理調整手段は、前記動画像復号手段にて１フレームの復号が終了したときに前記動画像処理手段の動画像処理を終了させる。
【０００９】
この構成によれば、１フレームの復号が終わると、すぐに次のフレームの復号及び動画像処理を行うことが可能となる。
【００１０】
また、上記構成において、前記動画像処理調整手段は、前記動画像復号手段にてｎ（ｎ：整数）マクロブロックの復号が終了したときに前記動画像処理手段の動画像処理を終了させる。
【００１１】
この構成によれば、ｎマクロブロックの復号が終わると、すぐに次のｎマクロブロックの復号及び動画像処理を行うことができ、１フレーム単位で行うよりも細かい調整を行うことができる。
【００１２】
また、上記構成において、前記動画像処理調整手段は、フレームの動画像処理時間を、前記動画像復号手段の復号の処理時間に合わせて間引く。
【００１３】
この構成によれば、１フレームの動画像処理時間を次の１フレームの復号が終わるまでに終了するように調整することで次の復号を行うことが可能となる。
【００１４】
また、上記構成において、前記動画像処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均デコード時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く。
【００１５】
この構成によれば、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。
【００１６】
また、上記構成において、前記動画像処理調整手段は、ｎ（ｎ：整数）マクロブロックの動画像処理時間を、前記動画像復号手段のｎマクロブロックの復号時間に合わせて間引く。
【００１７】
この構成によれば、ｎマクロブロックの動画像処理時間を次のｎマクロブロックの復号が終わるまでに終了するように調整することで、次の復号を行うことができ、より細かく制御を行うことが可能となる。
【００１８】
また、上記構成において、前記動画像処理調整手段は、ｎマクロブロックの復号時間をｋ、フレームレートを達成するために必要なｎマクロブロックの平均復号時間をｊとして、前記フレームの動画像処理時間が２ｊ-ｋになるように間引く。
【００１９】
この構成によれば、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。
【００２０】
また、上記構成において、前記動画像処理調整手段は、前記動画像復号手段の復号時における復号画像の情報により負荷を計算し、この結果に基づいて前記動画像処理手段の動画像処理を調整する。
【００２１】
この構成によれば、復号画像の情報に応じて動画像処理の長さを調整することが可能となる。
【００２２】
また、上記構成において、前記動画像処理調整手段は、復号のフレーム種別に基づいて前記動画像処理手段の動画像処理を調整する。
【００２３】
この構成によれば、データのヘッダに入っているフレーム種別により復号時間を予測し、動画像処理の長さを調整することで、次の復号を開始することが可能となる。
【００２４】
また、上記構成において、前記動画像処理調整手段は、復号画像の色情報に基づいて前記動画像処理手段の動画像処理を調整する。
【００２５】
この構成によれば、人等の肌色の部分は重要であるので、復号画像の色情報に基づいて動画像処理を調整することが可能となる。
【００２６】
また、上記構成において、前記動画像処理調整手段は、復号画像の量子化値や動きベクトルに基づいて前記動画像処理手段の動画像処理を調整する。
【００２７】
この構成によれば、量子化値や動きベクトルにより画像の特徴を判断して動画像処理を行わなくても良いところは間引いたり、省いたりするなど、動画像処理を調整することができる。
【００２８】
また、上記構成において、前記動画像処理調整手段は、動画像処理を調整するパターンを複数有し、前記動画像復号手段から出力される復号状況に応じて最適なパターンを選択する。
【００２９】
この構成によれば、動画像処理を間引くよう調整する場合でも、よく目につき易い中央では間引かず端を間引く等調整の仕方を選択できるようになる。
【００３０】
また、本発明の復号化システムは、符号化された動画像データを復号する動画像復号手段と、前記動画像復号手段で復号された復号データに対してノイズフィルタ処理、回転処理、拡大処理を含む動画像処理を行う動画像処理手段と、前記動画像復号手段と前記動画像処理手段との間に介挿され、前記動画像復号手段で復号された復号データを一時的に保存し、保存した順で前記復号データを前記動画像処理手段に入力するデータ一時蓄積手段と、を備える。
【００３１】
この構成によれば、動画像処理が終わる前に次のフレームの復号処理が先に終わった場合でも、データ一時蓄積手段に復号結果を置くことで次の復号を開始することが可能となる。
【００３２】
また、本発明の復号化システムは、符号化された音データを復号すると共に復号状況を出力する音復号手段と、前記音復号手段から出力された復号データに対してノイズフィルタ処理を含む音処理を行う音処理手段と、前記音復号手段から出力された復号状況に応じて前記音処理手段の音処理を調整する音処理調整手段と、を備える。
【００３３】
この構成によれば、復号の状況に応じて音処理を調整するので、音処理が終わる前に次の音データの復号処理が終わった場合、音処理を終了させて、その次の音データの復号を開始させることができる。これにより、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。
【００３４】
また、上記構成において、前記音処理調整手段は、前記音復号手段にて１フレームの復号が終了したときに前記音処理手段の音処理を終了させる。
【００３５】
この構成によれば、１フレームの復号が終わると、すぐに次のフレームの復号及び音処理を行うことが可能となる。
【００３６】
また、上記構成において、前記音処理調整手段は、フレームの音処理時間を、前記音復号手段の復号の処理時間に合わせて間引く。
【００３７】
この構成によれば、１フレームの音処理時間を次の１フレームの復号が終わるまでに終了するように調整することで次の復号を行うことが可能となる。
【００３８】
また、上記構成において、前記音処理調整手段は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均復号時間をｊとして、前記フレームの音処理時間が２ｊ-ｋになるように間引く。
【００３９】
この構成によれば、復号が早く終わり、復号と並行して行われている前の音を待つ場合でも、必ず平均フレームレート時間で音処理が終了するので、次の復号を開始することが可能となる。
【００４０】
また、本発明の再生装置は、動画像と音が多重化された多重化データを記憶する記憶手段と、前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、上記動画像を復号する復号化システムと、上記音を復号する復号化システムと、前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、を備える。
【００４１】
この構成によれば、フレームレートの高い再生が可能な再生装置を実現できる。
【００４２】
また、本発明の再生装置は、動画像と音が多重化された多重化データを記憶する記憶手段と、前記記憶手段から読み出された多重化データを動画像データと音データに分離する多重分離手段と、上記動画像を復号する復号化システムと、上記音を復号する復号化システムと、前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、を備える。
【００４３】
この構成によれば、フレームレートの高い再生が可能な再生装置を実現できる。
【００４４】
また、本発明の再生装置は、携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、上記動画像を復号する復号化システムと、上記音を復号する復号化システムと、前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、を備える。
【００４５】
この構成によれば、フレームレートの高い再生が可能な再生装置を実現できる。
【００４６】
また、本発明の再生装置は、携帯電話網、無縁ＬＡＮ網或いは有線ＬＡＮ網を介して動画像と音が多重化された多重化データを受信する伝送データ受信手段と、前記伝送データ受信手段で受信された多重化データを動画像データと音データに分離する多重分離手段と、上記動画像を復号する復号化システムと、上記音を復号する復号化システムと、前記復号化システムのうち、動画像を復号する復号化システムの前記動画像処理手段で動画像処理して得られた動画像を出力する動画像出力手段と、前記復号化システムのうち、音を復号する復号化システムの前記音処理手段で音処理して得られた音を出力する音出力手段と、を備える。
【００４７】
この構成によれば、フレームレートの高い再生が可能な再生装置を実現できる。
【発明の効果】
【００４８】
本発明は、復号処理と、動画像処理又は音処理を行う復号化システムにおいて、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができ、フレームレートの高い再生を実現できる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００５０】
（実施の形態１）
図１は、本発明の実施の形態１に係る復号化システムの概略構成を示すブロック図である。同図において、本実施の形態の復号化システム１０は、動画像デコード部１０１と、動画像処理部１０２と、動画像処理調整部１０３とを備える。動画像デコード部１０１は、動画の符号化ストリームを復号する。また、動画像デコード部１０１は、動画像処理調整部１０３に復号状況を示す復号情報を与える。動画像処理部１０２は、動画像デコード部１０１で復号されたデータ（以下、復号データと呼ぶ）に対してノイズフィルタ処理、回転処理、拡大処理などの動画像処理を行う。
【００５１】
動画像処理調整部１０３は、動画像デコード部１０１から復号情報を取得し、復号の状況に応じて動画像処理部１０２の処理を調整する。ここで、復号情報として、例えばフレーム情報が挙げられる。復号時にまずフレーム情報が入っているヘッダ部分が復号されるため、このフレーム情報を見ることにより、動画像処理の調整が可能である。更に詳しく述べると、ヘッダ部分のフレーム情報のＰフレーム（前のフレームとの差分のみが入っている）か、Ｉフレーム（全情報が入っている）かのフレーム種別により、Ｉフレーム、Ｐフレームの復号にかかる予想時間を出し、動画像処理を調整する。
【００５２】
動画像処理調整部１０３は、復号処理された動画像データに対する動画像処理が終わる前に、次の動画像データの復号処理（１フレームの復号）が終了した場合、動画像処理を終了させて、現時点で復号データに対して動画像処理を実行させる。動画像デコード部１０１は、現在の動画像データに対する復号が終わると、直ぐに次の動画像データに対して復号を開始する。したがって、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。
【００５３】
図２は、本実施の形態の復号化システム１０の動作を示すシーケンス図である。１フレームの復号処理が終わった時点で動画像処理を打ち切り、今処理が終わって得られた復号データを動画像処理部１０２に移動させ、次のストリームを動画像デコード部１０１に読み込む。これにより、復号の間隔が空くこと無しに復号できる。
【００５４】
このように本実施の形態の復号化システム１０によれば、動画像デコード部１０１から復号情報を取得し、復号状況に応じて動画像処理部１０２の処理を調整する動画像処理調整部１０３を有し、動画像処理部１０２にて現在の復号データの動画像処理が終わる前に、動画像デコード部１０１にて次の動画像データの復号処理が終わった場合、現在の復号データに対する動画像処理を終了させて、その次の動画像データの復号を開始させる。したがって、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成することができる。
【００５５】
（実施の形態２）
本発明の実施の形態２に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、動画像デコード部１０１にてｎ（ｎ：整数）マクロブロックの復号が終了したときに、動画像処理部１０２の動画像処理を終了させる。これにより、ｎマクロブロックの復号が終わると直ぐに次のｎマクロブロックの復号及び動画像処理を行うことができ、１フレーム単位で行うよりも細かい調整を行うことができる。
【００５６】
ここで、動画像の符号化及び復号化は、図３に示すようにマクロブロック単位で行われる。マクロブロックは１６×１６等の単位の画素から構成される。画像サイズがＱＣＩＦ（Quarter Common Intermediate Format、１７６×１４４）の場合、１１×８マクロブロックで構成される。図４は、マクロブロックを用いた復号化システムのシーケンス図である。ＱＣＩＦの場合、横１列（ｎ＝１１）のマクロブロックの復号処理が終わった時点で動画像処理を打ち切って、復号データを動画像処理部１０２に移動させ、次のストリームを動画像デコード部１０１が読み込む。これにより、復号の間隔が空くこと無しに復号できる。また、マクロブロック単位で調整することで、より細かく動画像処理の調整を行うことができる。
【００５７】
（実施の形態３）
本発明の実施の形態３に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、フレームの動画像処理時間を、動画像デコード部１０１の復号の処理時間に合わせて間引く。これにより、１フレームの動画像処理時間を次の１フレームの復号が終わるまでに終了するように調整することで次の復号を行うことが可能となる。
【００５８】
（実施の形態４）
本発明の実施の形態４に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均デコード時間をｊとして、フレームの動画像処理時間が２ｊ-ｋになるように間引く。これにより、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。
【００５９】
（実施の形態５）
本発明の実施の形態５に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。図５は、本実施の形態の復号化システムの動作を示すシーケンス図である。動画像処理調整部１０３は、フレームレートが１秒間に３０コマの場合は１フレーム３３ｍｓというように、必要な１フレームの平均復号時間ｊを計算し、復号時間がｋで終わった場合には、動画像処理時間は２ｊ-ｋで終わるように動画像処理を間引く。これにより、動画像処理の終了を平均復号時間以内に収めることができ（つまり、平均復号時間を超えずに終了でき）、また途中で打ち切るよりも１画面内に均等にして動画像処理を行うことができる。
【００６０】
（実施の形態６）
本発明の実施の形態６に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、ｎマクロブロックの動画像処理時間を、動画像デコード部１０１のｎマクロブロックの復号時間に合わせて間引く。これにより、ｎマクロブロックの動画像処理時間を次のｎマクロブロックの復号が終わるまでに終了するように調整することで、次の復号を行うことができ、より細かく制御を行うことが可能となる。
【００６１】
（実施の形態７）
本発明の実施の形態７に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、ｎマクロブロックの復号時間をｋ、フレームレートを達成するために必要なｎマクロブロックの平均復号時間をｊとして、フレームの動画像処理時間が２ｊ-ｋになるように間引く。これにより、復号が早く終わり、復号と並行して行われている前の動画像を待つ場合でも、必ず平均フレームレート時間で動画像処理が終了するので、次の復号を開始することが可能となる。
【００６２】
（実施の形態８）
本発明の実施の形態８に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、動画像デコード部１０１の復号時における復号画像の情報により負荷を計算し、この結果に基づいて動画像処理部１０２の動画像処理を調整する。これにより、復号画像の情報に応じて動画像処理の長さを調整することが可能となる。
【００６３】
（実施の形態９）
本発明の実施の形態９に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、復号のフレーム種別に基づいて動画像処理部１０２の動画像処理を調整する。これにより、データのヘッダに入っているフレーム種別により復号時間を予測し、動画像処理の長さを調整することで、次の復号を開始することが可能となる。
【００６４】
（実施の形態１０）
本発明の実施の形態１０に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、復号画像の色情報に基づいて動画像処理部１０２の動画像処理を調整する。復号時の結果が肌色である場合には、その部分は人目を引きやすいため、ノイズフィルタ処理等の動画像処理を行う。これは、略同じ色が続く画像等では動画像処理を行わなくても目立たないので間引くという色情報により動画像処理を調整する方法である。人等の肌色の部分は重要であるので、復号画像の色情報に基づいて動画像処理を調整することが可能となる。
【００６５】
（実施の形態１１）
本発明の実施の形態１１に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、復号画像の量子化値に基づいて動画像処理部１０２の動画像処理を調整する。量子化値は、復号画像のヘッダ部分のフレーム情報に含まれている。量子化値が大きい場合にはデコード画像が粗く、小さい場合には綺麗な絵がデコードされると分かるので、その値により動画像処理を調整する。これにより、量子化値や動きベクトルにより画像の特徴を判断して動画像処理を行わなくても良いところは間引いたり、省いたりするなど、動画像処理を調整することができる。なお、量子化値の他に、動きベクトルに基づいて動画像処理の調整も可能である。動きベクトルが小さい場合には、ほとんど動いていないので動画像処理を間引く。
【００６６】
（実施の形態１２）
本発明の実施の形態１２に係る復号化システムは、上述した実施の形態１に係る復号化システムと同様の構成を採るが、動画像処理調整部１０３の機能に違いがある。即ち、動画像処理調整部１０３は、動画像処理を調整するパターンを複数有し、動画像デコード部１０１から出力される復号状況に応じて最適なパターンを選択する。即ち、間引く場合に、人目に付きやすい中央は間引かず、人目に付きにくい周りの部分を間引くなど、間引くパターンを複数用意し、選択を可能にする。これにより、動画像処理を間引くよう調整する場合でも、よく目に付きやすい中央では間引かず端を間引く等調整の仕方を選択できるようになる。即ち、柔軟な間引きが可能となる。
【００６７】
（実施の形態１３）
図６は、本発明の実施の形態１３に係る復号化システムの概略構成を示すブロック図である。同図において、本実施の形態の復号化システム２０は、動画像デコード部２０１と、動画像処理部２０２と、バッファ（データ一時蓄積手段）２０３とを備える。バッファ２０３は動画像デコード部２０１と動画像処理部２０２の間に介挿される。バッファ２０３を設けることで、動画像デコード部２０１にてデコード処理が終わったときに動画像処理が終わっていなくても、バッファ２０３が、そのサイズ分だけデコード結果を蓄積するので、動画像デコード部２０１は次々とデコードを行うことができる。
【００６８】
（実施の形態１４）
図７は、本発明の実施の形態１４に係る復号化システムの概略構成を示すブロック図である。同図において、本実施の形態の復号化システム３０は、音デコード部３０１と、音処理部３０２と、音処理調整部３０３とを備える。音デコード部３０１は、音の符号化ストリームを復号する。また、音デコード部３０１は音処理調整部３０３に復号情報を与える。音処理部３０２は、音デコード部３０１からの復号データに対してノイズフィルタ処理、イコライザ処理などの音処理を行う。音処理調整部３０３は、音デコード部３０１から復号情報を取得し、復号状況に応じて音処理部３０２の処理を調整する。即ち、復号処理された音データに対する音処理が終わる前に、次の音データの復号処理が終わった場合、音処理を終了させる。具体的には、音処理調整部３０３は、音デコード部３０１にて１フレームの復号が終了したときに音処理を終了させる。音デコード部３０１は、現在の音データに対する復号が終わると、直ぐに次の音データに対して復号を開始する。したがって、１フレームの復号が終わると、すぐに次のフレームの復号及び音処理を行うことが可能となるので、パイプラインが乱れたりすることがなく、復号処理単体で達成できるフレームレートを達成できる。
【００６９】
（実施の形態１５）
本発明の実施の形態１５に係る復号化システムは、上述した実施の形態１４に係る復号化システムと同様の構成を採るが、音処理調整部３０３の機能に違いがある。即ち、音処理調整部３０３は、フレームの音処理時間を、音デコード部３０１の復号の処理時間に合わせて間引く。これにより、１フレームの音処理時間を次の１フレームの復号が終わるまでに終了するように調整することで、次の復号を行うことが可能となる。
【００７０】
（実施の形態１６）
本発明の実施の形態１６に係る復号化システムは、上述した実施の形態１４に係る復号化システムと同様の構成を採るが、音処理調整部３０３の機能に違いがある。即ち、音処理調整部３０３は、１フレームの復号時間をｋ、フレームレートを達成するために必要な１フレームの平均復号時間をｊとして、前記フレームの音処理時間が２ｊ-ｋになるように間引く。これにより、復号が早く終わり、復号と並行して行われている前の音を待つ場合でも、必ず平均フレームレート時間で音処理が終了するので、次の復号を開始することが可能となる。
【００７１】
（実施の形態１７）
図８は、本発明の実施の形態１７に係る再生装置の概略構成を示すブロック図である。同図において、本実施の形態の再生装置４０は、ＤＶＤレコーダ、ハードディスク、半導体記憶素子などの記憶装置５０から動画像と音が多重化された多重化データを読み出して再生するものである。記憶装置５０に蓄積されている多重化データを多重分離部６０で分離し、動画像データは復号化システム１０で復号して動画像処理を行い、動画像出力部７０から出力し、一方、音データは復号化システム３０で復号して音処理を行い、音出力部８０から出力する。本実施の形態の再生装置４０は、復号化システム１０及び３０を有しているので、フレームレートの高い再生が可能な再生装置を実現できる。
【００７２】
（実施の形態１８）
図９は、本発明の実施の形態１８に係る再生装置の概略構成示すブロック図である。同図において、本実施の形態の再生装置９０は、携帯電話網２００やＬＡＮ（無線、有線）網３００等のネットワークから動画像データ、音データを取得して再生する装置である。伝送データ受信部１００でネットワークからのデータを受信し、多重分離部１１０で動画像データと音データに分離し、動画像データは復号化システム１０で復号及び動画像処理を行い、動画像出力部７０から出力し、一方、音データはは復号化システム３０で復号して音処理を行い、音出力部８０から出力する。本実施の形態の再生装置９０は、復号化システム１０及び３０を有しているので、フレームレートの高い再生が可能な再生装置を実現できる。
【００７３】
なお、本発明における動画像処理、音処理は何段かに分かれてそれらがパイプラインに分かれている場合にも適用することが可能である。また、パイプラインではなく、逐次的にデコード、動画像、音処理を行うシステムにおいても、当然同じ仕組みでそれらを調整することで同じ効果が得られる。
【産業上の利用可能性】
【００７４】
本発明は、動画像処理又は音処理が終わる前に次の符号化データの復号処理が終わった場合でも、その次の符号化データの復号を開始することができるといった効果を有し、符号化された動画像や音を復号するシステムへの適用が可能である。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態１に係る復号化システムの概略構成を示すブロック図
【図２】図１の復号化システムの動作を示すシーケンス図
【図３】動画像の符号化及び復号化に用いられるマクロブロックを示す図
【図４】本発明の実施の形態２に係る復号化システムの動作を示すシーケンス図
【図５】本発明の実施の形態５に係る復号化システムの動作を示すシーケンス図
【図６】本発明の実施の形態１３に係る復号化システムの概略構成を示すブロック図
【図７】本発明の実施の形態１４に係る復号化システムの概略構成を示すブロック図
【図８】本発明の実施の形態１７に係る再生装置の概略構成を示すブロック図
【図９】本発明の実施の形態１８に係る再生装置の概略構成示すブロック図
【符号の説明】
【００７６】
１０、２０、３０  復号化システム
４０、９０  再生装置
５０  記憶装置
６０、１１０  多重分離部
７０  動画像出力部
８０  音出力部
１００  伝送データ受信部
１０１、２０１  動画像デコード部
１０２、２０２  動画像処理部
１０３  動画像処理調整部
２０３  バッファ
３０１  音デコード部
３０２  音処理部
３０３  音処理調整部
【図１】
2009021837.tif 000003
【図２】
2009021837.tif 000004
【図３】
2009021837.tif 000005
【図４】
2009021837.tif 000006
【図５】
2009021837.tif 000007
【図６】
2009021837.tif 000008
【図７】
2009021837.tif 000009
【図８】
2009021837.tif 000010
【図９】
2009021837.tif 000011