(57)【要約】【課題】再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる動画像処理装置、動画像再生装置、動画像表示システム、プログラム、記憶媒体及び動画像処理方法を提供する。【解決手段】所定のサブバンドで復号処理の遅れが発生した場合には（ステップＳ１３のＮ）、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで（ステップＳ１４）、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減する。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。【選択図】　　　　図１４
2004056632.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データを再生する動画像処理装置において、
前記フレームを復号処理するフレーム画像復号手段と、
このフレーム画像復号手段による前記フレームの復号処理の進行状況を監視する復号処理状況監視手段と、
前記復号処理状況監視手段により監視している前記フレームの復号処理の進行状況に応じ、前記フレーム画像復号手段で復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御するサブバンド復号処理制御手段と、
を備えることを特徴とする動画像処理装置。
【請求項２】
前記サブバンド復号処理制御手段は、
サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、
この処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生する割込み信号発生手段と、
前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する復号処理終了判定手段と、
この復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定するビットプレーン調整手段と、
を有することを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記処理許容時間算出手段は、前記フレームのフレームレートと前記フレームの符号化パラメータに従ってサブバンド毎の復号処理許容時間を算出することを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記ビットプレーン調整手段は、１フレーム毎にサブバンドの復号処理を停止するビットプレーンを初期値に戻すことを特徴とする請求項２記載の動画像処理装置。
【請求項５】
前記復号処理状況監視手段により監視している前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を備えることを特徴とする請求項１ないし４のいずれか一記載の動画像処理装置。
【請求項６】
前記フレーム画像選択手段は、
最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持手段と、
最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する最終サブバンド復号処理終了判定手段と、
この最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択手段と、
前記最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択手段と、
を備えることを特徴とする請求項５記載の動画像処理装置。
【請求項７】
前記縮小フレーム画像保持手段は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持することを特徴とする請求項６記載の動画像処理装置。
【請求項８】
前記縮小フレーム画像選択手段は、前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を拡大することを特徴とする請求項６記載の動画像処理装置。
【請求項９】
請求項１ないし８のいずれか一記載の動画像処理装置と、
この動画像処理装置により再生された動画像を表示する画像表示装置と、
を備えることを特徴とする動画像再生装置。
【請求項１０】
動画像を撮像する画像入力装置と、
この画像入力装置により撮像した動画像についてフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化する画像圧縮装置と、
この画像圧縮装置により圧縮符号化された動画像データを再生する請求項１ないし８のいずれか一記載の動画像処理装置と、
この動画像処理装置により再生された動画像を表示する画像表示装置と、
を備えることを特徴とする動画像表示システム。
【請求項１１】
１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記フレームを復号処理するフレーム画像復号機能と、
このフレーム画像復号機能による前記フレームの復号処理の進行状況を監視する復号処理状況監視機能と、
前記復号処理状況監視機能により監視している前記フレームの復号処理の進行状況に応じ、前記フレーム画像復号機能で復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御するサブバンド復号処理制御機能と、
を実行させることを特徴とするプログラム。
【請求項１２】
前記サブバンド復号処理制御機能は、
サブバンド毎の復号処理許容時間を算出する処理許容時間算出機能と、
この処理許容時間算出機能により算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生する割込み信号発生機能と、
前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを前記復号処理状況監視機能の監視に基づいて判定する復号処理終了判定機能と、
この復号処理終了判定機能によりサブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定するビットプレーン調整機能と、
を実行させることを特徴とする請求項１１記載のプログラム。
【請求項１３】
前記処理許容時間算出機能は、前記フレームのフレームレートと前記フレームの符号化パラメータに従ってサブバンド毎の復号処理許容時間を算出することを特徴とする請求項１２記載のプログラム。
【請求項１４】
前記ビットプレーン調整機能は、１フレーム毎にサブバンドの復号処理を停止するビットプレーンを初期値に戻すことを特徴とする請求項１２記載のプログラム。
【請求項１５】
前記復号処理状況監視機能により監視している前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号機能で復号処理した画像をフレーム画像として選択するフレーム画像選択機能を備えることを特徴とする請求項１１ないし１４のいずれか一記載のプログラム。
【請求項１６】
前記フレーム画像選択機能は、
最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持機能と、
最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視機能の監視に基づいて判定する最終サブバンド復号処理終了判定機能と、
この最終サブバンド復号処理終了判定機能により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持機能により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択機能と、
前記最終サブバンド復号処理終了判定機能により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択機能と、
を備えることを特徴とする請求項１５記載のプログラム。
【請求項１７】
前記縮小フレーム画像保持機能は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持することを特徴とする請求項１６記載のプログラム。
【請求項１８】
前記縮小フレーム画像選択機能は、前記縮小フレーム画像保持機能により記憶保持されている前記縮小フレーム画像を拡大することを特徴とする請求項１６記載のプログラム。
【請求項１９】
請求項１１ないし１８のいずれか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
【請求項２０】
１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データを再生する動画像処理方法であって、
前記フレームの復号処理の進行状況を監視し、前記フレームの復号処理の進行状況に応じて復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御することを特徴とする動画像処理方法。
【請求項２１】
サブバンド毎の復号処理許容時間を算出し、
算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生させ、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定し、
サブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定することを特徴とする請求項２０記載の動画像処理方法。
【請求項２２】
前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択することを特徴とする請求項２０または２１記載の動画像処理方法。
【請求項２３】
最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持し、
最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを判定し、
最終のサブバンドの復号処理が終了していないと判定された場合には、最終のサブバンドの復号処理を停止して記憶保持されている前記縮小フレーム画像を選択し、
最終のサブバンドの復号処理が終了していると判定された場合には、復号処理した当該フレームに応じた等倍フレーム画像を選択することを特徴とする請求項２２記載の動画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像処理装置、動画像再生装置、動画像表示システム、プログラム、記憶媒体及び動画像処理方法に関する。
【０００２】
【従来の技術】
従来から、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ　ＪＰＥＧが使用されている。ＭＰＥＧ方式とＭｏｔｉｏｎ静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、ＭＰＥＧ方式、Ｍｏｔｉｏｎ静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００３】
ところで、ＭＰＥＧ方式やＭｏｔｉｏｎ静止画像方式に代表される多くの符号化方式では画像をブロック単位で処理するため、その復号画像にはブロックノイズやエッジノイズといった劣化が生じる。ブロックノイズとは、本来の画像の絵柄にはないブロックパターン状の幾何学模様が見える歪みである。また、エッジノイズはエッジ付近に生じるリンギング状の歪み（モスキートノイズともいう）である。
【０００４】
そこで、従来においては、このような符号化方式固有のノイズを除去するポストフィルタが提案されている。このポストフィルタは、概略的には、復号画像信号を平滑化して、ブロック間の境界部における高域成分を取り除く等の処理を行うものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したようなポストフィルタによるフィルタ処理は比較的多くの演算量を必要とするため、フィルタ処理に時間がかかり、結果的に再生処理の遅れが引き起こされる場合がある。特に、マイクロプロセッサベースでソフトウェアデコードを行うシステムでは、動きの激しい場面においては復号処理そのものにプロセッサ資源が占有されてしまうので、それによってプロセッサ負荷が高くなり、再生処理の遅れが多々引き起こされることになる。再生処理の遅れは、音声と同期して動画像の復号・再生をソフトウェアによって行う場合に特に顕在化され、音声とのずれや、コマ落ちなどの問題が生じることになる。
【０００６】
すなわち、動画像の再生処理に遅れが生じた場合には、通常、その遅れを解消するために、いくつかのフレームに関する復号処理を省くというフレームスキップが行われる。これにより、コマ落ちが発生し、ギクシャクとした再生画像となってしまう。
【０００７】
また、近年においては、後者のＭｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ　ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００８】
このＭｏｔｉｏｎ　ＪＰＥＧ２０００という方式によれば、高圧縮率、高画質の画像が得られる点でＭｏｔｉｏｎ　ＪＰＥＧよりも優れているが、反面、Ｍｏｔｉｏｎ　ＪＰＥＧの画像処理に比べると多くの演算量を必要とするため、復号に時間を要してしまう。特に、１フレーム画像当たり１／３０秒程度の処理をソフトウェアで行う場合には、音声とのずれや、コマ落ちなどの問題が生じることになる。
【０００９】
本発明の目的は、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる動画像処理装置、動画像再生装置、動画像表示システム、プログラム、記憶媒体及び動画像処理方法を提供することである。
【００１０】
【課題を解決するための手段】
請求項１記載の発明の動画像処理装置は、１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データを再生する動画像処理装置において、前記フレームを復号処理するフレーム画像復号手段と、このフレーム画像復号手段による前記フレームの復号処理の進行状況を監視する復号処理状況監視手段と、前記復号処理状況監視手段により監視している前記フレームの復号処理の進行状況に応じ、前記フレーム画像復号手段で復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御するサブバンド復号処理制御手段と、を備える。
【００１１】
したがって、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理が軽減される。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことが可能になる。
【００１２】
請求項２記載の発明は、請求項１記載の動画像処理装置において、前記サブバンド復号処理制御手段は、サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、この処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生する割込み信号発生手段と、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する復号処理終了判定手段と、この復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定するビットプレーン調整手段と、を有する。
【００１３】
したがって、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンが１ビット多く設定される。これにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することが可能になる。
【００１４】
請求項３記載の発明は、請求項２記載の動画像処理装置において、前記処理許容時間算出手段は、前記フレームのフレームレートと前記フレームの符号化パラメータに従ってサブバンド毎の復号処理許容時間を算出する。
【００１５】
したがって、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間が確実に算出可能になる。
【００１６】
請求項４記載の発明は、請求項２記載の動画像処理装置において、前記ビットプレーン調整手段は、１フレーム毎にサブバンドの復号処理を停止するビットプレーンを初期値に戻す。
【００１７】
したがって、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにする。これにより、画質の劣化を防止することが可能になる。
【００１８】
請求項５記載の発明は、請求項１ないし４のいずれか一記載の動画像処理装置において、前記復号処理状況監視手段により監視している前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を備える。
【００１９】
したがって、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことが可能になる。
【００２０】
請求項６記載の発明は、請求項５記載の動画像処理装置において、前記フレーム画像選択手段は、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持手段と、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する最終サブバンド復号処理終了判定手段と、この最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択手段と、前記最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択手段と、を備える。
【００２１】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことが可能になる。
【００２２】
請求項７記載の発明は、請求項６記載の動画像処理装置において、前記縮小フレーム画像保持手段は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持する。
【００２３】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択するので、フレームの表示が確実に行える。
【００２４】
請求項８記載の発明は、請求項６記載の動画像処理装置において、前記縮小フレーム画像選択手段は、前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を拡大する。
【００２５】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像がフレーム画像として選択されて拡大されるので、フレームの表示が確実に行える。
【００２６】
請求項９記載の発明の動画像再生装置は、請求項１ないし８のいずれか一記載の動画像処理装置と、この動画像処理装置により再生された動画像を表示する画像表示装置と、を備える。
【００２７】
したがって、請求項１ないし８のいずれか一記載の発明と同様の作用を奏する動画像再生装置を提供することが可能になる。
【００２８】
請求項１０記載の発明の動画像表示システムは、動画像を撮像する画像入力装置と、この画像入力装置により撮像した動画像についてフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化する画像圧縮装置と、この画像圧縮装置により圧縮符号化された動画像データを再生する請求項１ないし８のいずれか一記載の動画像処理装置と、この動画像処理装置により再生された動画像を表示する画像表示装置と、を備える。
【００２９】
したがって、請求項１ないし８のいずれか一記載の発明と同様の作用を奏する動画像表示システムを提供することが可能になる。
【００３０】
請求項１１記載の発明のプログラムは、１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記フレームを復号処理するフレーム画像復号機能と、このフレーム画像復号機能による前記フレームの復号処理の進行状況を監視する復号処理状況監視機能と、前記復号処理状況監視機能により監視している前記フレームの復号処理の進行状況に応じ、前記フレーム画像復号機能で復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御するサブバンド復号処理制御機能と、を実行させる。
【００３１】
したがって、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理が軽減される。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことが可能になる。
【００３２】
請求項１２記載の発明は、請求項１１記載のプログラムにおいて、前記サブバンド復号処理制御機能は、サブバンド毎の復号処理許容時間を算出する処理許容時間算出機能と、この処理許容時間算出機能により算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生する割込み信号発生機能と、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを前記復号処理状況監視機能の監視に基づいて判定する復号処理終了判定機能と、この復号処理終了判定機能によりサブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定するビットプレーン調整機能と、を実行させる。
【００３３】
したがって、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンが１ビット多く設定される。これにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することが可能になる。
【００３４】
請求項１３記載の発明は、請求項１２記載のプログラムにおいて、前記処理許容時間算出機能は、前記フレームのフレームレートと前記フレームの符号化パラメータに従ってサブバンド毎の復号処理許容時間を算出する。
【００３５】
したがって、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間が確実に算出可能になる。
【００３６】
請求項１４記載の発明は、請求項１２記載のプログラムにおいて、前記ビットプレーン調整機能は、１フレーム毎にサブバンドの復号処理を停止するビットプレーンを初期値に戻す。
【００３７】
したがって、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにする。これにより、画質の劣化を防止することが可能になる。
【００３８】
請求項１５記載の発明は、請求項１１ないし１４のいずれか一記載のプログラムにおいて、前記復号処理状況監視機能により監視している前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号機能で復号処理した画像をフレーム画像として選択するフレーム画像選択機能を備える。
【００３９】
したがって、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことが可能になる。
【００４０】
請求項１６記載の発明は、請求項１５記載のプログラムにおいて、前記フレーム画像選択機能は、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持機能と、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視機能の監視に基づいて判定する最終サブバンド復号処理終了判定機能と、この最終サブバンド復号処理終了判定機能により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持機能により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択機能と、前記最終サブバンド復号処理終了判定機能により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択機能と、を備える。
【００４１】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことが可能になる。
【００４２】
請求項１７記載の発明は、請求項１６記載のプログラムにおいて、前記縮小フレーム画像保持機能は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持する。
【００４３】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択するので、フレームの表示が確実に行える。
【００４４】
請求項１８記載の発明は、請求項１６記載のプログラムにおいて、前記縮小フレーム画像選択機能は、前記縮小フレーム画像保持機能により記憶保持されている前記縮小フレーム画像を拡大する。
【００４５】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像がフレーム画像として選択されて拡大されるので、フレームの表示が確実に行える。
【００４６】
請求項１９記載の発明の記憶媒体は、請求項１１ないし１８のいずれか一記載のプログラムを記憶している。
【００４７】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項１１ないし１８のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００４８】
請求項２０記載の発明の動画像処理方法は、１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データを再生する動画像処理方法であって、前記フレームの復号処理の進行状況を監視し、前記フレームの復号処理の進行状況に応じて復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御する。
【００４９】
したがって、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理が軽減される。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことが可能になる。
【００５０】
請求項２１記載の発明は、請求項２０記載の動画像処理方法において、サブバンド毎の復号処理許容時間を算出し、算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生させ、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定し、サブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定する。
【００５１】
したがって、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンが１ビット多く設定される。これにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することが可能になる。
【００５２】
請求項２２記載の発明は、請求項２０または２１記載の動画像処理方法において、前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択する。
【００５３】
したがって、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことが可能になる。
【００５４】
請求項２３記載の発明は、請求項２２記載の動画像処理方法において、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持し、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを判定し、最終のサブバンドの復号処理が終了していないと判定された場合には、最終のサブバンドの復号処理を停止して記憶保持されている前記縮小フレーム画像を選択し、最終のサブバンドの復号処理が終了していると判定された場合には、復号処理した当該フレームに応じた等倍フレーム画像を選択する。
【００５５】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことが可能になる。
【００５６】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。
【００５７】
図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、画像圧縮手段として機能するものであって、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００５８】
このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００５９】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００６０】
原画像の入出力部分には、色空間変換部・逆変換部１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００６１】
次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
【００６２】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
【００６３】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００６４】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００６５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００６６】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００６７】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００６８】
図５には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ　ｓｔｒｅａｍ）の先頭にはメインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ　ｏｆ　ｃｏｄｅｓｔｒｅａｍ）が置かれる。
【００６９】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００７０】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」である。すなわち、「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００」は、図６に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００７１】
以下、本発明の実施の一形態について説明する。なお、ここでは、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００を代表とする動画像圧縮伸長技術に関する例について説明するが、いうまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００７２】
図７は本発明が適用される監視カメラシステム１を示すシステム構成図、図８はその機能ブロック図である。図７に示すように、本発明の動画像表示システムが適用される監視カメラシステム１は、画像記録装置として機能する監視カメラ１ａと動画像再生装置として機能するパーソナルコンピュータ（以下、ＰＣという）１ｂとをインターネットであるネットワーク１ｃを介して接続したものである。
【００７３】
図８に示すように、このような監視カメラシステム１の監視カメラ１ａは、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像を撮影する画像入力装置２と、この撮影した画像データを圧縮符号化する画像圧縮装置３とを備えている。一方、ＰＣ１ｂは、監視カメラ１ａの画像圧縮装置３で生成された符号列データを伸長（復号）して動画像の画像データとする動画像処理装置である画像伸長装置６と、この伸長後の画像データによる画像を表示する画像表示装置７と、監視カメラ１ａの画像圧縮装置３で生成された符号列データを記憶する外部符号列記憶部９とを備えている。外部符号列記憶部９は、一般的なバッファとしての機能、あるいは、長期間に渡る動画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００７４】
図９は、監視カメラシステム１のハードウエア構成の一例を示すブロック図である。監視カメラシステム１を構成する監視カメラ１ａ及びＰＣ１ｂは、図９に示すように、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１ａ，１１ｂをそれぞれ備えており、このＣＰＵ１１ａ，１１ｂには、各種のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）からなる記憶媒体であるメモリ１２ａ，１２ｂと、ネットワーク１ｃと通信を行う所定の通信インターフェイス１３ａ，１３ｂと、ユーザから各種の操作を受付ける操作パネル１８ａ，１８ｂとが、バス１４ａ，１４ｂを介して接続されている。
【００７５】
監視カメラ１ａは、前述したように画像入力装置２と画像圧縮装置３とを備えており、これらの画像入力装置２、画像圧縮装置３も、バス１４ａを介してＣＰＵ１１ａに接続されている。
【００７６】
ＰＣ１ｂは、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）である画像表示装置７と、外部符号列記憶部９として機能する外部記憶装置であるＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１５と、配布されたプログラム（例えば、動画処理プログラム）であるコンピュータソフトウェアを記憶した記憶媒体１６からコンピュータソフトウェアを読み取るための機構であるドライブ１７と、を備えており、これらの画像表示装置７、ＨＤＤ１５、ドライブ１７も、バス１４ｂを介してＣＰＵ１１ｂに接続されている。
【００７７】
このような構成のＰＣ１ｂのメモリ１２ｂ（のＲＯＭ）には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてＣＰＵ１１ｂが実行する処理により、画像伸長装置６の機能を実現する。
【００７８】
なお、記憶媒体１６としては、ＣＤやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、ネットワーク１ｃからプログラムをダウンロードし、メモリ１２ｂにインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００７９】
ここで、監視カメラシステム１の各部の動作について簡単に説明する。まず、監視カメラ１ａの画像入力装置２は、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置３に出力する。画像圧縮装置３は、動画像のデジタル画素値信号を「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」に従って圧縮符号化する。この画像圧縮装置３における処理により、元の動画像のＲ，Ｇ，Ｂの各コンポーネントの動画像データは、フレームごとに１又は複数（通常は複数）のタイルに分割され、このタイルごとに階層的に圧縮符号化された符号化データとなる。このようにして「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」に従って生成された符号列データ（Ｍｏｔｉｏｎ　ＪＰＥＧ２０００データ）はネットワーク１ｃを介してＰＣ１ｂに出力される。
【００８０】
ネットワーク１ｃを介してＰＣ１ｂに出力された符号列データ（Ｍｏｔｉｏｎ　ＪＰＥＧ２０００データ）は、ＰＣ１ｂにおいて、外部符号列記憶部９に格納され、また、画像伸長装置６で伸長処理される。そして、画像伸長装置６で伸長処理されて生成された動画像の画像データは、画像表示装置７に出力され、この伸長後の画像データによる画像が画像表示装置７に表示される。
【００８１】
続いて、本発明の主要部分である画像伸長装置６について詳述する。ここで、図１０は画像伸長装置６の機能ブロック図である。図１０に示すように、ＣＰＵ１１ｂはコンピュータソフトウェアに基づいて動作することで、画像伸長装置６は、復号時間経過監視手段２１、コントロール手段２２、フレーム画像復号手段２３、画像出力手段２４の各機能を実現する。また、ＣＰＵ１１ｂはコンピュータソフトウェアに基づいて動作することで、メモリ１２ｂにフレームバッファ２５を形成する。
【００８２】
復号時間経過監視手段２１は、フレームレート（単位時間に再生するフレーム数）とＪＰＥＧ２０００画像の符号化パラメータ（ＪＰＥＧ２０００コードストリームの符号化順のデータ）とに従ってサブバンド毎の復号処理許容時間を計算し（処理許容時間算出手段）、コントロール手段２２に割り込みをかける（割込み信号発生手段）。
【００８３】
コントロール手段２２は、復号時間経過監視手段２１の起動、ＪＰＥＧ２０００画像復号手段２３の起動、停止、伸長停止ビットプレーン制御、画像出力手段２４の起動の制御を行う。
【００８４】
フレーム画像復号手段２３は、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００の動画を構成するフレームの所定のビットプレーンまでの復号、伸長を行い、終了時にはコントロール手段２２への完了割り込みを行う。また、ここでは最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を縮小フレーム画像としてフレームバッファ２５に保持しながら復号を行う（縮小フレーム画像保持手段）。
【００８５】
復号時間経過監視手段２１での割り込み時間の設定の例を図１１で説明する。タイリングを行わない場合のＪＰＥＧ２０００画像のサブバンドの構成は図１１のようになり、ＲＧＢ色成分毎に離散ウェーブレット変換によってＬＬサブバンドの領域が次々と帯域分解されている。Ｍｏｔｉｏｎ　ＪＰＥＧ２０００のフレームを構成するＪＰＥＧ２０００画像コードストリームにもこの構成が反映されており、各サブバンドの処理時間はサブバンドの面積に比例したものとなる。従って、フレームレート（単位時間に再生するフレーム数）とＪＰＥＧ２０００コードストリームの符号化順のデータに基づく各サブバンドの面積比とにより伸長すべき時間の基準値が求まるので、その時間毎に割り込みを発生させることによって処理の遅れの検出を行う。
【００８６】
なお、タイリングを行った場合のＪＰＥＧ２０００画像のサブバンドの構成は図１２のようになるが、タイルという領域に分割された画像の集まりであるので扱いはタイリングを行わない場合と同じである。
【００８７】
フレーム画像復号手段２３は、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の伸長時には伸長停止ビットプレーンを初期値である“０”に設定、つまりビットプレーンの切捨てを行わないように伸長を行う。
【００８８】
コントロール手段２２では、復号時間経過監視手段２１からの割り込み発生時にサブバンドの伸長処理が終了しているかどうかを、フレーム画像復号手段２３の状態を監視することによって行い（復号処理状況監視手段）、終了していれば処理を継統し、終了していなければ次のサブバンドの伸長停止ビットプレーンを“１”加算する（サブバンド復号処理制御手段）。この処理によって、サブバンドの伸長時間が遅れている場合には次のサブバンドの処理が軽くなり、基準時間内での伸長を保証することが可能となる。ここで、図１３はフレーム画像復号手段２３による各サブバンドの処理の様子と時間経過による伸長ビットプレーンの変化とを表したものである。基準時間の割り込みよりも伸長処理の方が遅ければ、伸長停止ビットプレーンを加算しながら処理を続ける。なお、ＬＬサブバンド領域の伸長時には、初期値として伸長停止ビットプレーンを“０”に設定する。
【００８９】
コントロール手段２２では、以上の流れによりフレーム伸長の完了もしくは最終サブバンドの割り込みのどちらが早く発生するかを知ることができる。そして、コントロール手段２２では、フレーム伸長の完了の方が早い場合には等倍フレーム画像を表示し、最終サブバンドの割り込みが早い場合にはフレームバッファ２５に保持されている１階層前の縮小フレーム画像を拡大して表示するという制御が行われる（フレーム画像選択手段）。
【００９０】
図１４はコントロール手段２２による処理制御の流れを示すフローチャートである。図１４に示すように、コントロール手段２２の起動処理としては、まず、動画データのヘッダに従った復号時間経過監視手段２１の起動（ステップＳ１）、及びフレーム画像復号手段２３の起動（ステップＳ２）を行う。
【００９１】
そして、起動したコントロール手段２２は、復号時間経過監視手段２１からの割り込み発生信号を受け取ると（ステップＳ１１のＹ）、フレームの最終サブバンドの時間経過割り込みかどうかを判別する（ステップＳ１２）。
【００９２】
フレームの最終サブバンドの時間経過割り込みでなければ（ステップＳ１２のＹ）、ステップＳ１３に進み、フレーム画像復号手段２３の状態を監視して個々のサブバンドの伸長処理が終了しているかどうかを判別する（復号処理終了判定手段）。
【００９３】
個々のサブバンドの伸長処理が終了している場合には（ステップＳ１３のＹ）、ステップＳ１１に戻り、復号時間経過監視手段２１からの割り込み発生信号を受け取るまで待機する。
【００９４】
個々のサブバンドの伸長処理が終了していない場合には（ステップＳ１３のＮ）、サブバンドの伸長時間が遅れているので、次のサブバンドの伸長停止ビットプレーンを“１”加算し（ステップＳ１４：ビットプレーン調整手段）、ステップＳ１１に戻り、復号時間経過監視手段２１からの割り込み発生信号を受け取るまで待機する。
【００９５】
一方、フレームの最終サブバンドの時間経過割り込みの場合には（ステップＳ１２のＮ）、最終サブバンドの伸長処理が終了しているかどうかを判定する（ステップＳ１５）。ここに、最終サブバンド復号処理終了判定手段の機能が実行される。
【００９６】
最終サブバンドの伸長処理が終了している場合には（ステップＳ１５のＹ）、等倍フレーム画像の表示制御を行う（ステップＳ１６）。ここに、等倍フレーム画像選択手段の機能が実行される。
【００９７】
最終サブバンドの伸長処理が終了していない場合には（ステップＳ１５のＮ）、フレーム画像復号を停止し（ステップＳ１７）、縮小フレーム画像の拡大表示の制御を行う（ステップＳ１８）。ここに、縮小フレーム画像選択手段の機能が実行される。
【００９８】
ここに、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減する。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【００９９】
また、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことができる。
【０１００】
なお、本実施の形態においては、監視カメラシステム１を構成する動画像再生装置としてＰＣ１ｂを適用したが、これに限るものではない。例えば、携帯情報端末（ＰＤＡ）や携帯電話などを動画像再生装置として適用することもできる。
【０１０１】
また、本実施の形態においては、画像入力装置２及び画像圧縮装置３を備える監視カメラ１ａと、動画像処理装置である画像伸長装置６及び画像表示装置７を備えるＰＣ１ｂとをネットワーク１ｃを介して接続した監視カメラシステム１を動画像表示システムとして適用したが、これに限るものではない。例えば、画像入力装置２であるカメラ部と、画像圧縮装置３及び動画像処理装置である画像伸長装置６を備える制御部と、画像表示装置７であるディスプレイとを一体に備えるデジタルカメラ等を動画像表示システムとして適用しても何ら問題はない。
【０１０２】
【発明の効果】
請求項１記載の発明の動画像処理装置によれば、１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データを再生する動画像処理装置において、前記フレームを復号処理するフレーム画像復号手段と、このフレーム画像復号手段による前記フレームの復号処理の進行状況を監視する復号処理状況監視手段と、前記復号処理状況監視手段により監視している前記フレームの復号処理の進行状況に応じ、前記フレーム画像復号手段で復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御するサブバンド復号処理制御手段と、を備え、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減することにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【０１０３】
請求項２記載の発明によれば、請求項１記載の動画像処理装置において、前記サブバンド復号処理制御手段は、サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、この処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生する割込み信号発生手段と、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する復号処理終了判定手段と、この復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定するビットプレーン調整手段と、を有し、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定することにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することができる。
【０１０４】
請求項３記載の発明によれば、請求項２記載の動画像処理装置において、前記処理許容時間算出手段は、前記フレームのフレームレートと前記フレームの符号化パラメータに従ってサブバンド毎の復号処理許容時間を算出することにより、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間を確実に算出することができる。
【０１０５】
請求項４記載の発明によれば、請求項２記載の動画像処理装置において、前記ビットプレーン調整手段は、１フレーム毎にサブバンドの復号処理を停止するビットプレーンを初期値に戻し、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにすることにより、画質の劣化を防止することができる。
【０１０６】
請求項５記載の発明によれば、請求項１ないし４のいずれか一記載の動画像処理装置において、前記復号処理状況監視手段により監視している前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を備え、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことができる。
【０１０７】
請求項６記載の発明によれば、請求項５記載の動画像処理装置において、前記フレーム画像選択手段は、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持手段と、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する最終サブバンド復号処理終了判定手段と、この最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択手段と、前記最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択手段と、を備え、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことができる。
【０１０８】
請求項７記載の発明によれば、請求項６記載の動画像処理装置において、前記縮小フレーム画像保持手段は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択するので、フレームの表示を確実に行うことができる。
【０１０９】
請求項８記載の発明によれば、請求項６記載の動画像処理装置において、前記縮小フレーム画像選択手段は、前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を拡大することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択して拡大するので、フレームの表示を確実に行うことができる。
【０１１０】
請求項９記載の発明の動画像再生装置によれば、請求項１ないし８のいずれか一記載の動画像処理装置と、この動画像処理装置により再生された動画像を表示する画像表示装置と、を備えることにより、請求項１ないし８のいずれか一記載の発明と同様の作用効果を奏する動画像再生装置を提供することができる。
【０１１１】
請求項１０記載の発明の動画像表示システムによれば、動画像を撮像する画像入力装置と、この画像入力装置により撮像した動画像についてフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化する画像圧縮装置と、この画像圧縮装置により圧縮符号化された動画像データを再生する請求項１ないし８のいずれか一記載の動画像処理装置と、この動画像処理装置により再生された動画像を表示する画像表示装置と、を備えることにより、請求項１ないし８のいずれか一記載の発明と同様の作用効果を奏する動画像表示システムを提供することができる。
【０１１２】
請求項１１記載の発明のプログラムによれば、１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記フレームを復号処理するフレーム画像復号機能と、このフレーム画像復号機能による前記フレームの復号処理の進行状況を監視する復号処理状況監視機能と、前記復号処理状況監視機能により監視している前記フレームの復号処理の進行状況に応じ、前記フレーム画像復号機能で復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御するサブバンド復号処理制御機能と、を実行させ、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減することにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【０１１３】
請求項１２記載の発明によれば、請求項１１記載のプログラムにおいて、前記サブバンド復号処理制御機能は、サブバンド毎の復号処理許容時間を算出する処理許容時間算出機能と、この処理許容時間算出機能により算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生する割込み信号発生機能と、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを前記復号処理状況監視機能の監視に基づいて判定する復号処理終了判定機能と、この復号処理終了判定機能によりサブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定するビットプレーン調整機能と、を実行させ、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定することにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することができる。
【０１１４】
請求項１３記載の発明は、請求項１２記載のプログラムにおいて、前記処理許容時間算出機能は、前記フレームのフレームレートと前記フレームの符号化パラメータに従ってサブバンド毎の復号処理許容時間を算出することにより、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間を確実に算出することができる。
【０１１５】
請求項１４記載の発明によれば、請求項１２記載のプログラムにおいて、前記ビットプレーン調整機能は、１フレーム毎にサブバンドの復号処理を停止するビットプレーンを初期値に戻し、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにすることにより、画質の劣化を防止することができる。
【０１１６】
請求項１５記載の発明によれば、請求項１１ないし１４のいずれか一記載のプログラムにおいて、前記復号処理状況監視機能により監視している前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号機能で復号処理した画像をフレーム画像として選択するフレーム画像選択機能を備え、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことができる。
【０１１７】
請求項１６記載の発明によれば、請求項１５記載のプログラムにおいて、前記フレーム画像選択機能は、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持機能と、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視機能の監視に基づいて判定する最終サブバンド復号処理終了判定機能と、この最終サブバンド復号処理終了判定機能により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持機能により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択機能と、前記最終サブバンド復号処理終了判定機能により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択機能と、を備え、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことができる。
【０１１８】
請求項１７記載の発明によれば、請求項１６記載のプログラムにおいて、前記縮小フレーム画像保持機能は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択するので、フレームの表示を確実に行うことができる。
【０１１９】
請求項１８記載の発明によれば、請求項１６記載のプログラムにおいて、前記縮小フレーム画像選択機能は、前記縮小フレーム画像保持機能により記憶保持されている前記縮小フレーム画像を拡大することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択して拡大するので、フレームの表示を確実に行うことができる。
【０１２０】
請求項１９記載の発明の記憶媒体によれば、請求項１１ないし１８のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項１１ないし１８のいずれか一記載の発明と同様の作用効果を得ることができる。
【０１２１】
請求項２０記載の発明の動画像処理方法によれば、１又は複数に分割された矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化したフレームを複数有して構成される動画像データを再生する動画像処理方法であって、前記フレームの復号処理の進行状況を監視し、前記フレームの復号処理の進行状況に応じて復号処理する前記フレームの矩形領域における階層領域である各サブバンドの処理対象のビットプレーンを可変制御し、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減することにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【０１２２】
請求項２１記載の発明によれば、請求項２０記載の動画像処理方法において、サブバンド毎の復号処理許容時間を算出し、算出されたサブバンド毎の復号処理許容時間に応じて割込み信号を発生させ、前記割込み信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定し、サブバンド毎の復号処理が終了していないと判定された場合、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定することにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することができる。
【０１２３】
請求項２２記載の発明によれば、請求項２０または２１記載の動画像処理方法において、前記フレームの復号処理の進行状況に応じ、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択することにより、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことができる。
【０１２４】
請求項２３記載の発明によれば、請求項２２記載の動画像処理方法において、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持し、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを判定し、最終のサブバンドの復号処理が終了していないと判定された場合には、最終のサブバンドの復号処理を停止して記憶保持されている前記縮小フレーム画像を選択し、最終のサブバンドの復号処理が終了していると判定された場合には、復号処理した当該フレームに応じた等倍フレーム画像を選択することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことができる。
【図面の簡単な説明】
【図１】本実施の形態の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】符号列データの１フレーム分の概略構成を示す説明図である。
【図６】Ｍｏｔｉｏｎ　ＪＰＥＧ２０００の概念を示す説明図である。
【図７】本発明の実施の一形態の監視カメラシステムを示すシステム構成図である。
【図８】その機能ブロック図である。
【図９】監視カメラシステムのハードウエア構成の一例を示すブロック図である。
【図１０】画像伸長装置の機能ブロック図である。
【図１１】タイリングを行わない場合のＪＰＥＧ２０００画像のサブバンドの構成を示す説明図である。
【図１２】タイリングを行った場合のＪＰＥＧ２０００画像のサブバンドの構成を示す説明図である。
【図１３】フレーム画像復号手段による各サブバンドの処理の様子と時間経過による伸長ビットプレーンの変化とを表す説明図である。
【図１４】コントロール手段による処理制御の流れを示すフローチャートである。
【符号の説明】
１　　　　動画像表示システム
１ｂ　　　動画像再生装置
２　　　　画像入力装置
３　　　　画像圧縮装置
６　　　　動画像処理装置
７　　　　画像表示装置
１６　　　記憶媒体
２３　　　フレーム画像復号手段
【図１】
2004056632.tif 000003
【図２】
2004056632.tif 000004
【図３】
2004056632.tif 000005
【図４】
2004056632.tif 000006
【図５】
2004056632.tif 000007
【図６】
2004056632.tif 000008
【図７】
2004056632.tif 000009
【図８】
2004056632.tif 000010
【図９】
2004056632.tif 000011
【図１０】
2004056632.tif 000012
【図１１】
2004056632.tif 000013
【図１２】
2004056632.tif 000014
【図１３】
2004056632.tif 000015
【図１４】
2004056632.tif 000016