(57)【特許請求の範囲】
【請求項１】
離散ウェーブレット変換により画像を矩形領域毎にサブバンドに分解し、階層的に圧縮符号化したフレームを複数有する動画像データを再生する動画像処理装置であって、
前記フレームを復号処理するフレーム画像復号手段と、
サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、
前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生手段と、
前記割込信号の発生時に、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定手段と、
前記復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整手段と
を有することを特徴とする動画像処理装置。
【請求項２】
前記処理許容時間算出手段は、前記動画像の単位時間に再生するフレーム数と前記フレームの符号化パラメータとに基づき、サブバンド毎の復号処理許容時間を算出することを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記ビットプレーン調整手段は、
ＬＬサブバンド領域を復号する際に、サブバンドの復号処理を停止するビットプレーンを初期値に設定することを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記フレームの最終サブバンドに対して、前記復号処理終了判定手段によって、復号処理が終了していないことが判定された場合に、
前記最終サブバンドより１階層前までのサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を有することを特徴とする請求項１ないし３何れか一項に記載の動画像処理装置。
【請求項５】
離散ウェーブレット変換により画像を矩形領域毎にサブバンドに分解し、階層的に圧縮符号化したフレームを複数有する動画像データを再生する動画像処理方法であって、
前記フレームを復号処理するフレーム画像復号ステップと、
サブバンド毎の復号処理許容時間を算出する処理許容時間算出ステップと、
前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生ステップと、
前記割込信号の発生時に、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定ステップと、
前記復号処理終了判定ステップによりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整ステップと
を有することを特徴とする動画像処理方法。
【請求項６】
前記処理許容時間算出ステップは、前記動画像の単位時間に再生するフレーム数と前記フレームの符号化パラメータとに基づき、サブバンド毎の復号処理許容時間を算出することを特徴とする請求項５記載の動画像処理方法。
【請求項７】
前記ビットプレーン調整ステップは、
ＬＬサブバンド領域を復号する際に、サブバンドの復号処理を停止するビットプレーンを初期値に設定することを特徴とする請求項６記載の動画像処理方法。
【請求項８】
前記復号処理終了判定ステップにおいて、前記フレームの最終サブバンドに対して、復号処理が終了していないことが判定された場合に、
前記最終サブバンドより１階層前までのサブバンドを前記フレーム画像復号ステップで復号処理した画像をフレーム画像として選択するフレーム画像選択ステップを有することを特徴とする請求項５ないし７何れか一項に記載の動画像処理方法。
【請求項９】
動画像を撮影する画像入力手段と、
前記画像入力手段によって撮影された動画像のフレームを矩形領域毎にサブバンドに分解し、階層的に圧縮することで符号列データを生成する画像圧縮手段と、
前記画像圧縮手段が生成した符号列データを伸長し、動画像を生成する画像伸長手段と、
前記画像伸長手段が生成した動画像を表示する表示手段と
を有し、
前記画像伸長手段は、
前記フレームを復号処理するフレーム画像復号手段と、
サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、
前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生手段と、
前記割込信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定手段と、
前記復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整手段と
を有することを特徴とする監視カメラシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像処理装置、動画像処理方法、及び、監視カメラシステムに関する。
【０００２】
【従来の技術】
従来から、画像圧縮伸長アルゴリズムとして、動画像専用のMPEG1／MPEG2／MPEG4や、静止画像を連続したフレームとして扱うMotion JPEGが使用されている。MPEG方式とMotion静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、MPEG方式、Motion静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００３】
ところで、MPEG方式やMotion静止画像方式に代表される多くの符号化方式では画像をブロック単位で処理するため、その復号画像にはブロックノイズやエッジノイズといった劣化が生じる。ブロックノイズとは、本来の画像の絵柄にはないブロックパターン状の幾何学模様が見える歪みである。また、エッジノイズはエッジ付近に生じるリンギング状の歪み（モスキートノイズともいう）である。
【０００４】
そこで、従来においては、このような符号化方式固有のノイズを除去するポストフィルタが提案されている。このポストフィルタは、概略的には、復号画像信号を平滑化して、ブロック間の境界部における高域成分を取り除く等の処理を行うものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したようなポストフィルタによるフィルタ処理は比較的多くの演算量を必要とするため、フィルタ処理に時間がかかり、結果的に再生処理の遅れが引き起こされる場合がある。特に、マイクロプロセッサベースでソフトウェアデコードを行うシステムでは、動きの激しい場面においては復号処理そのものにプロセッサ資源が占有されてしまうので、それによってプロセッサ負荷が高くなり、再生処理の遅れが多々引き起こされることになる。再生処理の遅れは、音声と同期して動画像の復号・再生をソフトウェアによって行う場合に特に顕在化され、音声とのずれや、コマ落ちなどの問題が生じることになる。
【０００６】
すなわち、動画像の再生処理に遅れが生じた場合には、通常、その遅れを解消するために、いくつかのフレームに関する復号処理を省くというフレームスキップが行われる。これにより、コマ落ちが発生し、ギクシャクとした再生画像となってしまう。
【０００７】
また、近年においては、後者のMotion静止画像の符号化については、国際標準としてMotion JPEG2000という新しい方式が規格化されつつある。
【０００８】
このMotion JPEG2000という方式によれば、高圧縮率、高画質の画像が得られる点でMotion JPEGよりも優れているが、反面、Motion JPEGの画像処理に比べると多くの演算量を必要とするため、復号に時間を要してしまう。特に、１フレーム画像当たり１／３０秒程度の処理をソフトウェアで行う場合には、音声とのずれや、コマ落ちなどの問題が生じることになる。
【０００９】
本発明の目的は、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる動画像処理装置、動画像処理方法、及び、監視カメラシステムを提供することである。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像処理装置は、離散ウェーブレット変換により画像を矩形領域毎にサブバンドに分解し、階層的に圧縮符号化したフレームを複数有する動画像データを再生する動画像処理装置であって、前記フレームを復号処理するフレーム画像復号手段と、サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生手段と、前記割込信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定手段と、前記復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整手段とを有する構成とすることができる。
【００１１】
したがって、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理が軽減される。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことが可能になる。
【００１３】
したがって、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンが１ビット多く設定される。これにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することが可能になる。
【００１４】
また、上記目的を達成するために、本発明の動画像処理装置が有する前記ビットプレーン調整手段は、ＬＬサブバンド領域を復号する際に、サブバンドの復号処理を停止するビットプレーンを初期値に設定するように構成することができる。
【００１５】
したがって、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間が確実に算出可能になる。
【００１６】
また、上記目的を達成するために、本発明の動画像処理装置は、前記フレームの最終サブバンドに対して、前記復号処理終了判定手段によって、復号処理が終了していないことが判定された場合に、前記最終サブバンドよりも前段階の階層のサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を有する構成とすることができる。
【００１７】
したがって、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにする。これにより、画質の劣化を防止することが可能になる。
【００１８】
また、上記目的を達成するために、本発明の動画像処理装置は、前記復号処理終了判定手段によって、前記フレームの最終サブバンドに対して復号処理が終了していないことが判定された場合に、前記最終サブバンドより１階層前までのサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を有する構成とすることができる。
【００１９】
したがって、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことが可能になる。
【００２０】
本発明の参考発明である動画像処理装置において、前記フレーム画像選択手段は、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持手段と、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する最終サブバンド復号処理終了判定手段と、この最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択手段と、前記最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択手段と、を備える。
【００２１】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことが可能になる。
【００２２】
本発明の参考発明である動画像処理装置において、前記縮小フレーム画像保持手段は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持する。
【００２３】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択するので、フレームの表示が確実に行える。
【００２４】
本発明の参考発明である動画像処理装置において、前記縮小フレーム画像選択手段は、前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を拡大する。
【００２５】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像がフレーム画像として選択されて拡大されるので、フレームの表示が確実に行える。
【００２８】
また、上記目的を達成するために、本発明の監視カメラシステムは、動画像を撮影する画像入力手段と、前記画像入力手段によって撮影された動画像のフレームを矩形領域毎にサブバンドに分解し、階層的に圧縮することで符号列データを生成する画像圧縮手段と、前記画像圧縮手段が生成した符号列データを伸長し、動画像を生成する画像伸長手段と、前記画像伸長手段が生成した動画像を表示する表示手段とを有し、前記画像伸長手段は、前記フレームを復号処理するフレーム画像復号手段と、サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生手段と、前記割込信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定手段と、前記復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整手段とを有する構成とすることができる。
【００２９】
したがって、請求項１ないし４のいずれか一記載の発明と同様の作用を奏する監視カメラシステムを提供することが可能になる。
【００４８】
また、上記目的を達成するために、本発明の動画像処理方法は、離散ウェーブレット変換により画像を矩形領域毎にサブバンドに分解し、階層的に圧縮符号化したフレームを複数有する動画像データを再生する動画像処理方法であって、前記フレームを復号処理するフレーム画像復号ステップと、サブバンド毎の復号処理許容時間を算出する処理許容時間算出ステップと、前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生ステップと、前記割込信号の発生時に、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定ステップと、前記復号処理終了判定ステップによりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整ステップとを有する構成とすることができる。
【００４９】
したがって、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理が軽減される。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことが可能になる。
【００５１】
したがって、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンが１ビット多く設定される。これにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することが可能になる。
【００５２】
また、上記目的を達成するために、本発明の画像処理方法は、前記処理許容時間算出ステップは、前記動画像の単位時間に再生するフレーム数と前記フレームの符号化パラメータとに基づき、サブバンド毎の復号処理許容時間を算出するように構成することができる。
【００５３】
したがって、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことが可能になる。
【００５４】
また、上記目的を達成するために、本発明の画像処理方法は、前記ビットプレーン調整ステップは、ＬＬサブバンド領域を復号する際に、サブバンドの復号処理を停止するビットプレーンを初期値に設定するように構成することができる。
【００５５】
したがって、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことが可能になる。
【００５６】
【発明の実施の形態】
また、上記目的を達成するために、本発明の画像処理方法は、前記復号処理終了判定ステップにおいて、前記フレームの最終サブバンドに対して復号処理が終了していないことが判定された場合に、前記最終サブバンドより１階層前までのサブバンドを前記フレーム画像復号ステップで復号処理した画像をフレーム画像として選択するフレーム画像選択ステップを有する構成とすることができる。
【００５７】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、画像圧縮手段として機能するものであって、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００５８】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００５９】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００６０】
原画像の入出力部分には、色空間変換部・逆変換部１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００６１】
次に、JPEG2000アルゴリズムについて説明する。
【００６２】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
【００６３】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００６４】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００６５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００６６】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００６７】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００６８】
図５には、この符号列データの１フレーム分の概略構成を示している。この符号列データは、先頭にメインヘッダ（Ｍａｉｎ  ｈｅａｄｅｒ）と呼ばれるタグ情報を有し、その後に、各タイルが続く。各タイルは、先頭にタイルパートヘッダ（Ｔｉｌｅ−ｐａｒｔ  ｈｅａｄｅｒ）と呼ばれるタグ情報を有し、その後に各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ  ｈｅａｄｅｒ）とタイルパートヘッダ（Ｔｉｌｅ−ｐａｒｔ  ｈｅａｄｅｒ）とには、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ  ｏｆ  ｃｏｄｅｓｔｒｅａｍ）が置かれる。
【００６９】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００７０】
以上が、「JPEG2000アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000アルゴリズム」である。すなわち、「Motion JPEG2000」は、図６に示すように、１フレームのJPEG2000画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００７１】
以下、本発明の実施の一形態について説明する。なお、ここでは、Motion JPEG2000を代表とする動画像圧縮伸長技術に関する例について説明するが、いうまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００７２】
図７は本発明が適用される監視カメラシステム１を示すシステム構成図、図８はその機能ブロック図である。図７に示すように、本発明の動画像表示システムが適用される監視カメラシステム１は、画像記録装置として機能する監視カメラ１ａと動画像再生装置として機能するパーソナルコンピュータ（以下、ＰＣという）１ｂとをインターネットであるネットワーク１ｃを介して接続したものである。
【００７３】
図８に示すように、このような監視カメラシステム１の監視カメラ１ａは、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像を撮影する画像入力装置２と、この撮影した画像データを圧縮符号化する画像圧縮装置３とを備えている。一方、ＰＣ１ｂは、監視カメラ１ａの画像圧縮装置３で生成された符号列データを伸長（復号）して動画像の画像データとする動画像処理装置である画像伸長装置６と、この伸長後の画像データによる画像を表示する画像表示装置７と、監視カメラ１ａの画像圧縮装置３で生成された符号列データを記憶する外部符号列記憶部９とを備えている。外部符号列記憶部９は、一般的なバッファとしての機能、あるいは、長期間に渡る動画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００７４】
図９は、監視カメラシステム１のハードウエア構成の一例を示すブロック図である。監視カメラシステム１を構成する監視カメラ１ａ及びＰＣ１ｂは、図９に示すように、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Central Processing Unit）１１ａ，１１ｂをそれぞれ備えており、このＣＰＵ１１ａ，１１ｂには、各種のＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）からなる記憶媒体であるメモリ１２ａ，１２ｂと、ネットワーク１ｃと通信を行う所定の通信インターフェイス１３ａ，１３ｂと、ユーザから各種の操作を受付ける操作パネル１８ａ，１８ｂとが、バス１４ａ，１４ｂを介して接続されている。
【００７５】
監視カメラ１ａは、前述したように画像入力装置２と画像圧縮装置３とを備えており、これらの画像入力装置２、画像圧縮装置３も、バス１４ａを介してＣＰＵ１１ａに接続されている。
【００７６】
ＰＣ１ｂは、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）である画像表示装置７と、外部符号列記憶部９として機能する外部記憶装置であるＨＤＤ（Hard Disk Drive）１５と、配布されたプログラム（例えば、動画処理プログラム）であるコンピュータソフトウェアを記憶した記憶媒体１６からコンピュータソフトウェアを読み取るための機構であるドライブ１７と、を備えており、これらの画像表示装置７、ＨＤＤ１５、ドライブ１７も、バス１４ｂを介してＣＰＵ１１ｂに接続されている。
【００７７】
このような構成のＰＣ１ｂのメモリ１２ｂ（のＲＯＭ）には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてＣＰＵ１１ｂが実行する処理により、画像伸長装置６の機能を実現する。
【００７８】
なお、記憶媒体１６としては、ＣＤやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、ネットワーク１ｃからプログラムをダウンロードし、メモリ１２ｂにインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００７９】
ここで、監視カメラシステム１の各部の動作について簡単に説明する。まず、監視カメラ１ａの画像入力装置２は、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置３に出力する。画像圧縮装置３は、動画像のデジタル画素値信号を「Motion JPEG2000アルゴリズム」に従って圧縮符号化する。この画像圧縮装置３における処理により、元の動画像のＲ，Ｇ，Ｂの各コンポーネントの動画像データは、フレームごとに１又は複数（通常は複数）のタイルに分割され、このタイルごとに階層的に圧縮符号化された符号化データとなる。このようにして「Motion JPEG2000アルゴリズム」に従って生成された符号列データ（Motion JPEG2000データ）はネットワーク１ｃを介してＰＣ１ｂに出力される。
【００８０】
ネットワーク１ｃを介してＰＣ１ｂに出力された符号列データ（Motion JPEG2000データ）は、ＰＣ１ｂにおいて、外部符号列記憶部９に格納され、また、画像伸長装置６で伸長処理される。そして、画像伸長装置６で伸長処理されて生成された動画像の画像データは、画像表示装置７に出力され、この伸長後の画像データによる画像が画像表示装置７に表示される。
【００８１】
続いて、本発明の主要部分である画像伸長装置６について詳述する。ここで、図１０は画像伸長装置６の機能ブロック図である。図１０に示すように、ＣＰＵ１１ｂはコンピュータソフトウェアに基づいて動作することで、画像伸長装置６は、復号時間経過監視手段２１、コントロール手段２２、フレーム画像復号手段２３、画像出力手段２４の各機能を実現する。また、ＣＰＵ１１ｂはコンピュータソフトウェアに基づいて動作することで、メモリ１２ｂにフレームバッファ２５を形成する。
【００８２】
復号時間経過監視手段２１は、フレームレート（単位時間に再生するフレーム数）とJPEG2000画像の符号化パラメータ（JPEG2000コードストリームの符号化順のデータ）とに従ってサブバンド毎の復号処理許容時間を計算し（処理許容時間算出手段）、コントロール手段２２に割り込みをかける（割込み信号発生手段）。
【００８３】
コントロール手段２２は、復号時間経過監視手段２１の起動、JPEG2000画像復号手段２３の起動、停止、伸長停止ビットプレーン制御、画像出力手段２４の起動の制御を行う。
【００８４】
フレーム画像復号手段２３は、Motion JPEG2000の動画を構成するフレームの所定のビットプレーンまでの復号、伸長を行い、終了時にはコントロール手段２２への完了割り込みを行う。また、ここでは最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を縮小フレーム画像としてフレームバッファ２５に保持しながら復号を行う（縮小フレーム画像保持手段）。
【００８５】
復号時間経過監視手段２１での割り込み時間の設定の例を図１１で説明する。タイリングを行わない場合のJPEG2000画像のサブバンドの構成は図１１のようになり、ＲＧＢ色成分毎に離散ウェーブレット変換によってＬＬサブバンドの領域が次々と帯域分解されている。Motion JPEG2000のフレームを構成するJPEG2000画像コードストリームにもこの構成が反映されており、各サブバンドの処理時間はサブバンドの面積に比例したものとなる。従って、フレームレート（単位時間に再生するフレーム数）とJPEG2000コードストリームの符号化順のデータに基づく各サブバンドの面積比とにより伸長すべき時間の基準値が求まるので、その時間毎に割り込みを発生させることによって処理の遅れの検出を行う。
【００８６】
なお、タイリングを行った場合のJPEG2000画像のサブバンドの構成は図１２のようになるが、タイルという領域に分割された画像の集まりであるので扱いはタイリングを行わない場合と同じである。
【００８７】
フレーム画像復号手段２３は、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、ＬＬサブバンド領域の伸長時には伸長停止ビットプレーンを初期値である“０”に設定、つまりビットプレーンの切捨てを行わないように伸長を行う。
【００８８】
コントロール手段２２では、復号時間経過監視手段２１からの割り込み発生時にサブバンドの伸長処理が終了しているかどうかを、フレーム画像復号手段２３の状態を監視することによって行い（復号処理状況監視手段）、終了していれば処理を継統し、終了していなければ次のサブバンドの伸長停止ビットプレーンを“１”加算する（サブバンド復号処理制御手段）。この処理によって、サブバンドの伸長時間が遅れている場合には次のサブバンドの処理が軽くなり、基準時間内での伸長を保証することが可能となる。ここで、図１３はフレーム画像復号手段２３による各サブバンドの処理の様子と時間経過による伸長ビットプレーンの変化とを表したものである。基準時間の割り込みよりも伸長処理の方が遅ければ、伸長停止ビットプレーンを加算しながら処理を続ける。なお、ＬＬサブバンド領域の伸長時には、初期値として伸長停止ビットプレーンを“０”に設定する。
【００８９】
コントロール手段２２では、以上の流れによりフレーム伸長の完了もしくは最終サブバンドの割り込みのどちらが早く発生するかを知ることができる。そして、コントロール手段２２では、フレーム伸長の完了の方が早い場合には等倍フレーム画像を表示し、最終サブバンドの割り込みが早い場合にはフレームバッファ２５に保持されている１階層前の縮小フレーム画像を拡大して表示するという制御が行われる（フレーム画像選択手段）。
【００９０】
図１４はコントロール手段２２による処理制御の流れを示すフローチャートである。図１４に示すように、コントロール手段２２の起動処理としては、まず、動画データのヘッダに従った復号時間経過監視手段２１の起動（ステップＳ１）、及びフレーム画像復号手段２３の起動（ステップＳ２）を行う。
【００９１】
そして、起動したコントロール手段２２は、復号時間経過監視手段２１からの割り込み発生信号を受け取ると（ステップＳ１１のＹ）、フレームの最終サブバンドの時間経過割り込みかどうかを判別する（ステップＳ１２）。
【００９２】
フレームの最終サブバンドの時間経過割り込みでなければ（ステップＳ１２のＹ）、ステップＳ１３に進み、フレーム画像復号手段２３の状態を監視して個々のサブバンドの伸長処理が終了しているかどうかを判別する（復号処理終了判定手段）。
【００９３】
個々のサブバンドの伸長処理が終了している場合には（ステップＳ１３のＹ）、ステップＳ１１に戻り、復号時間経過監視手段２１からの割り込み発生信号を受け取るまで待機する。
【００９４】
個々のサブバンドの伸長処理が終了していない場合には（ステップＳ１３のＮ）、サブバンドの伸長時間が遅れているので、次のサブバンドの伸長停止ビットプレーンを“１”加算し（ステップＳ１４：ビットプレーン調整手段）、ステップＳ１１に戻り、復号時間経過監視手段２１からの割り込み発生信号を受け取るまで待機する。
【００９５】
一方、フレームの最終サブバンドの時間経過割り込みの場合には（ステップＳ１２のＮ）、最終サブバンドの伸長処理が終了しているかどうかを判定する（ステップＳ１５）。ここに、最終サブバンド復号処理終了判定手段の機能が実行される。
【００９６】
最終サブバンドの伸長処理が終了している場合には（ステップＳ１５のＹ）、等倍フレーム画像の表示制御を行う（ステップＳ１６）。ここに、等倍フレーム画像選択手段の機能が実行される。
【００９７】
最終サブバンドの伸長処理が終了していない場合には（ステップＳ１５のＮ）、フレーム画像復号を停止し（ステップＳ１７）、縮小フレーム画像の拡大表示の制御を行う（ステップＳ１８）。ここに、縮小フレーム画像選択手段の機能が実行される。
【００９８】
ここに、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減する。これにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【００９９】
また、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことができる。
【０１００】
なお、本実施の形態においては、監視カメラシステム１を構成する動画像再生装置としてＰＣ１ｂを適用したが、これに限るものではない。例えば、携帯情報端末（ＰＤＡ）や携帯電話などを動画像再生装置として適用することもできる。
【０１０１】
また、本実施の形態においては、画像入力装置２及び画像圧縮装置３を備える監視カメラ１ａと、動画像処理装置である画像伸長装置６及び画像表示装置７を備えるＰＣ１ｂとをネットワーク１ｃを介して接続した監視カメラシステム１を動画像表示システムとして適用したが、これに限るものではない。例えば、画像入力装置２であるカメラ部と、画像圧縮装置３及び動画像処理装置である画像伸長装置６を備える制御部と、画像表示装置７であるディスプレイとを一体に備えるデジタルカメラ等を動画像表示システムとして適用しても何ら問題はない。
【０１０２】
【発明の効果】
本発明の動画像処理装置によれば、離散ウェーブレット変換により画像を矩形領域毎にサブバンドに分解し、階層的に圧縮符号化したフレームを複数有する動画像データを再生する動画像処理装置であって、前記フレームを復号処理するフレーム画像復号手段と、サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生手段と、前記割込信号の発生時に、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定手段と、前記復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整手段とを有し、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減することにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【０１０３】
さらに、サブバンド毎の復号処理許容時間に応じて発生する割込み信号に応じてサブバンド毎の復号処理が終了しているか否かを判定された結果、サブバンド毎の復号処理が終了していないと判定された場合には、次に復号するサブバンドの復号処理を停止するビットプレーンを１ビット多く設定することにより、復号処理が遅れたサブバンドの次のサブバンドでの処理を確実に軽減することができる。
【０１０４】
本発明の動画像処理装置によれば、前記処理許容時間算出手段は、前記動画像の単位時間に再生するフレーム数と前記フレームの符号化パラメータとに基づき、サブバンド毎の復号処理許容時間を算出することにより、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間を確実に算出することができる。
【０１０５】
本発明の動画像処理装置によれば、前記ビットプレーン調整手段は、ＬＬサブバンド領域を復号する際に、サブバンドの復号処理を停止するビットプレーンを初期値に設定することにより、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、例えば、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにすることにより、画質の劣化を防止することができる。
【０１０６】
本発明の動画像処理装置によれば、前記フレームの最終サブバンドに対して、前記復号処理終了判定手段によって、復号処理が終了していないことが判定された場合に、前記最終サブバンドより１階層前までのサブバンドを前記フレーム画像復号手段で復号処理した画像をフレーム画像として選択するフレーム画像選択手段を有することにより、例えばフレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を行うことができる。
【０１０７】
本発明の参考発明である動画像処理装置によれば、前記フレーム画像選択手段は、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像を縮小フレーム画像として記憶保持する縮小フレーム画像保持手段と、最終のサブバンドの復号処理許容時間における前記割込み信号に応じ、最終のサブバンドの復号処理が終了しているか否かを前記復号処理状況監視手段の監視に基づいて判定する最終サブバンド復号処理終了判定手段と、この最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していないと判定された場合、最終のサブバンドの復号処理を停止して前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を選択する縮小フレーム画像選択手段と、前記最終サブバンド復号処理終了判定手段により最終のサブバンドの復号処理が終了していると判定された場合、復号処理した当該フレームに応じた等倍フレーム画像を選択する等倍フレーム画像選択手段と、を備え、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことができる。
【０１０８】
本発明の参考発明である動画像処理装置によれば、前記縮小フレーム画像保持手段は、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像を前記縮小フレーム画像として記憶保持することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択するので、フレームの表示を確実に行うことができる。
【０１０９】
本発明の参考発明である動画像処理装置によれば、前記縮小フレーム画像選択手段は、前記縮小フレーム画像保持手段により記憶保持されている前記縮小フレーム画像を拡大することにより、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドよりも１階層前のサブバンドを復号処理した画像をフレーム画像として選択して拡大するので、フレームの表示を確実に行うことができる。
【０１１０】
本発明の参考発明である動画像処理装置によれば、請求項１ないし４のいずれか一記載の動画像処理装置と、この動画像処理装置により再生された動画像を表示する画像表示装置と
、を備えることにより、請求項１ないし４のいずれか一記載の発明と同様の作用効果を奏する動画像再生装置を提供することができる。
【０１１１】
本発明の監視カメラシステムによれば、動画像を撮影する画像入力手段と、前記画像入力手段によって撮影された動画像のフレームを矩形領域毎にサブバンドに分解し、階層的に圧縮することで符号列データを生成する画像圧縮手段と、前記画像圧縮手段が生成した符号列データを伸長し、動画像を生成する画像伸長手段と、前記画像伸長手段が生成した動画像を表示する表示手段とを有し、前記画像伸長手段は、前記フレームを復号処理するフレーム画像復号手段と、サブバンド毎の復号処理許容時間を算出する処理許容時間算出手段と、前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生手段と、前記割込信号に応じ、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定手段と、前記復号処理終了判定手段によりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整手段とを有することにより、請求項１ないし４のいずれか一記載の発明と同様の作用効果を奏する監視カメラシステムを提供することができる。
【０１２１】
本発明の動画像処理方法によれば、離散ウェーブレット変換により画像を矩形領域毎にサブバンドに分解し、階層的に圧縮符号化したフレームを複数有する動画像データを再生する動画像処理方法であって、前記フレームを復号処理するフレーム画像復号ステップと、
サブバンド毎の復号処理許容時間を算出する処理許容時間算出ステップと、前記処理許容時間算出手段により算出されたサブバンド毎の復号処理許容時間に応じて割込信号を発生する割込み信号発生ステップと、前記割込信号の発生時に、サブバンド毎の復号処理が終了しているか否かを判定する復号処理終了判定ステップと、前記復号処理終了判定ステップによりサブバンド毎の復号処理が終了していないと判定された場合に、次に復号するサブバンドの復号処理で処理対象のビットプレーンを可変制御するビットプレーン調整ステップとを有することにより、所定のサブバンドで復号処理の遅れが発生した場合には、次のサブバンドの復号処理で処理対象のビットプレーンを可変制御（ここでは、処理対象のビットプレーンを少なくする制御）して処理することで、復号処理が遅れたサブバンドの次のサブバンドでの処理を軽減することにより、画像の質が多少落ちてもフレームの表示が可能になるので、画質と処理時間とのトレードオフを図りつつ、再生の時間遅延によるコマ落ちを発生させることなく滑らかな動画再生を行うことができる。
【０１２２】
本発明の動画像処理方法によれば、前記処理許容時間算出ステップは、前記動画像の単位時間に再生するフレーム数と前記フレームの符号化パラメータとに基づき、サブバンド毎の復号処理許容時間を算出することにより、各サブバンドの処理時間はサブバンドの面積に比例したものとなることから、フレームレートとサブバンドの面積比が反映しているフレームの符号化パラメータとによりサブバンド毎の復号処理許容時間を確実に算出することができる。
【０１２３】
本発明の動画像処理方法によれば、前記ビットプレーン調整ステップは、ＬＬサブバンド領域を復号する際に、サブバンドの復号処理を停止するビットプレーンを初期値に設定することにより、ＬＬサブバンドの領域のビットプレーンを切り捨てると画質に与える影響が大きいので、例えば、ＬＬサブバンド領域の復号時には復号処理を停止するビットプレーンを初期値である“０”に設定、つまりビットプレーンの切り捨てを行わないようにすることにより、画質の劣化を防止することができる。
【０１２４】
本発明の動画像処理方法によれば、前記復号処理終了判定ステップにおいて、前記フレームの最終サブバンドに対して復号処理が終了していないことが判定された場合に、
前記最終サブバンドより１階層前までのサブバンドを前記フレーム画像復号ステップで復号処理した画像をフレーム画像として選択するフレーム画像選択ステップを有することにより、例えば、フレームに対する復号処理が所定時間内に完了しなかった場合には、最終のサブバンドの復号処理を停止して、最終のサブバンドよりも前段階の階層のサブバンドを復号処理した画像をフレーム画像として選択して表示するようにすれば、コマ落ちすることなく滑らかな動画再生を確実に行うことができる。
【図面の簡単な説明】
【図１】本実施の形態の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】符号列データの１フレーム分の概略構成を示す説明図である。
【図６】  Motion JPEG2000の概念を示す説明図である。
【図７】本発明の実施の一形態の監視カメラシステムを示すシステム構成図である。
【図８】その機能ブロック図である。
【図９】監視カメラシステムのハードウエア構成の一例を示すブロック図である。
【図１０】画像伸長装置の機能ブロック図である。
【図１１】タイリングを行わない場合のJPEG2000画像のサブバンドの構成を示す説明図である。
【図１２】タイリングを行った場合のJPEG2000画像のサブバンドの構成を示す説明図である。
【図１３】フレーム画像復号手段による各サブバンドの処理の様子と時間経過による伸長ビットプレーンの変化とを表す説明図である。
【図１４】コントロール手段による処理制御の流れを示すフローチャートである。
【符号の説明】
１        動画像表示システム
１ｂ      動画像再生装置
２        画像入力装置
３        画像圧縮装置
６        動画像処理装置
７        画像表示装置
１６      記憶媒体
２３      フレーム画像復号手段
【図１】
0003954459.tif 000002
【図２】
0003954459.tif 000003
【図３】
0003954459.tif 000004
【図４】
0003954459.tif 000005
【図５】
0003954459.tif 000006
【図６】
0003954459.tif 000007
【図７】
0003954459.tif 000008
【図８】
0003954459.tif 000009
【図９】
0003954459.tif 000010
【図１０】
0003954459.tif 000011
【図１１】
0003954459.tif 000012
【図１２】
0003954459.tif 000013
【図１３】
0003954459.tif 000014
【図１４】
0003954459.tif 000015