(57)【要約】【課題】動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行う。【解決手段】動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから、動き量検出手段４６により検出された動き量とサブバンド符号量分布検出手段４７により検出されたサブバンド符号量分布、および圧縮率指定手段４８を介してユーザによって指定された圧縮率に応じ、符号量削減手段４３により符号列データの符号量を矩形領域毎に削減する。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化を行うことになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。【選択図】　　　　図１０
2004112382.tif 000002
【特許請求の範囲】
【請求項１】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、
この構文解析手段の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出手段と、
前記構文解析手段の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、
圧縮率の指定を受け付ける圧縮率指定手段と、
前記動き量検出手段による動き量の検出結果と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を備える符号列変換装置。
【請求項２】
前記符号量削減手段は、
動き量インデックス値とサブバンド符号量分布インデックス値と圧縮率インデックス値とに係る量子化テーブルを三次元マトリクス状に有する量子化テーブル群と、
前記動き量検出手段による動き量の検出結果と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、
を有し、
前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減する請求項１記載の符号列変換装置。
【請求項３】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、
この構文解析手段の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出手段と、
圧縮率の指定を受け付ける圧縮率指定手段と、
前記動き量検出手段による動き量の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を備える符号列変換装置。
【請求項４】
前記符号量削減手段は、
動き量インデックス値と圧縮率インデックス値とに係る量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、
前記動き量検出手段による動き量の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、
を有し、
前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減する請求項３記載の符号列変換装置。
【請求項５】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、
この構文解析手段の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、
圧縮率の指定を受け付ける圧縮率指定手段と、
前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を備える符号列変換装置。
【請求項６】
静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、
この構文解析手段の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、
圧縮率の指定を受け付ける圧縮率指定手段と、
前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を備える符号列変換装置。
【請求項７】
前記符号量削減手段は、
サブバンド符号量分布インデックス値と圧縮率インデックス値とに係る量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、
前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、
を有し、
前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減する請求項５または６記載の符号列変換装置。
【請求項８】
前記量子化テーブルは、符号量が削減されるサブバンドと、符号量が保存されるサブバンドとを指定する請求項２，４，７記載の符号列変換装置。
【請求項９】
前記動き量検出手段は、現フレームと以前のフレームとの直交変換係数値の相関係数値を求めて前記動き量を検出し、当該動き量に応じて動き量インデックス値を設定する請求項１ないし８のいずれか一記載の符号列変換装置。
【請求項１０】
前記動き量検出手段で用いる直交変換係数値を求めるために復号化及び逆量子化する変換手段を備える請求項９記載の符号列変換装置。
【請求項１１】
前記動き量検出手段は、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて前記動き量を検出し、当該動き量に応じて動き量インデックス値を設定する請求項１ないし８のいずれか一記載の符号列変換装置。
【請求項１２】
前記動き量検出手段で用いるパケット長を求めるパケット長検出手段を備える請求項１１記載の符号列変換装置。
【請求項１３】
前記サブバンド符号量分布検出手段は、フレームのサブバンド毎に直交変換係数値の数の和を表したヒストグラムを求めて前記サブバンド符号量分布を検出し、当該サブバンド符号量分布に応じてサブバンド符号量分布インデックス値を設定する請求項１ないし８のいずれか一記載の符号列変換装置。
【請求項１４】
前記サブバンド符号量分布検出手段で用いる直交変換係数値を求めるために復号化及び逆量子化する変換手段を備える請求項１３記載の符号列変換装置。
【請求項１５】
前記サブバンド符号量分布検出手段は、フレームのパケット長のデータ量に応じて前記サブバンド符号量分布を検出し、当該サブバンド符号量分布に応じてサブバンド符号量分布インデックス値を設定する請求項１ないし８のいずれか一記載の符号列変換装置。
【請求項１６】
前記サブバンド符号量分布検出手段で用いるパケット長を求めるパケット長検出手段を備える請求項１５記載の符号列変換装置。
【請求項１７】
前記動き量検出手段または前記サブバンド符号量分布検出手段により設定された各種インデックス値を変更するインデックス値変更手段を備える請求項９ないし１２のいずれか一記載の符号列変換装置。
【請求項１８】
前記符号量削減手段により矩形領域毎に符号量が削減された前記符号列データを標準形式の符号列データに整える符号列作成手段を備える請求項１ないし１７のいずれか一記載の符号列変換装置。
【請求項１９】
前記動き量検出手段または前記サブバンド符号量分布検出手段は、コンポーネント毎に実行される請求項１ないし１８のいずれか一記載の符号列変換装置。
【請求項２０】
前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、タイルである請求項１ないし１９のいずれか一記載の符号列変換装置。
【請求項２１】
前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、プレシンクトである請求項１ないし１９のいずれか一記載の符号列変換装置。
【請求項２２】
前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、コード・ブロックである請求項１ないし１９のいずれか一記載の符号列変換装置。
【請求項２３】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、
請求項１，３，５記載の符号列変換装置と、
を備える画像処理装置。
【請求項２４】
静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、
請求項６記載の符号列変換装置と、
を備える画像処理装置。
【請求項２５】
動画像データを撮像する画像入力装置と、
この撮像した動画像データを処理する請求項２３記載の画像処理装置と、
を備える画像記録装置。
【請求項２６】
静止画像データを撮像する画像入力装置と、
この撮像した静止画像データを処理する請求項２４記載の画像処理装置と、
を備える画像記録装置。
【請求項２７】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、
この構文解析機能の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出機能と、
前記構文解析機能の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、
圧縮率の指定を受け付ける圧縮率指定機能と、
前記動き量検出機能による動き量の検出結果と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項２８】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、
この構文解析機能の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出機能と、
圧縮率の指定を受け付ける圧縮率指定機能と、
前記動き量検出機能による動き量の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項２９】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、
この構文解析機能の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、
圧縮率の指定を受け付ける圧縮率指定機能と、
前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項３０】
静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、
この構文解析機能の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、
圧縮率の指定を受け付ける圧縮率指定機能と、
前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項３１】
請求項２７ないし３０のいずれか一記載のプログラムを記憶している記憶媒体。
【請求項３２】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、
この構文解析工程の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出工程と、
前記構文解析工程の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、
圧縮率の指定を受け付ける圧縮率指定工程と、
前記動き量検出工程による動き量の検出結果と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を含む符号量削減方法。
【請求項３３】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、
この構文解析工程の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出工程と、
圧縮率の指定を受け付ける圧縮率指定工程と、
前記動き量検出工程による動き量の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を含む符号量削減方法。
【請求項３４】
動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、
この構文解析工程の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、
圧縮率の指定を受け付ける圧縮率指定工程と、
前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を含む符号量削減方法。
【請求項３５】
静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、
この構文解析工程の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、
圧縮率の指定を受け付ける圧縮率指定工程と、
前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を含む符号量削減方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および符号量削減方法に関する。
【０００２】
【従来の技術】
従来から、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ　ＪＰＥＧが使用されている。また、最近、後者のＭｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００３】
ＭＰＥＧ方式とＭｏｔｉｏｎ静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、ＭＰＥＧ方式、Ｍｏｔｉｏｎ静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００４】
Ｍｏｔｉｏｎ　ＪＰＥＧ２０００方式では変換方式として離散ウェーブレット変換を用いているが、この離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたものがある（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開２００１−３０９３８１公報
【０００６】
【発明が解決しようとする課題】
この特許文献１に開示の技術では、画素値を離散ウェーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしているので、よりデータの圧縮率を向上することができる。
【０００７】
ところで、かかる従来技術においては、フレーム内の静止画像に対して最適化された「量子化」を行う処理とフレーム間のウェーブレット係数値の比較結果に基づいた「符号量削減」を行う処理とが各々独立に行われ、かつ、唯一の「量子化テーブル」に基づいてフレーム内の静止画像の量子化が行われていた。
【０００８】
しかしながら、かかる従来技術においては、以下に述べるような課題がある。
【０００９】
［課題１］
従来、Ｍｏｔｉｏｎ静止画像の圧縮は、フレーム内の静止画像に対して最適化された「量子化」だけに目が向けられ、動画像固有の視覚特性を考慮した「量子化」が行われていなかった。本来、フレーム間の動き量は画像領域毎に異なるのに、従来は、動き量が全画像領域に渡って均一であると仮定していた。その結果、静止画像の表示時には予想できなかった全く新たな画像品質の劣化が、動画像表示の時にしばしば現れていた。
【００１０】
ここで、図２５は従来の「量子化」の方法を示す説明図である。図２５は、動き量を無視してサブバンド符号を一律に削減するようにした量子化方法を示したものである。ここで、縦軸は動き量を表し、現フレームとそれ以前のフレームとの間における各タイル・各サブバンド毎のウェーブレット係数値の差分から求められる相関係数値が使われている。また、横軸は、タイルの単位を表している。タイルは、フレーム内の原静止画像を分割して作成された矩形領域のことである。
【００１１】
動き量について見ると、例えばタイルＡは大きく、タイルＣは小さいというように、タイル毎に異なっている。ところが、従来の方法では、図２５に示すように、画像全体を一律な動き量に置換えていた。この例では、全てのタイルの動き量を「無し」として扱っている。従って、動き量の大小に関わらず、唯一の「量子化テーブル」が参照されていた。
【００１２】
［課題２］
また、フレーム内静止画像の量子化も、圧縮率あるいはビットレートで一義的に定義された唯一の「量子化テーブル」を用いていたが、本来、サブバンドの符号量分布は画像領域毎に異なるはずなのに、従来は、そうしたことを全く考慮していなかった。その結果、高域成分の多い画像、低域成分の多い画像、高域から低域まで広く分布した画像等の原画像の性質によって、量子化された画像の画質が大きく変動していた。
【００１３】
ここで、図２６は従来の「量子化」の方法を示す説明図である。図２６は、符号量の分布を無視して、サブバンド符号を一律に削減ようにした量子化方法を示したものである。ここで、縦軸は、最上位階層の（デコンポジション・レベル数が最大の）低域サブバンド符号量を「１」に規格化した時の相対符号量を表している。また、横軸は、サブバンド周波数帯域を表している。そして、タイル毎の符号量分布を示す曲線のうち細線の部分は、符号量の削除対象となるサブバンドを、一方、太線の部分は、符号量がそのまま保存されるサブバンドを各々表している。図２６（ａ）は、符号量の削減対象となるサブバンドの数が多い場合、図２６（ｂ）は、符号量の削減対象となるサブバンドの数が少ない場合で、圧縮率の低い場合と高い場合に各々対応している。
【００１４】
図２６に示すように、タイルＡとタイルＤは高域にまで符号データを保持している。また、タイルＢは中域に比較的多くの情報を保有し、タイルＣは低域にほとんどの情報を保有している。このように、タイル毎にサブバンド符号量の異なる場合においても、従来の方法では、符号量分布に関係なく、サブバンド符号データを一律に削減していた。その結果、特に圧縮率の高い場合には、中域から高域のデータ量が相対的に多いタイルＡ，Ｂ，Ｄの画質は、低域にデータが集中しているタイルＣの画質に比較して、劣化が顕著であった。
【００１５】
ここで、上述した課題１及び課題２を具体的に説明するために、圧縮伸長アルゴリズムにＭｏｔｉｏｎ　ＪＰＥＧ２０００を使った場合に生ずる現象について、以下に詳しく観察結果を述べる。図２７は動画像コンテンツから連続する三つのフレームを抜き出したものであり、図２８は図２７に示した各フレーム中の所定のタイルの動き量及び画素周波数を示すテーブルである。ここでは、これらの三つのフレームを例に説明する。図２７に示す例は、動き量の大きなタイルと動き量の小さなタイルとの区別がし易いように、動き量の少ない景色を背景にして走る自転車を表わしたものであって、各タイルＡ，Ｂ，Ｃ，Ｄは、図２５及び図２６に示したタイルＡ，Ｂ，Ｃ，Ｄに対応する。
【００１６】
上述したように、フレーム間の動き量及びサブバンドの符号量分布を考慮せずに従来の量子化によって符号化されたＭｏｔｉｏｎ静止画像を伸長表示させた場合には、以下に述べるような現象が現れる。
【００１７】
［タイルＡ（自転車のスポーク）］
自転車は、撮影点から一番近い距離にあり、構造上の特徴（エッジが多くなる）から高域サブバンドの符号量分布が大きい。ところが、従来の「量子化」の方法によれば、圧縮率が高くなるに従って高域サブバンドの符号量が減らされることから、フレーム内の静止画像では、車輪のスポーク部分を一本一本判別するのが難しくなる。しかしながら、動く自転車のスポークの判別は、人間の持つ動体視力の限界以上なので、動画像に与える影響はそれ程大きくはない。
【００１８】
［タイルＢ（葉）］
遠景と前景の自転車の中間に位置している樹の動き量は、ほとんど無い。葉の部分は、中域サブバンドの符号量分布が大きい。ところが、従来の「量子化」の方法によれば、圧縮率が高くなるに従ってフレーム内静止画像で葉の一枚一枚を区別することが難しくなる。但し、その傾向は、タイルＡにおける自転車のスポークほど強くはない。
【００１９】
［タイルＣ（背景）］
遠景には、低域サブバンドの符号量分布が大きいスカイラインが配置されている。圧縮率が高くなっても、符号量削減の影響を比較的受けにくい。但し、動き量がほとんど無いので、低域サブバンドのデータが僅かでも削られると、フレーム内静止画像全体にボケが広がってしまう。動画像で見ると、背景に「モヤモヤとした歪」が生じ、非常に目障りとなる。
【００２０】
［タイルＤ（樹）］
画像領域内には、樹の輪郭部分が多く存在する。その結果、符号量の分布において、高域側のデータ量がやや多い点が、タイルＣとは異なる。タイルＣと画像を比較した時、フレーム内静止画像にはあまり差は現れない。しかし、動画像を表示させた時には、「モヤモヤとした歪」がより顕著に現れる。これは、削られた高域成分の量が多いためであると思われる。
【００２１】
本発明の目的は、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および符号量削減方法を提供することである。
【００２２】
本発明の目的は、動き量の大小に伴う画質劣化を抑えた量子化を行うことができる符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および符号量削減方法を提供することである。
【００２３】
本発明の目的は、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および符号量削減方法を提供することである。
【００２４】
【課題を解決するための手段】
請求項１記載の発明の符号列変換装置は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出手段と、前記構文解析手段の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記動き量検出手段による動き量の検出結果と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備える。
【００２５】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化が行われることになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００２６】
請求項２記載の発明は、請求項１記載の符号列変換装置において、前記符号量削減手段は、動き量インデックス値とサブバンド符号量分布インデックス値と圧縮率インデックス値とに係る量子化テーブルを三次元マトリクス状に有する量子化テーブル群と、前記動き量検出手段による動き量の検出結果と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、を有し、前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減する。
【００２７】
したがって、符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、量子化テーブル群から最適な量子化テーブルが選択される。これにより、選択された量子化テーブルに基づいて符号列データの符号量が矩形領域毎に削減されるので、きめの細かい画質制御を含んだ量子化を実行することが可能になる。
【００２８】
請求項３記載の発明の符号列変換装置は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記動き量検出手段による動き量の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備える。
【００２９】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量を考慮した量子化が行われることになるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００３０】
請求項４記載の発明は、請求項３記載の符号列変換装置において、前記符号量削減手段は、動き量インデックス値と圧縮率インデックス値とに係る量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記動き量検出手段による動き量の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、を有し、前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減する。
【００３１】
したがって、符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、量子化テーブル群から最適な量子化テーブルが選択される。これにより、選択された量子化テーブルに基づいて符号列データの符号量が矩形領域毎に削減されるので、きめの細かい画質制御を含んだ量子化を実行することが可能になる。
【００３２】
請求項５記載の発明の符号列変換装置は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備える。
【００３３】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００３４】
請求項６記載の発明の符号列変換装置は、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備える。
【００３５】
したがって、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００３６】
請求項７記載の発明は、請求項５または６記載の符号列変換装置において、前記符号量削減手段は、サブバンド符号量分布インデックス値と圧縮率インデックス値とに係る量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、を有し、前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減する。
【００３７】
したがって、符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、量子化テーブル群から最適な量子化テーブルが選択される。これにより、選択された量子化テーブルに基づいて符号列データの符号量が矩形領域毎に削減されるので、きめの細かい画質制御を含んだ量子化を実行することが可能になる。
【００３８】
請求項８記載の発明は、請求項２，４，７記載の符号列変換装置において、前記量子化テーブルは、符号量が削減されるサブバンドと、符号量が保存されるサブバンドとを指定する。
【００３９】
したがって、符号列データの符号量を確実に削減することが可能になる。
【００４０】
請求項９記載の発明は、請求項１ないし８のいずれか一記載の符号列変換装置において、前記動き量検出手段は、現フレームと以前のフレームとの直交変換係数値の相関係数値を求めて前記動き量を検出し、当該動き量に応じて動き量インデックス値を設定する。
【００４１】
したがって、動き量が現フレームと以前のフレームとの直交変換係数値の相関係数値により検出されることにより、動き量を正確に求めることが可能になる。
【００４２】
請求項１０記載の発明は、請求項９記載の符号列変換装置において、前記動き量検出手段で用いる直交変換係数値を求めるために復号化及び逆量子化する変換手段を備える。
【００４３】
したがって、復号化及び逆量子化の処理により求められた直交変換係数値に基づいて、現フレームと以前のフレームとの直交変換係数値の相関係数値を求めることが可能になる。
【００４４】
請求項１１記載の発明は、請求項１ないし８のいずれか一記載の符号列変換装置において、前記動き量検出手段は、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて前記動き量を検出し、当該動き量に応じて動き量インデックス値を設定する。
【００４５】
したがって、動き量が現フレームと以前のフレームとのパケット長のデータ量の相関係数値により検出されることにより、動き量を高速、かつ、正確に求めることが可能になる。
【００４６】
請求項１２記載の発明は、請求項１１記載の符号列変換装置において、前記動き量検出手段で用いるパケット長を求めるパケット長検出手段を備える。
【００４７】
したがって、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めることが可能になる。
【００４８】
請求項１３記載の発明は、請求項１ないし８のいずれか一記載の符号列変換装置において、前記サブバンド符号量分布検出手段は、フレームのサブバンド毎に直交変換係数値の数の和を表したヒストグラムを求めて前記サブバンド符号量分布を検出し、当該サブバンド符号量分布に応じてサブバンド符号量分布インデックス値を設定する。
【００４９】
したがって、サブバンド符号量分布がフレームの直交変換係数値の数の和を表したヒストグラムにより検出されることにより、サブバンド符号量分布を正確に求めることが可能になる。
【００５０】
請求項１４記載の発明は、請求項１３記載の符号列変換装置において、前記サブバンド符号量分布検出手段で用いる直交変換係数値を求めるために復号化及び逆量子化する変換手段を備える。
【００５１】
したがって、復号化及び逆量子化の処理により求められた直交変換係数値に基づいて、フレームの直交変換係数値の数の和を表したヒストグラムを求めることが可能になる。
【００５２】
請求項１５記載の発明は、請求項１ないし８のいずれか一記載の符号列変換装置において、前記サブバンド符号量分布検出手段は、フレームのパケット長のデータ量に応じて前記サブバンド符号量分布を検出し、当該サブバンド符号量分布に応じてサブバンド符号量分布インデックス値を設定する。
【００５３】
したがって、サブバンド符号量分布がフレームのパケット長のデータ量に応じて検出されることにより、サブバンド符号量分布を高速、かつ、正確に求めることが可能になる。
【００５４】
請求項１６記載の発明は、請求項１５記載の符号列変換装置において、前記サブバンド符号量分布検出手段で用いるパケット長を求めるパケット長検出手段を備える。
【００５５】
したがって、フレームのパケット長のデータ量を求めることが可能になる。
【００５６】
請求項１７記載の発明は、請求項９ないし１２のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段により設定された各種インデックス値を変更するインデックス値変更手段を備える。
【００５７】
したがって、高い画像品質を維持したまま、原画像の符号化を行うことが可能になる。
【００５８】
請求項１８記載の発明は、請求項１ないし１７のいずれか一記載の符号列変換装置において、前記符号量削減手段により矩形領域毎に符号量が削減された前記符号列データを標準形式の符号列データに整える符号列作成手段を備える。
【００５９】
したがって、汎用のデコーダで、新たに生成した符号列データを伸長することが可能になる。
【００６０】
請求項１９記載の発明は、請求項１ないし１８のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段は、コンポーネント毎に実行される。
【００６１】
したがって、ＹＣｂＣｒコンポーネントのＹ（輝度）成分や、ＲＧＢコンポーネントのＧ（緑）成分のみについて「動き量」や「サブバンド符号量分布」の検出を行うことにより、高速かつ低消費電力での符号化制御が可能になる。
【００６２】
請求項２０記載の発明は、請求項１ないし１９のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、タイルである。
【００６３】
したがって、直交変換として離散ウェーブレット変換を用いることが可能になる。
【００６４】
請求項２１記載の発明は、請求項１ないし１９のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、プレシンクトである。
【００６５】
したがって、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画質劣化を抑える量子化を行うことが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【００６６】
請求項２２記載の発明は、請求項１ないし１９のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、コード・ブロックである。
【００６７】
したがって、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画質劣化を抑える量子化を行うことが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【００６８】
請求項２３記載の発明の画像処理装置は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、請求項１，３，５記載の符号列変換装置と、を備える。
【００６９】
したがって、動画像を圧縮処理する際に、請求項１，３，５記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【００７０】
請求項２４記載の発明の画像処理装置は、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、請求項６記載の符号列変換装置と、を備える。
【００７１】
したがって、静止画像を圧縮処理する際に、請求項６記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【００７２】
請求項２５記載の発明の画像記録装置は、動画像データを撮像する画像入力装置と、この撮像した動画像データを処理する請求項２３記載の画像処理装置と、を備える。
【００７３】
したがって、動画像を撮像して圧縮処理する際に、請求項１，３，５記載の発明と同様の作用を奏する画像記録装置を提供することが可能になる。
【００７４】
請求項２６記載の発明の画像記録装置は、静止画像データを撮像する画像入力装置と、この撮像した静止画像データを処理する請求項２４記載の画像処理装置と、を備える。
【００７５】
したがって、静止画像を撮像して圧縮処理する際に、請求項６記載の発明と同様の作用を奏する画像記録装置を提供することが可能になる。
【００７６】
請求項２７記載の発明のコンピュータに読取り可能なプログラムは、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出機能と、前記構文解析機能の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記動き量検出機能による動き量の検出結果と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させる。
【００７７】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化が行われることになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００７８】
請求項２８記載の発明のコンピュータに読取り可能なプログラムは、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記動き量検出機能による動き量の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させる。
【００７９】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量を考慮した量子化が行われることになるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００８０】
請求項２９記載の発明のコンピュータに読取り可能なプログラムは、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させる。
【００８１】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００８２】
請求項３０記載の発明のコンピュータに読取り可能なプログラムは、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させる。
【００８３】
したがって、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００８４】
請求項３１記載の発明の記憶媒体は、請求項２７ないし３０のいずれか一記載のプログラムを記憶している。
【００８５】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項２７ないし３０のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００８６】
請求項３２記載の発明の符号量削減方法は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出工程と、前記構文解析工程の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記動き量検出工程による動き量の検出結果と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含む。
【００８７】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化が行われることになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００８８】
請求項３３記載の発明の符号量削減方法は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記動き量検出工程による動き量の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含む。
【００８９】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量を考慮した量子化が行われることになるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００９０】
請求項３４記載の発明の符号量削減方法は、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含む。
【００９１】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００９２】
請求項３５記載の発明の符号量削減方法は、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含む。
【００９３】
したがって、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【００９４】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図２１に基づいて説明する。
【００９５】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。
【００９６】
図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００９７】
このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００９８】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００９９】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【０１００】
次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
【０１０１】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【０１０２】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【０１０３】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【０１０４】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【０１０５】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【０１０６】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【０１０７】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【０１０８】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【０１０９】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Ｌｅａｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Ｍｏｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【０１１０】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【０１１１】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ　ｓｔｒｅａｍ）の先頭にはヘッダ（メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）、タイル境界位置情報等であるタイルパートヘッダ（ｔｉｌｅ　ｐａｒｔ　ｈｅａｄｅｒ））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ　ｏｆ　ｃｏｄｅｓｔｒｅａｍ）が置かれる。
【０１１２】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【０１１３】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」である。すなわち、「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００」は、図７に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【０１１４】
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＭｏｔｉｏｎＪＰＥＧ２０００を代表とする動画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【０１１５】
図８は本発明が適用されるムービーカメラシステム１の概略構成を示すブロック図である。図８に示すように、本発明の動画像表示システムが適用されるムービーカメラシステム１は、ムービーカメラである画像記録装置１ａとパーソナルコンピュータである動画像再生装置１ｂとをインターネットであるネットワーク１ｃを介して接続したものである。
【０１１６】
以下においては、本発明の特長的な機能を発揮する画像記録装置１ａについて説明する。なお、動画像再生装置１ｂについては、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００方式で圧縮した符号列データの伸長を行うことができる標準的なシステムであれば良いので、その詳細な説明は省略する。
【０１１７】
図８に示すように、画像記録装置１ａは、動画像を撮影する画像入力装置２と、この撮影した画像データを圧縮符号化する画像圧縮装置３と、この圧縮符号化された符号列から別の符号列を作成する画像圧縮用の符号列変換装置４と、を備えている。画像圧縮装置３及び符号列変換装置４で動画像データの圧縮処理を行う本発明の画像処理装置を実施している。
【０１１８】
図９は、画像記録装置１ａのハードウエア構成の一例を示すブロック図である。画像記録装置１ａは、図９に示すように、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１を備えており、このＣＰＵ１１には、各種のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）からなる記憶媒体であるメモリ１２と、ネットワーク１ｃと通信を行う所定の通信インターフェイス１３と、ユーザから各種の操作を受け付ける操作パネル１８とが、バス１４を介して接続されている。
【０１１９】
画像記録装置１ａにおいては、前述した画像入力装置２と画像圧縮装置３とに加え、論理回路１９が、バス１４を介してＣＰＵ１１に接続されている。
【０１２０】
このような構成の画像記録装置１ａのメモリ１２（のＲＯＭ）には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてＣＰＵ１１が実行する処理により、符号列変換装置４の機能を実現する。
【０１２１】
なお、メモリ１２としては、ＣＤやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることもできる。また、ネットワーク１ｃからプログラムをダウンロードし、メモリ１２にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【０１２２】
ここで、画像記録装置１ａの各部の動作について簡単に説明する。まず、画像記録装置１ａの画像入力装置２は、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置３に出力する。画像圧縮装置３は、動画像のデジタル画素値信号を「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」に従って圧縮符号化する。この画像圧縮装置３における処理により、元の動画像のＲ，Ｇ，Ｂの各コンポーネントの動画像データは、フレーム毎に１又は複数（通常は複数）のタイルに分割され、このタイル毎に階層的に圧縮符号化された符号化データとなる。
【０１２３】
符号列変換装置４では、画像圧縮装置３から出力される符号列データについて、符号量の削減を行う。タイル毎の符号データの削減を行って、よりデータ量の少ない符号列データに変換する。この符号列変換装置４は、図１０に示すように、符号列の入力を受け付ける符号列入力手段４１、構文解析手段４２、符号列の符号量を削減する符号量削減手段４３（量子化テーブル選択手段４３ａ、パケット・スイッチ４３ｂからなる）、符号列作成手段４４、符号列を出力する符号列出力手段４５、動き量検出手段４６、サブバンド符号量分布検出手段４７、ユーザによる圧縮率の入力を受け付ける圧縮率指定手段４８の各種手段及び量子化テーブル群Ｔなどから構成される。これらの各種手段は、前述の動画処理プログラムにしたがってＣＰＵ１１が行う処理により実現している。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路１５の動作により、各種手段の機能を実現するようにするのが望ましい。
【０１２４】
次に、符号列変換装置４を構成する各部について説明する。
【０１２５】
構文解析手段４２は、画像圧縮装置３から入力された符号列データの構文すなわちヘッダ部に記述されているデータを解読するものである。
【０１２６】
符号列作成手段４４は、符号量削減手段４３により符号量が削減された符号列を標準形式の符号列に整えるものである。こうすることにより、汎用のデコーダで、新たに生成した符号列を伸長することが可能となる。
【０１２７】
動き量検出手段４６は、現フレームと以前のフレームとの間の動き量を検出するものである。動き量検出手段４６が検出する現フレームと以前のフレームとの間の動き量には、現フレームとそれ以前のフレームとの間におけるパケット長の差分から求められる相関係数値が使われている。相関係数値が大きいことは、フレーム間の画像が似ていることを意味するので、動き量は小さいことに対応する。
【０１２８】
ここで、動き量検出手段４６による動き量の検出について説明する。ここでは、ペイロード部のデータ量、すなわち、「パケット長」に基づいて動き量を検出する手法について説明する。図１１に示すように、ペイロード部のデータ量、すなわち、「パケット長」は、ヘッダ部に記述されているので、その情報を構文解析手段４２により読み取って、各フレームのパケット長を検出し（パケット長検出手段）、検出した各フレームのパケット長を記憶する（パケット長記憶手段）。動き量は、符号量の変化量、すなわち、パケット長の変化量に現れることから、現フレームとそれ以前のフレームとの間におけるパケット長の差分を求めることにより（差分検出手段）、動き量を検出することができる。このような手法によれば、動き量に僅かながら誤差が含まれる場合があるものの、画像処理装置の構成が単純で済み、かつ、高速で処理することができるという、大きなメリットを有している。なお、符号量の変化が予め設定されている閾値よりも小さい場合には、フレーム間で動きがなかったものとしても良い。
【０１２９】
なお、動き量の検出は、現フレームとそれ以前のフレームとの間におけるパケット長の差分から求められるものに限るものではない。例えば、現フレームとそれ以前のフレームとの間におけるウェーブレット係数値の差分から求めることもできる。この場合には、各サブバンド毎にペイロード・データを復号化し（復号化手段）、更に逆量子化して（逆量子化手段）、ウェーブレット係数値を直接求めた後、検出した各フレームのウェーブレット係数値を記憶する（ウェーブレット係数値記憶手段）。その後、こうして得られたウェーブレット係数値を使い、フレーム間で対応するビットを比較することにより（差分検出手段）、動き量を検出することができる。このような手法によれば、符号列変換装置の構成が複雑になり、かつ、処理時間が長くなるものの、動き量を正確に求めることができる。
【０１３０】
ここで、図１２は動画像の「動き量」に応じて最適化された「量子化」を説明する説明図である。縦軸は動き量を表し、現フレームとそれ以前のフレームとの間における各タイル・各サブバンド毎のウェーブレット係数値の差分から求められる相関係数値が使われている。また、横軸は、タイルの単位を表している。タイルは、フレーム内の原静止画像を分割して作成された矩形領域のことである。各タイルＡ，Ｂ，Ｃ，Ｄは、図２７に示したタイルＡ，Ｂ，Ｃ，Ｄに対応する。なお、図１２は、ユーザが圧縮率指定手段４８を介して圧縮率インデックス値ｋとしてｋ＝ｐを選択した例である。この圧縮率インデックス値は、符号量の大きさを半定量的に大雑把に決めるときに使うものである。ユーザは、まず最初に、この圧縮率インデックス値を指定する。なお、ｋ＝０は、可逆符号化（ロスレス圧縮）を表わしている。
【０１３１】
図１２に示すように、画像領域毎に異なる動き量を反映させるために、相関係数値には、複数の閾値が設けられ、各閾値間には対応する「動き量インデックス値」が割り当てられている。そして、各「動き量インデックス値」に対応して「量子化テーブル」が用意されている。ここで、図１３は「動き量インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。図１３に示すように、この「量子化テーブル」では、符号化データが削減されるサブバンドと、符号化データが保存されるサブバンドが、指定されている。つまり、各矩形画像領域の量子化においては、「符号量分布インデックス値」の設定により、注目したい動き量、無視する動き量、というように、目的とする動画像処理に合わせて、符号化データを保存するサブバンドと削減するサブバンドとを決定することが可能である。
【０１３２】
すなわち、図１２に示すように、動き量の大きなタイルＡは、動き量インデックス値としてｉ＝９を、動き量の小さなタイルＣは、動き量インデックス値としてｉ＝１を、各々与えられており、各インデックス値に対応する「量子化テーブル」を使って量子化が行われる。
【０１３３】
このように動画像の「動き量」を量子化に反映させることにより、従来の方法で目障りであった、背景に現れる「モヤモヤとした歪」を、大幅に低減させることが可能である。
【０１３４】
サブバンド符号量分布検出手段４７は、現フレーム内のサブバンド符号量分布を検出するものである。ここで、サブバンド符号量分布検出手段４７によるサブバンド符号量分布の検出について説明する。ここでは、ペイロード部のサブバンド符号量、すなわち、「パケット長」に基づいてサブバンド符号量分布を検出する手法について説明する。前述したように、ペイロード部のサブバンド符号量、すなわち、「パケット長」は、ヘッダ部に記述されているので、その情報を構文解析手段４２により読み取って、フレームのパケット長を検出し（パケット長検出手段）、この検出したフレームのパケット長に基づいてサブバンド符号量分布を検出することができる。
【０１３５】
ここで、図１４は「サブバンド符号量分布」に応じて最適化された「量子化」を説明する説明図である。縦軸は、最上位階層の（デコンポジション・レベル数が最大の）低域サブバンド符号量を「１」に規格化した時の相対符号量を表している。また、横軸は、サブバンド周波数帯域を表している。そして、タイル毎の符号量分布を示す曲線のうち細線の部分は、符号量の削除対象となるサブバンドを、一方、太線の部分は、符号量がそのまま保存されるサブバンドを各々表している。各タイルＡ，Ｂ，Ｃ，Ｄは、図２７に示したタイルＡ，Ｂ，Ｃ，Ｄに対応する。なお、図１４（ａ）は、ユーザが圧縮率指定手段４８を介して圧縮率インデックス値ｋとして低圧縮率であるｋ＝ｐを選択した例であり、図１４（ｂ）は、ユーザが圧縮率指定手段４８を介して圧縮率インデックス値ｋとして高圧縮率であるｋ＝ｑを選択した例である。図１４に示すように、タイルＡとタイルＤは高域にまで符号データを保持している。また、タイルＢは中域に比較的多くの情報を、タイルＣは低域にほとんどの情報を、各々保有している。このように、タイル毎にサブバンドの持つ符号化データ量の分布が異なるので、ここでは量子化処理にあたっては、サブバンド符号量分布に三種類の「符号量分布インデックス値」が割り当てられている。そして、個々の「符号量分布インデックス値」には、対応する「量子化テーブル」が用意されている。ここで、図１５は「符号量分布インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。図１５に示すように、この「量子化テーブル」では、「符号量分布インデックス値」に対応して符号量が削減されるサブバンド（斜線で示す部分）が設定されている。
【０１３６】
すなわち、図１４に示すように、この「量子化テーブル」では、高域に符号データ量の分布の多いタイルＡやタイルＤには符号量分布インデックス値としてｊ＝Ｈを、中域に分布の多いタイルＢには符号量分布インデックス値としてｊ＝Ｍを、低域に分布の多いタイルＣには符号量分布インデックス値としてｊ＝Ｍを、各々割り当てている。
【０１３７】
これにより、符号量分布インデックス値に応じてサブバンド符号データを削減することが可能になるので、図１４（ｂ）に示すように、高圧縮率の場合におけるタイルＡ，Ｂ，Ｄの画質劣化が改善され、タイルＣと同等の画質を維持することが可能になる。
【０１３８】
また、図１６は「サブバンド符号量分布」に応じて最適化された「量子化」を説明する別の説明図である。なお、図１６（ａ）は、ユーザが圧縮率指定手段４８を介して圧縮率インデックス値ｋとして低圧縮率であるｋ＝ｐを選択した例であり、図１６（ｂ）は、ユーザが圧縮率指定手段４８を介して圧縮率インデックス値ｋとして高圧縮率であるｋ＝ｑを選択した例である。ここで、縦軸には全サブバンドの持つ符号量の和を、横軸にはタイル＃を表している。画像情報が低域サブバンドに集まっているタイルは、全サブバンドの符号量和は小さく、反対に、高域に画像情報が集中しているタイルは、符号量和は大きい。そして、各タイルは、分類されたカテゴリに設けられている最低符号量和まで、符号量が削減される。
【０１３９】
このように、量子化前の符号量に応じて符号量を削減する割合が決められているので、量子化後の符号データを復号して画像として表示させたとき、高域から低域の全ての帯域に渡って、画質の劣化はあまり目立たない。なぜなら、従来のように、量子化前の符号量を考慮せず、一律に符号量を削減することがないからである。
【０１４０】
つまり、図１７に示すように、本実施の形態の量子化テーブル群Ｔは、「動き量インデックス値（ｉ＝０，１，・・・，９）」と「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」と「圧縮率インデックス値（ｋ＝０，１，・・・，ｎ）」とに係る量子化テーブルを三次元マトリクス（ｉ，ｊ，ｋ）状に有したものである。
【０１４１】
量子化テーブル群Ｔについてより詳細に説明する。図１８は、量子化テーブル群Ｔの「動き量インデックス値」と「圧縮率インデックス値」との関係について示したものである。前述したように、「動き量インデックス値」は、動き量と予め設定しておいた閾値によって分類されており、「圧縮率インデックス値」は、ユーザにより指定される。この例では、「動き量インデックス値」は９個のインデックス値に分類されており、「圧縮率インデックス値」はロスレス（ｋ＝０）から最高圧縮率（ｋ＝ｎ）のインデックス値に分類されている。図１８に示すように、「圧縮率インデックス値」の値としてｋ＝ｐを選んだとき、タイルＡの量子化テーブルは（９，ｐ）、また、タイルＢの量子化テーブルは（２，ｐ）となる。
【０１４２】
また、図１９は、量子化テーブル群Ｔの「符号量分布インデックス値」と「圧縮率インデックス値」との関係について示したものである。前述したように、「符号量分布インデックス値」は、矩形画像領域（タイル）毎の特徴に応じて数種類のパターンに分類されており、「圧縮率インデックス値」は、ユーザにより指定される。この例では、「符号量分布インデックス値」は３個のインデックス値に分類されており、「圧縮率インデックス値」はロスレス（ｋ＝０）から最高圧縮率（ｋ＝ｎ）のインデックス値に分類されている。図１９に示すように、「圧縮率インデックス値」の値としてｋ＝ｐを選んだとき、タイルＡの量子化インデックス値は（Ｈ，ｐ）、また、タイルＢの量子化インデックス値は（Ｍ，ｐ）となる。
【０１４３】
すなわち、符号量削減手段４３の量子化テーブル選択手段４３ａは、動き量検出手段４６、サブバンド符号量分布検出手段４７、圧縮率指定手段４８により各矩形画像領域の特徴を分類して得た「インデックス値」（ｉ，ｊ，ｋ）に従って量子化テーブル群Ｔを参照し、最適な量子化テーブルを選択する。例えば、図１７に示すように、「圧縮率インデックス値」としてｋ＝ｐを選んだとき、タイルＡの量子化テーブルは（９，Ｈ，ｐ）、また、タイルＢの量子化テーブルは（２，Ｍ，ｐ）となる。
【０１４４】
なお、量子化テーブル選択手段４３ａにより最適な量子化テーブルが選択された場合には、パケット・スイッチ４３ｂをオフにして、符号量削減手段４３により符号列の符号量の削減を行う。同時に、符号列作成手段４４において、符号量削減手段４３により符号量が削減された符号列のコード・ストリームのヘッダ・データを書き換えて標準形式の符号列に整える。こうして、作成された符号列が符号列出力手段４５によりネットワーク１ｃに出力される。
【０１４５】
一方、量子化テーブル選択手段４３ａにより最適な量子化テーブルが選択されなかった場合には、パケット・スイッチ４３ｂはオン状態のままとして、現フレームの符号列データは、符号量を削除されることなく符号列出力手段４５によりネットワーク１ｃに出力される。
【０１４６】
なお、本実施の形態においては、「動き量インデックス値（ｉ＝０，１，・・・，９）」と「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」と「圧縮率インデックス値（ｋ＝０，１，・・・，ｎ）」とに係る量子化テーブルを三次元マトリクス（ｉ，ｊ，ｋ）状に有する量子化テーブル群Ｔを用いるようにしたが、これに限るものではない。例えば、「動き量インデックス値（ｉ＝０，１，・・・，９）」と「圧縮率インデックス値（ｋ＝０，１，・・・，ｎ）」とに係る量子化テーブルを二次元マトリクス（ｉ，ｋ）状に有する量子化テーブル群を用いるようにしても良い。なお、この場合には、図２０に示すように、符号列変換装置４にサブバンド符号量分布検出手段４７は不要となる。このような場合には、三次元マトリクス（ｉ，ｊ，ｋ）である量子化テーブル群Ｔを用いる場合に比べ、画質が若干落ちることになるが、処理の高速化を図ることが可能になる。
【０１４７】
また、「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」と「圧縮率インデックス値（ｋ＝０，１，・・・，ｎ）」とに係る量子化テーブルを二次元マトリクス（ｊ，ｋ）状に有する量子化テーブル群を用いるようにしても良い。なお、この場合には、図２１に示すように、符号列変換装置４に動き量検出手段４６は不要となる。このような場合には、三次元マトリクス（ｉ，ｊ，ｋ）である量子化テーブル群Ｔを用いる場合に比べ、画質が若干落ちることになるが、処理の高速化を図ることが可能になる。また、このような符号列変換装置４によれば、動き量の検出が不要となることから、動画像のみならず、静止画像についても適用することが可能である。
【０１４８】
ここに、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化が行われることになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【０１４９】
なお、入力原画像が複数のコンポーネントで構成されている場合、システム全体の更なる高速化を図ることが可能である。すなわち、例えば入力符号列がＹＣｂＣｒ信号である場合、パケット長検出をＹ成分だけで行えば良い。ＣｂおよびＣｒ成分に対する量子化テーブルは、Ｙ成分に対して求められた量子化テーブルに基づいて量子化テーブル群Ｔから容易に選択することができるからである。
【０１５０】
また、本実施の形態においては、圧縮率指定手段４８を介してユーザが圧縮率を指定するようにしたが、これに限るものではない。例えば、圧縮率の代わりにビットレートを指定させるようにして、この指定されたビットレートに基づいて圧縮率インデックス値ｋが設定されるようにしても良い。
【０１５１】
次に、本発明の第二の実施の形態を図２２ないし図２４に基づいて説明する。なお、前述した第一の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【０１５２】
第一の実施の形態で説明したように、「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」と「圧縮率インデックス値（ｋ＝０，１，・・・，ｎ）」とに係る量子化テーブルを二次元マトリクス（ｊ，ｋ）状に有する量子化テーブル群を用いる場合には、符号列変換装置４に動き量検出手段４６は不要となることから、動画像のみならず、静止画像についても適用することが可能である。
【０１５３】
ここで、図２２は本実施の形態の符号列変換装置４の構成を示すブロック図である。図２２に示すように、本実施の形態の符号列変換装置４は、図２１に示した構成に加えて、インデックス値変更手段５０を備えている。このインデックス値変更手段５０は、サブバンド符号量分布検出手段４７および圧縮率指定手段４８で決められたインデックス値（ｊ，ｋ）は、（ｊ＊，ｋ＊）に変更するものである。
【０１５４】
ここで、インデックス値変更手段５０について、具体例を挙げて説明する。図２３は、サブバンド符号量分布を考慮した静止画像の符号化を説明するための画像例である。図２３に示すように、タイルＵは青空を、タイルＷは高層ビルの窓枠の密集した正面側を、そして、タイルＶは高層ビルと空の両方を、各々主たる画像としている。サブバンド符号量分布について見れば、タイルＵは低域に、タイルＷは高域に、タイルＶは低域から高域までの全ての範囲に、画像情報が集まっている。ここで、タイルＶはその画像情報が低域から高域の全ての範囲に広がっているため、タイルＶの量子化に際しては、高域のビル正面側（タイルＷ）と、低域の空（タイルＵ）との両方の画質バランスを崩さないように行う必要がある。しかしながら、これは非常に難しいことで、従来より画質の劣化を招く原因となっていた。しかも、圧縮率が高くなるに従って、最適な解を見つけることがますます困難になっていく傾向がある。
【０１５５】
そこで、本実施の形態においては、インデックス値変更手段５０を用いることにより、空とビルの境界にあたる矩形領域には、予め決められている圧縮率インデックス値よりも、より圧縮率の小さなインデックス値を割り当て直すようにしている。具体的には、図２４に示すように、低圧縮率（圧縮率インデックス値ｋ＝ｐ）ではロスレス圧縮（ｋ＝０）を、中圧縮率（圧縮率インデックス値ｋ＝ｑ）ではより低圧縮率側のインデックス値（ｋ＝ｐ−ｍ）を、高圧縮率（圧縮率インデックス値ｋ＝ｒ）ではより低圧縮率側のインデックス値ｋ＝ｒ−ｎ）を、各々用いるようにする。このように、インデックス値を変更することにより、高い画像品質を維持したまま、原画像の符号化を行うことが可能となる。
【０１５６】
なお、各実施の形態においては、原画像にタイル分割処理を施した場合について説明したが、これに限るものではない。原画像に対してタイル分割を行わない場合でも、プレシンクトやコード・ブロックを矩形領域として利用すれば、タイル分割を行った場合と同様に、「動き量」や「サブバンド符号量分布」を細かく検出し、画質劣化を抑えた量子化が可能である。
【０１５７】
また、前述の説明では、本発明の画像記録装置１ａをムービーカメラに適用した例を説明したが、画像記録装置１ａを携帯情報端末装置（ＰＤＡ）、携帯電話などの情報端末装置に適用することもできる。
【０１５８】
【発明の効果】
請求項１記載の発明の符号列変換装置によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出手段と、前記構文解析手段の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記動き量検出手段による動き量の検出結果と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備え、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化を行うことになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１５９】
請求項２記載の発明によれば、請求項１記載の符号列変換装置において、前記符号量削減手段は、動き量インデックス値とサブバンド符号量分布インデックス値と圧縮率インデックス値とに係る量子化テーブルを三次元マトリクス状に有する量子化テーブル群と、前記動き量検出手段による動き量の検出結果と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、を有し、前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減することにより、きめの細かい画質制御を含んだ量子化を実行することができる。
【０１６０】
請求項３記載の発明の符号列変換装置によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記動き量検出手段による動き量の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備え、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量を考慮した量子化を行うことになるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことができる。
【０１６１】
請求項４記載の発明によれば、請求項３記載の符号列変換装置において、前記符号量削減手段は、動き量インデックス値と圧縮率インデックス値とに係る量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記動き量検出手段による動き量の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、を有し、前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減することにより、きめの細かい画質制御を含んだ量子化を実行することができる。
【０１６２】
請求項５記載の発明の符号列変換装置によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備え、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１６３】
請求項６記載の発明の符号列変換装置によれば、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出手段と、圧縮率の指定を受け付ける圧縮率指定手段と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、を備え、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１６４】
請求項７記載の発明によれば、請求項５または６記載の符号列変換装置において、前記符号量削減手段は、サブバンド符号量分布インデックス値と圧縮率インデックス値とに係る量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記サブバンド符号量分布検出手段によるサブバンド符号量分布の検出結果と、前記圧縮率指定手段による圧縮率の指定結果とに応じ、前記量子化テーブル群から最適な量子化テーブルを選択する量子化テーブル選択手段と、を有し、前記量子化テーブル選択手段により選択された量子化テーブルに基づいて前記符号列データの符号量を矩形領域毎に削減することにより、きめの細かい画質制御を含んだ量子化を実行することができる。
【０１６５】
請求項８記載の発明によれば、請求項２，４，７記載の符号列変換装置において、前記量子化テーブルは、符号量が削減されるサブバンドと、符号量が保存されるサブバンドとを指定することにより、符号列データの符号量を確実に削減することができる。
【０１６６】
請求項９記載の発明によれば、請求項１ないし８のいずれか一記載の符号列変換装置において、前記動き量検出手段は、現フレームと以前のフレームとの直交変換係数値の相関係数値を求めて前記動き量を検出し、当該動き量に応じて動き量インデックス値を設定することにより、動き量を現フレームと以前のフレームとの直交変換係数値の相関係数値により検出することができるので、動き量を正確に求めることができる。
【０１６７】
請求項１０記載の発明によれば、請求項９記載の符号列変換装置において、前記動き量検出手段で用いる直交変換係数値を求めるために復号化及び逆量子化する変換手段を備えることにより、復号化及び逆量子化の処理により求められた直交変換係数値に基づいて、現フレームと以前のフレームとの直交変換係数値の相関係数値を求めることができる。
【０１６８】
請求項１１記載の発明によれば、請求項１ないし８のいずれか一記載の符号列変換装置において、前記動き量検出手段は、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて前記動き量を検出し、当該動き量に応じて動き量インデックス値を設定することにより、動き量を現フレームと以前のフレームとのパケット長のデータ量の相関係数値により検出することができるので、動き量を高速、かつ、正確に求めることができる。
【０１６９】
請求項１２記載の発明によれば、請求項１１記載の符号列変換装置において、前記動き量検出手段で用いるパケット長を求めるパケット長検出手段を備えることにより、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めることができる。
【０１７０】
請求項１３記載の発明によれば、請求項１ないし８のいずれか一記載の符号列変換装置において、前記サブバンド符号量分布検出手段は、フレームのサブバンド毎に直交変換係数値の数の和を表したヒストグラムを求めて前記サブバンド符号量分布を検出し、当該サブバンド符号量分布に応じてサブバンド符号量分布インデックス値を設定することにより、サブバンド符号量分布をフレームの直交変換係数値の数の和を表したヒストグラムにより検出することができるので、サブバンド符号量分布を正確に求めることができる。
【０１７１】
請求項１４記載の発明によれば、請求項１３記載の符号列変換装置において、前記サブバンド符号量分布検出手段で用いる直交変換係数値を求めるために復号化及び逆量子化する変換手段を備えることにより、復号化及び逆量子化の処理により求められた直交変換係数値に基づいて、フレームの直交変換係数値の数の和を表したヒストグラムを求めることができる。
【０１７２】
請求項１５記載の発明によれば、請求項１ないし８のいずれか一記載の符号列変換装置において、前記サブバンド符号量分布検出手段は、フレームのパケット長のデータ量に応じて前記サブバンド符号量分布を検出し、当該サブバンド符号量分布に応じてサブバンド符号量分布インデックス値を設定することにより、サブバンド符号量分布をフレームのパケット長のデータ量に応じて検出することができるので、サブバンド符号量分布を高速、かつ、正確に求めることができる。
【０１７３】
請求項１６記載の発明によれば、請求項１５記載の符号列変換装置において、前記サブバンド符号量分布検出手段で用いるパケット長を求めるパケット長検出手段を備えることにより、フレームのパケット長のデータ量を求めることができる。
【０１７４】
請求項１７記載の発明によれば、請求項９ないし１２のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段により設定された各種インデックス値を変更するインデックス値変更手段を備えることにより、高い画像品質を維持したまま、原画像の符号化を行うことができる。
【０１７５】
請求項１８記載の発明によれば、請求項１ないし１７のいずれか一記載の符号列変換装置において、前記符号量削減手段により矩形領域毎に符号量が削減された前記符号列データを標準形式の符号列データに整える符号列作成手段を備えることにより、汎用のデコーダで、新たに生成した符号列データを伸長することができる。
【０１７６】
請求項１９記載の発明によれば、請求項１ないし１８のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段は、コンポーネント毎に実行されることにより、ＹＣｂＣｒコンポーネントのＹ（輝度）成分や、ＲＧＢコンポーネントのＧ（緑）成分のみについて「動き量」や「サブバンド符号量分布」の検出を行うことができるので、高速かつ低消費電力での符号化制御を行うことができる。
【０１７７】
請求項２０記載の発明によれば、請求項１ないし１９のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、タイルであることにより、直交変換として離散ウェーブレット変換を用いることができる。
【０１７８】
請求項２１記載の発明によれば、請求項１ないし１９のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、プレシンクトであることにより、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画質劣化を抑える量子化を行うことができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【０１７９】
請求項２２記載の発明によれば、請求項１ないし１９のいずれか一記載の符号列変換装置において、前記動き量検出手段または前記サブバンド符号量分布検出手段における検出単位である矩形領域は、コード・ブロックであることにより、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画質劣化を抑える量子化を行うことができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【０１８０】
請求項２３記載の発明の画像処理装置によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、請求項１，３，５記載の符号列変換装置と、を備えることにより、動画像を圧縮処理する際に、請求項１，３，５記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【０１８１】
請求項２４記載の発明の画像処理装置によれば、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、請求項６記載の符号列変換装置と、を備えることにより、静止画像を圧縮処理する際に、請求項６記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【０１８２】
請求項２５記載の発明の画像記録装置によれば、動画像データを撮像する画像入力装置と、この撮像した動画像データを処理する請求項２３記載の画像処理装置と、を備えることにより、動画像を撮像して圧縮処理する際に、請求項１，３，５記載の発明と同様の作用効果を奏する画像記録装置を提供することが可能になる。
【０１８３】
請求項２６記載の発明の画像記録装置によれば、静止画像データを撮像する画像入力装置と、この撮像した静止画像データを処理する請求項２４記載の画像処理装置と、を備えることにより、静止画像を撮像して圧縮処理する際に、請求項６記載の発明と同様の作用効果を奏する画像記録装置を提供することができる。
【０１８４】
請求項２７記載の発明のコンピュータに読取り可能なプログラムによれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出機能と、前記構文解析機能の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記動き量検出機能による動き量の検出結果と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させ、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化を行うことができるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１８５】
請求項２８記載の発明のコンピュータに読取り可能なプログラムによれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記動き量検出機能による動き量の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させ、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量を考慮した量子化を行うことができるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことができる。
【０１８６】
請求項２９記載の発明のコンピュータに読取り可能なプログラムによれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させ、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことができるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１８７】
請求項３０記載の発明のコンピュータに読取り可能なプログラムによれば、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出機能と、圧縮率の指定を受け付ける圧縮率指定機能と、前記サブバンド符号量分布検出機能によるサブバンド符号量分布の検出結果と、前記圧縮率指定機能による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減機能と、をコンピュータに実行させ、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことができるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１８８】
請求項３１記載の発明の記憶媒体によれば、請求項２７ないし３０のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項２７ないし３０のいずれか一記載の発明と同様の作用効果を得ることができる。
【０１８９】
請求項３２記載の発明の符号量削減方法によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出工程と、前記構文解析工程の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記動き量検出工程による動き量の検出結果と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含み、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化を行うことができるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１９０】
請求項３３記載の発明の符号量削減方法によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいて現フレームと以前のフレームとの間の動き量を検出する動き量検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記動き量検出工程による動き量の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含み、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量を考慮した量子化を行うことができるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことができる。
【０１９１】
請求項３４記載の発明の符号量削減方法によれば、動画像データについてフレーム毎に１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいて現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含み、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことができるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【０１９２】
請求項３５記載の発明の符号量削減方法によれば、静止画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づいてサブバンド符号量分布を検出するサブバンド符号量分布検出工程と、圧縮率の指定を受け付ける圧縮率指定工程と、前記サブバンド符号量分布検出工程によるサブバンド符号量分布の検出結果と、前記圧縮率指定工程による圧縮率の指定結果とに応じ、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、を含み、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことができるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】Ｍｏｔｉｏｎ　ＪＰＥＧ２０００の概念を示す説明図である。
【図８】本発明の第一の実施の形態のムービーカメラシステムの概略構成を示すブロック図である。
【図９】画像記録装置のハードウエア構成の一例を示すブロック図である。
【図１０】符号列変換装置の構成を示すブロック図である。
【図１１】構文解析手段によるパケット長の検出を示す説明図である。
【図１２】動画像の「動き量」に応じて最適化された「量子化」を説明する説明図である。
【図１３】「動き量インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。
【図１４】「サブバンド符号量分布」に応じて最適化された「量子化」を説明する説明図である。
【図１５】「符号量分布インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。
【図１６】「サブバンド符号量分布」に応じて最適化された「量子化」を説明する別の説明図である。
【図１７】動き量とサブバンド符号量分布の両方を考慮した量子化テーブル群を示す説明図である。
【図１８】量子化テーブル群の「動き量インデックス値」と「圧縮率インデックス値」との関係について示す説明図である。
【図１９】量子化テーブル群の「符号量分布インデックス値」と「圧縮率インデックス値」との関係について示す説明図である。
【図２０】別の符号列変換装置の構成を示すブロック図である。
【図２１】別の符号列変換装置の構成を示すブロック図である。
【図２２】本発明の第二の実施の形態の符号列変換装置の構成を示すブロック図である。
【図２３】サブバンド符号量分布を考慮した静止画像の符号化を説明するための画像例を示す説明図である。
【図２４】インデックス値の変更例を示す説明図である。
【図２５】従来の「量子化」の方法を示す説明図である。
【図２６】従来の「量子化」の方法を示す説明図である。
【図２７】動画像コンテンツから抜き出した連続する三つのフレームを示す説明図である。
【図２８】図２７に示した各フレーム中の所定のタイルの動き量及び画素周波数を示すテーブルを示す説明図である。
【符号の説明】
１ａ　　　画像記録装置
２　　　　画像入力装置
３　　　　画像圧縮装置
４　　　　符号列変換装置
１２　　　記憶媒体
４２　　　構文解析手段
４３　　　符号量削減手段
４３ａ　　量子化テーブル選択手段
４４　　　符号列作成手段
４６　　　動き量検出手段
４７　　　サブバンド符号量分布検出手段
４８　　　圧縮率指定手段
５０　　　インデックス値変更手段
Ｔ　　　　量子化テーブル群
【図１】
2004112382.tif 000003
【図２】
2004112382.tif 000004
【図３】
2004112382.tif 000005
【図４】
2004112382.tif 000006
【図５】
2004112382.tif 000007
【図６】
2004112382.tif 000008
【図７】
2004112382.tif 000009
【図８】
2004112382.tif 000010
【図９】
2004112382.tif 000011
【図１０】
2004112382.tif 000012
【図１１】
2004112382.tif 000013
【図１２】
2004112382.tif 000014
【図１３】
2004112382.tif 000015
【図１４】
2004112382.tif 000016
【図１５】
2004112382.tif 000017
【図１６】
2004112382.tif 000018
【図１７】
2004112382.tif 000019
【図１８】
2004112382.tif 000020
【図１９】
2004112382.tif 000021
【図２０】
2004112382.tif 000022
【図２１】
2004112382.tif 000023
【図２２】
2004112382.tif 000024
【図２３】
2004112382.tif 000025
【図２４】
2004112382.tif 000026
【図２５】
2004112382.tif 000027
【図２６】
2004112382.tif 000028
【図２７】
2004112382.tif 000029
【図２８】
2004112382.tif 000030