(57)【要約】【課題】画像の動き量、サブバンド符号量分布、圧縮率の切口で画像の種類を判別して再量子化を行うことを可能として、高い画像品質を維持しつつ動画像を符号化する。【解決手段】動画像データを圧縮符号化した符号列は構文解析手段１２で構文の解析がされ、量子化手段２９でパケットの取捨選択を行って再量子化される。そして、残ったパケットを含む新たな符号列が符号列作成手段１３で作成される。量子化手段２９でのパケット操作は、量子化テーブル群２７から量子化テーブル選択手段２８が選択した１又は複数の量子化テーブルにしたがって行う。この量子化テーブルは、検出した画像の動き量、サブバンド符号量分布及び指定した画像の圧縮率の各値に応じてそれぞれ決められた各インデックス値により選択される。【選択図】    図１１
2004200959.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをフレームごとに１又は複数の矩形領域に分割し、この矩形領域ごとに画素値を周波数変換して階層的に符号化することにより作成した符号列の構文を解析する構文解析手段と、
符号の取捨選択を行って前記符号列の再量子化を行う量子化手段と、
前記解析結果に基づいて前記符号列について現フレームと以前のフレームとの間の動き量を求める動き量検出手段と、
前記解析結果に基づいて現フレーム内のサブバンド符号量分布を求めるサブバンド符号量分布検出手段と、
現フレームの圧縮率を指定する圧縮率指定手段と、
前記動き量の大きさに応じて与えられた数値で前記再量子化を行う際の符号の削減方法を指定する複数のテーブルからなるテーブル群から前記テーブルを指定する際のインデックスとなる動き量インデックス値、前記サブバンド符号量分布の大きさに応じて与えられた数値で前記テーブルを指定する際のインデックスとなる符号分布インデックス値、及び、前記圧縮率の大きさに応じて与えられた数値で前記テーブルを指定する際のインデックスとなる圧縮率インデックス値に基づいて、前記再量子化に使用する前記テーブルを１又は複数選択する選択手段と、
前記再量子化後の符号列から新たな符号列を作成する符号列作成手段と、
を備えている符号列変換装置。
【請求項２】
静止画像データを１又は複数の矩形領域に分割し、この矩形領域ごとに画素値を周波数変換して階層的に符号化することにより作成した符号列の構文を解析する構文解析手段と、
符号の取捨選択を行って前記符号列の再量子化を行う量子化手段と、
前記解析結果に基づいてサブバンド符号量分布を求めるサブバンド符号量分布検出手段と、
圧縮率を指定する圧縮率指定手段と、
前記サブバンド符号量分布の大きさに応じて与えられた数値で前記再量子化を行う際の符号の削減方法を指定する複数のテーブルからなるテーブル群から前記テーブルを指定する際のインデックスとなる符号分布インデックス値、及び、前記圧縮率の大きさに応じて与えられた数値で前記テーブルを指定する際のインデックスとなる圧縮率インデックス値に基づいて、前記再量子化に使用する前記テーブルを１又は複数選択する選択手段と、
前記再量子化後の符号列から新たな符号列を作成する符号列作成手段と、
を備えている符号列変換装置。
【請求項３】
前記選択手段は、前記動き量、前記サブバンド符号量分布及び前記圧縮率に対応している前記各インデックス値で特定される前記テーブルを指定し、また、前記各インデックス値が所定の選択条件を満たした場合には他の前記テーブルも選択し、満たさない場合には当該他のテーブルの選択は行わない、請求項１又は２に記載の符号列変換装置。
【請求項４】
前記選択手段は、前記動き量、前記サブバンド符号量分布の低域側総符号量及び前記圧縮率のうち何れか一つが所定の閾値以上のときに前記選択条件が満たされる、請求項３に記載の符号列変換装置。
【請求項５】
前記選択条件を満たすか否かにかかわらず、前記選択手段で前記他のテーブルの選択を実行することを設定する第１の設定手段を備えている、請求項３又は４に記載の符号列変換装置。
【請求項６】
前記選択手段で選択する他のテーブルの数に上限値を設定する第２の設定手段を備えている、請求項３〜５のいずれかの一に記載の符号列変換装置。
【請求項７】
前記選択手段は、前記他のテーブルの前記各インデックス値は、前記選択条件を満たさないときに選択される前記各インデックス値で特定されるテーブルの当該インデックス値と、その少なくとも一つが隣接する値である、請求項３〜６のいずれかの一に記載の符号列変換装置。
【請求項８】
前記選択手段は、前記符号列がＲＧＢ、ＹＵＶ又はＹＣｂＣｒのいずれかの色空間で構成されているときに、前記選択条件を各色空間のうち少なくとも一つに適用する、請求項３〜７のいずれかの一に記載の符号列変換装置。
【請求項９】
前記符号列作成手段は、前記テーブルが複数選択されたときは前記再量子化手段で前記テーブルごとに得られた符号データを互いに異なるコンポーネントに配置するように前記新たな符号列の作成を行う、請求項３〜８のいずれかの一に記載の符号列変換装置。
【請求項１０】
前記符号列作成手段は、前記他のテーブルが選択されなかったときに、当該他のテーブルから得られた符号データを配置すべき前記コンポーネントに予め用意した符号データを配置する、請求項９に記載の符号列変換装置。
【請求項１１】
前記符号列作成手段は、前記予め用意した符号データとして画素値が最小となる白色の画像の符号データを配置する、請求項１０に記載の符号列変換装置。
【請求項１２】
前記各インデックス値は、前記動き量、前記サブバンド符号量分布及び前記圧縮率の各値に応じてそれぞれ昇順又は降順に付されている、請求項１〜１１のいずれかの一に記載の符号列変換装置。
【請求項１３】
前記サブバンド符号量分布検出手段は、サブバンドごとの直交変換係数値の符号量和及びある帯域に含まれるサブバンドの直交変換係数値の総符号量和を求めるものである、請求項１〜１２のいずれかの一に記載の符号列変換装置。
【請求項１４】
前記構文解析手段は、前記符号列として前記直交変換に離散コサイン変換を用いているものを対象とする、請求項１〜１３のいずれかの一に記載の符号列変換装置。
【請求項１５】
前記構文解析手段は、前記符号列として前記直交変換に離散ウエーブレット変換を用いているものを対象とする、請求項１〜１３のいずれかの一に記載の符号列変換装置。
【請求項１６】
請求項１〜１５のいずれかの一に記載の符号列変換装置と、
この符号列変換装置で作成した新たな符号列を伸長する画像伸長装置と、
この伸長後の画像データに基づいて画像を表示する表示装置と、
を備えている画像編集システム。
【請求項１７】
請求項９に記載の符号列変換装置である第１の符号列変換装置と、
この符号列変換装置で作成した新たな符号列を伸長する画像伸長装置と、
この伸長後の画像データに基づいて画像を表示する表示装置と、
前記符号列変換装置で作成した新たな符号列に含まれる前記複数のコンポーネントのうち所望のもののみを含む符号列を新たに作成する第２の符号列変換装置と、
を備えている画像編集システム。
【請求項１８】
前記第１の符号列変換装置で作成した新たな符号列に含まれる各コンポーネントの画像データから歪量を測定する歪量測定装置を備え、
前記第２の符号列変換装置は、この測定の結果に基づいて前記新たな符号列の作成を行う、
請求項１７に記載の画像編集システム。
【請求項１９】
画像を静止画像として撮像する画像入力装置と、
この撮影された画像データを１又は複数の矩形領域に分割し、この矩形領域ごとに画素値を周波数変換し、階層的に圧縮符号化する画像圧縮装置と、
この圧縮符号化後の符号列を処理する請求項１〜１５のいずれかの一に記載の前記画像処理装置と、
を備えているカメラシステム。
【請求項２０】
請求項１〜１５のいずれかの一に記載の発明の前記各手段の機能をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データを圧縮符号化した符号列を新たな符号列に変換する符号列変換装置、これを備えた画像編集システム及びカメラシステム、並びに画像データを圧縮符号化した符号列を新たな符号列に変換する処理を実行するプログラムに関する。
【０００２】
【従来の技術】
従来、画像圧縮伸長アルゴリズムとして、動画像専用のMPEG1／MPEG2／MPEG4や、静止画像を連続したフレームとして扱うMotion JPEGが使用されている。また、最近、後者のMotion静止画像の符号化については、国際標準としてMotion JPEG2000という新しい方式が規格化されつつある。
【０００３】
MPEG方式とMotion静止画像方式の違いは、後者はフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、MPEG方式、Motion静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００４】
Motion JPEG2000方式では、変換方式として離散ウエーブレット変換を用いているが、離散ウエーブレット変換を用いて画像データを圧縮符号化する技術としては、特許文献１に開示の技術が知られている。
【０００５】
【特許文献１】特開２００１−３０９３８１公報
【発明が解決しようとする課題】
特許文献１に開示の技術では、画素値を離散ウエーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしているので、よりデータの圧縮率を向上させることができる。
【０００６】
かかる技術における具体的な符号量削減の方法は、タイル単位で、現フレームと直前フレームの間で、低域のウエーブレット係数値を比較し、一致すると判定されると、ペイロード部から、一致した部分が削除され、ヘッダ部には、フレーム間で動きがないことを示す情報が書き込まれ、逆に、不一致と判定されると、符号はそのまま残される、というものである。
【０００７】
すなわち、フレーム内の静止画像に対して最適化された「量子化」、フレーム間のウエーブレット係数値の比較結果に基づいた「符号量削減」、という二つの処理が、各々独立に行われる。そして、唯一の「量子化テーブル」に基づいて、フレーム内の静止画像の量子化が行われる。
【０００８】
しかしながら、かかる従来技術においては、以下に述べる（１）（２）のような不具合がある。
【０００９】
（１）従来、Motion静止画像の圧縮は、フレーム内の静止画像に対して最適化された「量子化」だけに目が向けられ、動画像固有の視覚特性を考慮した「量子化」が行われていなかった。本来、フレーム間の動き量は、画像領域毎に異なるのに、従来は、動き量が全画像領域に渡って均一であると仮定していた。その結果、静止画像の表示の際には予想できなかった、全く新たな画像品質の劣化が、動画像表示の際にしばしば現れていた。
【００１０】
この点について図面を参照して説明する。図３１には、動き量を無視してサブバンド符号を一律に削減する従来の量子化方法を示している。ここで、縦軸は動き量を表し、現フレームとそれ以前のフレームとの間におけるウエーブレット係数値の差分から求められる相関係数値が使われている。また、横軸は、タイルの単位を表している。タイルは、フレーム内の原静止画像を分割して作成された矩形領域のことである。
【００１１】
動き量について見ると、例えばタイルＡは大きく、タイルＣは小さいというように、タイルごとに異なっている。しかし、従来の方法では、画像全体を一律な動き量に置換えていた。この例では、全てのタイルの動き量が「無し」として扱っている。従って、動き量の大小に関わらず、唯一の量子化テーブルが参照されていた。なお、タイルにつけられた番号、すなわちタイル＃は、後述するように図３３で定義されている。
【００１２】
（２）また、フレーム内静止画像の量子化も、圧縮率あるいはビットレートで一義的に定義された唯一の「量子化テーブル」を用いている。本来、サブバンドの符号量分布は、画像領域毎に異なるはずなのに、従来は、そうしたことを全く考慮していなかった。その結果、高域成分の多い画像、低域成分の多い画像、高域から低域まで広く分布した画像、等の原画像の性質によって、量子化された画像の画質が大きく変動していた。
【００１３】
図３２には、符号量の分布を無視して、サブバンド符号を一律に削減する従来の量子化方法を示している。縦軸は、最上位階層の(デコンポジシン・レベル数が最大の)低域サブバンド符号量を“１”に規格化したときの相対的な符号量を表している。また、横軸は、サブバンドを表している。
【００１４】
そして、タイルごとの符号量分布を示す曲線のうち、細線の部分は符号量の削除対象となるサブバンドを、太線の部分は符号量がそのまま保存されるサブバンドを、各々表している。（ａ）は、符号量の削減対象となるサブバンドの数が多い場合、（ｂ）は少ない場合で、各々、圧縮率の低い場合と高い場合に対応している。なお、タイル番号Ａ〜Ｄは、図３３で定義されているものである。
【００１５】
タイル＃＝ＡとＤは高域にまで符号データを保持している。また、タイル＃＝Ｂは中域に比較的多くの情報を、タイル＃＝Ｃは低域にほとんどの情報を各々保有している。このように、タイルごとにサブバンド符号量の異なる場合においても、従来の方法では、符号量分布に関係なく、サブバンド符号データを一律に削減していた。その結果、特に圧縮率の高い場合には、中域から高域のデータ量が相対的に多い、タイル＃＝Ａ，Ｂ，Ｄの画質は、低域にデータが集中しているタイル＃＝Ｃの画質に比較して劣化が顕著であった。
【００１６】
以上の（１）（２）を具体的に説明するために、圧縮伸長アルゴリズムにMotion JPEG2000を使った場合に生ずる現象について、以下に詳しく観察結果を述べる。
【００１７】
図３３は、動画像コンテンツから、連続する３つのフレームを抜き出したものである。この例では、動き量の少ない景色を背景にして走る自転車を表している。動き量の大きなタイル、小さなタイル、の区別が比較的しやすい画像である。今、４つのタイルに注目する。タイル＃＝Ａは中心から下に、タイル＃＝Ｂは左上に、タイル＃＝Ｃは中心から上に、タイル＃＝Ｄは右上に、各々位置している。
【００１８】
フレーム間の動き量及びサブバンドの符号量分布を考慮しない、従来の量子化によって符号化されたMotion静止画像を伸長表示させたときには、以下に述べるような現象が現れる。
【００１９】
▲１▼．タイル＃＝Ａにおいて
自転車は、撮影点から一番近い距離にあり、構造上の特徴から高域サブバンドの符号量分布が大きい。圧縮率が高くなるに従い、高域サブバンドの符号量が減らされるので、フレーム内の静止画像で、車輪のスポーク部分を一本一本判別するのが難しくなる。動く自転車のスポークの判別は、人間の持つ動体視力の限界以上なので、動画像に与える影響はそれ程大きくはない。
【００２０】
▲２▼．タイル＃＝Ｂにおいて
遠景と前景の自転車の中間に位置している樹の動き量はほとんど無い。葉の部分は、中域サブバンドの符号量分布が大きい。圧縮率が高くなるに従い、フレーム内静止画像で葉の一枚一枚を区別することが難しくなる。但し、その傾向は、タイル＃＝Ａにおける自転車のスポークほど強くはない。
【００２１】
▲３▼．タイル＃＝Ｃにおいて
遠景には、低域サブバンドの符号量分布が大きいスカイラインが配置されている。圧縮率が高くなっても、符号量削減の影響を比較的受けにくい。但し、動き量がほとんど無いので、低域サブバンドのデータが僅かでも削られると、フレーム内静止画像全体にボケが広がってしまう。動画像で見ると、背景に「モヤモヤとした歪」が生じ、非常に目障りとなる。
【００２２】
▲４▼．タイル＃＝Ｄにおいて
画像領域内には、樹の輪郭部分が多く存在する。その結果、符号量の分布において、高域側のデータ量がやや多い点がタイル＃＝Ｃとは異なる。タイル＃＝Ｃと画像を比較したとき、フレーム内静止画像にはあまり差は現れない。しかし、動画像を表示させた時には、「モヤモヤとした歪」がより顕著に現れる。これは、削られた高域成分の量が多いためであると思われる。
【００２３】
本発明の目的は、画像の動き量、サブバンド符号量分布、圧縮率の切口で画像の種類を判別して再量子化を行うことを可能として、高い画像品質を維持しつつ動画像を符号化することである。
【００２４】
本発明の別の目的は、複数パターンで再量子化を行うことを可能として、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することである。
【００２５】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１又は複数の矩形領域に分割し、この矩形領域ごとに画素値を周波数変換して階層的に符号化することにより作成した符号列の構文を解析する構文解析手段と、符号の取捨選択を行って前記符号列の再量子化を行う量子化手段と、前記解析結果に基づいて前記符号列について現フレームと以前のフレームとの間の動き量を求める動き量検出手段と、前記解析結果に基づいて現フレーム内のサブバンド符号量分布を求めるサブバンド符号量分布検出手段と、現フレームの圧縮率を指定する圧縮率指定手段と、前記動き量の大きさに応じて与えられた数値で前記再量子化を行う際の符号の削減方法を指定する複数のテーブルからなるテーブル群から前記テーブルを指定する際のインデックスとなる動き量インデックス値、前記サブバンド符号量分布の大きさに応じて与えられた数値で前記テーブルを指定する際のインデックスとなる符号分布インデックス値、及び、前記圧縮率の大きさに応じて与えられた数値で前記テーブルを指定する際のインデックスとなる圧縮率インデックス値に基づいて、前記再量子化に使用する前記テーブルを１又は複数選択する選択手段と、前記再量子化後の符号列から新たな符号列を作成する符号列作成手段と、を備えている符号列変換装置である。
【００２６】
したがって、画像の動き量、サブバンド符号量分布、圧縮率という３種類の切口で画像の種類を判別して再量子化を行うことができるので、高い画像品質を維持しつつ動画像を符号化することができる。また、動き量、サブバンド符号量分布を符号量から求め、量子化を符号状態で行うので、処理に必要なメモリ要領を節減でき、処理速度を高め、処理に必要な消費電力を低減することができる。
【００２７】
請求項２に記載の発明は、静止画像データを１又は複数の矩形領域に分割し、この矩形領域ごとに画素値を周波数変換して階層的に符号化することにより作成した符号列の構文を解析する構文解析手段と、符号の取捨選択を行って前記符号列の再量子化を行う量子化手段と、前記解析結果に基づいてサブバンド符号量分布を求めるサブバンド符号量分布検出手段と、圧縮率を指定する圧縮率指定手段と、前記サブバンド符号量分布の大きさに応じて与えられた数値で前記再量子化を行う際の符号の削減方法を指定する複数のテーブルからなるテーブル群から前記テーブルを指定する際のインデックスとなる符号分布インデックス値、及び、前記圧縮率の大きさに応じて与えられた数値で前記テーブルを指定する際のインデックスとなる圧縮率インデックス値に基づいて、前記再量子化に使用する前記テーブルを１又は複数選択する選択手段と、前記再量子化後の符号列から新たな符号列を作成する符号列作成手段と、を備えている符号列変換装置である。
【００２８】
したがって、サブバンド符号量分布、圧縮率という２種類の切口で画像の種類を判別して再量子化を行うことができるので、高い画像品質を維持しつつ静止画像を符号化することができる。また、サブバンド符号量分布を符号量から求め、量子化を符号状態で行うので、処理に必要なメモリ要領を節減でき、処理速度を高め、処理に必要な消費電力を低減することができる。
【００２９】
請求項３に記載の発明は、請求項１又は２に記載の符号列変換装置において、前記選択手段は、前記動き量、前記サブバンド符号量分布及び前記圧縮率に対応している前記各インデックス値で特定される前記テーブルを指定し、また、前記各インデックス値が所定の選択条件を満たした場合には他の前記テーブルも選択し、満たさない場合には当該他のテーブルの選択は行わない。
【００３０】
したがって、複数パターンで再量子化を行うことができ、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【００３１】
請求項４に記載の発明は、請求項３に記載の符号列変換装置において、前記選択手段は、前記動き量、前記サブバンド符号量分布の低域側総符号量及び前記圧縮率のうち何れか一つが所定の閾値以上のときに前記選択条件が満たされる。
【００３２】
したがって、動き量、サブバンド符号量分布又は圧縮率がある程度大きいときに複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【００３３】
請求項５に記載の発明は、請求項３又は４に記載の符号列変換装置において、前記選択条件を満たすか否かにかかわらず、前記選択手段で前記他のテーブルの選択を実行することを設定する第１の設定手段を備えている。
【００３４】
しががって、必要性があるときは、選択条件を満たさなくても複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【００３５】
請求項６に記載の発明は、請求項３〜５のいずれかの一に記載の符号列変換装置において、前記選択手段で選択する他のテーブルの数に上限値を設定する第２の設定手段を備えている。
【００３６】
したがって、無制限に複数パターンで再量子化を行うことを防止し、無駄な処理を行わないようにすることができる。
【００３７】
請求項７に記載の発明は、請求項３〜６のいずれかの一に記載の符号列変換装置において、前記選択手段は、前記他のテーブルの前記各インデックス値は、前記選択条件を満たさないときに選択される前記各インデックス値で特定されるテーブルの当該インデックス値と、その少なくとも一つが隣接する値である。
【００３８】
したがって、動き量、サブバンド符号量分布、圧縮率に対して最も適切と考えられる再量子化の他に、それに次いで適切と考えられる再量子化を行うことができる。
【００３９】
請求項８に記載の発明は、請求項３〜７のいずれかの一に記載の符号列変換装置において、前記選択手段は、前記符号列がＲＧＢ、ＹＵＶ又はＹＣｂＣｒのいずれかの色空間で構成されているときに、前記選択条件を各色空間のうち少なくとも一つに適用する。
【００４０】
したがって、少なくともひとつの色空間で選択条件を満たすときに、複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【００４１】
請求項９に記載の発明は、請求項３〜８のいずれかの一に記載の符号列変換装置において、前記符号列作成手段は、前記テーブルが複数選択されたときは前記再量子化手段で前記テーブルごとに得られた符号データを互いに異なるコンポーネントに配置するように前記新たな符号列の作成を行う。
【００４２】
したがって、複数パターンで再量子化した符号データを複数コンポーネントにそれぞれ有する単一の符号列を得ることができる。
【００４３】
請求項１０に記載の発明は、請求項９に記載の符号列変換装置において、前記符号列作成手段は、前記他のテーブルが選択されなかったときに、当該他のテーブルから得られた符号データを配置すべき前記コンポーネントに予め用意した符号データを配置する。
【００４４】
したがって、複数パターンで再量子化しないときは予め用意した符号データを、他のテーブルから得られた符号データを配置すべきコンポーネントに配置して、その後の新たな符号列の利用の便宜を図ることができる。
【００４５】
請求項１１に記載の発明は、請求項１０に記載の符号列変換装置において、前記符号列作成手段は、前記予め用意した符号データとして画素値が最小となる白色の画像の符号データを配置する。
【００４６】
したがって、複数パターンで再量子化しないときは画素値が最小となる白色の画像の符号データを、他のテーブルから得られた符号データを配置すべきコンポーネントに配置して、その後の新たな符号列の利用の便宜を図ることができる。
【００４７】
請求項１２に記載の発明は、請求項１〜１１のいずれかの一に記載の符号列変換装置において、前記各インデックス値は、前記動き量、前記サブバンド符号量分布及び前記圧縮率の各値に応じてそれぞれ昇順又は降順に付されている。
【００４８】
したがって、画像の動き量、サブバンド符号量分布及び圧縮率の各値に応じてそれぞれ昇順又は降順に付されているインデックス値により的確に必要なテーブルを選択し、複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【００４９】
請求項１３に記載の発明は、請求項１〜１２のいずれかの一に記載の符号列変換装置において、前記サブバンド符号量分布検出手段は、サブバンドごとの直交変換係数値の符号量和及びある帯域に含まれるサブバンドの直交変換係数値の総符号量和を求めるものである。
【００５０】
したがって、サブバンド符号量分布を適切に検出することができる。
【００５１】
なお、前記構文解析手段は、前記符号列として前記直交変換に離散コサイン変換、または離散ウエーブレット変換を用いているものを対象とすることができる（請求項１４，１５）。
【００５２】
請求項１６に記載の発明は、請求項１〜１５のいずれかの一に記載の符号列変換装置と、この符号列変換装置で作成した新たな符号列を伸長する画像伸長装置と、この伸長後の画像データに基づいて画像を表示する表示装置と、を備えている画像編集システムである。
【００５３】
したがって、請求項１〜１５のいずれかの一に記載の発明と同様の作用、効果を奏する。
【００５４】
請求項１７に記載の発明は、請求項９に記載の符号列変換装置である第１の符号列変換装置と、この符号列変換装置で作成した新たな符号列を伸長する画像伸長装置と、この伸長後の画像データに基づいて画像を表示する表示装置と、前記符号列変換装置で作成した新たな符号列に含まれる前記複数のコンポーネントのうち所望のもののみを含む符号列を新たに作成する第２の符号列変換装置と、を備えている画像編集システムである。
【００５５】
したがって、複数パターンで再量子化を行った各符号データを収容した複数のコンポーネントの画質を互いに比較して、最適な画質であると判断したコンポーネントのデータのみを残した符号列を作成することができる。
【００５６】
請求項１８に記載の発明は、請求項１７に記載の画像編集システムにおいて、前記第１の符号列変換装置で作成した新たな符号列に含まれる各コンポーネントの画像データから歪量を測定する歪量測定装置を備え、前記第２の符号列変換装置は、この測定の結果に基づいて前記新たな符号列の作成を行う。
【００５７】
したがって、画像データの歪量に基づいて最適な画質のコンポーネントを自動で選択して、そのコンポーネントのみを残した符号列を作成することができる。
【００５８】
請求項１９に記載の発明は、画像を静止画像として撮像する画像入力装置と、この撮影された画像データを１又は複数の矩形領域に分割し、この矩形領域ごとに画素値を周波数変換し、階層的に圧縮符号化する画像圧縮装置と、この圧縮符号化後の符号列を処理する請求項１〜１５のいずれかの一に記載の前記画像処理装置と、を備えているカメラシステムである。
【００５９】
したがって、請求項１〜１５のいずれかの一に記載の発明と同様の作用、効果を奏する。
【００６０】
請求項２０に記載の発明は、請求項１〜１５のいずれかの一に記載の発明の前記各手段の機能をコンピュータに実行させるコンピュータに読み取り可能なプログラムである。
【００６１】
したがって、請求項１〜１５のいずれかの一に記載の発明と同様の作用、効果を奏する。
【００６２】
【発明の実施の形態】
［前提技術の概要］
まず、本実施の形態の前提技術となる「直交変換係数の配置」、「階層符号化アルゴリズム」、及び、「JPEG2000アルゴリズム」の概要について、各々順に説明する。
【００６３】
（１）「直交変換係数の配置」について
図１は二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを、図２は二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を、各々示している。これらの直交変換を採用した、代表的な符号化アルゴリズムとしては、各々、JPEGアルゴリズムとJPEG2000アルゴリズムが知られている。
【００６４】
そして、図３に概念的に示すように、JPEG2000アルゴリズムで符号化後の符号列は、ＳＯＣ（Start Of Codestream）を先頭、ＥＯＣ（End Of Codestream）を末尾として配列され、直交変換係数値はペイロード部２１１に、その要約された情報がヘッダ部２１２に、符号列の中で配置される。符号列中のヘッダ部２０２は、構文解析手段２１３により検出され、パケット長読取手段２１４によりパケット長（ペイロード部のサブバンド符号量）が読み出される。
【００６５】
（２）「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」について
図４は、JPEG2000の基本となる階層符号化アルゴリズムを説明するためのブロック図である。この階層符号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２０２、量子化・逆量子化部２０３、エントロピー符号化・復号化部２０４、タグ処理部２０５で構成されている。JPEGアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。JPEGでは離散コサイン変換（ＤＣＴ）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部２０５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データが符号列として生成され、伸長動作時には伸長に必要な符号列の解釈が行われる。そして、符号列によって、JPEG2000は様々な便利な機能を実現できるようになった。
【００６６】
例えば、図５はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図２に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。なお、ここでの「デコンポジション」に関し、JPEG2000 PartI FDIS（Final Draft international Standard）には、以下のように定義されている。
decomposition level：
A collection of wavelet subbands where each coefficient has the same spatial impact or span with respect to the source component samples. These include the HL,LH,and HH subbands of the same two dimensional subband decomposition. For the last decomposition level the LL subband is also included.
なお、図４において、原画像の入出力部分には、色空間変換部２０１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行なう部分がこれに相当する。
【００６７】
以下、JPEG2000アルゴリズムについて、詳細に説明する。
【００６８】
図６は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に図３に示すように、原画像の各コンポーネント２０７Ｒ，２０７Ｇ，２０７Ｂ（ここではＲＧＢ原色系）が、矩形をした矩形領域（タイル）２０７Ｒｔ，２０７Ｇｔ，２０７Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００６９】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部２０２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００７０】
図５は、２次元離散ウェーブレット変換のオクターブ分割の説明図である。デコンポジションレベルは、その数値が大きいほど上位階層レベルである。グレイで表示した部分は、各階層レベルにおいて符号化の対象となるサブバンドである。図５の例では、デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（２０６０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（２０６１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（２０６２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（２０６３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００７１】
更に図５では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレイで表してある。例えば、デコンポジションレベル数を３とした時、グレイで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７２】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図４の量子化部２０３で対象ビット周辺のビットからコンテキストが生成される。
【００７３】
図７は、プレシンクトとコードブロックの関係を説明するための説明図である。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図７に示したように、一つのプレシンクト、例えばプレシンクト２０８ｐ４は、空間的に一致した３つの矩形領域からなっている。プレシンクト２０８ｐ６も同様である。なお、ここで原画像はデコンポジションレベル１でタイル２０８ｔ０，２０８ｔ１，２０８ｔ２，２０８ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８ｐ４に対してはコードブロック２０８４ｂ０，２０８４ｂ１，…）に分けられる。これは、エントロピーコーディングを行なう際の基本単位となる。符号化効率を上げるために、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行なう。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００７４】
エントロピー符号化部２０４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
【００７５】
最後にタグ処理部２０５は、エントロピコーダ部からの全符号化データを１本の符号列に結合するとともに、それにタグを付加する処理を行なう。図８には、符号列の構造を簡単に示している。符号列の先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ２０９ｈ及びタイル部ヘッダ２０９ｔｈ）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム２０９ｂ）が続く。そして、符号列の終端には、再びタグ（ＥＯＣタグ２０９ｅ）が置かれる。
【００７６】
更に、図９は、符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示すものである。タイルによる分割処理を行っても、あるいは行なわなくても、同様のパケット列構造を持っている。
【００７７】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルの符号列から画像データを生成する。図４を用いて簡単に説明する。この場合、タグ処理部２０５は、外部より入力した符号列に付加されたタグ情報を解釈し、符号列を各コンポーネントの各タイルの符号列に分解し、その各コンポーネントの各タイルの符号列毎に復号化処理が行われる。符号列内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部２０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部２０４で、このコンテキストと符号列から確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００７８】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２０２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部２０１によって元の表色系のデータに変換される。
【００７９】
以上が、「JPEG2000」アルゴリズムの概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000」アルゴリズムである。
【００８０】
［発明の実施の形態１］
以下、本発明の一実施の形態について詳細に説明する。
【００８１】
なお、ここでは、Motion JPEG2000を代表とする動画像圧縮伸長方法を中心に説明するが、言うまでもなく、本発明は、以下の説明の内容に限定されるものではない。
【００８２】
図１０は、本実施の形態である符号列変換装置１のハードウエア構成を示すブロック図である。符号列変換装置１は、各種演算を行い、符号列変換装置１の各部を集中的に制御するＭＰＵ２と、各種のＲＯＭ、ＲＡＭなどからなるメモリ３とが、バス４で接続されている。メモリ３（のＲＯＭ）にはプログラムが記憶されている。このプログラムはＭＰＵ２が実行する。
【００８３】
また、バス４には、所定の処理を実行するＡＳＩＣ（又はＦＰＧＡ）５と、ネットワークインターフェイス６とが接続されている。ネットワークインターフェイス６は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク７と符号列変換装置１とを接続するインターフェイスとなる。
【００８４】
さらに、バス４にはＲＣＬ（Reconfigurable Logic，リコンフィギャラブル・ロジック）８が接続されている。ＲＣＬ８は、符号列変換装置１で実行するアルゴリズムの実行部の上位階層、すなわち、高速処理が要求されるプロセスを担当する。高速処理の内容が固定している場合には、その機能を、ＡＳＩＣ（又はＦＰＧＡ）５のようなハード・ワイヤード・ロジックに任せることができる。その場合、ＲＣＬ８は、頻度が低いが、高速処理が必要とされる特殊な処理にのみ対応すればよい。
【００８５】
図１１、図１２は、所定のプログラムに基づいて図１０を参照して説明したハードウエアが行う処理の機能ブロック図である。入力符号列が動画像の場合を図１１に、また、符号列が静止画像の場合を図１２に、各々示した。ＲＣＬ８が行なう処理により実現すべきブロックには、※印を付して示してある。
【００８６】
図１１に示すように、符号列変換装置１は、Motion JPEG2000アルゴリズムなどにより、動画像データをフレームごとに１又は複数の矩形領域（タイル）に分割し、この矩形領域ごとに画素値を離散コサイン変換、離散ウェーブレット変換などで直交変換して階層的に符号化することにより作成した符号列の構文を解析する構文解析手段１２を備えている。構文解析手段１２で解析後の構文からは、当該符号列を構成する各パケットのパケット長をパケット長検出手段２１で検出する。動き量検出手段２２は、現フレームと以前のフレームとの間の動き量を検出するものである。動き量検出手段２２は、パケット長検出手段２１で検出したパケット長を記憶するパケット長記憶手段２３と、現フレームと以前のフレームとの間のパケット長の差分を求める差分検出手段２４とを備えている。動き量検出手段２２は、この例では、現フレームと以前のフレームとの間の動き量として、現フレームとそれ以前のフレームとの間におけるパケット長の差分から求められる相関係数値を使う。この相関係数値が大きいことは、フレーム間の画像が似ていることを意味するので、動き量は小さいことに対応する。
【００８７】
サブバンド符号量分布検出手段２５は、現フレーム内のサブバンド符号量分布を検出するものである。ここで、サブバンド符号量分布検出手段２５によるサブバンド符号量分布の検出について説明する。ここでは、パケット長に基づいてサブバンド符号量分布を検出する手法について説明する。ペイロード部のサブバンド符号量、すなわち、パケット長は、ヘッダ部に記述されているので、その情報を構文解析手段１２により読み取って、フレームのパケット長をパケット長検出手段２１により検出し、この検出したフレームのパケット長に基づいてサブバンド符号量分布を検出することができる。
【００８８】
圧縮率指定手段２６は、ユーザが選択した画像の圧縮率を符号列変換装置１において指定する。
【００８９】
量子化テーブル群２７は、「動き量」、「サブバンド符号量分布」、「圧縮率」のインデックス値（動き量インデックス値（ｉ）、符号量分布インデックス値（ｊ）、圧縮率インデックス値（ｋ））（後述する）に係るテーブル（量子化テーブル）をマトリクス状に配置したものである。この量子化テーブル群２７に登録されている各テーブルは、後述のパケット・スイッチ３０のパケット操作をどのように実行するか指示して、符号の削減の具体的な方法を指定するものである。
【００９０】
量子化テーブル選択手段２８は、動き量検出手段２２が検出した現フレームと以前のフレームとの間の動き量、サブバンド符号量分布検出手段２５が検出した現フレーム内のサブバンド符号量分布、及び、圧縮率指定手段２６が指定したユーザが選択した画像の圧縮率に基づき、前述の各インデックス値ｉ，ｊ，ｋをインデックスとして、量子化テーブル群２７から適切な量子化テーブル（選択された量子化テーブル３１となる）を選択する。
【００９１】
量子化手段２９は、符号列を再量子化するパケット・スイッチ３０を備えている。パケット・スイッチ３０は、符号列を構成する符号の取捨選択する。具体的には符号列を構成するパケットをパケット操作することにより取捨選択する。これは、前述のようにＲＣＬ８が実行する機能により実現される。このパケットの取捨選択は、選択された量子化テーブル３１に基づいて行われる。また、量子化手段２９の取捨選択に応じて、符号列作成手段１３が符号列のヘッダ・データを書換え、新たな符号列とする。
【００９２】
図１２に示すように、静止画像を対象とする符号列変換装置１は、構文解析手段１２は、JPEG2000アルゴリズムなどにより、静止画像データを１又は複数の矩形領域（タイル）に分割し、この矩形領域ごとに画素値を離散コサイン変換、離散ウェーブレット変換などで直交変換して階層的に符号化することにより作成した符号列の構文を解析する。図１１の場合には入力された符号列が動画像の場合に必要だった動き量検出手段２２は、静止画像の場合には不要になる。また、処理速度に対する制約も緩くなるのが一般的である。そこで、こうして生まれたリソースの余裕を、リソースの不足している他の機能モジュールに振り分け、あるいは、デバイスを休止状態にさせて、消費電力の削減を図ることもできる。
【００９３】
以下では、符号列変換装置１が実行する具体的な処理の内容について説明する。
【００９４】
図１３を参照して、符号列変換装置１について、動き量検出手段２２で検出した動画像の「動き量」を量子化手段２９で行う量子化に反映させる例を説明する。図１３において、縦軸は画像の動き量を表し、現フレームとそれ以前のフレームとの間におけるウエーブレット係数値の差分から求められる相関係数値が使われている。前述のように相関係数値が大きいことは、フレーム間の画像が似ていることを意味するので、動き量は小さいことに対応する。また、横軸はタイルの単位を表している。なお、ここでも、前述の図３１と図３３で表される動画像と矩形タイルを例に説明する。
【００９５】
相関係数値には複数の閾値が設けられ、各閾値間の値には対応する「動き量インデックス値」が降順又は昇順に割り当てられる。そして、各動き量インデックス値に対応している量子化テーブルでは、符号化データが削減されるサブバンドと、符号化データが保存されるサブバンドが決められている。
【００９６】
なお、インデックス値のうち、「圧縮率インデックス値」は、符号量の大きさを半定量的に大雑把に決めるときに使うものである。ユーザは、最初に、この圧縮率インデックス値を指定する。この例では、インデックス値として“ｋ＝ｐ”が選ばれた場合を示している。なお、“ｋ＝０”は、可逆符号化（ロスレス圧縮）を表わしている。
【００９７】
動き量検出手段２２で検出された動き量に応じて動き量インデックス値が決定する。図１３の例では、動き量の最も大きなタイル＃＝Ａは、動き量インデックス値として“ｉ＝９”を、動き量の最も小さなタイル＃＝Ｃは、動き量インデックス値として“ｉ＝１”を、各々与えられる。そして、各インデックス値に対応する量子化テーブルを量子化テーブル３１として選択して量子化手段２９で量子化が行われる。
【００９８】
ここまでは、唯一の量子化テーブル（主量子化テーブル）を量子化テーブル選択手段２８で選択する場合について説明した。これだけでも、従来の目障りであった画像の背景に現れる「モヤモヤとした歪」を、大幅に低減させることができる。
【００９９】
ここでは、画質向上の幅をさらに広げるために、主量子化テーブル以外の他の量子化テーブル（副量子化テーブル）も量子化テーブル群２７から選択して、処理を実行する例について説明する。今、最も動き量の大きな矩形領域、タイル＃＝Ａが、副量子化テーブルの選択条件を満たしたとする。すると、タイル＃＝Ａには、主量子化テーブルの動き量インデックス値“ｉ＝９”の他に、副量子化テーブルの動き量インデックス値として、“ｉ＝８”と“ｉ＝７”が割り当てられる（副量子化テーブルのインデックス値の選択については後述する）。
【０１００】
これにより、副量子化テーブルの動き量インデックス値で、主量子化テーブルるとは別に副量子化テーブルが選択され、このテーブルを使って、入力符号列が再量子化される。そして、これにより新たに生成した符号列は、主コンポーネントとは別に、副コンポーネントに配置される。そして、主コンポーネントと副コンポーネントに置かれた符号列を比較、選択することにより、更なる画質向上が実現される（主、副コンポーネントへの配置については後述する）。
【０１０１】
図１４には、「サブバンド符号量分布」を量子化手段２９における量子化に反映させた例を示す。ここでサブバンド符号量分布とは、サブバンド符号量分布検出手段２５が算出した、サブバンドごとの直交変換係数値の和のことである。縦軸は、最上位階層の（デコンポジシン・レベル数が最大の）低域サブバンド符号量を“１”に規格化したときの相対的な符号量を表している。また、横軸は、サブバンドを表している。
【０１０２】
タイルごとのサブバンド符号量分布を示す曲線のうち、細線の部分は、符号データの削除対象となるサブバンドを、一方、太線の部分は、符号データがそのまま保存されるサブバンドを、各々表している。（ａ）は、符号データの削減対象となるサブバンドの数が多い場合、（ｂ）は、少ない場合で、各々、圧縮率の低い場合と高い場合に対応している。タイル番号＃＝Ａ〜Ｄは、図３３で定義されているものである。
【０１０３】
タイル＃＝ＡとＤは、高域にまで符号データを保持している。また、タイル＃＝Ｂは中域に比較的多くの情報を、タイル＃＝Ｃは低域にほぼ全部の情報を、各々保有している。このように、タイルごとにサブバンドの持つ符号化データ量の分布が異なるので、ここでは量子化処理にあたっては、サブバンド符号量分布の多寡に応じて降順又は昇順の３種類のインデックス値（サブバンド符号量分布インデックス値）を割り当てる。そして、個々のインデックス値には、対応する量子化テーブルが用意されている。
【０１０４】
すなわち、高域に符号データ量の分布の多いタイル＃＝ＡとＤには量子化テーブル“ｊ＝Ｈ”が、中域に分布の多いタイル＃＝Ｂには量子化テーブル“ｊ＝Ｍ”が、低域に分布の多いタイル＃＝Ｃには量子化テーブル“ｊ＝Ｌ”が、各々割り当てられている。
【０１０５】
その結果、従来、特に圧縮率の高い場合に生じていた、タイルタイル＃＝Ａ，Ｂ，Ｄの画質劣化は大幅に低減され、タイル＃＝Ｃと同等の画質を維持することが可能になる。
【０１０６】
また、図１５は、前述のサブバンド符号量分布に応じて最適化された「量子化」を説明する別の説明図である。ここで、縦軸には全サブバンドの持つ符号量の和を、横軸にはタイル＃を表している。画像情報が低域サブバンドに集まっているタイルは全サブバンドの符号量和は小さく、反対に、高域に画像情報が集中しているタイルは符号量和が大きい。各タイルは、サブバンド符号量分布（ここではサブバンド符号量分布インデックス値が“ｊ＝Ｈ，Ｍ，Ｌ”）に対応して設けられた最低符号量和まで、符号量が削減される。
【０１０７】
量子化テーブルでは、量子化前の符号量に応じて符号量を削減する割合が決められているので、量子化後の符号データを復号して画像として表示させたとき、高域から低域の全ての帯域に渡って画質の劣化はあまり目立たない。なぜなら、従来のように、量子化前の符号量を考慮せず、一律に符号量を削減することがないからである。
【０１０８】
ここまでは、副量子化テーブルの選択条件を考慮しない場合について説明した。以下、更に、高画質化のために、副量子化テーブルを選択した場合について説明する。
【０１０９】
今、タイル＃＝Ｄは、主インデックス値として“ｊ＝Ｈ”が与えられている。しかし、符号量分布をみると、低域サブバンドへの符号量の集中度が高いことがわかる。つまり、インデックス値として、“ｊ＝Ｈ”の他に、“ｊ＝Ｍ”や“ｊ＝Ｌ”についても、検討する余地があると考えられる。そのためには、副量子化テーブルの選択条件を、こうした場合には、主量子化テーブルの他に、副量子化テーブルをも考慮するように設定しておけばよい。
【０１１０】
そうすれば、タイル＃＝Ｄに対して、副インデックス値としては、“ｊ＝Ｍ”や“ｊ＝Ｌ”を割り与えることができる。図１６には、低圧縮率のときの、主量子化と副量子化の様子を示した。
【０１１１】
図１７（ａ）には、「動き量」を考慮した量子化テーブル群２７が示されている。ここで示した量子化テーブル群２７は、動き量とあらかじめ設定しておいた閾値によって分類された降順又は昇順の「動き量インデックス値（ｉ＝０，１，…，９）」と、ユーザが指定する「圧縮率インデックス値（ｋ＝０，１， …,ｎ）」とをインデックス値として構成される、二次元マトリクス状である。この例では、動き量に９個のインデックス値を、圧縮率にはロスレス（ｋ＝０）から最高圧縮率（ｋ＝ｎ）のインデックス値を、各々設けている。
【０１１２】
また、図１７（ｂ）には、比較のために従来の量子化テーブル群２７ａを示した。これは、動き量が無い場合、すなわち、動き量インデックス値“ｉ＝０”の場合に相当している。
【０１１３】
本例の量子化テーブル群２７を用いた符号列変換装置１では、各タイルの特徴を分類して得た各インデックス値に従って、量子化テーブル群２７を参照し、最適な量子化テーブルを選択する。圧縮率のインデックス値として“ｋ＝ｐ”を選んだとき、タイル＃＝Ａのインデックス値は“（ｉ，ｋ）＝（９，ｐ）”、また、タイル＃＝Ｂのそれは“（ｉ，ｋ）＝（２，ｐ）”となる。このインデックス値に対応する量子化テーブルを使って、実際の量子化は行われる。
【０１１４】
各圧縮率で必要な量子化テーブルの数は、従来の１個から１０個に増える。また、全量子化テーブル数は、ｎ＋１個から（ｎ＋１）×１０個に増え、様々な画像にきめ細かな対応ができるようになる。
【０１１５】
各タイルの符号データは、通常は１つのインデックス値に対応した主量子化テーブルを使って再量子化が行われる。また、副量子化テーブルの選択条件に該当した場合は、主インデックス値の他に、副インデックス値が割り当てられる。この場合には、各タイルの符号データは、複数のインデックス値に対応した複数の量子化テーブルを使って複数種類の再量子化が行われる。ここで割り与えられる副量子化テーブルの各インデックス値は、すくなくともひとつが主量子化テーブルのインデックス値に隣接した値をとるのが望ましい（この場合、他のインデックス値は主量子化テーブルのインデックス値と同じ値とする）。例えば、主量子化のインデックス値として“（ｉ，ｋ）＝（９，ｐ）”を持つタイル＃＝Ａが、２つの副量子化のインデックス値を持つ場合、“（ｉ，ｋ）＝（８，ｐ），（７，ｐ）”となる。
【０１１６】
図１８（ａ）には、「サブバンド符号量分布」を考慮した量子化テーブル群２７が示されている。サブバンド符号量分布は、タイルごとの特徴に応じて、三種類のパターンに分類されている。動き量の場合と同様に、インデックス値が与えられ、これらは、「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」と呼ばれる。また、ユーザは、圧縮率を「圧縮率インデックス値（ｉ＝０，１， …,ｎ）」で指定することができる。ここに図示されているのは、二種類のインデックス値から構成される、二次元マトリクスである。
【０１１７】
また、図１８（ｂ）には、比較のために従来の量子化テーブル群２７ａを示しておいた。これは、符号量分布を一定とした場合、例えば、符号量分布インデックス値＝Ｍの場合に相当している。
【０１１８】
本例の量子化テーブル群２７を用いた符号列変換装置１では、各タイルの特徴を分類して得た各インデックス値に従って、量子化テーブル群２７を参照し、最適な量子化テーブルを選択する。圧縮率インデックス値として“ｋ＝ｐ”を選んだとき、タイル＃＝Ａのインデックス値は“（ｊ，ｋ）＝（Ｈ，ｐ）”、また、タイル＃＝Ｂのそれは“（ｊ，ｋ）＝（Ｍ，ｐ）”となる。このインデックス値に対応する量子化テーブルを使って、実際の量子化は行われる。
【０１１９】
そして、各圧縮率で必要な量子化テーブルの数は、従来の１個から３個に増える。また、全量子化テーブル数は、ｎ＋１個から（ｎ＋１）×３個に増えるものの、より高い柔軟性をもった画像処理が可能となる。なお、副量子化テーブルを使った例は、図１６を参照して既に説明した。
【０１２０】
図１９（ａ）には、「動き量」と「サブバンド符号量分布」の両方を考慮し、動画像に対応した量子化テーブル群２７が示されている。ここで示した量子化テーブル群２７は、「動き量インデックス値（ｉ＝０，１， …,ｎ）」と「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」、そして、「圧縮率インデックス値（ｉ＝０，１， …,ｎ）」をインデックス値とする、三次元マトリクス（ｉ，ｊ，ｋ）状である。この例では、各インデックス値は、「動き量」「サブバンド符号量分布」「圧縮率」の各値の各範囲に、昇順あるいは降順に付けられている。また、図１９（ｂ）には、比較のために従来の量子化テーブル群２７ａを示しておいた。
【０１２１】
そして、本例の量子化テーブル群２７を用いた符号列変換装置１では、各タイルの特徴を分類して得たインデックス値（ｉ，ｊ，ｋ）に従って、量子化テーブル群２７を参照し、最適な量子化テーブルを選択する。圧縮率のインデックス値として“ｋ＝ｐ”を選んだとき、タイル＃＝Ａのインデックス値は“（ｉ，ｊ，ｋ）＝（９，Ｈ，ｐ）”、また、タイル＃＝Ｂのそれは“（ｉ，ｊ，ｋ）＝（２，Ｈ，ｐ）”となる。このインデックス値に対応する量子化テーブルを使って、実際の量子化は行われる。
【０１２２】
そして、各圧縮率で必要な量子化テーブルの数は、従来の１個から３０個に増える。また、全量子化テーブル数は、ｎ＋１個から（ｎ＋１）×３０個に増える。
【０１２３】
また、図２０（ａ）には、「サブバンド符号量分布」のみを考慮した量子化テーブル群２７が示されている。これは、静止画像に対応したものである。ここで示した量子化テーブル群２７は、「符号量分布インデックス値（ｊ＝Ｌ，Ｍ，Ｈ）」と「圧縮率インデックス値（ｉ＝０，１， …,ｎ）」から構成される、二次元マトリクス（ｊ，ｋ）である。図２０（ｂ）には、比較例としての従来の量子化テーブル群を示している。
【０１２４】
図２１は、副量子化テーブルの選択条件について説明するものである。インデックス値は、「動き量」「低域側の総サブバンド符号量和」「圧縮率」の各値に対し、この例では昇順に付けられている。そして、これらの各値の大きさを示す各インデックス値が、予め設定された閾値以上のとき（何れかひとつのインデックス値が閾値以上のときとすることができる）、前述の主量子化テーブルの他に、副量子化テーブルが選択される（複数の副量子化テーブルからなる副量子化テーブル群を符号２７ｂで示す）。
【０１２５】
例えば、主インデックス値が、“（ｉ，ｊ，ｋ）＝（７，２，ｎ−２）”であるとき、これは、副量子化テーブルの選択条件を満たすので、近隣のインデックス値が１つ以上新たに選択される。一方、主インデックス値が、“（ｉ，ｊ，ｋ）＝（０，３，１）”のときは、副量子化テーブルは選択されない。なお、この例では、主インデックス値のうち符号量インデックス値が、“ｊ＝０”のときは、動き量や圧縮率がどんなインデックス値を持っても、副量子化テーブルが選択されることはない。すなわち、サブバンド符号量分布が高域に偏った画像に対しては、主量子化テーブルの再量子化だけで十分な画質が得られるとしている。
【０１２６】
図２２と図２３は、主量子化テーブル及び副量子化テーブルを用いて再量子化した符号データを、コンポーネントに配置する方法について説明するもので、図２２は動画像、図２３は静止画像の場合である。今、入力符号データは、Ｙ（輝度）、Ｃｂ（青の色差）、Ｃｒ（赤の色差）の色空間で構成されているとする。説明を簡単にするために、ここでは輝度成分についてだけ説明するが、残りの色成分についても、全く同様の処理を行う。なお、入力符号列がＲＧＢ、ＹＵＶ又はＹＣｂＣｒのいずれかの色空間で構成されているときに、選択条件を各色空間のうち少なくとも一つに適用するようにすることができる。
【０１２７】
動画像（図２２参照）の各フレームにおいては、必ず主量子化テーブルで再量子化が行われ、その結果は、主コンポーネントに配置される。また、副量子化テーブルが選択された場合に限って、主量子化テーブルの他に、副量子化テーブルでも再量子化が行われる。そして、その結果は、副コンポーネントに配置される。これらのコンポーネントの配置は符号列作成手段１３で行う。この例では、副量子化テーブルの選択条件がアクティブになるのは、フレーム＃＝ｎ，ｎ＋５，ｎ＋６，ｎ＋９のときである。これらのフレームでは、主インデックス値の動き量インデックス値とは別に、異なる動き量インデックス値を持った量子化テーブルが量子化テーブル群２７から選択され、入力符号データの再量子化が行われる。そして、結果は、副コンポーネントに配置され保持される。
【０１２８】
静止画像（図２３参照）の各タイルにおいては、必ず主量子化テーブルで再量子化が行われ、その結果は主コンポーネントに配置される。また、副量子化テーブルが選択された場合に限って、主量子化テーブルの他に副量子化テーブルでも再量子化が行われる。そして、その結果は副コンポーネントに配置される。この例では、副量子化テーブル選択条件がアクティブになるのは、タイル＃＝ｎ，ｎ＋７，ｎ＋８，ｎ＋１１のときである。これらのタイルでは、主インデックス値の符号量分布インデックス値とは別に、異なる符号量分布インデックス値を持った量子化テーブルが量子化テーブル群２７から選択され、入力符号データの再量子化が行われる。そして、その結果は副コンポーネントに配置され保持される。また、タイル＃＝ｍ＋２では、副量子化テーブルの選択条件は満たされていないが、ユーザが強制的にアクティブにしている。この場合、量子化テーブルの選択条件にかかわらず、副量子化テーブルの選択を実行することが設定され（第１の設定手段）、主量子化テーブルとは異なる圧縮率で再量子化が行われる。なお、量子化テーブル選択手段２８で選択する量子化テーブルの数にユーザが上限値を設定できるようにすることもできる（第２の設定手段）。
【０１２９】
なお、図２２及び図２３の例において、副量子化テーブルが選択されないときは、符号列作成手段１３は、副コンポーネントには予め用意しておいた画像の符号データを配置する。例えば、全ての画素について画素値０（白色）の符号データとすればよい。
【０１３０】
なお、符号量を算出する方法として、ここでは、ヘッダ部からパケット長情報を読取る「マクロ的」手法が使われている。図２４は、その原理を説明する説明図である。符号列４１のペイロード部４２のデータ量、すなわち、「パケット長」は、ヘッダ部４３に記述されているので、その情報を構文解析手段１２で読み取り、利用する。画像の動き量は符号量の変化量、すなわち、パケット長の変化量に現れる。また、符号量分布は、サブバンドごとのパケット長のヒストグラムから求められる。この方法は、「ミクロ的」手法に比較して、動き量に僅かながら誤差が含まれる場合があるものの、符号列変換装置１の構成が簡易で済み、かつ、高速で処理することができるという、大きな利点を有している。
【０１３１】
以上説明した、図１１の符号列変換装置１によれば、画像の「動き量」と「符号量分布」の両方を考慮した量子化が行われるので、入力した動画像の符号列に対して、きめ細かい画質制御を含んだ量子化を行うことができる。
【０１３２】
また、入力原画像が複数のコンポーネントで構成されている場合、システム全体の更なる高速化を図ることが可能である。すなわち、例えば、入力符号列がＹＣｂＣｒ信号である場合、パケット長検出をＹ成分だけで行えばよい。Ｃｂ及びＣｒ成分に対する量子化テーブルは、Ｙ成分に対して求められたものと同じ量子化テーブルを選択すればよい。
【０１３３】
また、図１２の符号列変換装置１によれば、量子化テーブルの選択基準として、「サブバンド符号量分布」が使用される。また、符号量を算出する方法としては、ヘッダ部からパケット長情報を読取る「マクロ的」手法が使われている。
【０１３４】
図２５には、サブバンド符号量分布を考慮した量子化テーブルが示されている。ここで示した例では、符号量分布に最適な量子化が行われるので、高い画像品質を維持することができる。
【０１３５】
図２６には、サブバンド符号量分布を考慮した静止画像の符号化の例を示す。図２６（ａ）の静止画像において、タイル＃＝Ｕは青空を、タイル＃＝Ｗは高層ビルの窓枠の密集した正面側を、そして、タイル＃＝Ｖは高層ビルと空の両方を、各々主たる画像としている。サブバンド符号量分布について見れば、タイル＃＝Ｕは低域に、タイル＃＝Ｗは高域に、タイル＃＝Ｖは低域から高域までの全ての範囲に、画像情報が集まっている。
【０１３６】
ここでタイル＃＝Ｗの量子化は、画像情報が低域から高域の全ての範囲に広がっているため、量子化に際しては、高域のビル正面側と、低域の空と、両方の画質バランスを崩さないように行う必要がある。これは非常に難しいことで、しばしば画質の劣化を招いていた。しかも、圧縮率が高くなるに従って最適な解を見つけることがますます困難になっていく傾向がある。
【０１３７】
そこで、この例では、空とビルの境界にあたる矩形領域には、主量子化テーブルの他に、副量子化テーブルを与えている（図２６（ｂ）を参照）。
【０１３８】
副インデックス値としては、主量子化の圧縮率インデックス値よりも、より圧縮率の小さなインデックス値を割り当てている。具体的には、低圧縮率（インデックス値ｋ＝ｐ）ではロスレス圧縮（ｋ＝０）を、中圧縮率（ｋ＝ｑ）では、より低圧縮率側のインデックス値（ｋ＝ｑ−ｍ）を、高圧縮率（ｋ＝ｒ）では、より低圧縮率側のインデックス値（ｋ＝ｒ−ｎ）を、各々使っている。このように、デリケートな画像に対しては、複数の量子化を行うことにより、高い画像品質を維持したまま、原画像の符号化を行うことが可能となる。
【０１３９】
図２７には、原画像にタイル分割処理を施した場合と、施さない場合について示した。タイル分割を行なわない場合でも、プレシンクトやコード・ブロックを矩形領域として利用すれば、タイル分割を行なった場合と同様に、画像の「動き量」や「サブバンド符号量分布」を細かく検出し、画質劣化を抑えた量子化が可能である。
【０１４０】
図２８は、符号列変換装置１を備えた画像編集システム５１の概略構成を示すブロック図である。図２８に示すように、画像編集システム５１において、符号列変換装置１（第１の符号列変換装置）は、前述のように画像を圧縮符号化した符号列から新たな符号列を作成する。このとき入力する符号列は、可逆に符号化された、いわゆるロスレスのコード・ストリームであることが、この画像編集システム５１の能力を最大限に引き出すことができるので望ましい。ロスレスの符号データを得ることが難しい場合は、低圧縮率で符号化された符号列であることが望ましい。
【０１４１】
画像伸長装置５２は、主及び副量子化テーブルで量子化された符号データに、復号化／逆量子化／逆直交変換／等の処理を施して伸長し、画像表示装置５３が画像を表示出力できるようにする。
【０１４２】
画像の編集者は、この画像表示装置５３に表示された画像を見て、符号列に含まれている各主、副コンポーネントのうち、最も適当と判断したコンポーネントを主／副量子化符号データ入替指示信号により選択する。すると、符号列変換装置５４（第２の符号列変換装置）は、主／副量子化符号データ入替指示信号に基づいて、符号列変換装置１が出力した新たな符号列で、各主、副コンポーネント中から選択されたコンポーネントを取り出して、このコンポーネントを主コンポーネントとして含み、選択されなかったコンポーネントは含まない新たな符号列を作成する。こうして、複数の量子化テーブルの中から再量子化に最もふさわしいもので再量子化された符号列が最終的に確定し、画像編集システム５１から出力される。
【０１４３】
図２９は、歪量測定装置５５をさらに備えた画像編集システム５１の概略構成を示すブロック図である。これは、図２８の画像編集システム５１で行っていた編集者によるコンポーネントの選択を自動化したものである。歪量の測定方法としては、画素値を原画像と量子化後の画像の間で比較する方法等がある。これにより、編集者の主観評価に拠っていた画質評価結果が客観的なものとなる。また、編集処理の高速化・自動化が可能となる。
【０１４４】
図３０は、符号列変換装置１を備えたカメラシステム６１の概略構成を示すブロック図である。図３０に示すように、画像入力装置６２は、ＣＣＤなどの光電変換素子を備え、静止画像を撮像する。画像圧縮装置６３はこの撮影した静止画像の画像データを圧縮符号化する。そして、符号列変換装置１が、この圧縮符号化後の符号列から前述のように新たな符号列を作成する。この新たな符号列は所定のネットワークを介して送信され、あるいは、記憶装置に記憶される。
【０１４５】
【発明の効果】
請求項１に記載の発明は、画像の動き量、サブバンド符号量分布、圧縮率という３種類の切口で画像の種類を判別して再量子化を行うことができるので、高い画像品質を維持しつつ動画像を符号化することができる。また、動き量、サブバンド符号量分布を符号量から求め、量子化を符号状態で行うので、処理に必要なメモリ要領を節減でき、処理速度を高め、処理に必要な消費電力を低減することができる。
【０１４６】
請求項２に記載の発明は、サブバンド符号量分布、圧縮率という２種類の切口で画像の種類を判別して再量子化を行うことができるので、高い画像品質を維持しつつ静止画像を符号化することができる。また、サブバンド符号量分布を符号量から求め、量子化を符号状態で行うので、処理に必要なメモリ要領を節減でき、処理速度を高め、処理に必要な消費電力を低減することができる。
【０１４７】
請求項３に記載の発明は、請求項１又は２に記載の発明において、複数パターンで再量子化を行うことができ、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【０１４８】
請求項４に記載の発明は、請求項３に記載の発明において、動き量、サブバンド符号量分布又は圧縮率がある程度大きいときに複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【０１４９】
請求項５に記載の発明は、請求項３又は４に記載の発明において、必要性があるときは、選択条件を満たさなくても複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【０１５０】
請求項６に記載の発明は、請求項３〜５のいずれかの一に記載の発明において、無制限に複数パターンで再量子化を行うことを防止し、無駄な処理を行わないようにすることができる。
【０１５１】
請求項７に記載の発明は、請求項３〜６のいずれかの一に記載の発明において、動き量、サブバンド符号量分布、圧縮率に対して最も適切と考えられる再量子化の他に、それに次いで適切と考えられる再量子化を行うことができる。
【０１５２】
請求項８に記載の発明は、請求項３〜７のいずれかの一に記載の発明において、少なくともひとつの色空間で選択条件を満たすときに、複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【０１５３】
請求項９に記載の発明は、請求項３〜８のいずれかの一に記載の発明において、複数パターンで再量子化した符号データを複数コンポーネントにそれぞれ有する単一の符号列を得ることができる。
【０１５４】
請求項１０に記載の発明は、請求項９に記載の発明において、複数パターンで再量子化しないときは予め用意した符号データを、他のテーブルから得られた符号データを配置すべきコンポーネントに配置して、その後の新たな符号列の利用の便宜を図ることができる。
【０１５５】
請求項１１に記載の発明は、請求項１０に記載の発明において、複数パターンで再量子化しないときは画素値が最小となる白色の画像の符号データを、他のテーブルから得られた符号データを配置すべきコンポーネントに配置して、その後の新たな符号列の利用の便宜を図ることができる。
【０１５６】
請求項１２に記載の発明は、請求項１〜１１のいずれかの一に記載の発明において、画像の動き量、サブバンド符号量分布及び圧縮率の各値に応じてそれぞれ昇順又は降順に付されているインデックス値により的確に必要なテーブルを選択し、複数パターンで再量子化を行なって、高い画像品質を維持しつつ動画像あるいは静止画像を符号化することができる。
【０１５７】
請求項１３に記載の発明は、請求項１〜１２のいずれかの一に記載の発明において、サブバンド符号量分布を適切に検出することができる。
【０１５８】
請求項１６，１９，２０に記載の発明は、請求項１〜１５のいずれかの一に記載の発明と同様の作用、効果を奏する。
【０１５９】
請求項１７に記載の発明は、複数パターンで再量子化を行った各符号データを収容した複数のコンポーネントの画質を互いに比較して、最適な画質であると判断したコンポーネントのデータのみを残した符号列を作成することができる。
【０１６０】
請求項１８に記載の発明は、請求項１７に記載の発明において、画像データの歪量に基づいて最適な画質のコンポーネントを自動で選択して、そのコンポーネントのみを残した符号列を作成することができる。
【図面の簡単な説明】
【図１】二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを説明する説明図である。
【図２】二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を説明する説明図である。
【図３】JPEG2000符号列の構文解析、パケット長の読み取りについて説明する概念図である。
【図４】JPEG2000の基本となる階層符号化アルゴリズムを説明するためのブロック図である。
【図５】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図６】タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図７】プレシンクトとコードブロックの関係を説明するための図である。
【図８】符号列の構造を説明するための図である。
【図９】符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示す説明図である。
【図１０】本発明の一実施の形態にかかる符号列変換装置のハードウエア構成を示すブロック図である。
【図１１】動画像を処理する場合の符号列変換装置の機能ブロック図である。
【図１２】静止画像を処理する場合の符号列変換装置の機能ブロック図である。
【図１３】動き量検出手段で検出した動画像の「動き量」を量子化手段で行う量子化に反映させる例を説明する説明図である。
【図１４】「サブバンド符号量分布」を量子化手段における量子化に反映させた例を説明する説明図である。
【図１５】サブバンド符号量分布に応じて最適化された「量子化」を説明する別の説明図である。
【図１６】低圧縮率のときの主量子化と副量子化の様子を示す説明図である。
【図１７】画像の「動き量」を考慮した量子化テーブル群の説明図である。
【図１８】「サブバンド符号量分布」を考慮した量子化テーブル群の説明図である。
【図１９】「動き量」と「サブバンド符号量分布」の両方を考慮し、動画像に対応した量子化テーブル群の説明図である。
【図２０】「サブバンド符号量分布」のみを考慮した量子化テーブル群の説明図である。
【図２１】副量子化テーブルの選択条件について説明する説明図である。
【図２２】主量子化テーブル及び副量子化テーブルを用いて再量子化した符号データを、コンポーネントに配置する方法について説明する説明図である。
【図２３】主量子化テーブル及び副量子化テーブルを用いて再量子化した符号データを、コンポーネントに配置する方法について説明する説明図である。
【図２４】ヘッダ部からパケット長情報を読取る「マクロ的」手法で符号量を算出する方法の説明図である。
【図２５】サブバンド符号量分布を考慮した量子化テーブルの説明図である。
【図２６】サブバンド符号量分布を考慮した静止画像の符号化の例を示す説明図である。
【図２７】原画像にタイル分割処理を施した場合と、施さない場合について示す説明図である。
【図２８】画像編集システムの概略構成の説明図である。
【図２９】歪量測定装置を備えた画像編集システムの概略構成の説明図である。
【図３０】カメラシステムの概略構成の説明図である。
【図３１】本発明の課題を説明する説明図である。
【図３２】本発明の課題を説明する説明図である。
【図３３】本発明の課題を説明する説明図である。
【図１】
2004200959.tif 000003
【図２】
2004200959.tif 000004
【図３】
2004200959.tif 000005
【図４】
2004200959.tif 000006
【図５】
2004200959.tif 000007
【図６】
2004200959.tif 000008
【図７】
2004200959.tif 000009
【図８】
2004200959.tif 000010
【図９】
2004200959.tif 000011
【図１０】
2004200959.tif 000012
【図１１】
2004200959.tif 000013
【図１２】
2004200959.tif 000014
【図１３】
2004200959.tif 000015
【図１４】
2004200959.tif 000016
【図１５】
2004200959.tif 000017
【図１６】
2004200959.tif 000018
【図１７】
2004200959.tif 000019
【図１８】
2004200959.tif 000020
【図１９】
2004200959.tif 000021
【図２０】
2004200959.tif 000022
【図２１】
2004200959.tif 000023
【図２２】
2004200959.tif 000024
【図２３】
2004200959.tif 000025
【図２４】
2004200959.tif 000026
【図２５】
2004200959.tif 000027
【図２６】
2004200959.tif 000028
【図２７】
2004200959.tif 000029
【図２８】
2004200959.tif 000030
【図２９】
2004200959.tif 000031
【図３０】
2004200959.tif 000032
【図３１】
2004200959.tif 000033
【図３２】
2004200959.tif 000034
【図３３】
2004200959.tif 000035