(57)【特許請求の範囲】
【請求項１】
画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、
各レイヤーにおける最上位有効ビットの個数を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、
を有することを特徴とする画像処理方法。
【請求項２】
画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、
各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、
を有することを特徴とする画像処理方法。
【請求項３】
前記決定ステップは、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、レイヤーをトランケーションしたときの画像の歪量を推定する推定ステップを有し、前記推定ステップにより推定された前記歪量に基づいて、トランケーションするレイヤーを決定することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記画像情報は、複数のコンポーネントからなり、
前記推定ステップは、前記コンポーネントごとに重み付けを行って、画像の歪量を推定することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記画像情報は、複数のサブバンドからなり、
前記推定ステップは、前記サブバンドごとに重み付けを行って、画像の歪量を推定することを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記画像情報は、複数のサブバンドからなり、
前記抽出ステップは、サブバンド又はコードブロックごとに前記最上位有効ビットの個数を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項７】
前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
【請求項８】
画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、
各レイヤーにおける最上位有効ビットの個数を抽出する抽出手段と、
前記抽出手段により抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項９】
画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、
各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出手段と、
前記抽出手段により抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
画像圧縮方式としては、国際標準であるＪＰＥＧやＪＰＥＧ２０００が知られている。
【０００３】
図１は、ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。画像データ１１が画像処理装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、符号データ１６が出力される。すなわち、画像データ１１から符号データ１６へと画像情報が圧縮される。
【０００４】
なお、「画像情報」とは、画像データ１１のほか、変換された画像データ・量子化された画像データ・エントロピー符号化された画像データ（符号データ１６）など、画像データ１１及び画像データ１１から派生するデータの総称を意味するものとする。
【０００５】
図２は、ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。符号データ２１が画像処理装置２２に入力されると、復号化部２３によってエントロピー復号化され、逆量子化部２４によって逆量子化され、逆変換部２５によって逆離散ウェーブレット変換され、画像データ２６が出力される。すなわち、符号データ２１から画像データ２６へと画像情報が伸張される。
【０００６】
画像圧縮を行う画像処理装置と画像伸張を行う画像処理装置は、一体化されることも多い。
【０００７】
図３により変換部１３について説明する。ＪＰＥＧ２０００では、一般的に、図３Ａのように画像データ１１をタイル３１に分割して、図３Ｂのようにタイルごとに離散ウェーブレット変換（ＤＷＴ）がなされる。図は、画像データ１１を１２８×１２８の大きさのタイル３１に分割した例を示している。１２８×１２８の大きさのタイル３１を、変換部１３によりレベル２で離散ウェーブレット変換すると、図のように、６４×６４の大きさの３つのサブバンド１ＬＬ・１ＬＨ・１ＨＬと３２×３２の大きさの４つのサブバンド２ＬＬ・２ＬＨ・２ＨＬ・２ＨＨからなるウェーブレット係数データ３２が得られる。
【０００８】
図４により量子化部１４について説明する。図は、量子化に用いる式の例を示したものである。ａとｂはそれぞれ量子化前と量子化後のウェーブレット係数、｜ａ｜はａの絶対値、ｓｉｇｎ（ａ）はａの符号、［］はフロア関数、Δは量子化ステップを表す。この式により、ウェーブレット係数は値ａからｂへと量子化される。
【０００９】
図５により符号化部１５について説明する。ＪＰＥＧ２０００では、一般的に、図５Ａのように量子化されたウェーブレット係数データ５１のサブバンド５２を必要に応じてコードブロック５３に分割して（コードブロックより大きいサブバンドについて、コードブロックへの分割が必要となる。以下、コードブロックというときは、コードブロックに分割しないサブバンドも含むものとする）、さらに、図５Ｂのようにコードブロック５３をビットプレーン５４に分割して、図５Ｃのようにビットプレーンごとに算術符号化などのエントロピー符号化がなされる。図は、サブバンド５２を４×４の大きさのコードブロック５３に分割して（この場合はコードブロックを４×４の大きさにしているが、この大きさに限定されるものではない）、４×４の大きさのコードブロック５３を４つのビットプレーン５４に分割した例を示している。符号化部１５により、量子化されたウェーブレット係数データ５１はビットプレーン５４ごとにエントロピー符号化され、最終的に符号データ１６が出力される。
【００１０】
なお、ここまでは画像データ１１が単色からなる場合について説明したが、画像データ１１が複数色からなる場合については、図６のように、各色の画像データ（コンポーネント）を画像処理装置１２に入力すればよい。図６Ａは、ＲＧＢ方式で表現された画像データをそのまま入力するが、図６Ｂのように、ＹＣｂＣｒ方式などの他の方式に変換して入力する場合もある。ＪＰＥＧ２０００においては、一般に、図６Ｂの方式がとられている。これは、人間の視覚は輝度成分（Ｙ）に対しては敏感であるが、色差成分（Ｃｂ・Ｃｒ）に対してはそれほど敏感ではないので、ＹよりもＣｂとＣｒとをより圧縮することで圧縮率を高めるためである。
【００１１】
【発明が解決しようとする課題】
上述したように、ＪＰＥＧ２０００では、量子化されたウェーブレット係数データをビットプレーンに分割して符号化するので、ビットプレーンの切り捨てによる画像情報の圧縮が可能である。例えば、ビットプレーンを下位側から切り捨てていく（トランケーション）ことによる画像情報の圧縮が行われている。
【００１２】
よって、ある圧縮率が目標値として存在する場合、目標値になるまでデータを切り捨てていくことになるが、当然データを切り捨てていくと画質が劣化していくことになる。そのため、データを切り捨てる場合にどれだけデータを切り捨てるとどれだけ画質が劣化するかを検出する必要がある。
【００１３】
この検出方法として、ＪＰＥＧ２０００のＥｘａｍｐｌｅ ａｎｄ Ｇｕｉｄｅｌｉｎｅ（ＥＧ）で示されている方法では、まず、各コードブロックにおいてビットプレーンを下位側から１つトランケーションした場合の歪量を求め、次に、ビットプレーンを下位側から２つトランケーションした場合の歪量を求め、同様にして、すべてのビットプレーンをトランケーションしたときの歪量を求める。ＪＰＥＧ２０００のＥＧで示されている方法では、歪量を求める場合、トランケーションした状態でデコードを行って原画像データとの誤差を調べる。誤差を調べる方法としては、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を使用している。
【００１４】
このように、ＪＰＥＧ２０００のＥＧで示されている方法では、各ビットプレーンまでトランケーションした場合の歪量をそれぞれ求めるために、各ビットブレーンまでトランケーションした状態でそれぞれデコードを行ってＭＳＥで誤差を調べる。よって、歪量を求めるための処理時間が非常に長くなる、又は、歪量を求めるための処理時間を短くするためにハード量が非常に大きくなるという問題がある。
【００１５】
したがって、本発明は、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションにより画像情報を圧縮する画像処理方式において、ビットプレーンをトランケーションしたときの画像の歪量を簡単かつ高速に評価することを課題とする。
【００１６】
【課題を解決するための手段】
本発明の画像処理方法は、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、各レイヤーにおける最上位有効ビットの個数を抽出する抽出ステップと、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、を有する。
【００１７】
本発明の画像処理方法は、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理方法において、各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出ステップと、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定ステップと、を有する。
【００１８】
本発明の画像処理方法において、さらに、前記決定ステップは、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、レイヤーをトランケーションしたときの画像の歪量を推定する推定ステップを有し、前記推定ステップにより推定された前記歪量に基づいて、トランケーションするレイヤーを決定する。
【００１９】
本発明の画像処理方法において、さらに、前記画像情報は、複数のコンポーネントからなり、前記推定ステップは、前記コンポーネントごとに重み付けを行って、画像の歪量を推定する。
【００２０】
本発明の画像処理方法において、さらに、前記画像情報は、複数のサブバンドからなり、前記推定ステップは、前記サブバンドごとに重み付けを行って、画像の歪量を推定する。
【００２１】
本発明の画像処理方法において、さらに、前記画像情報は、複数のサブバンドからなり、前記抽出ステップは、サブバンド又はコードブロックごとに前記最上位有効ビットの個数を抽出する。
【００２２】
本発明の画像処理方法において、さらに、前記画像処理方法の画像圧縮方式は、ＪＰＥＧ２０００である。
【００２３】
本発明の画像処理装置は、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、各レイヤーにおける最上位有効ビットの個数を抽出する抽出手段と、前記抽出手段により抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、を有する。
【００２４】
本発明の画像処理装置は、さらに、画像情報のレイヤーのトランケーションにより画像情報を圧縮する画像処理装置において、各レイヤーにおける最上位有効ビットの個数と、各レイヤーにおける最上位有効ビットの次の下位のレベルのビットが有効ビットである最上位有効ビットの個数と、を抽出する抽出手段と、前記抽出ステップにより抽出された前記最上位有効ビットの個数に基づいて、トランケーションするレイヤーを決定する決定手段と、を有する。
【００２５】
本発明の画像処理方法によれば、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。
【００２６】
本発明の画像処理装置によれば、画像の歪量をより正確に考慮したトランケーションを簡単かつ高速に実施することができる。
【００２７】
本発明の画像処理方法によれば、画像の歪量を簡単かつ高速に推定し、かつ、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。
【００２８】
本発明の画像処理方法によれば、より視覚的に誤差が少ない歪量の評価が可能になる。
【００２９】
本発明の画像処理方法によれば、サブバンド単位でトランケーションを行う場合、コードブロックごとに最上位有効ビットの個数を抽出するよりも、計算量が少なくてすむ。
【００３０】
なお、「画像情報」とは、画像データ及び画像データから派生するデータ（量子化されたウェーブレット係数データ等）の総称である。
【００３１】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００３２】
（本発明の実施の形態の例）
図７は、本発明の実施の形態の例を表す。本実施例の画像圧縮方式はＪＰＥＧ２０００であり、図１の画像処理装置１２と同様に、画像データ１１が画像圧縮装置１２に入力されると、変換部１３によって離散ウェーブレット変換され、量子化部１４によって量子化され、符号化部１５によってエントロピー符号化され、符号データ１６が出力される。
【００３３】
図８Ａは、本実施例によって得られるウェーブレット係数データ５１のコードブロック５３をビットプレーン５４に分割したものを表す。ＪＰＥＧ２０００では、このビットプレーンをそれぞれ３つのパス（コーディングパス）でエントロピー符号化する。コーディングパスを任意の切り口でグループ化したとき、そのグループをレイヤーと呼ぶ。ここでは、図８Ｂのように、説明を簡単にするために、ビットプレーン５４の切り口とレイヤー８１の切り口を合わせる。つまり、ビットプレーンとレイヤーは等しいと考える。
【００３４】
レイヤー（ビットプレーン）のトランケーションについて考える。
【００３５】
図９は、図８のレイヤー分割されたコードブロックを、図８のＡ面で切断したときの断面図である。本来は２次元で考察しなければならないが簡単のため１次元で考察する。白色は無効成分（無効ビット）、黒色は有効成分（有効ビット）を表す。図９のデータをレイヤー３までトランケーションした状態を図１０に示す。この状態ではほとんどのデータの有効成分は削除されないで残っている。図９のデータをレイヤー７までトランケーションした状態を図１１に示す。この状態だと半分以上のデータが完全になくなってしまっている。図９のデータをレイヤー６までトランケーションした場合を図１２に示す。この状態であればほとんどのデータの最上位有効ビット（ＭＳＢ）は残っていることがわかる。また図９のデータをレイヤー８までトランケーションした場合を図１３に示す。この場合、ほとんどのデータが消失していることがわかる。
【００３６】
図１４は、図９のデータに関して、ＭＳＢの分布とＭＳＢの各レイヤーにおける個数（Ｎａ）を示す。同時に、図９のデータに関して、ＭＳＢの次の下位のレベルのビットが有効ビットであるＭＳＢの各レイヤーにおける個数（Ｎｂ）を示している。図１４でわかるのはレイヤー７のところにＭＳＢ成分が多く分布していることである。このように、ウェーブレット係数のＭＳＢ成分が多く分布しているレイヤーをトランケーションしてしまうと、そのレイヤーに関するコードブロックのデータの分布状況が大きく変わってしまうことになる。すなわち、レイヤーのトランケーションを行ったときのＭＳＢの個数の変化と歪量の変化との間には相関があると考えられる。この特徴を利用して、レイヤーのトランケーションを行ったときのＭＳＢの個数の変化から画像の歪量の変化を簡単かつ高速に評価することができる。例えば、ＭＳＢの個数に基づいてトランケーションするレイヤーのレベルを決定することで、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。さらに、ＭＳＢの個数に基づいて歪量を推定し、これに基づいてトランケーションするレイヤーのレベルを決定することで、画像の歪量を簡単かつ高速に推定し、かつ、画像の歪量を考慮したトランケーションを簡単かつ高速に実施することができる。なお、ＭＳＢはウェーブレット係数データ５１から１回で簡単に抽出できる。
【００３７】
本実施例では、図７のように、ウェーブレット係数データ５１は符号化部１３から抽出部７１へと入力され、抽出部７１により、各レイヤー内におけるＭＳＢの個数（Ｎａ）が抽出される。
【００３８】
本実施例ではさらに、図７のように、Ｎａの抽出値は抽出部７１から決定部７２へと入力され、決定部７２により、トランケーションするレイヤーのレベルが、Ｎａの抽出値に基づいて決定される。例えば、レイヤーごとに所定の閾値を設けて、レイヤー１に関するＮａの抽出値と閾値とを比較し、次にレイヤー２に関するＮａの抽出値と閾値とを比較し、次にレイヤー３に関するＮａの抽出値と閾値とを比較し、というように、各レイヤーに関するＮａの抽出値と閾値とを順次比較し、レイヤーｎにおいて初めてＮａの抽出値が閾値以上になったとき、レイヤー１からレイヤーｎ−１までをトランケーションする（ｎ＝１のときはトランケーションしない）ことに決定するという方法が考えられる。この閾値は、全レイヤーで同じ値にしてもよいし、各レイヤーで異なる値にしてもよい。
【００３９】
本実施例ではまた、図７のように、決定部７２においてＮａの抽出値を推定部７３へと入力させ、推定部７３においてＮａの抽出値に基づいて歪量を推定し、決定部７２により、トランケーションするレイヤーのレベルを、歪量の推定値に基づいて決定することもできる。例えば、レイヤー１からレイヤーｎまでをトランケーションする場合、各レイヤーのＮａと各レイヤーのレベルとの積の総和を、歪量（の比）と推定する。このように、Ｎａの抽出値に基づいて歪量を推定することで、歪量を求めるための演算量を削減することが可能になり、処理時間の短縮やハード量の削減が可能になる。
【００４０】
本実施例は、（量子化された）ウェーブレット係数データのビットプレーンを扱ったが、他の画像情報のビットプレーンについても適宜適用できる。本実施例は、ＪＰＥＧ２０００を画像圧縮方式としたが、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションによる画像情報の圧縮が可能な画像圧縮方式であれば適宜適用できる。
【００４１】
（本発明の実施の形態のその他の例）
ＭＳＢはそのビットのデータの１／２の情報量を持っている。ここで、ＭＳＢの次のビットが１（有効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約１／２乃至３／４なのに対して、ＭＳＢの次のビットが０（無効ビット）の場合は、ある画像情報の全ビットに占めるＭＳＢのウェイトは約３／４乃至１となる。この特性を利用するために、ＭＳＢの各レイヤーにおける個数（Ｎａ）のほか、ＭＳＢの次の下位のレベルのビットが１（有効ビット）であるＭＳＢの各レイヤーにおける個数（Ｎｂ）も抽出し、両者に基づいて画像の歪量を評価すると、より正確に画像の歪量の評価をすることができる。例えば、下位レベルのビットが０であるＭＳＢ１個は、下位レベルのビットが１であるＭＳＢ１．５個分として、画像の歪量を評価する方法が考えられる。
【００４２】
また、推定部７３による歪量の推定に関して、すべてのコードブロックを同一に扱うのではなく、各コードブロックにおけるＭＳＢの個数に対して、それぞれのコンポーネント又はサブバンドごとに重み付けを行い、重み付けを行ったＭＳＢの個数に基づいて画像の歪量を推定することで、より視覚的に誤差が少ない歪量の評価が可能になる。
【００４３】
トランケーションを行う場合、ひとつのサブバンド内の各コードブロックに対して異なる量のトランケーションを行うと、コードブロック間に歪が生じ、これが歪誤差となって見えてくる場合がある。このため、一般に、トランケーションをコードブロック単位ではなくサブバンド単位で行うこともなされている。よって、サブバンド単位でトランケーションを行う場合、コードブロックごとにＭＳＢの個数等を抽出するよりも、サブバンドごとにＭＳＢの個数等を抽出する方が、計算量が少なくてすむ。
【００４４】
【発明の効果】
このように、本発明により、ＪＰＥＧ２０００のように、画像情報のビットプレーンのトランケーションにより画像情報を圧縮する画像処理方式において、ビットプレーンをトランケーションしたときの画像の歪量を簡単かつ高速に評価することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００により画像情報を圧縮する一般的な画像処理装置を表す。
【図２】ＪＰＥＧ２０００により画像情報を伸張する一般的な画像処理装置を表す。
【図３】変換部について説明する図である。
【図４】量子化部について説明する図である。
【図５】符号化部について説明する図である。
【図６】画像データが複数色からなる場合について説明する図である。
【図７】本発明の実施の形態の例を表す。
【図８】ビットプレーンとレイヤーを表す。
【図９】レイヤー内のデータの配置例の図である。
【図１０】下位３レイヤーをトランケーションした場合の図である。
【図１１】下位７レイヤーをトランケーションした場合の図である。
【図１２】下位６レイヤーをトランケーションした場合の図である。
【図１３】下位８レイヤーをトランケーションした場合の図である。
【図１４】各レイヤーのＮａとＮｂとを抽出した図である。
【図１５】画像の空間内の分布が緩やかに変化している場合の図である。
【図１６】画像の空間内の分布が２極分化している場合の図である。
【符号の説明】
１１  画像データ
１２  画像処理装置
１３  変換部
１４  量子化部
１５  符号化部
１６  符号データ
２１  符号データ
２２  画像処理装置
２３  復号化部
２４  逆量子化部
２５  逆変換部
２６  画像データ
３１  タイル
３２  ウェーブレット係数データ
５１  量子化されたウェーブレット係数データ
５２  サブバンド
５３  コードブロック
５４  ビットプレーン
７１  抽出部
７２  決定部
７３  推定部
８１  レイヤー
【図１】
0003970078.tif 000002
【図２】
0003970078.tif 000003
【図３】
0003970078.tif 000004
【図４】
0003970078.tif 000005
【図５】
0003970078.tif 000006
【図６】
0003970078.tif 000007
【図７】
0003970078.tif 000008
【図８】
0003970078.tif 000009
【図９】
0003970078.tif 000010
【図１０】
0003970078.tif 000011
【図１１】
0003970078.tif 000012
【図１２】
0003970078.tif 000013
【図１３】
0003970078.tif 000014
【図１４】
0003970078.tif 000015
【図１５】
0003970078.tif 000016
【図１６】
0003970078.tif 000017