(57)【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
上記画像入力手段から入力された現在の入力画像と所定の画像に基づいて特定領域画像を抽出する特定領域画像抽出手段と、
上記現在の入力画像をウェーブレット変換するウェーブレット変換手段と、
上記ウェーブレット変換手段で生成されたウェーブレット変換係数の内、上記特定領域画像抽出手段で抽出された特定領域画像に対応した係数と、特定領域画像を除く画像に対応した係数とに対し別の操作を施す係数操作手段と、
上記ウェーブレット変換手段におけるウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のＬＳＢから数えて所定のビット数だけビットプレーンの係数を切り捨てる係数切り捨て手段と、
上記係数切り捨て手段で処理された係数をエントロピー符号化する符号化手段と、
上記符号化手段の後段で符号量を計算する符号量計算手段と、
上記符号量計算手段で計算した符号量に基づいて上記係数操作手段に供給される係数に対して係数値をスケールアップするときのビットシフト数を決定するビットシフト数決定手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
上記ウェーブレット変換手段が浮動小数点精度のフィルタバンクから構成されるとき、上記ウェーブレット変換手段で生成されたウェーブレット変換係数を量子化する量子化手段を備えることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
上記係数操作手段は上記特定領域画像に対応した係数に対して、係数値をスケールアップすることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
上記係数操作手段は上記特定領域画像を除く画像に対応した係数に対して、係数値をスケールアップすることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
上記所定の画像として所定時間前の画像を記憶している画像記憶手段を備え、上記特定領域画像抽出手段は上記画像入力手段からの現在の入力画像と上記画像記憶手段からの上記所定時間前の画像を用いて特定領域画像を抽出することを特徴とする請求項１記載の画像符号化装置。
【請求項６】
上記特定領域画像抽出手段は、動き検出により検出された領域を特定領域画像とすることを特徴とする請求項１記載の画像符号化装置。
【請求項７】
現在の入力画像と所定の画像に基づいて特定領域画像を抽出する特定領域画像抽出工程と、
上記現在の入力画像をウェーブレット変換するウェーブレット変換工程と、
上記ウェーブレット変換工程で生成されたウェーブレット変換係数の内、上記特定領域画像抽出工程で抽出された特定領域画像に対応した係数と、特定領域画像を除く画像に対応した係数とに対し別の操作を施す係数操作工程と、
上記ウェーブレット変換工程におけるウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のＬＳＢから数えて所定のビット数だけビットプレーンの係数を切り捨てる係数切り捨て工程と、
上記係数切り捨て工程で処理された係数をエントロピー符号化する符号化工程と、
上記符号化工程の符号量を計算する符号量計算工程と、
上記符号量計算工程で計算した符号量に基づいて上記係数操作工程に供給される係数に対して係数値をスケールアップするときのビットシフト数を決定するビットシフト数決定工程と
を備えることを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる画像符号化装置及び方法に関するものであり、特にウェーブレット変換を用いた画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
画像を高能率符号化して伝送もしくは蓄積するシステムの具体的な応用例として、監視用画像コーデック（符号化・復号化器、及び伝送装置）や、デジタルカメラ（動画カムコーダやスチルカメラ）、又はこれらの手段を実現したカスタムチップやＤＳＰ等がある。
【０００３】
例えば、従来の監視用画像コーデックでは、監視カメラで捕らえた画像のフレーム間の相関を利用して、フレーム間予測を行い符号化を行っていた。国際電気通信連合電気通信標準化部門（International Telecommunication Union-Telecommunication Standardization Sector、ITU-T）によりTV電話・TV会議用途に標準化されたH.261やH.263の国際標準の動画符号化方式を用いたコーデックも存在している。関連技術としては、例えば特開平7−30888号公報に開示されている「動画像送信装置及び動画像受信装置」がある。
【０００４】
この発明に係る動画像送信装置（符号化装置）は、背景画像を記憶する背景メモリ手段と、当該背景メモリ手段を参照し、送信しようとする動画像から非背景部分を抽出する非背景抽出手段と、当該非背景抽出手段により抽出した非背景画像を符号化する符号化手段とから構成されている。これらの手段によって、人物画像等の非背景画像を抽出し、それを直接または動き補償予測を行ってから符号化するので、伝送符号量を大幅に削減することが出来る。一方、受信装置側の背景メモリ手段には、伝送される動画像とは無関係な画像を背景として記憶できるので、復号化画像に任意の背景を合成出来る。
【０００５】
【発明が解決しようとする課題】
ところで、上記従来例では、背景画像は殆ど変化しないとの前提に立っており、背景画像が変化すると人物画像の検出精度が下がり、後段のＤＣＴ（離散コサイン変換：Discrete Cosine Transform）符号化で多くの符号化ビットが発生して、符号化効率が低下するという問題点があった。
【０００６】
更に、人物画像だけのフレーム間動き補償予測手段は、多くの計算時間を要する問題点があり専用のLSI等が必要となる。
【０００７】
本発明は以上の様な課題を鑑みたものであり、圧縮率が高く、且つ伝送ビットレートを低くしなければならない場合においても、人物画像の画質を優先して符号化することで、実用性を失わない画像符号化装置及び方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像符号化装置は、容器課題を解決するために、画像を入力する画像入力手段と、上記画像入力手段から入力された現在の入力画像と所定の画像に基づいて特定領域画像を抽出する特定領域画像抽出手段と、上記現在の入力画像をウェーブレット変換するウェーブレット変換手段と、上記ウェーブレット変換手段で生成されたウェーブレット変換係数の内、上記特定領域画像抽出手段で抽出された特定領域画像に対応した係数と、特定領域画像を除く画像に対応した係数とに対し別の操作を施す係数操作手段と、上記ウェーブレット変換手段におけるウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のＬＳＢから数えて所定のビット数だけビットプレーンの係数を切り捨てる係数切り捨て手段と、上記係数切り捨て手段で処理された係数をエントロピー符号化する符号化手段と、上記符号化手段の後段で符号量を計算する符号量計算手段と、上記符号量計算手段で計算した符号量に基づいて上記係数操作手段に供給される係数に対して係数値をスケールアップするときのビットシフト数を決定するビットシフト数決定手段とを備える。
【０００９】
この画像符号化装置において、特定領域画像抽出手段は、現在の符号化対象入力画像と、所定の画像との差分から、特定領域画像を抽出する。ウェーブレット変換手段は、入力画像をウェーブレット変換して変換係数を出力する。係数操作手段は、特定領域画像とそれを除く画像とで、異なる係数の操作を行う。エントロピー符号化手段は、上記係数を情報源符号化することで符号化ビットストリームを生成する。
【００１０】
本発明に係る画像符号化方法は、上記課題を解決するために、現在の入力画像と所定の画像に基づいて特定領域画像を抽出する特定領域画像抽出工程と、上記現在の入力画像をウェーブレット変換するウェーブレット変換工程と、上記ウェーブレット変換工程で生成されたウェーブレット変換係数の内、上記特定領域画像抽出工程で抽出された特定領域画像に対応した係数と、特定領域画像を除く画像に対応した係数とに対し別の操作を施す係数操作工程と、上記ウェーブレット変換工程におけるウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のＬＳＢから数えて所定のビット数だけビットプレーンの係数を切り捨てる係数切り捨て工程と、上記係数切り捨て工程で処理された係数をエントロピー符号化する符号化工程と、上記符号化工程の符号量を計算する符号量計算工程と、上記符号量計算工程で計算した符号量に基づいて上記係数操作工程に供給される係数に対して係数値をスケールアップするときのビットシフト数を決定するビットシフト数決定工程とを備える。
【００１１】
【発明の実施の形態】
以下、本発明に係る画像符号化装置及び方法の実施の形態について図面を参照しながら説明する。
【００１２】
本発明の第１の実施の形態となる、特定領域（Region of Interest：ROI）のエンハンス機能付き画像符号化装置を図１に示す。この画像符号化装置は、主に監視用画像コーデックに適用される。またそれ以外にも電子スチルカメラやビデオムービ等で必要になる画像圧縮装置に応用することが出来る。
【００１３】
この画像符号化装置は、画像を入力する撮像素子を備えたカメラ１と、このカメラ１からの入力画像を記憶・保持するフレームメモリ２と、特定領域画像を抽出する特定領域画像抽出部３と、現在の入力画像をウェーブレット変換して変換係数を出力するウェーブレット変換部４と、ウェーブレット変換部４が出力した変換係数を量子化して量子化係数を出力する量子化部５と、上記特定領域画像に対応した量子化係数と特定領域を除いた画像に対応した量子化係数に対して例えば別々のスケールアップ処理を施す係数操作部６と、係数操作部６からの量子化係数を複数層のビットプレーン上に展開してスキャニングするビットプレーンスキャニング部７と、このビットプレーンスキャニング部７からのビットプレーン毎の係数にエントロピー符号化を施して符号化ビットストリームを生成するエントロピー符号化部８とを備えてなる。
【００１４】
この図１に示す画像符号化装置において、撮像画像１００はカメラ１に取り込まれ、デジタル化された画像１０１とされる。この現在の画像フレームであるデジタル画像１０１は、ウェーブレット変換部４で変換符号化されて変換係数１０４とされる。また、デジタル画像１０１は一方で、フレームメモリ２に入力し、所定時間だけ記憶・保持される。さらに、デジタル画像１０１は特定領域画像抽出部３にも入力する。特定領域画像抽出部３はフレームメモリ２から読み出された所定時間前のデジタル画像１０２と現在のデジタル画像１０１とから、特定領域画像を抽出する。ここで抽出された特定領域画像の位置情報１０３は、後段の処理のために、係数操作部６に送られる。
【００１５】
なお、２つの画像から特定領域画像とそれ以外の背景画像とを分割するには、先に述べた特開平７−０３０８８８号公報で開示されている、一定以上の画素変化のある部分を特定領域画像として検出する手段を用いても良い。
【００１６】
ウェーブレット変換部４から出力された変換係数１０４は量子化部５において量子化され、量子化係数１０５が出力される。ここで量子化手段としては、通常用いるスカラー量子化（下記：式１）を用いれば良い。
【００１７】
Q＝ｘ/Δ     （式１）
この式１において、ｘはウェーブレット変換係数値、Δは量子化インデックス値である。
【００１８】
上記スカラ量子化等によって得られた量子化係数１０５に対して係数操作部６では後述の係数操作が行われて、その結果の量子化係数１０６は、ビットプレーン・スキャニング部７に入力する。ビットプレーン・スキャニング部７が後述するように出力した各ビットプレーン毎の係数群１０７は、最後にエントロピー符号化部８で符号化されて、符号化ビットストリーム１０８が送出される。尚、エントロピー符号化部８で用いられる符号化手段としては、可変長符号化手段の他、効率の良い算術符号化手段があるが、これらのエントロピー符号化手段については、各研究機関より研究成果が報告されており、それらを用いれば良い。
【００１９】
以上が、この第１の実施の形態の画像符号化装置の基本構成及び動作である。以下、各部分の詳細を説明する。
【００２０】
先ず、ウェーブレット変換部４の構成及び動作について説明する。通常のウェーブレット変換部４の構成図として、図２が挙げられる。これは、幾つかある手法の中で最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに亘って行う構成例を示している。尚、この図２の場合はレベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また図２では、便宜上１次元の信号（例えば画像の水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００２１】
次に動作について説明する。
図２に示すウェーブレット変換部への入力画像信号１１５は、ローパスフィルタ２１（伝達関数Ｈ0（ｚ））とハイパスフィルタ２２（伝達関数Ｈ1（ｚ））とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ２３、２３によって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分１１６とＨ成分１１７の２つである。ここで、上記ＬはLowで低域、ＨはHighで高域を示す。この図２のローパスフィルタ２１、ハイパスフィルタ２２、及び２個のダウンサンプラ２３，２３によってレベル１の回路部が構成されている。
【００２２】
上記ダウンサンプラ２３，２３によりそれぞれ間引かれた信号の内の低域成分、すなわち上部に記載のダウンサンプラ２３からの信号のみが、さらに、レベル２の回路部を構成するローパスフィルタ２４及びハイパスフィルタ２５によって帯域分割され、それぞれに対応するダウンサンプラ２６，２６によって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。この時の出力がLL成分１１８とLH成分１１９の２つである。
【００２３】
そして低域成分（LL成分１１８）のみが再びローパスフィルタ２７とハイパスフィルタ２８とによって帯域分割され、ダウンサンプラ２９、２９によって、解像度をそれぞれ２分の１倍に間引かれる。ここまでがレベル３である。このように上記処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル３で生成された帯域成分は、LLL成分１２０とLLH成分１２１である。LLL成分１２０は出力端子３０から、LLH成分１２１は出力端子３１から、LH成分１１９は出力端子３２から、H成分１１７は出力端子３３から外部に導出される。このようにレベル３まで帯域分割した結果、LLL成分１２０、LLH成分１２１、LH成分１１９、H成分１１７が生成されている。
【００２４】
次に、図３は、レベル２まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。この図３でのL及びHの表記法は、１次元信号を扱った図２でのＬ及びＨの表記法とは異なる。即ち、図３ではまずレベル１の帯域分割（水平・垂直方向）により４つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・垂直成分が共にLであること。LHは水平成分がHで垂直成分がLであることを意味している。次に、LL成分は再度帯域分割されて、さらにLLLL、LLHL、LLLH、LLHHが生成される。以上が、ウェーブレット変換の基本概念である。
【００２５】
次に、ビットプレーン・スキャニング部７の詳細な動作について説明する。図４は、縦４ライン、横４画素から成るビットプレーンの例であり、(a)の２進数表現で示される様に、この16個の係数で、最大値は＋１３、最小値は−６である。上記最大値と、最小値の他、＋３を除くと残りの係数はすべて０である。これらの係数値をビットプレーン表現したものが(b),(c)であり、４層から成るビットプレーンが出来る。(b)は係数の絶対値（Magnitude Planes）、(c)は係数の符号（Sign Plane）(+/-)を意味している。
【００２６】
次に、これら４層から成るビットプレーンの係数をスキャニングする。図４の(b)で示した様に、同一層のビットプレーン内では係数の左上から右下方向にスキャンを行い、これをMSB(Most Significant Bit)からLSB(Least SignificantBit)に向かってスキャンして行く。この時のスキャニング法を、例えば図５で図示する様に、ウェーブレット分割された各バンド毎に、同様にして左から右（水平方向）、上から下（垂直方向）にスキャニングすれば良い。
【００２７】
また、これ以外にも、図６に示すように、異なる帯域（バンド）間の同一周波数に属する係数を順番に走査する手段もあり、同等の効果を奏する。図６は、ウェーブレット変換の特徴である解像度の異なる周波数成分は相関が高い、という性質を利用したものである。図５と図６との相違点は、言うまでもなく、図５が各バンド内部でスキャニングが独立して行われるのに対し、図６ではバンド間に跨ってスキャニングが行われる点である。
【００２８】
以上の様に、ビットプレーン中の係数値はすべて２進数表現されているので、各階層では１か０しか存在しない。従って、上記エントロピー符号化部８では、各ビットプレーン毎に２値の算術符号化手段を用いることが出来る。その結果、圧縮効率を上げることができる。
【００２９】
続いて、係数操作部６の動作について詳細に説明する。図７は、実際に特定領域ＲＯＩ画像に相当する量子化係数（図７にてハッチング表現されている部分）と、特定領域を除く画像に相当する量子化係数（図７でハッチングされていない領域）とを、３つのサブバンド（subband0,subband1,subband2）毎に異なる係数で操作した具体例を示した図である。まず図７の(a)について述べる。この(a)のケースは、何も操作をしない最初の状態を意味している。尚、特定領域画像の係数情報は、特定領域画像抽出部３が出力する特定領域画像の位置情報１０３を用いて容易に取り出すことができる。
【００３０】
一方、図７の(b)ではSビット分だけ、特定領域画像に相当する量子化係数をMSB方向にシフトした結果を示している。この結果が意味するものは、言うまでも無く、特定領域画像に相当する画素が強調された形になるので、特定領域画像がそれ以外の画像よりも画質が高くなる。すなわち、係数操作部６では、ウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のビットをMSB方向にビットシフトする。
【００３１】
以上の構成及び動作によって、第１の実施の形態の画像符号化装置は、特定領域画像の係数値をスケールアップし、画像全体の中で被写体画像の画質を高くすることが出来る。
【００３２】
なお、上記第１の実施の形態では、特定領域画像の画質を高くするために、特定領域画像の係数値をスケールアップする手段を取っているが、特定領域画像を隠匿する、見えなくする、ボカす等の操作が目的の場合には、逆に特定領域画像を除く画像の係数値をスケールアップすることで、特定領域画像以外の画質を高くし、相対的に特定領域画像の画質を落とすことも出来る。
【００３３】
次に、本発明の第２の実施の形態となる画像符号化装置について説明する。この第２の実施の形態は図８に示すように、上記図１に示した画像符号化装置の係数操作部６とビットプレーンスキャニング部７との間に係数切り捨て部９を設けた構成である。この係数切り捨て部９は、ウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のLSBから数えて所定のビット数だけビットプレーンを切り捨てる。
【００３４】
上記第１の実施の形態では、特定領域画像の係数値、または特定領域画像を除く画像の係数値を係数操作部６でスケールアップした。すなわち、図７の(a)では、Subband0で５階層、Subband1で４階層、Subband2で３階層から成るビットプレーンが、(b)では被写体画像の係数だけSビット、シフトアップされた結果、すべてのSubbandでS階層分だけビットプレーンが増えてしまう。従って、このままこれらの係数を、前述のビットプレーン・スキャニング部７を経て、符号化すると符号量が増大する。
【００３５】
一方、図８で示す様に、係数操作部６の後段に係数切り捨て部９を設けると、動作としては、LSBからSビット分のビットプレーンを切り捨てることになるので、符号量の増大も抑制でき、かつ特定領域画像だけを強調して高画質化が実現できる。
【００３６】
これを示した図が図９である。図７の(b)のビットプレーンのLSBから下位Sビット分（この場合はS=3）だけ、ビットプレーンの係数を切り捨てると、(c)のビットプレーンが生成される。従って、これにより、特定領域画像の画質を高くしながら、全体の符号量を、図７の(a)の場合と同等に抑えることが出来る。
【００３７】
このように、係数操作部６、エントロピー符号化部８、ビットプレーン・スキャニング部７、及び係数切り捨て部９では、すべてのビット操作をビットプレーン上で行っている。
【００３８】
次に、本発明の第３の実施の形態となる画像符号化装置について説明する。この第３の実施の形態は図１０に示すように、上記図１に示した画像符号化装置のエントロピー符号化部８の後段に、符号量計算部１０と、さらにその後段にビットシフト数決定部１１を備えたものである。
【００３９】
符号量計算部１０は、符号化ビットストリーム１１３の符号量をカウントする作用があり、特定領域画像とそれ以外の画像の符号化ビット発生量を、それぞれ算出する。
【００４０】
ビットシフト数決定部１１は、符号量計算部１０で算出した特定領域画像とそれ以外の画像の符号化ビット発生量から、特定領域画像に対するビットシフト数を決定して、これを係数操作部６に送出する。
【００４１】
この後、係数操作部６では特定領域画像にだけ前述したようにビットシフト操作によるスケールアップを行う。
【００４２】
尚、一般には、特定領域画像とそれ以外の画像の符号化ビット発生量がほぼ同等で、特定領域画像をより強調したい場合は、その強調度に応じて、ビットシフト数を決めれば良く、逆に特定領域画像の符号化ビット発生量がかなり大きい場合には、ビットシフト数を小さい値に設定する等の操作を行えば良く、同ビットシフト数決定部１１には、自由度が大きく存在する。
【００４３】
他方、ビットシフト数決定部１１は、特定領域画像とそれ以外の画像の双方に対して別々にビットシフト数を決め、係数操作部６で別々にスケールアップさせてもよい。これは、両者の画質のバランスを取る場合に有効であって、例えば特定領域画像を３ビット、特定領域画像を除く画像を１ビットだけシフトさせる等の操作がある。
【００４４】
次に、本発明の第４の実施の形態となる画像符号化装置について説明する。この第４の実施の形態は図１１に示すように、上記図１０に示した第３の実施の形態の画像符号化装置の係数操作部６とビットスキャニング部７との間に係数切り捨て部９を設けたものである。
【００４５】
上記第３の実施の形態では、係数操作部６に、ビットシフト数決定部１１から出力するビットシフト数は一度決定して終了していた。しかし、目標とした符号量に１度で収束することは現実には多くなく、漸近させる操作が必要になる。
【００４６】
そこで、この第４の実施の形態は、係数操作部６とビットプレーン・スキャニング部７との間に係数切り捨て部９を挿入することにより、目標符号量と実際の発生符号量１１３とを、符号量計算部１０で常時比較し、ある閾値まで両者の数値が近くなる迄、同図のエントロピー符号化部８からビットシフト数決定部１１、そして係数操作部６からビットプレーン・スキャニング部７に至るループを巡回させる。
【００４７】
例えば、実際の発生符号量が大きく、削減したい場合には、係数切り捨て部９でLSBから下位数ビット分に相当するビットプレーンを切り捨てる操作を行えば良い。この操作を継続して行うことで、目標値になった所ですべての処理を打ち切り、この時の符号化ビットストリーム１０８を送出すれば良い。
【００４８】
一方、符号量に余裕がある場合で、かつ被写体画像の画質も十分に保たれている際には、係数操作部６を省略することも考えられる。
【００４９】
次に、本発明の第５の実施の形態となる画像符号化装置について説明する。ウェーブレット変換部４のフィルタバンクのフィルタ係数が整数の場合である。この第５の実施の形態は図１２に示すように、上記図１に示した第１の実施の形態の画像符号化装置の量子化部５を削除し、その代わりに係数切り捨て部９を設けた構成となる。
【００５０】
上記第１〜第４の実施の形態までは特に断わらなかったが、通常ウェーブレット・フィルタ係数は下記のように、浮動小数点精度を持ったものを多用する。（1）の低域フィルタLowpassと、（２）の高域フィルタHighpassの係数がそれぞれ有り、図２で示した様に、ウェーブレット分割を行う。
【００５１】
［Floating Filter(9×7)］
Lowpass = [2.6749e-02,-1.6864e-02,-7.8223e-02,2.66864e-01,6.02949e-01,2.66864e-01,-7.8223e-02,-1.6864e-02, 2.6749e-02 ]     (1)
Highpass =[-4.5636e-02,2.8772e-02, 2.95636e-01, -5.57543e-01,2.95636e-01, 2.8772e-02,-4.5636e-02 ]     (2)
この時、例えば図１ではウェーブレット変換係数１０４の値も浮動小数点の精度になるので、量子化部５で量子化して、整数精度にする必要があった。他方、下記の様に、元々フィルタ係数が整数である場合には、量子化部５を備える必要は必ずしも無く、同じ個所に例えば係数切り捨て部９を備えることにより、目標符号量で符号化を行うことが出来る。この場合、量子化部を省略すれば係数１０６まではロスレスであることは言うまでもない。この第５の実施の形態は、図１０、図１１に示した画像符号化装置にも適用できる。
【００５２】
［Integer Filter(9×7)］
Lowpass = [ 1, 0, -8, 16, 46, 16, -8, 0, 1 ]/26     (3)
Highpass = [ 1, 0, -9, 16, -9, 0, 1 ]/24      (4)
以上、本発明の第１〜第５の実施の形態となる画像符号化装置について説明した。次に、これらの画像符号化装置で符号化され、伝送されてきた符号化ビットストリームを復号する復号装置の具体例について説明する。
【００５３】
この復号装置の具体例の構成を図１３に示す。この図１３において、復号装置は、符号化ビットストリームを入力又は読み出してエントロピー復号するエントロピー復号化部３５と、エントロピー復号された量子化係数をサブバンド毎のビットプレーンに直すビットプレーン・逆スキャニング部３６と、ビットプレーン情報をウェーブレット変換係数に直す逆量子化部３７と、ウェーブレット変換係数を逆変換するウェーブレット逆変換部３８とを有して構成されている。
【００５４】
次に動作について説明する。符号化ビットストリーム１０８を入力したエントロピー復号化部３５では、所定の手段によってエントロピー復号を行い、符号化ビットストリーム１０８を量子化係数１０９に戻す。この時のエントロピー復号化の手段は、既に述べたエントロピー符号化の手段と対応したものである必要がある。なお、エントロピー復号手段としては、可変長復号手段や算術復号手段がある。
【００５５】
量子化係数１０９は、ビットプレーン・逆スキャニング部３６で、サブバンド毎のビットプレーンに直される。このビットプレーン情報１１０は、逆量子化部３７で、再度ウェーブレット変換係数１１１に変換される。ここで、逆量子化手段としては通常用いるスカラー逆量子化（下記：式２）を用いればよい。
【００５６】
ｘ＝Q xΔ     （式２）
ここで、Qは量子化係数値、Δは量子化インデックス値である。
【００５７】
ウェーブレット変換係数１１１は、ウェーブレット逆変換部３８で逆変換されて、復号化画像１１２が出力される。
【００５８】
図１４にはウェーブレット逆変換部３８の構成を示す。図２を用いて説明したウェーブレット変換の出力である各帯域成分、LLL成分１２０、LLH成分１２１、LH成分１１９、H成分１１７を、入力端子４０、入力端子４１、入力端子４２、入力端子４３から入力すると、まずLLL成分１２０及びLLH成分１２１が、それぞれアップサンプラ４４、４４によって２倍の解像度にアップサンプルされる。引き続いて低域成分はローパスフィルタ４５、高域成分はハイパスフィルタ４６によってフィルタリングされて加算器４７において、両者の帯域成分が合成される。ここまででレベル３の逆変換が完了して、帯域成分LL１１８が得られる。次に、上記帯域成分LL１１８と入力端子４２からのLH成分１１９がそれぞれアップサンプラ４８、４８によって２倍の解像度にアップサンプルされ、引き続いて低域成分はローパスフィルタ４９、高域成分はハイパスフィルタ５０によってフィルタリングされて加算器５１において両者の帯域成分が合成される。ここまででレベル２の逆変換が完了して、帯域成分L１１６が得られる。次に、上記帯域成分L１１６と入力端子４３からのH成分１１７がそれぞれアップサンプラ５２、５２によって２倍の解像度にアップサンプルされ、引き続いて低域成分はローパスフィルタ５３、高域成分はハイパスフィルタ５４によってフィルタリングされて加算器５５において両者の帯域成分が合成される。ここまででレベル１の逆変換が完了して、出力端子５６から最終的な逆変換後の復号信号１１５が出力されることになる。以上が、通常のウェーブレット逆変換の基本構成、及び動作である。
【００５９】
【発明の効果】
以上、本発明によれば、特定領域画像を検出し、画像をウェーブレット変換して、生成されたウェーブレット変換係数の中から、被写体画像のウェーブレット変換係数をビットシフトすることによって、特定領域画像の画質を向上させることができる。
【００６０】
また、ビットシフト・アップした後、所定のビット数だけビットプレーンを切り捨てることによって、全体の符号量を同等に抑えながら符号化出来る。
【００６１】
また、ビットプレーンを切り捨てる際のビット数を変えながら、発生符号量を目標符号量に漸近させることが出来る、符号化制御を可能とする。
【００６２】
また、特定領域画像とそれ以外の画像とに対し、ビットシフトのビット数を変えることで、両者の画質制御を可能とする。
【００６３】
また、特定領域画像以外の係数をビットシフト・アップして、全体のビットプレーンを所定ビット数分だけ切り捨てることで、被写体画像を隠蔽、ボカす等を可能とする。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図２】通常のウェーブレット変換部の概略構成（レベル３まで）を示すブロック図である。
【図３】２次元画像の帯域分割（分割レベル＝２）を説明するための図である。
【図４】ビットプレーンの説明図である。
【図５】係数のスキャニング方向に関する説明図である。
【図６】係数のスキャニング方向に関する他の説明図である。
【図７】特定領域画像のビットプレーンのシフトアップに関する説明図である。
【図８】本発明の第２の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図９】切り捨て後のビットプレーンの説明図である。
【図１０】本発明の第３の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１１】本発明の第４の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１２】本発明の第５の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１３】画像復号装置の概略構成を示すブロック図である。
【図１４】通常のウェーブレット逆変換部の概略構成（レベル３まで）を示すブロック図である。
【符号の説明】
１  カメラ、２  フレームメモリ、３  特定領域画像抽出部、４  ウェーブレット変換部、５  量子化部、６  係数操作部、７  ビットプレーンスキャニング部、８  エントロピー符号化部、９  係数切り捨て部、１０  符号量計算部、１１  ビットシフト数決定部
【図１】
0003899737.tif 000002
【図２】
0003899737.tif 000003
【図３】
0003899737.tif 000004
【図４】
0003899737.tif 000005
【図５】
0003899737.tif 000006
【図６】
0003899737.tif 000007
【図７】
0003899737.tif 000008
【図８】
0003899737.tif 000009
【図９】
0003899737.tif 000010
【図１０】
0003899737.tif 000011
【図１１】
0003899737.tif 000012
【図１２】
0003899737.tif 000013
【図１３】
0003899737.tif 000014
【図１４】
0003899737.tif 000015