(57)【要約】【課題】画像のウェーブレット変換の変換係数を保持するためのメモリ容量の削減が可能な画像符号化装置を提供する。【解決手段】第１段階目のサブバンド分割を行うウェーブレット変換部１０１と、高周波数成分の量子化を行って符号量調整を行う高域量子化部１０２と、データを一時蓄積するバッファ管理部１０３とを備え、入力画像をウェーブレット変換して得た高周波数成分の変換係数に対して量子化し、さらにゼロ成分を削除することで符号量調整を行う。これにより、高周波数成分の変換係数を保持するためのメモリ容量を削減でき、バッファ管理部１０３におけるメモリ容量の削減が可能となる。【選択図】図１
2007143027.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を１枚ずつウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第１のウェーブレット変換手段と、
サブバンド分割された前記高周波数成分に対して量子化を行って符号量調整を行う高域量子化手段と、
サブバンド分割された前記低周波数成分と量子化された前記高周波数成分を一時蓄積し、画像の符号化単位となる画像枚数に達したときに出力するバッファ管理手段と、
前記バッファ管理手段の出力に対してウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第２のウェーブレット変換手段と、
前記第２のウェーブレット変換手段で得られた各サブバンド成分に対してそれぞれの専用の量子化パラメータを用いて量子化を行う量子化手段と、
量子化を行って得られた量子化係数についてフレーム間で動き補償を行うフレーム間処理手段と、
非ゼロ値の量子化係数を計数し、その計数値に基づいて目標符号化量に近づけるように前記各サブバンド成分の量子化パラメータを調整するレート制御手段と、
前記量子化手段で得られた量子化係数に対してエントロピ符号化を行いエントロピ符号化係数を得る可変長符号化手段と、
を備える画像符号化装置。
【請求項２】
前記高域量子化手段は、交互の水平ラインごとに前記バッファ管理手段の高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファをクリアして、該バッファを一杯になったライン用のバッファとして変更する請求項１に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対してウェーブレット変換を施して、高周波数から低周波数までのサブバンドに分割する画像符号化装置に関する。
【背景技術】
【０００２】
従来、上述した画像符号化装置には、動画を形成する各フィールドの圧縮率を制御するレート制御を行うものがある（例えば特許文献１参照）。特に、特許文献１で開示された手法では、画像等の情報自体が有するエントロピ値から適切な量子化ステップ値を算出することにより、適切なレート制御を可能としている。図５は、ウェーブレット変換後にレート制御を行うようにした従来の画像符号化装置の概略構成を示すブロック図である。同図に示す画像符号化装置は、入力画像に対してウェーブレット変換を施して高周波数から低周波数までのサブバンドに分割するウェーブレット変換部１と、このウェーブレット変換部１の出力係数から目標とする符号量（ビット数）に近づくように量子化ステップを見積もるレート制御部２と、上記ウェーブレット変換部１の出力係数に対して量子化を行い量子化係数を得る量子化部３と、量子化部３で得られた量子化係数に対してエントロピ符号化を行いエントロピ符号化係数を得る可変長符号化部４とから構成されており、画像１枚のウェーブレット変換の出力係数からエントロピ値を求めることで目標とする符号量に近づけるための量子化ステップを求めている。
【０００３】
一方、従来、複数チャネルが時系列に多重化された画像を符号化する画像符号化装置がある（例えば特許文献２参照）。特に、特許文献２で開示された画像処理装置は、複数チャネルの画像を含む入力からチャネルごとに分類して画像を一時保管し、ＧＯＰ（Group of Pictures）分貯まったチャネルの画像を読み出して動画像圧縮を行う。
【０００４】
【特許文献１】特開２００４−８０１６６号公報
【特許文献２】特開２００２−１６８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ウェーブレット変換後にレート制御を行うようにした従来の画像符号化装置においては、１枚の画像のウェーブレット変換の出力係数を保持するため、少なくとも１枚画像のデータサイズ×１係数あたりのビット数分のメモリを必要とし、その分コストが嵩む。
【０００６】
また、複数チャネルが時系列に多重化された画像を符号化する従来の画像符号化装置においては、チャネルごとに分類して画像を蓄積し、ＧＯＰを構成する枚数になった時点で動き補償等の時間方向の処理を行うので、チャネル数の倍数分メモリ容量が増大し、上述した画像符号化装置よりもさらにコストが嵩む。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、画像のウェーブレット変換の出力係数を保持するためのメモリ容量の削減が可能な画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は下記構成により達成される。
（１）  画像符号化装置において、入力された画像を１枚ずつウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第１のウェーブレット変換手段と、サブバンド分割された前記高周波数成分に対して量子化を行って符号量調整を行う高域量子化手段と、サブバンド分割された前記低周波数成分と量子化された前記高周波数成分を一時蓄積し、画像の符号化単位となる画像枚数に達したときに出力するバッファ管理手段と、前記バッファ管理手段の出力に対してウェーブレット変換を行い、低周波数成分と高周波数成分にサブバンド分割を行う第２のウェーブレット変換手段と、前記第２のウェーブレット変換手段で得られた各サブバンド成分に対してそれぞれの専用の量子化パラメータを用いて量子化を行う量子化手段と、量子化を行って得られた量子化係数についてフレーム間で動き補償を行うフレーム間処理手段と、非ゼロ値の量子化係数を計数し、その計数値に基づいて目標符号化量に近づけるように前記各サブバンド成分の量子化パラメータを調整するレート制御手段と、前記量子化手段で得られた量子化係数に対してエントロピ符号化を行いエントロピ符号化係数を得る可変長符号化手段と、を備える。
【０００９】
（２）  上記（１）に記載の画像符号化装置において、前記高域量子化手段は、交互の水平ラインごとに前記バッファ管理手段の高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファをクリアして、該バッファを一杯になったライン用のバッファとして変更する。
【発明の効果】
【００１０】
上記（１）に記載の画像符号化装置では、入力画像をウェーブレット変換して得た高周波数成分に対して量子化して符号量調整を行うので、高周波数成分を保持するためのメモリ容量を削減でき、従来と比較して、高周波数成分及び低周波数成分それぞれを保持するためのメモリ容量を抑制することができる。
【００１１】
上記（２）に記載の画像符号化装置では、交互の水平ラインごとに高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファをクリアして、該バッファを一杯になったライン用の高周波数成分格納バッファとして変更するので、高周波数成分の量子化と格納を継続して行うことが可能となり、画像の下方部分の高周波数成分が欠落してしまうことを抑制することができる。すなわち、高周波数成分が画像の一部に集中して欠落が生じてしまうのを抑制することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００１３】
図１は、本発明の一実施の形態に係る画像符号化装置の概略構成を示すブロック図である。図１において、本実施の形態の画像符号化装置は、ウェーブレット変換部（第１のウェーブレット変換手段）１０１と、高域量子化部（高域量子化手段）１０２と、バッファ管理部（バッファ管理手段）１０３と、ウェーブレット変換部（第２のウェーブレット変換手段）１０４と、量子化部（量子化手段）１０５と、フレーム間処理部（フレーム間処理手段）１０６と、レート制御部（レート制御手段）１０７と、可変長符号化部（可変長符号化手段）１０８とを備えて構成される。
【００１４】
ウェーブレット変換部１０１は、ウェーブレット変換を用いて第１段階目のサブバンド分割を行うものであり、入力画像１枚ごとに低周波数成分と高周波数成分にサブバンド分割を行い、低周波数成分をバッファ管理部１０３に入力し、高周波数成分を高域量子化部１０２に入力する。図２を参照してウェーブレット変換部１０１の処理の詳細について説明する。本実施の形態では、ウェーブレット変換部１０１は、水平方向の１次元ウェーブレット変換を行うものとする。図２に示すように、１枚の画像をラインごとにＯｄｄ（奇数）ラインとＥｖｅｎ（偶数）ラインとに分けて処理を行う。Ｏｄｄライン数ＮとＥｖｅｎライン数Ｍの合計は画像のライン数と同じである。例えば、Ｏ[１]、Ｅ[１]、Ｏ[２]、Ｅ[２]、…、Ｏ[Ｎ−１]、Ｅ[Ｍ−１]、Ｏ[Ｎ]、Ｅ[Ｍ]の順に１次元ウェーブレット変換を行い、低周波数成分と高周波数成分とに分割する。なお、この場合、１枚の画像がインタレース画像であって、２フィールドからなるフレームである場合は各フィールドごとにＯｄｄラインとＥｖｅｎラインを割り当ててもよいし、１フィールドをＯｄｄラインとＥｖｅｎラインに分けてもよい。
【００１５】
図１に戻り、高域量子化部１０２は、ウェーブレット変換部１０１より入力された高周波数成分に対して量子化を行って符号量調整を行う。高域量子化部１０２の処理の詳細については後述する。バッファ管理部１０３は、低周波数成分と高周波数成分を格納するためのメモリを持ち、ウェーブレット変換部１０１からの低周波数成分を低周波数成分用の格納領域に一時的に格納し、また高域量子化部１０２で量子化された高周波数成分を高周波数成分用の格納領域に一時的に格納する。バッファ管理部１０３は、画像の符号化単位となる画像枚数に達すると、各周波数成分をウェーブレット変換部１０４に入力する。以降、画像の符号化単位をＧＯＰ（Group of Pictures）と呼ぶ。
【００１６】
ここで、図３を参照してバッファ管理部１０３のメモリの割り当てについて説明する。図３は低周波数成分及び高周波数成分を格納するメモリ割り当ての概念図である。この図において、３０１は入力画像、３０２はサブバンド分割後の低周波数成分（Ｌ）、高周波数成分（Ｈ）を格納するために必要なメモリ割り当て、３０３は高周波数成分（Ｈ）を削減したときのメモリ割り当て、３０４は高周波数成分をさらにＯｄｄラインとＥｖｅｎラインの成分に分割したときのメモリ割り当てを表している。ウェーブレット変換部１０１によって入力画像３０１が低周波数成分と高周波数成分に分割されたとき、格納領域４０２は、低周波数成分（Ｌ）と高周波数成分（Ｈ）を合わせると、入力画像３０１の画素数と同じ数の係数が出力される。
【００１７】
量子化後の係数の中には「０」の係数が存在し、ランレングス符号化を用いたり、係数の位置情報を一緒に格納することによって、メモリ割り当て領域を圧縮できる。しかしながら、あらゆる入力画像に対してその圧縮可能な量を保証できないので、従来の画像符号化装置では、３０２のように入力画像の画素数と同じ数の係数を格納できるだけの容量を確保するようにしている。これに対し、本実施の形態では、高周波数成分の格納領域を３０３のように削減し、さらに３０４のようにその領域をＯｄｄライン成分用（ＯｄｄＨ）と、Ｅｖｅｎライン用（ＥｖｅｎＨ）とに２分割するようにしている。
【００１８】
図１に戻り、ウェーブレット変換部１０４は、低周波数成分について第２段階以降のサブバンド分割を行う。このサブバンド分割には、例えば２次元ウェーブレット変換を用いる。なお、このとき、ブロックもしくはタイルと呼ばれる小領域に分割して２次元ウェーブレット変換を行うようにしてもよい。量子化部１０５は、各サブバンド用の量子化パラメータを用いて量子化を行う。この場合、量子化部１０５は、各サブバンド用としての量子化パラメータを有している。なお、高周波数成分については、高域量子化部１０２で用いられた量子化ステップより大きい量子化ステップになったときのみ、再量子化を行うようにしてもよい。また、再量子化による丸め誤差による影響を減らすため、高域量子化部１０２では量子化を行わず、閾値を用いて閾値未満の係数を破棄するようにしてもよい。このとき、閾値は量子化ステップ以下の値が望ましい。なお、量子化を行わないことからメモリ容量の削減の点で不利であるので、量子化する方が好ましい。
【００１９】
フレーム間処理部１０６は、複数枚の画像の処理によって変換を行う。この場合、量子化部１０５で量子化が行われて得られた量子化係数について、フレーム間で時間方向のウェーブレット変換、もしくはＭＰＥＧ（Moving Picture Expert Group）で用いられるような動き補償処理を行う。レート制御部１０７は、目標とする符号量に近づけるように量子化ステップを変更するものであり、ゼロでない（非０の）量子化係数をカウントし、そのカウント値に基づいて目標符号量に近づけるように各サブバンド成分の量子化パラメータを調整する。この場合、カウント値にはバッファ管理部１０３で格納された高周波数成分の情報も含まれる。
【００２０】
レート制御部１０７で行われる量子化パラメータの調整は、図１の点線で示すように、画像全体に対するフレーム間処理部１０６の出力結果を用いて行い、調整結果の量子化パラメータを用いて、再度、ウェーブレット変換部１０４、量子化部１０５及びフレーム間処理部１０６で処理して目標符号量に近づけてもよい。もしくは、次回の量子化部１０５のパラメータとして反映してもよい。また、処理量を減らすために一部の小領域のみをウェーブレット変換部１０４、量子化部１０５及びフレーム間処理部１０６で処理して用いて量子化パラメータを算出し、再度、全体のウェーブレット変換部１０４、量子化部１０５及びフレーム間処理部１０６の処理を行ってもよい。可変長符号化部１０８は、２回目の処理結果に対し、エントロピ符号化を行い、その結果を出力する。可変長符号化としては、例えばハフマン符号化などが用いられる。
【００２１】
次に、本実施の形態の画像符号化装置の動作について説明する。まず、入力画像がウェーブレット変換部１０１に入力されて、画像１枚ごとにサブバンド分割が行われ、低周波数成分がバッファ管理部１０３に入力されて低周波数成分用の格納領域に一時的に格納される。一方、サブバンド分割された高周波数成分は高域量子化部１０２に入力されて、高周波数成分用の第１段階に用いる量子化ステップを用いた量子化が行われ、さらにゼロ（０）成分が削除されてデータ量の削減が行われる。この場合、予め決められたデータ量を超える場合には量子化済みデータの一部が破棄されて、高周波数成分の目標データ量以下に抑えられる。高域量子化部１０２で量子化された高周波数成分はバッファ管理部１０３に入力されて、バッファ管理部１０３の高周波数成分用の格納領域に一時的に格納される。
【００２２】
高域量子化部１０２の詳細な動作は、図４に示すフロー図のようになる。すなわち、まずウェーブレット変換部１０１から入力された高周波数成分の変換係数を量子化する（ステップＳＴ４０１）。次いで、量子化後の値が「０」か否かを判定し（ステップＳＴ４０２）、「０」ならばステップ４０１に戻り、次の変換係数の量子化を行う。「０」でないならば、係数カウントに「１」を加算する（ステップＳＴ４０３）。次いで、高周波数成分格納用バッファＯｄｄラインならばＯｄｄＨ、ＥｖｅｎラインならばＥｖｅｎＨの格納可能上限に係数カウントが達したかどうかを判定する（ステップＳＴ４０４）。達していないならばステップＳＴ４０８へ移行し、達したならばステップＳＴ４０５へ移行する。
【００２３】
ステップＳＴ４０５では、入力係数がＯｄｄラインかＥｖｅｎラインかを判定する。Ｏｄｄラインならば、Ｅｖｅｎラインのバッファ格納済みの係数を破棄し、以降のＯｄｄラインの出力係数をＥｖｅｎライン用バッファＥｖｅｎＨに格納するようにバッファ管理部１０３に通知し、Ｅｖｅｎラインの係数カウントを「０」に戻す。Ｅｖｅｎラインならば、Ｏｄｄラインのバッファ格納済みの係数を破棄し、以降のＥｖｅｎラインの出力係数をＯｄｄライン用バッファＯｄｄＨに格納するようにバッファ管理部１０３に通知し、Ｏｄｄラインの係数カウントを「０」に戻す。次いで、非０の係数をバッファ管理部１０３へ出力する（ステップＳＴ４０８）。
【００２４】
最後に、すべてのラインを終了したか（ステップＳＴ４０９）、もしくはＥｖｅｎＨとＯｄｄＨの両方のバッファが一杯になったとき、高周波数域の量子化処理を終了する。なお、ステップＳＴ４０６もしくはステップＳＴ４０７は１枚の画像の処理につきいずれか１回のみ実行するものとし、ステップＳＴ４０６もしくはステップＳＴ４０７を実行した後は、バッファが一杯になってもバッファクリアは行わず、係数を破棄するようにする。このような処理によって、高周波数域用のバッファが一杯になった場合、１ラインおきに格納するように変更することによって、画面の途中で高域成分が消失してしまうことを防ぐことができる。このとき高周波数域の格納領域Ｈ（図３の３０３のＨ部分）は、従来の必要な最大容量（３０２のＨ部分）領域の半分あれば十分であり、それ以下にしてもよい。
【００２５】
なお、一方のライン用の高域格納バッファが一杯になり、高周波数成分を１ラインごとにしか格納できない場合、復号化を行うときに高周波数成分に対して垂直方向の補間フィルタによって補間するか、もしくはデコード出力後の画像に低域通過フィルタを適用してもよい。もしくは、表示のとき高解像度の画像を表示したい場合は、高周波数成分の存在するフィールドのみを表示し、表示レートを高くしたい場合は、高周波数成分をカットして全フィールドを表示するようにしてもよい。
【００２６】
このように、高域量子化部１０２は、サブバンド分割された高周波数成分を、高周波数成分用の第１段階に用いる量子化ステップを用いて量子化を行い、さらに０成分を削除してデータ量の削減を行う。次に、バッファ管理部１０３において、入力画像が画像の符号化単位となる画像枚数に達すると、ウェーブレット変換部１０４にて第２段階以降のサブバンド分割が行われる。そして、量子化部１０５において、各サブバンド用の量子化パラメータが用いられて量子化が行われる。そして、フレーム間処理部１０６において、量子化によって得られた量子化係数について、フレーム間で時間方向のウェーブレット変換もしくはＭＰＥＧで用いられるような動き補償処理が行われる。次に、レート制御部１０７において、非０の係数がカウントされ、そのカウント値に基づいて目標符号量に近づけるように各サブバンド成分の量子化パラメータの調整が行われる。そして、可変長符号化部１０８において、２回目の処理結果に対し、エントロピ符号化が行われる。
【００２７】
以上のように、サブバンド分割を行うことによって高周波数成分と低周波数成分に分けて符号化を行うとき、高周波数成分を量子化し、さらにゼロ（０）成分を削除して、バッファ管理部１０３におけるメモリの使用量を抑える。特に、複数チャネルのタイムラプス記録を行う画像記録装置のように、複数チャネルが時系列に多重化された入力を符号化する場合、ＧＯＰ分の画像枚数が蓄積されるまでフレーム間処理する前の中間データを保持する必要がある画像符号化や、もしくは一時記録可能な監視カメラ等で複数の画像を保持する必要がある装置に適用することで、符号化の中間データを蓄積するためのメモリ使用量を抑制でき、有用である。
【００２８】
このように本実施の形態の画像符号化装置によれば、入力画像をウェーブレット変換して得た高周波数成分に対して量子化し、さらにゼロ（０）成分を削除して符号量調整を行うので、画像のウェーブレット変換の変換係数を保持するためのバッファ管理部１０３におけるメモリ容量の削減が可能となる。
【００２９】
また、高域量子化部１０２は、交互の水平ラインごとに高周波数成分の格納先を変更し、一方のライン用の高周波数成分格納バッファが一杯になったとき、もう一方のライン用の高周波数成分格納バッファの内容をクリアして、一杯になったライン用のバッファとして変更するようにすることによって、高周波数成分用のバッファの一方が一杯になることによって、ウェーブレット変換と量子化処理が後に行われる画像の下方部分の高周波数成分が欠落してしまうのを抑制することができる。
【００３０】
本発明は、複数チャネルが時系列に多重化された入力を符号化して記録を行う画像記録装置のような符号化の中間データを多数保持する必要のある画像符号化装置等として有用である。
【産業上の利用可能性】
【００３１】
本発明は、１枚の画像のウェーブレット変換の出力係数を保持するためのメモリ容量を削減できるといった効果を有し、ＪＰＥＧ２０００などの画像圧縮の国際標準を採用した画像符号化装置等への適用が可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施の形態に係る画像符号化装置の概略構成を示すブロック図
【図２】本発明の上記実施の形態に係る画像符号化装置のウェーブレット変換部におけるウェーブレット変換を行う順序を説明するための概念図
【図３】本発明の上記実施の形態に係る画像符号化装置における低周波数成分及び高周波数成分を格納するメモリ割り当ての概念図
【図４】本発明の上記実施の形態に係る画像符号化装置の高域量子化部の動作を説明するためのフロー図
【図５】従来の画像符号化装置の概略構成を示すブロック図
【符号の説明】
【００３３】
１０１  ウェーブレット変換部
１０２  高域量子化部
１０３  バッファ管理部
１０４  ウェーブレット変換部
１０５  量子化部
１０６  フレーム間処理部
１０７  レート制御部
１０８  可変長符号化部
【図１】
2007143027.tif 000003
【図２】
2007143027.tif 000004
【図３】
2007143027.tif 000005
【図４】
2007143027.tif 000006
【図５】
2007143027.tif 000007