(57)【特許請求の範囲】
【請求項１】
入力された重ね合わせ用画像の画像データをＭ×Ｎ（Ｍ、Ｎは自然数）のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値と最小値を算出する信号レベル範囲算出手段と、得られた画素値の最大値および最小値からブロックの画素の基準レベルおよびブロック内の画素値変動幅を算出する符号化準備手段と、同じく得られた画素値の最大値および最小値から変換する符号の種類数に対応して階調レベルを分割するための画素値の量子化閾値を計算する量子化閾値計算手段と、上記ブロック内の各画素の階調レベルが上記量子化閾値にて決定される複数の範囲のいずれの範囲に含まれるかにより、それぞれの範囲に対応する固有の符号に各画素の階調レベルを置き換え、複数画像を重ねて合成する場合には、透過して下地画像のデータを出力する画素については上記の符号と異なる種類の固有の符号を割り当てる量子化手段と、ブロック内画素の基準レベル、画素値変動幅、個々の画素に割り当てられた符号をまとめて符号化データとする符号化データ作成手段とを備えた装置であって、
上記符号化準備手段は、ブロックの画素の基準レベルおよびブロック内の画素値変動幅を算出して出力するとともにブロック内にデータを透過する画素が含まれるか否かの信号をブロック内の画素値変動幅の信号に含めて出力し、
上記量子化閾値計算手段は、ブロック内にデータを透過する画素が含まれる場合は、諧調レベルをｎ段階に分割するための閾値を、ブロック内にデータを透過する画素が含まれない場合は、階調レベルを（ｎ＋１）段階に分割する閾値をそれぞれ求め、
上記量子化手段は、ブロック内にデータを透過する画素が含まれる場合は、透過する画素を示す符号またはｎ段階の階調レベルのいずれかを示す符号を画素毎に割り当て、ブロック内にデータを透過する画素が含まれない場合は、（ｎ＋１）段階の階調レベルを示す符号を画素毎に割り当てことを特徴とする画像符号化装置。
【請求項２】
入力された下地画像のデータをＭ×Ｎ（Ｍ、Ｎは自然数）のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値と最小値を算出する信号レベル範囲算出手段と、得られた画素値の最大値および最小値からブロックの画素の基準レベルおよびブロック内の画素値変動幅を算出する符号化準備手段と、同じく得られた画素値の最大値および最小値から変換する符号の種類数に対応して階調レベルを分割するための画素値の量子化閾値を計算する量子化閾値計算手段と、上記ブロック内の各画素の階調レベルが上記量子化閾値にて決定される複数の範囲のいずれの範囲に含まれるかにより、それぞれの範囲に対応する固有の符号に各画素の階調レベルを置き換える量子化手段と、ブロック内画素の基準レベル、画素値変動幅、個々の画素に割り当てられた符号をまとめて符号化データとする符号化データ作成手段とを備えた装置であって、
上記画素値基準レベル信号の１ビットを下地画像のデータであることを示すフラグに用いられ、請求項１記載の画像符号化装置により符号化された重ね合わせ用画像に用いられる下地画像用の画像符号化装置。
【請求項３】
重ね合わせ用画像の画像データがＭ×Ｎ（Ｍ、Ｎは自然数）のブロック毎に分割されて符号化され、ブロック内画素の基準レベル、画素値変動幅、複数画像を重ねて合成する場合の下地画像データが透過して出力された画素と複数画像を重ねない場合の画素に割り当てられた異なる種類の符号がまとめられた符号化データを入力して画像データを復号化する画像復号化装置であって、
各ブロックの画素基準レベル、画素値変動幅から、各画素の符号に対応する階調レベルを算出する階調レベル算出手段と、各画素の符号を階調レベルに置き換える階調レベル割り当て手段とを有し、
上記階調レベル算出手段は、各ブロックの画素基準レベル、画素値変動幅から、各画素の符号に対応する階調レベルを算出するとともに、ブロック符号化データ中の画素値変動値幅のデータに含まれるフラグにより該当ブロックがデータを透過する画素を含むかどうかを判定し、該当ブロックがデータを透過する画素を含む場合には、ｎ種類の符号に対応する階調レベルの算出を行い、該当ブロックがデータを透過する画素を含まない場合には、（ｎ＋１）種類の符号に対応する階調レベルの算出を行い、
上記階調レベル割り当て手段は、該当ブロックがデータを透過する画素を含む場合には、画素の符号が透過出力を示すものであった場合に、該当画素の階調レベルを下地となる別画像の該当画素階調レベルによって置き換えるとともに、それ以外の場合には階調レベル算出手段によって算出されたｎ種類の符号と階調レベルの対応に従って、各画素の符号を階調レベルに置き換え、該当ブロックがデータを透過する画素を含まない場合には階調レベル算出手段によって算出された（ｎ＋１）種類の符号と階調レベルの対応に従って、各画素の符号を階調レベルに置き換えることを特徴とする画像復号化装置。
【請求項４】
重ね合わせ用画像の符号化データに加えて、下地画像データがＭ×Ｎ（Ｍ、Ｎは自然数）のブロック毎に分割されて符号化され、ブロック内画素の基準レベル、画素値変動幅、各画素の符号が纏められた符号化データがさらに入力され、この下地画像の符号化データの、画素値基準レベル信号の１ビットは下地画像のデータを判別するフラグに用いられ、
入力された符号化データが下地画像であった場合にはデータを備えられたバッファ領域に一旦格納し、透過処理を行う重ね合わせ用画像が入力された際バッファ領域に格納された下地画像のデータとの組み合わせにより復号化する請求項３に記載の画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、特に重ね合わせ用画像を透過して下地画像を表示する画像合成装置に用いられる画像符号化および画像復号化技術に関する。
【背景技術】
【０００２】
近年、画像と画像を重ね合わせることによって、写真や映像の上に字幕情報や他の画像データを表示させる方法が一般に行われている。重ね合わせ処理を行うためには、複数の画像を用意し、一方を下地用画像、他方を重ね合わせ用画像とした上で、重ね合わせ用画像に関しては、画素毎に該画素を透過して下地を表示するか否かのフラグを用意し、フラグが非透過を示す場合には重ね合わせ用画像のデータを、フラグが透過を示す場合には下地画像のデータを出力する、という切り替え処理を行う必要がある。
【０００３】
この重ね合わせ処理を前提とする画像の符号化方式の一つとして、特開２００５−４５４５２号公報（特許文献１）に開示されている方法は下記のようなものである。すなわち画像データを複数のブロックに分割し、各ブロックにおける画素値の基準レベルが所定の値であった場合は、データの透過処理に対応する箇所と見なして該当ブロックのデータについて下地データを選択する。ブロックの画素値基準レベルがそれ以外の値であった場合には、該当ブロックのデータをそのまま復号化し出力データとする。
【０００４】
【特許文献１】特開２００５−４５４５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に挙げた画像処理装置では、画像の重ね合わせを行うかどうかの判定をブロック単位で行うため、重ね合わせ用画像を透過させ、下地画像を表示する箇所についてブロック単位での指定しか行うことができない。そのため、細かい文字やパターンを重ね合わせ画像に重ねて表示しようとする場合には、本来透過処理を行いたい画素について透過処理を行うことができず、画像が不自然になってしまう問題がある。
この発明はブロック単位での符号化の際に、透過処理を行う画素を考慮して符号を構成することにより、画素単位での透過処理を可能とするためのものである。
【課題を解決するための手段】
【０００６】
この発明に係る画像符号化装置は、
入力された重ね合わせ用画像の画像データをＭ×Ｎ（Ｍ、Ｎは自然数）のブロックに分割するブロック分割手段と、当該ブロックにおける画素値の最大値と最小値を算出する信号レベル範囲算出手段と、得られた画素値の最大値および最小値からブロックの画素の基準レベルおよびブロック内の画素値変動幅を算出する符号化準備手段と、同じく得られた画素値の最大値および最小値から変換する符号の種類数に対応して階調レベルを分割するための画素値の量子化閾値を計算する量子化閾値計算手段と、上記ブロック内の各画素の階調レベルが上記量子化閾値にて決定される複数の範囲のいずれの範囲に含まれるかにより、それぞれの範囲に対応する固有の符号に各画素の階調レベルを置き換え、複数画像を重ねて合成する場合には、透過して下地画像のデータを出力する画素については上記の符号と異なる種類の固有の符号を割り当てる量子化手段と、ブロック内画素の基準レベル、画素値変動幅、個々の画素に割り当てられた符号をまとめて符号化データとする符号化データ作成手段とを備えた装置であって、
上記符号化準備手段は、ブロックの画素の基準レベルおよびブロック内の画素値変動幅を算出して出力するとともにブロック内にデータを透過する画素が含まれるか否かの信号をブロック内の画素値変動幅の信号に含めて出力し、
上記量子化閾値計算手段は、ブロック内にデータを透過する画素が含まれる場合は、諧調レベルをｎ段階に分割するための閾値を、ブロック内にデータを透過する画素が含まれない場合は、階調レベルを（ｎ＋１）段階に分割する閾値をそれぞれ求め、
上記量子化手段は、ブロック内にデータを透過する画素が含まれる場合は、透過する画素を示す符号またはｎ段階の階調レベルのいずれかを示す符号を画素毎に割り当て、ブロック内にデータを透過する画素が含まれない場合は、（ｎ＋１）段階の階調レベルを示す符号を画素毎に割り当てる。
【０００７】
この発明に係る画像符号化装置は、
重ね合わせ用画像の画像データがＭ×Ｎ（Ｍ、Ｎは自然数）のブロック毎に分割されて符号化され、ブロック内画素の基準レベル、画素値変動幅、複数画像を重ねて合成する場合の下地画像データが透過して出力された画素と複数画像を重ねない場合の画素に割り当てられた異なる種類の符号がまとめられた符号化データを入力して画像データを復号化する画像復号化装置であって、
各ブロックの画素基準レベル、画素値変動幅から、各画素の符号に対応する階調レベルを算出する階調レベル算出手段と、各画素の符号を階調レベルに置き換える階調レベル割り当て手段とを有し、
上記階調レベル算出手段は、各ブロックの画素基準レベル、画素値変動幅から、各画素の符号に対応する階調レベルを算出するとともに、ブロック符号化データ中の画素値変動値幅のデータに含まれるフラグにより該当ブロックがデータを透過する画素を含むかどうかを判定し、該当ブロックがデータを透過する画素を含む場合には、ｎ種類の符号に対応する階調レベルの算出を行い、該当ブロックがデータを透過する画素を含まない場合には、（ｎ＋１）種類の符号に対応する階調レベルの算出を行い、
上記階調レベル割り当て手段は、該当ブロックがデータを透過する画素を含む場合には、画素の符号が透過出力を示すものであった場合に、該当画素の階調レベルを下地となる別画像の該当画素階調レベルによって置き換えるとともに、それ以外の場合には階調レベル算出手段によって算出されたｎ種類の符号と階調レベルの対応に従って、各画素の符号を階調レベルに置き換え、該当ブロックがデータを透過する画素を含まない場合には階調レベル算出手段によって算出された（ｎ＋１）種類の符号と階調レベルの対応に従って、各画素の符号を階調レベルに置き換える。
【発明の効果】
【０００８】
この発明の画像符号化装置によれば、ブロックに分割された各画素に符号を割り当てる際、透過処理を行う画素には、透過処理の画素を示す個別の符号を使用するため、画素単位での細かい透過処理に対応した符号化データを作成することが可能である。
また、透過処理を考慮しない場合に使用される符号の種類のうちの一つを透過処理対応画素を示す符号として使用するため、透過処理を考慮する場合でも符号化データのデータ長を、透過処理を考慮しない場合と同様の一定値に保つことが可能である。
【０００９】
また、この発明の画像復号化装置によれば、復号化を行う際に、透過処理を行う画素を示す個別の符号に対応し下地データを参照するため、画素単位での細かい透過処理をおこなった復号化画像データを作成することが可能である。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１である画像符号化装置を示す構成図である。図１において、１は画像データをＭ×Ｎ（Ｍ、Ｎは自然数）のブロックに分割するためのブロック分割手段、２は分割されたブロック内の画素について階調レベルの最大値および最小値を算出するための信号レベル範囲算出手段、３は階調レベルの最大値および最小値からブロック内の画素の基準レベルと画素値変動幅を算出するための符号化準備手段、４は画素の基準レベルと画素値変動幅から量子化の際の閾値を算出する量子化閾値計算手段、５は各画素の階調レベルに対応して量子化された符号を割り当てるための量子化手段、６は算出されたブロック内画素の基準レベル、画素値変動幅、個々の画素に割り当てられた符号をまとめて符号化データとするための符号化データ作成手段である。
【００１１】
次に動作について説明する。図２はこの実施の形態１である画像符号化装置における画像の処理方法を示すフローチャートである。まずブロック分割手段１によって入力された画像データをＭ×Ｎ（Ｍ、Ｎは自然数）のブロックに分割する（ステップＳＴ１）。ここでは各ブロックが水平４画素、垂直４画素の１６画素から成る場合について説明する。
分割されたブロックのうち、符号化処理を行っていないブロックを一つ選択する（ステップＳＴ２）。
【００１２】
信号レベル範囲算出手段２において、選択されたブロックの各画素の階調レベルから階調レベルの最大値Ｌmaxおよび最小値Ｌminを求める（ステップＳＴ３）。
符号化準備手段３では、ブロック内の画素階調レベルの最大値Ｌmaxおよび最小値Ｌmin、そしてブロック内の画素階調レベルの分布からブロックの画素基準レベルＬＡおよび画素値変動幅ＬＤを求める（ステップＳＴ４）。
画素基準レベルＬＡおよび画素値変動幅ＬＤの算出方法を下記に示す。
まず画素基準レベルＬＡ、画素値変動幅ＬＤ算出のための参照画素を決める閾値Ｐ１、Ｐ２を（式１）、（式２）で求める。
Ｐ１＝（Ｌmax＋３Ｌmin）／４  ・・・  （式１）
Ｐ２＝（３Ｌmax＋Ｌmin）／４  ・・・  （式２）
【００１３】
ここで閾値Ｐ１およびＰ２はＬmax、Ｌminを加重平均した値として求めるが、この時、加重平均に適用する係数は、画像の階調レベル分布状態や各画素の階調レベル変換の際割り当てられるビット数、本技術を適用するシステムの画像の特性に応じて量子化誤差がなるべく小さくなる値を選択することが可能である。ただし、その際符号化時と復号化時で同一の係数を前提とした処理が行われるよう、同一システム内では単一の係数に統一するか、あるいは符号化データにフラグを設け、使用した係数を区別するための仕組みが必要となる。
【００１４】
ブロック内に含まれる画素の階調レベルＸij（０≦ｉ，ｊ＜４）について、
Ｘij ≦Ｐ１ を満たす画素の階調レベル平均値をＱmin
Ｘij ＞Ｐ２ を満たす画素の階調レベル平均値をＱmax
とする。
【００１５】
ＱminおよびＱmaxの値を用い、下記の（式３）、（式４）にて画素基準レベルＬＡおよび画素値変動幅ＬＤの値を求める。
ＬＡ＝（Ｑmin＋Ｑmax）／２  ・・・  （式３）
ＬＤ＝（Ｑmax―Ｑmin）      ・・・  （式４）
【００１６】
量子化閾値計算手段４において、各画素の階調レベルを符号に変換するための閾値を算出する（ステップＳＴ５）。閾値の数は階調レベルを変換する符号に割り当てられるビット数に対応させる必要がある。ここでは一つの画素に割り当てる符号を２ビットとする場合について述べる。画素に割り当てる符号を２ビットとする場合、各画素に対して４種類の状態を割り当てることが可能となる。このうち１種類を透過処理を行う画素を示す状態に割り当てるため、階調レベルに対応する符号は残る３種類となる。よって階調レベルを３種類の符号に対応する３つの範囲に分割するための閾値としてＬ１、Ｌ２の２つの値が必要となる。
【００１７】
閾値Ｌ１、Ｌ２の値はステップＳＴ４にて求めた画素基準レベルＬＡ、画素値変動幅ＬＤの値に基づき、下記（式５）、（式６）のようにＬＡからＬＤの一定比率の値を加算または減算することによって求める。
Ｌ１＝ＬＡ−ＬＤ／４  ・・・  （式５）
Ｌ２＝ＬＡ＋ＬＤ／４  ・・・  （式６）
【００１８】
この時、画素値変動幅ＬＤの値に適用する比率は、ここでは１／４としているが、画像の階調レベル分布状態や本技術を適用するシステムの画像の特性に応じて量子化誤差がなるべく小さくなる値を選択することが可能である。ただし、その際符号化時と復号化時で同一の係数を前提とした処理が行われるよう、同一システム内では単一の係数に統一するか、あるいは符号化データにフラグを設け、使用した係数を区別するための仕組みが必要となる。
ここで図４に（式５）および（式６）を適用した場合の符号化閾値分布および復号化時の信号レベル分布を示す。図３は透過画素を考慮せず、各画素の階調レベルを４種類の符号に対応させる従来の符号化方式における信号レベル分布を示している。図４では図３に示す従来の符号化方式に対して割り当てられる階調レベルが減少する（４つから３つ）ため、復号化された画像の階調再現性は低下する。
【００１９】
また、画素に割り当てる符号を３ビットとした場合には、各画素に対して８種類の状態を割り当てることが可能となり、うち１種類を透過処理を行う画素を示す状態に割り当てるため、階調レベルに対応する符号は残る７種類となる。よって階調レベルを７種類の符号に対応する７つの範囲に分割するための閾値としてＬ１からＬ６の６つの値が必要となる。下記（式７）から（式１２）に演算式の一例を示す。
【００２０】
Ｌ１＝ＬＡ−ＬＤ×３／８  ・・・  （式７）
Ｌ２＝ＬＡ−ＬＤ／４      ・・・  （式８）
Ｌ３＝ＬＡ−ＬＤ／８      ・・・  （式９）
Ｌ４＝ＬＡ＋ＬＤ／８      ・・・  （式１０）
Ｌ５＝ＬＡ＋ＬＤ／４      ・・・  （式１１）
Ｌ６＝ＬＡ＋ＬＤ×３／８  ・・・  （式１２）
【００２１】
選択されたブロック内で未処理となっている画素の一つを選択する（ステップＳＴ６）。
量子化手段５では、選択した画素が透過処理を行う画素かどうかを確認する（ステップＳＴ７）。入力画像において透過処理を行う画素のデータについては、入力画像と共にあらかじめ決定されているものとする。
ステップＳＴ７において選択画素が透過処理を行う画素ではなかった場合、選択画素の階調レベルに対応してステップＳＴ５で求めた閾値Ｌ１、Ｌ２から構成される領域のうちどの領域に含まれるかを判定し、符号を割り当てる（ステップＳＴ８）。符号に割り当てるビット数を２ビットとする場合の割り当て方法の一例を下記に示す。選択画素の階調レベルＸij、対応する符号をφijとして、
Ｘij≦Ｌ１  のとき        φij＝００（２進数）  ・・・  （式１３）
Ｌ１＜Ｘij≦Ｌ２  のとき  φij＝０１（２進数）  ・・・  （式１４）
Ｌ２＜Ｘij  のとき        φij＝１０（２進数）  ・・・  （式１５）
【００２２】
ステップＳＴ７において選択画素が透過処理を行う画素であった場合は、選択画素の階調レベルにかかわらず、透過処理を行う画素であることを示す符号を割り当てる（ステップＳＴ９）。ステップＳＴ８で挙げた符号の割り当て例の場合、ステップＳＴ９で割り当てる符号はステップＳＴ８の例で使用されていない‘１１’（２進数）とする。
φij＝１１（２進数）  ・・・  （式１６）
【００２３】
次に、選択されたブロックに未処理画素があるかどうか確認する（ステップＳＴ１０）。未処理画素がある場合はステップＳＴ６からの動作を繰り返す。未処理画素がない場合はステップＳＴ１１の処理に移る。
ステップＳＴ１１では、入力画像データに未処理ブロックがあるかどうか確認する。未処理ブロックがある場合はステップＳＴ２からの動作を繰り返す。未処理画素がない場合はステップＳＴ１２の処理に移る。
【００２４】
全てのブロックおよび全ての画素に関する処理が完了した状態で、符号化データ作成手段６においてブロック毎の画素基準レベルＬＡおよび画素値変動幅ＬＤ、画素毎の符号φijを組み合わせ、符号化データを作成する（ステップＳＴ１２）。図５は本実施の形態におけるブロック毎の符号化データの構成を示す。
【００２５】
上記のように本実施の形態では、ブロックに分割された各画素に符号を割り当てる際、透過処理を行う画素には、透過処理の画素示す個別の符号を使用するため、画素単位での細かい透過処理に対応した符号化データを作成することが可能である。
また、透過処理を考慮しない場合に使用される符号の種類のうちの一つを透過処理対応画素を示す符号として使用するため、透過処理を考慮する場合でも符号化データのデータ長を、透過処理を考慮しない場合と同様の一定値に保つことが可能である。入力画像のデータ幅を８ビットとした場合、各ブロックの画素基準レベルＬＡおよび画素値変動幅ＬＤにはそれぞれ入力データのデータ幅と同じ８ビットを割り当て、画素毎の符号化データとしては２ビットを割り当てる。ブロック当たりのデータ量は圧縮前で８ビット×１６画素＝１６バイトであり、圧縮後は８ビット＋８ビット＋２ビット×１６画素＝６バイトとなるため圧縮率は３／８となる。
【００２６】
実施の形態２．
透過処理を行う画素を示すフラグとして、量子化された符号の内の１階調ではなく１ビットを割り当てる場合の実施の形態について説明する。この場合の画像符号化装置を示す構成図は図１と同様であり、量子化閾値計算手段４および量子化手段５で行う処理の内容が実施の形態１とは異なる。
図６はこの発明の実施の形態２である画像符号化装置における画像の処理方法を示すフローチャートである。
【００２７】
以下、本実施の形態の処理方法について、実施の形態１と異なる処理を主体に説明する。
量子化閾値計算手段４では、各画素の階調レベルを符号に変換するための閾値Ｌ１を算出する（ステップＳＴ５）。閾値の数は階調レベルを変換する符号に割り当てられるビット数に対応させる必要がある。本実施の形態では、各画素に割り当てる符号のうち１ビットを透過処理を行うかどうかのフラグに使用するため、ここでは一つの画素について階調レベルの変換に割り当てる符号を１ビットとし、各画素に割り当てる符号量を実施の形態１と同じく２ビットとする場合について説明する。
【００２８】
画素に割り当てる符号を１ビットとする場合、各画素に対して２種類の状態を割り当てることができる。階調レベルを２種類の符号に対応する２つの範囲に分割するための閾値として一つの閾値Ｌ１が必要となる。閾値が一つとなる場合には画素値分布の中心となる画素基準レベルＬＡの値をＬ１として使用する。
Ｌ１＝ＬＡ  ・・・  （式１７）
なお、ここでは各画素に割り当てる符号量を２ビットとし、階調レベルの変換に割り当てる符号を１ビットとしたが、各画素に割り当てる符号量を３ビットとし、階調レベルの変換に割り当てる符号を２ビットとするような符号化方式をとることも可能である。この場合には各画素に対して４種類の状態を割り当てることができるので、閾値として３つの値を算出する必要がある。
【００２９】
量子化手段５では、ステップＳＴ６で選択した画素が透過処理を行う画素かどうかを確認する（ステップＳＴ７）。入力画像において透過処理を行う画素のデータについては、入力画像と共にあらかじめ決定されているものとする。
ステップＳＴ７において選択画素が透過処理を行う画素ではなかった場合、選択画素に対応する１ビットの透過処理対応フラグを０に設定する（ステップＳＴ１３ａ）。
ステップＳＴ７において選択画素が透過処理を行う画素であった場合は、選択画素に対応する１ビットの透過処理対応フラグを１に設定する（ステップＳＴ１３ｂ）
【００３０】
選択画素が透過処理を行う画素かどうかに関わらず、選択画素の階調レベルに対応してステップＳＴ５で求めた閾値から構成される領域のうちどの領域に含まれるかを判定し、符号を割り当てる（ステップＳＴ８）。符号に割り当てるビット数を１ビットとする場合の割り当て方法の一例を下記に示す。選択画素の階調レベルＸij、対応する符号をφijとして、
Ｘij≦Ｌ１  のとき    φij＝０（２進数）  ・・・  （式１８）
Ｌ１＜Ｘij  のとき    φij＝１（２進数）  ・・・  （式１９）
他の部分の動作については実施の形態１における図２と同様である。
図７は式１７を適用した場合の符号化閾値分布および復号化時の信号レベル分布を示す。また、図８は本実施の形態におけるブロック毎の符号化データの構成を示したものである。
【００３１】
上記のように本実施の形態では、ブロックに分割された各画素に符号を割り当てる際、透過処理対応フラグと階調レベルの変換に割り当てる符号を独立して保持する構成としているため、透過処理に対応する画素に関しても画素値を参照できる。よって、例えば透過画素における透過率を１００％とせず、下地画像に対して透過率５０％で半透明重ね合わせ処理を行うような処理に対応することが可能である。
【００３２】
実施の形態３．
ブロック毎にデータを透過する画素が含まれるかどうかを判定し、符号化処理方法の切り替えを行う場合の実施の形態について説明する。この場合の画像符号化装置を示す構成図は図１と同様であり、符号化準備手段３、量子化閾値計算手段４、量子化手段５および符号化データ作成手段６で行う処理の内容が実施の形態１とは異なる。
【００３３】
図９はこの発明の実施の形態３である画像符号化装置における画像の処理方法を示すフローチャートである。図９における画像符号化装置の動作について実施の形態１と異なる処理を主に説明する。
符号化準備手段３では、ブロック内の画素階調レベルの最大値Ｌmaxおよび最小値Ｌminを算出（ステップＳＴ３）、そしてブロック内の画素階調レベルの分布からブロックの画素基準レベルＬＡおよび画素値変動幅ＬＤを求める（ステップＳＴ４）。画素基準レベルＬＡおよび画素値変動幅ＬＤの算出方法については実施の形態１と同様である。
またこの際、符号化準備手段３で該当ブロック内に透過処理を行う画素が含まれるかどうかの確認を行う（ステップＳＴ１４）。
ステップＳＴ１４にてブロック内に透過処理を行う画素が含まれる場合は、量子化閾値計算手段４において、実施の形態１と同様に階調レベルに対して３種類の符号を割り当てるため、閾値としてＬ１、Ｌ２の２つの値を算出する（ステップＳＴ５）。算出方法は実施の形態１における（式５）および（式６）と同様である。
【００３４】
ステップＳＴ１４にてブロック内に透過処理を行う画素が含まれない場合、量子化閾値計算手段４において、透過処理を行うための符号を考慮せず、階調レベルに対して４種類の符号を割り当てる。このため閾値としてＬ１、Ｌ２、Ｌ３の３つの値を算出する（ステップＳＴ１５）。下記（式２０）から（式２２）に演算式の一例を示す。
Ｌ１＝ＬＡ−ＬＤ／４  ・・・  （式２０）
Ｌ２＝ＬＡ            ・・・  （式２１）
Ｌ３＝ＬＡ＋ＬＤ／４  ・・・  （式２２）
【００３５】
また、ステップＳＴ１４にてブロック内に透過処理を行う画素が含まれる場合、量子化手段５における処理は実施の形態１と同様となる。図９のフローチャートのステップＳＴ６からステップＳＴ１０は図２のフローチャートのステップＳＴ６からステップＳＴ１０に相当する。
【００３６】
ステップＳＴ１４にてブロック内に透過処理を行う画素が含まれない場合、量子化手段５における処理は、透過処理について考慮しない従来の符号化方式と同様となる。ステップＳＴ１７では、ステップＳＴ１５で求めた閾値Ｌ１、Ｌ２、Ｌ３から構成される４種類の領域のうち該当画素の階調レベルがどの領域に含まれるかを判定し、符号を割り当てる。符号に割り当てるビット数を２ビットとする場合の割り当て方法の一例を下記（式２３）から（式２６）に示す。選択画素の階調レベルＸij、対応する符号をφijとして、
【００３７】
Ｘij≦Ｌ１  のとき          φij＝００（２進数）  ・・・  （式２３）
Ｌ１＜Ｘij≦Ｌ２  のとき    φij＝０１（２進数）  ・・・  （式２４）
Ｌ２＜Ｘij≦Ｌ３  のとき    φij＝１０（２進数）  ・・・  （式２５）
Ｌ３＜Ｘij  のとき          φij＝１１（２進数）  ・・・  （式２６）
【００３８】
符号化データ作成手段６では全てのブロックおよび全ての画素に関する処理が完了した状態で、ブロック毎の画素基準レベルＬＡおよび画素値変動幅ＬＤ、画素毎の符号φijを組み合わせ、符号化データを作成する（ステップＳＴ１２）。
【００３９】
この時、画素変動幅を示す値ＬＤに関しては、８ビット値から値の最下位１ビットを削除した７ビット値として格納し、残る１ビットに該当ブロックにて透過処理に対応するかどうかのフラグを割り当てる。図１０は本実施の形態におけるブロック毎の符号化データの構成を示したものである。
【００４０】
上記のように本実施の形態では、ブロック毎に透過処理に対応するかどうかの判定を行い、透過処理が必要となるブロックのみ透過処理を行う画素に対応する符号を割り当てるため、透過処理を行わないブロックについては割り当てられる符号の種別数の減少による画質の低下を防ぎつつ、必要な箇所のみ透過処理に対応することが可能となる。
【００４１】
実施の形態４．
図１１はこの発明の実施の形態４である画像復号化装置を示す構成図である。図１１において、１１は符号化されたデータをＭ×Ｎ（Ｍ、Ｎは自然数）のブロックに分割された画像データに対応するブロックに分割する符号化データ分割手段、１２は符号化データに含まれるブロック毎の画素基準レベルＬＡおよび画素値変動幅ＬＤから、量子化された符号に対応する階調レベルを算出するための階調レベル算出手段、１３はブロック内の各画素について、量子化された符号に対応する階調レベルを割り当てる階調レベル割り当て手段、１４は割り当てられた各画素の階調レベルをまとめて復号化された画像データとしてまとめるための画像データ作成手段である。
【００４２】
次に動作について説明する。図１２はこの発明の実施の形態４である画像復号化装置における画像の処理方法を示すフローチャートである。
まず符号化データ分割手段１１によって、符号化データを元の画像データにおいてＭ×Ｎ（Ｍ、Ｎは自然数）分割された各ブロックの対応部分に分割する（ステップＳＴ４１）。ここでは各ブロックが水平４画素、垂直４画素の１６画素から成る場合について説明する。
分割されたブロック単位の符号化データから復号化処理を行っていないブロックを一つ選択する（ステップＳＴ４２）。
【００４３】
階調レベル算出手段１２では、選択されたブロック単位の符号化データからブロック毎の画素基準レベルＬＡおよび画素値変動幅ＬＤを参照し、この画素基準レベルＬＡ、画素値変動幅ＬＤの値に基づき量子化された符号に対応する画素の階調レベルＱ１、Ｑ２、Ｑ３を算出する（ステップＳＴ４３）。具体的な算出方法の一例を下記（式２７）から（式２９）に示す。
Ｑ１＝ＬＡ−ＬＤ／２  ・・・  （式２７）
Ｑ２＝ＬＡ            ・・・  （式２８）
Ｑ３＝ＬＡ＋ＬＤ／２  ・・・  （式２９）
【００４４】
上記算出方法は、量子化閾値を実施の形態１の（式５）および（式６）で算出した場合に対応したものである。この場合の符号化閾値分布および復号化時の信号レベル分布は図４に示した通りとなる。
選択されたブロック内で未処理となっている画素に対応する符号の一つを選択する（ステップＳＴ４４）。
【００４５】
階調レベル割り当て手段１３では、選択した画素が透過処理を行う画素かどうかを確認する（ステップＳＴ４５）。参照する符号φijが透過処理を行う画素を示す特定の符号となっているかどうかで、透過処理を行うかどうかを選択する。ここでは実施の形態１における（式１３）から（式１６）の記載に合わせ、符号が００、０１、１０（２進数）の場合は透過処理を行わず、符号が１１（２進数）の場合は透過処理を行うものとする。
ステップＳＴ４５にて選択画素が透過処理を行う画素ではなかった場合、符号に対応した階調レベルを選択画素の階調レベルとして割り当てる（ステップＳＴ４６）。選択画素の階調レベルをＸijとし、実施の形態１の（式１３）から（式１５）に対応して階調割り当てを行う場合の割り当て方法の一例を下記（式３０）から（式３２）に示す。
【００４６】
φij＝００（２進数）のとき    Ｘij＝Ｑ１  ・・・  （式３０）
φij＝０１（２進数）のとき    Ｘij＝Ｑ２  ・・・  （式３１）
φij＝１０（２進数）のとき    Ｘij＝Ｑ３  ・・・  （式３２）
【００４７】
ステップＳＴ４５にて選択画素が透過処理を行う画素であった場合は、下地画像の対応する座標位置の階調レベルを選択画素の階調レベルとして割り当てる（ステップＳＴ４７）。下地画像の階調レベルをＹijとすると階調割り当て方法を示す式は下記（式３３）の通りとなる。
φij＝１１（２進数）のとき    Ｘij＝Ｙij  ・・・  （式３３）
【００４８】
選択されたブロックに未処理となっている画素対応の符号があるかどうか確認する（ステップＳＴ４８）。未処理画素がある場合はステップＳＴ４４からの動作を繰り返す。未処理画素がない場合はステップＳＴ４９の処理に移る。
入力画像データに未処理となっているブロック単位の符号化データがあるかどうか確認する（ステップＳＴ４９）。未処理ブロックがある場合はステップＳＴ４２からの動作を繰り返す。未処理画素がない場合はステップＳＴ５０の処理に移る。
画像データ作成手段１４では、全てのブロックおよび全ての画素に関する復号化処理が完了した状態で、割り当てられた各画素の階調レベルをまとめ、復号化された画像データを生成する（ステップＳＴ５０）。
【００４９】
上記のように本実施の形態では、復号化を行う際に、透過処理を行う画素を示す個別の符号に対応し下地画像のデータを参照するため、画素単位での細かい透過処理をおこなった復号化画像データを作成することが可能である。
【００５０】
実施の形態５．
透過処理を行う画素を示すフラグとして、量子化された符号の内の１階調ではなく１ビットを割り当てる符号化データに対応する場合の画像復号化処理装置の実施の形態について説明する。この場合の画像復号化装置を示す構成図は図１１と同様であり、階調レベル算出手段１２および階調レベル割り当て手段１３で行う処理の内容が実施の形態４とは異なる。
【００５１】
図１３はこの発明の実施の形態５である画像復号化装置における画像の処理方法を示すフローチャートである。以下、本実施の形態の処理方法について、実施の形態４と異なる処理を主体に説明する。
階調レベル算出手段１２では、選択されたブロック単位の符号化データからブロック毎の画素基準レベルＬＡおよび画素値変動幅ＬＤを参照し、画素基準レベルＬＡ、画素値変動幅ＬＤの値に基づき量子化された符号に対応する画素の階調レベルＱ１、Ｑ２を算出する（ステップＳＴ４３）。本実施の形態では実施の形態２の（式１７）に対応するため、各画素に対して２種類の状態を示す符号が割り当てる場合について説明する。具体的な算出方法の一例を下記（式３４）、（式３５）に示す。
【００５２】
Ｑ１＝ＬＡ−ＬＤ／２  ・・・  （式３４）
Ｑ２＝ＬＡ＋ＬＤ／２  ・・・  （式３５）
【００５３】
階調レベル割り当て手段１３では、選択した画素が透過処理を行う画素かどうかを確認する（ステップＳＴ４５）。参照する符号φijは２ビットのデータからなり、このうち下位１ビットが透過処理を行う画素を示すフラグとする。すなわち、符号が００、１０（２進数）の場合は透過処理を行わず、符号が０１、１１（２進数）の場合は透過処理を行うものとする。
【００５４】
ステップＳＴ４５にて選択画素が透過処理を行う画素ではなかった場合、符号に対応した階調レベルを選択画素の階調レベルとして割り当てる（ステップＳＴ４６）。ここで階調レベルの割り当てに対応する符号はφijの上位１ビットとする。選択画素の階調レベルをＸijとし、実施の形態２の（式１８）および（式１９）に対応して階調割り当てを行う場合の割り当て方法の一例を下記（式３６）および（式３７）に示す。
【００５５】
φij＝００（２進数）のとき    Ｘij＝Ｑ１  ・・・  （式３６）
φij＝１０（２進数）のとき    Ｘij＝Ｑ２  ・・・  （式３７）
【００５６】
ステップＳＴ４５にて選択画素が透過処理を行う画素であった場合、選択画素に割り当てられた階調レベルと下地画像の対応する座標位置の階調レベルとを加重平均して選択画素の階調レベルを算出する（ステップＳＴ４７）。
まず選択画素に割り当てられた階調レベルＱ１、Ｑ２をステップＳＴ４６と同様に下記（式３８）、（式３９）にて算出する。
φij＝０１（２進数）のとき    Ｘ'ij＝Ｑ１  ・・・  （式３８）
φij＝１１（２進数）のとき    Ｘ'ij＝Ｑ２  ・・・  （式３９）
また、下地画像の対応する座標位置の階調レベルを参照し、階調レベル値として記録する。
下地画像の階調レベルをＹijとすると階調割り当て方法を示す式は下記（式４０）の通りとなる。
Ｘ''ij＝Ｙij  ・・・  （式４０）
【００５７】
二つの階調レベル値を加重平均し、選択画素の最終的な階調レベルを決定する。演算式は下記（式４１）の通りとなる。
Ｘij＝αＸ'ij＋（１−α）Ｘ''ij  ・・・  （式４１）
ここでαは０≦α≦１を満たす係数であり、透過処理を行う部分に適用したい透過率に応じて、外部よりあらかじめ値を決定しておくものとする。
【００５８】
上記のように本実施の形態では、復号化を行う際に、透過処理を行う画素に関して画素に割り当てられた符号に基づく階調レベルと、下地画像の参照に基づく階調レベルを求め、それらを加重平均して最終的な画素の階調レベルを算出する。このため、透過処理を指定された画素に対して、下地画像のデータのみが有効となる完全な透過処理だけではなく、透過処理された画像も薄く確認できるような半透過処理を実現することが可能である。
【００５９】
実施の形態６．
ブロック毎にデータを透過する画素が含まれるかどうかを判定し、復号化処理方法の切り替えを行う場合の実施の形態について説明する。この場合の画像復号化装置を示す構成図は図１１と同様であり、階調レベル算出手段１２および階調レベル割り当て手段１３で行う処理の内容が実施の形態４とは異なる。
図１４はこの発明の実施の形態６による画像復号化装置における画像の処理方法を示すフローチャートである。以下、本実施の形態の処理方法について、実施の形態４と異なる処理を主体に説明する。
【００６０】
階調レベル算出手段１２では、まず選択されたブロック単位の符号化データから１ビットの透過対応ブロックフラグを参照し、ブロック内に透過処理を行う画素が含まれるかどうか確認する（ステップＳＴ５１）。
ステップＳＴ５１にて選択されたブロックに透過処理を行う画素が含まれる場合は、実施の形態４と同様に３種類の符号に対して階調レベルＱ１、Ｑ２、Ｑ３を割り当てる。算出方法は実施の形態４における（式２７）から（式２９）と同様である（ステップＳＴ４３）。ただし本実施の形態では実施の形態３における符号化データの復号化に対応するため、画素値変動幅ＬＤの値についてはステップＳＴ５１にてブロック内に透過処理を行う画素が含まれない場合、透過処理を行うための符号を考慮する必要がないため、階調レベルに対して割り当てられる符号は４種類となる。このため４つの符号に対応する階調レベルＱ１、Ｑ２、Ｑ３、Ｑ４の４つの値を算出する（ステップＳＴ５２）。
【００６１】
下記に実施の形態３の（式２０）から（式２２）の符号化に対応する場合の演算式（式４２）から（式４５）の一例を示す。
Ｑ１＝ＬＡ−ＬＤ／２  ・・・  （式４２）
Ｑ２＝ＬＡ−ＬＤ／８  ・・・  （式４３）
Ｑ２＝ＬＡ＋ＬＤ／８  ・・・  （式４４）
Ｑ３＝ＬＡ＋ＬＤ／２  ・・・  （式４５）
また、ステップＳＴ５１にてブロック内に透過処理を行う画素が含まれる場合、階調レベル割り当て手段４における処理は実施の形態４と同様となる。図１４のフローチャートのステップＳＴ４４からステップＳＴ４８が図１２のフローチャートのステップＳＴ４４からステップＳＴ４８に相当する。
【００６２】
ステップＳＴ５１にてブロック内に透過処理を行う画素が含まれない場合、階調レベル割り当て手段１３における処理は、透過処理について考慮しない従来の復号化方式と同様となる。ステップＳＴ５４では、ステップＳＴ５２で求めた４つの符号に対応する階調レベルＱ１、Ｑ２、Ｑ３、Ｑ４から、符号に対応した階調レベルを選択画素の階調レベルとして割り当てる。選択画素の階調レベルをＸijとし、実施の形態３の（式１３）から（式１５）に対応して階調割り当てを行う場合の割り当て方法の一例を下記（式４６）から（式４９）に示す。
【００６３】
φij＝００（２進数）のとき    Ｘij＝Ｑ１  ・・・  （式４６）
φij＝０１（２進数）のとき    Ｘij＝Ｑ２  ・・・  （式４７）
φij＝１０（２進数）のとき    Ｘij＝Ｑ３  ・・・  （式４８）
φij＝１１（２進数）のとき    Ｘij＝Ｑ４  ・・・  （式４９）
入力画像データに未処理となっているブロック単位の符号化データがあるかどうか確認する（ステップＳＴ４９）。未処理ブロックがある場合はステップＳＴ４２からの動作を繰り返す。未処理画素がない場合はステップＳＴ５０の処理に移る。
画像データ作成手段１４では、全てのブロックおよび全ての画素に関する復号化処理が完了した状態で、割り当てられた各画素の階調レベルをまとめて復号化された画像データを生成する（ステップＳＴ５０）。
【００６４】
上記のように本実施の形態では、ブロック毎に割り当てられているフラグにより、透過処理に対応するかどうかの判定を行い、透過処理が必要となるブロックのみ透過処理を行う画素に対応する復号化処理を実施するため、透過処理を行わないブロックについては割り当てられる符号の種別数の減少による画質の低下を防ぎつつ、必要な箇所のみ透過処理に対応することが可能となる。
【００６５】
実施の形態７．
上記実施の形態１から実施の形態６においては、透過処理を行う際の下地画像はあらかじめ準備されていることを前提としている。本実施の形態７では、下地画像についても透過処理を行う重ね合わせ用画像と同様に符号化および復号化を行う場合について説明する。この場合には符号化時に画素基準レベルを示す値ＬＡに関して、８ビット値から値の最下位１ビットを削除した７ビット値として格納し、残る１ビットに該当画像が下地画像であるかどうかのフラグを割り当てる。
【００６６】
符号化処理は、下地画像のデータを図１に示す構成図のブロック分割手段と、信号レベル範囲算出手段と、符号化準備手段と、量子化閾値計算手段と、量子化手段と、符号化データ作成手段とを用いて実施の形態１における透過処理を行わない画素の場合と同様な処理で符号化データを作成する。
なお、重ね合わせ用画像と下地画像夫々の符号化データは、上述の如くその画素値基準レベル信号の１ビットを重ね合わせ用画像のデータか下地画像のデータかを判別するフラグに用いる。
図１５は本実施の形態におけるブロック毎の符号化データの構成を示したものである。
【００６７】
画像復号化装置の構成は図１１に示すものと同様であり、復号化処理は、下地画像データがＭ×Ｎ（Ｍ、Ｎは自然数）のブロック毎に分割されて符号化され、ブロック内画素の基準レベル、画素値変動幅、各画素の符号が纏められた符号化データが、重ね合わせ用画像の符号化データに加えてに入力され、かつ、下地画像の符号化データと、上記重ね合わせ用画像の符号化データは、夫々の画素値基準レベル信号の１ビットは重ね合わせ用画像のデータか下地画像のデータかを判別するフラグに用いられている。
入力された符号化データは、上記のフラグ（画素基準レベルＬＡの最下位１ビットを該当画像が下地画像であるかどうかのフラグ）を参照し、符号化データが下地画像にあたるのか、透過処理を行う画像にあたるのかの判定を行う。入力された符号化データが下地画像であった場合には備えられたバッファ領域にデータを一旦格納し、透過処理を行う重ね合わせ用画像が入力された際バッファ領域に格納された下地画像のデータとの組み合わせにより復号化し、復号化された画像データの生成を行う。
【００６８】
上記のように本実施の形態では、符号化データのフラグにより画像データが下地画像か透過処理を行う重ね合わせ用画像かを判別することができるため、復号化を実施する際に別途下地画像のデータを読み込み、保持する方法を準備することなく、いずれの画像データも同一のデータ入力方法を用いて処理することが可能である。
【産業上の利用可能性】
【００６９】
この発明は画像の重ね合わせを行う画像処理の符号化・復号化に関する技術であり、車載機器、監視カメラ機器などの画像処理製品に搭載可能である。
【図面の簡単な説明】
【００７０】
【図１】この発明の実施の形態１である画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化装置における画像の処理方法を示すフローチャートである。
【図３】各画素の階調レベルを４種類の符号に対応させる従来の符号化方式における信号レベル分布を示す図である。
【図４】階調レベルを３つの範囲に分割した場合の符号化閾値分布および復号化時の信号レベル分布を示す図である。
【図５】実施の形態１におけるブロック毎の符号化データ構成図である。
【図６】この発明の実施の形態２による画像符号化装置における画像の処理方法を示すフローチャートである。
【図７】実施の形態２による階調レベルを２つの範囲に分割した場合の符号化閾値分布および復号化時の信号レベル分布を示す図である。
【図８】実施の形態２におけるブロック毎の符号化データ構成図である。
【図９】実施の形態３による画像符号化装置における画像の処理方法を示すフローチャートである。
【図１０】実施の形態３におけるブロック毎の符号化データの構成を示す図である。
【図１１】実施の形態４である画像復号化装置を示す構成図である。
【図１２】実施の形態４による画像復号化装置における画像の処理方法を示すフローチャートである
【図１３】実施の形態５である画像復号化装置における画像の処理方法を示すフローチャートである。
【図１４】実施の形態６による画像復号化装置における画像の処理方法を示すフローチャートである。
【図１５】実施の形態７におけるブロック毎の符号化データの構成を示す図である。
【符号の説明】
【００７１】
１；ブロック分割手段、２；信号レベル範囲算出手段、３；符号化準備手段、４；量子化閾値計算手段、５；量子化手段、６は；符号化データ作成手段、１１；符号化データ分割手段、１２；階調レベル算出手段、１３；階調レベル割り当て手段、１４；画像データ作成手段。
【図１】
0004964084.tif 000002
【図２】
0004964084.tif 000003
【図３】
0004964084.tif 000004
【図４】
0004964084.tif 000005
【図５】
0004964084.tif 000006
【図６】
0004964084.tif 000007
【図７】
0004964084.tif 000008
【図８】
0004964084.tif 000009
【図９】
0004964084.tif 000010
【図１０】
0004964084.tif 000011
【図１１】
0004964084.tif 000012
【図１２】
0004964084.tif 000013
【図１３】
0004964084.tif 000014
【図１４】
0004964084.tif 000015
【図１５】
0004964084.tif 000016