(57)【特許請求の範囲】
【請求項１】
所定の特徴量を用いて入力画像を任意の数の領域に分割する画像分割手段と、
前記画像分割手段により分割された各領域の画素に対して、その所属領域を示すラベル番号を対応づけることによりαプレーンを作成するαプレーン作成手段と、
前記αプレーン作成手段により作成されたαプレーン内の各画素に対して所定の演算を施すことにより、予め抽出対象として設定された領域内の画素についての抽出を行う抽出対象画素演算手段と、
を備えた画像処理装置において、
前記αプレーン作成手段は、前記画像分割手段により分割された領域の数がＮである場合に、各領域の前記ラベル番号について、「１」データが１つのみ含まれ且つこの「１」データを有する桁位置が他の領域のラベル番号における「１」データの桁位置と重複することのないように表されたＮビットの２値データを生成するラベル番号２値データ生成部を有するものであり、
前記抽出対象画素演算手段は、前記抽出対象として設定された各領域の前記ラベル番号２値データの論理和を取ることにより判別基準用２値データを作成し、前記αプレーン内の各画素についてのラベル番号２値データと、この判別基準用２値データとの論理和を取った値が、判別基準用２値データと一致した場合に、その画素を抽出対象領域に所属する画素と判別する抽出画素判別部を有するものである、
ことを特徴とする画像処理装置。
【請求項２】
前記画像分割手段は、
アダプティブメッシュ法に基づき前記入力画像を任意の数の領域に分割するものであり、しかも用いる特徴量の数を複数とし、これら複数の特徴量に基づく対象領域での分割又は非分割についての判別をファジイ推論により行うものである、
ことを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関するものであり、より詳しくは、画像から特定の領域を抽出する技術に関するものである。
【０００２】
【従来の技術】
例えば、建物内に居る人物が写し出された画像から人物の部分のみを抽出し、これを海や山などの自然風景が写し出された画像中に嵌め込むことにより、自然風景をバックとする人物の画像を人為的に作成することができる。このように、複数の画像の構成要素を組み合わせて１枚の画像を作成することを画像合成というが、このような画像合成を精度良く行うためには、抽出対象領域（上記の人物の部分）を正確に抽出する必要がある。
【０００３】
このような抽出を行う一般的手法としては、クロマキー効果を用いた手法、エッジ検出に基づく手法、あるいは同一特徴量を持つ画素の塊を１つの領域とする手法などがある。しかし、クロマキー効果を用いた手法は、撮影時に背景を青色や緑色にするなどの特殊な環境を必要とし、したがって既存の画像や動画像に対して適用することは困難であるという欠点がある。また、エッジ検出に基づく手法、あるいは同一特徴量を持つ画素の塊を１つの領域とする手法は、同一画像から複数の領域を抽出することが困難であるという欠点を有している。
【０００４】
そこで、入力画像から特定の画像を抽出するとき、αプレーンを用いた手法がよく用いられる。αプレーンとは元の画像と同じ大きさを持つ配列で構成され、マスキングを行うために用いるものである。
【０００５】
次に、従来の画像処理装置が上記のαプレーンを用いて画像抽出を行う手法を図４を用いて具体的に説明する。従来の画像処理装置は、図示を省略してある画像分割手段、αプレーン作成手段、及び抽出対象画素演算手段を有している。まず、画像分割手段は、所定の特徴量を用いて入力画像を複数の領域に分割する。入力画像を複数の領域に分割する手法としては、いくつかの手法が考えられるが、この例では所謂「アダプティブメッシュ法」（参考文献：電子情報通信学会論文誌、Ｄ−II、Vol．7、Ｐ．１１７１〜１１７９、１９９９年７月発行）を用いるものとする。アダプティブメッシュ法は、特徴量の変化に応じて分割された種々の大きさの三角形の集合体により入力画像を階層的に分割する手法であり、その特徴量としては色差を用いることとしている。ここで、色差とは、L*a*b空間（カラー空間の一つ）における２点間の距離を示すものである。
【０００６】
画像分割手段が上記のアダプティブメッシュ法を用いて入力画像をいくつかの領域に分割すると（入力画像全体にわたって特徴量が均一の場合は複数領域に分割することはできないが、この場合は分割された領域数が１になるものと考える）、αプレーン作成手段は分割された各領域の画素に対してその所属領域を示すラベル番号を付すことにより図４に示すようなαプレーンを作成する。この例では、αプレーンは１６画素（４×４）を有しており、ｘ，ｙ方向の座標位置はそれぞれx=0〜3及びy=0〜3により特定される。
【０００７】
また、図４のαプレーンは、ラベル番号がそれぞれ「０」、「１」、「２」、「３」の４つの領域I〜IVに分けられており、これらのラベル番号をｉとすれば、各領域を「ａi」（ｉ＝０〜３）により表すことができる。そして、ユーザは透明領域をａi＝０、抽出領域をａi＝１と定義することにより、抽出対象領域を設定することができる。図４の例では、斜線を付した領域を抽出領域ａ2，ａ3とし、それ以外の領域を透明領域ａ0，ａ1としている。
【０００８】
αプレーン作成手段が上記のようなαプレーンを作成し、更に抽出領域及び透明領域がユーザにより設定されると、抽出対象画素演算手段は、図４に示した＜演算式I＞即ち下記の演算式を用いて抽出対象画素（出力画素）についての演算を行う。
【０００９】
0003770465.tif 000002
上記の演算式Iにおいて、input（x,y）は入力画素、output（x,y）は出力画素、α（x,y）はαプレーン上で判別対象となっている画素が所属する領域のラベル番号を示し、また、output（x,y）=-1は出力画素を透明にすることを示している。したがって、上記の演算式Iは次のような内容を表している。すなわち、「x=0〜3の各列におけるy=0〜3の各行の画素（つまり全ての画素）について、一旦、出力画素output（x,y）を透明にし、更に、ｉ=0〜3の各ラベル番号毎に、各判別対象画素に係るラベル番号α（x,y）がその領域に属するものであることを示し且つその領域ａ〔i〕が抽出領域に設定されているかどうかを調べ、もしそうならば入力画素input（x,y）をそのまま出力画素output（x,y）とする。」
抽出対象画素演算手段の上記のような演算により、図４のαプレーンにおける斜線部分の領域を抽出することができ、この抽出した領域の画像を用いて画像合成を行うことが可能になる。
【００１０】
【発明が解決しようとする課題】
ところで、画像合成装置の分野では一層の品質向上について各メーカーが鎬を削っているが、品質向上すべき重要項目の一つに処理時間の短縮化、中でも入力画像からの抽出処理の短縮化がある。処理時間の短縮化を図る上で最も効果的な方策は、ハードウエアの改善であるが、それでは製品のコストアップをもたらす結果となる。そこで、ソフトウエアの改善により処理時間の短縮を図る方策について各メーカーが模索しているが、満足すべき結果を得ることができないでいるのが現状である。
【００１１】
本発明は上記事情に鑑みてなされたものであり、ソフトウエア的方策により入力画像から特定画像を抽出するための処理時間を短縮することが可能な画像処理装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記課題を解決するための手段として、請求項１記載の発明は、所定の特徴量を用いて入力画像を任意の数の領域に分割する画像分割手段と、前記画像分割手段により分割された各領域の画素に対して、その所属領域を示すラベル番号を対応づけることによりαプレーンを作成するαプレーン作成手段と、前記αプレーン作成手段により作成されたαプレーン内の各画素に対して所定の演算を施すことにより、予め抽出対象として設定された領域内の画素についての抽出を行う抽出対象画素演算手段と、を備えた画像処理装置において、前記αプレーン作成手段は、前記画像分割手段により分割された領域の数がＮである場合に、各領域の前記ラベル番号について、「１」データが１つのみ含まれ且つこの「１」データを有する桁位置が他の領域のラベル番号における「１」データの桁位置と重複することのないように表されたＮビットの２値データを生成するラベル番号２値データ生成部を有するものであり、前記抽出対象画素演算手段は、前記抽出対象として設定された各領域の前記ラベル番号２値データの論理和を取ることにより判別基準用２値データを作成し、前記αプレーン内の各画素についてのラベル番号２値データと、この判別基準用２値データとの論理和を取った値が、判別基準用２値データと一致した場合に、その画素を抽出対象領域に所属する画素と判別する抽出画素判別部を有するものである、ことを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記画像分割手段は、アダプティブメッシュ法に基づき前記入力画像を任意の数の領域に分割するものであり、しかも用いる特徴量の数を複数とし、これら複数の特徴量に基づく対象領域での分割又は非分割についての判別をファジイ推論により行うものである、ことを特徴とする。
【００１４】
【発明の実施の形態】
図１は本発明の実施形態に係る画像処理装置の構成を示すブロック図である。この図において、画像分割手段１は、前述したアダプティブメッシュ法を用いて入力画像を任意の数に分割するものである。
【００１５】
αプレーン作成手段２は、画像分割手段１により分割された各領域の画素に対して、その所属領域を示すラベル番号を対応づけることによりαプレーンを作成するものであるが、本発明におけるαプレーン作成手段２はラベル番号２値データ生成部３を有している。このラベル番号２値データ生成部３は、画像分割手段１により分割された領域の数がＮ（Ｎは整数）である場合に、各領域のラベル番号について、「１」データが１つのみ含まれ且つこの「１」データを有する桁位置が他の領域のラベル番号における「１」データの桁位置と重複することのないように表されたＮビットのラベル番号２値データを生成するものである。
【００１６】
抽出対象画素演算手段４は、αプレーン作成手段２により作成されたαプレーン内の各画素に対して所定の演算を施すことにより、予め抽出対象として設定された領域内の画素についての抽出を行うものであるが、本発明におけるαプレーン作成手段２は抽出画素判別部５を有している。抽出画素判別部５は、ラベル番号２値データ生成部３により生成されたラベル番号２値データのうち抽出対象領域に係るラベル番号２値データの論理和を取ることにより判別基準用２値データを作成し、αプレーン内の各画素についてのラベル番号２値データと、この判別基準用２値データとの論理和を取った値が、判別基準用２値データと一致した場合に、その画素を抽出対象領域に所属する画素と判別するものである。
【００１７】
次に、図１の構成の要部であるラベル番号２値データ生成部３及び抽出画素判別部５の動作を図２に基づき説明する。なお、図２は、従来技術につき記載した図４に対応するものであり、両者の対比を容易にするため、ユーザにより設定される抽出対象領域（斜線部）は同一にしてある。
【００１８】
図２のαプレーン内の領域数は、領域I〜IVの４つであるから、ラベル番号２値データ生成部３は生成するラベル番号２値データのビット数を４ビットにする。そして、領域Iのラベル番号を〔0001〕、領域IIのラベル番号を〔0010〕、領域IIIのラベル番号を〔0100〕、領域IVのラベル番号を〔1000〕とする。これらのラベル番号のデータ配列に着目してみると、いずれの領域のラベル番号も「1」を１つだけ含み、また、この「１」の桁位置も各領域毎に１桁目、２桁目、３桁目、４桁目となっており、他領域のラベル番号における「１」の桁位置と重ならないようになっている。
【００１９】
抽出画素判別部５は、ラベル番号２値データ生成部３が生成した上記の各ラベル番号を入力すると、抽出領域として設定されている領域III，IVのラベル番号〔0100〕，〔1000〕の論理和を取り、判別基準用２値データＺ〔1100〕を作成する。そして、図２に示した＜演算式II＞即ち下記の演算式を用いて抽出対象画素（出力画素）についての演算を行う。
【００２０】
0003770465.tif 000003
上記の演算式IIは次のような内容を表している。すなわち、「x=0〜3の各列におけるy=0〜3の各行の画素（つまり全ての画素）について、その画素と判別基準用２値データＺとの論理和を取り、その結果が判別基準用２値データＺとなるならば、入力画素input（x,y）をそのまま出力画素output（x,y）とし、そうでなければ、出力画素を透明にする。」
上記の演算式IIを具体的に検証してみると、例えば、α（0,0）は〔0001〕であり、Ｚは〔1100〕であるから、両者の論理和を取った結果は〔1101〕となって、Ｚとは異なる値となる。したがって、入力画素（0,0）は透明画素となって出力される。同様にして、例えば、α（3,0）は〔0010〕であり、Ｚは〔1100〕であるから、両者の論理和を取った結果は〔1110〕となって、Ｚとは異なる値となる。したがって、入力画素（3,0）も透明画素となって出力される。
【００２１】
一方、例えば、α（0,1）は〔0100〕であり、Ｚは〔1100〕であるから、両者の論理和を取った結果は〔1100〕となって、Ｚと同じ値となる。したがって、入力画素（0,1）はそのまま出力画素として出力される。同様にして、例えば、α（3,2）は〔1000〕であり、Ｚは〔1100〕であるから、両者の論理和を取った結果は〔1100〕となって、Ｚと同じ値となる。したがって、入力画素（3,2）はそのまま出力画素として出力される。
【００２２】
上記の演算式IIは演算式Iに比べて演算回数が低減されたものとなっている。すなわち、演算式Iでは、…  for(i=0〜3)｛if（α（x,y）==i  AND    ａ〔i〕==1）…  とあるように、各画素毎にそのラベル番号がi=0〜3のうちのどれに該当し、且つ、そのラベル番号の領域ａ〔i〕が抽出領域に設定されたものであるかどうかについてその都度判別を行うようになっている。
【００２３】
これに対し、演算式IIでは、…if（（α（x,y） OR Z）== Z）…  とあるように、判別対象となっている画素のラベル番号と判別基準用２値データＺとの論理和を取ることにより、直ちにその画素が抽出すべき画素であるどうかを判別することができる。
【００２４】
更に、演算式Iでは、…output（x,y）=-1…とあるように、全ての画素は一旦透明画素として処理されるようになっているが、演算式IIでは、上記の論理和の結果がＺと一致しなかった場合のみ、その画素を透明画素として出力すればよいことになる。
【００２５】
これらのことから、演算式IIは演算式Iに比べて演算回数が低減されたものであるということができ、したがって、その分、画像抽出処理の処理時間を短縮することが可能になる。なお、上記の例では、画像分割手段１により分割された領域数が４であったため、ラベル番号２値データ生成部３は４ビットのラベル番号２値データを生成した場合につき説明したが、一般的に、分割領域数がＮ（Ｎは整数）であれば、ラベル番号２値データのビット数はＮとなる。
【００２６】
ところで、既述したように、画像分割手段１はアダプティブメッシュ法に基づき入力画像を任意の領域数に分割するものであるが、これまでのアダプティブメッシュ法は色差という１つのみの特徴量を用いて画像分割についての演算を行っている。画像分割を行う場合は、用いる特徴量を多くすればそれだけ信頼性の高い演算結果を得ることができるが、特徴量を複数にした場合は、各特徴量の単位を同一単位に揃えるための変換処理、各特徴量に対して重み付けを行う処理、各特徴量のレベルに応じた非線形特性を考慮した処理などの複雑な演算を行わなければならなくなる。それ故、これまでのアダプティブメッシュ法では用いる特徴量の種類を１つに制限していた。
【００２７】
そこで、本発明の他の実施形態では、複数の特徴量を用いたアダプティブメッシュ法により画像分割処理を行うことができる画像分割手段を採用している。図２は、この他の実施形態の要部である画像分割手段１Ａの構成を示すブロック図である。この図に示すように、画像分割手段１Ａは、内部にファジイ演算部６を有している。そして、ファジイ演算部６は、３つの特徴量ａ，ｂ，ｃの入力に基づき値ｙを求める演算を下記のファジイルール１を用いて実行し、このｙの値に応じてアダプティブメッシュ法における対象領域での分割又は非分割についての判別を行うようになっている。この３つの特徴量ａ，ｂ，ｃとして、本実施形態では例えば、「色差」、「エッジ情報」、「輝度」を用いることとする。また、ファジイルール１の代わりに、値ｙを入力ａ，ｂ，ｃを用いて表すファジイルール２を用いるようにしてもよい。
【００２８】
【数１】
0003770465.tif 000004
なお、この実施形態では「色差」、「エッジ情報」、「輝度」の３つの特徴量を用いた例につき説明したが、特徴量の数及び種類は特に限定されるものではない。例えば、他の特徴量として、「色相」、「彩度」、「明度」やカラー空間における「X,Y,Z」、「R,G,B」、「Y,U,V」等の各種の値、あるいは更にエッジ情報についても１次微分情報や２次微分情報に細かく分類したデータを用いるようにしてもよい。
【００２９】
また、ファジイ演算部６の入力数が一定以上増加すると演算時間は指数関数的に急激に増加するが、特徴量の数を増やしたためにファジイ演算に要する時間が増加したのでは、本発明の目的である処理時間の短縮を図ることができなくなる。そこで、ファジイ演算部６にはネットワーク型のファジイ演算装置を用いてファジイ演算時間の増加を抑制することが可能である。このネットワーク型ファジイ演算装置の詳しい構成及び学習方法等は本出願人により既に呈示されている（特開平２０００−２３１５４７号公報参照）。
【００３０】
【発明の効果】
以上のように、本発明によれば、前記αプレーン作成手段のラベル番号２値データ生成部が、画像分割手段により分割された領域の数がＮである場合に、各領域のラベル番号について、「１」データが１つのみ含まれ且つこの「１」データを有する桁位置が他の領域のラベル番号における「１」データの桁位置と重複することのないように表されたＮビットのラベル番号２値データを生成し、抽出対象画素演算手段の抽出画素判別部が、抽出対象として設定された各領域のラベル番号２値データの論理和を取ることにより判別基準用２値データを作成し、αプレーン内の各画素についてのラベル番号２値データと、この判別基準用２値データとの論理和を取った値が、判別基準用２値データと一致した場合に、その画素を抽出対象領域に所属する画素と判別する構成としたので、ソフトウエア的方策により入力画像から特定画像を抽出するための処理時間を短縮することができる。
【００３１】
また、画像分割手段が、複数の特徴量に基づくアダプティブメッシュ法によりファジイ推論を行う構成とすることにより、画像の分割処理の信頼性をより向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】図１におけるラベル番号２値データ生成部３及び抽出画素判別部５の動作についての説明図。
【図３】本発明の他の実施形態の要部である画像分割手段１Ａの構成を示すブロック図。
【図４】従来技術についての説明図。
【符号の説明】
１，１Ａ  画像分割手段
２  αプレーン作成手段
３  ラベル番号２値データ生成部
４  抽出対象画素演算手段
５  抽出画素判別部
６  ファジイ演算部
【図１】
0003770465.tif 000005
【図２】
0003770465.tif 000006
【図３】
0003770465.tif 000007
【図４】
0003770465.tif 000008