(57)【要約】【課題】画像処理における図形検出について、ノイズ、外乱に弱いという問題を解決し、よりロバストにするために、エッジ点の間の類似度を利用した評価を採り入れた方法を提案し、分離度を用いて安定した形状検出を可能にすることを目的とする。【解決手段】形状認識装置１００は、画像を入力する画像入力部１０１、明度画像、彩度画像、色相画像といった入力された画像の加工を行う画像前処理部１０２、そして複数箇所の特徴量の組合せによって、形状抽出の評価度合を決定することにより形状抽出を行う形状抽出部１０３から構成される。【選択図】      図１
2006084473.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状を認識する装置であって、
画像を入力する画像入力手段と、
前記認識対象物を擬似的に表したモデルを一つまたは複数記憶する記憶手段と、
この記憶手段に記憶したモデルの中で認識したい形状に類似した一つのモデルを選択するモデル選択手段と、
このモデル選択手段によって選択した選択モデルに一つまたは複数のマスク領域を設定するマスク領域構成手段と、
前記モデル選択手段によって選択した選択モデルを画像に当てはめるために、その選択モデルの画像中における位置、姿勢または大きさを決定するパラメータを設定するパラメータ設定手段と、
前記マスク領域構成手段でマスク領域を設定した選択モデルを、前記パラメータ設定手段によって設定されたパラメータに基づいて画像に当てはめる画像当てはめ手段と、
この画像当てはめ手段によって画像に当てはめた選択モデルの一つまたは複数のマスク領域における特徴量を、前記画像入力手段によって入力された画像から求める特徴量抽出手段と、
この特徴量抽出手段によって得られた選択モデルの一つまたは複数のマスク領域の特徴量に基づいて、認識したい形状に前記選択モデルが最も適合するパラメータを決定するパラメータ決定手段とよりなる
ことを特徴とする形状認識装置。
【請求項２】
前記パラメータ決定手段は、
前記選択モデルにマスク領域が複数設定された場合に、前記複数のマスク領域で得られる特徴量の組合せ結果に基づいて、認識したい形状に前記選択モデルが最も適合するパラメータを決定する
ことを特徴とする形状認識装置。
【請求項３】
前記パラメータ決定手段は、
前記選択モデルにマスク領域が複数設定された場合に、前記各パラメータ毎に、前記選択モデルの各マスク領域における特徴量の総和、及び、隣接関係にある特徴量間の類似度を用いて評価値を算出し、
この算出した評価値の中で最も高い評価値を有するパラメータを、認識したい形状に前記選択モデルが最も適合するパラメータとする
ことを特徴とする請求項１記載の形状認識装置。
【請求項４】
前記マスク領域構成手段は、
一つまたは複数のマスク領域を前記選択モデルの輪郭に合わせて設定し、
前記特徴量抽出手段は、
前記マスク領域内における画像抽出量の分離度を用いて特徴量を求める
ことを特徴とする請求項１記載の形状認識装置。
【請求項５】
認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状を認識する方法であって、
画像を入力し、
予め設けた前記認識対象物を擬似的に表した一つまたは複数のモデルの中から認識したい形状に類似した一つのモデルを選択し、
この選択した選択モデルに一つまたは複数のマスク領域を設定し、
前記選択した選択モデルを画像に当てはめるために、その選択モデルの画像中における位置、姿勢または大きさを決定するパラメータを設定し、
前記マスク領域を設定した選択モデルを、前記設定されたパラメータに基づい
て画像に当てはめ、
この画像に当てはめた選択モデルの一つまたは複数のマスク領域における特徴量を、前記入力された画像から求め、
この得られた選択モデルの一つまたは複数のマスク領域の特徴量に基づいて、認識したい形状に前記選択モデルが最も適合するパラメータを決定する
ことを特徴とする形状認識方法。
【請求項６】
認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状をコンピュータによって認識するプログラムであって、
画像を入力する画像入力機能と、
前記認識対象物を擬似的に表したモデルを一つまたは複数記憶する記憶機能と、
前記記憶したモデルの中で認識したい形状に類似した一つのモデルを選択するモデル選択機能と、
前記選択した選択モデルに一つまたは複数のマスク領域を設定するマスク領域構成機能と、
前記選択した選択モデルを画像に当てはめるために、その選択モデルの画像中における位置、姿勢または大きさを決定するパラメータを設定するパラメータ設定機能と、
前記マスク領域を設定した選択モデルを、前記パラメータ設定機能によって設定されたパラメータに基づいて画像に当てはめる画像当てはめ機能と、
前記画像に当てはめた選択モデルの一つまたは複数のマスク領域における特徴量を、前記入力された画像から求める特徴量抽出機能と、
前記得られた選択モデルの一つまたは複数のマスク領域の特徴量に基づいて、認識したい形状に前記選択モデルが最も適合するパラメータを決定するパラメータ決定機能と、
をコンピュータによって実現する
ことを特徴とする形状認識のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理における形状認識装置及びその方法に関する。
【背景技術】
【０００２】
モデル当てはめにより形状を抽出する方法としては次のようなものがある。
【０００３】
テンプレートマッチングは、一定の曲線や画像としてモデルを記述し、モデルと対象画像の間の類似度を判定することによって対象認識を行う。このテンプレートマッチングには、モデルの記述として画像の明度分布をそのまま用いるものと、二値画像を用いてモデルの形状をエッジ点の集合として表現するものがある。前者は明度分布の類似度を測ることによって形状認識を行う。後者は、まず画像の明度分布に基づいてエッジの強度画像を作り、そのエッジ強度画像を二値化することによって二値画像を作る。そして、二値画像の点集合とモデルの点集合の類似度を計算するというものである。
【０００４】
一般化ハフ変換（例えば、非特許文献１参照）は、モデルを輪郭線上の点のリストとして記述し、その平行移動、回転、拡大縮小の表すパラメータが使われる。この変換は、パラメータ空間への”投票”によって、パターンが表すもっとも適切なパラメータの位置に局所的なピークを形成するように変換される。このハフ変換は、部分的にデータが欠けているような場合でもうまく照合が行えるといった利点がある。
【０００５】
次に、モデルと画像データとの適合性がある目的関数（エネルギ）によって測られ、その関数の値の最小化などによってモデルの照合が行われるものがある。
【０００６】
例えば最近では、非特許文献２のスネークなどがある。
【０００７】
これらのモデル当てはめには、生の画像データをそのまま用いるもの、または対象のもつ他の特徴、例えばエッジ強調フィルタや線強調フィルタといった低レベルの画像処理を行った画像データを使うものもある。
【０００８】
本発明では、エッジデータを用いて、ノイズ、外乱に強い安定した形状認識について考える。そのためにまず、物体輪郭や物体内部の構造を反映したエッジ情報を抽出する手法について挙げる。
【０００９】
エッジの抽出方法には、画像の明度勾配に基づく方法とエッジ近傍領域の情報に基づく方法がある。画像の明度勾配に基づく方法は、明度勾配が急激に変化する位置をエッジとして抽出するもので、１次微分型のRobertｓ、Prowitｔ、Sobel や２次微分型のLaplacian などの方法がある。エッジ近傍領域の情報に基づく方法としては、エッジモデルの当てはめを局所領域に対して行うHueckel の方法などがある。
【００１０】
明度勾配に基づいたエッジ抽出は、弱いエッジを抽出できないといった問題や色相画像など他のエッジ強度に拡張し難いといった問題がある。明度勾配エッジ抽出を用いた、従来法の対象認識についての問題点をまとめる。
【００１１】
テンプレートマッチングはテンプレートに対して、画像データにわずかな変動があった場合に弱いという特徴を持つ。一般化ハフ変換については、エッジ点の数に投票数が影響を受ける。エッジ点の有無のみが問題となり、エッジ抽出の性能の影響を非常に受ける。スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけによって、柔軟でノイズに強いという性質を持つ。しかし、なお局所的なエネルギーの最小値に落ち込むという欠点がある。
【００１２】
これらの問題を解決するために、エッジ近傍領域の情報に基づく方法を用いることが考えられる。エッジを画像の明度だけでなく、色、テクスチャの異なる領域間の境界としてとらえ、エッジ強度をこれら領域間の特徴量から計算する方法が、非特許文献３で提案されている。
【００１３】
「分離度」とは、データの集合を幾つかの部分集合に分割した場合に、それぞ
れの部分集合がどの程度分離されているかを表す量である。これは、集合全体のデータの特徴に対する部分集合のデータの特徴の割合で表され、その値は０．０〜１．０の値をとる。
【００１４】
今、図２のように、画像中の２つの領域を上記の２つの集合と考えた場合、分離度が大きい程、領域の境界に、強いエッジが存在することになる。つまり、ある画素を境とする２つの領域について考えると、その画素における分離度が大きければ、その画素には強いエッジが存在するということができる。
【００１５】
分離度Ｓは次の式で与えられる。
【数１】
2006084473.tif 000003
【００１６】
この手法はエッジを安定に抽出できるという利点があるものの、逆に、分離度は画像抽出量の差に依存したものではないため、対象物のエッジを抽出するためには分離度をそのまま用いるには不十分であるとの観点から、重みつき分離度（例えば、特許文献１参照）も提案されている。重みつき分離度は、対象物の存在位置、色情報、テクスチャ情報などを利用して選択的に対象物のエッジを抽出することを目的として、位置に関する重み付けと画像特徴の重み付けを分離度の式に組込んだ形をとる。
【非特許文献１】Ballard,D.H．“Generalizing the Hough transform to detect arbitary shapes" Pattern Recognition.13,111-122(1981)
【非特許文献２】M．Kass,A.Witkin,D.Terzopouls，“Snakes:Active Contour Models",In Proc.1st Int.Conf.on Computer Vision,pp.259-268(1987)
【非特許文献３】領域間の分離度に基づくエッジ抽出、情報処理学会コンピュータビジョン研究会資料87-1(1994)
【特許文献１】特願平７−７４９９号（特開平８−１９６５２０号公報）
【発明の開示】
【発明が解決しようとする課題】
【００１７】
上述した分離度を用いて適当な大きさ、形状のマスクを設定し、画像に適用し、従来法に効果的なエッジ強度画像を生成することができる。しかし、このような単純な使い方では不十分である。
【００１８】
図３（ａ）で示したような画像データにおける、緩やかなエッジで構成されている対象の物体認識について考える。
【００１９】
この図では、ア、イ、ウ、エの４点に対してエッジ強度を図３（ｂ）に示す。エッジの強度について考えると、対象を構成しているエッジ強度が図３（ｃ）のように単調に変化している場合や撮影時のボケによる影響により弱くなっている場合、二値化によりエッジ画像を作ると、閾値の設定方法によってはエッジ点と
して抽出されないこともある。
【００２０】
しかし、図３（ａ）のように同じように連続した弱いエッジを持つ場合は物体として認識されなければならない。
【００２１】
このような実際の対象としては人間の目の瞳などがある。
【００２２】
顔画像を通常室内環境で撮影し、撮影された瞳の形状抽出を行おうとする場合、図８において、（１）〜（３）で示すような問題が挙げられる。
【００２３】
ようになる。
【００２４】
（１）  まぶた、まつげ等に瞳の一部を隠されてしまうため推定が不安定である（図８ア）。
【００２５】
（２）  蛍光灯の写り込みにより、非常に強いエッジが画像中にできてしまう（図８イ）。
【００２６】
（３）  虹彩と白目の間はなだらかに変化しており、弱いエッジで構成されている（図８ウ）。
【００２７】
従来の対象認識法は、エッジ強度、エッジ点の幾何学的配置についての考慮はなされているが、隣接するエッジ点同士の関係としてのエッジの方向性とエッジ強度の類似性には着目していない。
【００２８】
例えば、一般化ハフ変換におけるエッジ点同士の関係は、エッジ点の集合として表される幾何学的配置関係のみである。
【００２９】
また、スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけや、最適化のための制御点同士の情報交換等があるが、積極的に関係情報を利用したものではない。また、楕円等の形状をパラメータ表現できる場合、楕円を構成するエッジ点を抽出し、最小自乗法等によって楕円のパラメータを求めることによって、検出を行っていた。しかし、最小自乗法による楕円の当てはめには、最小自乗法に偏差があることが知られていることや楕円の一部が隠されてしまうことによって、推定が不安定になるという問題がある。このように従来の形状抽出はノイズや外乱に弱かった。
【００３０】
そこで、本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行えるものを提供する。
【課題を解決するための手段】
【００３１】
本発明の形状認識装置は、認識対象物を擬似的に表したモデルを画像に当ては
めて、その画像中に写っている前記認識対象物の形状を認識する装置であって、画像を入力する画像入力手段と、前記認識対象物を擬似的に表したモデルを一つまたは複数記憶する記憶手段と、この記憶手段に記憶したモデルの中で認識したい形状に類似した一つのモデルを選択するモデル選択手段と、このモデル選択手段によって選択した選択モデルに一つまたは複数のマスク領域を設定するマスク領域構成手段と、前記モデル選択手段によって選択した選択モデルを画像に当てはめるために、その選択モデルの画像中における位置、姿勢または大きさを決定するパラメータを設定するパラメータ設定手段と、前記マスク領域構成手段でマスク領域を設定した選択モデルを、前記パラメータ設定手段によって設定されたパラメータに基づいて画像に当てはめる画像当てはめ手段と、この画像当てはめ手段によって画像に当てはめた選択モデルの一つまたは複数のマスク領域における特徴量を、前記画像入力手段によって入力された画像から求める特徴量抽出手段と、この特徴量抽出手段によって得られた選択モデルの一つまたは複数のマスク領域の特徴量に基づいて、認識したい形状に前記選択モデルが最も適合するパラメータを決定するパラメータ決定手段とよりなる。
【発明の効果】
【００３２】
本発明によれば、最も評価の高いと判断されたパラメータに基づいて、モデルを画像に当てはめると、そのモデルの位置、姿勢、大きさで決定される箇所に、目的の形状が存在する。したがって、ロバストな形状認識が行え、さまざまな画像処理装置で応用が可能である。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態における実施例を説明する。
【００３４】
なお、本実施例は、人間の目の瞳の部分の形状認識を行うという状況での一実施例について説明する。ＣＣＤカラーカメラを用いて取得した顔画像では、図７のように、瞳の形状が楕円として撮影される。この瞳の形状を楕円として近似しその楕円パラメータを求めることについて考える。
【００３５】
形状認識装置１００のブロック図を図１に示す。
【００３６】
画像を入力するために必要なＡ／Ｄ変換や入力変換手段と画像蓄積部からなる画像入力部１０１、取得した画像の前処理するための画像前処理部１０２、そして形状抽出を行う形状抽出部１０３から構成される。
【００３７】
（１）画像入力部１０１
画像入力部１０１について説明する（図４参照）。
【００３８】
画像入力部１０１は、カラーＣＣＤカメラ１、ビデオボード２、画像を蓄積するメモリ３からなる。なお、画像入力部１０１は、ＣＣＤカメラ１からの入力に限らずビデオ等の映像出力機器やＸ線撮影装置等で得られた画像をビデオボードの端子から入力することもできる。
【００３９】
（２）画像前処理部１０２
画像前処理部１０２について説明する（図５参照）。
【００４０】
画像入力部１０１に入力された画像を明度画像、色相画像、彩度画像といった画像に変換する演算装置４と、これら変換した画像を保存する画像蓄積部５からなる。
【００４１】
ＣＣＤカメラ１によって取得されたカラー画像はＲ、Ｇ、Ｂの３枚の画像からなる。演算装置４は、画像中のある一点（ｘ，ｙ）のそれぞれのＲ，Ｇ，Ｂ画像の値を、（Ｒ，Ｇ，Ｂ）として、このＲＧＢカラー空間における色表現をＨＳＶカラー空間(Computer Graphics 2nd edition(Addison Wesley)pages 592-593)やＧＨＬＳカラー空間(GLHS:A generalized Lightness,Hue,and Saturation Color Model,Haim Levkowitz and Gabor T.Herman, CVGIP Graphical Models and Image Processing(GMIP)Volume 55,Number 4,July 1993)での色表現に変換する。画像蓄積部５のメモリから、（ｘ，ｙ）の位置に対応するＲ，Ｇ，Ｂ値を読みとり、上記した変換アルゴリズムによって（Ｒ，Ｇ，Ｂ）→（Ｈ，Ｓ，Ｖ）に変換し、その（Ｈ，Ｓ，Ｖ）の値を画像蓄積部５のメモリに記憶させる。
【００４２】
なお、本実施例では、画像入力部１０１と画像前処理部１０２とを別の構成にしたが、これに限らず、両者を一体として画像入力部としてもよい。
【００４３】
（３）形状抽出部１０３
形状抽出部１０３について説明する（図６参照）。
【００４４】
形状抽出部１０３は３つの構成からなり、マスクを構成するマスク構成部６、
各マスク内の特徴量を抽出する特徴量抽出部７、各マスクで得られた特徴量を組み合わせて、形状抽出の評価値を計算する組合せ評価値計算部８からなる。
【００４５】
形状抽出部１０３については、「組合せ分離度」を用いて説明する。
【００４６】
なお、前記で説明した式（１）で求められる分離度を、以下で説明する「組合せ分離度」と区別するために「単純分離度」と呼ぶ。
【００４７】
「組合せ分離度」は先に説明した単純類似度のマスクを、エッジ方向と幾何学的位置関係を考慮して、複数個配置し、それらを関係づける評価関数によって求められる。
【００４８】
図９に示すように楕円状に分離度を求めるためのマスクを配置する。これを部分マスクと呼ぶ。楕円の接線方向に垂直な直線上（エッジ方向）に部分マスクを配置する。そして、各部分マスクについて、各分離度の計算を行う。組合せ分離度Ｃ（０．０≦Ｃ≦１．０）を次式のように定義する。
【数２】
2006084473.tif 000004
【００４９】
または、
【数３】
2006084473.tif 000005
【００５０】
但しＧ，Ｅは次のようにして求められる。
【００５１】
Ｇは隣接する部分マスク間の分離度の差をとり、その差が小さいときによい評価を与えるという、複数あるマスク間の幾何学的配置とエッジの類似度を評価する関数である。
【００５２】
部分マスクＭｉ（ｉ＝１〜ｎ）の単純分離度をＳ（Ｍｉ）で表す。各部分マスク間の差の絶対値を取り、１．０から引いた値を各マスク間の「類似度」として定義し、これより次式で表される。
【数４】
2006084473.tif 000006
【００５３】
Ｅは各部分マスクで計算された分離度の総和を取り、全体のエッジ強度を表す。
【数５】
2006084473.tif 000007
【００５４】
Ｇ，Ｅの値が、０≦Ｇ、Ｅ≦ｎとなるため、式（２）のように、正規化を行う。
【００５５】
α、βそれぞれの重みについて実験等によって決定する。一般には、α＝０．５、β＝０．５として評価する。例えば、α＝１、β＝０として、エッジ間の類似度のみを評価するようにすることも可能である。これは、あらかじめ物体の存在する位置等がわかっており、非常にエッジ間の類似度が高い場合に利用される。
【００５６】
式（３）は、Ｇ，Ｅのそれぞれを正規化した値を掛け合わせることによって評価しており、全体のエッジ強度とエッジ間の類似度のバランスに敏感な評価関数となる。
【００５７】
そして、瞳の形状を楕円として抽出する場合の形状抽出部１０３についての機能、動作の説明を行う。
【００５８】
（３−１）マスク構成部６
マスク構成部６は、形状記述記憶部９、アフィン変換計算部１０、組合せマスク構成部１１からなる（図１０参照）。
【００５９】
（３−１−１）形状記述記憶部９
形状記述記憶部９は、抽出したい形状（モデル）が格納されている。すなわち、モデルはエッジのサンプル点（ｎ個）と、その点におけるエッジの方向の情報が図１１のモデル記述テーブルに格納されている。
【００６０】
楕円の場合では、楕円の中心座標（ｘ０，ｙ０）、半径（長軸の長さの１／２）ｒ、長軸と短軸の比ｂ（０．０＜ｂ≦１．０）、長軸と座標系のＸ軸とのなす角θによって決定される。これらの楕円パラメータを決定し、そのサンプル点（ｘ
ｉ，ｙｉ）を与え、楕円上の点（ｘｉ，ｙｉ）におけるエッジ方向については、
中心と点（ｘｉ，ｙｉ）を結ぶ直線がＸ軸となす角度をθｐとすると、エッジ方向は、
【数６】
2006084473.tif 000008
【００６１】
で計算される。
【００６２】
例えば、図９のように、点（ｘｓ，ｙｓ）では、エッジの方向が矢印のように求められる。このエッジ方向をモデル記述テーブルに記述する。
【００６３】
（３−１−２）アフィン変換計算部１０
アフィン変換計算部１０について説明する。
【００６４】
モデルは図１２のように、画像データ中では平行移動、回転、拡大縮小されている場合がある。モデルにアフィン変換を施し、そのモデルの当てはめを行うことで変換に対応した検出を行う。
【００６５】
図１１のモデル記述テーブルの各点（ｘｉ，ｙｉ）に関して、アフィン変換マトリクスＡは、
【数７】
2006084473.tif 000009
【００６６】
を
【数８】
2006084473.tif 000010
【００６７】
に対して以下のようにｐ’を求める。但し、Ｔは平行移動、Ｒは回転変換、Ｚは相似変換の行列を表す。
【数９】
2006084473.tif 000011
【００６８】
このｐ’を別に用意する一時保管テーブルに登録する。また、このアフィン変
換の回転成分Ｒをそれぞれのエッジ方向に足し合わせて、同様に一時保管テーブ
ルに登録する。
【００６９】
抽出したい対象が画像データ中のどの辺りにあるかという探索範囲やどのくらいの抽出精度が必要かに応じて、変換パラメータの変動範囲を決定する。アフィン変換の平行移動成分、回転成分、拡大縮小成分においてそれぞれ、可変範囲と刻みを決定し、その範囲での変換パラメータから変換マトリクスを生成し、一時保管テーブルに登録する。
【００７０】
（３−１−３）組合せマスク構成部１１
組合わせマスク構成部１１について説明する。
【００７１】
アフィン変換計算部１０で変換された一時保管テーブルに基づいて、計算を行うマスクを設定する。例えば、分離度を用いた場合、分離度マスクは図２のようなマスクを構成する。このときマスクの方向が図９のように、楕円のパラメータ（ｘ，ｙ，ｒ，ｂ，θ）によって計算される楕円上にエッジ方向と平行となるようなマスクを構成する。マスクの大きさ、形状については取得する画像抽出量に応じて定める。なお、本実施例では、矩形のマスク領域を用いて説明する。
【００７２】
（３−２）特徴量抽出部７
特徴量抽出部７について説明する（図１３参照）。
【００７３】
特徴量抽出部７は、画像メモリ１２、演算装置１３、特徴量蓄積部１４からなる。
【００７４】
（３−２−１）画像メモリ１２
画像メモリ１２は、画像前処理部１０２で計算された画像を転送し保持する役割をもつ。
【００７５】
（３−２−２）演算装置１３
演算装置１３は、組合せマスク構成部１１において構成されたマスクにしたがって、画像メモリ１２中に蓄えられている画像の輝度、色相といった値を読みとり、マスクで定義されている特徴量を算出する。
【００７６】
算出された結果は、特徴量蓄積部１４に保存される。この説明では特徴量として分離度を用いているので、各部分マスクについて明度画像を用いて、それぞれ
の式（１）の分離度を計算し、それぞれの分離度が格納される。式（１）におけ
る画像抽出量Ｐｉは、本実施例では分離度を算出するための明度となる。
【００７７】
なお、特徴量として分離度だけではなく、他の特徴量も利用でき、これについては変形例で述べる。
【００７８】
（３−３）組合せ評価値計算部８
組合せ評価値計算部８は、組合せ特徴量計算部１５、評価記憶部１６、結果記憶部１７とよりなる（図１４参照）。
【００７９】
組合せ特徴量計算部１５は、式（２）（３）で定義される組合せ分離度Ｃを求める。組合せ分離度Ｃは、式（２）（３）のどちらか一方から演算した値を使用する。
【００８０】
その組合せ分離度Ｃを評価値記憶部１６に登録する。この評価値記憶部１６では、各組合せ分離度Ｃと式（７）の変換のパラメータＡを対にして記憶する。そして、一番高い組合せ分離度Ｃ（最も１に近い組合せ分離度Ｃ）を持つときのパラメータＡが結果記憶部１７に送られる。
【００８１】
（３−４）形状抽出部１０３の動作
図１５は、形状抽出部１０３の動作をフローチャートに示したものである。
【００８２】
ステップ５１では、マスク構成部６の形状記述記憶部９、アフィン変換計算部１０によって楕円のパラメータが計算される。
【００８３】
ステップ５２では、組合せマスク構成部１１によって、マスク生成が行われる。
【００８４】
ステップ５３では、特徴量抽出部１４により、部分マスクの計算が行われる。
【００８５】
ステップ５４では、組合せ分離度Ｃの計算が、組合せ評価値計算部１５でなされ、そして、評価値記憶部１６では、組合せ分離度Ｃの大きい順にデータをソートする。
【００８６】
ステップ５５では、これにより、組合せ分離度Ｃの更新が行われる。
【００８７】
ステップ５６では、楕円のパラメータを変化させながら、組合せ分離度Ｃの計算を行うが、探索範囲を全て終了したかどうかを判断し、終了の場合、一番高い
組合せ分離度Ｃを持つとき（最も１に近い組合せ分離度Ｃ）の楕円パラメータＡ
を結果記憶部１７に送り、ステップ５７において、その時の楕円パラメータＡを持つ検出楕円とする。終了していない場合、ステップ５１に戻り、楕円パラメータの更新を行い、処理を繰り返す。
【００８８】
（４）変更例
本発明は上で述べた実施例に限定されるものではない。
【００８９】
全体の構成についての変形例として、画像メモリが各部分に点在するが、これを一つにまとめた構成とし、各演算装置がそのメモリをアクセスできるように構成を変更してもよい。
【００９０】
また、ＣＣＤカメラのみの入力だけでなく、ＭＲＩ画像やＸ線ＣＴ画像、超音波画像、ＳＰＥＣＴ画像等の入力でも可能である。たとえば、人間の肝臓部分の輪郭抽出等に有効と考えられる。
【００９１】
画像前処理部１０２は、色空間の変換だけでなく、平滑化等のフィルタリング等の画像の変換を行うように変形できる。
【００９２】
特徴量抽出部７についての変形例をいくつか挙げる。
【００９３】
本実施例では楕円形状の抽出について述べたが、楕円形状だけに限らず、図１２のように、テーブルの構成内容により、様々な形状に対応可能である。
【００９４】
組合せ特徴量について次のように変形できる。
【００９５】
上記実施例で説明した複数のマスクで計算される特徴量から評価値を算出するだけでなく、予め決められた形状をした一つのマスクを用いて特徴量を算出し、それを評価値として用いる。この一つのマスクの形状はモデルを参考にして決定する。
【００９６】
例えば、図１８のような、楕円の輪郭に沿った、２つの領域の分離度を計算し、それを評価関数とする。
【００９７】
この場合の組合せマスク構成部の変形例は、図１８のように、一時保管テーブルに基づいて楕円の輪郭に沿って、２つの領域を設定する。各領域の面積などについては、画像抽出量に応じて定める。
【００９８】
また、予め決められた形状をもつマスクを一つだけ用いた方法の場合の組合せ
評価値計算部の変形例として、評価値Ｃの計算方法を（数２）についてα，β＝１，ｎ＝１，Ｇ＝０、（数３）についてｎ＝１，Ｇ＝１として、計算する。
【００９９】
分離度はテクスチャ画像のエッジ強度等も計算できるため、複雑なテクスチャ中の形状認識等も可能となる。また、本実施例のように明度画像のみを用いるのではなく、他の画像前処理部で得られる色相画像等を用いた、様々な分離度を計算できる。
【０１００】
組合せ特徴量についての計算式を次のような形に変形できる。
【数１０】
2006084473.tif 000012
【０１０１】
これにより、Ｃ’の値は、０．０〜１．０の間に収まらなくなるが、値の大きなものを形状として抽出することができる。このように、様々に評価関数を設定でき、組合せた特徴量のもっとも高い値を持つときの形状パラメータを求めることができる。
【０１０２】
特徴量として分離度だけではなく、他の特徴量も利用できる。例えば、Sobel フィルタによるエッジ抽出によってエッジ強度を計算し、特徴量として利用する。この場合もエッジの強度の類似度を計算する。しかし、Sobel フィルタでは、分離度とは異なりマスク形状の方向性はない。そこで、計算されたエッジの方向における隣接したエッジ点の同士の類似度を計算する式を次のように定義し、隣接した２つのエッジ点のエッジ方向の角度をθ１、θ２とする。θ１、θ２が直交するとき最小となる角度間の評価関数を
【数１１】
2006084473.tif 000013
【０１０３】
のように設定し、この評価関数を組み込んだ形式に変形する。
【０１０４】
また前述のように、分離度以外の特徴量を用いる場合、特徴量を計算するマスクが必要のない場合も存在する。マスク構成部を除いた構成に変形しても良い。
【０１０５】
特徴量抽出部の動作は、図１５に示したように、繰り返し計算による探索だけではない。別の例として、図１６のように、予め数種類のエッジ方向のマスクを画像に適用しておき、多数のエッジ強度画像を作成しておく。そして、パラメータ空間を用意しておき、すべてのエッジ強度画像から得られた特徴量をパラメータ空間に投票を行う。そしてパラメータ空間のピークの位置を検出するといった、ハフ変換に似たアルゴリズムを用いる変形例がある。
【０１０６】
また、本実施例は瞳の形状抽出について説明したが、先に示したように、その他の形状抽出も可能であると述べた。この時並列に異なる形状テーブルのものを探索することによって、複数形状を同時に抽出できるように拡張が可能である。具体的な応用としては、口形状を抽出する場合に有効である。図１７（ａ）（ｂ）（ｃ）（ｄ）のように、口の開け方（大きさ）に応じたいくつかの口形状モデルを用意する。そしてそれぞれに対して、図１７（ｄ）のように、分離度マスクを設定し抽出を行う。
【０１０７】
また、一つのモデルが、画像データ中に複数の存在し、同時に複数個選択したい場合、評価値記憶部１６に記録されている候補から複数結果を出力するように、評価値記憶部１７と結果記憶部１８を変形できる。
【０１０８】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【図面の簡単な説明】
【０１０９】
【図１】形状認識装置のブロック図である。
【図２】分離度を示す図である。
【図３】弱いエッジで構成される物体の認識を示す図である。
【０１１０】
（ａ）は、弱いエッジで構成される物体の図である。
【０１１１】
（ｂ）は、エッジ強度を示すテーブルである。
【０１１２】
（ｃ）は、明度分布のグラフである。
【図４】画像入力部のブロック図である。
【図５】画像前処理部のブロック図である。
【図６】形状抽出部のブロック図である。
【図７】楕円形状として撮影される瞳を示す図である。
【図８】目を取得した画像の不安定性を示す図である。
【０１１３】
（ａ）は、目の正面図である。
【０１１４】
（ｂ）は、明度分布のグラフである。
【図９】組合せ分離度マスクを示す図である。
【図１０】マスク構成部のブロック図である。
【図１１】モデル記述テーブルを示す図である。
【図１２】モデルと画像データのアフィン変換による関係を示す図である。
【図１３】特徴量抽出部のブロック図である。
【図１４】組合せ評価値計算部のブロック図である。
【図１５】形状抽出部のフローチャートである。
【図１６】形状抽出部の変形例の概念図である。
【図１７】口形状の検出を示す図である。
【図１８】変形例におけるマスク領域の説明図である。
【符号の説明】
【０１１５】
１００      形状認識装置
１０１      画像入力部
１０２      画像前処理部
１０３      形状抽出部
【図１】
2006084473.tif 000014
【図２】
2006084473.tif 000015
【図３】
2006084473.tif 000016
【図４】
2006084473.tif 000017
【図５】
2006084473.tif 000018
【図６】
2006084473.tif 000019
【図７】
2006084473.tif 000020
【図８】
2006084473.tif 000021
【図９】
2006084473.tif 000022
【図１０】
2006084473.tif 000023
【図１１】
2006084473.tif 000024
【図１２】
2006084473.tif 000025
【図１３】
2006084473.tif 000026
【図１４】
2006084473.tif 000027
【図１５】
2006084473.tif 000028
【図１６】
2006084473.tif 000029
【図１７】
2006084473.tif 000030
【図１８】
2006084473.tif 000031