(57)【要約】【課題】従来の輝度値分布間の分離度を用いた方法では検出困難であった唇輪郭上のエッジ点などを、より安定に検出する分離度エッジ検出装置を提供する。【解決手段】入力された画像中の一の画素を指定画素として指定する画素指定部１と、指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定部２と、設定されたマスク領域を指定画素を基準とした境界を境にして２つの部分領域に分割し、各部分領域に含まれる各画素の画像特徴量を抽出し、抽出した各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算部４と、計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定部５とを有する。【選択図】      図５
2005242596.tif 000002
【特許請求の範囲】
【請求項１】
画像中のエッジを検出する分離度エッジ検出装置において、
前記画像が入力する画像入力手段と、
前記入力された画像中の一の画素を指定画素として指定する画素指定手段と、
前記指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定手段と、
前記設定されたマスク領域を前記指定画素を基準とした境界を境にして２つの部分領域に分割し、前記各部分領域に含まれる各画素の画像特徴量を抽出する画像特徴量抽出手段と、
前記抽出した前記各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算手段と、
前記計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定手段と、
を有する
ことを特徴とする分離度エッジ検出装置。
【請求項２】
前記多次元分離度計算手段は、
前記各部分領域に含まれる各画素の画像特徴量の平均ベクトルを計算し、
前記マスク領域全体の全分散行列を計算し、
前記各部分領域における画像特徴量の平均ベクトルと前記全分散行列とに基づいて射影軸を計算し、
前記マスク領域全体の各画素の画像特徴量の平均ベクトルを計算し、
前記各部分領域における画像特徴量の平均ベクトルに基づいて前記部分領域間の分散行列を計算し、
前記射影軸と前記マスク領域全体の平均ベクトルと前記部分領域間の分散行列とに基づいて固有値を計算し、この固有値を多次元分離度とする
ことを特徴とする請求項１記載の分離度エッジ検出装置。
【請求項３】
前記多次元画像特徴量として画像のＲＧＢ値を少なくとも用いる
ことを特徴とする請求項１記載の分離度エッジ検出装置。
【請求項４】
前記多次元画像特徴量として画像のＲＧＢ値、赤外線画像強度、距離尺度を用いる
ことを特徴とする請求項１記載の分離度エッジ検出装置。
【請求項５】
前記マスク領域設定手段は、前記指定画素を中心にして複数の方向の前記マスク領域を設定する
ことを特徴とする請求項１記載の分離度エッジ検出装置。
【請求項６】
前記マスク領域設定手段は、矩形のマスク領域を設定する
ことを特徴とする請求項１記載の分離度エッジ検出装置。
【請求項７】
前記マスク領域設定手段は、円形のマスク領域を設定する
ことを特徴とする請求項１記載の分離度エッジ検出装置。
【請求項８】
画像中のエッジを検出する分離度エッジ検出方法において、
前記画像が入力する画像入力ステップと、
前記入力された画像中の一の画素を指定画素として指定する画素指定ステップと、
前記指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定ステップと、
前記設定されたマスク領域を前記指定画素を基準とした境界を境にして２つの部分領域に分割し、前記各部分領域に含まれる各画素の画像特徴量を抽出する画像特徴量抽出ステップと、
前記抽出した前記各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算ステップと、
前記計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定ステップと、
を有する
ことを特徴とする分離度エッジ検出方法。
【請求項９】
画像中のエッジを検出する分離度エッジ検出方法をコンピュータによって実現するプログラムにおいて、
前記画像が入力する画像入力機能と、
前記入力された画像中の一の画素を指定画素として指定する画素指定機能と、
前記指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定機能と、
前記設定されたマスク領域を前記指定画素を基準とした境界を境にして２つの部分領域に分割し、前記各部分領域に含まれる各画素の画像特徴量を抽出する画像特徴量抽出機能と、
前記抽出した前記各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算機能と、
前記計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定機能と、
を実現する
ことを特徴とする分離度エッジ検出方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理分野において、画像中のエッジを検出する分離度エッジ検出装置及びその方法に関する。
【背景技術】
【０００２】
分離度を用いたエッジ検出方法（以下、「分離度エッジ検出方法」という（例えば、特許文献１参照））は画像処理における重要な要素技術の一つであり、その有効性は様々な研究によって示されている（非特許文献２）。
【０００３】
従来の分離度エッジ検出方法は一次元画像特徴量（画像の輝度値など）の分布間の分離度に基づいている。その従来の分離度エッジ検出方法について説明する。
【数１】
2005242596.tif 000003
【０００４】
従来の分離度エッジ検出方法は、画像中においてエッジ強度が高い画素を、輝度値が急激に変化する位置ではなく、２つの部分領域の境界として扱っている。これによってぼやけたエッジに対しても、輝度値の勾配を用いた方法と比較して安定なエッジ検出を行うことができる。
【０００５】
図１は画像中のある画素に設定された分離度マスクであり、部分領域１，２から構成されている。２つの部分領域における一次元画像特徴量（輝度値、色相など）の分布間の分離度は以下の式で計算される。
【数２】
2005242596.tif 000004
【０００６】
ここでｉはマスク領域全体に含まれる画素の番号、Ｎはマスク領域全体に含まれる画素の総数を表す。ｎ１、ｎ２はそれぞれ部分領域１，２に含まれる画素の総数であり、ｎ１＋ｎ２=Ｎである。σＴ２はマスク領域全体における画像特徴量の全分散、σＢ２は部分領域１，２における画像特徴量の部分領域間分散を表す。またＰｉは画素ｉにおける画像特徴量の値を表し、平均値Ｐｍ、平均値Ｐ１、平均値Ｐ２はそれぞれマスク領域全体、部分領域１、部分領域２における画像特徴量の平均値である。
【０００７】
以上の定義によると、分離度は２つの分布がどの程度離れているかを表す、分布間の距離指標の一つと考えられる。また分離度は０から１．０に規格化された量であり、完全に分離していれば１．０、全く分離していなければ０となる。
【０００８】
図２（ａ）及び（ｂ）は、ある座標軸に沿って得られた１次元画像特徴量について、１次元の分離度マスクを用いて得られた分離度をグラフ化したものある。図２（ａ）では、分離度マスクの位置（部分領域１，２の境界）が領域ｉ，ｉｉの境界と一致した時に分離度はピーク値を持っている。この時の分離度マスクの位置をエッジ位置として定義する。図２（ｂ）は、領域ｉ，ｉｉの境界が明確でない場合であるが、その場合も分離度がピーク値を持つ時の分離度マスクの位置をエッジ位置として定義する。図２（ａ）と（ｂ）を比較すると分かるように、２つの領域の境界がはっきりしているほどピーク値は高い値を持つ。
【特許文献１】特開平０７−９３５６１号公報
【非特許文献１】M.Kass,A.Witkin,and D.Terzopouls,``Snakes: active Contour Models,'' in Proc. 1st Int. Conf. on Computer Vision, p259-268,（1987）.
【非特許文献２】福井和広, “領域間の分離度に基づく物体輪郭抽出,” 電子情報通信学会論文誌（D-II）, vol.J8０ no.6 pp1406-1414（1997）
【非特許文献３】R.Cipolla and a. blake, ``The Dynamic analysis of apparent Contours,'' in Proc. 3rd Int. Conf. on Computer Vision, p616-623, （1990）.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、２つの領域の境界が明確でない場合には、従来の分離度エッジ検出方法では、エッジ強度を検出できないときがある。この理由は、従来の分離度エッジ検出方法は一次元画像特徴量の分布間の分離度に基づいているからである。
【００１０】
そのため、顔画像処理分野では以前から、唇などの検出において輝度値よりもカラー情報の方が有効であると言われている。カラー情報の分布間の分離度をエッジ強度として用いること、すなわち、多次元画像特徴量（画像のＲＧＢ値など）の分布間の分離度を用いれば、従来法よりも安定なエッジ検出を行うことができると考えられている。ところが、この多次元画像特徴量の分布間の分離度を求めることが従来困難であり、その実用化が求められている。
【００１１】
そこで、本発明はこの問題点に鑑みて成されたものであり、多次元画像特徴量の分布間の分離度を求めて、従来法では検出困難であった唇輪郭上のエッジ点などをより安定に検出する分離度エッジ検出装置及びその方法を提供する。
【課題を解決するための手段】
【００１２】
請求項１に係る発明は、画像中のエッジを検出する分離度エッジ検出装置において、前記画像が入力する画像入力手段と、前記入力された画像中の一の画素を指定画素として指定する画素指定手段と、前記指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定手段と、前記設定されたマスク領域を前記指定画素を基準とした境界を境にして２つの部分領域に分割し、前記各部分領域に含まれる各画素の画像特徴量を抽出する画像特徴量抽出手段と、前記抽出した前記各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算手段と、前記計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定手段と、を有することを特徴とする分離度エッジ検出装置である。
【００１３】
請求項２に係る発明は、前記多次元分離度計算手段は、前記各部分領域に含まれる各画素の画像特徴量の平均ベクトルを計算し、前記マスク領域全体の全分散行列を計算し、前記各部分領域における画像特徴量の平均ベクトルと前記全分散行列とに基づいて射影軸を計算し、前記マスク領域全体の各画素の画像特徴量の平均ベクトルを計算し、前記各部分領域における画像特徴量の平均ベクトルに基づいて前記部分領域間の分散行列を計算し、前記射影軸と前記マスク領域全体の平均ベクトルと前記部分領域間の分散行列とに基づいて固有値を計算し、この固有値を多次元分離度とすることを特徴とする請求項１記載の分離度エッジ検出装置である。
【００１４】
請求項３に係る発明は、前記多次元画像特徴量として画像のＲＧＢ値を少なくとも用いることを特徴とする請求項１記載の分離度エッジ検出装置である。
【００１５】
請求項４に係る発明は、前記多次元画像特徴量として画像のＲＧＢ値、赤外線画像強度、距離尺度を用いることを特徴とする請求項１記載の分離度エッジ検出装置である。
【００１６】
請求項５に係る発明は、前記マスク領域設定手段は、前記指定画素を中心にして複数の方向の前記マスク領域を設定することを特徴とする請求項１記載の分離度エッジ検出装置である。
【００１７】
請求項６に係る発明は、前記マスク領域設定手段は、矩形のマスク領域を設定することを特徴とする請求項１記載の分離度エッジ検出装置である。
【００１８】
請求項７に係る発明は、前記マスク領域設定手段は、円形のマスク領域を設定することを特徴とする請求項１記載の分離度エッジ検出装置である。
【００１９】
請求項８に係る発明は、画像中のエッジを検出する分離度エッジ検出方法において、前記画像が入力する画像入力ステップと、前記入力された画像中の一の画素を指定画素として指定する画素指定ステップと、前記指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定ステップと、前記設定されたマスク領域を前記指定画素を基準とした境界を境にして２つの部分領域に分割し、前記各部分領域に含まれる各画素の画像特徴量を抽出する画像特徴量抽出ステップと、前記抽出した前記各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算ステップと、前記計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定ステップと、を有することを特徴とする分離度エッジ検出方法である。
【００２０】
請求項９に係る発明は、画像中のエッジを検出する分離度エッジ検出方法をコンピュータによって実現するプログラムにおいて、前記画像が入力する画像入力機能と、前記入力された画像中の一の画素を指定画素として指定する画素指定機能と、前記指定された指定画素を中心にして、予め決められた大きさ及び形状のマスク領域を設定するマスク領域設定機能と、前記設定されたマスク領域を前記指定画素を基準とした境界を境にして２つの部分領域に分割し、前記各部分領域に含まれる各画素の画像特徴量を抽出する画像特徴量抽出機能と、前記抽出した前記各部分領域に含まれる各画素の画像特徴量の分布間の多次元分離度をエッジ強度として計算する多次元分離度計算機能と、前記計算されたエッジ強度が閾値以上であれば、前記境界をエッジと判定するエッジ判定機能と、を実現することを特徴とする分離度エッジ検出方法のプログラムである。
【発明の効果】
【００２１】
本発明によって、従来の分離度エッジ検出方法では不可能であった多次元分布間の分離度の計算が可能となり、例えばＲＧＢ値分布間の多次元分離度を用いたエッジ検出など、画像処理において有用な要素技術を提供することが可能となる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施例を説明する前に、本実施例の前提となる本発明の分離度エッジ検出方法の理論について説明する。
【００２３】
画像中に設置された図１のようなマスク領域において、２つの部分領域に含まれる画像特徴量分布間の多次元分離度を計算することができれば、その多次元分離度は２つの部分領域の境界におけるエッジ強度と考えることができる。
【００２４】
そこで、本願の発明者は、多次元分離度を計算する方法として、統計学の分野で知られているFisher評価基準に基づく方法に着目して始めて導入した。しかしながら、このFisher評価基準は統計学における方法であるため、画像処理におけるエッジ強度を検出する方法に、そのまま導入することはできない。したがって、本発明者は、エッジ強度の検出にFisher評価基準を単に導入するという発想だけでなく、それに加えて、画像処理のおける新たな観点をFisher評価基準に取り入れた。
【００２５】
以下、その分離度エッジ検出方法の理論を説明する。
【００２６】
（１）本発明における分離度エッジ検出方法の式を用いた説明
まず、分離度エッジ検出方法の理論について式を用いて説明する。
【００２７】
今、Ｎ個の多次元画像特徴量ベクトルｘｉ（ｉ＝１，２，・・・Ｎ）が、図１のマスク領域における２つの部分領域１，２に分類されているとする。このとき、２つの部分領域間の多次元分離度ηＭは次の式（４）で表せる行列ハットＡの最大固有値λとして得られる。
【数３】
2005242596.tif 000005
【００２８】
ここでｉは画像特徴量の番号、ｎは画像特徴量の総数を表す。ｎ１、ｎ２はそれぞれ部分領域１、２に含まれる画像特徴量の総数であり、ｎ１＋ｎ２=Ｎである。ベクトルｘｉはｉ番目の画像特徴量を表すＤ次元のベクトルであり、行列ハットＳＴはｎ個の画像特徴量の全分散行列、行列ハットＳＢは部分領域１，２における画像特徴量の部分領域間分散行列を表す。
【００２９】
また、平均ベクトルｘ（ｍ）、平均ベクトルｘ（１）、平均ベクトルｘ（２）はそれぞれ、ｎ個全て、部分領域１、部分領域２における画像特徴量の平均ベクトルである。
【００３０】
さらに、多次元分離度ηＭ、つまり行列ハットＡの最大固有値λは、部分領域１と部分領域２に属する画像特徴量の分布に関するFisher評価基準（=部分領域間分散／全分散）を最大化した場合の多次元分離度である。従来法における分離度と同様に、多次元分離度ηＭも０から１．０に規格化された値を持つ。
【００３１】
しかし、上記式（４）〜（７）では、計算コストがかかり、不安定である。すなわち、行列の固有値を求める計算は多くの計算コストを消費する上、計算そのものが不安定である場合が多い。また、通常行列ハットＡは非対称なので、対称の場合と比較して固有値を求める計算は大幅に複雑化する。そこで、式（４）における行列ハットＡの最大固有値λは、以下の式を用いても求めることができる。
【数４】
2005242596.tif 000006
【００３２】
ここでベクトルｕは、部分領域１と部分領域２に属する画像特徴量分布間の分離を最大化するFisher軸（以下、「射影軸」という）である。
【００３３】
これら式（８）、（９）を用いて固有値λを求める計算は式（４）〜（７）を用いるよりも計算コストが低く、かつ、安定である。
【００３４】
（２）本発明における分離度エッジ検出方法の図を用いた説明
上記では理論を式で説明したが、この式の内容を図１、図４を用いて説明する。そして、多次元画像特徴量の具体例として、赤色、緑色、青色の三原色の強度で表されるＲＧＢ値（すなわち、３次元画像特徴量となる）を用いる場合について考える。
【００３５】
この場合に式（７）の画像特徴量ベクトルｘは、図１のマスク領域に含まれるｉ番目の画素（以下、指定画素という）におけるＲＧＢ値（３次元画像特徴量）の各要素ｒｉ、ｇｉ、ｂｉで表される。
【００３６】
このときに式（９）における射影軸ベクトルｕは、図１の部分領域１、２における２つのＲＧＢ値分布のコントラストを最も強調する射影軸ベクトルｕとなっている。つまり、２つの部分領域における色分布が見た目にそれほど違わなくても、ベクトルｕに射影することによってその分離度（固有値λ）は最大化されるため、固有値λは色分布のわずかな違いにも非常に敏感に反応する。したがって式（８）における固有値λをエッジ強度として用いることによって、色分布の変動に対して非常に感度の高いエッジ検出を行うことが可能となる。この点が従来の方法と全く異なる点であり、単に統計学におけるFisher評価基準の内容とは異なる点である。
【００３７】
図４（ａ）は、式（９）によって決定された射影軸ベクトルｕが、部分領域１、２におけるＲＧＢ値で構成される分布Ｄｍ１、Ｄｍ２（なお、本来はＲＧＢ値は３次元画像特徴量であるが、簡単のため図４では２次元で表わす）の分離度（模式的にＳｍで表される）を最大化することを示した模式図である。
【００３８】
図４（ａ）に示すように、射影後の分布は殆ど重なりが無く、ほぼ完全に分離されていることが分かる。この場合、部分領域１、２の境界に存在する指定画素ｉは、高い分離度、つまりエッジ強度を持つ。
【００３９】
ところが、図４（ａ）において、射影軸ベクトルｕとは異なり、射影軸ベクトルが、（１，１）方向（すなわち、図４が記載された紙面向かって右斜め上方向）である射影軸ベクトルｕ’とすると、分布Ｄｍ１及びＤｍ２は図４（ｂ）の分布Ｄｓ１、Ｄｓ２のように変換され、分離度はほぼ０である。この場合２つの部分領域における色分布は殆ど区別がつかないこととなり、画素ｉにおけるエッジ強度は非常に低い。
【００４０】
以上のように、本発明における多次元画像特徴量分布間の分離度の計算は、Fisher評価基準に画像処理における特別な観点を加えることによって実現される。
【００４１】
これによって、画像中における対象物と背景のわずかな違いを、安定に検出することが可能となる。
【００４２】
ところで、部分領域１，２のコントラストを最大化する射影軸ベクトルｕは、部分領域１，２に含まれるＲＧＢ値の分布状態によって変動する。したがって実際にエッジ検出を行う場合には、各画素毎に射影軸ベクトルｕを式（９）によって決定し、その結果と式（８）を用いて固有値λ、すなわち分離度を求める。この部分領域１，２のコントラストを最大化する射影軸ベクトルｕの求め方については、下記で説明する。
【００４３】
（３）本発明における分離度エッジ検出方法の数学的説明
本発明における分離度エッジ検出方法について、数学的観点から説明する。
【００４４】
式（４）はFisher評価基準を行列で表現しているものであり、スカラー値ではない。すなわち、Fisher評価基準の実際の値は、２つの部分領域における画像特徴量の分布をある射影軸ベクトルａに射影してみて、初めて得られるものある。つまりFisher評価基準の実際の値をＦとすると、
Ｆ＝ａＡａ        ・・・式（１０）
を計算することによって得られる。ここで、上記の式（１０）の右辺は、行列Ａをベクトルａに射影する操作を表している。したがって、射影軸ベクトルａの選び方次第でＦはいくらでも変動する。
【００４５】
このＦは上記したように、２つの部分領域における画像特徴量分布間の分離度を意味する。但し、その分離度は射影軸ベクトルａによって変動するものである。そして、上記の多次元分離度は、この射影軸ベクトルａを上手く選んで最大化された多次元分離度ηＭとして定義している。
【００４６】
このＦの最大化されたＦ（＝ηＭ）を選ぶために、上式のＦを射影軸ａについて変分することにより、Ｆを最大化するベクトルａを決めることができる。
【００４７】
この理由を下記の二次方程式を用いて説明する。
【００４８】
ｙ＝−（ｘ−１）＊（ｘ−１）＋３        ・・・式（１１）
上記の式（１１）の二次方程式においてｙの最大値を求めるためには、ｘについて微分するすることで、ｘ＝１の時に最大値３を得ることができる。
【００４９】
そして、これと同じ考え方であり、Ｆがｙに、射影軸ベクトルａがｘに相当する。すなわち、ｘ=１の時にｙの最大値が得られることと、ａの時にＦの最大値が得られることが対応している。
【００５０】
そのため、上記の変分問題を解くことによって得られたＦが、上記の最大化されたＦ（＝ηＭ）であり、その時の射影軸ベクトルａをｕと呼ぶことにした。
【００５１】
したがって、Fisher評価基準Ｆを最大化するように、変分原理によって決定された射影軸がベクトルｕであり、その時のＦ（＝ηＭ）が固有値λである。
【００５２】
（４）各実施例の概略
上記理論を用いた実施例を次に説明する。
【００５３】
実施例１においては、多次元画像特徴量として図１の分離度マスク領域に含まれる画素のＲＧＢ値を用いた場合の分離度エッジ検出方法について説明し、また従来の輝度値を用いた分離度エッジ検出方法との違いについて説明する。
【００５４】
実施例２においては、分離度エッジ検出方法を実現する分離度エッジ検出装置について説明する。
【００５５】
実施例３においては、実施例２の分離度エッジ検出装置を応用した輪郭抽出装置について説明する。
【実施例１】
【００５６】
（１）実施例１の説明
本実施例では、多次元画像特徴量の一例として、赤色、緑色、青色の三原色の強度で表されるＲＧＢ値（３次元画像特徴量）を用いる場合の指定画素におけるエッジ強度の計算法について説明する。
【００５７】
この場合に式（７）の画像特徴量ベクトルｘｉは、図１の分離度マスク領域に含まれるｉ番目の画素におけるＲＧＢ値の各要素ｒｉ、ｇｉ、ｂｉを用いて以下のように表せる。
【数５】
2005242596.tif 000007
【００５８】
ＲＧＢ値を用いた多次元分離度ηＭの実際の計算処理過程について、図３のフローチャートを参照しながら説明する。
【００５９】
まず、画像を入力し、画像中においてエッジ強度を計算したい画素ｋを指定画素として指定する（Ｓ１、Ｓ２）。
【００６０】
図１のような分離度マスクを指定画素ｋを中心に設定する（Ｓ３）。このとき図１のような矩形マスクを用いるのであれば、マスクを配置する方向によって多次元分離度の値は変動するが、本実施例では方向については任意であるとする。
【００６１】
次に、部分領域１、部分領域２に含まれるＲＧＢ値の平均ベクトルｘ（１）、ｘ（２）、マスク全体の全分散行列ハットＳＴをそれぞれ計算する（Ｓ４、Ｓ５）。
【００６２】
次に、ＲＧＢ値の平均ベクトルｘ（１）、ｘ（２）とマスク全体の全分散行列ハットＳＴを用いて式（９）の射影軸ベクトルｕを求める（Ｓ６）。このときベクトルｕは、部分領域１と部分領域２に含まれる２つのＲＧＢ値分布を、最も良く分離する射影軸となっている（図４（ａ））。
【００６３】
次に、マスク全体に含まれる画像特徴量の平均ベクトルｘ（ｍ）と部分領域間分散行列ハットＳＢを計算する（Ｓ７，Ｓ８）。
【００６４】
最後に、マスク全体に含まれる画像特徴量の平均ベクトルｘ（ｍ）と部分領域間分散行列ハットＳＢと射影軸ベクトルｕと式（８）によって固有値λを求める（Ｓ９）。
【００６５】
このとき固有値λ、つまり多次元分離度ηＭは、部分領域１と部分領域２に含まれるＲＧＢ値分布が十分分離している場合、つまり指定画素ｋが対象物と背景の境界上にあるならば１に近い値を持ち、分布同士が似ている場合、つまり指定画素ｋ周辺の色分布が一様ならは０に近い値を持つ。
【００６６】
以上のような性質から、画像特徴量としてＲＧＢ値を用いた場合の多次元分離度を、画像のエッジ強度として扱うことができる。
【００６７】
（２）実施例１と従来の分離度エッジ検出方法との比較
従来の分離度エッジ検出方法では、各画素のＲＧＢ値を輝度値に変換してから処理を行っている。ＲＧＢ値を輝度値に変換することは、処理量の削減やメモリ資源の節約という意味では効果的であるが、唇輪郭上のエッジ検出などにおいては大きなデメリットがある。
【００６８】
図４（ａ）における分布Ｄｍ１、Ｄｍ２は、取得したＲＧＢ値の２つの３次元分布を赤、緑色強度だけで表した模式図である（図を見やすくするために２要素のみで表す）。このとき分布Ｄｍ１、Ｄｍ２の多次元分離度をＳｍとする。分布Ｄｍ１、Ｄｍ２を輝度値に変換した１次元分布をそれぞれＤｓ１、Ｄｓ２とする（図４（ｂ））。このとき分布Ｄｓ１、Ｄｓ２の従来法における分離度をＳＳとすると、ＳＳはＳｍよりもかなり小さい。
【００６９】
これは本来ＲＧＢ値、つまりカラー情報のままであれば十分分離していた２つの分布の分離度が、輝度値への変換によって極端に小さくなる。つまり、エッジが消失する場合があることを示している。
【００７０】
したがって、従来の輝度値分離度よりもカラー情報を用いた多次元分離度の方が、安定なエッジ検出が可能であると考えられる。
【実施例２】
【００７１】
本実施例では、実施例１の分離度エッジ検出方法を実現する分離度エッジ検出装置について説明する。
【００７２】
（１）分離度エッジ検出装置の基本的構造
本実施例における分離度エッジ検出装置の基本的構造を示したブロック様式を図５に示す。この分離度エッジ検出装置の各部１〜４は、コンピュータに記憶されたプログラムによって実現できる。
【００７３】
画像入力部１は、カメラなどによって外部から対象物を含む画像を取得し、その入力画像を入力画像信号としてマスク領域設定部２へ伝送する処理手段である。
【００７４】
画素指定部２は、入力画像上のどの画素についてエッジ検出を行うかを指定する処理手段であり、指定された指定画素の位置に関する情報（画素指定情報）をマスク領域設定部３に送信する。
【００７５】
マスク領域設定部３は、入力画像上において、画素指定情報に基づいて指定された指定画素を中心に図１に示す分離度マスクを設定し、部分領域１と部分領域２に含まれる画素の画像特徴量を取得し、画像特徴量情報として多次元分離度計算部４に送信する処理手段である。本実施例では、このとき設定されるマスクの方向として、指定画素を中心として図６のような４つの方向（０°、４５°、９０°、１３５°）を想定し、それら全てについて計算された多次元分離度のうち最も高い値を、指定画素の多次元分離度値ηＭとして採用する。
【００７６】
多次元分離度計算部４は、２つの部分領域に含まれる画像特徴量の分布に基づいて多次元分離度ηＭを計算する処理手段であり、得られた４つの多次元分離度値の最大値をエッジ判定部５へ送信する処理手段である。
【００７７】
エッジ判定部５は、受信した多次元分離度値ηＭが閾値以上であれば指定された画素をエッジ位置として判定する処理手段である。
【００７８】
（２）処理手順
次に、図７のフローチャートを参照しながら本実施例の処理手順について説明する。
【００７９】
ステップＳ１は、画像入力部１でカメラなどによって対象物の画像を取得する処理である。
【００８０】
ステップＳ２は、画素指定部２によってエッジ位置であるかどうかを判定したい画素を指定する処理である。本実施例では、入力画像全体の画素について処理を行うことを想定し、入力画像全体をラスタスキャンするように指定する（Ｓ８）。
【００８１】
ステップＳ３は、マスク領域設定部３によって、入力画像上の指定された指定画素を中心に図６記載の分離度マスクのいずれかを設定する処理である。
【００８２】
ステップＳ４は、マスク領域設定部３によって、ステップＳ３で設定された分離度マスク領域内の画像特徴量を取得する。
【００８３】
ステップＳ５は、マスク領域設定部３によって取得された画像特徴量に基づき、多次元分離度を計算する。
【００８４】
ステップＳ６は、マスク領域設定部３が図６の４つの分離度マスク全ての設定を終了したかを判定する分岐処理である。
【００８５】
ステップＳ７は、エッジ判定部５によって、ステップＳ５で計算された４つの多次元分離度値の最大値が閾値以上であるかを判定する処理である。
【００８６】
ステップＳ８は、画素指定部２が入力画像中の全ての画素について指定を終了したかを判定する分岐処理である。
【００８７】
（３）変更例
本実施例において、マスク領域設定部３は図６の４つの矩形マスクを設定したが、他にも図８に示すような円形マスクを用いて目鼻や顔のほくろ、シミを検出するなど、様々な形状のマスクを用いた応用例が考えられる。
【００８８】
この場合には、指定画素は円形マスクの中心に位置する。
【実施例３】
【００８９】
以下では、分離度エッジ検出装置を用いた輪郭抽出装置の実施例について説明する。
【００９０】
本実施例では、輪郭抽出の基本的な方法である動的輪郭モデル（非特許文献１）を用いて、唇の輪郭抽出を行う方法について説明する。
【００９１】
（１）輪郭抽出装置の基本的構造
輪郭抽出装置の基本的構造を示したブロック図を図９に示す。
【００９２】
画像入力部１１は、カメラなどによって外部から顔領域を含む画像を取得し、その入力画像を入力画像信号として顔検出部１２へ伝送する処理手段である。
【００９３】
顔検出部１２は、受信した入力画像に含まれる顔領域を検出し、検出した顔領域内において、さらに目鼻を検出し、それら目鼻の位置関係に基づいて口の位置を大まかに推定する（図１１参照）。この推定された口位置に関する情報（口位置情報）を動的輪郭初期位置決定部１３に伝送する処理手段である。顔領域の検出にはテンプレートマッチングなどの方法が考えられる。また、目鼻の検出には、図８の円形分離度マスクを用いた従来の分離度エッジ検出方法などが有効である。
【００９４】
動的輪郭初期位置決定部１３は、顔検出部１２から受信した口位置情報に基づいて動的輪郭を口の近傍に配置し、配置された動的輪郭の位置、形状に関する情報（動的輪郭情報）を収束判定部１４に送信する処理手段である。
【００９５】
収束判定部１４は、入力された動的輪郭情報に基づいて、動的輪郭の逐次変形処理を停止するかどうかを判定する処理手段である。判定の基準として、例えばｎ回目の逐次変形処理後の動的輪郭の位置、形状をｎ−１回目の逐次変形処理後と比較し、その差が閾値よりも小さければ処理を停止する方法がある。
【００９６】
エッジ検出部１５は、収束判定部１４から送信された動的輪郭情報と入力画像情報を用い、動的輪郭周辺の画素における多次元分離度を計算する処理手段である。図１に示す矩形分離度マスクを用いる場合、通常分離度は分離度マスクの方向によって異なる値を持つ（図８のような円形分離度の場合を除く）。本実施例では、動的輪郭周辺の画素における分離度として、当該画素から動的輪郭曲線に下ろした垂線の方向について計算した分離度値を用いることとする（図１１）。
【００９７】
動的輪郭制御部１６は、エッジ検出部１５から送信された動的輪郭情報とエッジ情報に基づいて動的輪郭の形状を変形し、更新した動的輪郭情報を収束判定部１４に伝送する処理手段である。本実施例では、動的輪郭上のサンプル点（図１２）と、サンプル点を通り動的輪郭と直行する探索線上で図２のようにして検出されたエッジ位置との距離Ｌを定義し、Ｌに比例した「移動力」を動的輪郭がエッジ位置に近づく方向に加えることによって、動的輪郭を変形させるものとする（非特許文献３）。
【００９８】
この処理を動的輪郭上の多数のサンプル点について行うことにより、動的輪郭全体を対象物の輪郭に近づくように若干変形させることができる。この変形処理を何度も繰り返すことによって、動的輪郭は逐次的に対象物の輪郭に近づく（図１３）。
【００９９】
（２）処理手順
次に、図１４のフローチャートを参照しながら本実施例の処理手順について説明する。
【０１００】
ステップＳ１は、画像入力部１１によって、外部からカラー画像を取得する処理である。
【０１０１】
ステップＳ２は、動的輪郭初期位置決定部１３によって入力画像内の顔領域を検出する処理である。
【０１０２】
ステップＳ３は、ステップＳ２で検出された顔領域内において目鼻を検出する処理である。
【０１０３】
ステップＳ４は、ステップＳ３で検出された目鼻位置に基づき口の位置を大まかに推定する処理である。
【０１０４】
ステップＳ５は、動的輪郭初期位置決定部１３によって、ステップＳ４で得られた口位置の近傍に動的輪郭を初期配置する処理である。
【０１０５】
ステップＳ６は、エッジ検出部１５によって、多数（ｎ個）のサンプル点を動的輪郭上に配置する処理である。
【０１０６】
ステップＳ７、Ｓ９、Ｓ１１は、全てのサンプル点についてステップＳ８の処理を行うためのループ処理であり、Ｓ８は、エッジ検出部１５によって、ｎ番目のサンプル点についてエッジ検出を行う処理である。
【０１０７】
ステップＳ１１は、動的輪郭制御部１６によって、Ｓ６〜Ｓ１１の処理により得られた全サンプル点のエッジ情報に基いて、動的輪郭を変形させる処理である。
【０１０８】
ステップＳ１２は、収束判定部１３によって動的輪郭が目的の唇輪郭に十分収束したかどうかを判定し、十分でないなら再度Ｓ６から処理を継続させる分岐処理である。
【０１０９】
以上のようにして求められた唇輪郭形状は、動画像を用いた発話認識や表情認識など、様々なヒューマンインターフェースアプリケーションへの応用が考えられる。
【０１１０】
（変更例）
実施例１，２，３においては、多次元画像特徴量としてＲＧＢ値を用いたが、他にも赤外線画像の強度や距離画像における距離尺度など、複数の全く性質の異なる画像特徴量を用い、全体として多次元画像特徴量を構成することも可能である。
【０１１１】
例えば、指定画素ｉにおけるＲＧＢ値の各要素ｒｉ、ｇｉ、ｂｉ、赤外線画像強度Ｉｉ、距離尺度ｄｉを各要素とする次のような５次元画像特徴量を構成し、多次元分離度を求めることも可能である。
【数６】
2005242596.tif 000008
【０１１２】
また、本発明は、上記実施例に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【図面の簡単な説明】
【０１１３】
【図１】本発明及び従来法に係わり、分離度マスクの構成を表す図である。
【図２】本発明及び従来法に係わり、分離度を用いて検出されるエッジの定義を表す図である。
【図３】実施例１に係わり、ＲＧＢ値を用いた多次元分離度の計算過程を表すフローチャートである。
【図４】実施例１及び従来法に係わり、カラー分布間の分離度が輝度値への変換によって減少することを表す模式図である。
【図５】実施例２に係わり、分離度エッジ検出装置の構成を示すブロック図である。
【図６】実施例２において用いられる４方向の矩形分離度マスクを表す図である。
【図７】実施例２に係わり、分離度エッジ検出装置の処理手順を示すフローチャートである。
【図８】実施例２において用いられる円形分離度マスクを表す図である。
【図９】実施例３に係わり、輪郭抽出装置の構成を示すブロック図である。
【図１０】実施例３に係わり、目鼻の位置関係に基づく動的輪郭の初期配置を表す図である。
【図１１】実施例３に係わり、動的輪郭と矩形分離度マスクの方向との関係を表す図。
【図１２】実施例３に係わり、動的輪郭上に配置されたサンプル点を表す図である。
【図１３】実施例３に係わり、動的輪郭が対象物の輪郭に収束していく様子を表す模式図である。
【図１４】実施例３に係わり、輪郭抽出装置の処理手順を示すフローチャートである。
【符号の説明】
【０１１４】
１    画像入力部
２    画素指定部
３    マスク領域設定部
４    多次元分離度計算部
５    エッジ判定部
１１    画像入力部
１２    顔検出部
１３    動的輪郭初期位置決定部
１４    収束判定部
１５    エッジ検出部
１６    動的輪郭制御部
【図１】
2005242596.tif 000009
【図２】
2005242596.tif 000010
【図３】
2005242596.tif 000011
【図４】
2005242596.tif 000012
【図５】
2005242596.tif 000013
【図６】
2005242596.tif 000014
【図７】
2005242596.tif 000015
【図８】
2005242596.tif 000016
【図９】
2005242596.tif 000017
【図１０】
2005242596.tif 000018
【図１１】
2005242596.tif 000019
【図１２】
2005242596.tif 000020
【図１３】
2005242596.tif 000021
【図１４】
2005242596.tif 000022