(57)【特許請求の範囲】
【請求項１】
入力された検査画像上に初期の輪郭領域を設定する設定手段と、
色成分をパラメータとする項を含む第１の評価関数の算出結果が所定の収束条件を満たすまで上記輪郭領域の更新を行う第１の更新処理と、上記第１の更新処理によって得られた結果と、輝度成分をパラメータとする項を含む第２の評価関数とを用いて上記第２の評価関数の算出結果が所定の収束条件を満たすまで上記輪郭領域の更新を行う第２の更新処理とを行う更新手段とを有することを特徴とする画像抽出装置。
【請求項２】
上記初期の輪郭領域は、標準画像の輪郭とこの輪郭に隣接する近傍領域とを含むものであることを特徴とする請求項１に記載の画像抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、任意の背景から特定対象画像の抽出または外形輪郭線の抽出を行うための画像抽出装置に関する。
【０００２】
【従来の技術】
従来、画像からの対象物の外輪郭線を抽出する技術の一つにいわゆる動的輪郭法(M.Kass et al., “Snakes: Active Contour Models," International Journal of Computer Vision, vol. 1, pp. 321-331, 1978) が知られる。この手法においては、一例として対象物を包囲するように適切に設定された初期輪郭が移動、変形して最終的に対象物の外形に収束する。この動的輪郭法には次のような処理が行われる。即ち、各点の座標を記述するためのパラメータｓを用いて表される輪郭線ｖ（ｓ）＝（ｘ（ｓ），ｙ（ｓ））に対し、評価関数
【０００３】
【数１】
0003809210.tif 000002
【０００４】
を最小にする輪郭線形状ｖ（ｓ）を求める。ここに
【０００５】
【数２】
0003809210.tif 000003
【０００６】
Ｉ｛ｖ（ｓ）｝はｖ（ｓ）上の輝度レベルを表し、α（ｓ）、β（ｓ）、ｗ0 はユーザが適宜定める。このように輪郭線に関して定めた上記の評価関数の最小化により対象の輪郭線を求める手法（動的輪郭法）において、初期輪郭の自動設定法としては、特開平６−２５１１４８号公報、特開平６−２８２６５２号公報に記載されたものがある。また輪郭収束過程の安定化法としては、特開平５−１２４４３号公報、特開平６−１３８１３７号公報、特開平６−２８２６４９号公報に記載されたものなどがある。また輝度レベル以外の情報を用いた動的輪郭法以外の方法としては、色相画像の局部分散値に基づくエッジ抽出法（特開平５−１８１９６９号公報）などがある。
【０００７】
【発明が解決しようとする課題】
しかしながら上述した動的輪郭法においては、評価関数の画像に依存する項（例えば、上式中のＥ0 ）が輝度レベルのみに依存するために、背景画像と対象画像の輝度レベルが接近している領域では、収束後の輪郭形状は背景画像に影響されて本来の形状からずれてしまう。従って、輪郭抽出結果が対象自身の影や照明条件などにも影響を受け易く、また任意の背景に適用することが困難であった。特に輪郭内に存在する複雑なテクスチャパターンと背景中のテクスチャとの識別は輝度レベルの２段偏微分（Ｅ0 ）では一般的に不可能であり、結果的に任意背景中の対象物画像の輪郭への安定収束は困難を極めるものであった。また上記特開平５−１８１９６９号公報によるエッジ抽出方法は、ノイズの影響を本質的に避け難く、またエッジ検出分解能が分割された局所領域のサイズによって決まるという問題点があった。
【０００８】
そこで、本発明の第１の目的は、画像中の色情報を使って動的輪郭の対象上への収束精度を向上し、かつ収束結果が輝度レベルの変動または背景画像の輝度分布の影響を受け難くすることである。さらに、モデル画像を用いた初期輪郭の自動設定を可能とすることである。
本発明の第２の目的は、画像中の色成分を評価関数に組み込むことにより、輝度レベルの変動要因の影響を抑制することである。
本発明の第３の目的は、色成分を含むモデル輪郭線画像データを与える自動輪郭線抽出を可能にすることである。
【０００９】
本発明の第４の目的は、動的輪郭領域法において、色成分情報と輝度レベル情報との分離により輪郭収束精度と速度の向上を可能にすることである。
本発明の第５の目的は、色成分を用いた動的輪郭領域法において、輝度レベルの変動、陰影の影響を受け難くすることである。
本発明の第６の目的は、モデル輪郭線上のサンプリング点位置を予め適切に設定（形状の急峻度に応じて間隔を粗密化するなど）可能とし、収束精度、収束速度の向上を実現することである。
本発明の第７の目的は、少ない演算量で第１の目的を達成することである。
【００１０】
【課題を解決するための手段】
本発明に係る画像抽出装置は、例えば、入力された検査画像上に初期の輪郭領域を設定する設定手段と、色成分をパラメータとする項を含む第１の評価関数の算出結果が所定の収束条件を満たすまで上記輪郭領域の更新を行う第１の更新処理と、上記第１の更新処理によって得られた結果と、輝度成分をパラメータとする項を含む第２の評価関数とを用いて上記第２の評価関数の算出結果が所定の収束条件を満たすまで上記輪郭領域の更新を行う第２の更新処理とを行う更新手段とを有することを特徴とする。
【００１８】
【発明の実施の形態】
図１は第１の実施の形態による要部構成図である。１は検査画像を入力する画像入力部であり、例えば撮像装置が用いられる。２は標準画像を格納する画像データベース、３は初期輪郭領域抽出部、４は初期輪郭領域を検査画像領域上に設定する初期輪郭領域設定部、５は輪郭近傍領域更新部であり、後述する評価関数に基づいて輪郭上の節点位置を更新し、かつ隣接する領域上の各点の位置も節点位置に基づいて更新する。６は輪郭内画像を出力する輪郭内領域画像出力部であり、背景から分離された被写体画像が出力される。また７は画像入力部１からの画像を一時的に保持するための画像記憶部、８は輪郭線抽出対象用の標準画像選択および初期輪郭領域抽出および初期輪郭領域の検査画像上での設定用パラメータ設定などを行うためのデータ入力用の端末を示す。
【００１９】
初期輪郭領域抽出部３は、画像データベース２などの記憶された特定対象物の標準カラー画像から本実施の形態における動的輪郭領域処理に必要な初期画像データを抽出するためのものである。外輪郭線抽出部３１は、標準画像データ（無地の背景の特定被写体画像）からその対象の最も外側の外輪郭線（シルエット画像の輪郭線に相当）を抽出する。外輪郭線内近傍領域抽出部３２は、上記外輪郭線に内接する対象物の近傍領域画像を抽出するもので、抽出した領域に輪郭線内の対象画像のテクスチャ情報または色成分情報を表すのに最小限必要な画像データを含んでいればよい。典型的には、外輪郭線上の各点から内向き法線方向に所定幅（例えば、１０数画素程度または対象画像サイズの１割程度）で対象画像の部分領域の抽出を行う。近傍領域の幅は画像上の点に応じて適宜可変としてもよい。輪郭近傍領域データ記憶部３３は抽出された領域の画像データ（輝度、色差など）および領域内各点の座標データを記憶する。尚、この輪郭近傍領域データは予め画像データベース２中に作成、保存しておいてもよい。
【００２０】
初期輪郭領域設定部４は、抽出された初期輪郭領域を適切なサイズにスケーリングし、かつ検査画像上の適切な位置に設定するためのものである。この際、サイズは対応する対象画像のサイズより若干大きめに設定し、中心位置は対象画像領域の重心または真の輪郭線と初期輪郭上の各点との距離の和が概ね最小となるように設定することが望ましい。但し中心位置、サイズともに設定誤差が実際の対象画像サイズの１割程度のオーダであれば問題なく、特に精密な設定を要するものではない。
【００２１】
図２（ａ）に入力画像（運動靴）を示し、図２（ｂ）に標準画像から抽出した輪郭線とその近傍領域とを含む標準輪郭領域を示す。また図２（ｃ）に上記入力画像と設定された初期輪郭領域の位置・サイズとの関係を示す。同図（ｂ）の標準輪郭領域の輝度分布は入力画像の抽出対象に近くなるように予め設定されていることはいうまでもない。但し同図（ｂ）に示す程度に詳細なテクスチャ構造を必ずしも標準輪郭領域に含まなくてもよく、解像度を落とした分布を用いてもよい。
【００２２】
輪郭近傍領域更新部５は、輪郭線を含む輪郭領域の各点座標値を更新するもので、輪郭領域内の輝度レベルデータは、基本的には標準画像データから抽出された初期輪郭領域の画像データであり、不変であることに注意されたい。
【００２３】
図３に輪郭近傍領域更新部５における処理フローを示す。
輪郭領域内の点の座標の更新は、算出部５１、更新部５２、５３により以下のようにして行う。まず評価関数の重み係数を初期設定し（Ｓ３１）、従来の動的輪郭法に従って輪郭線上の各サンプリング点をその近傍画素（通常８画素近傍）に移動する（Ｓ３２）。輪郭近傍領域内の点については、最近傍輪郭点の更新位置に応じた座標変換によって更新位置を決める。例えば、輪郭線全体の重心位置をＯとすると、領域内各点に対して最も近い輪郭線上の点と重心Ｏとの距離に応じて更新位置の座標を重心からの相対座標として縮尺して決めればよい。次に、次式（４）で与えられる評価関数の算出（Ｓ３４）、最小値を与える更新位置の選択（Ｓ３５）、更新前後の輪郭線上の点の位置の平均的な変化量などに基づく収束度の評価（収束判定、Ｓ３６）を行い、収束条件を満たさない場合にはさらに移動変形処理（Ｓ３２以下の処理）を行う。その際、評価関数の重み係数を適宜変更（Ｓ３７）してもよい。上記評価関数としては
【００２４】
【数３】
0003809210.tif 000004
【００２５】
を用い、上記評価関数値が最小となるように収束した輪郭線形状ｖ（ｓ）を求める。式（４）の第一項の線積分は従来例と同様に輪郭線に沿った積分値で与えられる評価関数であればよく、必ずしも前記式（１）、（２）、（３）で与えられるものに限定されない。第二項は前述の輪郭線を含む近傍領域Ｒにおける関数（Ｅ2 ；以下の式で定義）の積分項である。尚、ｗ0 、ｗ1 は定数を示し、また本実施の形態ではＥ0 、Ｅ1 は簡単のために従来例と同じ式で与えられるものとする。またＥ2 （ｘ，ｙ）は輪郭近傍領域中の点（ｘ，ｙ）における初期輪郭領域内の標準画像輝度値Ｉm （ｘ，ｙ）と検査画像の輝度Ｉ（ｘ，ｙ）の差異を表す関数であり、例えば、
【００２６】
【数４】
0003809210.tif 000005
【００２７】
を用いればよい。以下、添え字ｍを有するパラメータは標準画像から抽出された輪郭近傍領域のデータを示すものとする。
【００２８】
図４は本実施の形態による動作を示すもので、Ｓ４１で画像入力部１より検査画像を入力し、Ｓ４２で画像データベース２よりモデル画像入力した後、Ｓ４３、Ｓ４４で初期輪郭領域抽出及び初期輪郭領域のサイズの設定を行う。そしてＳ４５、Ｓ４６、Ｓ４７により前述のようにして評価関数の算出及び輪郭領域の更新を収束条件を満たすまで行い、収束したらＳ４８でその輪郭線画像あるいは輪郭線内の画像データを出力部６より出力する。
【００２９】
次に第２の実施の形態について説明する。
図５は本実施の形態で用いる標準輪郭領域の例を示すもので、人体の上半身の一部を示す。このように初期輪郭領域設定に用いられ標準輪郭領域の形状を単純な形状パターン（形状プリミティブ）の組み合わせモデルで表してもよい。また同図に示すように輪郭線上の一部近傍領域のみに評価関数の色成分情報を含む輪郭領域を設定してもよい。要所のみに色情報を埋め込むことにより、入力画像と標準画像との差異による収束精度の劣化を抑制することができる。尚、色情報伊以外にテクスチャパターンの輪郭近傍上への部分的な付与を同時に行ってもよい。
【００３０】
本実施の形態では、評価関数に色成分項と輝度成分項とを重み付け加算することにより、対象画像の外輪郭線および輪郭内の画像抽出を行う。評価関数の例としては、式（４）を用い、輪郭領域評価項であるＥ2 （ｘ，ｙ）を
【００３１】
【数５】
0003809210.tif 000006
【００３２】
のように与える。ここに、Ｈ（ｘ，ｙ）は輝度値で正規化した色相ベクトル、γI 、γH は重み係数を示す。尚、これらの値は収束度（更新前後の輪郭線上の点の位置変化量の平均など）の値に応じて可変としてもよく、例えば背景と対象物の平均的な色相が異なる場合は、初めにγH の値を相対的に大に設定し、収束度が向上する（更新前後の輪郭の移動または変形量が小となる）につれて（或いは所定閾値より小のとき）色成分項の重みを低く（γを小）すればよい。これにより、背景画像と対象画像の色成分の違いを反映した信頼性の高い動的輪郭抽出が可能となる。色成分を考慮した画像に固有な評価関数項（輝度勾配および色成分勾配の加重和）の一例としては、各点の色成分（Ｒ，Ｇ，Ｂ）で表すと、
【００３３】
【数６】
0003809210.tif 000007
【００３４】
を用いてもよい。また色相、彩度、明度に変換した後に同様にして画像データの勾配を評価してもよい。尚、勾配を表す微分演算は上記したような２階微分に限定されるものではない。
【００３５】
また、色成分項のみで動的輪郭領域処理（γI ＝０）を行った後、その収束結果（輪郭線および輪郭近傍領域データ）を初期値として輝度レベル項を含めた動的輪郭領域処理（γI,H ＞０）を行ってもよい。これにより対象画像領域とそれに隣接する背景画像領域との平均的な色相差異が顕著な場合、輪郭線の収束を早めることができる。
【００３６】
次に第３の実施の形態について説明する。
本実施の形態では、初期輪郭および動的輪郭の点列データに輝度および色成分を加えた動的輪郭処理を行い、輪郭線の近傍領域処理は行わない。即ち、上記各実施の形態のように評価関数に輪郭線に隣接する近傍領域に関する項を含まない。図６にシステム構成例を示す。図中、初期輪郭抽出部３は標準画像のデータベースからの外輪郭線抽出部３１ｘとその各点上の画像データ抽出部３４、および記憶部３３ｘから成る。画像データ抽出部３４は標準画像データから外輪郭線を抽出する際、対象画像上の輪郭線から輝度、色成分データ（色相、彩度に変換してもよい）および各座標値を抽出する。本実施の形態における評価関数としては、
【００３７】
【数７】
0003809210.tif 000008
【００３８】
ここにＥ2 （ｓ）は輪郭線上の画像データ（Ｉ（ｓ）：輝度、Ｈ（ｓ）：色相）の標準画像データとの差異を表す項であり、上記関数に限定されるものではない。輪郭更新部５は輪郭線位置の更新部５２に加えて重み係数ｗ0 、ｗ1 、γI 、γH の更新部５５を有する。これにより、第２の実施の形態と同様に、背景と対象の絵柄、色成分特性、収束度に応じて重み係数を段階的に変更し、輪郭の収束精度と収束速度を向上させることができる。
【００３９】
次に第４の実施の形態について説明する。
本実施の形態では、第一のステップとして従来の動的輪郭処理による輪郭抽出を行い、第二のステップとして収束した輪郭線とほぼ同じサイズ、ほぼ同じ重心位置の初期輪郭領域データを検査画像上に設定し、前記実施の形態と同様の動的輪郭領域処理による輪郭線抽出を行う。第一ステップで得られる輪郭のサイズは、例えばそれに外接する短形の縦横サイズ、対角線長などで代表すればよい。尚、初期輪郭領域データについては前記実施の形態と同様に標準画像データベースから抽出される。図７に本実施の形態による処理フローを示す。
【００４０】
【発明の効果】
本発明によれば、背景と対象の色成分の違いを反映した輪郭抽出を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】入力画像、標準輪郭領域、初期輪郭領域を示す構成図である。
【図３】輪郭近傍領域更新部の処理を示すフローチャートである。
【図４】第１の実施の形態の動作を示すフローチャートである。
【図５】第２の実施の形態を説明するための構成図である。
【図６】第３の実施の形態を示すブロック図である。
【図７】第４の実施の形態の動作を示すフローチャートである。
【符号の説明】
１  画像入力部
２  画像データベース
３  初期輪郭領域抽出部
４  初期輪郭領域設定部
５  輪郭近傍領域更新部
６  輪郭内領域画像出力部
【図１】
0003809210.tif 000009
【図２】
0003809210.tif 000010
【図３】
0003809210.tif 000011
【図４】
0003809210.tif 000012
【図５】
0003809210.tif 000013
【図６】
0003809210.tif 000014
【図７】
0003809210.tif 000015