(57)【要約】【課題】一般的な画像中の人体領域を自動的に抽出するとともに、抽出性能を向上させる。【解決手段】画像Ｐ中の顔または顔部品Ｆを検出し、検出された顔または顔部品Ｆの位置情報から人体領域が含まれると推測される推測領域Ｅを決定し、その推測領域Ｅ中の人体領域Ｈを抽出し、推測領域Ｅ中の輪郭周辺領域に人体領域Ｈの少なくとも一部が存在するか否かを判断し、輪郭周辺領域に人体領域Ｈが存在しないと判断されるまで、推測領域Ｅを拡張更新し、拡張更新された推測領域Ｅ中の人体領域Ｈを抽出することを繰り返し行う。【選択図】図１
2008009576.tif 000002
【特許請求の範囲】
【請求項１】
画像中の人体領域を抽出する方法であって、
前記画像中の顔または顔部品を検出し、
検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定し、
決定された推測領域中の人体領域を抽出し、
前記推測領域中の輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断し、
前記人体領域の少なくとも一部が存在すると判断したとき、前記輪郭周辺領域に存在する人体領域の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、
拡張更新された推測領域中の人体領域を抽出する
ことを特徴とする人体領域抽出方法。
【請求項２】
前記輪郭周辺領域に前記抽出された人体領域が存在しないと判断されるまで、前記輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かの判断処理、前記推測領域の拡張更新処理および前記拡張更新された推測領域中の人体領域の抽出処理を繰り返し行うことを特徴とする請求項１記載の人体領域抽出方法。
【請求項３】
画像中の人体領域を抽出する装置であって、
前記画像中の顔または顔部品を検出する顔検出手段と、
検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定する推測領域決定手段と、
決定された推測領域中の人体領域を抽出する人体領域抽出手段と、
前記推測領域中の輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断する判断手段とを有し、
前記判断手段が前記人体領域の少なくとも一部が存在すると判断したとき、前記推測領域決定手段が、前記輪郭周辺領域に存在する人体領域の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、前記人体領域抽出手段が、拡張更新された推測領域中の人体領域を抽出する
ことを特徴とする人体領域抽出装置。
【請求項４】
前記判断手段、前記推測領域決定手段および前記人体領域抽出手段が、前記判断手段が前記輪郭周辺領域に前記抽出された人体領域が存在しないと判断するまで、前記輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かの判断処理、前記推測領域の拡張更新処理および前記拡張更新された推測領域中の人体領域の抽出処理を繰り返し行うものであることを特徴とする請求項３記載の人体領域抽出装置。
【請求項５】
前記人体領域抽出手段が、前記推測領域の画像データおよび該推測領域の外側に位置する外部領域の画像データから前記推測領域中の各画素の評価値を算出し、その評価値に基づいて人体領域を抽出するものであることを特徴とする請求項３または請求項４記載の人体領域抽出装置。
【請求項６】
前記人体領域抽出手段が、前記画像中の肌色情報をさらに用いて、人体領域を抽出するものであることを特徴とする請求項５記載の人体領域抽出装置。
【請求項７】
画像中の人体領域を抽出するプログラムであって、
コンピュータに、
前記画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定し、決定された推測領域中の人体領域を抽出し、前記推測領域中の輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断し、前記人体領域の少なくとも一部が存在すると判断したとき、前記輪郭周辺領域に存在する人体領域の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出する
ことを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の人体領域を抽出する人体領域抽出方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
画像の分類、自動トリミングおよび電子アルバムの作成などの画像編集のためには、画像における人体領域の抽出とポーズの認識が期待されている。画像中の人体領域を背景と分離して抽出する技術としては、例えば特許文献１に示されているように、予め定めた特定の背景を用いて人物を撮影し、画像中の人体領域をその特定の背景との色の違いを利用して抜き取ることにより背景から分離する方法が知られている。
【０００３】
上述した特定の背景設定を必要とする方法のみならず、非特許文献１では、画像中の人体領域と背景の一部の情報をあらかじめ手動で与えることにより、任意の背景を有する画像中の人体領域を背景から分離する方法が提案されている。この人体領域と背景の一部をあらかじめ指定する方法は、主にインタラクティブな切抜きの場合に多く使われている。
【０００４】
また、非特許文献２では、全体の画像に対して領域分割処理を行い、分割された各部分領域の形状、色、テクスチャ等の特徴に基づいてその部分領域が人物領域の一部であるかどうかを判断し、人物領域の一部であると判断された部分領域の集合を人体領域として自動的に抽出する手法が提案されている。
【特許文献１】特開２００５−３３９３６３号公報
【非特許文献１】Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images” Proc. IEEE Int. Conf. on Computer Vision, 2001
【非特許文献２】Greg Mori, Xiaofeng Ren, Alexei A.Efros and Jitendra Malik, “Recovering Human Body Configurations: Combining Segmentation and Recognition”, CVPR 2004
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、全体の画像に対して領域分割処理を行い、その分割された各部分領域の特徴に基づいて人体領域を抽出する非特許文献２において提案されている手法では、領域分割処理による分割の程度が人体抽出に適切でない場合、例えば分割された部分領域が小さ過ぎて人体領域の一部であるかどうかを精度よく判断できない場合、分割された部分領域が大き過ぎて人体領域と背景領域との双方を含んでしまう場合等には、人体領域を正しく抽出できないという問題がある。この方法では、領域分割の程度により人体領域の抽出精度が強く影響を受けることになる。
【０００６】
本発明は、上記事情に鑑み、一般的な画像中の人体領域を自動的に抽出するとともに、その抽出性能をより向上させる人体領域抽出方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の人体領域抽出方法は、画像中の人体領域を抽出する方法であって、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定し、決定された推測領域中の人体領域を抽出し、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、人体領域の少なくとも一部が存在すると判断したとき、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出することを特徴とするものである。
【０００８】
上記方法においては、輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かの判断処理、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理を繰り返し行うことが望ましい。
【０００９】
本発明の人体領域抽出装置は、画像中の人体領域を抽出する装置であって、画像中の顔または顔部品を検出する顔検出手段と、検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定する推測領域決定手段と、決定された推測領域中の人体領域を抽出する人体領域抽出手段と、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断する判断手段とを有し、判断手段が人体領域の少なくとも一部が存在すると判断したとき、推測領域決定手段が、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、人体領域抽出手段が、拡張更新された推測領域中の人体領域を抽出することを特徴とするものである。
【００１０】
上記装置においては、判断手段、推測領域決定手段および人体領域抽出手段が、判断手段が輪郭周辺領域に抽出された人体領域が存在しないと判断するまで、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かの判断処理、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理を繰り返し行うものであることが望ましい。
【００１１】
人体領域抽出手段は、推測領域の画像データおよび該推測領域の外側に位置する外部領域の画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて人体領域を抽出することができる。
【００１２】
人体領域抽出手段は、画像中の肌色情報をさらに用いて、人体領域を抽出することができる。
【００１３】
本発明の人体領域抽出プログラムは、画像中の人体領域を抽出するプログラムであって、コンピュータに、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定し、決定された推測領域中の人体領域を抽出し、推測領域中の輪郭周辺領域に人体領域の少なくとも一部が存在するか否かを判断し、人体領域の少なくとも一部が存在すると判断したとき、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出することを実行させるためのものである。
【００１４】
なお、推測領域の決定は、顔または顔部品の位置情報のみから決定してもよいし、位置情報とさらに他の情報、たとえば顔の場合位置情報と大きさ情報から決定するようにしてもよい。
【００１５】
また、「輪郭周辺領域」とは、推測領域内における該推測領域の輪郭から一定範囲内の領域を意味し、輪郭を含む一定範囲内の領域、輪郭を含まない一定範囲内の領域、または輪郭のみのいずれであってもよい。
【発明の効果】
【００１６】
本発明の人体領域抽出方法および装置によれば、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定し、決定された推測領域中の人体領域を抽出し、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、人体領域の少なくとも一部が存在すると判断したとき、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出することにより、多様なポーズ等を有する人体領域の抽出において、顔または顔部品で特定できる頭部の位置等の情報から、人体領域の特性（胴体は頭部の下部に接続し、肢体は胴体に接続している。）に着目し、この頭部を基準として人体領域が含まれると推測される推測領域を決定し、この推測領域から人体領域を抽出するとともに、その推測領域からの人体領域抽出結果に基づいて推測領域を拡張更新することにより、人体領域の状態の多様性に対応して、推測領域、すなわち人体領域の抽出範囲の補正を行なうことが可能であり、一般的な画像中の人体領域の抽出処理を自動的に精度よく行なうことができる。
【００１７】
本発明の人体領域抽出方法および装置において、輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かの判断処理、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理を繰り返し行うようにすれば、人体領域が推測領域に収まらなかった場合であっても、人体領域抽出結果に基づいて拡張更新した推測領域に収めることが可能となり、全体の人体領域を確実に抽出することができる。
【００１８】
また、人体領域の抽出が、推測領域の画像データおよび該推測領域の外側に位置する外部領域の画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて行なうものである場合、人体領域を多く含む推測領域の画像データおよび背景領域を多く含む推測領域の外側に位置する外部領域の画像データを用いることにより、推測領域の各画素が人体領域を示す画素であるかそれとも背景領域を示す画素であるかを適切に判断することができる。
【００１９】
また、人体領域の抽出が、画像中の肌色情報をさらに用いて行なうものである場合には、人体領域の抽出精度をより向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の人体領域抽出装置の実施の形態について説明する。なお、図１に示す本発明の一実施形態である人体領域抽出装置は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
【００２１】
本実施形態の人体領域抽出装置は、一般的な画像Ｐ中の人体領域Ｈを自動的に抽出するものであって、画像Ｐ中の顔Ｆを検出する顔検出手段１０と、検出された顔Ｆの位置情報および大きさ情報から人体領域が含まれると推測される推測領域Ｅを決定する推測領域決定手段２０と、決定された推測領域Ｅ中の人体領域Ｈを抽出する人体領域抽出手段３０と、推測領域Ｅ中の輪郭周辺領域に抽出された人体領域Ｈの少なくとも一部が存在するか否かを判断する判断手段４０とを備えている。
【００２２】
また、判断手段４０が推測領域Ｅ中の輪郭周辺領域に抽出された人体領域Ｈの少なくとも一部が存在すると判断したとき、推測領域決定手段２０が、輪郭周辺領域に存在する人体領域Ｈの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅを拡張更新し、人体領域抽出手段３０が、拡張更新された推測領域Ｅ中の人体領域Ｈを抽出するように構成されている。
【００２３】
顔検出手段１０は、画像Ｐ中の顔Ｆを検出するものであって、顔を示す領域を顔Ｆとして検出する。まず、たとえば特開２００６−１３９３６９号公報に記載されているように、顔または目等の検出対象が既知である複数のサンプル画像における各画素の特徴量、すなわち画像上の各画素における濃度が変化する方向および変化の大きさを予め学習することにより、検出対象であるか否かを識別する識別器を特徴量に対応させて取得し、対象画像上に該識別器を走査させることにより検出対象を検出する公知の技術を用いて顔画像を検出し、顔画像から両目の位置Ｅｒ、Ｅｌを検出する。
【００２４】
そして、図２に示すように、検出された両目の位置Ｅｒ、Ｅｌ間の距離Ｌｅを求め、Ｌｅ×Ｌｅの正方形の領域ｆａを両目間の中心位置にその正方形の領域ｆａの上辺の中心が位置するように決定し、垂直方向３.５Ｌｅ×水平方向３.０Ｌｅの矩形の領域ｆｂを 両目間の中心位置にその矩形の領域ｆｂの中心が位置するように決定する。その後、領域ｆａおよび領域ｆｂを充分含む所定の大きさの領域ｆｄを決定し、領域ｆｄにおける領域ｆａの外側に位置する外部領域を領域ｆｃとする。ここで、領域ｆａは顔Ｆ内に充分収まる大きさに設定されているため、領域ｆａの画像データには顔Ｆの画像データが多く含まれるようになっており、領域ｆｃの画像データには顔Ｆの背景領域の画像データが多く含まれるようになっている。
【００２５】
次に、領域ｆａおよび領域ｆｃにおいて、各領域ｆａ、ｆｃの画素の集合をOrchard, M.T., and Bouman, C.A. Color Quantization of Images. IEEE Transactions on Signal Processing, Vol. 39, No.12, pp. 2677-2690, 1991に記載された色クラスタリング法を用いてそれぞれ８つの集合に分割する。
【００２６】
上記の色クラスタリング法は、分割するクラスタ（画素の集合）Ｃｎの色（色ベクトル）の変動が最大となる方向を求め、その方向に垂直かつクラスタＣｎの色の平均値（平均ベクトル）を通る面を切断面とし、その切断面でクラスタＣｎを２つのクラスタＣ２ｎ、Ｃ２ｎ+1に分割するものであり、この方法によれば、全体のさまざまな色空間を有する画素の集合を同一または類似する色空間を有する複数の部分集合に分割することができる。
【００２７】
次に、上記の方法により得られた各領域ｆａ、ｆｃにおける８つの画素の集合の各々に対してＲ（Red、赤）、Ｇ（Green、緑）、Ｂ（Blue、青）のガウス分布の平均ベクトルｕｒｇｂ、ガウス分布の分散共分散行列Σ等を算出し、以下の式（１）から、各領域ｆａ、ｆｃにおけるＲＧＢ色空間のＧＭＭモデル（Gaussian Mixture Model）Ｇを求める。ここで、顔Ｆの画像データを多く含む領域ｆａから求められるＧＭＭモデルＧを顔領域モデルＧＦとし、顔Ｆの背景領域の画像データを多く含む領域ｆｃから得られたＧＭＭモデルＧを顔の背景領域モデルＧｃとする。
【数１】
2008009576.tif 000003
【００２８】
ここで、ｉはガウス分布の混合数（画素の集合の数）、λは分布の混合重み、ｕはＲ、Ｇ、Ｂのガウス分布の平均ベクトル、Σはガウス分布の分散共分散行列、ｄは特徴ベクトルの次元数である。
【００２９】
図３（ａ）は顔領域モデルＧＦにおけるＲ、Ｇを示すグラフであり、図３（ｂ）は顔の背景モデルＧｃにおけるＲ、Ｇを示すグラフである。各々のグラフは８つの楕円状のガウシアン分布から形成されており、顔領域モデルＧＦおよび顔の背景モデルＧｃが互いに異なる確率密度を有することが分かる。
【００３０】
そして、以上の顔領域モデルＧＦと顔の背景モデルＧｃに基づいて、Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images”, Proc. IEEE Int. Conf. on Computer Vision, 2001およびCarsten Rother, Vladimir Kolmogorov, Andrew Blake, “GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts”, ACM Transactions on Graphics(SIGGRAPH’04) 2004に記載された領域分割方法を用いて、領域ｆｂを顔領域と顔の背景領域とに分割する。
【００３１】
上記の領域分割方法では、まず、図４（ａ）に示すように、画像中の各画素を表すノードと、各画素が取り得るラベル（本実施の形態では、顔領域または顔の背景領域）を表すノードＳ、Ｔと、隣接する画素のノード同士をつなぐｎ−ｌｉｎｋと、各画素を表すノードと顔領域を表すノードＳまたは顔の背景領域を表すノードＴとをつなぐｔ−ｌｉｎｋとから構成されるグラフを作成する。ここで、ｎ−ｌｉｎｋは、隣接する画素が同一領域の画素である確からしさ、すなわち尤度（コスト）をリンクの太さで表すものであり、その尤度（コスト）はそれらの隣接する画素間の距離および色ベクトルの差に基づいて求めることができる。また、ｔ−ｌｉｎｋは、各画素が顔領域に含まれる画素である尤度（コスト）および顔の背景領域に含まれる画素である尤度（コスト）を表すものであり、その尤度（コスト）は各画素の色ベクトルが顔領域モデルＧＦまたは顔の背景モデルＧｃの確率密度関数に対応する確率を算出することにより、求めることができる。
【００３２】
そして、顔領域および顔の背景領域は互いに排他的な領域であり、図４（ｂ）に示すように、各画素を表すノードと顔領域を表すノードＳまたは顔の背景領域を表すノードＴとをつなぐ２つのｔ−ｌｉｎｋのうち片方を切断するとともに、異なるラベルを有する隣接する画素のノード同士をつなぐｎ−ｌｉｎｋを切断することにより、領域ｆｂを顔領域と顔の背景領域とに分割する。ここで、切断する全てのｔ−ｌｉｎｋおよびｎ−ｌｉｎｋのコストの合計が最小になるようにすることにより、最適な領域分割をすることが可能であり、顔領域を効率よく抽出することができる。以上の方法により抽出された顔領域を顔Ｆとして検出する。
【００３３】
推測領域決定手段２０は、顔検出手段１０において検出された顔Ｆの位置情報および大きさ情報から、人体領域が含まれると推測される推測領域Ｅを決定するものであり、図５に示すように、顔Ｆの中心位置Ｆｃを中心とする、水平方向の幅が顔Ｆの水平方向の最大幅の１.５倍、垂直方向の幅が顔Ｆの垂直方向の最大幅の１.５倍である矩形の領域Ｅ１を決定し、領域Ｅ１の下部に、水平方向の幅が領域Ｅ１の水平方向の幅の３倍、垂直方向の幅が領域Ｅ１の垂直方向の幅の７倍である矩形の領域Ｅ２を決定し、領域Ｅ１および領域Ｅ２を推測領域Ｅ（領域Ｅ１の下辺と領域Ｅ２の上辺とは接触して両領域Ｅ１、Ｅ２は連結されている）として決定する。
【００３４】
また、推測領域決定手段２０は、推測領域Ｅを拡張更新する機能を有しており、後述する判断手段４０において推測領域Ｅ中の輪郭周辺領域に人体領域Ｈの少なくとも一部が存在すると判断された場合、輪郭周辺領域に存在する人体領域Ｈの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅを拡張更新することができる。
【００３５】
人体領域抽出手段３０は、推測領域決定手段２０において決定された推測領域Ｅの画像データおよび推測領域Ｅの外側に位置する外部領域Ｂの画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて人体領域Ｈを抽出するものである。なお、以下に説明する実施の形態では、この評価値として尤度を用いている。
【００３６】
まず、推測領域Ｅおよび推測領域Ｅの外側に位置する外部領域Ｂにおいて、各領域Ｅ、Ｂの画素の集合を上述した色クラスタリング法を用いて８つの集合に分割し、各領域Ｅ、Ｂにおける８つの画素の集合の各々に対してＲ、Ｇ、Ｂのガウス分布の平均ベクトルｕｒｇｂ、ガウス分布の分散共分散行列Σ等を算出し、上記の式（１）から、各領域Ｅ、ＢにおけるＲＧＢ色空間のＧＭＭモデルＧを求める。ここで、人体領域を多く含む領域と推測される推測領域Ｅから求められるＧＭＭモデルＧを人体領域モデルＧＨとし、背景領域を多く含む推測領域Ｅの外側に位置する外部領域Ｂから得られたＧＭＭモデルＧを背景領域モデルＧＢとする。
【００３７】
そして、顔検出手段１０と同様の領域分割方法を用いて推測領域Ｅを人体領域Ｈおよび背景領域Ｂに分割する。まず、隣接する画素間の距離および色ベクトルの差に基づいて隣接する画素が同一領域の画素である尤度（コスト）を表すｎ−ｌｉｎｋを求める。そして、各画素の色ベクトルが人体領域モデルＧＨまたは人体領域モデルＧＨの確率密度関数に対応する確率を算出することにより、各画素が顔領域に含まれる画素である尤度（コスト）および顔の背景領域に含まれる画素である尤度（コスト）を表すｔ−ｌｉｎｋを求める。その後、上述した最小コストのリンク切断による領域分割最適化方法により推測領域Ｅを人体領域Ｈと背景領域Ｂとに分割し、人体領域Ｈを抽出する。
【００３８】
さらに、人体領域抽出手段３０は、推測領域Ｅ中の各画素において、各画素のＲ、Ｇ、Ｂ（０〜２５５）の値が以下の式（２）に示す条件式を満たすとき、肌色領域を示す画素であると判断し、肌色領域であると判断された各画素を表すノードと人体領域を表すノードＳとをつなぐｔ−ｌｉｎｋの値を高くなるように更新する処理を行なう。その処理により、肌色領域に含まれる画素が人体領域を示す画素である尤度（コスト）を高めることができるため、人体領域の抽出に人体固有の肌色情報を利用することにより、人体領域の抽出性能をより向上させることが可能である。
【数２】
2008009576.tif 000004
【００３９】
判断手段４０は、推測領域Ｅ中の輪郭周辺領域に、人体領域抽出手段３０において抽出された人体領域Ｈの少なくとも一部が存在するか否かを判断するものであり、図６に示すように、推測領域Ｅ内における該推測領域の輪郭Ｌから一定範囲内の領域である輪郭周辺領域Ｑと、抽出された人体領域Ｈとが重なる領域ＱＨが存在するか否かを調べることにより、輪郭周辺領域Ｑに人体領域Ｈの少なくとも一部が存在するか否かを判断する。
【００４０】
上述した判断手段４０においては、輪郭周辺領域Ｑに人体領域Ｈが存在しないと判断された場合、これにより人体領域抽出を終了するようになっている。しかし、輪郭周辺領域Ｑに人体領域Ｈの少なくとも一部が存在すると判断された場合、推測領域決定手段２０は、輪郭周辺領域Ｑと人体領域Ｈとが重なる領域ＱＨから一定範囲内の領域のうち推測領域Ｅの外側に存在する領域を近傍外側領域ＥＮとし、近傍外側領域ＥＮを含むように推測領域Ｅを拡張更新するようになっている。その後、人体領域抽出手段３０により、拡張更新された推測領域Ｅ中の人体領域Ｈが再度抽出され、判断手段４０により、拡張更新された推測領域Ｅにおける輪郭周辺領域Ｑに抽出された人体領域Ｈの少なくとも一部が存在するか否かを再度判断するようになっている。
【００４１】
以上の推測領域決定手段２０による推測領域Ｅの拡張更新処理、人体領域抽出手段３０による拡張更新された推測領域Ｅ中の人体領域Ｈの抽出処理および判断手段４０による輪郭周辺領域Ｑに人体領域Ｈの少なくとも一部が存在するか否かを判断する処理は、判断手段４０が輪郭周辺領域Ｑに人体領域Ｈが存在しないと判断するまで繰り返し行われる。
【００４２】
図７は推測領域Ｅを拡張更新しながら、人体領域Ｈを繰り返して抽出する処理の一例を示した図であり、図７（ａ）は、顔Ｆの位置情報等から決定された１回目の推測領域Ｅと、その推測領域Ｅから抽出された人体領域Ｈを示す図であり、図７（ｂ）は、図７（ａ）における一回目の人体領域抽出結果に基づいて拡張更新された２回目の推測領域Ｅと、その拡張更新された推測領域Ｅから抽出された人体領域Ｈを示す図であり、図７（ｃ）は、最終推測領域Ｅと、その推測領域Ｅから抽出された人体領域Ｈを示す図である。
【００４３】
以下、図８の本発明の人体領域抽出方法の一実施の形態を示すフローチャートを参照して、人体領域抽出方法について説明する。まず、顔検出手段１０において、全体画像Ｐの中から顔Ｆが検出される（ステップＳＴ１）。その後、推測領域決定手段２０により、検出された顔Ｆの位置情報および大きさ情報から人体領域が含まれると推測される推測領域Ｅが決定される（ステップＳＴ２）。そして、人体領域抽出手段３０により、決定された推測領域Ｅ中の人体領域Ｈが抽出される（ステップＳＴ３）。そして、判断手段４０により、推測領域中の輪郭周辺領域に抽出された人体領域Ｈの少なくとも一部が存在するか否かが判断される（ステップＳＴ４）。そして、人体領域Ｈの少なくとも一部が存在すると判断されたとき、輪郭周辺領域に存在する人体領域Ｈの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅが拡張更新される（ステップＳＴ５）。続いて、ステップＳ３へ戻り、更新された推測領域Ｅ中の人体領域が抽出される。以上のステップＳＴ３からＳＴ５を繰り返して、輪郭周辺領域に抽出された人体領域Ｈが存在しないと判断されたところで、人体領域抽出を終了する。
【００４４】
上記実施の形態によれば、画像Ｐ中の顔Ｆを検出し、検出された顔Ｆの位置情報から人体領域が含まれると推測される推測領域Ｅを決定し、決定された推測領域Ｅ中の人体領域Ｈを抽出し、推測領域Ｅ中の輪郭周辺領域に抽出された人体領域Ｈの少なくとも一部が存在するか否かを判断し、輪郭周辺領域に人体領域Ｈが存在しないと判断されるまで、輪郭周辺領域に存在する人体領域Ｈの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅを拡張更新し、拡張更新された推測領域Ｅ中の人体領域Ｈを抽出することを繰り返し行うことにより、人体領域が推測領域Ｅに収まらなかった場合であっても、人体領域抽出結果に基づいて拡張更新した推測領域Ｅに人体領域を収めることが可能となり、全体の人体領域を確実に抽出することができるとともに、一般的な画像中の人体領域の抽出を自動的に行なうことができる。
【００４５】
本発明は上記実施の形態に限定されない。たとえば、上記実施の形態では、推測領域決定手段２０が、顔検出手段１０において検出された顔Ｆの位置情報および大きさ情報から人体領域が含まれると推測される推測領域Ｅを決定するようにしているが、顔検出手段１０は、推測領域決定手段２０において、人体領域が含まれると推測される領域の位置を決定するのに基準となる頭部の位置を特定できるものを検出するものであればよく、顔の他、両目、鼻、口等の他の顔部品の位置を検出するものであってもよい。さらに、検出された顔または顔部品が、それらから顔の大きさ、両目の間隔、鼻または口の大きさ等、頭部のだいたいの大きさを特定できるものであれば、推測領域Ｅの大きさをより正確に決定することができる。
【００４６】
例えば、顔検出手段１０において検出された両目の位置から両目の位置間の距離Ｄを求め、両目間の中心位置を中心とする、３Ｄ×３Ｄの矩形の領域Ｅ１を決定し、領域Ｅ１の下部に、水平方向の幅が領域Ｅ１の水平方向の幅の３倍、垂直方向の幅が領域Ｅ１の垂直方向の幅の７倍である矩形の領域Ｅ２を決定し、領域Ｅ１および領域Ｅ２を推測領域Ｅ（領域Ｅ１の下辺と領域Ｅ２の上辺とは接触して両領域Ｅ１、Ｅ２は連結されている）として決定することができる。また、顔検出手段１０において検出された顔の位置のみから推測領域Ｅを決定する場合、顔の中心位置を基準位置とする、予め設定しておいた形状および大きさの領域を推測領域Ｅとして決定することができる。
【００４７】
なお、推測領域Ｅは、人体領域を充分含む領域であればよく、矩形、円形、楕円形等、種々の形状および任意の大きさの領域とすることができる。
【００４８】
また、人体領域抽出手段３０において、推測領域Ｅの画像データおよび推測領域Ｅの外側に位置する外部領域Ｂの画像データから推測領域Ｅ中の各画素の評価値を算出し、その評価値に基づいて人体領域Ｈを抽出する際、推測領域Ｅの画像データおよび推測領域Ｅの外側に位置する外部領域Ｂの画像データは、それぞれの領域内の全ての画像データであってもよいし、領域内の一部の画像データであってもよい。
【００４９】
また、人体領域抽出手段３０において、上記の式（２）に示す条件式を用いて推測領域Ｅ中の各画素が肌色領域を示す画素であるか否かを判断するようにしているが、画像Ｐ中の人体固有の肌色情報に基づいて肌色領域を示す画素か否かを判断するようにしてもよい。例えば、画像Ｐ等の所定の領域における上記の式（２）の条件式を満たすと判断された各画素の集合から、上記の式（１）に示すＧＭＭモデルＧを求め、画像Ｐ中の人体固有の肌色情報を含む確率密度関数とし、この確率密度関数に基づいて推測領域Ｅ中の各画素が肌色領域を示す画素であるか否かを再度判断することができる。
【００５０】
また、上記実施の形態において、判断手段４０が輪郭周辺領域Ｑと抽出された人体領域Ｈとが重なる領域ＱＨが存在するか否かを判断し、存在すると判断された場合、推測領域決定手段２０が、領域ＱＨから一定範囲内の領域のうち推測領域Ｅの外側に存在する近傍外側領域ＥＮが含まれるように推測領域Ｅを拡張更新するようになっているが、以下に説明する方法または他の方法により、推測領域中の輪郭周辺領域に人体領域の少なくとも一部が存在するか否かを判断し、推測領域Ｅを拡張更新するようにしてもよい。
【００５１】
具体的には、図９に示すように、推測領域Ｅの輪郭Ｌ上の所定の点を始点Ｌｓとし、輪郭Ｌ上の各画素を始点Ｌｓ から時計方向または反時方向に順次注目画素Ｌｐとし、各画素Ｌｐにおいて、その画素Ｌｐから一定範囲内の領域のうち推測領域Ｅの内側に存在する領域Ｑｐに、人体領域Ｈが存在するか否かを調べることにより、輪郭周辺領域に人体領域Ｈの少なくとも一部が存在するか否かを判断する。そして、存在すると判断された場合、その注目画素Ｌｐの位置を以下に説明する方法により更新する。
【００５２】
図１０（ａ）に示すように、まず、位置を更新すると決定された画素Ｌｐｍを輪郭Ｌ上で挟むように隣接する画素Ｌｐｍ−１、Ｌｐｍ＋１を通る直線Ｓａと、その直線から画素Ｌｐｍを通る外法線Ｓｂを求め、直線Ｓａおよび外法線Ｓｂの交点をＯとする。そして、画素Ｌｐｍの位置を点Ｏから一定距離λ（λは輪郭線を一回成長させるための増量）にある外法線Ｓｂ上の点Ｌｐｍ′に更新する。その後、図１０（ｂ）に示すように、推測領域Ｅの輪郭Ｌを更新された各点Ｌｐｍ′を通るように更新し、更新された輪郭Ｌで囲まれる領域を推測領域Ｅとして更新することにより、推測領域Ｅを拡張更新する。
【００５３】
また、判断手段４０において、推測領域Ｅ中の輪郭周辺領域に人体領域の少なくとも一部が存在すると判断したとき、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理等を行うようにしているが、推測領域中の輪郭周辺領域に人体領域が存在する箇所が所定数以上であると判断したとき、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理を行うようにしてもよい。
【００５４】
また、上記実施の形態において、輪郭周辺領域に人体領域が存在しないと判断されるまで、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理を繰り返し行うようにしているが、推測領域の拡張更新処理および拡張更新された推測領域中の人体領域の抽出処理を行なう最大回数を予め設定し、設定された１回以上の所定回数以内で人体領域抽出処理を終了するようにしてもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明の人体領域抽出装置の一実施の形態を示すブロック図
【図２】図１の顔検出手段により顔Ｆを検出する一方法を説明するための図
【図３】（ａ）は顔領域モデルＧＦにおけるＲ、Ｇを示すグラフ、（ｂ）は顔の背景領域モデルＧｃにおけるＲ、Ｇを示すグラフ
【図４】領域ｆｂを顔領域と顔の背景領域とに分割する一方法を説明するための図
【図５】図１の推測領域決定手段により決定された推測領域の一例を示す図
【図６】図１の判断手段および推測領域決定手段による判断処理と推測領域拡張更新処理の一方法を説明するための図
【図７】図１の推測領域決定手段により拡張更新された推測領域Ｅから抽出された人体領域Ｈの一例を示す図であり、（ａ）は１回目の推測領域Ｅおよび抽出された人体領域Ｈを示す図、（ｂ）は２回目の推測領域Ｅおよび人体領域Ｈを示す図、（ｃ）は最終推測領域Ｅおよび人体領域Ｈを示す図
【図８】本発明の人体領域抽出方法の一実施の形態を示すフローチャート
【図９】判断手段および推測領域決定手段による判断処理と推測領域拡張更新処理の一方法を説明するための図
【図１０】推測領域決定手段により推測領域を拡張更新する一方法を示す図
【符号の説明】
【００５６】
１０    顔検出手段
２０    推測領域決定手段
３０    人体領域抽出手段
４０    判断手段
Ｐ      画像
Ｅ      推測領域
Ｈ      人体領域
Ｂ      背景領域
Ｆ      顔（顔または顔部品）
Ｑ      輪郭周辺領域
Ｌ      推測領域の輪郭
ＥＮ      近傍外側領域
【図１】
2008009576.tif 000005
【図２】
2008009576.tif 000006
【図３】
2008009576.tif 000007
【図４】
2008009576.tif 000008
【図５】
2008009576.tif 000009
【図６】
2008009576.tif 000010
【図７】
2008009576.tif 000011
【図８】
2008009576.tif 000012
【図９】
2008009576.tif 000013
【図１０】
2008009576.tif 000014