(57)【要約】  【課題】  トリミング処理、画像合成処理、被写体ごとに区別された条件による画像加工処理等を施すために、入力画像中の所望の様々な被写体に対応する被写体領域を特定し抽出する。  【解決手段】  入力受付部１２において入力された画像内に、学習枠設定部１６が学習枠を設定する。代表特徴ベクトル抽出部１８が、その学習枠により規定される画像部分を表す画像データを学習して、その学習枠を代表する代表特徴ベクトルを抽出する。探索枠設定部２０が、同じ入力画像内に探索枠を設定し、被写体領域抽出部２２が、代表特徴ベクトルと、探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、探索枠内から被写体領域を抽出する。【選択図】          図１
2004220555.tif 000002
【特許請求の範囲】
【請求項１】
画像内に学習枠を設定する手段と、
前記学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する手段と、
前記画像内に探索枠を設定する手段と、
前記代表特徴ベクトルの各々と前記探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、前記探索枠内から被写体領域を抽出する手段を備えていることを特徴とする画像から被写体領域を抽出する装置。
【請求項２】
前記画像内における被写体の位置および／または大きさを検出または入力する手段をさらに備え、
前記学習枠および前記探索枠の少なくとも一方を、前記被写体の位置および／または大きさに基づいて設定することを特徴とする請求項１記載の装置。
【請求項３】
前記学習枠を設定する手段が、被写体の学習に適した前記学習枠を設定する手段であって、
前記被写体領域を抽出する手段が、前記探索枠内において、前記代表特徴ベクトルのうち少なくとも１つとの類似度が、前記被写体に応じて定められた所定基準より高い特徴ベクトルまたは特徴ベクトル群に対応する領域を、前記被写体領域として抽出する手段であることを特徴とする請求項１または２記載の装置。
【請求項４】
前記画像を複数の画像領域に領域分割する手段をさらに備え、
前記被写体領域を抽出する手段が、
前記探索枠内に含まれる画像領域から、各々１つの特徴ベクトル、または複数の特徴ベクトルからなる特徴ベクトル群を抽出する手段と、
前記代表特徴ベクトルのうち少なくとも１つと、抽出された前記１つの特徴ベクトルまたは前記特徴ベクトル群をなす前記複数の特徴ベクトルとの類似度が、前記所定基準より高いすべての前記画像領域を、前記被写体領域を構成する画像領域として特定する手段を備えていることを特徴とする請求項３記載の装置。
【請求項５】
前記学習枠を設定する手段が、被写体の背景の学習に適した前記学習枠を設定する手段であって、
前記被写体領域を抽出する手段が、
前記探索枠内において、前記代表特徴ベクトルのうち少なくとも１つとの類似度が、前記被写体または前記背景に応じて定められた所定基準より高い特徴ベクトルまたは特徴ベクトル群に対応する領域を、背景領域として特定する手段と、
前記探索枠内から前記背景領域を除いた領域を、前記被写体領域として抽出する手段を備えていることを特徴とする請求項１または２記載の装置。
【請求項６】
前記画像を複数の画像領域に領域分割する手段をさらに備え、
前記背景領域を特定する手段が、
前記探索枠内に含まれる画像領域から、各々１つの特徴ベクトル、または複数の特徴ベクトルからなる特徴ベクトル群を抽出する手段と、
前記代表特徴ベクトルのうち少なくとも１つと、抽出された前記１つの特徴ベクトルまたは前記特徴ベクトル群をなす前記複数の特徴ベクトルとの類似度が、前記所定基準より高いすべての前記画像領域を、前記背景領域を構成する画像領域として特定する手段を備えていることを特徴とする請求項５記載の装置。
【請求項７】
前記学習枠を設定する手段が、前記学習枠として、被写体の学習に適した第１の学習枠と、該被写体の背景の学習に適した第２の学習枠とを各々設定する手段であって、
前記代表特徴ベクトルを抽出する手段が、前記第１の学習枠と前記第２の学習枠との各々から１つまたは複数の代表特徴ベクトルを抽出する手段であって、
前記被写体領域を抽出する手段が、前記探索枠内において、前記第１の学習枠から抽出された前記代表特徴ベクトルのうち少なくとも１つとの類似度が、前記被写体に応じて定められた第１の所定基準より高く、かつ前記第２の学習枠から抽出された前記代表特徴ベクトルの各々との類似度が、前記被写体または前記背景に応じて定められた第２の所定基準より低い特徴ベクトルまたは特徴ベクトル群に対応する領域を、前記被写体領域として抽出する手段であることを特徴とする請求項１または２記載の装置。
【請求項８】
前記代表特徴ベクトルを抽出する手段が、前記学習枠の枠線に沿った学習に基づき、前記代表特徴ベクトルを抽出する手段であることを特徴とする請求項１から７いずれか１項記載の装置。
【請求項９】
前記代表特徴ベクトルを抽出する手段が、前記代表特徴ベクトルの抽出に先立って、前記学習枠から、被写体または該被写体の背景に応じて予め定められた範囲内の画素値を示す画素を除外して、該学習枠を調整するものであることを特徴とする請求項１から８いずれか１項記載の装置。
【請求項１０】
前記被写体領域を抽出する手段が、前記被写体領域の抽出に先立って、前記探索枠から、被写体または該被写体の背景に応じて予め定められた範囲内の画素値を示す画素を除外して、該探索枠を調整するものであることを特徴とする請求項１から９いずれか１項記載の装置。
【請求項１１】
前記被写体領域を抽出する手段が、前記被写体領域の抽出に先立って、前記探索枠から、予め分かっている被写体の形状的特徴に応じて一部の画素を除外して、該探索枠を調整するものであることを特徴とする請求項１から９いずれか１項記載の装置。
【請求項１２】
前記被写体領域を抽出する手段の動作後に、前記被写体領域を代表する特徴ベクトルを抽出して、新たな代表特徴ベクトルとする手段と、
前記探索枠を更新する手段と、
前記新たな代表特徴ベクトルと前記探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、前記探索枠内から被写体領域を抽出し直す手段をさらに備えていることを特徴とする請求項１から１１いずれか１項記載の装置。
【請求項１３】
位置および／または形状において相関のある複数の被写体領域を順次抽出するために、前記学習枠を設定する手段、前記代表特徴ベクトルを抽出する手段、前記探索枠を設定する手段および前記被写体領域を抽出する手段を繰り返し動作させる手段をさらに備え、
前記学習枠を設定する手段が、前記複数の被写体領域のうちの２番目以降の被写体領域を抽出するための動作において、前記被写体領域を抽出する手段により既に抽出された被写体領域の位置および／または形状に基づいて、前記学習枠を設定するものであることを特徴とする請求項１から１２いずれか１項記載の装置。
【請求項１４】
前記学習枠を設定する手段が、前記２番目以降の被写体領域を抽出するための動作において、前記被写体領域を抽出する手段により既に抽出された被写体領域の前記位置および／または形状に基づいて、前記学習枠の候補を複数設定し、該学習枠の候補の中から最適な学習枠を選択するものであることを特徴とする請求項１３記載の装置。
【請求項１５】
抽出された前記被写体領域の輪郭を平滑化する手段をさらに備えていることを特徴とする請求項１から１４いずれか１項記載の装置。
【請求項１６】
前記画像の全体または一部に極座標変換または対数極座標変換を施す手段をさらに備えていることを特徴とする請求項１から１５いずれか１項記載の装置。
【請求項１７】
画像内に学習枠を設定する工程と、
前記学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する工程と、
前記画像内に探索枠を設定する工程と、
前記代表特徴ベクトルの各々と前記探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、前記探索枠内から被写体領域を抽出する工程を含むことを特徴とする画像から被写体領域を抽出する方法。
【請求項１８】
コンピュータを、
画像内に学習枠を設定する手段、
前記学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する手段、
前記画像内に探索枠を設定する手段、および
前記代表特徴ベクトルの各々と前記探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、前記探索枠内から被写体領域を抽出する手段として機能させるためのプログラム。
【請求項１９】
コンピュータを、
画像内に学習枠を設定する手段、
前記学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する手段、
前記画像内に探索枠を設定する手段、および
前記代表特徴ベクトルの各々と前記探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、前記探索枠内から被写体領域を抽出する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体に関し、特に、トリミング処理、画像合成処理、被写体ごとに区別された条件による画像加工処理等への応用に適した、被写体領域抽出装置、方法、プログラムおよびプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
デジタル写真画像や動画の１フレーム等の画像には、人物、自動車、建物等の１つまたは複数の被写体が含まれる。ここで、画像処理の分野においては、特定の被写体に対応する領域のみを画像から切り出すトリミング処理や、そのように切り出した特定の被写体に対応する領域を他の画像に合成する処理等が行われている。また、色調整等の画像加工処理を、特定の被写体に対応する領域に対してのみ行う必要が生じる場合もある。かかるトリミング処理、画像合成処理、被写体ごとに区別された条件による画像加工処理等を行うに際しては、何らかの手法により、画像中の所望の被写体に対応する領域を特定し抽出する必要がある。
【０００３】
かかる所望の被写体に対応する領域の抽出に応用可能な従来技術としては、たとえば、対象画像にセグメンテーション処理を施した後に、人物の肌の特徴を示す領域を色の特徴に基づいて特定することにより人物の顔領域を特定し、その後、上半身は顔の下に存在する等の一般的な人物の姿の傾向に基づいて、各々１つの画像領域を人物の姿の各パーツとして特定し、人物全体の姿を構築する技術（たとえば、特許文献１参照）等が挙げられる。
【特許文献１】特開２００２−２０３２３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、トリミング処理、画像合成処理、被写体ごとに区別された条件による画像加工処理等の対象としたい被写体は、人物には限られない。したがって、様々な被写体領域について応用可能な、汎用性のある被写体領域抽出手法が望まれる。
【０００５】
また、対象画像にクラスタリング処理等による画像領域への領域分割処理を施した後に被写体領域抽出処理を行う場合には、１つの画像領域が１つの有意な被写体領域を構成するという前提に基づいた処理では、良好な抽出結果を得ることは困難である。これは、領域分割処理は、一般的には処理対象である画像全体に亘って一定の基準を適用して画像領域への分割を行うものであり、最終的に抽出したい被写体の全体または被写体の有意な構成部分に対応する領域は、明るい部分と暗い部分等に対応する複数の画像領域の集合となる場合がほとんどであるためである。
【０００６】
本発明は、かかる事情に鑑み、汎用性があり、領域分割処理と組み合せる場合にあっては複数の画像領域の集合を被写体領域として抽出することができる、被写体領域抽出装置、方法、プログラムおよび該プログラムを記録した記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
すなわち、本発明に係る画像から被写体領域を抽出する装置は、画像内に学習枠を設定する手段と、該学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する手段と、同画像内に探索枠を設定する手段と、上記の代表特徴ベクトルの各々と探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、探索枠内から被写体領域を抽出する手段を備えていることを特徴とする装置である。
【０００８】
ここで、本発明において「特徴ベクトル」とは、画像を構成する画素や領域等の特徴を表すパラメータとなる量（以下、「特徴量」と呼ぶ）を成分とするベクトルを指す。成分としての「特徴量」には、たとえば色の特徴、輝度の特徴、奥行情報、テクスチャーの特徴等を示す量が含まれ得る。特徴ベクトルは、画像を構成する画素ごとに抽出することもできるし、学習枠内の領域、被写体領域、後述する画像領域等から抽出することもできる。１つの画像領域を構成する複数の画素等から、複数の特徴ベクトルが「特徴ベクトル群」として抽出されることもある。
【０００９】
また、本発明において「類似度」とは、２つの特徴ベクトルの類似の度合いを示す指標であって、たとえば特徴ベクトル空間における２つのベクトル間のユークリッド距離や内積等が使用され得る。なお、類似度が「高い」または「低い」とは、その類似度の値の大小そのものではなく、たとえば上記のユークリッド距離を類似度として採用した場合には、類似度（すなわちユークリッド距離）の値が小さい方が両ベクトルは類似しているので「類似度が高い」こととなる。
【００１０】
さらに、本発明において最終的な「被写体領域」とは、最終的に抽出したい被写体の全体に対応する領域（たとえば、「人物領域」や「自動車の領域」）、または該被写体の有意な構成部分に対応する領域（たとえば、人物の「顔部分」や、自動車の「ボディー部分」）を指すが、最終的な被写体領域を導出する過程において、被写体領域を構成する領域を段階的に拡大して特定していく場合における該途中過程の領域も、「被写体領域」と呼ぶことにする。ここで、被写体の有意な構成部分に対応する領域を最終的な被写体領域として抽出した場合には、その後、複数の被写体領域を統合した領域を対象として、トリミング処理、画像合成処理、画像加工処理等を施すこともできる。
【００１１】
上記の本発明に係る装置は、画像内における被写体の位置および／または大きさを検出または入力する手段をさらに備え、上記の学習枠および探索枠の少なくとも一方を、検出または入力した被写体の位置および／または大きさに基づいて設定するものであってもよい。この場合において、検出または入力される被写体の位置および／または大きさは、該被写体の位置および／または大きさに基づいて設定される学習枠および／または探索枠が、たとえば被写体の学習に適した学習枠であれば背景領域が含まれないように設定され、探索枠であれば抽出目的の被写体領域を漏らさず包含するように設定されるようなものであることが好ましい。しかしながら、該検出または入力される被写体の位置および／または大きさは、必ずしも厳密な位置および／または大きさである必要はなく、学習枠および／または探索枠の設定を容易にする程度に合っていればよいものである。
【００１２】
また、上記の本発明に係る装置においては、上記の学習枠を設定する手段が、被写体の学習に適した学習枠を設定する手段であって、上記の被写体領域を抽出する手段が、探索枠内において、上記の代表特徴ベクトルのうち少なくとも１つとの類似度が、被写体に応じて定められた所定基準より高い特徴ベクトルまたは特徴ベクトル群に対応する領域を、被写体領域として抽出する手段であってもよい。この場合において、当該装置が、画像を複数の画像領域に領域分割する手段をさらに備え、上記の被写体領域を抽出する手段が、探索枠内に含まれる画像領域から、各々１つの特徴ベクトル、または複数の特徴ベクトルからなる特徴ベクトル群を抽出する手段と、上記の代表特徴ベクトルのうち少なくとも１つと、抽出された上記の１つの特徴ベクトルまたは特徴ベクトル群をなす複数の特徴ベクトルとの類似度が、上記の所定基準より高いすべての画像領域を、被写体領域を構成する画像領域として特定する手段を備えていてもよい。
【００１３】
あるいは、上記の本発明に係る装置においては、上記の学習枠を設定する手段が、被写体の背景の学習に適した学習枠を設定する手段であって、上記の被写体領域を抽出する手段が、探索枠内において、上記の代表特徴ベクトルのうち少なくとも１つとの類似度が、被写体または背景に応じて定められた所定基準より高い特徴ベクトルまたは特徴ベクトル群に対応する領域を、背景領域として特定する手段と、探索枠内から該背景領域を除いた領域を、被写体領域として抽出する手段を備えていてもよい。この場合において、当該装置が、画像を複数の画像領域に領域分割する手段をさらに備え、上記の背景領域を特定する手段が、探索枠内に含まれる画像領域から、各々１つの特徴ベクトル、または複数の特徴ベクトルからなる特徴ベクトル群を抽出する手段と、上記の代表特徴ベクトルのうち少なくとも１つと、抽出された上記の１つの特徴ベクトルまたは特徴ベクトル群をなす複数の特徴ベクトルとの類似度が、上記の所定基準より高いすべての画像領域を、背景領域を構成する画像領域として特定する手段を備えていてもよい。
【００１４】
ここで、本発明において「領域分割」とは、クラスタリング処理等により、特徴ベクトルの類似度が一定基準より高い画素同士からなる「画像領域」に画像を分割する処理である。あるいは、かかる画像領域に、発明の実施の形態において詳述する一定基準による領域統合処理を施したものを、最終的な画像領域とする処理であってもよい。ここで、上記の各「一定基準」とは、領域分割処理の対象である画像全体に亘って一定の基準を適用することを指す。
【００１５】
また、本発明において類似度に関する「所定基準」は、抽出しようとする被写体または背景に応じて定められるものであり、この点で抽出しようとする被写体または背景によらない一定基準とは異なる。「類似度が所定基準より高い」とは、各画像領域から１つの特徴ベクトルを抽出する場合において該特徴ベクトルと代表特徴ベクトルとの類似度（ユークリッド距離等）が所定閾値よりも高い場合等のほか、発明の実施の形態において詳述するように、各画像領域から複数の特徴ベクトルからなる特徴ベクトル群を抽出する場合において、該複数の特徴ベクトルのうち代表特徴ベクトルとの類似度（ユークリッド距離等）が所定閾値よりも高いものの割合が所定割合以上である場合等も含まれる。
【００１６】
また、上記の本発明に係る装置においては、上記の学習枠を設定する手段が、上記の学習枠として、被写体の学習に適した第１の学習枠と、その被写体の背景の学習に適した第２の学習枠とを各々設定する手段であって、上記の代表特徴ベクトルを抽出する手段が、上記の第１の学習枠と第２の学習枠との各々から１つまたは複数の代表特徴ベクトルを抽出する手段であって、上記の被写体領域を抽出する手段が、探索枠内において、上記の第１の学習枠から抽出された代表特徴ベクトルのうち少なくとも１つとの類似度が、被写体に応じて定められた第１の所定基準より高く、かつ上記の第２の学習枠から抽出された代表特徴ベクトルの各々との類似度が、被写体または背景に応じて定められた第２の所定基準より低い特徴ベクトルまたは特徴ベクトル群に対応する領域を、被写体領域として抽出する手段であってもよい。
【００１７】
さらに、上記の本発明に係る装置においては、上記の代表特徴ベクトルを抽出する手段は、学習枠の枠線に沿った学習に基づき、上記の代表特徴ベクトルを抽出する手段であってもよい。
【００１８】
ここで、本発明において「学習枠の枠線に沿った学習」とは、学習枠内に含まれる画素または画像領域全体について学習するのではなく、学習枠の枠線に沿った画素または画像領域等についてのみ学習することを指す。
【００１９】
また、上記の本発明に係る装置においては、上記の代表特徴ベクトルを抽出する手段は、代表特徴ベクトルの抽出に先立って、上記の学習枠から、被写体またはその被写体の背景に応じて予め定められた範囲内の画素値を示す画素を除外して、学習枠を調整するものであってもよい。
【００２０】
さらに、上記の本発明に係る装置においては、上記の被写体領域を抽出する手段は、被写体領域の抽出に先立って、上記の探索枠から、被写体またはその被写体の背景に応じて予め定められた範囲内の画素値を示す画素を除外して、探索枠を調整するものであってもよい。あるいは、上記の被写体領域を抽出する手段は、被写体領域の抽出に先立って、上記の探索枠から、予め分かっている被写体の形状的特徴に応じて一部の画素を除外して、探索枠を調整するものであってもよい。
【００２１】
また、上記の本発明に係る装置は、上記の被写体領域を抽出する手段の動作後に、該被写体領域を代表する特徴ベクトルを抽出して、新たな代表特徴ベクトルとする手段と、探索枠を更新する手段と、上記の新たな代表特徴ベクトルと探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、探索枠内から被写体領域を抽出し直す手段をさらに備えていてもよい。
【００２２】
さらに、上記の本発明に係る装置は、位置および／または形状において相関のある複数の被写体領域を順次抽出するために、上記の学習枠を設定する手段、代表特徴ベクトルを抽出する手段、探索枠を設定する手段および被写体領域を抽出する手段を繰り返し動作させる手段をさらに備えたものであって、それらのうち学習枠を設定する手段が、上記の複数の被写体領域のうちの２番目以降の被写体領域を抽出するための動作において、被写体領域を抽出する手段により既に抽出された被写体領域の位置および／または形状に基づいて、学習枠を設定するものであってもよい。その場合において、上記の学習枠を設定する手段は、上記の２番目以降の被写体領域を抽出するための動作において、被写体領域を抽出する手段により既に抽出された被写体領域の位置および／または形状に基づいて、学習枠の候補を複数設定し、それらの学習枠の候補の中から最適な学習枠を選択するものであってもよい。
【００２３】
また、上記の本発明に係る装置は、抽出された被写体領域の輪郭を平滑化する手段をさらに備えているものであってもよい。
【００２４】
さらに、上記の本発明に係る装置は、画像の全体または一部に極座標変換または対数極座標変換を施す手段をさらに備えていてもよい。
【００２５】
また、本発明に係る画像から被写体領域を抽出する方法は、画像内に学習枠を設定する工程と、該学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する工程と、同画像内に探索枠を設定する工程と、上記の代表特徴ベクトルの各々と探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、探索枠内から被写体領域を抽出する工程を含むことを特徴とする方法である。
【００２６】
さらに、本発明に係るプログラムは、コンピュータを、画像内に学習枠を設定する手段、該学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する手段、同画像内に探索枠を設定する手段、および上記の代表特徴ベクトルの各々と探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、探索枠内から被写体領域を抽出する手段として機能させるためのプログラムである。
【００２７】
また、本発明に係るプログラムを記録した記録媒体は、コンピュータを、画像内に学習枠を設定する手段、該学習枠により規定される画像部分を表す画像データを学習して、該学習枠を代表する１つまたは複数の代表特徴ベクトルを抽出する手段、同画像内に探索枠を設定する手段、および上記の代表特徴ベクトルの各々と探索枠により規定される画像部分を表す画像データから抽出された複数の特徴ベクトルとの類似度に基づき、探索枠内から被写体領域を抽出する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２８】
本発明に係る画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体は、特徴ベクトルの類似度を指標として被写体領域を特定し抽出するものであるので、人物に限られず、自動車や建物等、所望の様々な被写体の被写体領域の抽出に応用可能であり、トリミング処理、画像合成処理、被写体ごとに区別された条件による画像加工処理等への応用に非常に適している。
【００２９】
また、領域分割処理と組み合せる態様によれば、代表特徴ベクトルとの類似度に関する所定基準を満たす画像領域の「集合」を被写体領域または背景領域として特定して、被写体領域の抽出を行うので、領域分割の際の画像全体に亘る一定基準では複数の画像領域に分かれてしまった被写体領域または背景領域を一体として特定し、良好な被写体領域抽出結果を得ることができる。
【００３０】
さらに、背景の学習に適した学習枠を設定し、背景領域を特定し、探索枠内から背景領域を除いた領域を被写体領域として抽出する態様によれば、目的の被写体が多様な特徴を示す複数のパーツからなるものであっても、良好な抽出結果を得ることができる。
【００３１】
また、被写体の学習に適した第１の学習枠と、背景の学習に適した第２の学習枠とを設定し、被写体と背景の双方を学習する態様によれば、実際には背景を構成する画素または画像領域が、被写体を構成するものとして誤って特定される可能性が低くなり、ノイズが低減されたさらに良好な被写体領域抽出結果を得ることが可能となる。
【００３２】
さらに、代表特徴ベクトルの抽出に先立って、学習枠から、被写体または背景に応じて予め定められた範囲内の画素値を示す画素を除外して、学習枠を調整する態様によれば、設定した学習枠内に含まれてしまった、被写体の周辺部分等に対応する可能性が高い画素を予め除外して、所望の被写体に対応する可能性が高い画素の特徴のみを学習することが可能となるので、被写体領域の抽出精度を高めることができる。
【００３３】
また、被写体領域の抽出に先立って、探索枠から、被写体または背景に応じて予め定められた範囲内の画素値を示す画素を除外したり、予め分かっている被写体の形状的特徴に応じて一部の画素を除外することにより、探索枠を調整する態様によれば、必要十分な範囲のみを探索し、被写体領域の抽出に伴う計算量を抑制することが可能となる。
【００３４】
さらに、抽出した被写体領域を代表する特徴ベクトルを抽出して新たな代表特徴ベクトルとし、探索枠を更新し、該更新された探索枠内から被写体領域を抽出し直す態様によれば、画像内における必要十分な範囲から、少ない計算量で被写体領域を抽出することができ、また、長い突出部を有する被写体領域等の変形度が大きい被写体領域でも良好に抽出できる。
【００３５】
また、学習枠の設定、代表特徴ベクトルの抽出、探索枠の設定および被写体領域の抽出を繰返し行ない、２番目以降の被写体領域を抽出するための学習枠の設定を、既に抽出された被写体領域の位置および／または形状に基づいて行なう態様によれば、人物の顔部分、髪部分および身体部分に対応する各被写体領域や、自動車のボディー部分およびタイヤ部分に対応する各被写体領域のような、位置および／または形状において相関のある複数の被写体領域を順次抽出することが可能となる。そのようにして抽出された複数の被写体領域は、後のトリミング処理等において、一纏まりの集合として扱われ得る。
【００３６】
さらに、抽出された被写体領域の輪郭を平滑化する態様によれば、後にトリミング処理や画像合成処理を施した際の見た目の違和感を低減することができる。
【発明を実施するための最良の形態】
【００３７】
以下、図面により、本発明の例示的な実施形態を詳細に説明する。
【００３８】
まず、図１から図１０を用いて本発明の第１の実施形態を説明する。図１は、本発明の第１の実施形態に係る被写体領域抽出装置１０の構成を示したブロック図である。この装置１０は、人物の顔部分、髪部分および身体部分に対応する被写体領域を順次抽出するように構成されており、入力受付部１２、顔検出部１４、学習枠設定部１６、代表特徴ベクトル抽出部１８、探索枠設定部２０および被写体領域抽出部２２を備えている。
【００３９】
以下、図２および図３のフローチャートを用いて、上記の第１の実施形態に係る装置１０が行なう被写体領域抽出処理の各工程について具体的に説明する。
【００４０】
入力受付部１２において被写体領域抽出処理の処理対象である画像が入力されると、まず図２のステップＳ２において、人物の顔部分の学習のための学習枠が設定される。本実施形態では、顔検出部１４が、「固有顔法」として知られている方法により、予め多数の人物の顔画像を学習して得られた顔の典型的濃淡パターンとの照合によって、入力画像内から顔部分の位置およびおおまかな大きさを検出し、学習枠設定部１６が、その検出結果に基づいて顔部分の学習のための学習枠を設定するものとする。すなわち、たとえば入力画像が図４の（ａ）に示すような画像であるとすると、顔の典型的濃淡パターンとの照合により図４の（ｂ）に破線で示す部分３０が近似的な顔部分として検出される。この検出結果に基づいて、図４の（ｃ）に示すように、近似的な顔部分３０よりも十分小さな矩形枠３２が、学習枠として設定される。ここで学習枠３２が近似的な顔部分３０の枠よりも小さく設定されるのは、近似的な顔部分３０は顔の典型的濃淡パターンとの照合により特定されたものであって外縁部が顔以外の部分まで広がる場合があるため、顔部分の特徴を学習するためにはより小さい学習枠を設定する方が好ましいためである。なお、顔部分の検出方法は、上記の顔の典型的濃淡パターンを用いるものに限らず他のいかなる方法でもよい。あるいは、顔検出部１４を設けずに、マウス等を用いて手動で顔部分の位置およびおおまかな大きさを入力することとしてもよい。また、学習枠の形状は矩形に限られない。
【００４１】
次に、図２のステップＳ４において、代表特徴ベクトル抽出部１８が、顔部分の学習のための学習枠３２内の各画素から抽出した特徴ベクトルを平均した平均特徴ベクトルを、代表特徴ベクトルとして抽出する。代表特徴ベクトルのもととなる各画素から抽出する特徴ベクトルとしては、現在の抽出対象の被写体である肌色の顔部分の特徴がよく現れる特徴ベクトルを用いる必要があり、本実施形態では、各画素をＨＳ平面上にプロットした際の色相Ｈと彩度Ｓの各値を成分とする特徴ベクトルを用いるものとする。しかしながら、これに限られず、ＲＧＢ表色系やＹＣＣ表色系等で表された色や輝度の特徴、奥行情報、テクスチャーの特徴等を示すいかなる特徴量を成分とする特徴ベクトルを用いてもよく、特徴量数（特徴ベクトルの次元）も３に限られない。また、代表特徴ベクトルは、上記の平均特徴ベクトルに限られない。
【００４２】
続いて、ステップＳ６において、探索枠設定部２０が、顔部分に対応する被写体領域抽出のための探索枠を設定する。本実施形態では、やはり上記の近似的な顔部分３０の検出結果に基づいて、図４の（ｄ）に示すように、近似的な顔部分３０よりも十分大きな領域を囲む矩形枠３４を探索枠として設定するものとする。
【００４３】
次に、ステップＳ８において、被写体領域抽出部２２が、ステップＳ４で抽出された代表特徴ベクトルとの比較のために、探索枠３４内の各画素から、色相Ｈおよび彩度Ｓを成分とする特徴ベクトルを抽出する。
【００４４】
続いて、ステップＳ１０において、被写体領域抽出部２２が、ステップＳ８で抽出した特徴ベクトルのうち代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画素を、被写体領域を構成する画素として特定する。本実施形態では、ＨＳ平面上における代表特徴ベクトルと各特徴ベクトルとのユークリッド距離を類似度として用い、代表特徴ベクトルとの上記のユークリッド距離が所定閾値より短い特徴ベクトルに対応する画素を、被写体領域を構成する画素として特定するものとする。所定閾値としては、多数の顔画像の学習等により、顔部分に対応する被写体領域抽出のために適当な値が予め定められており、たとえば、色相Ｈの値の範囲が０から３６０、彩度Ｓの値の範囲が０から２５５のＨＳ平面において５程度のユークリッド距離値が、閾値として使用され得る。このステップＳ１０の処理により、代表特徴ベクトルが示す特徴と近い特徴を示す画素が、探索枠３４の中から拾い出される。
【００４５】
以上の結果に基づいて、ステップＳ１２において、図５の（ａ）に参照番号４０で示す領域が、顔部分に対応する被写体領域として探索枠３４内から抽出され、顔部分に対応する被写体領域の抽出が完了する。なお、ステップＳ１２における最終的な被写体領域の抽出においては、ノイズを除去するため、ステップＳ１０で特定された画素のうち、画像内で最も大きな１つの塊を構成する画素のみを、最終的な被写体領域を構成する画素としてもよい。
【００４６】
なお、上記に説明した例では、ステップＳ２において、近似的な顔部分３０よりも十分小さな矩形枠３２を、顔部分の学習のための学習枠として設定することとしたが、それで、も学習枠３２が髪部分等の周辺部分にまでかかってしまい、顔部分以外の部分を含めて学習してしまう可能性があるため、代表特徴ベクトルの抽出に先立って、予め定められた範囲内の画素値を示す画素を学習枠３２から除外して、学習枠３２を調整することとしてもよい。たとえば、抽出対象の被写体である肌色の顔部分に対応する可能性が極めて低い色相Ｈおよび彩度Ｓの値を示す画素を、学習枠３２から除外することができる。
【００４７】
また、上記に説明した例では、ステップＳ８において、ステップＳ６で設定された探索枠３４内の各画素から特徴ベクトルを抽出することとしたが、計算量を減らすため、予め定められた範囲内の画素値を示す画素を探索枠３４から除外したり、抽出対象の被写体である顔部分の形状的特徴に応じて一部の画素を探索枠３４から除外したりすることにより、探索枠がより小さくなるように調整してから、特徴ベクトルの抽出を行なうこととしてもよい。たとえば、抽出対象の被写体である肌色の顔部分に対応する可能性が極めて低い色相Ｈおよび彩度Ｓの値を示す画素を除外することや、略円形であるという顔部分の形状的特徴に応じて探索枠３４の角部分の画素を除外することが可能である。
【００４８】
さらに、上記のステップＳ８からＳ１２の処理を行うに先立って、図６に示すように、探索枠内の画像部分に極座標変換を施してもよい。かかる変換を施すと、顔部分のような略円形の対象については、対応画素がｒ座表値の小さい側（図６の（ｂ）では下方）に集まってくる。したがって、探索枠内の全画素から特徴ベクトルを抽出して代表特徴ベクトルとの比較を行わなくても、図６の（ｂ）に矢印で示す順序で探索枠内を走査し、特徴ベクトルの抽出と、該特徴ベクトルと代表特徴ベクトルとの比較を順次繰返し行い、代表特徴ベクトルとの類似度が所定閾値以下である特徴ベクトルに対応する画素に突き当たったところで次の列の走査に移るようにすることで、必要な計算量を減らすことができる利点がある。また、極座標変換に代えて対数極座標変換等を施してもよい。
【００４９】
続いて、図２のステップＳ１４からＳ２４の処理によって人物の髪部分に対応する被写体領域が抽出される。
【００５０】
まず、ステップＳ１４において、学習枠設定部１６が、髪部分の学習のための学習枠を設定する。本実施形態では、図５の（ａ）および（ｂ）に示すように、学習枠設定部１６は、既に抽出された顔部分に対応する被写体領域４０の位置および形状に基づいて、顔部分に対応する被写体領域の上側に、矩形の学習枠４２を設定するものとする。学習枠４２の縦横の長さは、たとえば、顔部分に対応する被写体領域４０の縦横の寸法のそれぞれ１／４および１／２に相当する長さ等に設定することができる。
【００５１】
次に、ステップＳ１６において、代表特徴ベクトル抽出部１８が、髪部分の学習のための学習枠４２内の各画素から抽出した特徴ベクトルを平均した平均特徴ベクトルを、代表特徴ベクトルとして抽出する。代表特徴ベクトルのもととなる各画素から抽出する特徴ベクトルとしては、現在の抽出対象の被写体である髪部分の特徴がよく現れる特徴ベクトルを用いる必要があり、本実施形態では、各画素の輝度Ｙ、色差Ｃｒおよび色差Ｃｂの各値を成分とする特徴ベクトルを用いるものとする。しかしながら、これに限られず、ＲＧＢ表色系で表された色の特徴、色相、彩度、奥行情報、テクスチャーの特徴等を示すいかなる特徴量を成分とする特徴ベクトルを用いてもよく、特徴量数（特徴ベクトルの次元）も３に限られない。また、代表特徴ベクトルは、上記の平均特徴ベクトルに限られない。
【００５２】
続いて、ステップＳ１８において、探索枠設定部２０が、髪部分に対応する被写体領域抽出のための探索枠を設定する。本実施形態では、探索枠設定部２０は、既に抽出された顔部分に対応する被写体領域４０の位置および形状に基づいて、図５の（ｃ）に示すような、上部半円下部矩形の枠を探索枠４４として設定するものとする。
【００５３】
次に、ステップＳ２０において、被写体領域抽出部２２が、ステップＳ１６で抽出された代表特徴ベクトルとの比較のために、探索枠４４内の各画素から、輝度Ｙ、色差Ｃｒおよび色差Ｃｂを成分とする特徴ベクトルを抽出する。
【００５４】
続いて、ステップＳ２２において、被写体領域抽出部２２が、ステップＳ２０で抽出した特徴ベクトルのうち代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画素を、被写体領域を構成する画素として特定する。本実施形態では、ＹＣＣ表色系空間における代表特徴ベクトルと各特徴ベクトルとのユークリッド距離を類似度として用い、代表特徴ベクトルとの上記のユークリッド距離が所定閾値より短い特徴ベクトルに対応する画素を、被写体領域を構成する画素として特定するものとする。所定閾値としては、髪部分に対応する被写体領域抽出のために適当な値が予め定められており、たとえば、輝度Ｙの値の範囲が０から２５５、色差のＣｒおよびＣｂの値の範囲が−２５５から２５５のＹＣＣ表色系空間において５程度のユークリッド距離値が、閾値として使用され得る。このステップＳ２２の処理により、代表特徴ベクトルが示す特徴と近い特徴を示す画素が、探索枠４４の中から拾い出される。
【００５５】
以上の結果に基づいて、ステップＳ２４において、図５の（ｄ）に参照番号４６で示す領域が、髪部分に対応する被写体領域として探索枠４４内から抽出され、髪部分に対応する被写体領域の抽出が完了する。なお、ステップＳ２４における最終的な被写体領域の抽出においては、顔部分の上方と下方（首部分の両脇等）に分離して髪部分が存在し得ることに鑑み、ステップＳ２２で特定されたすべての画素をそのまま最終的な被写体領域を構成する画素としてもよいし、ノイズを除去するため、ステップＳ２２で特定された画素のうち、画像内で最も大きな１つの塊を構成する画素のみを、最終的な被写体領域を構成する画素としてもよい。
【００５６】
なお、上記に説明した例では、ステップＳ１４において、顔部分に対応する被写体領域４０の上側に矩形の学習枠４２を一律に設定することとしたが、図７に示すように、顔部分と髪部分の配置関係は人によって異なるので、学習枠の候補を複数設定し、最適な学習枠を選択することとしてもよい。図７の例では、顔部分に対応する被写体領域の直上に設定された矩形枠Ａからなる第１の候補、顔部分に対応する被写体領域の斜め上方に設定された２つの三角形の枠Ｂ１およびＢ２からなる第２の候補、および顔部分に対応する被写体領域中の下方に突出した部分（首部分に相当する部分）の両側に設定された２つの矩形枠Ｃ１およびＣ２からなる第３の候補が、学習枠の候補として設定されている。最適な学習枠の選択は、たとえば、その学習枠の候補内に含まれる全画素数に対する、ＹＣＣ表色系空間において予め定められた髪部分に対応する可能性が高い領域にプロットされる画素数の割合が、最も高い候補を選択する等により行なわれる。その際、図７の（ｄ）の例のようにいずれの学習枠の候補も髪部分に対応する可能性が高い画素をほとんど含まない場合は、髪部分の学習のための学習枠の設定を行なわず、髪部分に対応する被写体領域の抽出自体も行なわないこととしてもよい。
【００５７】
また、髪部分以外の部分を含めて学習が行なわれることを防ぐため、ステップＳ１６における代表特徴ベクトルの抽出に先立って、予め定められた範囲内の画素値を示す画素を学習枠から除外して、学習枠を調整することとしてもよい。たとえば、抽出対象の被写体である茶色から黒色の髪部分に対応する可能性が極めて低い輝度Ｙ、色差Ｃｒおよび色差Ｃｂの値を示す画素を、学習枠から除外することができる。
【００５８】
さらに、探索枠についても、計算量を減らすため、予め定められた範囲内の画素値を示す画素を探索枠から除外したり、抽出対象の被写体である髪部分の形状的特徴に応じて一部の画素を探索枠から除外したりすることにより、探索枠がより小さくなるように調整してから、特徴ベクトルの抽出を行なうこととしてもよい。
【００５９】
続いて、図３のステップＳ２６からＳ３８の処理によって人物の身体部分に対応する被写体領域が抽出される。
【００６０】
まず、ステップＳ２６において、学習枠設定部１６が、人物の身体部分の背景の学習のための学習枠を設定する。本実施形態では、図８の（ａ）および（ｂ）に示すように、ステップＳ１２で特定された顔部分に対応する被写体領域４０の下半分を含み、かつ顔部分に対応する被写体領域４０の下方の十分大きな領域を包含するような矩形領域５０が、学習枠として設定される。この学習枠５０をいかなる大きさにするかは、典型的な顔部分と身体部分の比率の予めの学習等により決められる。
【００６１】
次に、ステップＳ２８において、代表特徴ベクトル抽出部１８が、身体部分の背景の学習を行うのであるが、この背景の学習は、上記の顔部分および髪部分の学習の場合と異なり、学習枠５０内の全画素ではなく、学習枠５０の枠線に沿った画素のみから各々特徴ベクトルを抽出することにより行う。抽出した特徴ベクトルの平均特徴ベクトルが、背景領域特定のための代表特徴ベクトルとされる。代表特徴ベクトルのもととなる各画素から抽出する特徴ベクトルとしては、背景の特徴がよく現れる特徴ベクトルを用いる必要があり、本実施形態では、各画素の輝度Ｙ、色差Ｃｒおよび色差Ｃｂの各値を成分とする特徴ベクトルを用いるものとする。しかしながら、これに限られず、ＲＧＢ表色系で表された色の特徴、色相、彩度、奥行情報、テクスチャーの特徴等を示すいかなる特徴量を成分とする特徴ベクトルを用いてもよく、特徴量数（特徴ベクトルの次元）も３に限られない。また、代表特徴ベクトルは、上記の平均特徴ベクトルに限られない。
【００６２】
続いて、ステップＳ３０において、探索枠設定部２０が、身体部分に対応する被写体領域抽出のための探索枠を設定する。本実施形態では、図８の（ｂ）に示す学習枠５０と同一の枠を、探索枠として設定するものとする。ただし、上述のとおり学習は枠５０の枠線に沿った画素についてのみ行われるが、探索は枠５０内に包含される全画素について行われる。
【００６３】
すなわち、被写体領域抽出部２２は、続くステップＳ３２において、探索枠５０内の各画素から輝度Ｙ、色差Ｃｒおよび色差Ｃｂを成分とする特徴ベクトルを抽出し、ステップＳ３４において、代表特徴ベクトルとの類似度（ＹＣＣ表色系空間におけるユークリッド距離）が所定閾値より高い画素を、背景領域を構成する画素として特定し、ステップＳ３６において、背景領域を特定する。所定閾値としては、特定しようとする被写体または背景に応じた適当な値が予め定められており、たとえば、輝度Ｙの値の範囲が０から２５５、色差のＣｒおよびＣｂの値の範囲が−２５５から２５５のＹＣＣ表色系空間において５程度のユークリッド距離値が、閾値として使用され得る。このようにして特定された背景領域を、図８の（ｃ）に参照番号５２で表す。
【００６４】
最後に、図８の（ｄ）に示すように、ステップＳ３８において、探索枠５０内の領域から背景領域５２を除いた領域が、身体部分に対応する被写体領域５４として抽出される。このように背景の学習に適した学習枠を設定し、背景領域を特定し、探索枠内から背景領域を除いた領域を被写体領域として抽出する態様によれば、目的の被写体が多様な特徴を示す複数のパーツからなるものであっても、良好な抽出結果を得ることができる。
【００６５】
なお、上記の身体部分に対応する被写体領域の抽出においても、予め定められた範囲内の画素値を示す画素を学習枠または探索枠から除外して、学習枠または探索枠を調整することとしてもよい。また、計算量を減らすため、身体部分の形状的特徴に応じて一部の画素を探索枠から除外することにより、探索枠を調整してもよい。後者の例としては、既に検出した顔部分に対応する被写体領域の下方近傍にある、肩部分を示す斜め方向の２本のエッジを検出して、それらのエッジおよび延長線よりも上方にある画素を除外する等の処理が挙げられる。
【００６６】
以上の処理により抽出した人物の顔部分、髪部分および身体部分に対応する被写体領域に対しては、各々別個にトリミング処理、画像合成処理、色調整等の画像加工処理等を施すこともできるし、３つの被写体領域の抽出結果を合わせた人物に対応する領域全体についてそれらの処理を施すこともできる。
【００６７】
なお、上記に説明した第１の実施形態は、被写体または背景を学習するための学習枠から代表特徴ベクトルを抽出し、その代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画素を、被写体領域または背景領域を構成する画素として特定するものであったが、これに限られず、たとえば、背景を学習するための学習枠から代表特徴ベクトルを抽出し、その代表特徴ベクトルとの類似度が所定閾値より低い特徴ベクトルに対応する画素を、直接に被写体領域を構成する画素として特定する形態等も、本発明の範囲に属するものである。
【００６８】
また、上記に説明した第１の実施形態では、各被写体または背景を学習するための学習枠から１つのみの代表特徴ベクトルを抽出することとしたが、これに限られず、複数の代表特徴ベクトルを抽出することとしてもよい。たとえば、学習枠により規定される画像部分を複数のブロックに分けて、それらのブロックから各々１つの代表特徴ベクトルを抽出し、特徴ベクトル空間においてそれらの代表特徴ベクトルのいずれかの近傍に該当する領域内にプロットされる特徴ベクトルを示す画素を、被写体領域または背景領域を構成する画素として抽出すること等が可能である。
【００６９】
さらに、上記に説明した第１の実施形態では、抽出対象の各被写体領域ごとに、被写体または背景のいずれかの学習に適した学習枠のみを設定することとしたが、被写体の学習に適した第１の学習枠と、背景の学習に適した第２の学習枠とを各々設定し、その第１の学習枠と第２の学習枠との各々から１つまたは複数の代表特徴ベクトルを抽出することとしてもよい。その場合、探索枠内において、第１の学習枠から抽出された代表特徴ベクトルのうちの少なくとも１つとの類似度が、被写体に応じて定められた第１の所定基準より高く、かつ第２の学習枠から抽出された代表特徴ベクトルの各々との類似度が、被写体または背景に応じて定められた第２の所定基準より低い特徴ベクトルまたは特徴ベクトル群に対応する領域が、被写体領域として抽出されることになる。たとえば、身体部分に対応する被写体領域を抽出する場合であれば、図９の（ａ）に示すように、既に抽出された顔部分に対応する被写体領域４０の下方に、その被写体領域４０の横方向の寸法と同一の幅で延在する矩形枠５６を第１の学習枠として、画像全体の３方向の外縁に沿った領域を囲む枠５８を第２の学習枠として、規定することができる。さらに、これらの第１の学習枠５６および第２の学習枠５８の各々から、輝度Ｙ、色差Ｃｒおよび色差Ｃｂの各値を成分とする代表特徴ベクトルを複数抽出するものとすると、たとえば図９の（ｂ）に示すように、ＹＣＣ表色系空間において、第１の学習枠５６から抽出された代表特徴ベクトルのうちの少なくとも１つの近傍（斜線で示す）に該当し、かつ第２の学習枠５８から抽出された各代表特徴ベクトルの近傍（網かけで示す）に該当しない領域にプロットされる特徴ベクトルを示す探索枠内の画素を、被写体領域を構成する画素として抽出すること等が可能である。各近傍の大きさとしては、輝度Ｙの値の範囲が０から２５５、色差ＣｒおよびＣｂの値の範囲が−２５５から２５５のＹＣＣ表色系空間において、半径５程度の大きさを用いることができる。
【００７０】
また、実際の処理においては図１０の（ａ）に示すように、各被写体領域が精確には抽出されず輪郭が不自然になってしまうことがあることに鑑み、上記の第１の実施形態に係る装置１０においては、被写体領域抽出部２２が抽出した被写体領域の輪郭を平滑化する平滑化処理部をさらに設けてもよい。この平滑化処理部は、抽出された顔部分、髪部分および身体部分に対応する被写体領域の各々について別個に平滑化処理を施すものであってもよいし、これらを合わせた人物に対応する領域全体に対して平滑化処理を施すものであってもよい。人物に対応する領域全体に対して処理を施す場合の手法の一例について図１０を用いて説明する。まず、抽出された顔部分、髪部分および身体部分に対応する被写体領域を足し合わせた、図１０の（ａ）に示す領域全体の形状に基づいて、図１０の（ｂ）に示すようなマスクパターンを形成する。ここで、図１０の（ｂ）に示すマスクパターンは、白い部分の各画素が１、黒い部分の各画素が０の値を有する、２値画像のパターンである。このマスクパターンに、メディアン・フィルタを複数回かけ合わせることにより、輪郭の凹凸が改善された図１０の（ｃ）に示すマスクパターンを導出する。ここで、メディアン・フィルタのサイズは徐々に大きくしていくことが好ましい。最後に、装置１０に入力されたもとの画像データに図１０の（ｃ）に示すマスクパターンをかけ合わせることにより、図１０の（ｄ）に示すような平滑化された結果を得ることができる。このような平滑化処理を行なうことによって、後にトリミング処理や画像合成処理を施した際の見た目の違和感を低減することができる。
【００７１】
次に、図１１から図１７を用いて本発明の第２の実施形態を説明する。この実施形態は、上記の第１の実施形態と同様に人物の顔部分、髪部分および身体部分に対応する被写体領域を順次抽出すること目的とするものであるが、領域分割処理との組合せにより被写体領域抽出処理を行う点で、第１の実施形態と異なる。図１１は、本発明の第２の実施形態に係る被写体領域抽出装置６０の構成を示したブロック図である。この装置６０は、入力受付部６２、領域分割部６４、顔検出部６６、学習枠設定部６８、代表特徴ベクトル抽出部７０、探索枠設定部７２および被写体領域抽出部７４を備えている。
【００７２】
以下、図１２および図１３のフローチャートを用いて、上記の第２の実施形態に係る装置６０が行なう被写体領域抽出処理の各工程について具体的に説明する。
【００７３】
入力受付部６２において被写体領域抽出処理の処理対象である画像が入力されると、まず、ステップＳ４０において、領域分割部６４が、入力画像を複数の画像領域に分割する領域分割処理を行う。図１４は、この領域分割処理の各工程を示した工程図である。この例では、入力画像は第１の実施形態の説明に用いたものと同一の、図１４の（ａ）に示す画像であるとする。まず、この入力画像に対して、クラスタリング処理を施す。すなわち、入力画像を構成する各画素を特徴ベクトル空間（本実施形態では、ＲＧＢ表色系空間）に写像し、初期状態では各画素に対応する点が各々１つのクラスターを構成するものとし、特徴ベクトル空間におけるクラスター間の最小距離が一定の閾値を超えるまで、最小距離を示すクラスター同士を順次統合していく処理を繰り返して、入力画像を構成する画素を分類していく。分類結果を再びもとの入力画像に写像すると、図１４の（ｂ）に示すような複数の画像領域に分割される。本実施形態では、このクラスタリング処理による分割結果に、さらに領域統合処理を施す。領域統合処理は、クラスタリング処理により分割された画像領域のうち、構成画素数が入力画像の全画素数に対し一定割合に満たない小さな画像領域を、隣接する画像領域に順次統合する処理である。統合方法としては、最も小さい画像領域から順に、接する境界の長さが最も長い隣接画像領域に統合していく方法、やはり最も小さい画像領域から順に、特徴ベクトル空間における距離等を基準に色等の特徴が最も近い隣接画像領域に統合していく方法、あるいはこれらの組合せ等が挙げられる。この領域統合処理により、画像全体の大系的なパターンへの影響が少ない微小な画像領域や、ノイズにあたる画像領域を排除することができる。領域統合処理後の最終的な領域分割結果を、図１４の（ｃ）に示す。
【００７４】
なお、領域分割処理は上記に限らずいかなる手法によるものでもよく、また、領域統合処理を伴わないものであってもよい。
【００７５】
次に、図１２のステップＳ４２において、学習枠設定部６８が、顔部分の学習のための学習枠を設定する。本実施形態における学習枠の設定方法を、図１５の（ａ）および（ｂ）を用いて説明すると、まず、顔検出部６６が、領域分割処理前の原画像から、第１の実施形態と同様の顔の典型的濃淡パターンを用いた方法等により、近似的な顔部分８０の位置およびおおまかな大きさを検出する。次いで、学習枠設定部６８が、領域分割処理後の画像上において、上記の近似的な顔部分８０よりも十分小さな矩形枠８２を「仮学習枠」として規定する。その上で、仮学習枠８２に全部または一部が含まれる画像領域全体の輪郭を示す枠８４を、最終的な学習枠とする。
【００７６】
続いて、ステップＳ４４において、代表特徴ベクトル抽出部７０が、顔部分の学習のための学習枠８４内の、各画像領域の各画素から抽出した特徴ベクトルを平均した平均特徴ベクトルを、代表特徴ベクトルとして抽出する。本実施形態では、第１の実施形態と同様に、色相Ｈと彩度Ｓの各値を成分とする特徴ベクトルを抽出するものとする。
【００７７】
次に、ステップＳ４６において、探索枠設定部７２が、顔部分に対応する被写体領域抽出のための探索枠を設定する。本実施形態では、図１５の（ｃ）および（ｄ）に示すように、まず、領域分割処理後の画像上において、上記の近似的な顔部分８０よりも十分大きな領域を囲む矩形枠８６を「仮探索枠」として規定し、仮探索枠８６に全部または一部が含まれる画像領域全体の輪郭を示す枠８８を、最終的な探索枠とする。図１５の（ｄ）に斜線で示した領域が、探索枠８８内の領域である。
【００７８】
続いて、ステップＳ４８において、被写体領域抽出部７４が、探索枠８８内の画像領域のうち、既に学習した画像領域すなわち学習枠８４にも含まれる画像領域を除く各画像領域の各画素から、色相Ｈおよび彩度Ｓを成分とする特徴ベクトルを抽出する。ここで、学習枠８４に含まれる画像領域を除いているのは、学習枠８４は近似的な顔部分８０内の十分小さな仮学習枠８２に基づいて定めたものであり、該学習枠８４に含まれる画像領域は既に顔部分に対応する被写体領域を構成するものと考えて支障ないので、さらに計算を行いあらためて被写体領域を構成するか否かの検討を加える必要がないためである。このように、探索枠内の既に学習した画素または画像領域からは特徴ベクトルの抽出を行わない形態も、本発明の範囲に属するものとする。
【００７９】
次に、ステップＳ５０において、被写体領域抽出部７４が、代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画素を所定割合より多く含む画像領域を、被写体領域を構成する画像領域として特定する。本実施形態でも、第１の実施形態と同様に、ＨＳ平面上におけるユークリッド距離を類似度として用いるものとする。上記の所定閾値および所定割合としては、顔部分に対応する被写体領域抽出のために適当な値が予め定められている。
【００８０】
以上の結果に基づいて、ステップＳ５２において、学習枠８４内に含まれる画像領域およびステップＳ５０で特定された画像領域をすべて合わせた領域が、顔部分に対応する被写体領域として抽出される（図１６の（ａ）の参照番号９０）。
【００８１】
なお、本実施形態でも、上記のステップＳ４８からＳ５２の処理を行うに先立って、極座標変換または対数極座標変換等を行ってもよい。
【００８２】
続いて、図１２のステップＳ５４からＳ６４の処理によって人物の髪部分に対応する被写体領域が抽出される。
【００８３】
まず、ステップＳ５４において、学習枠設定部６８が、髪部分の学習のための学習枠を設定する。本実施形態では、図１６の（ａ）および（ｂ）に示すように、学習枠設定部６８は、まず、既に抽出された顔部分に対応する被写体領域９０の位置および形状に基づいて、顔部分に対応する被写体領域の上側に、矩形の仮学習枠９２を設定するものとする。仮学習枠９２の縦横の長さは、たとえば、顔部分に対応する被写体領域９０の縦横の寸法のそれぞれ１／４および１／２に相当する長さ等に設定することができる。その上で、図１６の（ｃ）に示すような、仮学習枠９２に全部または一部が含まれる画像領域全体の輪郭を示す枠９４を、最終的な学習枠とする。
【００８４】
次に、ステップＳ５６において、代表特徴ベクトル抽出部７０が、髪部分の学習のための学習枠８４内の、各画像領域の各画素から抽出した特徴ベクトルを平均した平均特徴ベクトルを、代表特徴ベクトルとして抽出する。代表特徴ベクトルのもととなる各画像領域の各画素から抽出する特徴ベクトルとしては、第１の実施形態と同様に、各画素の輝度Ｙ、色差Ｃｒおよび色差Ｃｂの各値を成分とする特徴ベクトルを抽出するものとする。
【００８５】
続いて、ステップＳ５８において、探索枠設定部７２が、髪部分に対応する被写体領域抽出のための探索枠を設定する。本実施形態では、探索枠設定部７２は、既に抽出された顔部分に対応する被写体領域９０の位置および形状に基づいて、まず、図１６の（ｄ）に示すような、上部半円下部矩形の枠を仮探索枠９６として設定するものとする。その上で、図１６の（ｅ）に示すような、仮探索枠９６に全部または一部が含まれる画像領域全体の輪郭を示す枠９８を、最終的な学習枠とする。
【００８６】
次に、ステップＳ６０において、被写体領域抽出部７４が、ステップＳ５６で抽出された代表特徴ベクトルとの比較のために、探索枠９８内の画像領域のうち、既に学習した画像領域すなわち学習枠９４にも含まれる画像領域を除く各画像領域の各画素から、輝度Ｙ、色差Ｃｒおよび色差Ｃｂを成分とする特徴ベクトルを抽出する。
【００８７】
続いて、ステップＳ６２において、被写体領域抽出部７４が、代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画素を所定割合より多く含む画像領域を、被写体領域を構成する画像領域として特定する。本実施形態でも、第１の実施形態と同様に、ＹＣＣ表色系空間におけるユークリッド距離を類似度として用いるものとする。上記の所定閾値および所定割合としては、髪部分に対応する被写体領域抽出のために適当な値が予め定められている。
【００８８】
以上の結果に基づいて、ステップＳ６４において、学習枠９４内に含まれる画像領域およびステップＳ６２で特定された画像領域をすべて合わせた領域が、髪部分に対応する被写体領域として抽出される（図１６の（ｆ）の参照番号１００）。
【００８９】
次に、図１３のステップＳ６６において、学習枠設定部６８が、人物の身体部分の背景の学習のための学習枠を設定する。図１７を用いて説明すると、本実施形態では、学習枠設定部６８は、まずステップＳ５２で特定された顔部分に対応する被写体領域９０の下半分を含み、かつ顔部分に対応する被写体領域９０の下方の十分大きな領域を包含するような矩形領域１０２を、「仮学習枠」として設定する。この仮学習枠１０２をいかなる大きさにするかは、典型的な顔部分と身体部分の比率の予めの学習等により決められる。その上で、仮学習枠１０２に全部または一部が含まれる画像領域全体の輪郭を示す枠１０４を、最終的な学習枠とする。
【００９０】
続いて、ステップＳ６８において、代表特徴ベクトル抽出部７０が、身体部分の背景の学習を行う。この学習は、図１７の（ｃ）に斜線で示す学習枠１０４の枠線に沿った各画像領域を構成する画素のみから、各々輝度Ｙ、色差Ｃｒおよび色差Ｃｂを成分とする特徴ベクトルを抽出することにより行う。抽出した特徴ベクトルの平均特徴ベクトルが、背景領域特定のための代表特徴ベクトルとされる。
【００９１】
次に、ステップＳ７０において、探索枠設定部７２が、身体部分に対応する被写体領域抽出のための探索枠を設定する。本実施形態では、図１７の（ｂ）に示す学習枠１０４と同一の枠を、探索枠として設定するものとする。
【００９２】
続いて、ステップＳ７２において、被写体領域抽出部７４が、探索枠１０４内の画像領域のうち、既に学習した画像領域すなわち図１７の（ｃ）に斜線で示す画像領域を除く各画像領域の各画素から、特徴ベクトルを抽出する。
【００９３】
次に、ステップＳ７４において、被写体領域抽出部７４が、代表特徴ベクトルとの類似度（ＹＣＣ表色系空間におけるユークリッド距離）が所定閾値より高い特徴ベクトルに対応する画素を所定割合より多く含む画像領域を、背景領域を構成する画像領域として特定する。所定閾値および所定割合としては、特定しようとする被写体（身体部分）または背景に応じた適当な値が予め定められている。
【００９４】
以上の結果に基づいて、ステップＳ７６において、ステップＳ６８で学習した画像領域およびステップＳ７４で特定された画像領域をすべて合わせた領域が、背景領域として特定される。
【００９５】
最後に、ステップＳ７８において、探索枠１０４内の領域から特定された背景領域を除いた領域が、身体部分に対応する被写体領域として抽出される。
【００９６】
以上の処理により抽出した人物の顔部分、髪部分および身体部分に対応する被写体領域に対しては、各々別個にトリミング処理、画像合成処理、色調整等の画像加工処理等を施すこともできるし、３つの被写体領域の抽出結果を合わせた人物に対応する領域全体についてそれらの処理を施すこともできる。
【００９７】
この第２の実施形態のような領域分割処理と組み合せる態様によれば、代表特徴ベクトルとの類似度に関する所定基準を満たす画像領域の「集合」を被写体領域または背景領域として特定して、被写体領域の抽出を行うことができるので、領域分割の際の画像全体に亘る一定基準では複数の画像領域に分かれてしまった被写体領域または背景領域を一体として特定し、良好な被写体領域抽出結果を得ることができる。
【００９８】
なお、上記に説明した第２の実施形態は、被写体または背景を学習するための学習枠から代表特徴ベクトルを抽出し、その代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画素を所定割合より多く含む画像領域を、被写体領域または背景領域を構成する画像領域として特定するものであったが、これに限られず、たとえば、背景を学習するための学習枠から代表特徴ベクトルを抽出し、その代表特徴ベクトルとの類似度が所定閾値より低い特徴ベクトルに対応する画素を所定割合より多く含む画像領域を、直接に被写体領域を構成する画像領域として特定する形態等も、本発明の範囲に属するものである。
【００９９】
また、上記に説明した第２の実施形態においても、第１の実施形態と同様に、各被写体または背景を学習するための学習枠から抽出される代表特徴ベクトルの数は１つに限られず、複数の代表特徴ベクトルを抽出することとしてもよい。さらに、抽出対象の各被写体領域ごとに被写体または背景のいずれかの学習に適した学習枠のみを設定する代わりに、被写体の学習に適した第１の学習枠と、背景の学習に適した第２の学習枠とを各々設定することとし、その第１の学習枠と第２の学習枠との各々から１つまたは複数の代表特徴ベクトルを抽出することとしてもよい。
【０１００】
さらに、上記に説明した第２の実施形態においても、第１の実施形態と同様に、抽出対象の被写体ごとに、予め定められた範囲内の画素値を示す画素を学習枠または探索枠から除外して、学習枠または探索枠を調整することとしてもよい。また、抽出対象の被写体の形状的特徴に応じて一部の画素を探索枠から除外することにより、探索枠を調整してもよい。
【０１０１】
また、上記に説明した第２の実施形態に係る装置６０においても、被写体領域抽出部７４が抽出した被写体領域の輪郭を平滑化する平滑化処理部をさらに設けてもよい。
【０１０２】
次に、図１８から図２２を用いて本発明の第３の実施形態を説明する。上記の第１および第２の実施形態は人物の顔部分、髪部分および身体部分に対応する被写体領域の抽出を目的とするものであったが、本発明は人物以外の対象にも応用可能な汎用性のあるものである。以下に説明する第３の実施形態は、人物以外の対象の例として、自動車のボディー部分およびタイヤ部分に対応する被写体領域の抽出を目的とするものである。また、本実施形態も、領域分割処理との組合せにより被写体領域抽出処理を行うものである。
【０１０３】
図１８は、本発明の第３の実施形態に係る被写体領域抽出装置１１０の構成を示したブロック図である。この装置１１０は、入力受付部１１２、領域分割部１１４、学習枠設定部１１６、代表特徴ベクトル抽出部１１８、探索枠設定部１２０および被写体領域抽出部１２２を備えている。
【０１０４】
以下、図１９および図２０のフローチャートを用いて、上記の第３の実施形態に係る装置１１０が行なう被写体領域抽出処理の各工程について具体的に説明する。
【０１０５】
入力受付部１１２において被写体領域抽出処理の処理対象である画像が入力されると、まず、ステップＳ８０において、領域分割部１１４が、入力画像に対して領域分割処理を施す。領域分割処理は、上記の第２の実施形態と同様の手法によるものであってもよいし、他のいかなる手法によるものであってもよい。本例では、入力画像は図２１の（ａ）に示すような、建物等を背景に中央に自動車が撮影されたデジタル写真画像であるとする。領域分割処理の結果は、図２１の（ｂ）に示すようになるとする。
【０１０６】
次に、ステップＳ８２において、学習枠設定部１１６が、領域分割後の画像領域のうち、１つの画像領域を初期被写体領域とし、その初期被写体領域のみを含む枠を、自動車のボディー部分の学習のための学習枠として特定する。この初期被写体領域の選択方法としては、たとえば、既知のボディー部分の色情報を表す特徴ベクトル、またはさらにテクスチャー（ボディー部分は、一般的には略べた一様なテクスチャー）に関する特徴量等も成分に加えた特徴ベクトルと、各画像領域を代表する特徴ベクトルとの比較により選択する方法が挙げられる。また、一般的に黒色略円形または黒色略ドーナツ形であるタイヤ部分を、タイヤの典型的パターンとの照合により検出し、検出されたタイヤ部分との位置関係に基づいて１つの画像領域を選択する方法等も考えられる。あるいは、マウス等を用いて手動で１つの画像領域を選択してもよい。本例では、図２１の（ｂ）に示す画像領域１３０が初期被写体領域として特定された領域であるとする。学習枠は、参照番号１３２で示す枠となる。
【０１０７】
続いて、ステップＳ８４において、代表特徴ベクトル抽出部１１８が、学習枠１３２内の領域１３０から１つの代表特徴ベクトルを抽出する。本実施形態では、学習枠１３２内の各画素に割り当てられたＲＧＢ表色系の３つの色成分の各平均値と、テクスチャーに関する特徴量として縦エッジ画像および横エッジ画像の絶対値成分の学習枠１３２内における平均値の、合計５つの特徴量を成分とする代表特徴ベクトルを抽出するものとする。
【０１０８】
次に、ステップＳ８６において、探索枠設定部１２０が、学習枠１３２内の領域１３０と境界を接する全画像領域を含む枠を、探索枠として設定する。本例では、この探索枠は図２１の（ｃ）に参照番号１３４で示す枠となる。
【０１０９】
続いて、ステップＳ８８において、被写体領域抽出部１２２が、探索枠１３４内の画像領域のうち、既に学習した画像領域すなわち学習枠１３２にも含まれる画像領域を除く各画像領域から、各々１つの特徴ベクトルを抽出する。抽出される特徴ベクトルは、その画像領域に含まれる画素に割り当てられた３つの色成分の各平均値と、縦エッジ画像および横エッジ画像の絶対値成分のその画像領域内における平均値の、合計５つの特徴量を成分とする特徴ベクトルである。
【０１１０】
次に、ステップＳ９０において、被写体領域抽出部１２２が、代表特徴ベクトルとの類似度が所定閾値より高い特徴ベクトルに対応する画像領域を、被写体領域を構成する画像領域として特定する。本実施形態では、５次元の特徴ベクトル空間におけるユークリッド距離を類似度として用いる。所定閾値としては、特定しようとする被写体（自動車のボディー部分）に応じた適当な値が予め定められている。
【０１１１】
続いて、ステップＳ９２において、被写体領域抽出部１２２が、現在の探索枠１３４内から被写体領域を仮抽出する。仮抽出される被写体領域は、図２１の（ｄ）に斜線で示す、ステップＳ９０で特定された各画像領域と学習枠１３２内の領域１３０をすべて合わせた領域１３６である。
【０１１２】
次に、ステップＳ９４において、ステップＳ９２の仮抽出で被写体領域が拡大したか否かが確認される。本例の現段階では、ステップＳ９２の仮抽出で被写体領域が領域１３０から領域１３６に拡大したので、図１９に示した処理はステップＳ９６を経て、ステップＳ８４へと戻る。
【０１１３】
ステップＳ９６では、学習枠設定部１１６が、仮抽出された被写体領域１３６のみを含む枠１３８を、新たな学習枠として設定する。再び行われるステップＳ８４では、この新たな学習枠１３８内の領域１３６から１つの代表ベクトルが抽出され、ステップＳ８６では、図２１の（ｅ）示すように、新たな学習枠１３８と境界を接する全画像領域を含む枠１４０が新たな探索枠として設定される。その後、ステップＳ８８からＳ９２を経て、新たに仮抽出される被写体領域は図２１の（ｆ）に示す領域１４２のようになる。このように学習枠および探索枠が順次拡大するように更新されていき、探索枠を更新しても仮抽出される被写体領域が拡大しなくなるまで、ステップＳ８４からＳ９６の工程が繰り返される。仮抽出される被写体領域が拡大しなくなると、図１９の処理はステップＳ９４からステップＳ９８へと進み、自動車のボディー部分に対応する最終的な被写体領域が特定される。
【０１１４】
続いて、装置１１０による処理は図２０のステップＳ１００へと進み、自動車のタイヤ部分に対応する被写体領域の抽出処理へと移る。
【０１１５】
まず、ステップＳ１００において、学習枠設定部１１６が、現在の入力画像に含まれるタイヤの数を特定する。このタイヤの数の特定は、たとえば、パターン・マッチングの手法等により、既に抽出されたボディー部分に対応する被写体領域が、略半円弧状のフェンダー部分の輪郭形状をいくつ含むかを特定することにより行なわれる。
【０１１６】
次に、ステップＳ１０２において、学習枠設定部１１６が、１つのタイヤ部分の学習のための学習枠の候補を複数設定する。本実施形態では、図２２に示すように、ボディー部分に対応する被写体領域１４４の輪郭が示す略半円弧状の部分（フェンダー部分に対応する部分）の下方に、その略半円弧状の部分および被写体領域１４４全体の位置および形状に基づいて、タイヤ位置の候補点を３点特定し、それらの候補点を包含する３つの画像領域１４６、１４８および１５０を囲む枠を、それぞれ学習枠の候補として設定するものとする。
【０１１７】
続いて、ステップＳ１０４において、学習枠設定部１１６は、上記の３つの学習枠の候補の中から、最適な学習枠を選択する。最適な学習枠の選択は、たとえば、その学習枠の候補内に含まれる全画素数に対する、ＹＣＣ表色系空間において予め定められたタイヤ部分に対応する可能性が高い領域にプロットされる画素数の割合が、最も高い候補を選択する等により行なわれる。
【０１１８】
その後、上記に説明したステップＳ８４からＳ９８と同様のステップＳ１０６からステップＳ１２０の処理によって、１つのタイヤ部分に対応する最終的な被写体領域が特定される。さらに、ステップＳ１２２において、ステップＳ１００で特定された数のすべてのタイヤが抽出されたか否かが確認され、まだ抽出されていないタイヤがある場合には、図２０の処理はステップＳ１０２へと戻る。図２１に示した入力画像の例では、左前方タイヤと左後方タイヤの２つに対応する被写体領域が抽出されたところで、図２０の処理は終了する。
【０１１９】
以上の図１９および図２０に示した処理によって抽出された自動車のボディー部分およびタイヤ部分に対応する被写体領域に対しては、各々別個にトリミング処理、画像合成処理、色調整等の画像加工処理等を施すこともできるし、両被写体領域の抽出結果、あるいはさらに窓部分等の抽出結果を合わせた自動車に対応する領域全体について、それらの処理を施すこともできる。
【０１２０】
この第３の実施形態のような、抽出した被写体領域を代表する特徴ベクトルを抽出して新たな代表特徴ベクトルとし、探索枠を更新し、該更新された探索枠内から被写体領域を抽出し直す態様によれば、画像内における必要十分な範囲から、少ない計算量で被写体領域を抽出することができ、また、変形度が大きい被写体領域でも良好に抽出できる。
【０１２１】
なお、上記に説明した第３の実施形態においても、第１および第２の実施形態と同様に、各学習枠から抽出される代表特徴ベクトルの数は１つに限られず、複数の代表特徴ベクトルを抽出することとしてもよい。また、学習枠は被写体の学習に適したものに限られず、背景の学習に適したものであってもよい。あるいは、被写体の学習に適した第１の学習枠と、背景の学習に適した第２の学習枠とを各々設定することとし、その第１の学習枠と第２の学習枠との各々から１つまたは複数の代表特徴ベクトルを抽出することとしてもよい。
【０１２２】
また、上記に説明した第３の実施形態においても、第１および第２の実施形態と同様に、抽出対象の被写体ごとに、予め定められた範囲内の画素値を示す画素を学習枠または探索枠から除外して、学習枠または探索枠を調整することとしてもよい。また、抽出対象の被写体の形状的特徴に応じて一部の画素を探索枠から除外することにより、探索枠を調整してもよい。
【０１２３】
さらに、上記に説明した第３の実施形態に係る装置１１０においても、被写体領域抽出部１２２が抽出した被写体領域の輪郭を平滑化する平滑化処理部をさらに設けてもよい。
【０１２４】
以上、本発明の３つの実施形態について詳細に述べたが、これらは例示的なものに過ぎず、本発明の技術的範囲は、特許請求の範囲のみによって定められるべきものであることは言うまでもない。たとえば、学習枠と探索枠とは必ずしも重なり合いを有する枠でなくてもよく、いずれが大きくいずれが小さくてもよい。さらに、学習枠および／または探索枠の大きさは、入力画像の大きさと等しくてもよい。なお、上記に説明した本発明の第１から第３の実施形態に係る各装置が行なう処理が、本発明の方法の例示的な実施形態に該当し、コンピュータにそのような処理を行なわせるプログラムおよびそのようなプログラムを記録したコンピュータ読み取り可能な記録媒体が、本発明のプログラムおよび記録媒体の例示的な実施形態に該当する。
【図面の簡単な説明】
【０１２５】
【図１】本発明の第１の実施形態に係る被写体領域抽出装置の構成を示したブロック図
【図２】図１の装置が行なう被写体領域抽出処理の各工程を示したフローチャート
【図３】図２の処理の続きを示したフローチャート
【図４】図１の装置による、顔部分に対応する被写体領域抽出のための学習枠および探索枠の設定手法を示した工程図
【図５】図１の装置による、髪部分に対応する被写体領域抽出のための各工程を示した工程図
【図６】顔部分に対応する被写体領域抽出のための探索枠内の画像部分に、極座標変換を施した画像を示す概念図
【図７】髪部分の学習のための学習枠の候補の例を示した図
【図８】図１の装置による、身体部分に対応する被写体領域抽出のための各工程を示した工程図
【図９】被写体の学習と背景の学習の双方を行なう場合の、学習枠の設定の仕方の例を示した図
【図１０】平滑化処理の各工程の例を示した工程図
【図１１】本発明の第２の実施形態に係る被写体領域抽出装置の構成を示したブロック図
【図１２】図１１の装置が行なう被写体領域抽出処理の各工程を示したフローチャート
【図１３】図１２の処理の続きを示したフローチャート
【図１４】図１１の装置による領域分割処理の各工程を示した工程図
【図１５】図１１の装置による、顔部分に対応する被写体領域抽出のための学習枠および探索枠の設定手法を示した工程図
【図１６】図１１の装置による、髪部分に対応する被写体領域抽出のための各工程を示した工程図
【図１７】図１１の装置による、身体部分に対応する被写体領域抽出のための学習枠および探索枠の設定手法を示した工程図
【図１８】本発明の第３の実施形態に係る被写体領域抽出装置の構成を示したブロック図
【図１９】図１８の装置が行なう被写体領域抽出処理の各工程を示したフローチャート
【図２０】図１９の処理の続きを示したフローチャート
【図２１】図１８の装置による、ボディー部分に対応する被写体領域抽出処理の各工程を示した工程図
【図２２】図１８の装置による、タイヤ部分に対応する被写体領域抽出のための学習枠の設定手法を示した図
【符号の説明】
【０１２６】
３２、４２、５０、５６、５８、８４、９４、１０４、１３２、１３８    学習枠
３４、４４、５０、８８、９８、１０４、１３４、１４０    探索枠
４０、４６、５４、９０、１００、１４４    被写体領域
Ａ、Ｂ１、Ｂ２、Ｃ１、Ｃ２    学習枠の候補
【図１】
2004220555.tif 000003
【図２】
2004220555.tif 000004
【図３】
2004220555.tif 000005
【図４】
2004220555.tif 000006
【図５】
2004220555.tif 000007
【図６】
2004220555.tif 000008
【図７】
2004220555.tif 000009
【図８】
2004220555.tif 000010
【図９】
2004220555.tif 000011
【図１０】
2004220555.tif 000012
【図１１】
2004220555.tif 000013
【図１２】
2004220555.tif 000014
【図１３】
2004220555.tif 000015
【図１４】
2004220555.tif 000016
【図１５】
2004220555.tif 000017
【図１６】
2004220555.tif 000018
【図１７】
2004220555.tif 000019
【図１８】
2004220555.tif 000020
【図１９】
2004220555.tif 000021
【図２０】
2004220555.tif 000022
【図２１】
2004220555.tif 000023
【図２２】
2004220555.tif 000024