(57)【要約】【課題】画像内の服装を容易に変更することができるようにする。【解決手段】服装抽出部２２は、撮影画像から顔画像または頭画像と推定される領域である顔頭部を抽出する。そして、服装抽出部２２は、その顔頭部の直下の領域から服装画像と推定される領域である服装領域を抽出する。服装変換部２３は、撮影画像内の服装領域の画像に対して所定の画像処理を行うことにより、撮影画像内の服装を変更する。本発明は、例えば、撮影装置に適用することができる。【選択図】図１
2011237907.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から顔画像または頭画像と推定される領域である顔頭部を抽出し、その顔頭部の直下の領域から服装画像と推定される領域である服装領域を抽出する服装抽出手段と、
前記入力画像内の前記服装領域の画像に対して所定の画像処理を行うことにより、前記入力画像内の服装を変更する服装変換手段と
を備える画像処理装置。
【請求項２】
前記服装抽出手段は、前記顔頭部の直下の領域の色のGMM（Gaussian Mixture Model）と前記顔頭部の色のGMMを学習し、前記顔頭部の直下の領域内の、前記顔頭部の色のGMMの尤度が低く、かつ、前記顔頭部の直下の領域のGMMの尤度が高い領域を前記服装領域として抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記服装抽出手段は、前記顔頭部の直下の領域の中心付近領域のテクスチャ特徴量を抽出し、そのテクスチャ特徴量を用いてセグメンテーションを行うことにより前記服装領域を抽出する
請求項１に記載の画像処理装置。
【請求項４】
前記服装抽出手段は、前記顔頭部の直下の領域の色または輝度のヒストグラムにおいて度数が最も大きい色または輝度の、前記顔頭部の直下の領域内の領域を前記服装領域として抽出する
請求項１に記載の画像処理装置。
【請求項５】
前記入力画像から人物画像と推定される領域である人物領域を抽出する人物抽出手段
をさらに備え、
前記服飾抽出手段は、前記人物領域から前記顔頭部を抽出する
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
入力画像から顔画像または頭画像と推定される領域である顔頭部を抽出し、その顔頭部の直下の領域から服装画像と推定される領域である服装領域を抽出する服装抽出ステップと、
前記入力画像内の前記服装領域の画像に対して所定の画像処理を行うことにより、前記入力画像内の服装を変更する服装変換ステップと
を含む画像処理方法。
【請求項７】
コンピュータに、
入力画像から顔画像または頭画像と推定される領域である顔頭部を抽出し、その顔頭部の直下の領域から服装画像と推定される領域である服装領域を抽出する服装抽出ステップと、
前記入力画像内の前記服装領域の画像に対して所定の画像処理を行うことにより、前記入力画像内の服装を変更する服装変換ステップと
を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像内の服装を容易に変更することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮影装置が普及し、誰もが簡単に静止画像や動画像を撮影できるようになっている。
【０００３】
一方、プリクラと呼ばれる写真シール機で作成された写真シールに代表されるように、撮影画像に装飾を施して楽しむといった娯楽が流行している。
【０００４】
しかしながら、写真シールにおいて撮影画像に装飾を施す場合、写真シール専用の写真シール機が必要である、ユーザが所定の位置に顔や体の位置を合わせて撮影を行う必要がある等の様々な制約がある。
【０００５】
また、ユーザによって与えられる入力画像において、ユーザによって任意に指定されたシーズンの色に服の色を変更するパーソナルカラーシステムが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】岡  瑞起、吉野  純平、加藤  和彦、“Personal Color Coordinating System”、２００６年１１月２９日、情報処理学会、［平成２２年１月１８日検索］、インターネット＜URL：http://www.ipsj.or.jp/sig/os/index.php?plugin=attach&refer=ComSys2006%2Fposter&openfile=06-P10.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したパーソナルカラーシステムでは、入力画像内の服装画像の領域を抽出するために、ユーザが入力画像内の胴体部分の領域を指定する必要がある。
【０００８】
従って、画像内の服装画像の領域を自動的に抽出し、画像内の服装を容易に変更することが求められている。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、画像内の服装を容易に変更することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、入力画像から顔画像または頭画像と推定される領域である顔頭部を抽出し、その顔頭部の直下の領域から服装画像と推定される領域である服装領域を抽出する服装抽出手段と、前記入力画像内の前記服装領域の画像に対して所定の画像処理を行うことにより、前記入力画像内の服装を変更する服装変換手段とを備える画像処理装置である。
【００１１】
本発明の一側面の画像処理方法およびプログラムは、本発明の一側面の画像処理装置に対応する。
【００１２】
本発明の一側面においては、入力画像から顔画像または頭画像と推定される領域である顔頭部が抽出され、その顔頭部の直下の領域から服装画像と推定される領域である服装領域が抽出され、前記入力画像内の前記服装領域の画像に対して所定の画像処理が行われることにより、前記入力画像内の服装が変更される。
【発明の効果】
【００１３】
本発明の一側面によれば、画像内の服装を容易に変更することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の人物抽出部による人物抽出処理の結果を説明する図である。
【図３】図１の服装変換部で作成されるマスクを説明する図である。
【図４】図１の服装変換部による装飾画像の合成を説明する図である。
【図５】図１の画像処理部による画像処理を説明するフローチャートである。
【図６】服装抽出処理の一例を説明するフローチャートである。
【図７】服装抽出処理の他の例を説明するフローチャートである。
【図８】領域拡張法を説明する図である。
【図９】グラフカットを説明する図である。
【図１０】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１５】
＜一実施の形態＞
［撮影装置の一実施の形態の構成例］
図１は、本発明を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【００１６】
図１の撮影装置１０は、撮影部１１と画像処理部１２（画像処理装置）により構成される。
【００１７】
撮影部１１は、被写体を撮影し、その結果得られる撮影画像を画像処理部１２に供給する。
【００１８】
画像処理部１２は、人物抽出部２１、服装抽出部２２、および服装変換部２３により構成される。
【００１９】
人物抽出部２１は、撮影部１１から供給される撮影画像（入力画像）から、人物画像と推定される領域である人物領域を抽出する人物抽出処理を行う。人物領域を抽出する手法としては、例えば、出願人が先に出願した特願２００９−０５５０６２号に記載されたSteerable Filterの応答を特徴量としBoostingを用いて識別する手法や、仏INRIAのN.Dalalらによって提案されたHOG (Histograms of Oriented Gradients)特徴量とSVM(Support Vector machine)で識別する手法（”Histograms of Oriented Gradients for Human Detection”, CVPR, 2005参照）等を用いることができる。人物抽出部２１は、人物抽出処理の結果抽出された人物領域を特定する情報である人物領域情報と撮影画像を服装抽出部２２に供給する。
【００２０】
服装抽出部２２は、人物抽出部２１から供給される人物領域情報に対応する撮影画像内の人物領域から、服装画像と推定される領域である服装領域を抽出する服装抽出処理を行う。服装抽出部２２は、服装抽出処理の結果抽出された服装領域を特定する情報である服装領域情報と撮影画像を服装変換部２３に供給する。
【００２１】
なお、人物領域や服装領域を特定する情報としては、例えば、人物領域や服装領域に含まれる画素の撮影画像上の位置を表す情報が用いられる。
【００２２】
服装変換部２３は、服装抽出部３から供給される服装領域情報に基づいて、撮影画像内の服装領域に対して各種の画像処理を行うことにより、撮影画像内の服装を変更する。
【００２３】
例えば、服装変換部２３は、撮影画像内の服装領域の画像の色を変換する。また、服装変換部２３は、人物領域のうちの服装領域にだけ画像を合成するためのマスクを作成し、そのマスクに対して、拡張、縮退等のモーフィング処理やラベリングによる小領域除去処理等を用いてノイズ除去や整形を行う。そして、服装変換部２３は、その結果得られるマスクを用いて、撮影画像内の服装領域の画像に、予め記憶している装飾用の画像（以下、装飾画像という）を合成する。服装変換部２３は、画像処理後の撮影画像を表示装置などの外部に出力する。
【００２４】
なお、予め記憶されている装飾画像は、１枚であってもよいし、複数枚であってもよい。予め記憶されている装飾画像の枚数が複数である場合、合成に用いられる装飾画像は、ユーザなどにより選択される。また、装飾画像としては、例えば、無地や柄のテクスチャ、マークや文字の画像などを用いることができる。
【００２５】
［人物抽出処理の説明］
図２は、図１の人物抽出部２１による人物抽出処理の結果を説明する図である。
【００２６】
図２に示すように、親子３人の略全身の画像を含む撮影画像３０が撮影部１１から入力されると、人物抽出処理では、母親の全身の画像を含む矩形の領域３１、父親の全身の画像を含む矩形の領域３２、および子供の全身の画像を含む矩形の領域３３が人物領域として抽出される。
【００２７】
［マスクの説明］
図３は、図１の服装変換部２３で作成されるマスクを説明する図である。
【００２８】
図３に示すように、領域３２内の上着の画像の領域３２Ａを服装領域として特定する服装領域情報が、服装抽出部２２から供給される場合、服装変換部２３は、領域３２のうちの服装領域３２Ａにだけ画像を合成するためのマスク４１を作成する。
【００２９】
［装飾服装領域の合成の説明］
図４は、図１の服装変換部２３による装飾画像の合成を説明する図である。
【００３０】
服装変換部２３は、図３に示したマスク４１を用いて、図４Ａに示す撮影画像３０の服装領域３２Ａの画像に、装飾画像５１Ａを合成する。その結果、図４Ｂに示すように、撮影画像３０の服装領域３２Ａの画像が装飾画像５１Ａに変更された撮影画像５１が生成される。図４の例では、装飾画像５１Ａは、ストライプ柄のテクスチャであり、父親の上着の柄が、無地からストライプ柄に変更されている。
【００３１】
なお、図３および図４では、父親の服装の装飾について説明したが、母親や子供の服装も同様に装飾することができる。
【００３２】
［撮影装置の処理の説明］
図５は、図１の画像処理部１２による画像処理を説明するフローチャートである。この画像処理は、例えば、撮影部１１により撮影された撮影画像が画像処理部１２に入力されたとき開始される。
【００３３】
ステップＳ１１において、人物抽出部２１は、人物抽出処理を行う。ステップＳ１２において、人物抽出部２１は、人物抽出処理の結果人物領域が抽出されたかどうかを判定する。
【００３４】
ステップＳ１２で人物領域が抽出されたと判定された場合、ステップＳ１３において、服装抽出部２２は、人物抽出部２１から供給される人物領域情報に対応する人物領域から服装領域を抽出する服装抽出処理を行う。この服装抽出処理の詳細は、後述する図６や図７を参照して説明する。
【００３５】
ステップＳ１４において、服装変換部２３は、服装抽出部２２から供給される服装領域情報に基づいて、撮影画像内の服装領域に対して各種の画像処理を行うことにより、撮影画像内の服装を変更する。服装変換部２３は、画像処理後の撮影画像を表示装置などの外部に出力する。そして処理は終了する。
【００３６】
一方、ステップＳ１２で人物領域が抽出されないと判定された場合、ステップＳ１３およびＳ１４の処理はスキップされ、撮影画像がそのまま外部に出力される。そして、処理は終了する。
【００３７】
図６は、図５のステップＳ１２の服装抽出処理の一例を説明するフローチャートである。
【００３８】
ステップＳ２１において、服装抽出部２２は、人物抽出部２１から供給される人物領域情報に対応する撮影画像内の人物領域から、顔画像と推定される領域である顔部を抽出する顔部抽出処理を行う。
【００３９】
ステップＳ２２において、服装抽出部２２は、ステップＳ２１の処理により顔部が抽出されたかどうかを判定する。ステップＳ２２で顔部が抽出されたと判定された場合、ステップＳ２３において、服装抽出部２２は、撮影画像から顔部の直下の領域をクロップする（切り取る）。
【００４０】
ステップＳ２４において、服装抽出部２２は、クロップされた領域内の撮影画像の色のヒストグラムを生成する。ステップＳ２５において、服装抽出部２２は、ステップＳ２４で生成されたヒストグラムにおいて度数の最も大きい色の、クロップされた領域内の領域を服装領域とする。ステップＳ２６において、服装抽出部２２は、服装領域とされた領域に含まれる画素の撮影画像上の位置を表す情報を服装領域情報として生成する。そして、処理は図５のステップＳ１３に戻り、ステップＳ１４に進む。
【００４１】
一方、ステップＳ２２で顔部が抽出されていないと判定された場合、処理は終了する。
【００４２】
なお、上述した図６の服装抽出処理では、色のヒストグラムに基づいて服装領域が決定されたが、輝度のヒストグラムに基づいて服装領域が決定されるようにしてもよい。
【００４３】
図７は、図５のステップＳ１３の服装抽出処理の他の例を説明するフローチャートである。
【００４４】
図７のステップＳ３１乃至Ｓ３３の処理は、図６のステップＳ２１乃至Ｓ２３の処理と同様であるので、説明は省略する。
【００４５】
ステップＳ３３の処理後、ステップＳ３４において、服装抽出部２２は、クロップされた領域内の撮影画像の色のGMM（Gaussian Mixture Model）をGMM(a)として学習する。ステップＳ３５において、服装抽出部２２は、顔部内の撮影画像の色のGMMをGMM（b）として学習する。
【００４６】
ステップＳ３６において、服装抽出部２２は、クロップされた領域内の、GMM(b)の尤度が低く、かつ、GMM(a)の尤度が高い領域を服装領域とする。ステップＳ３７において、服装抽出部２２は、服装領域とされた領域に含まれる画素の撮影画像上の位置を表す情報を服装領域情報として生成する。そして、処理は図５のステップＳ１３に戻り、ステップＳ１４に進む。
【００４７】
なお、上述した図６や図７の服装抽出処理では、服装抽出部２２は、顔部抽出処理を行い、顔部の直下の領域をクロップしたが、頭画像と推定される領域である頭部を抽出する頭部抽出処理を行い、頭部の直下の領域をクロップするようにしてもよい。
【００４８】
また、服装抽出部２２は、例えば、” Learning to parse images of articulated bodies”, NIPS, 2006に記載されている、Toyota Technological Institute at ChicagoのD.Ramananによる手法等を用いて人物の姿勢を推定し、その人物の上半身部分等をクロップするようにしてもよい。
【００４９】
さらに、服装抽出部２２は、人物領域の所定の領域（例えば、上部領域）をクロップするようにしてもよい。また、人物抽出処理において人物の上半身の領域が人物領域として抽出される場合には、服装抽出部２２は、人物領域そのものをクロップするようにしてもよい。
【００５０】
また、服装抽出処理としては、図６や図７で説明したものに限定されない。例えば、服装抽出部２２は、図６や図７の服装抽出処理と同様にしてクロップされた領域の中心付近小領域のテクスチャ特徴量（例えば、Wavelet係数、色のヒストグラム、輝度のヒストグラムなど）を抽出し、そのテクスチャ特徴量を用いてセグメンテーション（Segmentation）を行うことにより、服装領域を決定するようにしてもよい。
【００５１】
[セグメンテーションの方法の例]
図８および図９は、服装領域の決定に用いられるセグメンテーションの方法の例を説明する図である。
【００５２】
図８は、領域拡張法（region growing）を説明する図である。
【００５３】
服装領域の決定に領域拡張法が用いられる場合、服装抽出部２２は、まず、図８Ａに示すようにクロップされた領域７０の中心付近小領域としての画素７１にラベルを付与し、その画素７１を種子点（Seed point）とする。また、服装抽出部２２は、画素７１のテクスチャ特徴量を抽出する。なお、図８において、領域７０内の各正方形が画素を表し、ラベルが付された画素には、斜線が付されている。
【００５４】
次に、図８Ｂに示すように、服装抽出部２２は、画素７１に近傍の画素で、画素７１のテクスチャ特徴量と同一のテクスチャ特徴量を有する画素に画素７１と同一のラベルを付与する。そして、ラベルが付与された画素の近傍の画素で、画素７１のテクスチャ特徴量と同一のテクスチャ特徴量を有する画素が存在しなくなるまで、ラベルの付与が繰り返される。図８の例では、図８Ａに示すように画素７１にラベルが付与されてから、図８Ｂ乃至図８Ｄに示すように３回ラベルの付与が繰り返されている。
【００５５】
そして、服装抽出部２２は、クロップされた領域７０内のラベルが付与された画素（図８の例では、図８Ｄにおいて斜線が付された画素）からなる領域を服装領域とする。
【００５６】
図９は、グラフカット（Graph Cut）を説明する図である。
【００５７】
服装領域の決定にグラフカットが用いられる場合、服装抽出部２２は、まず、クリップされた領域の画像（図９の例では、３×４画素からなる画像）を用いて、所定のエネルギー関数に基づいてグラフを生成する。そして、服装抽出部２２は、そのグラフのエッジのコストを算出する。なお、n-linkのエッジのコストは、近傍画素が類似しているほど大きな値となり、Ｓノードに接続するt-linkのエッジのコストは、服装領域らしいほど大きな値となる。また、Ｔノードに接続するt-linkのエッジのコストは、服装領域以外の背景領域らしいほど大きな値となる。
【００５８】
次に、服装抽出部２２は、min-cut/max-flowアルゴリズムにより、ＳノードからＴノードへのコストの総和が最小となるようにグラフをカットし、セグメンテーションを行う。これにより、カット後のグラフにおいてＳノードに接続するノードに対応する画素からなる領域が服装領域とされる。
【００５９】
以上のように、撮影装置１０は、撮影画像から顔部または頭部を抽出し、その顔部または頭部の直下の領域から服装領域を抽出するので、服装領域を自動的かつ容易に抽出することができる。その結果、撮影装置１０は、撮影画像内の服装領域に対して所定の画像処理を行うことにより、撮影画像内の服装を容易に変更することができる。
【００６０】
なお、撮影部と画像処理部は、異なる装置として構成されてもよいし、同一の装置として構成されてもよい。撮影部と画像処理部が同一の装置として構成される場合、専用の装置を使用せずに、撮影画像を撮影する装置（例えば、個人向けカメラなど）において撮影画像内の服装を容易に変更することができる。
【００６１】
[本発明を適用したコンピュータの説明]
次に、上述した画像処理部１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００６２】
そこで、図１０は、上述した画像処理部１２の一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００６３】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【００６４】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００６５】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【００６６】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【００６７】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【００６８】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【００６９】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【００７０】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００７１】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００７２】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００７３】
１２  画像処理部，  ２１  人物抽出部，  ２２  服装抽出部，  ２３  服装変換部
【図１】
2011237907.tif 000003
【図２】
2011237907.tif 000004
【図３】
2011237907.tif 000005
【図４】
2011237907.tif 000006
【図５】
2011237907.tif 000007
【図６】
2011237907.tif 000008
【図７】
2011237907.tif 000009
【図８】
2011237907.tif 000010
【図９】
2011237907.tif 000011
【図１０】
2011237907.tif 000012