(57)【要約】【課題】テンプレート画像を多量に準備することなく、顔画像の数に応じた合成領域を必要に応じて用意できるようにする。【解決手段】テンプレート画像作成部１３は、レイヤ入力部２から入力された顔合成用レイヤの一部又は全部を重ね合わせて、抽出された顔画像の総数に合致する合成領域を有するテンプレート画像を作成する。例えば、５つの顔画像が抽出された場合、テンプレート画像作成部１３は、レイヤ入力部２から入力された顔合成用レイヤの中から、例えば、３つの合成領域Ｐ１〜Ｐ３を有する顔合成用レイヤＬ１、１つの合成領域Ｐ２を有する顔合成用レイヤＬ２、１つの合成領域Ｐ３を有する顔合成用レイヤＬ３を選択する。そして、テンプレート画像作成部１３は選択した顔合成用レイヤＬ１〜Ｌ３を重ね合わせて５つの合成領域Ｐ１〜Ｐ５を有するテンプレート画像を作成する。【選択図】  図４
2006113742.tif 000002
【特許請求の範囲】
【請求項１】
複数の人物の顔部分を記録した撮影画像を入力する撮影画像入力部と、
前記人物の顔部分を検出する検出部と、
前記人物の顔部分の画像である顔画像を前記撮影画像から抽出する抽出部と、
前記顔画像を合成する合成領域を有する合成用画像を配置した顔合成用レイヤを入力する顔合成用レイヤ入力部と、
前記顔合成用レイヤの一部又は全部を重ね合わせて前記顔画像の総数に合致する合成領域を有するテンプレート画像を作成する作成部と、
を備える画像処理装置。
【請求項２】
前記作成部は背景画像の配置された背景レイヤを前記顔合成用レイヤよりも下位の層に重ね合わせてテンプレート画像を作成する請求項１に記載の画像処理装置。
【請求項３】
前記作成部は前記背景レイヤにおいて前記顔合成用レイヤを配置する位置を指定する情報に従って前記顔合成用レイヤを前記背景レイヤの指定位置に配置して重ね合わせる請求項２に記載の画像処理装置。
【請求項４】
前記作成部は前記顔合成用レイヤのサイズを指定する情報に従って前記顔合成用レイヤを拡縮する請求項２又は３に記載の画像処理装置。
【請求項５】
前記顔画像を前記テンプレート画像の合成領域に配置し、前記合成領域に配置された顔画像と前記テンプレート画像とを合成する合成部をさらに備える請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
複数の人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、
前記人物の顔部分を検出する検出ステップと、
前記人物の顔部分の画像である顔画像を前記撮影画像から抽出する抽出ステップと、
前記顔画像を合成する合成領域を有する合成用画像を配置した顔合成用レイヤを入力する顔合成用レイヤ入力ステップと、
前記顔合成用レイヤの一部又は全部を重ね合わせて前記顔画像の総数に合致する合成領域を有するテンプレート画像を作成する作成ステップと、
を含む画像処理方法。
【請求項７】
複数の人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、
前記人物の顔部分を検出する検出ステップと、
前記人物の顔部分の画像である顔画像を前記撮影画像から抽出する抽出ステップと、
前記顔画像を合成する合成領域を有する合成用画像を配置した顔合成用レイヤを入力する顔合成用レイヤ入力ステップと、
前記顔合成用レイヤの一部又は全部を重ね合わせて前記顔画像の総数に合致する合成領域を有するテンプレート画像を作成する作成ステップと、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに係り、特に人物の顔部分を合成するテンプレート画像を作成する装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、人物画像の顔部分の画像である顔画像と背景画像や服装画像を容易に合成するための技術が様々開発されている。例えば特許文献１の画像処理装置は、入力画像を記憶する画像記憶部と、身体部分領域のテンプレートを記憶するテンプレート記憶部と、テンプレート記憶部のテンプレートを用いて入力画像から、顔領域の位置及びサイズを検出する顔検出部と、基準点を有する装飾の情報を記憶する装飾情報記憶部と、検出した顔領域のサイズに合わせて、装飾を拡縮し、検出した顔領域の位置に合うように、拡縮した装飾の基準点の位置を定め、拡縮した装飾を人物画像に合成する画像合成部とを備える。
【特許文献１】特開２００４−１７８１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで最近、人物キャラクタの顔部分がくり抜かれたように空白にしておき、その空白部分に別途複数の人物を撮影した画像から抽出された顔画像を「かきわり」状の合成領域にはめ込んで合成するテンプレート画像が開発されている。この顔画像の抽出元となる人物の撮影画像の中に記録される人数と合成領域の数が異なり、顔画像あるいは合成領域の過不足が生じることが往々にしてある。
【０００４】
これを防ぐため、予め１０人用、１１人用、１２人用、といったように合成領域の数が異なる複数のテンプレート画像を予め準備しておき、抽出された顔画像の数と合致する数の合成領域を有するテンプレートを選択して合成することが考えられる。しかし、この場合、人数ごとにテンプレート画像を準備する必要があり、負担が大きい。加えて、デザインが異なるテンプレートをユーザに選択させる場合は、人数が同じでもデザインが異なるテンプレートを準備する必要があり膨大な数となる。
【０００５】
あるいは、顔画像の数が合成領域よりも少ない場合、余分な合成領域には予め用意しておいた顔イラストを配置することも考えられる。しかし、顔イラストを配置した場合、実写の顔画像とイラストが混在することになり、観る者に違和感を生じさせる。
【０００６】
あるいは、顔画像の数が合成領域よりも少ない場合、特定の顔画像を重複して合成領域に配置し、余った合成領域を埋めることが考えられる。しかし、ある特定の人物の顔画像を重複して配置すると、重複して顔画像が配置されていない人物のとの間に不公平が生じる。
【０００７】
本発明はこのような問題点に鑑みてなされたもので、テンプレート画像を多量に準備することなく、顔画像の数に応じた合成領域を必要に応じて用意できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本願発明に係る画像処理装置は、複数の人物の顔部分を記録した撮影画像を入力する撮影画像入力部と、人物の顔部分を検出する検出部と、人物の顔部分の画像である顔画像を撮影画像から抽出する抽出部と、顔画像を合成する合成領域を有する合成用画像を配置した顔合成用レイヤを入力する顔合成用レイヤ入力部と、顔合成用レイヤの一部又は全部を重ね合わせて顔画像の総数に合致する合成領域を有するテンプレート画像を作成する作成部と、を備える。
【０００９】
この画像処理装置は、撮影画像から抽出された顔画像の数に合致する合成領域を有するテンプレート画像を、顔合成用レイヤを重ね合わせることで作成する。即ち、顔画像の数に応じて「かきわり」状の合成領域を有するテンプレート画像を臨機応変に作成でき、多量のテンプレート画像を準備する必要もなく、合成画像に不要な空白が発生するのを防ぐことができる。
【００１０】
作成部は背景画像の配置された背景レイヤを顔合成用レイヤよりも下位の層に重ね合わせてテンプレート画像を作成してもよい。こうすることでテンプレート画像に所望の背景画像を簡単に加えることができる。
【００１１】
作成部は背景レイヤにおいて顔合成用レイヤを配置する位置を指定する情報に従って顔合成用レイヤを背景レイヤの指定位置に配置して重ね合わせてもよい。こうすれば、所望の位置に所望の合成領域を配置できる。
【００１２】
作成部は顔合成用レイヤのサイズを指定する情報に従って顔合成用レイヤを拡縮してもよい。こうすれば、背景画像に合わせて合成領域を適当なサイズに変更できる。
【００１３】
画像処理装置は、顔画像をテンプレート画像の合成領域に配置し、合成領域に配置された顔画像とテンプレート画像とを合成する合成部をさらに備えていてもよい。
【００１４】
また、上述の課題を解決するため、本願発明に係る画像処理方法は、複数の人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、人物の顔部分を検出する検出ステップと、人物の顔部分の画像である顔画像を撮影画像から抽出する抽出ステップと、顔画像を合成する合成領域を有する合成用画像を配置した顔合成用レイヤを入力する顔合成用レイヤ入力ステップと、顔合成用レイヤの一部又は全部を重ね合わせて顔画像の総数に合致する合成領域を有するテンプレート画像を作成する作成ステップと、を含む。
【００１５】
この画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。
【００１６】
また、上述の課題を解決するため、本願発明に係る画像処理プログラムは、複数の人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、人物の顔部分を検出する検出ステップと、人物の顔部分の画像である顔画像を撮影画像から抽出する抽出ステップと、顔画像を合成する合成領域を有する合成用画像を配置した顔合成用レイヤを入力する顔合成用レイヤ入力ステップと、顔合成用レイヤの一部又は全部を重ね合わせて顔画像の総数に合致する合成領域を有するテンプレート画像を作成する作成ステップと、をコンピュータに実行させる。
【００１７】
この画像処理プログラムは、上述の画像処理装置と同様の作用効果を奏する。この画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯその他のコンピュータ読み取り可能な記録媒体に記録して提供してもよい。
【発明の効果】
【００１８】
この画像処理装置は、撮影画像から抽出された顔画像の数に合致する合成領域を有するテンプレート画像を、顔合成用レイヤを重ね合わせることで作成する。即ち、顔画像の数に応じて「かきわり」状の合成領域を有するテンプレート画像を臨機応変に作成でき、多量のテンプレート画像を準備する必要もなく、合成画像に不要な空白が発生するのを防ぐことができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。
【００２０】
［概略構成］
図１は、本発明の好ましい実施形態に係る画像処理装置１００の概略機能構成図である。画像処理装置１００は、撮影画像入力部１、操作部９、表示部１０、処理部２０及び記憶部３０を有している。撮影画像入力部１は、コンパクトフラッシュなどの各種記録メディア５０ａ、デジタルスチルカメラ５０ｂ、フィルムスキャナなどから撮影画像を入力する。処理部２０は、ＣＰＵやワンチップマイコンなどによって構成される。顔検出部１１、顔抽出部１２、テンプレート画像作成部１３、合成部１４、レイアウト情報指定部１５は、記憶部３０に記憶されたプログラムであり、処理部２０にロードされて実行される。操作部９は、ユーザの操作入力を受け付けるポインティングデバイス、キーボード、タッパネルなどで構成されている。
【００２１】
顔検出部１１は、公知の顔認識技術により撮影画像から人物の顔部分を検出する。撮影画像に複数の人物が記録されている場合は、複数の顔部分を個別に検出する。顔抽出部１２は、検出された人物の顔部分の画像である顔画像を撮影画像から抽出する。
【００２２】
レイヤ入力部２は、顔画像を合成する空白の合成領域を有する「かきわり」状の合成用画像を配置した顔合成用レイヤを入力する。テンプレート画像作成部１３は、レイヤ入力部２から入力された顔合成用レイヤの一部又は全部を重ね合わせて抽出された顔画像の総数に合致する合成領域を有するテンプレート画像を作成する。作成されたテンプレート画像は合成部１４に出力される。テンプレート画像作成の詳細は後述する。合成部１４は、顔抽出部１２の抽出した顔画像をテンプレート画像の合成領域に配置して合成した合成画像を作成する。
【００２３】
表示部１０は、液晶ディスプレイなどで構成され、合成画像や顔画像などを表示する。なお、画像処理装置１００は、合成画像を印刷するプリンタ２００、合成画像をＣＤ−Ｒなどの各種記憶媒体に記憶するメディアライタ３００と接続されていてもよい。
【００２４】
［処理の流れ］
次に、図２のフローチャートに基づき、画像処理装置１００の実行する合成処理の流れを説明する。
【００２５】
Ｓ１では、撮影画像入力部１は撮影画像を入力する。図３は撮影画像入力部１に入力される撮影画像の一例である。撮影画像には、複数の人物Ｆｎ（ここではｎ＝１〜５）が記録されている。入力する撮影画像の内容は特に限定されず、人物の顔が鮮明に記録されていればよい。
【００２６】
Ｓ２では、顔検出部１１は撮影画像から人物の顔部分を検出する。例えば、図３に示す撮影画像においては、人物Ｆｎの顔部分ｆｎが検出される。
【００２７】
Ｓ３では、顔抽出部１２は、検出された人物の顔部分の画像である顔画像を各撮影画像から抽出する。以下、各顔部分に対応する顔画像も顔部分と同様の記号ｆｎで表す。
【００２８】
Ｓ４では、テンプレート画像作成部１３は、レイヤ入力部２から入力された顔合成用レイヤの一部又は全部を重ね合わせて、抽出された顔画像の総数に合致する合成領域を有するテンプレート画像を作成する。
【００２９】
例えば、図３の撮影画像から、５つの顔画像が抽出された場合は、５つの合成領域を有するテンプレート画像が必要である。この場合、テンプレート画像作成部１３は、レイヤ入力部２から入力された顔合成用レイヤの中から、例えば、図４（ａ）に示す３つの合成領域Ｐ１〜Ｐ３を有する顔合成用レイヤＬ１、図４（ｂ）に示す１つの合成領域Ｐ２を有する顔合成用レイヤＬ２、図４（ｃ）に示す１つの合成領域Ｐ３を有する顔合成用レイヤＬ３を選択する。そして、図５に示すように、テンプレート画像作成部１３は選択した顔合成用レイヤＬ１〜Ｌ３を重ね合わせて５つの合成領域Ｐ１〜Ｐ５を有するテンプレート画像を作成する。あるいは、図示しないが、撮影画像から抽出された顔画像が２つであれば、顔合成用レイヤＬ２とＬ３を重ね合わせて２つの合成領域Ｐ４及びＰ５を有するテンプレート画像を作成する。
【００３０】
テンプレート画像作成部１３は、顔画像の数に応じて、レイヤ入力部２から入力された顔合成用レイヤの一部又は全部を選択して重ね合わせるが、１つの顔合成レイヤをそのままテンプレート画像とすることもある。例えば、顔画像が３つであれば、３つの合成領域Ｐ１〜Ｐ３を有する顔合成用レイヤＬ１をそのままテンプレート画像とする。
【００３１】
テンプレート画像の中に所望の背景画像を加えたい場合は、背景画像を有する背景レイヤＬｂをレイヤ入力部２から入力し、テンプレート画像作成部１３が選択した顔合成用レイヤと背景レイヤＬｂを重ね合わせてもよい。この際、顔合成用レイヤの合成領域が背景画像によって不可視にならないよう、背景レイヤＬｂは最下層に重ねるのが好ましい（図５参照）。レイヤ入力部２から入力された背景レイヤの中から重ね合わせる所望の背景レイヤＬｂを操作部９から指定し、指定された背景レイヤＬｂを顔合成用レイヤと重ね合わせてもよい。こうすれば、合成領域は変えずに背景画像だけを簡単に差し替えることができる。
【００３２】
さらに、合成領域が背景上の適切な位置に配置されるようにするため、顔合成用レイヤの配置を指定できるようにしてもよい。即ち、背景レイヤＬｂにおける顔合成用レイヤの合成領域の配置を指定する配置情報を記憶部３０に記憶しておき、配置情報に従って指定される各合成領域の配置位置に顔合成用レイヤの合成領域が配置されるように背景レイヤと顔合成用レイヤを重ね合わせてもよい。
【００３３】
図６はレイアウト情報の概念説明図である。この図では、背景レイヤＬｂにおける各顔合成用レイヤＬ１〜Ｌ３を配置する位置を示した配置情報Ａ（Ｌ１）〜Ａ（Ｌ３）が矩形で示しており、配置情報に従って各矩形の内部に顔合成用レイヤがはめ込まれるように配置される。配置情報は、レイアウト情報指定部１５が操作部９から受け付けた所望の配置位置に応じて作成・変更できる。レイアウト情報指定部１５が各顔合成用レイヤの所望の配置位置の指定を受け付けると、これを配置情報として記憶部３０に記憶する。図７は、背景レイヤＬｂ、顔合成用レイヤＬ１〜Ｌ３、配置情報Ａ（Ｌ１）〜Ａ（Ｌ３）に従って作成されたテンプレート画像の一例である。
【００３４】
なお、上述したように、顔合成用レイヤの全てが重ね合わされないこともあるので、テンプレート画像作成部１３は重ね合わせない顔合成用レイヤの配置情報を無視する。例えば顔合成用レイヤＬ１をそのままテンプレート画像とする場合、テンプレート画像作成部１３は顔合成用レイヤＬ１の配置情報Ａ（Ｌ１）のみを参照し、重ね合わせない顔合成用レイヤＬ２、Ｌ３の配置情報Ａ（Ｌ２）及びＡ（Ｌ３）は無視する。
【００３５】
Ｓ５では、合成部１４はテンプレート画像の合成領域Ｐｎに顔画像ｆｎを配置した上、顔画像ｆｎとテンプレート画像とを合成する。合成部１４は、顔画像ｆｎが合成領域Ｐｎに適切に合成されるよう顔画像ｆｎを適宜拡縮、アスペクト比変更、センタリング、色変更などの画像処理をした上で合成してもよい。図８は合成画像の一例である。
【００３６】
なお、ステップＳ１〜５を処理部２０に実行させることで、処理部２０を顔検出部１１、顔抽出部１２、テンプレート画像作成部１３、合成部１４及びレイアウト情報指定部１５として機能させる画像処理プログラムは、記憶部３０に記憶されている。画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯその他のコンピュータ読み取り可能な記録媒体に記録して処理部２０に提供してもよい。
【００３７】
以上説明した通り、画像処理装置１００は、撮影画像から抽出された顔画像の数に合致する合成領域を有するテンプレート画像を、顔合成用レイヤを重ね合わせることで作成し、作成されたテンプレート画像の合成領域に顔画像を配置して合成し、合成画像を得る。即ち、撮影画像から抽出した顔画像の数に応じて「かきわり」状の合成領域を有するテンプレート画像を臨機応変に作成でき、多量のテンプレート画像を準備する必要もなく、合成画像に不要な空白が発生するのを防ぐことができる。
【００３８】
顔合成用レイヤの合成領域の形状や数、合成用画像の図柄は上記に限定されない。例えば、図９に示すように、複数の顔合成用レイヤＬｎ（ｎ＝１，２・・）の合成領域Ｐｎの形状・図柄を統一してもよい。合成領域Ｐｎを統一すると、多数の顔画像を合成する際に便利である。即ち、合成領域Ｐｎの図柄を統一すると、異なる合成領域同士のデザインの一体感（例えば図４の顔合成用レイヤＬ１とその他の顔合成用レイヤＬ２、Ｌ３）を考慮する必要がなく、背景画像との一体感だけを考慮すればよいため、配置情報の指定が簡略になる。
【００３９】
例えば、図１０に示すように、合成領域Ｐｎの果実の図柄が背景レイヤＬｂの木の図柄に合うように各顔合成用レイヤＬｎの配置位置を指定すれば足り、背景レイヤＬｂ上での多量の合成領域Ｐｎの配置を簡便に行える。そして、図１１に示すように、１５人の人物Ｆ１〜Ｆ１５が記録された撮影画像が撮影画像入力部１に入力されたとすると、各合成領域Ｐｎに顔画像ｆ１〜ｆ１５を配置して合成することで、多数の顔画像が合成領域に配置された面白い合成画像が得られる（図１２参照）。
【００４０】
テンプレート画像作成部１３は、顔合成用レイヤＬｎが背景レイヤＬｂの背景の形状やサイズなどの寸法に適合するよう顔合成用レイヤＬｎを適宜拡縮、アスペクト比変更、センタリングなどの画像処理をした上で重ね合わせてもよい。具体的には、レイアウト情報作成部１５は、サイズ変更、形状変更などの画像処理情報の指定を顔合成用レイヤＬｎごとに操作部９から受け付ける。テンプレート画像作成部１３は、画像処理情報に基づいて顔合成用レイヤＬｎを画像処理した後、配置情報Ａ（Ｌｎ）に従って顔合成用レイヤＬｎとレイヤＬｂを重ね合わせる。
【００４１】
例えば、図１３に示すように、顔合成用レイヤＬ１、Ｌ２はそれぞれ異なるデザインで作成されており、その他の顔合成用レイヤＬｎ（ｎ＝３，４．．）は図９と同様とする。一方、画像処理情報は図１４のように顔合成用レイヤＬｎをはめ込む領域Ａ（Ｌｎ）の形状及びサイズである。この画像処理情報は顔合成用レイヤＬｎの配置も指定しており、配置情報を兼ねている。テンプレート画像作成部１３は、背景レイヤＬｂの指定領域Ａ（Ｌｎ）に適合する形状及びサイズとなるよう顔合成用レイヤＬｎを拡縮・アスペクト変更・トリミングなど各種画像処理をした上、背景レイヤＬｂの指定領域Ａ（Ｌｎ）に顔合成用レイヤＬｎを配置して重ね合わせる。図１５は、こうして得られたテンプレート画像の外観を示している。こうすれば、様々なデザインの顔合成用レイヤのサイズや形状を背景画像に合うよう適切に変更して重ね合わせることができる。
【図面の簡単な説明】
【００４２】
【図１】画像処理装置の概略機能構成図
【図２】合成処理の流れを示すフローチャート
【図３】撮影画像の外観を示す図
【図４】顔合成用レイヤの外観を示す図
【図５】顔合成用レイヤ及び背景レイヤの重ね合わせを模式的に示す図
【図６】配置情報の概念説明図
【図７】テンプレート画像の一例を示す図
【図８】合成画像の一例を示す図
【図９】顔合成用レイヤの他の例を示す図
【図１０】配置情報の他の例を示す図
【図１１】撮影画像の他の例を示す図
【図１２】合成画像の他の例を示す図
【図１３】顔合成用レイヤの他の例を示す図
【図１４】画像処理情報の一例を示す図
【図１５】テンプレート画像の他の例を示す図
【符号の説明】
【００４３】
１：撮影画像入力部、２：レイヤ入力部、１１：顔検出部、１２：顔抽出部、１３：テンプレート画像作成部、１４：合成部、１５：レイアウト情報指定部
【図１】
2006113742.tif 000003
【図２】
2006113742.tif 000004
【図３】
2006113742.tif 000005
【図４】
2006113742.tif 000006
【図５】
2006113742.tif 000007
【図６】
2006113742.tif 000008
【図７】
2006113742.tif 000009
【図８】
2006113742.tif 000010
【図９】
2006113742.tif 000011
【図１０】
2006113742.tif 000012
【図１１】
2006113742.tif 000013
【図１２】
2006113742.tif 000014
【図１３】
2006113742.tif 000015
【図１４】
2006113742.tif 000016
【図１５】
2006113742.tif 000017