(57)【要約】【課題】より多くの顔画像を「かきわり」状のテンプレート画像に合成できる画像処理装置及び方法を提供する。【解決手段】Ｓ１では、撮影画像入力部１は人物の記録された複数の撮影画像を入力し、各撮影画像に固有の識別番号を対応づけて画像ＤＢ２０に記憶する。Ｓ２では、撮影画像選択部２はテンプレート画像と合成する所望の複数の撮影画像を画像ＤＢ２０に記憶された撮影画像の中から選択させる。Ｓ３では、顔検出部３は撮影画像選択部２から出力された各撮影画像から人物Ｆｎの顔部分を検出する。Ｓ４では、トリミング部４は、検出された人物Ｆｎの顔部分の画像である顔画像を各撮影画像から抽出する。Ｓ６では、合成部６は抽出された顔画像ｆｎをテンプレート選択部５から出力されたテンプレート画像の合成領域Ｐｎに配置した上、顔画像ｆｎとテンプレート画像とを合成する。【選択図】  図３
2006086732.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔部分を記録した撮影画像を複数入力する撮影画像入力部と、
前記撮影画像から人物の顔部分を検出する検出部と、
前記検出された人物の顔部分の画像である顔画像を前記撮影画像から抽出する抽出部と、
前記顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力部と、
前記抽出された顔画像を前記テンプレート画像の合成領域に配置し、前記合成領域に配置された顔画像と前記テンプレート画像とを合成する合成部と、
を備える画像処理装置。
【請求項２】
前記複数の撮影画像の中から所望の複数の撮影画像の選択を受け付ける撮影画像選択部をさらに備え、
前記検出部は前記選択された撮影画像から人物の顔部分を検出する請求項１に記載の画像処理装置。
【請求項３】
人物の顔部分を記録した撮影画像を複数入力する撮影画像入力ステップと、
前記撮影画像から人物の顔部分を検出する検出ステップと、
前記検出された人物の顔部分の画像である顔画像を前記撮影画像から抽出する抽出ステップと、
前記顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、
前記抽出された顔画像を前記テンプレート画像の合成領域に配置し、前記合成領域に配置された顔画像と前記テンプレート画像とを合成する合成ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係り、特に人物を記録した画像の顔部分を抽出してテンプレート画像の所定位置に合成する装置及び方法に関する。
【背景技術】
【０００２】
従来、人物画像の顔部分の画像である顔画像と背景画像や服装画像を容易に合成するための技術が様々開発されている。例えば特許文献１によると、背景画像や服装画像などに合成の基準となる２点を指定する一方、顔画像の頭髪領域と顔輪郭の内部を合成に用いる領域とし、顔画像の合成の基準となる２点を指定する。顔画像の合成の基準となる２点は、あごの先端を通る水平線上で、その２点を結ぶ線分の中点があごの先端に、長さが顔の横幅になるように指定する。そして、顔画像に指定された２点と背景画像などに指定された２点が重なるように、顔画像の合成に用いる領域をマッピングして肖像画像を生成する。
【特許文献１】特開平１０−２２２６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで最近、人物キャラクタの顔部分をくり抜かれたように空白にしておき、その空白部分に別途複数の人物を撮影した画像から抽出した顔画像をはめ込んで合成するいわゆる「かきわり」状のテンプレート画像が開発されている。この顔画像の抽出元となる人物の撮影画像に記録された人物よりもテンプレートの空白部分が多い場合、空白部分が埋まらず合成画像の見栄え上問題がある。本発明はこのような問題点に鑑みてなされたもので、より多くの顔画像を「かきわり」状のテンプレート画像に合成できる画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上述の課題を解決するため、本願発明に係る画像処理装置は、人物の顔部分を記録した撮影画像を複数入力する撮影画像入力部と、撮影画像から人物の顔部分を検出する検出部と、検出された人物の顔部分の画像である顔画像を撮影画像から抽出する抽出部と、顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力部と、選択された顔画像をテンプレート画像の合成領域に配置し、合成領域に配置された顔画像とテンプレート画像とを合成する合成部と、を備える。
【０００５】
この発明によると、複数の撮影画像から抽出された顔画像をテンプレートの合成領域に配置して合成することができ、より多くの顔画像が合成された合成画像を得ることができる。
【０００６】
画像処理装置は、複数の撮影画像の中から所望の複数の撮影画像の選択を受け付ける撮影画像選択部をさらに備えてもよく、検出部は選択された撮影画像から人物の顔部分を検出してもよい。
【０００７】
この場合、ユーザが任意に選択した複数の撮影画像から抽出された人物の顔画像を「かきわり」状のテンプレート画像に合成することができるため、より多くの顔画像をユーザの好みにあわせて合成できる。
【０００８】
また、上述の課題を解決するため、本願発明に係る画像処理方法は、人物の顔部分を記録した撮影画像を複数入力する撮影画像入力ステップと、撮影画像から人物の顔部分を検出する検出ステップと、検出された人物の顔部分の画像である顔画像を撮影画像から抽出する抽出ステップと、顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、選択された顔画像をテンプレート画像の合成領域に配置し、合成領域に配置された顔画像とテンプレート画像とを合成する合成ステップと、を含む。
【０００９】
この画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。
【発明の効果】
【００１０】
この発明によると、複数の撮影画像から抽出された顔画像をテンプレートの合成領域に配置して合成することができ、より多くの顔画像が合成された合成画像を得ることができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。
【００１２】
＜第１実施形態＞
［概略構成］
図１は、本発明の好ましい第１の実施形態に係る画像処理装置１００の概略機能構成図である。画像処理装置１００は、撮影画像入力部１、撮影画像選択部２、顔検出部３、トリミング部４、テンプレート選択部５、合成部６、画像データベース（画像ＤＢ）２０、操作部３０及び表示部４０を有している。撮影画像選択部２、顔検出部３、トリミング部４、テンプレート選択部５、及び合成部６は、ワンチップマイコンなどによって構成される処理部１０に含まれる。
【００１３】
撮影画像入力部１はデジタルスチルカメラ、フィルムスキャナ、メディアドライバおよび各種無線・有線ネットワークから取得した複数の撮影画像を入力する。入力された複数の撮影画像は画像ＤＢ２０に記憶される。
【００１４】
操作部３０は、ユーザの操作入力を受け付けるキーボードやタッチパネルなどで構成されており、画像ＤＢ２０に記憶された複数の撮影画像の中から所望の撮影画像の選択を受け付ける。撮影画像選択部２は、操作部３０の操作によって選択された撮影画像を画像ＤＢ２０から検索して顔検出部３に出力する。
【００１５】
顔検出部３は、公知の顔認識技術により撮影画像から人物の顔部分を検出する。撮影画像に複数の人物が記録されている場合は、複数の顔部分を個別に検出する。トリミング部４は、検出された個々の顔部分を撮影画像から独立の画像として抽出する。この抽出された画像を顔画像という。
【００１６】
画像ＤＢ２０にはテンプレート画像が予め記憶されている。図２に示すように、テンプレート画像は、顔画像を合成する空白の領域である合成領域Ｐｎ（この図ではｎ＝１〜３）を有している。合成領域の形状や数、画像の図柄は図示したものに限定されない。テンプレート選択部５は、画像ＤＢ２０に記憶されたテンプレート画像の中から所望の１つのテンプレート画像の選択を操作部３０の操作により受け付け、選択されたテンプレート画像を合成部６に出力する。合成部６は、トリミング部４の抽出した顔画像をテンプレート選択部８の出力したテンプレート画像の合成領域に配置して合成した合成画像を作成する。
【００１７】
表示部４０は、液晶ディスプレイなどで構成され、顔画像、テンプレート画像、合成画像などを表示する。なお、画像処理装置１００は、合成画像を印刷するプリンタ２００と接続されていてもよい。また、図示しないが、画像処理装置１００は、合成画像を所定の記憶媒体に記憶するメディアライタなどを有していてもよい。
【００１８】
［処理の流れ］
次に、図３のフローチャートに基づき、画像処理装置１００の実行する合成処理の流れを説明する。
【００１９】
Ｓ１では、撮影画像入力部１は人物の記録された複数の撮影画像を入力し、各撮影画像に固有の識別番号を対応づけて画像ＤＢ２０に記憶する。図４は撮影画像入力部１から入力されて画像ＤＢ２０に記憶される複数の撮影画像の一例である。各撮影画像には、固有の識別番号である撮影画像ＩＤ（ここでは撮影画像ＩＤ＝１〜３）が付与されている。図４（ａ）の撮影画像では複数の人物Ｆ１及びＦ２が記録されており、図４（ｂ）の撮影画像では人物Ｆ３のみが記録されており、図４（ｃ）の撮影画像では人物Ｆ４〜６が記録されている。入力する複数の撮影画像の記録の仕方は特に限定されず、異なるカメラで撮影したものであってもよいし、１台のカメラで連続撮影したものであってもよいし、アングルの異なる複数のカメラからの画像であってもよいし、撮影時間も撮影場所も異なるものであってもよい。
【００２０】
Ｓ２では、撮影画像選択部２はテンプレート画像と合成する所望の複数の撮影画像を画像ＤＢ２０に記憶された撮影画像の中から選択させる。図４では、撮影画像ＩＤ＝１及び２の撮影画像が選択された状態を表示部４０で表示した状態を示している。撮影画像選択部２は、選択された複数の撮影画像を画像ＤＢ２０から検索して顔検出部３に出力する。
【００２１】
Ｓ３では、顔検出部３は撮影画像選択部２から出力された各撮影画像から人物Ｆｎの顔部分を検出する。例えば、図４（ａ）に示す撮影画像ＩＤ＝１の撮影画像においては、人物Ｆ１の顔部分ｆ１及び人物Ｆ２の顔部分ｆ２が検出される。図４（ｂ）に示す撮影画像ＩＤ＝２の撮影画像においては、人物Ｆ３の顔部分ｆ３が検出される。
【００２２】
Ｓ４では、トリミング部４は、検出された人物Ｆｎの顔部分の画像である顔画像を各撮影画像から抽出する。以下、各顔部分に対応する顔画像も顔部分と同様の記号ｆ１、ｆ２、ｆ３で表す。
【００２３】
Ｓ５では、テンプレート選択部５は顔画像と合成する所望のテンプレート画像を画像ＤＢ２０に記憶されたテンプレート画像の中から選択させる。テンプレート選択部５は、選択されたテンプレート画像を画像ＤＢ２０から検索して合成部６に出力する。説明の簡略のため、以下では図２のテンプレート画像が選択されたものとして説明する。
【００２４】
Ｓ６では、合成部６は抽出された顔画像ｆｎをテンプレート選択部５から出力されたテンプレート画像の合成領域Ｐｎに配置した上、顔画像ｆｎとテンプレート画像とを合成する。合成部６は、顔画像ｆｎが合成領域Ｐｎに適切に合成されるよう顔画像ｆｎを適宜拡縮、アスペクト比変更、センタリング、色変更などの画像処理をした上で合成してもよい。図５は顔画像とテンプレート画像とが合成された様子を示している。
【００２５】
以上説明した通り、撮影画像選択部２は選択された複数の撮影画像を画像ＤＢ２０から検索して合成部６に出力する。トリミング部４は選択された複数の撮影画像から顔画像を抽出する。合成部６は顔画像をテンプレートの合成領域に配置して合成する。即ち、複数の撮影画像をユーザが任意に選択することで、その撮影画像から抽出された人物の顔画像を「かきわり」状のテンプレート画像に合成することができ、より多くの顔画像が合成された合成画像を得ることができる。
【００２６】
＜第２実施形態＞
上述したように、画像処理装置１００の撮影画像入力部１は、ネットワーク経由で撮影画像を入力してもよい。例えば、図６に示すように、撮影画像入力部１をインターネットなどのネットワーク３００に接続しておき、やはりネットワーク３００に接続されたパソコンなどの端末４００の各々から撮影画像の入力（アップロード）を受け付ける。図６の処理部１０は第１実施形態と同様の構成であり詳細は省略している。各端末４００からアップロードされた撮影画像は固有の識別番号と対応づけられて画像ＤＢ２０に記憶される。このようにして画像ＤＢ２０に記憶された撮影画像についても上記の合成処理を行えば、各ユーザの保有する端末４００からそれぞれアップロードされた撮影画像から顔画像を抽出して「かきわり」状のテンプレート画像に合成でき、多数の撮影者が撮影した多数の撮影画像から抽出した沢山の顔画像が合成された合成画像を得ることができる。
【図面の簡単な説明】
【００２７】
【図１】第１実施形態に係る画像処理装置の概略機能構成図
【図２】テンプレート画像の外観を示す図
【図３】合成処理の流れを示すフローチャート
【図４】複数の撮影画像の外観を示す図
【図５】テンプレート画像に顔画像が合成された状態を示す図
【図６】第２実施形態に係る画像処理装置の概略機能構成図
【符号の説明】
【００２８】
１：撮影画像入力部、２：撮影画像選択部、３：顔検出部、４：トリミング部、５：テンプレート選択部、６：合成部、１０：処理部、２０：画像データベース、３０：操作部、４０：表示部
【図１】
2006086732.tif 000003
【図２】
2006086732.tif 000004
【図３】
2006086732.tif 000005
【図４】
2006086732.tif 000006
【図５】
2006086732.tif 000007
【図６】
2006086732.tif 000008