(57)【要約】      （修正有）【課題】最も鑑賞に適した顔画像を人物ごとに選択して「かきわり」状のテンプレート画像に合成できる画像処理装置、方法及びプログラムを提供する。【解決手段】まず目開閉検出部が同一人物の複数の顔画像から目の存在する目領域を特定する。目領域の特定は顔輪郭と目との相対的位置関係などから求めることができる。次に、目開閉検出部は複数の顔画像の目領域内の縦方向黒色画素数をそれぞれ検出する。そして、目開閉検出部は、目領域Ｅ内の縦方向黒色画素数に基づき、目を閉じている顔画像を特定する。 次に、顔選択部１３は同一人物ごとに分類された顔画像の中から、目を閉じている顔画像以外の１つの顔画像をベストショット顔画像として選択する。次に、合成部１５はベストショット顔画像ｆｎ*を合成領域Ｐｎに配置した上、この顔画像ｆｎ*とテンプレート画像とを合成する。【選択図】図１
2006119844.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔部分を記録した撮影画像を入力する撮影画像入力部と、
前記人物の顔部分を検出する検出部と、
前記検出された顔部分から所望の顔部分の選択を受け付ける顔選択部と、
前記選択された顔部分の画像である顔画像を前記撮影画像から抽出する抽出部と、
前記抽出された顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力部と、
前記抽出された顔画像を前記テンプレート画像の合成領域に配置し、前記合成領域に配置された顔画像と前記テンプレート画像とを合成した合成画像を作成する合成部と、
を備える画像処理装置。
【請求項２】
前記顔選択部はネットワークを介して接続された端末から所望の顔部分の選択を受け付ける請求項１に記載の画像処理装置。
【請求項３】
操作入力を受け付ける操作部をさらに備え、
前記顔選択部は前記操作部から所望の顔部分の選択を受け付ける請求項１に記載の画像処理装置。
【請求項４】
前記入力された撮影画像の中から所望の撮影画像の選択を受け付ける撮影画像選択部をさらに備え、
前記検出部は前記選択された撮影画像の中から顔部分を検出する請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記合成画像を所定の装置に出力する出力部をさらに備える請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記所定の装置はネットワークを介して接続された端末である請求項５に記載の画像処理装置。
【請求項７】
前記所定の装置はプリンタ又はメディアライタである請求項５に記載の画像処理装置。
【請求項８】
人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、
前記人物の顔部分を検出する検出ステップと、
前記検出された顔部分から所望の顔部分の選択を受け付ける顔選択ステップと、
前記選択された顔部分の画像である顔画像を前記撮影画像から抽出する抽出ステップと、
前記抽出された顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、
前記抽出された顔画像を前記テンプレート画像の合成領域に配置し、前記合成領域に配置された顔画像と前記テンプレート画像とを合成した合成画像を作成する合成ステップと、
を含む画像処理方法。
【請求項９】
人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、
前記人物の顔部分を検出する検出ステップと、
前記検出された顔部分から所望の顔部分の選択を受け付ける顔選択ステップと、
前記選択された顔部分の画像である顔画像を前記撮影画像から抽出する抽出ステップと、
前記抽出された顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、
前記抽出された顔画像を前記テンプレート画像の合成領域に配置し、前記合成領域に配置された顔画像と前記テンプレート画像とを合成した合成画像を作成する合成ステップと、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに係り、特に人物の顔部分を抽出してテンプレート画像の所定位置に合成する装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、人物画像の顔部分の画像である顔画像と背景画像や服装画像を容易に合成するための技術が様々開発されている。例えば特許文献１によると、背景画像や服装画像などに合成の基準となる２点を指定する一方、顔画像の頭髪領域と顔輪郭の内部を合成に用いる領域とし、顔画像の合成の基準となる２点を指定する。顔画像の合成の基準となる２点は、あごの先端を通る水平線上で、その２点を結ぶ線分の中点があごの先端に、長さが顔の横幅になるように指定する。そして、顔画像に指定された２点と背景画像などに指定された２点が重なるように、顔画像の合成に用いる領域をマッピングして肖像画像を生成する。
【特許文献１】特開平１０−２２２６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで最近、人物キャラクタの顔部分がくり抜かれたように空白にしておき、その空白部分に別途複数の人物を撮影した画像から抽出された顔画像をはめ込んで合成するいわゆる「かきわり」状のテンプレート画像が開発されている。特許文献１の技術では、顔画像の抽出元となる撮影画像の中に記録される人物が複数である場合、どの人物の顔画像を合成するのかを全く選択することができない。つまり、集合写真から仲の良い人物など特定の人物の顔だけをテンプレートに合成したいというニーズには応えることができない。本発明はこのような問題点に鑑みてなされたもので、所望の顔画像を選択して「かきわり」状のテンプレート画像に合成できる画像処理装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上述の課題を解決するため、本願発明に係る画像処理装置は、人物の顔部分を記録した撮影画像を入力する撮影画像入力部と、人物の顔部分を検出する検出部と、検出された顔部分から所望の顔部分の選択を受け付ける顔選択部と、選択された顔部分の画像である顔画像を撮影画像から抽出する抽出部と、抽出された顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力部と、抽出された顔画像をテンプレート画像の合成領域に配置し、合成領域に配置された顔画像とテンプレート画像とを合成した合成画像を作成する合成部と、を備える。
【０００５】
この発明によると、デジタルカメラや記録媒体などから入力された撮影画像から検出された顔部分から任意の顔部分の選択を受け付け、選択された顔部分の画像である顔画像を抽出し、「かきわり」状のテンプレート画像の空白部分に合成した合成画像を作成できる。即ち、集合写真から自分の仲間など特定の人物の顔画像だけがテンプレート画像に合成された面白い画像を提供することができる。
【０００６】
顔選択部はネットワークを介して接続された端末から所望の顔部分の選択を受け付けてもよい。あるいは、操作入力を受け付ける操作部をさらに備え、顔選択部は操作部から所望の顔部分の選択を受け付けてもよい。
【０００７】
入力された撮影画像の中から所望の撮影画像の選択を受け付ける撮影画像選択部をさらに備え、検出部は選択された撮影画像の中から顔部分を検出してもよい。
【０００８】
合成画像を所定の装置に出力する出力部をさらに備えてもよい。
【０００９】
所定の装置はネットワークを介して接続された端末である。あるいは、所定の装置はプリンタ又はメディアライタである。
【００１０】
また、上述の課題を解決するため、本願発明に係る画像処理方法は、人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、人物の顔部分を検出する検出ステップと、検出された顔部分から所望の顔部分の選択を受け付ける顔選択ステップと、選択された顔部分の画像である顔画像を撮影画像から抽出する抽出ステップと、抽出された顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、抽出された顔画像をテンプレート画像の合成領域に配置し、合成領域に配置された顔画像とテンプレート画像とを合成した合成画像を作成する合成ステップと、を含む。
【００１１】
この画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。
【００１２】
また、上述の課題を解決するため、本願発明に係る画像処理プログラムは、人物の顔部分を記録した撮影画像を入力する撮影画像入力ステップと、人物の顔部分を検出する検出ステップと、検出された顔部分から所望の顔部分の選択を受け付ける顔選択ステップと、選択された顔部分の画像である顔画像を撮影画像から抽出する抽出ステップと、抽出された顔画像を配置する空白の領域である合成領域を有するテンプレート画像を入力するテンプレート画像入力ステップと、抽出された顔画像をテンプレート画像の合成領域に配置し、合成領域に配置された顔画像とテンプレート画像とを合成した合成画像を作成する合成ステップと、をコンピュータに実行させる。
【００１３】
この画像処理プログラムは、上述の画像処理装置と同様の作用効果を奏する。この画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯその他のコンピュータ読み取り可能な記録媒体に記録して提供してもよい。
【発明の効果】
【００１４】
この発明によると、デジタルカメラや記録媒体などから入力された撮影画像から検出された顔部分から任意の顔部分の選択を受け付け、選択された顔部分の画像である顔画像を抽出し、「かきわり」状のテンプレート画像の空白部分に合成した合成画像を作成できる。即ち、集合写真から自分の仲間など特定の人物の顔画像だけがテンプレート画像に合成された面白い画像を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。
【００１６】
＜第１実施形態＞
［概略構成］
図１は、本発明の好ましい第１の実施形態に係る画像処理装置１００及び該装置を利用した合成写真提供システムの概略機能構成図である。合成写真提供システムは、画像処理装置１００、パソコン２００及び店頭端末３００がインターネットなどのネットワーク４００を介して互いに接続されることで構成される。この図では、パソコン２００及び店頭端末３００はそれぞれ１つずつしか図示されていないが、実際は複数のパソコン２００及び店頭端末３００が画像処理装置１００に接続される。この場合、画像処理装置１００は、パソコン２００あるいは店頭端末３００の各々を固有の識別情報で識別する。即ち、パソコン２００あるいは店頭端末３００は、ネットワークを介してパラレルに画像処理装置１００に接続された端末である。以下これらの端末の識別情報を端末ＩＤで表す。画像処理装置１００は端末からの接続を端末ＩＤに加えパスワードで認証し、認証の完了した端末のみ接続するようにしてもよい。端末ＩＤは、ユーザによってパソコン２００及び店頭端末３００の操作部３０４から入力される情報であってもよいし、ネットワークアドレスなど端末に予め割り当てられた固有の情報であってもよい。
【００１７】
画像処理装置１００は、ＣＰＵやワンチップマイコンなどによって構成される処理部１、半導体メモリで構成される記憶部２、ネットワーク４００に処理部１を接続するネットワークＩ／Ｆ３、メディアリーダやＵＳＢポートなど各種データ入力装置で構成されるテンプレート入力部４、及びハードディスクなどの各種大容量記憶装置で構成される撮影画像ＤＢ５を有している。処理部１は、記憶部２に記憶されたプログラムである撮影画像入力部１０、撮影画像選択部１１、顔検出部１２、顔選択部１３、顔抽出部１４、合成部１５及び出力部１６を適宜記憶部２から読み出して実行する。撮影画像入力部１０は、デジタルスチルカメラやフィルムスキャナなどによってデジタル記録された撮影画像を、パソコン２００あるいは店頭端末３００からネットワーク４００及びネットワークＩ／Ｆ３を介して入力する。撮影画像入力部１は、ＦＴＰ（File Transfer Protocol）サーバのファイルアップロード機能などで実現できる。入力された撮影画像はその画像を一意に識別する情報である画像ＩＤと対応づけられて撮影画像ＤＢ５に記憶される。
【００１８】
図２は撮影画像ＤＢ５に記憶される情報の概念説明図である。この図に示すように、撮影画像ＤＢ５には画像ＩＤと撮影画像とが対応づけられて記憶される。画像ＩＤは一意的な情報であれば何でもよく、撮影画像のファイル名が一意的であればこれを画像ＩＤとしてもよい。
【００１９】
撮影画像選択部１１は、撮影画像ＤＢ５に記憶された撮影画像から所望の撮影画像の選択をパソコン２００あるいは店頭端末３００から受け付ける。選択された撮影画像は記憶部２に記憶される。なお、パソコン２００あるいは店頭端末３００を操作するユーザに応じて選択できる画像を制限できるようにしてもよい。この場合、図３に示すように、撮影画像ＤＢ５には、ユーザの識別情報であるユーザＩＤと画像ＩＤと撮影画像とが対応づけられて記憶され、撮影画像選択部１１はパソコン２００あるいは店頭端末３００を操作するユーザのユーザＩＤに対応する撮影画像の中から所望の撮影画像を選択させる。ユーザＩＤと画像ＩＤとの対応は、学校のクラス、イベントの参加者、ツアー旅行の参加者などあるグループに属するユーザ（例えば図３ではユーザＩＤ「ｕ００１」及び「ｕ００２」）に割り当てられたユーザＩＤには同一の画像ＩＤを対応させるようにすれば（例えば図３では画像ＩＤ「Ｉ００１」）、同一のグループの構成員が同一の撮影画像を選択できる。
【００２０】
顔検出部１２は、記憶部２に記憶された撮影画像から、公知の顔認識技術により人物の顔部分を検出する。撮影画像に複数の人物が記録されている場合は、複数の顔部分を個別に検出する。検出された顔部分は記憶部２に記憶される。
【００２１】
顔選択部１３は、検出された顔部分から所望の顔部分の選択をパソコン２００あるいは店頭端末３００から受け付ける。顔抽出部１４は、顔選択部１３が選択を受け付けた顔部分の画像である顔画像を撮影画像から抽出する。抽出された顔画像は記憶部２に記憶される。
【００２２】
テンプレート入力部４は、メディアリーダやＵＳＢポートなどで構成され、ＣＤ−Ｒなどからテンプレート画像の入力を受け付ける。図４に示すように、テンプレート画像は、顔画像を合成する「かきわり」状の空白領域である合成領域（この図ではＰｎ：ｎ＝１〜３）を有している。合成領域の形状や数、テンプレート画像の図柄は図示したものに限定されない。
【００２３】
合成部１５は、記憶部２の顔画像をテンプレート画像の合成領域に配置して合成した合成画像を作成する。作成された合成画像は、記憶部２に記憶されてもよいし、撮影画像及び顔部分を選択したパソコン２００あるいは店頭端末３００を識別するユーザＩＤに対応づけられて撮影画像ＤＢ５に記憶してもよい。出力部１６は、作成された合成画像を、ネットワーク４００を介してパソコン２００あるいは店頭端末３００に送出する。
【００２４】
店頭端末３００は、撮影画像あるいは合成画像のプリント注文を有償で受け付けてプリントを行う端末であり、出力部１６から送出された合成画像や撮影画像を印刷するプリンタ３０１、合成画像をＣＤ−Ｒなどの所定の記憶媒体に書き込むメディアライタ３０２、液晶ディスプレイなどで構成された表示部３０３、タッチパネルやポインティングデバイスなどで構成された操作部３０４、プリント注文料金の現金清算を行うコインマシン３０５、ＣＤ−ＲＯＭやコンパクトフラッシュなどの各種記録媒体から撮影画像を読み出すメディアリーダ３０６などを有している。パソコン２００も同様にメディアライタ３０２、表示部３０３、操作部３０４、メディアリーダ３０４などを有している。合成画像のプリントを現金で販売するには、店頭端末３００のみから撮影画像の選択及び顔部分の選択を行えるようにし、パソコン２００からは撮影画像の入力のみを行えるようにしてもよい。また、図示しないが、画像処理装置１００あるいはパソコン２００は、合成画像を印刷するプリンタ３０１と接続されていてもよいし、合成画像を所定の記憶媒体に記憶するメディアライタ３０２を有していてもよい。
【００２５】
［処理の流れ］
次に、図５のフローチャートに基づき、画像処理装置１００の実行する合成画像提供処理の流れを説明する。
【００２６】
Ｓ１では、撮影画像入力部１０はパソコン２００あるいは店頭端末３００のメディアリーダ３０６からネットワーク４００を介して撮影画像を入力する。図６は撮影画像入力部１０に入力される撮影画像の一例である。撮影画像には、複数の人物Ｆｎ（ここではｎ＝１〜６）が団体集合写真として記録されている。入力する撮影画像の被写体は複数の人物を含んでいる以外特に限定されない。撮影画像入力部１０は、入力された撮影画像に一意的な画像ＩＤを付与し、これと撮影画像を対応づけて撮影画像ＤＢ５に記憶する。
【００２７】
Ｓ２では、撮影画像選択部１１は、撮影画像ＤＢ５に記憶された撮影画像から所望の撮影画像の選択をパソコン２００あるいは店頭端末３００の操作部３０４から受け付ける。なお、撮影画像を入力するパソコン２００あるいは店頭端末３００と、撮影画像を選択するパソコン２００あるいは店頭端末３００とは無関係であってよい。ただし、上述のように、撮影画像を選択しようとするパソコン２００あるいは店頭端末３００を使用するユーザに割り当てられたユーザＩＤに対応する撮影画像の中から所望の撮影画像を選択させるという制限を課すこともできる。
【００２８】
Ｓ３では、顔検出部１２は、選択された撮影画像から、人物の顔部分を検出する。図６では、６人の人物Ｆ１〜Ｆ６の顔部分ｆ１〜ｆ６が検出されている。顔部分の検出結果は出力部１６がＷｅｂページなどパソコン２００や店頭端末３００で閲覧可能なデータに変換してパソコン２００や店頭端末３００に送出し、表示部３０３に表示される。
【００２９】
Ｓ４では、顔選択部１３は、検出された顔部分から所望の顔部分の選択をパソコン２００あるいは店頭端末３００の操作部３０４から受け付ける。選択結果は表示部３０３に表示される。図６では、顔部分ｆ１、ｆ５、ｆ６が選択されている。選択された顔部分の周辺には、それぞれマーカーＸ１、Ｘ５、Ｘ６が表示されており、これによりどの顔部分が選択されているかをパソコン２００あるいは店頭端末３００の表示部３０３で確認できる。
【００３０】
Ｓ５では、顔抽出部１４は、顔選択部１３が選択を受け付けた顔部分の画像である顔画像を撮影画像から抽出（トリミング）する。
【００３１】
Ｓ６では、抽出された顔画像をテンプレート画像の合成領域に配置して合成する。なお、どの顔画像をどの合成領域に配置するかは任意であり、ランダムに配置してもよいし、パソコン２００や店頭端末３００の操作部３０４から指定できるようにしてもよい。例えば、図７に示すように、操作部３０４により選択した顔部分を所望の合成位置までドラッグアンドドロップすることで顔画像の配置位置を指定できるようにしてもよい。図８は、合成領域Ｐ１〜Ｐ３にそれぞれ顔部分ｆ１、ｆ５、ｆ６の顔画像が配置されて合成された状態を概念的に示している。
【００３２】
Ｓ７では、出力部１６は、作成された合成画像を、ネットワーク４００を介してパソコン２００あるいは店頭端末３００に送出する。店頭端末３００は、合成画像のプリント料金をコインマシン３０５で清算すると、出力部１６から送出された合成画像をプリンタ３０１で印刷する。撮影画像入力部１０に入力された撮影画像も合わせてプリンタ３０１で印刷し、撮影画像と合成画像をセットで提供してもよい。合成画像の印刷と同時あるいは別の時点でメディアライタ３０２にセットされたＣＤ−Ｒなどの各種記録媒体に出力部１６から送出された合成画像を記録してもよい。
【００３３】
なお、上述のステップＳ１〜７を処理部１に実行させるプログラム、即ち処理部１を撮影画像入力部１０、撮影画像選択部１１、顔検出部１２、顔選択部１３、顔抽出部１４、合成部１５及び出力部１６として機能させるプログラムは、記憶部２に記憶されている。このプログラムはＣＤ−ＲＯＭなどの各種コンピュータ読み取り可能な記録媒体に記録した上で有償・無償で提供してもよいし、ネットワーク経由で提供してもよい。
【００３４】
以上説明した通り、パソコン２００あるいは店頭端末３００から任意の撮影画像を入力して撮影画像ＤＢ５に蓄え、この撮影画像から任意の撮影画像の選択を受け付けて選択された撮影画像から顔部分を検出し、検出された顔部分から所望の顔部分の選択を受け付け、選択された顔部分の画像を抽出して「かきわり」状のテンプレート画像の空白部分に合成した合成画像を作成し、パソコン２００あるいは店頭端末３００に送出することができる。即ち、集合写真から自分の仲間など特定の人物の顔画像だけがテンプレート画像に合成された面白い画像を提供することができる。
【００３５】
＜第２実施形態＞
画像処理装置１００は、店頭端末３００に包含させてもよい。この場合、図９に示すように、本実施形態に係る店頭端末３００は、第１実施形態の画像処理装置１００の出力部１６に、プリンタ３０１及びメディアライタ３０２が接続された構成を有し、合成画像がネットワークを介さず直接プリンタ３０１又はメディアライタ３０２に出力される。また、本実施形態に係る店頭端末３００は、第１実施形態の画像処理装置１００の撮影画像入力部１０に、メディアリーダ３０６が接続された構成を有し、撮影画像がネットワークを介さず直接撮影画像入力部１０に入力される。また、本実施形態に係る店頭端末３００は、第１実施形態の画像処理装置１００の処理部１に表示部３０３、操作部３０４及びコインマシン３０５が接続されており、各部の機能及び処理部１の実行する処理は第１実施形態と同様である。店頭端末３００は、ネットワークＩ／Ｆ３を有していてもよいし、なくてもよい。この店頭端末３００は、ネットワーク４００を介さずスタンドアロンで顔部分の選択及び合成画像の提供を行うことができる。
【図面の簡単な説明】
【００３６】
【図１】第１実施形態に係る画像処理装置の概略機能構成図
【図２】撮影画像ＤＢに記憶される情報の概念説明図
【図３】撮影画像ＤＢに記憶される情報の概念説明図
【図４】テンプレート画像の一例を示す図
【図５】合成画像提供処理の流れを示すフローチャート
【図６】撮影画像の一例を示す図
【図７】顔部分の合成領域への配置指定の一例を示す図
【図８】合成画像の一例を示す図
【図９】第２実施形態に係る店頭端末の概略機能構成図
【符号の説明】
【００３７】
１：処理部、２：記憶部、３：ネットワークＩ／Ｆ、４：テンプレート入力部、１０：撮影画像入力部、１１：撮影画像選択部、１２：顔検出部、１３：顔選択部、１４：顔抽出部、１５：合成部、１６：出力部
【図１】
2006119844.tif 000003
【図２】
2006119844.tif 000004
【図３】
2006119844.tif 000005
【図４】
2006119844.tif 000006
【図５】
2006119844.tif 000007
【図６】
2006119844.tif 000008
【図７】
2006119844.tif 000009
【図８】
2006119844.tif 000010
【図９】
2006119844.tif 000011