(57)【要約】【課題】ユーザを撮影した撮影画像に、異なる顔の一部分の写真画像を重畳したとしても違和感を生じさせない写真シールシートを得ることができる撮影遊戯機における画像処理装置、画像処理方法及びコンピュータプログラムを提供する。【解決手段】画像処理装置は、撮影画像中の人物被写体の顔とは異なる顔の一部分に対応するパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させる編集手段と、拡縮又は回転された前記パーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳させる重畳手段とを備える。【選択図】図５
2017147621.tif 000002
【特許請求の範囲】
【請求項１】
人物被写体を撮影して得られる撮影画像を取得する手段と、取得した撮影画像に撮影されている前記人物被写体の顔領域及び顔内の各部分の特徴点を特定する特定手段とを備え、該特定手段が特定した顔領域及び特徴点の情報に基づいて前記撮影画像中の人物被写体領域に他の画像を重畳させる画像処理装置において、
前記撮影画像中の人物被写体の顔とは異なる顔の一部分のパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定する決定手段と、
該決定手段が決定した大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させる編集手段と、
拡縮又は回転された前記パーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳させる重畳手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記重畳手段は、前記人物被写体と異なる人物の唇の写真画像を前記パーツ画像として重畳させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記特定手段が特定した特徴点の内、顔内の前記一部分以外の部分に対応する特徴点の情報に基づいて前記パーツ画像の位置、大きさ、又は角度を決定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記特定手段が特定した特徴点から、前記一部分以外の部分に対応し、顔内で左右対称又は上下対称に位置する特定の２つの特徴点を抽出する手段と、
該手段により抽出された２つの特徴点間の線分の長さに基づいて、前記パーツ画像の大きさを決定する手段と、
前記線分の前記撮影画像における縦横方向に対する角度に基づいて、前記パーツ画像の角度を決定する手段と
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記パーツ画像を予め複数種類記憶しておく記憶手段を更に備え、
該記憶手段は更に、前記パーツ画像の種類別に、前記決定手段が位置、大きさ、又は角度を決定するに際して基準とする特徴点を示す情報を含む基準情報を記憶しておき、
前記決定手段は前記記憶手段に記憶されているパーツ画像の前記撮影画像における位置、大きさ、又は角度を、前記基準情報を参照して決定する
ことを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記パーツ画像は、相異なる顔の向きにおける前記一部分に対応し、
前記基準情報は前記パーツ画像毎の向きの情報を含み、
前記特定手段が特定した特徴点から抽出された特徴点に基づいて前記撮影画像中の人物被写体の顔の向きを判別する判別手段を更に備え、
前記編集手段は、
前記判別手段が判別した顔の向きと、重畳するパーツ画像の前記基準情報に含まれている向きの情報とに基づいて、反転の要否を判断する手段と、
該手段が反転要と判断した場合に反転を行なう手段と
を更に備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記基準情報は、前記パーツ画像毎の特徴点間の距離に対する割合に関する情報を含み、
前記決定手段は、前記特定手段が特定した特徴点から、前記一部分以外の部分に対応する２つの特徴点の位置と、該２つの特徴点間の距離及び前記基準情報に含まれる割合とに基づいて、前記パーツ画像の位置を決定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記重畳手段が前記パーツ画像を重畳させる撮影画像の前記人物被写体の顔領域における前記決定手段が決定した位置を含む所定範囲に、特定の画像処理を実行する手段
を更に備えることを特徴とする請求項１から７のいずれか１つに記載の画像処理装置。
【請求項９】
人物被写体を撮影して得られる撮影画像を取得し、取得した撮影画像に撮影されている前記人物被写体の顔領域及び顔内の各部分の特徴点を特定し、特定された顔領域及び特徴点の情報に基づいて前記撮影画像中の人物被写体領域に他の画像を重畳させる画像処理方法において、
前記撮影画像中の人物被写体の顔とは異なる顔の一部分のパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定し、
決定された大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させ、
拡縮又は回転されたパーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳させる
ことを特徴とする画像処理方法。
【請求項１０】
人物被写体を撮影して得られる撮影画像を出力する撮影部と接続されたコンピュータに、前記撮影画像に撮影されている前記人物被写体の顔領域及び顔内の各部分の特徴点を特定させ、特定された顔領域又は特徴点の情報に基づいて前記撮影画像中の人物被写体領域に他の画像を重畳させるコンピュータプログラムにおいて、
前記コンピュータに、
前記撮影画像中の人物被写体の顔とは異なる顔の一部分のパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定する処理、
決定された大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させる処理、並びに、
拡縮又は回転されたパーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳する処理
を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物であるユーザを被写体として写真撮影し、撮影結果が出力された所定の写真シールシート又は写真データを得ることができる撮影遊戯機における画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ユーザが自身を撮影して得られる写真シールシートを排出する装置が撮影遊戯機として提供されている。このような撮影遊戯機でユーザが撮影を行なう動機の１つは、ユーザ自身の顔を「なりたい顔」に近づかせた写真画像を手軽に得ることができるという撮影遊戯機の機能である。「なりたい顔」は例えば、雑誌等におけるプロカメラマンが撮影した美しい顔、具体的な対象としてはファッションモデル又はタレントの顔である。このような撮影遊戯機のユーザの要望に対応するべく昨今の撮影遊戯機では、撮影時の照明の工夫のみならず、撮影により得られた画像に対して種々の画像処理が行なわれている。例えば、顔認識技術を用いて特定されたユーザ自身の顔、及び顔の中の目、口、鼻等の各部分に対し、「なりたい顔」として求められているバランスに近づけるように大きさなどを変更したり、明るさ又は陰影を調整したりする画像処理が行なわれる。
【０００３】
更に、ユーザが撮影画像内で自分自身の顔を「なりたい顔」に近づけさせたいと思う要望に応えるべく、顔にメイク（化粧）が施される画像処理が実施されている。特にリップメイクに関しては、以下のように、ユーザの顔を撮影した撮影画像中の唇の一部分又は全体に対応する唇画像に基づいて画像処理を行なう方法が複数提案されている。
【０００４】
特許文献１には、ユーザの顔を撮影した撮影画像中の唇の一部分又は全体に対応する唇画像を抽出し、該唇画像に複数種類の画像処理を施した後、再度前記撮影画像中のユーザの顔領域の上に重畳した画像を生成する写真シール作成装置が開示されている。
【０００５】
また特許文献２には、ユーザの顔を撮影した撮影画像中の唇の部分に色付けを行なう処理を施す画像編集装置が開示されている。特許文献２に開示されている画像編集装置では、唇の部分に対応するマスク画像を作成し、マスク画像に基づいてユーザの操作により選択された色を所定の透明度で塗り潰したリップ画像を作成して顔領域上に重畳し、合成画像を得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−１３１１６０号公報
【特許文献２】特開２０１５−１３０５８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ユーザが撮影遊戯機での写真撮影を行なう１つの動機である「なりたい顔」に近づきたいという要望を満足させる方法として、ユーザの好感、共感又は憧れの対象である人物の顔の一部分のパーツ画像を、ユーザの顔写真上に重畳させるという方法が考えられる。特に唇の写真画像を用いた場合、元のユーザの顔の印象は残しつつ、メイクのみでは真似することが難しい前記人物独特の印象を与える画像を提供することができる。
【０００８】
他人の顔の一部分、例えば唇部分のパーツ画像を、ユーザの顔写真上に重畳させる場合、特許文献１，２に開示されているような、ユーザ自身の唇（特許文献１，２）の画像を用いる場合と異なり、違和感を生じさせない自然な顔として出力することが困難である。撮影の都度、ユーザの全身の姿勢、手足の動き、顔の向き、特に顔の表情即ち顔の各部分の動きは多様に変化する。特に口元は表情によって大きさ、角度が様々に変化し得る。ユーザ自身の顔写真であっても別の機会に撮影した画像写真中の顔の一部を抽出して別の顔写真に重畳させたときに自然な顔として出力することは困難な場合がある。ましてや、別の人物の唇のパーツ画像を重畳させた場合、自然な顔として写真画像を出力することは困難である。
【０００９】
本発明は斯かる事情に鑑みてなされたものであり、ユーザを撮影した撮影画像に、異なる顔の一部分のパーツ画像を重畳したとしても違和感を生じさせない写真シールシートを得ることができる撮影遊戯機における画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、人物被写体を撮影して得られる撮影画像を取得する手段と、取得した撮影画像に撮影されている前記人物被写体の顔領域及び顔内の各部分の特徴点を特定する特定手段とを備え、該特定手段が特定した顔領域及び特徴点の情報に基づいて前記撮影画像中の人物被写体領域に他の画像を重畳させる画像処理装置において、前記撮影画像中の人物被写体の顔とは異なる顔の一部分のパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させる編集手段と、拡縮又は回転された前記パーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳させる重畳手段とを備えることを特徴とする。
【００１１】
本発明に係る画像処理装置は、前記重畳手段は、前記人物被写体と異なる人物の唇の写真画像を前記パーツ画像として重畳させることを特徴とする。
【００１２】
本発明に係る画像処理装置は、前記決定手段は、前記特定手段が特定した特徴点の内、顔内の前記一部分以外の部分に対応する特徴点の情報に基づいて前記パーツ画像の位置、大きさ、又は角度を決定することを特徴とする。
【００１３】
本発明に係る画像処理装置は、前記決定手段は、前記特定手段が特定した特徴点から、前記一部分以外の部分に対応し、顔内で左右対称又は上下対称に位置する特定の２つの特徴点を抽出する手段と、該手段により抽出された２つの特徴点間の線分の長さに基づいて、前記パーツ画像の大きさを決定する手段と、前記線分の前記撮影画像における縦横方向に対する角度に基づいて、前記パーツ画像の角度を決定する手段とを備えることを特徴とする。
【００１４】
本発明に係る画像処理装置は、前記パーツ画像を予め複数種類記憶しておく記憶手段を更に備え、該記憶手段は更に、前記パーツ画像の種類別に、前記決定手段が位置、大きさ、又は角度を決定するに際して基準とする特徴点を示す情報を含む基準情報を記憶しておき、前記決定手段は前記記憶手段に記憶されているパーツ画像の前記撮影画像における位置、大きさ、又は角度を、前記基準情報を参照して決定することを特徴とする。
【００１５】
本発明に係る画像処理装置は、前記パーツ画像は、相異なる顔の向きにおける前記一部分に対応し、前記基準情報は前記パーツ画像毎の向きの情報を含み、前記特定手段が特定した特徴点から抽出された特徴点に基づいて前記撮影画像中の人物被写体の顔の向きを判別する判別手段を更に備え、前記編集手段は、前記判別手段が判別した顔の向きと、重畳するパーツ画像の前記基準情報に含まれている向きの情報とに基づいて、反転の要否を判断する手段と、該手段が反転要と判断した場合に反転を行なう手段とを更に備えることを特徴とする。
【００１６】
本発明に係る画像処理装置は、前記基準情報は、前記パーツ画像毎の特徴点間の距離に対する割合に関する情報を含み、前記決定手段は、前記特定手段が特定した特徴点から、前記一部分以外の部分に対応する２つの特徴点の位置と、該２つの特徴点間の距離及び前記基準情報に含まれる割合とに基づいて、前記パーツ画像の位置を決定することを特徴とする。
【００１７】
本発明に係る画像処理装置は、前記重畳手段が前記パーツ画像を重畳させる撮影画像の前記人物被写体の顔領域における前記決定手段が決定した位置を含む所定範囲に、特定の画像処理を実行する手段を更に備えることを特徴とする。
【００１８】
本発明に係る画像処理方法は、人物被写体を撮影して得られる撮影画像を取得し、取得した撮影画像に撮影されている前記人物被写体の顔領域及び顔内の各部分の特徴点を特定し、特定された顔領域及び特徴点の情報に基づいて前記撮影画像中の人物被写体領域に他の画像を重畳させる画像処理方法において、前記撮影画像中の人物被写体の顔とは異なる顔の一部分のパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定し、決定された大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させ、拡縮又は回転されたパーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳させることを特徴とする。
【００１９】
本発明に係るコンピュータプログラムは、人物被写体を撮影して得られる撮影画像を出力する撮影部と接続されたコンピュータに、前記撮影画像に撮影されている前記人物被写体の顔領域及び顔内の各部分の特徴点を特定させ、特定された顔領域又は特徴点の情報に基づいて前記撮影画像中の人物被写体領域に他の画像を重畳させるコンピュータプログラムにおいて、前記コンピュータに、前記撮影画像中の人物被写体の顔とは異なる顔の一部分のパーツ画像の前記撮影画像における位置、大きさ、又は角度を決定する処理、決定された大きさ又は角度に基づき、前記パーツ画像の一部又は全部を拡縮又は回転させる処理、並びに、拡縮又は回転されたパーツ画像を、前記人物被写体の顔領域における前記決定手段が決定した位置に重畳する処理を実行させることを特徴とする。
【００２０】
本発明では、ユーザを人物被写体として撮影して得られた撮影画像に、前記撮影画像における前記ユーザの顔とは異なる顔の一部分のパーツ画像が適合するように自動的に、位置決め、及び該写真画像一部又は全部の拡縮若しくは回転、又は両方がなされて重畳される。
なお、ユーザの顔とは異なる顔の一部分のパーツ画像とは、予め写真撮影されて記憶されているものであってもよいし、撮影画像からその都度得られる他の顔の一部分の写真画像であってもよい。また、パーツ画像は写真撮影された画像に限らず、実写画像に見えるように作成されたグラフィック画像であってもよいし、実写風に描かれた画像、又はイラスト、アニメ等の画像であってもよい。
【００２１】
本発明では、ユーザを人物被写体として撮影して得られた撮影画像における口領域に、前記撮影画像における前記ユーザの顔とは異なる顔の唇部分を撮影した写真画像が適合するように自動的に、位置決め及び一部又は全部の拡縮若しくは回転又はその両方が施され重畳される。
【００２２】
本発明では、重畳させるパーツ画像の位置決めには、前記顔領域における各部分の内、前記一部分とは異なる部分に対応する特徴点の情報が参照される。例えば唇画像を重畳させる際には、唇とは異なる目、鼻、顎等に対応する特徴点の画像内における位置、特徴点間の距離又は特徴点間を結ぶ線分の画像における角度等の情報から、唇画像の位置、大きさ、又は角度が決定される。その他、顔及びその周辺の特徴点の内、顔の表情によって変化の少ない部分の特徴点を用いることとよい。顔内の各部分の特徴点の内、表情で多様に変化する部分（口、又は目）の特徴点を重畳対象の写真画像の位置、大きさ、又は角度の決定に使用した場合、自動配置の安定性に欠ける可能性があるためである。
【００２３】
本発明では、パーツ画像の大きさ及び角度は、該一部分以外の部分に対応する特徴点であって、しかも顔内に左右対称又は上下対称に存在する２つの特徴点間の線分を基準に、線分の長さ及び線分の画像内での角度によって決定される。重畳するパーツ画像が表情によって変化する部分の画像である場合、その部分よりも、表情によって変化が少ない他の部分の特徴点を用いることで、表情、ポーズに左右されない安定した自動配置が実現される。
【００２４】
本発明では、ユーザを撮影した撮影画像に重畳されるパーツ画像は、該撮影画像中におけるユーザの顔とは異なる顔の一部分、例えば異なる人物の顔の一部分の複数のパターンのパーツ画像であって予め記憶されてある。例えば、本発明に係る画像処理が実施される撮影遊戯機のコンセプトに適した人物（モデル、タレント等の著名人）の顔の一部分の写真画像を用いることにより、「なりたい顔」に近づきたいというユーザの要望でその撮影遊戯機を選択したユーザを十分に満足させることが可能である。そして、それらの複数のパターンのパーツ画像は夫々、その位置決めの際に参照されるべきユーザの顔内の各部分の特徴点の情報が異なってもよい。したがって、位置決め、大きさ又は角度の決定に関する基準情報は各種類に対応付けて夫々記憶されている。
【００２５】
本発明では、複数種類のパーツ画像には、相異なる顔の向きに対応するパーツ画像が含まれており、上述の基準情報には、パーツ画像毎の向きの情報が含まれている。特定された特徴点の内のいくつかの特徴点から撮影画像中のユーザの顔の向きが判別され、判別された顔の向きに基づき必要な場合にはパーツ画像が反転されて重畳される。
【００２６】
本発明では、上述の基準情報には、複数種類のパーツ画像には夫々、位置に関する特徴点間の距離に対する割合が含まれている。そしてパーツ画像の重畳位置は、対応する一部分以外の部分に対応する２つの特徴点の位置を基準に、該２つの特徴点間を前記割合で配分する位置として決定される。重畳するパーツ画像が、表情によって変化が大きい部分である場合には特に、変化が少ない他の部分の特徴点を用いることで、表情、ポーズに左右されない安定した自動配置が実現される。
【００２７】
本発明では、ユーザの顔を撮影した撮影画像における顔領域上のパーツ画像を重畳させる範囲内の器官に対応する陰影を弱める特定の画像処理が更に行なわれる。特定の画像処理は、ぼかし処理、対象となる範囲内における画素値を他の部分の画素値に入れ替える処理、又は画素を範囲内の中心点に向かって移動させる処理等が含まれる。特定の画像処理により、別の顔の一部分のパーツ画像が重畳されたときに元のユーザの顔の器官又は皺などを表わす明暗、陰影が弱まり、そのパーツ画像がユーザの顔領域に馴染む。
【発明の効果】
【００２８】
本発明による場合、撮影画像中のユーザの顔とは異なる顔の一部分のパーツ画像が適合するように自動的に、位置決め、及び前記パーツ画像の一部又は全部の回転若しくは拡縮又は両方がなされて重畳される。これにより本発明に係る画像処理を行なう撮影遊戯機では、ユーザを撮影した撮影画像に、異なる顔の一部分のパーツ画像を重畳したとしても違和感を生じさせない写真シールシートを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本実施の形態における撮影遊戯機の外観を示す斜視図である。
【図２】本実施の形態における撮影遊戯機の構成を示すブロック図である。
【図３】本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。
【図４】本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。
【図５】落書き操作画面の一例を模式的に示す説明図である。
【図６】唇写真画像の配置に係る操作の受け付けの処理手順の一例を示すフローチャートである。
【図７】自動モードにおける個別／全員切替処理の一例の詳細を示すフローチャートである。
【図８】素材画像の配置に関する情報の内容例を示す説明図である。
【図９】画像処理部のＣＰＵによる自動配置に係る処理手順の一例を示すフローチャートである。
【図１０】重畳用画像の自動配置対象の顔領域の一例を示す説明図である。
【図１１】本実施の形態にて作成されるベース画像の内容例を示す説明図である。
【図１２】本実施の形態にて作成されるベース画像の内容例を示す説明図である。
【図１３】本実施の形態にて作成されるベース画像の内容例を示す説明図である。
【図１４】本実施の形態における唇写真画像の重畳用画像の配置例を示す説明図である。
【図１５】本実施の形態における唇写真画像の重畳用画像の配置例を示す説明図である。
【図１６】本実施の形態における唇写真画像の重畳用画像の配置例を示す説明図である。
【図１７】本実施の形態の撮影遊戯機で得られる写真画像の内容例を示す説明図である。
【図１８】目の写真画像の重畳用画像の配置例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００３１】
図１は、本実施の形態における撮影遊戯機の外観を示す斜視図である。撮影遊戯機は全体として、複数のユーザが入り込むことが可能な略直方体形状の箱型の装置である。撮影遊戯機は、おおまかに撮影エリアＡ及び編集エリアＢに分けることができ、夫々のエリアＡ，Ｂに複数の機器が設けられて構成される。
【００３２】
撮影エリアＡには、事前接客部１及び撮影部２に係る機器が設けられている。事前接客部１は撮影エリアＡの外側に向けて設けられているコイン投入口、タッチパネル式のディスプレイ及びスピーカ等を含んで構成されており、ユーザの撮影前のコインの投入、名前の登録等の操作を受け付ける。撮影部２は、撮影エリアＡ内部の壁面に内側に向けて設置されているカメラ２１、ディスプレイ２２、照明装置群２３、及びスピーカ２４（図２参照）を含んで構成されており、ユーザに撮影ガイドを表示し、音声で案内しながら複数回に分けて画像を撮影し、撮影された画像を編集部へ出力する処理を行なう。
【００３３】
編集エリアＢには、第１編集部３ａ、第２編集部３ｂ（図２参照）及び印刷部４に係る機器が設けられている。第１編集部３ａは編集エリアＢの中央部に操作画面表示用のマルチタッチパネル式のディスプレイ３０ａをユーザが操作しやすい高さに露出させた装置を含んで構成されている。第１編集部３ａは更にスピーカ３３ａ及び照明装置、並びにディスプレイ３０ａ用のタッチペン３１ａ，３２ａ（図２参照）を備えている。第１編集部３ａは、ユーザを撮影した撮影画像に基づく画像への落書き操作をディスプレイ３０ａ及びタッチペン３１ａ，３２ａにて受け付け、受け付けられた操作に対応する画像処理を実行する。第２編集部３ｂは第１編集部３ａ同様に構成され（図示省略）、第１編集部３ａと背中合わせの位置に設けられている。印刷部４は、編集エリアＢの第１編集部３ａ、第２編集部３ｂを含む装置の筐体内に設けられるプリンタを含んで構成され、画像処理後の画像が印刷された写真シールシートを筐体の表面に設けられている吐出口から吐き出す。
【００３４】
図２は、本実施の形態における撮影遊戯機の構成を示すブロック図である。撮影遊戯機は、撮影エリアＡ及び編集エリアＢにおけるユーザから視認可能な範囲に上述の事前接客部１、撮影部２、第１編集部３ａ、第２編集部３ｂ及び印刷部４を備えている。また撮影遊戯機は、撮影エリアＡ内の壁面に隠された箇所、又は編集エリアＢの装置の筐体内部等のユーザから視認不可能な位置に、通信部５と制御機構とを備えている。
【００３５】
通信部５は、インターネット等の外部ネットワークに接続して撮影された画像を含むデータの送受信を実現する。通信部５は制御機構に接続されており、制御機構は通信部５を介して外部ネットワーク上のサーバ装置と通信し、データの送受信を行なうことが可能である。本実施の形態における撮影遊戯機では、通信部５が撮影によって得られた画像データを撮影遊戯機のメーカが管理するサーバ装置へ送信する。これによりユーザはサーバ装置から自身の撮影画像を、所謂スマートフォン、タブレット端末、ＰＣ（Personal Computer ）等の情報端末装置にダウンロードし、情報端末装置内の記憶装置に記憶させることが可能である。
【００３６】
制御機構は、上述した各ハードウェアを制御するＰＣと、各ハードウェアが接続されているバス１００を含む制御基板と、各ハードウェアに電力を供給する図示しない電源部とにより構成される。ＰＣは１つのＰＣで構成されてもよいが、処理を円滑化するために、事前接客部１を制御するＰＣ、撮影部２を制御するＰＣ、第１編集部３ａを制御するＰＣ、第２編集部３ｂを制御するＰＣ、並びに印刷部４及び通信部５を制御するＰＣ、のように制御対象毎に異なるＰＣを用いてもよい。なお以下の説明では第１編集部３ａ及び第２編集部３ｂにおける落書き操作に基づく画像処理について主に説明する。このため、仮想的に第１ＰＣと第２ＰＣとに分別して説明する。第１ＰＣは、事前接客部１及び撮影部２における処理を制御する制御部６に対応する。第２ＰＣは、撮影部２により得られた画像に対する所定の加工処理、第１編集部３ａ及び第２編集部３ｂによる編集の受け付け、及び、これらに基づく合成を含む画像処理を制御し、印刷部４における印刷出力、及び通信部５からのデータ送信を指示する画像処理部７に対応する。
【００３７】
制御部６は、第１ＰＣに備えられたＣＰＵ（Central Processing Unit ）６０と、メモリ６１と、ＨＤＤ（Hard Disk Drive）６２と、キャプチャ・クロマキーボード６３とを含む。メモリ６１はＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、ＨＤＤ６２に替えてフラッシュメモリ、又はＳＳＤ（Solid State Drive ）等の他の不揮発性記憶装置を用いてもよい。
【００３８】
ＣＰＵ６０は、ＨＤＤ６２に記憶されている制御プログラム６Ｐを読み出し、メモリ６１に各種情報を読み書きしながら前記制御プログラム６Ｐを実行することにより、以下の各機能を実現する。
【００３９】
ＣＰＵ６０は、事前接客部１のコイン投入口にて所定料金の投入を受け付けた場合に事前接客部１から出力される制御信号を入力し、タッチパネル式のディスプレイに操作画面を出力させ、スピーカから案内音声を出力させる。また、ＣＰＵ６０は、事前接客部１のディスプレイに表示されている操作画面上の操作に対応する情報を事前接客部１から入力する。具体的にはＣＰＵ６０は、タッチパネル式のディスプレイ上の操作により、ユーザの名前、通信部５からの送信先アドレスに係る情報等を入力する。
【００４０】
ＣＰＵ６０は、撮影部２にてカメラ２１から得られるモニタ用の映像信号をキャプチャ・クロマキーボード６３が入力するように制御し、キャプチャ・クロマキーボード６３から映像信号に含まれる各フレームの画像データを取得し、取得したフレームの画像データに基づいてライブ画面用の画像の映像信号を作成し、作成した画像信号をディスプレイ２２へ出力する。またＣＰＵ６０は、撮影開始及び案内をユーザに通知するための撮影ガイドの画像信号をディスプレイ２２へ出力し、音声信号をスピーカ２４へ出力する。
【００４１】
ＣＰＵ６０は、撮影部２のカメラ２１による撮影と照明装置群２３によるフラッシュ点灯とを同期させて撮影を行なう。なおＣＰＵ６０は、カメラ２１による撮影を複数回実行する。ＣＰＵ６０は、撮影により得られる画像の複数の画像データをカメラ２１から取得し、夫々を区別できるように識別情報を付与してＨＤＤ６２に記憶すると共に、複製して画像処理部７へ出力する。
【００４２】
ＨＤＤ６２は、ＣＰＵ６０が参照する各種情報を記憶する。ＨＤＤ６２は、ＣＰＵ６０が実行する制御プログラム６Ｐを予め記憶している。ＨＤＤ６２は、制御プログラム６Ｐのほかに、事前接客部１のディスプレイ及び撮影部２のディスプレイ２２に表示する画像及びフォントデータ、事前接客部１のスピーカ及び撮影部２のスピーカ２４から出力させる音声及び音楽等のデータを予め記憶している。また、ＨＤＤ６２には、撮影部２における写真撮影で得られる画像データが記憶される。
【００４３】
キャプチャ・クロマキーボード６３は、キャプチャ機能及びクロマキー機能を有する回路基板である。キャプチャ・クロマキーボード６３は、映像信号から毎秒３０（２９．９７）枚のフレームの画像データを取得して静止画像として出力するキャプチャ機能を有する。またキャプチャ・クロマキーボード６３は、静止画像から一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素に対してα値（透明度）を設定することにより一部の色を透明化して出力するクロマキー機能を有する。キャプチャ・クロマキーボード６３は、カメラ２１からのモニタ用の映像信号から順次フレームをキャプチャし、キャプチャして得られた静止画像に必要に応じてクロマキー処理を実行し、内蔵するメモリに書き込む。ＣＰＵ６０は、キャプチャ・クロマキーボード６３内蔵のメモリから静止画像を順次読み出して、撮影部２のディスプレイ２２に表示するライブ画面用の画像の画像信号を作成する。
【００４４】
画像処理部７は、第２ＰＣに備えられたＣＰＵ７０と、メモリ７１と、ＨＤＤ７２と、グラフィックボード７３とを備える。メモリ７１は、ＤＲＡＭ又はＳＤＲＡＭ等のＲＡＭを用いる。
【００４５】
ＣＰＵ７０は、ＨＤＤ７２に記憶されている画像処理プログラム７Ｐを読み出し、メモリ７１に各種情報を読み書きしながら前記画像処理プログラム７Ｐに基づく画像処理を実行する。またＣＰＵ７０は、制御部６から出力された画像データを、付与されている識別情報と共にメモリ７１又はＨＤＤ７２に記憶し、該画像データを基に加工処理を行なう。加工処理には、画像中の人物の顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見えるようにする加工等、種々の加工が含まれる。ＣＰＵ７０は、加工の種類毎に複製した画像データをメモリ７１又はＨＤＤ７２に記憶し、各画像データに加工処理を実行し、加工後の複数の画像データをメモリ７１又はＨＤＤ７２に記憶する。
【００４６】
更にＣＰＵ７０は、メモリ７１又はＨＤＤ７２に記憶してある撮影により得られた上述の加工処理前及び加工処理後の複数の画像データに基づき、第１編集部３ａ又は第２編集部３ｂにて落書き操作を受け付ける。ＣＰＵ７０は、落書き操作として受け付けた操作の内容に応じて、後述する落書き操作画面のプレビュー表示部に表示する手書き文字又はメイクを含むスタンプ等の画像データを作成する。ＣＰＵ７０は、作成した画像データを第１編集部３ａ又は第２編集部３ｂのディスプレイへ出力する。更にＣＰＵ７０は、落書き操作画面のプレビュー表示部に表示されている確定した編集内容に応じて合成画像データを作成する。落書き操作の受け付け及び合成画像データの作成については詳細を後述する。更にＣＰＵ７０は、作成された合成画像データに基づき画像を写真シールシートに印刷出力する処理、合成画像データ又は合成処理前の画像データを通信部５から外部サーバ装置へ送信する処理を実行する。
【００４７】
ＨＤＤ７２は、ＣＰＵ７０が参照する各種情報を記憶する。ＨＤＤ７２は、ＣＰＵ７０が実行する画像処理プログラム７Ｐを予め記憶している。ＨＤＤ７２は、第１編集部３ａ及び第２編集部３ｂのディスプレイに表示する案内用の文字画像、合成用の素材である文字、フォントデータ又は画像、スピーカから出力させる音楽及び音声等のデータを予め記憶している。合成用の素材である画像の中には、メイクを施す機能を実現するべくメイク用情報７２０が予め記憶されている。メイク用情報７２０には、後述する唇写真画像、及びヘアアクセサリー画像等の素材画像が含まれる。メイク用情報７２０は書き換え可能である。またＨＤＤ７２には、受け付けた編集に基づく画像処理により得られた画像データ、合成後の画像の画像データが記憶される。
【００４８】
グラフィックボード７３は、入力した画像データ及び描画命令に基づいて画像を描画し、描画した画像の画像データを出力するハードウェアである。ＣＰＵ７０は、制御部６から取得して記憶した画像データに対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像データと、目的の画像を得るための描画命令とをグラフィックボード７３に与えて処理を行なわせ、描画処理によって得られた画像の画像データをグラフィックボード７３内蔵のメモリから入力する。描画処理には、拡縮、回転、移動、クロマキー機能、トリミング機能、α化機能、明度又は色調等の調整機能、フィルタ機能、合成機能等が含まれる。
【００４９】
図３及び図４は、本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。なお、制御部６にて行なわれる処理手順と、画像処理部７にて行なわれる処理手順とに分けて説明する。図３は、制御部６により実行される撮影の処理手順の一例を示すフローチャートである。
【００５０】
図３のフローチャートに示す処理手順は、事前接客部１のタッチパネル式のディスプレイにおける操作及びコイン投入を制御部６のＣＰＵ６０によって検知した場合に開始される。
【００５１】
ＣＰＵ６０は、事前接客部１のタッチパネル式のディスプレイにて、ユーザの名前の入力、撮影コースの選択、又は出力されるシートデザイン（背景）の選択等を受け付ける（ステップＳ１０１）。ＣＰＵ６０は、撮影エリアＡの空き状況を確認した上で、撮影エリアＡが空いている場合には移動を促す移動案内画面をディスプレイに表示させると共に案内音声を出力する（ステップＳ１０２）。
【００５２】
次にＣＰＵ６０は、撮影エリアＡ内にて撮影部２のディスプレイ２２に、撮影内容の案内画面を表示させ、案内音声及びＢＧＭをスピーカ２４から出力させる（ステップＳ１０３）。このとき案内画面には、撮影部２のカメラ２１のモニタ出力に基づくライブ映像と、各撮影回のポーズ見本とが含まれるとよい。
【００５３】
ＣＰＵ６０は、ステップＳ１０１で選択された撮影モード又はシートデザインに応じて、制御部２のカメラ２１及び照明装置群２３を制御して複数回の撮影を実行する（ステップＳ１０４）。ＣＰＵ６０は、各回の撮影により得られる画像データを相互に識別することが可能にＨＤＤ６２に記憶する（ステップＳ１０５）。ステップＳ１０４における複数回の撮影では、ステップＳ１０１で選択された撮影モード又はシートデザインに応じて、腰から上のアップの撮影と足先も含む全身の撮影とが区別されて実行されるとよい。
【００５４】
撮影が完了するとＣＰＵ６０は、編集エリアＢの空き状況を確認した上で、空いている場合には編集エリアＢの第１編集部３ａ又は第２編集部３ｂのいずれかへの移動を促す案内画面をディスプレイ２２に表示させると共に、案内音声をスピーカ２４から出力させ（ステップＳ１０６）、制御部６における処理を終了する。
【００５５】
次に画像処理部７における処理へ移行する。図４は、画像処理部７にて実行される画像処理、落書き操作受付及び印刷の処理手順の一例を示すフローチャートである。なお以下の説明はユーザが、第１編集部３ａ及び第２編集部３ｂの内、第１編集部３ａへ移動を促されて落書き操作を行なう場合を例に説明するが、第２編集部３ｂにおいて落書き操作が行なわれた場合も同様の処理であるから詳細な説明は省略する。
【００５６】
画像処理部７のＣＰＵ７０は、制御部６のＣＰＵ６０によりＨＤＤ６２に記憶された画像データを取得する（ステップＳ２０１）。ＣＰＵ７０は、取得した複数の画像データ夫々に対し、１又は複数の人物被写体領域を抽出する処理を実行する（ステップＳ２０２）。ステップＳ２０２における抽出処理は詳細には、画像データを与えられたグラフィックボード７３が、画像データに基づく画像から人物被写体領域に対応する画素をα化（透明化）したマスク画像の画像データを作成することで実現される。
【００５７】
ＣＰＵ７０は、複数の画像データ別に、ステップＳ２０２の抽出処理によって抽出された１又は複数の人物被写体領域夫々に対し、顔認識技術に基づいて顔領域（輪郭）、並びに顔領域内の目、鼻、及び口などの各器官領域の特徴点を特定する処理を実行する（ステップＳ２０３）。ステップＳ２０３の処理は、肌色検出、テンプレートマッチング等の種々の既存技術を利用して行なえばよい。そしてステップＳ２０３においてＣＰＵ７０は、顔領域及び器官領域の特徴点を、夫々の輪郭に対応する画像中の画素の座標の情報で特定する。具体的には、目であれば目頭、目尻、上瞼輪郭上の複数の箇所、及び下瞼輪郭上の複数の特徴点の座標が夫々特定され、特定された座標の情報がメモリ７１又はＨＤＤ７２に画像データと共に記憶される。また口であれば、両端即ち口角、口領域の中心、並びに、上唇及び下唇別の輪郭上の複数の特徴点の座標が夫々特定され、座標の情報が記憶される。他には、こめかみ、鼻頭等の位置を特定する座標の情報が記憶される。
【００５８】
次にＣＰＵ７０は、複数の画像データ別に、抽出された人物被写体領域、特定された顔領域、並びに顔領域内の各器官領域に対する加工処理を実行する（ステップＳ２０４）。ステップＳ２０４にてＣＰＵ７０は、複数回の撮影で得られた画像データ夫々に対し、撮影の方法（アップ撮影又は全身撮影等）に適した加工処理を行なう。加工処理には上述したように、顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見せる加工等が含まれる。
【００５９】
ステップＳ２０４までの処理は、図３のフローチャートにおけるステップＳ１０４の複数回の撮影処理が行なわれる都度、各撮影に対して記憶される画像データに対してバックグラウンド的に開始される。そして、ステップＳ１０６における編集エリアＢへの案内画面の表示中に処理が進むように実行されてもよい。
【００６０】
次にＣＰＵ７０は、落書き操作画面を第１編集部３ａのディスプレイ３０ａに表示させると共に、案内音声及び音楽をスピーカ３３ａから出力させる（ステップＳ２０５）。そしてＣＰＵ７０は、落書き操作画面上でディスプレイ３０ａ及びタッチペン３１ａによりスタンプ貼付け、文字追加、及びメイクを含む落書き操作を受け付ける（ステップＳ２０６）。落書き操作の受け付け処理については、詳細を後述する。
【００６１】
ＣＰＵ７０は更に、合成後の撮影画像の写真シールシートにおけるレイアウト等の選択を受け付ける（ステップＳ２０７）。ＣＰＵ７０は、ステップＳ２０６で受け付けた落書き操作、ステップＳ２０７で受け付けたレイアウトに基づき、合成処理を実行する（ステップＳ２０８）。ステップＳ２０８において具体的には、ＣＰＵ７０は各画像データに基づく画像に対する加工処理後の画像に、落書き操作にて受け付けたスタンプ、手書き文字、後述の重畳用画像等の画像を合成し、写真シールシートにレイアウトする合成処理を実行する。
【００６２】
ＣＰＵ７０は、合成処理後の写真シールシールシートのプレビュー含む画面をディスプレイ３０ａに表示させる（ステップＳ２０９）。ＣＰＵ７０は、印刷部４のプリンタが使用中であるか否かを確認した上で、使用中でない場合に印刷部４のプリンタにて写真シールシートの印刷出力を開始させる（ステップＳ２１０）。印刷出力処理が行なわれている間に、ＣＰＵ７０は、撮影された複数の画像の内、情報端末装置から入手可能とする画像の選択、情報の送信先アドレスの入力等の操作を第１編集部３ａのディスプレイ３０ａにて受け付ける（ステップＳ２１１）。ＣＰＵ７０は、受け付けた操作に応じて選択された画像の画像データを外部サーバ装置へ送信する（ステップＳ２１２）。ＣＰＵ７０は印刷出力処理が終了するまで、第１編集部３ａのディスプレイ３０ａにゲーム待機中画面を表示し、印刷出力処理が完了した場合には印刷部４の前への移動を促す案内画面を表示させると共に、案内音声を出力させて（ステップＳ２１３）、処理を終了する。
【００６３】
ステップＳ２０６にて受け付けられる落書き操作について詳細を説明する。図５は、落書き操作画面の一例を模式的に示す説明図である。落書き操作画面は、第１編集部３ａのディスプレイ３０ａに表示され、ユーザはタッチペンによって落書き操作画面上で各種選択、画像の移動及び拡縮又は回転、手書き入力、並びに描画等の操作を行なうことができる。第２編集部３ｂにおける落書き操作についても同様であるので詳細な説明を省略する。
【００６４】
落書き操作画面は、ユーザを人物被写体として撮影した画像のプレビュー表示部３０１，３０２を左右に有している。プレビュー表示部３０１，３０２に表示されている画像は夫々、所定の加工処理（図４におけるステップＳ２０４）後の画像であり、プレビュー表示部３０１，３０２上で手書き入力等の操作が各別に受け付けられる。２つのプレビュー表示部３０１，３０２に対して夫々、複数の画像データに基づく複数の画像からいずれの画像の画像データを編集対象とするかを順次切り替えるための切替部３０１４，３０２４を有している。
【００６５】
また落書き操作画面は、プレビュー表示部３０１とプレビュー表示部３０２との間の中央部に、手書き入力用のペンの色を選択するためのペン色選択部３０３を有する。ペン色選択部３０３は、ペン色をパレット状に並べて配置し、プレビュー表示部３０１上で操作するためのタッチペン３１ａと、プレビュー表示部３０２上で操作するためのタッチペン３２ａとの両方からの選択を受け付ける。ペン色選択部３０３の左右には、プレビュー表示部３０１及びプレビュー表示部３０２夫々に対応するペン種選択部３０１１，３０２１、ペンプレビュー部３０１２，３０２２、及びペン太さ選択部３０１３，３０２３が配置されている。ペン種選択部３０１１，３０２１は、水性ペン風、ボールペン風等のペンの種類の選択ボタンを含む。ペン太さ選択部３０１３，３０２３は、ペンの太さの選択ボタンを含む。ペンプレビュー部３０１２，３０２２は、選択中のペンの色、ペン種、太さでの手書きサンプル画像を表示する。また落書き操作画面は、ペン色選択部３０３の下方に落書き操作中のＢＧＭの選択を受け付けるＢＧＭ選択部３０４を含む。
【００６６】
落書き操作画面には更に、プレビュー表示部３０１及びプレビュー表示部３０２の下方に、各々に対応するスタンプパレット３０１５，３０２５を含む。スタンプパレット３０１５，３０２５は、プレビュー表示部３０１，３０２に表示されている２つのプレビュー画像に対して重畳させるために予め記憶されているスタンプ画像及びメイク用の画像などの素材画像を選択するための領域である。スタンプパレット３０１５，３０２５は夫々、素材画像を選択するためのタブ選択部１０１を有している。タブ選択部１０１は素材画像をカテゴリー又はテーマ別に選択できるように複数の種類のタブを含む。図５に示す落書き操作画面の例では、タブは「ＬＯＶＥ」、「ＳＰＥＣＩＡＬ」、「ＳＴＡＭＰ」、「ＭＥＳＳＡＧＥ」及び「ＯＳＨＡＲＥ」の５種類のタブを含む。「ＬＯＶＥ」は、本実施形態における撮影遊戯機のコンセプト（例えば「ＬＯＶＥ」又は商品名）に沿った特別な素材画像の内から選択を受け付ける画面を表示するタブである。「ＬＯＶＥ」に対応する素材画像には、メイク用情報７２０に含まれる唇写真画像が含まれる（詳細は後述）。「ＳＰＥＣＩＡＬ」は、提供時期によって異なるなど、ユーザに推奨する特別な素材の選択を受け付ける画面を表示するタブである。「ＳＴＡＭＰ」はイラスト等の画像の選択を受け付ける画面を表示するタブであり、「ＭＥＳＳＡＧＥ」は文字を含むメッセージ画像の選択を受け付ける画面を表示するタブである。「ＯＳＨＡＲＥ」は、ＨＤＤ７２に記憶されている「ＬＯＶＥ」に対応する素材画像以外のメイク用情報７２０に基づく画像の選択を受け付ける画面を表示するためのタブである。
【００６７】
図５に示す落書き操作画面の例では、スタンプパレット３０１５，３０２５両方にて、「ＬＯＶＥ」のタブが選択されている場合の内容例が示されている。「ＬＯＶＥ」のタブが選択されている場合のスタンプパレット３０１５，３０２５は、「ＬＯＶＥ」に対応する素材種別選択部１０２を含む。素材種別選択部１０２は、素材の種類に応じた複数のボタンを有する。図５に示す例では、素材の種類は「ラクガキ」、「イラスト」、「ことば」及び「リップ」の４種類であり、スタンプパレット３０１５，３０２５のいずれも「リップ」が選択された場合の表示例が示されている。なお本実施形態ではいずれの種類も、「ＬＯＶＥ」を選択した場合には撮影遊戯機のコンセプトＰＲに起用されている人物（モデル、タレント等）による落書き及びイラスト、該人物が発した言葉、並びに該人物自身の唇写真画像に対応する。
【００６８】
以下の落書き操作の詳細な説明においては特に、タブ選択部１０１にて「ＬＯＶＥ」のタブが選択され、更に選択部１０２にて「リップ」が選択された場合の操作の受け付けについて説明する。「ＬＯＶＥ」のタブが選択され、更に「リップ」が選択された場合、撮影遊戯機のコンセプトＰＲに起用されている人物（モデル、タレント等）の唇写真画像がユーザの顔写真上に配置されるという機能が可能になる。この機能を実現するために画像処理部７は、ＨＤＤ７２に記憶されているメイク用情報７２０の内の唇写真画像の選択、及び、選択された唇写真画像の撮影画像への重畳操作を受け付ける。なお重畳操作の受け付けには、画像処理部７にて被写体人物の唇領域を自動的に特定して唇写真画像を自動的に配置する自動モードと、ユーザが手動操作によって唇領域に唇写真画像を配置する手動モードとがある。以下では「リップ」が選択された場合の操作受け付けに係る構成について詳細を説明し、タブ選択部１０１にて他のタブが選択された場合、及び選択部１０２にて「リップ」以外の種別が選択された場合の構成及び処理については、詳細な説明を省略する。
【００６９】
スタンプパレット３０１５，３０２５は、選択部１０２の下方の領域に、各素材種別に応じた操作ボタン群を含む。「リップ」が選択された場合は、素材画像（唇写真画像）の配置について自動モードと手動モードとが存在し、スタンプパレット３０１５は自動モードが選択されている場合の画面、スタンプパレット３０２５は手動モードが選択されている場合の画面を示している。
【００７０】
自動モードが選択されている場合のスタンプパレット３０１５における操作ボタン群は、顔サンプル表示部１０３、モード切替部１０４、全員選択部１０５、個別選択部１０６、顔切替部１０６１、及びキャンバス部１０７を含む。
【００７１】
手動モードが選択されている場合のスタンプパレット３０２５における操作ボタン群は、顔サンプル表示部１０３、モード切替部１０４、及びキャンバス部１０７を含む。
【００７２】
顔サンプル表示部１０３は、選択対象の素材のサンプル画像、又は複数の画像データに対して抽出された顔領域を含む矩形領域の画像が表示される画像である。自動モードが選択されているスタンプパレット３０１５の顔サンプル表示部１０３には、選択中の画像から抽出されたいずれかの顔領域を含む矩形領域の画像が表示されている。手動モードが選択されているスタンプパレット３０２５の顔サンプル表示部１０３には、選択中の素材画像のサンプル画像（上述のコンセプトＰＲに起用されている人物自身の写真画像）が表示されている。
【００７３】
モード切替部１０４は、素材画像の配置を自動的に実行させる自動モードとするか、手動操作で配置させる手動モードするかの選択を受け付けるボタンを含む。図５に示す例において、自動モードが選択されているスタンプパレット３０１５では、自動の選択を受け付けるボタンが選択中であることを示すために「自動」が強調して表示されている。手動モードが選択されているスタンプパレット３０２５では、逆である。
【００７４】
全員選択部１０５及び個別選択部１０６は、自動モードが選択されている場合に表示されるボタンである。全員選択部１０５及び個別選択部１０６は、プレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中に複数の顔領域が含まれるとき、該複数の顔領域の内の１つを素材画像の自動配置対象とするか、又は全顔領域を自動配置対象とするかの切り替えを受け付けるボタンである。
【００７５】
顔切替部１０６１は、個別選択部１０６が選択されている場合のみ有効化（表示）されるボタンである。顔切替部１０６１は、選択されてプレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中の複数の顔領域の内いずれを編集対象とするかを順次切り替えるためのボタンである。
【００７６】
キャンバス部１０７は、選択部１０２で選択された素材の種類に応じた色、パターン、又は大きさを選択するためのボタンが配置される領域である。自動モードが選択されているスタンプパレット３０１５のキャンバス部１０７は、配置させる素材画像の選択アイコン７０１と、配置された素材画像を取り除くＯＦＦボタン７０２とを含む。図５に示した落書き操作画面では、選択アイコン７０１は素材画像を小さくアイコン化したものである。図５に示す例における素材画像は、コンセプトＰＲに起用されている人物自身の唇の写真画像である。手動モードが選択されているスタンプパレット３０２５のキャンバス部１０７は、配置させる素材画像の選択アイコン７０１と、素材画像の回転又反転を受け付ける編集ボタン７０３と、素材画像の大きさの選択を受け付ける大きさ選択ボタン７０４とを含む。
【００７７】
図５に示した落書き操作画面における素材画像の選択を受け付ける処理についてフローチャートを参照して以下に説明する。図６は、唇写真画像の配置に係る操作の受け付けの処理手順の一例を示すフローチャートである。図６に示す処理手順は、図４のフローチャートに示した処理手順の内、ステップＳ２０６の落書き操作受付処理の詳細に対応する。そして以下の処理では、タブ選択部１０１にて「ＬＯＶＥ」のタブ、及び素材種別選択部１０２にて「リップ」が選択された場合、初期的には手動モードとなることとして説明する。
【００７８】
ＣＰＵ７０は、手動モードにおいて選択アイコン７０１が選択されたか否かを判断する（ステップＳ３０１）。選択アイコン７０１が選択されたと判断された場合（Ｓ３０１：ＹＥＳ）、ＣＰＵ７０は、選択された選択アイコン７０１に対応する唇写真画像を識別し（ステップＳ３０２）、識別された唇写真画像の重畳用画像の位置、大きさ及び向きを手動操作により受け付ける（ステップＳ３０３）。ステップＳ３０３においてＣＰＵ７０は、編集ボタン７０３にて回転又は反転の操作を受け付け、大きさ選択ボタン７０４にて拡縮の操作を受け付ける。
【００７９】
ＣＰＵ７０は、手動操作に基づき回転又は反転、及び拡縮がなされた重畳用画像をプレビュー表示部３０１（又はプレビュー表示部３０２）に表示させる（ステップＳ３０４）。ＣＰＵ７０は、表示中の重畳用画像に対応する唇写真画像の識別情報、並びにその位置、大きさ、及び回転角度等の情報を確定情報としてＨＤＤ７２に記憶し（ステップＳ３０５）、落書き操作が終了したか否かを判断する（ステップＳ３０６）。ステップＳ３０６ではＣＰＵ７０は、他のタブが選択されたか、時間切れになったか、又は終了指示を受け付けたかにより、「ＬＯＶＥ」の「リップ」に係る落書き操作が終了したか否かを判断する。
【００８０】
ステップＳ３０１にて、選択アイコン７０１が選択されていないと判断された場合（Ｓ３０１：ＮＯ）、ＣＰＵ７０は、モード切替部１０４にて自動モードへモードが切り替えられたか否かを判断する（ステップＳ３０７）。
【００８１】
自動モードへモードが切り替えられたと判断された場合（Ｓ３０７：ＹＥＳ）、以後は自動モードに遷移し、ＣＰＵ７０は、個別／全員切替処理を実行して唇写真画像の配置対象の顔領域を判別する（ステップＳ３０８）。個別／全員切替処理については後述にて詳細を説明する。
【００８２】
次にＣＰＵ７０は、選択アイコン７０１が選択されたか否かを判断する（ステップＳ３０９）。選択アイコン７０１が選択されたと判断された場合（Ｓ３０９：ＹＥＳ）、ＣＰＵ７０は、既存の重畳用画像が表示されているか否かを判断する（ステップＳ３１０）。ステップＳ３１０にて重畳用画像が表示されていると判断された場合（Ｓ３１０：ＹＥＳ）、ＣＰＵ７０は、既存の重畳用画像を非表示とし、確定情報としてＨＤＤ７２に記憶した情報を解除し（ステップＳ３１１）、処理をステップＳ３１２へ進める。ステップＳ３１０にて重畳用画像が表示されていないと判断された場合（Ｓ３１０：ＮＯ）、ステップＳ３１１は省略される。
【００８３】
ＣＰＵ７０は、自動モードにて選択された選択アイコン７０１に対応する唇写真画像を識別する（ステップＳ３１２）。ＣＰＵ７０は、配置対象の顔領域に、識別された唇写真画像を重畳用に拡縮又は回転させた重畳用画像を重畳配置する処理を実行し（ステップＳ３１３）、プレビュー表示部３０１（又はプレビュー表示部３０２）に表示させる（ステップＳ３１４）。ステップＳ３１３における重畳配置については詳細を後述する。ＣＰＵ７０は、表示中の重畳用画像、並びにその位置、大きさ、及び回転角度等の情報を確定情報としてＨＤＤ７２に記憶し（ステップＳ３１５）、処理をステップＳ３０９へ戻し、他の選択アイコン７０１が選択されたか否かを判断する。
【００８４】
ステップＳ３０９にて選択アイコンが選択されていないと判断された場合（Ｓ３０９：ＮＯ）、ＯＦＦボタン７０２が選択されたか否かを判断する（ステップＳ３１６）。ＯＦＦボタン７０２が選択されたと判断された場合（Ｓ３１６：ＹＥＳ）、ＣＰＵ７０は表示している重畳用画像を非表示とし、確定情報としてＨＤＤ７２に記憶した情報を解除し（ステップＳ３１７）、処理をステップＳ３０９へ戻し、他の選択アイコン７０１が選択されたか否かを判断する。
【００８５】
ステップＳ３０９にて選択アイコンが選択されていないと判断され（Ｓ３０９：ＮＯ）、更にステップＳ３１６にてＯＦＦボタン７０２が選択されないと判断された場合（Ｓ３１６：ＮＯ）、モード切替部１０４にて手動モードへモードが切り替えられたか否かを判断する（ステップＳ３１８）。
【００８６】
ステップＳ３１８において、手動モードへモードが切り替えられたと判断された場合（Ｓ３１８：ＹＥＳ）、ＣＰＵ７０は処理をステップＳ３０１へ戻し、以後は手動モードに遷移する。
【００８７】
ステップＳ３１８において、手動モードへモードが切り替えられていないと判断された場合（Ｓ３１８：ＮＯ）、他の素材種別（「ラクガキ」、「イラスト」又は「ことば」）が選択されたか、他のタブ（「ＳＰＥＣＩＡＬ」等）が選択されている。したがってＣＰＵ７０は、処理をステップＳ３０６へ進め、この場合、「ＬＯＶＥ」の「リップ」に係る落書き操作が終了したと判断される。
【００８８】
また手動モード時にステップＳ３０１にて選択アイコン７０１が選択されず、また、ステップＳ３０７にて自動モードへのモードが切り替えられてもいないと判断された場合（Ｓ３０７：ＮＯ）、他の素材種別が選択されたか、他のタブが選択されている。したがって、この場合ＣＰＵ７０は、処理をステップＳ３０６へ進め、「ＬＯＶＥ」の「リップ」に係る落書き操作が終了したと判断される。
【００８９】
次に、自動モードが選択された場合における個別／全員切替処理について説明する。図７は、自動モードにおける個別／全員切替処理の一例の詳細を示すフローチャートである。ＣＰＵ７０は、個別／全員切替処理の実行が落書き操作に係る処理の中で初回であるか否かを判断し（ステップＳ４０１）、初回であると判断した場合（Ｓ４０１：ＹＥＳ）、初期的に「みんな」を選択し（ステップＳ４０２）、特定されている全部の顔領域を含む所定範囲の画像を顔サンプル表示部１０３に表示する（ステップＳ４０３）。ＣＰＵ７０はこの場合、顔切替部１０６１を無効化し（ステップＳ４０４）、次のステップＳ４０５へ処理を進める。初回以外では、異なるメイクの種類が選択された場合でも直前に個別を選択していたのか、全員を選択していたのかを保持しておくためである。
【００９０】
ステップＳ４０１にて初回でないと判断された場合（Ｓ４０１：ＮＯ）、及びＳ４０４の後は、ＣＰＵ７０は「みんな」が選択中であるか否かを判断する（ステップＳ４０５）。「みんな」が選択中であると判断された場合（Ｓ４０５：ＹＥＳ）、ＣＰＵ７０は個別選択部１０６により「個別」が選択されたか否かを判断する（ステップＳ４０６）。「個別」が選択されていないと判断された場合（Ｓ４０６：ＮＯ）、ＣＰＵ７０は、編集対象の画像データにて特定された全顔領域をメイク対象とし（ステップＳ４０７）、個別／全員切替処理を終了し、落書き操作を受け付ける処理を続行する。
【００９１】
ステップＳ４０６にて個別選択部１０６が選択され、「個別」が選択されたと判断された場合（Ｓ４０６：ＹＥＳ）、ＣＰＵ７０は顔切替部１０６１を有効化すると共に（ステップＳ４０８）、編集対象の画像データにて特定されている全顔領域の内の１つの顔領域を選択する（ステップＳ４０９）。ＣＰＵ７０は選択された顔領域を含む画像を顔サンプル部１０３に表示し（ステップＳ４１０）、選択されている顔領域をメイク対象とし（ステップＳ４１１）、個別／全員切替処理を終了し、落書き操作を受け付ける処理を続行する。
【００９２】
ステップＳ４０５にて「みんな」が選択中でないと判断された場合（Ｓ４０５：ＮＯ）、ＣＰＵ７０は顔切替部１０６１が選択されたか否かを判断する（ステップＳ４１２）。ＣＰＵ７０は、顔切替部１０６１が選択されたと判断した場合（Ｓ４１２：ＹＥＳ）、選択されている顔領域に対して他の顔領域を巡回的に選択し（ステップＳ４１３）、処理をステップＳ４１０へ進める。
【００９３】
ステップＳ４１２にて顔切替部１０６１が選択されていないと判断された場合（Ｓ４１２：ＮＯ）、全員選択部１０５が選択され、「みんな」が選択されたか否かを判断する（ステップＳ４１４）。「みんな」が選択されたと判断された場合（Ｓ４１４：ＹＥＳ）、ＣＰＵ７０は特定されている全部の顔領域を含む所定範囲の画像を顔サンプル表示部１０３に表示し（ステップＳ４１５）、顔切替部１０６１を無効化して（ステップＳ４１６）、処理をステップＳ４０７へ進める。
【００９４】
ステップＳ４１４にて「みんな」が選択されていないと判断された場合（Ｓ４１４：ＮＯ）、他の部分が選択されるなどして落書き操作受付処理が継続中であるので、ＣＰＵ７０は処理を図６のフローチャートへ戻し、他の操作を受け付ける処理を続行する。
【００９５】
このように、本実施の形態における落書き操作の受け付けでは、唇写真画像の配置対象の顔領域を個別／全員で切り替えることが可能である。したがって複数のユーザで複数の撮影がなされた場合に、複数回の撮影に対応する複数の画像データ毎に、全員分の顔領域に同一の唇写真画像を配置する画像処理を行なうのか、個別の顔領域に夫々異なる唇写真画像を配置する画像処理を行なうのかを、ユーザが選択することが可能である。
【００９６】
自動モードに遷移しているときには、唇写真画像が自動的に配置されるが、その配置処理は、ユーザにとっては他人である人物の顔の一部分に写真画像をユーザの顔写真に自然に馴染むように配置するため、以下のような処理によって実現される。以下では、図６のフローチャートで説明した処理手順の内、ステップＳ３１３における処理、即ち、配置対象の顔領域に、唇写真画像を自動的に重畳配置する際の処理について詳細を説明する。
【００９７】
以下の自動配置を実現するに際し、ＨＤＤ７２のメイク用情報７２０に含まれる素材画像、特に、自動配置する唇写真画像に対しては個別に以下に示すような情報が記憶されている。図８は、素材画像の配置に関する情報の内容例を示す説明図である。図８には、図５における複数の選択アイコン７０１夫々に対応する唇写真画像を識別する情報（ＬＩＰ１〜ＬＩＰ８）に、各唇写真画像における唇の向きを示す情報が対応付けられている。また、各唇写真画像を配置する場合の調整サイズ及び基準位置を示す情報が識別情報に対応付けられている。
【００９８】
図８に示す内容例において例えば、「ＬＩＰ４」は正面からみて左向きの素材であり、「ＬＩＰ７」の唇写真画像は右向きの素材、「ＬＩＰ８」の唇写真画像は左向きの素材であり、それ以外は正面向きの素材である。そして調整サイズ（顔幅に対する割合（％）で表される値）については、「ＬＩＰ１」の唇写真画像には４０（％）が対応付けられ、「ＬＩＰ２」及び「ＬＩＰ３」の唇写真画像には５０（％）が対応付けられている。また、基準位置（鼻下から顎下までの線分における鼻下からの距離の割合（％）で表される値）については、「ＬＩＰ１」の唇写真画像には３３（％）が対応付けられ、「ＬＩＰ７」の唇写真画像には５０（％）が対応付けられている。なお、図８にて示した調整サイズ及び基準位置については詳細を後述する。
【００９９】
図８に示した情報に基づき、素材画像の自動配置処理について詳細を説明する。図９は、画像処理部７のＣＰＵ７０による自動配置に係る処理手順の一例を示すフローチャートである。なお図９のフローチャートに示す処理手順は、図６のフローチャートに示した処理手順の内のステップＳ３１３の詳細に対応する。
【０１００】
ＣＰＵ７０は、素材画像の配置対象の顔領域について、特定されている器官領域の特徴点、即ち各器官の輪郭に対応する画像中の画素の座標情報から、特定の器官の特定の特徴点の座標情報を抽出する（ステップＳ５０１）。ステップＳ５０１において唇写真画像の自動配置に関しては例えば、ＣＰＵ７０は、顔領域の輪郭上の特徴点の内、こめかみの座標の情報、額の頂点及び顎下の座標の情報を抽出する。またＣＰＵ７０は、「鼻」における鼻頭の座標及び鼻下の座標の情報を抽出する。
【０１０１】
ＣＰＵ７０は、抽出した特徴点の内、特定の特徴点に基づき、配置対象の顔領域の写真上の水平方向に対する傾きを特定する（ステップＳ５０２）。ステップＳ５０２において具体的には、ＣＰＵ７０は、こめかみの座標間の線分の画像における水平方向に対する角度を傾きとして特定する。
【０１０２】
ＣＰＵ７０は、特定された傾きに基づき、配置する重畳用画像の写真上における回転角度を決定する（ステップＳ５０３）。具体的にはＣＰＵ７０は、特定された傾きに合致させるようにして元の唇写真画像を回転させたものを重畳用画像とする。
【０１０３】
次にＣＰＵ７０は、配置対象の顔領域の顔の向きを判別する（ステップＳ５０４）。ステップＳ５０４において具体的には、ＣＰＵ７０は、こめかみの座標間の距離、即ち顔の幅をまず決定し、鼻頭の座標がその顔の幅において中央なのか、右寄りなのか又は左寄りなのかによって顔の向きを判別する。例えばＣＰＵ７０は、正面視左側のこめかみの座標と、鼻頭の座標との間の顔の幅方向における左側の距離と、鼻頭の座標と正面視右側のこめかみの座標との間の右側の距離とを比較し、その比率から顔の向きを正面、右向き又は左向きから判別する。
【０１０４】
ＣＰＵ７０は、ステップＳ５０４で判別した顔の向きに基づき、配置する重畳用画像の反転の要否を判断する（ステップＳ５０５）。ステップＳ５０５にＣＰＵ７０は、図８に示した素材画像の配置に関する情報を参照して決定する。詳細にはＣＰＵ７０は、選択アイコン７０１により選択されている唇写真画像の素材の向きと、ステップＳ５０４で判別された顔の向きとが逆である場合に、反転要と判断する。具体的には、素材の向きが右向きであるのに対し、判別された顔の向きが左向きである場合と、素材の向きが左向きであるのに対し、判別された顔の向きが右向きである場合とに、反転が実行される。
【０１０５】
ＣＰＵ７０は、重畳用画像の大きさを決定する（ステップＳ５０６）。ステップＳ５０６において具体的には、ＣＰＵ７０はまず、顔の幅（例えばこめかみの座標間の距離）を特定する。次にＣＰＵ７０は、選択アイコン７０１により選択されている唇写真画像の調整サイズを図８に示した素材画像の配置に関する情報から参照し、特定された顔の幅に対する調整サイズ（割合）から、重畳用画像の大きさを決定する。なお調整サイズは、顔の幅に対する割合には限られず、頬骨の間の幅に対する割合、目と目の間の幅に対する割合などであってもよい。
【０１０６】
ＣＰＵ７０は、重畳用画像の位置及び調整角度を決定する（ステップＳ５０７）。ステップＳ５０７において具体的には、ＣＰＵ７０はまず、基準位置として鼻下の座標から顎下の座標間の線分を特定し、該線分の長さ及び画像上の水平方向（又は垂直方向）に対するその線分の傾き角度を判別する。ＣＰＵ７０は、選択アイコン７０１により選択されている唇写真画像の基準位置の情報を図８に示した素材画像の配置に関する情報から参照し、特定された線分における鼻下の座標からの長さ（割合）に基づき、重畳用画像の位置を決定する。そしてＣＰＵ７０は、ステップＳ５０２で決定した角度からの調整角度を、判別された傾き角度から決定する。
【０１０７】
ＣＰＵ７０は、配置対象の顔領域における口領域を含む所定の範囲に対し、特定の処理を施したベース画像を作成しておく（ステップＳ５０８）。ベース画像の作成は、唇写真画像の重畳に際し、後述するように元の顔領域における口、口角及び皺が、重畳される唇写真画像からはみ出して見える場合、重畳される唇写真画像が自然に馴染んだ画像とならないから、これを防止するために行なわれる。ステップＳ５０８においてＣＰＵ７０は、特定された口領域を含んで所定の画素数だけ広げた範囲でぼかし処理をグラフィックボード７３に実行させ、更に、当該範囲における明るさの最大値フィルタ処理を実行させる。明るさの最大値フィルタとは、注目画素を、周辺画素の内の明度が最大である画素に置き換える処理である。これにより、肌色が膨張して唇が消失するような効果が得られる。
【０１０８】
ＣＰＵ７０は、ステップＳ５０８で作成したベース画像を、元の配置対象の顔領域の上に重畳して配置する（ステップＳ５０９）。更に、ＣＰＵ７０は、ステップＳ５０６で決定された大きさ、ステップＳ５０７で決定され大きさ、位置及び調整角度から重畳用画像を更に重畳させて配置し（ステップＳ５１０）、図６のフローチャートにおけるステップＳ３１４へ処理を戻す。
【０１０９】
なお、上述の処理手順の内のステップＳ５０２において、配置対象の顔領域の写真上の水平方向に対する傾きを特定する際に用いる器官領域の座標は、こめかみの座標には限定しない。例えば、両耳間の線分の水平方向に対する角度でもよいし、頬骨間の線分の水平方向に対する角度でもよい。また、額の上部中央（頂点）と顎先との間の線分の垂直方向に対する角度でもよい。このように顔の内で、表情による位置の変化が少なく、また対称となるような箇所間を結ぶ線分を用いるとよい。その他、顔の傾きを特定する種々の方法が適用できる。ここで注目すべきは、重畳用画像は唇写真画像を元にしたものであるが、その重畳用画像の回転角度を決定するに対して「口」に対して特定された座標情報を用いていない。これは「口」は表情によって多様な動き（開いている、閉じている、すぼめている、片方の口角のみ上げている等）が可能であるために例えば口角を元に回転角度を決定して配置した場合、不自然な結果となる可能性が高いという知見に基づく。なお、口に対して特定された座標情報も併せて用いてもよい。
【０１１０】
またステップＳ５０４における、顔の向きの判別についても勿論多様な方法が考えられる。鼻頭ではなくて眉間の座標を用いて、眉間の座標が顔の幅方向において中央なのか、右寄りなのか又は左寄りなのかによって判別するようにしてもよいし、対象の顔領域における鼻頭を通る顔の縦中心線にて分別される左右の肌色面積比から判別されてもよいし、利用する顔認識技術における顔の向きの判別を用いるようにしてもよい。その他、顔の向きを特定する種々の方法が適用できる。顔の向きを正面、右向き又は左向きの３段階で判別するのではなく、その角度を判別するか又はより多くの５段階、７段階の複数段階に分けて判別するようにしてもよい。そしてＣＰＵ７０は、元の唇写真画像を３次元的（立体的）に、顔の向きに合わせるように回転したものを重畳用画像とすることも可能である。
【０１１１】
更にステップＳ５０７における位置の方法も種々の方法が考え得る。例えば、人物被写体の顔領域における口領域中の、上唇領域、下唇領域の輪郭上の座標、口領域の中央に相当する座標、口角に対応する座標等から位置を決定してもよい。例えば、唇写真画像の上唇の中央下部の点と、人物被写体の口領域における同一箇所の特徴点とが合致するように位置を決定する方法も考えられる。同様にして、下唇の中央下部の点と、人物被写体の口領域における同一箇所の特徴点とが合致するように位置を決定する方法も考えられる。唇写真画像における中央の点と、人物被写体の口領域における中央に相当する特徴点とを合致させるように位置を決定する方法も考えられる。この場合、各唇写真画像に対応付けて、下唇の特徴点を基準とするのか、上唇の特徴点を基準とするのか、口領域の中央の特徴点を基準とするのかを図８に示したように、唇写真画像毎の基準情報として記憶しておくとよい。ただしこの場合、上述したように、「口」は表情によって多様な動きが可能であるため、口領域の輪郭（上唇、下唇の位置）を元に位置を決定して配置した場合、不自然な結果となる可能性が比較的高いという知見が得られている。したがって、唇写真画像を元にする重畳用画像の位置は、表情によって変化ができるだけ少ない器官（鼻下、顎下等、意思によって動かすことが困難な器官）の特徴点を基準とすることが好ましい。また、これらの器官の特徴点から、口が存在する位置として黄金比と呼ばれる比率に従って位置が決定されるとよい。これにより、更にユーザが満足する写真シールシートが得られる可能性が高い。
【０１１２】
ステップＳ５０８においても、種々の方法が考えられる。ステップＳ５０８におけるベース画像の作成は、元の顔領域における口、口角及び皺が、重畳される唇写真画像に自然に隠れるようにすることを目的としている。したがって１つの方法として、元の顔領域における口領域を小さくする方法がある。口領域の縮小は、顔領域に対して小顔にする加工の処理を適用することで実現される。具体的には、ＣＰＵ７０は、特定された口領域から所定の画素数大きい所定範囲内の画素を、縦横別に口領域の中心へ向けて所定の縮小率に従って移動させ、更に境界をぼかした画像を作成する。これにより、配置対象の顔領域における口領域が、口を小さくしたように狭まり、したがって口及び口周辺の陰影の範囲が重畳用画像よりも小さくなる可能性が高まり、重畳させたときに重畳用画像からはみ出さないことが期待される。
【０１１３】
ステップＳ５０８のベース画像の作成処理の他の１つの方法として、元の顔領域における重畳用画像の配置対象の領域を肌色で塗り潰す方法がある。より自然に写るべく、配置対象の顔領域における口領域周辺の肌色から、明るい肌色及び暗い肌色を抽出し、明暗の肌色のグラデーション画像を作成してこれをベース画像とする。グラデーションは中心から放射状のグラデーションでも斜め方向におけるグラデーション等であってもよい。ただしこの場合、ベース画像を口領域の外接矩形に相当する矩形画像とした場合、ベース画像を元の顔領域に重畳したときに境界部分が強調される可能性があるから、口領域のマスク画像（口領域の形状であって、境界がぼかされている画像）等を利用するなどするとよい。
【０１１４】
なお、図９のフローチャートで示した処理手順の内、ステップＳ５０１〜Ｓ５０８については、各器官の特定がなされた後に、全ての画像データの全顔領域に対し、全ての唇写真画像についてバックグラウンドで事前に行なわれておいてもよい。この場合、事前に決定されている位置、大きさ及び角度に基づき、選択アイコン７０１により選択される都度、選択された選択アイコン７０１に対応する重畳用画像を配置して表示させるのみとする。この場合、全画像データの全顔領域に対し、全唇写真画像についての処理が必要であるため事前処理の負荷が重くなるが、選択アイコン７０１の選択操作に対する応答速度が速く、スタンプを置く操作と同様に手軽に唇写真画像の自動配置の機能を利用することができる。
【０１１５】
図９のフローチャートに示した処理手順を、具体例を挙げて説明する。図１０は、重畳用画像の自動配置対象の顔領域の一例を示す説明図である。図１０は、図５の説明図における落書き操作画面のプレビュー表示部３０１に表示される画像中の顔領域の一例を模式的に示している。そして図１０では、配置対象の顔領域上に、唇写真画像の自動配置に用いるべくステップＳ５０１で抽出された特定の器官の特定の特徴点の座標情報が図示されている。具体的には、こめかみの座標（Ｆ２，Ｆ４）、額の頂点の座標（Ｆ１）及び顎下の座標（Ｆ３）、鼻頭の座標（Ｎ１）及び鼻下の座標（Ｎ２）が示されている。
【０１１６】
図１０に示される顔領域に対してＣＰＵ７０は、ステップＳ５０２にて、こめかみの座標Ｆ２，Ｆ４間の線分を特定し、該線分の画像における水平方向に対する角度を傾きとして特定する。図１０に示される顔領域の場合、座標Ｆ２，Ｆ４間の線分は画像における右側が下がるように傾いている。ステップＳ５０３において回転角度は図１０中に示す角度θを基準として一旦決定される。
【０１１７】
次にＣＰＵ７０は、ステップＳ５０４にて、座標Ｆ２，Ｆ４間の線分と平行であって鼻頭の座標Ｎ１を通る線分の長さ即ち顔の幅をＷと決定し、該線分を鼻頭の座標Ｎ１で区分した左側の長さＬ、右側の長さＲを特定する。そしてＣＰＵ７０は、左右の比率（例えばＬ／Ｒ）を算出する。ＣＰＵ７０は、算出した比率が第１の所定値（例えば６０％）以下であれば左向きと判別し、第１所定値よりも大きく且つ１００％よりも大きい第２の所定値（例えば１６７％）以上であれば右向きと判別する。そしてＣＰＵ７０は、算出下比率が第１の所定値よりも大きく第２の所定値未満であれば正面向きと判別する。図１０に示した顔領域の場合、ＣＰＵ７０は例えば顔は右向きと判別する。したがって次のステップＳ５０５では、ＣＰＵ７０は、図８で示した情報を参照し、左向きの素材である「ＬＩＰ４」又は「ＬＩＰ７」の唇写真画像を配置する場合には、反転要と判断する。
【０１１８】
ＣＰＵ７０はステップＳ５０６にて、上述の処理で線分の長さ即ち顔の幅をＷと決定しているから、図８で示した情報の内の調整サイズを参照し、決定した顔の幅に対する調整サイズで配置対象の唇写真画像を拡縮する。具体例では、例えば「ＬＩＰ１」の唇写真画像を配置する場合には、ＣＰＵ７０は重畳用画像の幅が顔の幅Ｗの４０％となるように重畳用画像を拡縮する。次にＣＰＵ７０は、ステップＳ５０７にてステップＳ５０２で決定した角度θと鼻下Ｎ２から顎下Ｆ３への線分（図中Ｂで示している）の水平方向に対する角度とに基づき、ステップＳ５０５にて拡縮した重畳用画像の回転角度を決定する。そしてＣＰＵ７０は、鼻下Ｎ２から顎下Ｆ３までの線分に対する割合で重畳用画像の配置位置を決定する。例えば「ＬＩＰ１」の唇写真画像を配置する場合には、線分Ｂにおける鼻下Ｎ２から３３％の位置、即ち鼻下の長さ１／３の位置を、重畳用画像の配置位置の基準として決定する。
【０１１９】
次に、ステップＳ５０８におけるベース画像の具体例について説明する。図１１〜図１３は、本実施の形態にて作成されるベース画像の内容例を示す説明図である。図１１〜図１３は、異なる方法で作成されたベース画像の夫々の違いを模式的に示すものであり、鼻の中央付近から顎下の下方までの領域を拡大して示している。
【０１２０】
図１１は、口領域を含んで所定の画素数だけ広げた範囲でぼかし処理及び明るさ最大値フィルタ処理をグラフィックボード７３に実行させた場合のベース画像の内容例を示している。図１１に示すように、口領域全体がぼやかされ、肌色が膨張して唇が消失している。これにより、このベース画像に別人の唇写真画像を重畳させたときに、元の口領域における陰影が消失しているために、自然に馴染んで見える。
【０１２１】
図１２は、顔領域における口領域を小さくする加工を行なった場合のベース画像の内容例を示している。口領域全体の画素が口の中心に向けて移動する処理により、図１２に示すように、口の大きさが元の口の大きさに比して一回り小さくなっている。これにより、このベース画像に別人の唇写真画像を重畳させたときに、元の口領域が小さくなっている重畳用画像からはみ出さず、自然に馴染んで見える。
【０１２２】
図１３は、元の顔領域における重畳用画像の配置対象の領域が肌色で塗り潰された場合のベース画像の内容例を示している。図１３では、塗り潰される領域の範囲を破線によって模式的に示しているが、この口領域を含む範囲が、顔領域の肌色から抽出された肌色により塗り潰される。実際の写真画像では肌色のグラデーションにより塗り潰されるとよい。これにより、このベース画像に別人の唇写真画像を重畳させたときに、元の口領域が周辺の肌色で塗り潰されているから、元の口領域における口角などが消失し、自然に馴染んで見える。
【０１２３】
そしてステップＳ５０９において、図１１〜図１３に示したようなベース画像上に、唇写真画像の重畳用画像が回転、拡縮され、決定された位置に配置される。図１４〜図１６は、本実施の形態における唇写真画像の重畳用画像の配置例を示す説明図である。図１４〜図１６はいずれも、図１０に示した顔領域上に唇写真画像が重畳されて表示された場合の例を模式的に示している。そして図１４〜図１６における（Ａ）は図１１で示したベース画像上に重畳させた例を示し、図１４〜図１６における（Ｂ）はベース画像無しで重畳させた場合の比較例を示している。
【０１２４】
図１４（Ａ）（Ｂ）は、図８にて示される「ＬＩＰ１」の唇写真画像に基づく重畳用画像が配置された例を示している。図１５（Ａ）（Ｂ）は、図８にて示される「ＬＩＰ７」の唇写真画像に基づく重畳用画像が配置された例を示し、図１６（Ａ）（Ｂ）は、図８にて示される「ＬＩＰ２」の唇写真画像に基づく重畳用画像が配置された例を示している。図１４〜図１６のいずれの場合も、ベース画像にて元の口領域の陰影が、ぼかし処理及び明るさの最大値フィルタによって弱まり、これにより唇の輪郭及び口角が薄まっており、重畳用画像が重畳されたとしても、主に口角の辺りの不自然さが解消されている。具体的には、元の顔では口角を左右に引き締めた表情をしているため、図１４（Ｂ）、図１５（Ｂ）、図１６（Ｂ）のいずれの場合も、口角がはみ出して違和感を生じさせる。特に、図１５にて配置される「ＬＩＰ７」の唇をすぼめた状態の唇写真画像や、図１６にて配置される「ＬＩＰ２」の口角が上がっている唇写真画像を重畳した場合には、不自然な印象を強く与える。しかしながら図１５（Ａ）及び図１６（Ａ）に示すように、ぼかし処理を行なったベース画像上に唇写真画像の重畳用画像を重畳することによって、元の顔領域における口角の印象が弱まり、そのまま重畳させた場合に比べて不自然さが解消される。
【０１２５】
そしてＣＰＵ７０は、上述のように自動配置された重畳用画像が確定された場合、その重畳用画像と位置、大きさ、及び回転角度等の情報を落書き操作にて受け付けた画像として合成処理を実行する（図４のフローチャートに示した処理手順におけるＳ２０８）。具体的には、元の加工処理後の画像における口領域に、ベース画像の作成と同じ処理を実行し、確定された重畳用画像を重畳させて合成する。
【０１２６】
図１７は、本実施の形態の撮影遊戯機で得られる写真画像の内容例を示す説明図である。図１７は、図５の説明図における落書き操作画面のプレビュー表示部３０１に表示される画像中の２つの顔領域夫々に唇写真画像の重畳用画像が自動的に配置された場合の合成処理（Ｓ２０８）後の画像全体を示している。図５の説明図におけるプレビュー表示部３０１に表示されている画像と図１７とを比較参照すると、唇写真画像の重畳によって印象が変わった写真画像が得られていることが判る。このように本実施形態の撮影遊戯機では、コンセプトＰＲに起用されている唇が特徴的で印象的な人物への憧れの気持ち、又は共感の気持ちを持つユーザがその人物の唇になりたいと思う気持ちを、手軽に満足させ得る。憧れの人物の顔領域の一部が自身の顔写真中に貼り付けられた写真が手軽に得られることで、ユーザは撮影自体を楽しむことができる。
【０１２７】
なお上述の実施の形態では、コンセプトＰＲに起用されている人物の唇写真画像を例に挙げて、これを自動的に重畳配置する場合について説明した。しかしながら本発明を適用することが可能な素材画像は、唇写真画像には限らないことは勿論である。被写体人物自身を撮影したものではない他人の身体の一部のパーツ画像を重畳配置するものであれば例えば目、鼻、眉、耳等の器官の画像であってもよいし、更には顎、頬、髪の毛、髭に対応する部分の画像であってもよい。またパーツ画像は写真画像でなくともよく、実写画像に見えるように作成されたグラフィック画像であってもよいし、実写風に描かれた画像、又は、イラスト、アニメ等のような画像であってもよい。いずれの画像を重畳するに際しても、表情によって変化が少ない特徴点を用いて位置、大きさ又は角度を決定するとよい。
【０１２８】
唇写真画像に限らないことを、例を挙げて説明する。図１８は、目の写真画像の重畳用画像の配置例を示す説明図である。なお図１８に示す例における重畳対象の目の写真画像は、つけまつげ及びカラーコンタクトをした他人の目の写真画像である。図１８（Ａ）は元の加工処理後の目領域を示し、図１８（Ｂ）は、図１８（Ａ）にぼかし処理及び明るさ最大値フィルタを施したベース画像を重畳した例を示し、図１８（Ｃ）は（Ｂ）のベース画像上に目の重畳用画像を重畳させた例を示す。目を重畳する位置、大きさ又は角度等に際しては、目尻又は目頭の特徴点の座標を用いて配置する場合、表情によって位置が変化し易いため安定性に欠ける。そこで目の周辺であってもこめかみ、眉間等の表情による位置の変化が少ない特徴点を用いるとよい。そして図１８（Ｄ）は比較例としてベース画像無しで目の重畳用画像を重畳させた場合の比較例を示している。図１８に示すように、（Ｄ）では目尻の線と、重畳する目の写真画像における目尻とが合致せず、更には元の目の二重の線が残っているために不自然な印象を与えるが、（Ｃ）では目尻の線も元の目の二重の線が消失しているために重畳された目の写真画像が馴染んだように見える。このように目領域全体の写真画像を重畳させる際も、馴染んで見えるように自動的に配置し、更に同様の処理のベース画像を作成することによって、他人の目の写真をユーザの顔写真上に重畳させても不自然さを低減させることが可能である。
【０１２９】
また、上述の「他人」とは実施の形態にて説明したようなコンセプトＰＲに起用したモデル、タレント等の人物ではなく、複数人で撮影した場合の他の人物であってもよい。他の画像データにおける同一人物であってもよい。いずれにおいても、異なる顔を写した写真画像を自然に見えるようにユーザの顔写真の中に配置するには、上述したように顔領域の中で表情によって変化が少ない部分の位置、範囲の特徴を用いて配置する処理手順が有効である。
【０１３０】
また、本実施の形態では、素材画像としてコンセプトＰＲに起用した人物の唇写真画像を口領域に自動的に重畳させる際に、図９のフローチャートに示した処理手順を実行することとした。しかしながらこれらの処理手順は、予め記憶してあるヘアアクセサリー画像、あるいは他のチーク、つけまつげ、又はアイライン等の他の素材画像（写真画像に限らない）を自動的に配置する処理に適用されてもよい。
【０１３１】
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３２】
７  画像処理部
７０  ＣＰＵ
７１  メモリ
７２  ＨＤＤ
７３  グラフィックボード
７Ｐ  画像処理プログラム
【図１】
2017147621.tif 000003
【図２】
2017147621.tif 000004
【図３】
2017147621.tif 000005
【図４】
2017147621.tif 000006
【図５】
2017147621.tif 000007
【図６】
2017147621.tif 000008
【図７】
2017147621.tif 000009
【図８】
2017147621.tif 000010
【図９】
2017147621.tif 000011
【図１０】
2017147621.tif 000012
【図１１】
2017147621.tif 000013
【図１２】
2017147621.tif 000014
【図１３】
2017147621.tif 000015
【図１４】
2017147621.tif 000016
【図１５】
2017147621.tif 000017
【図１６】
2017147621.tif 000018
【図１７】
2017147621.tif 000019
【図１８】
2017147621.tif 000020