(57)【要約】【課題】ユーザを撮影した撮影画像の元の色の色相、明度及び彩度等のパラメータの影響を受けることなく、被写体人物領域の部分毎に、該部分の色を豊かな表現で変更させることが可能な画像処理装置、画像処理方法、及びコンピュータプログラムを提供する。【解決手段】画像処理装置は、複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定する特定手段と、該特定手段により特定された領域に対する色を受け付ける受付手段と、前記領域内の色を、予め規定された色へ変更した均一化画像を作成する第１作成手段と、前記受付手段にて選択された色で前記特定された領域に対応する範囲を着色した着色画像を作成する第２作成手段と、前記均一化画像に対し、前記着色画像を合成する第１合成手段と、合成手段により合成した後の画像を、前記１つの画像へ合成する第２合成手段とを備える。【選択図】図１１
2018173885.tif 000002
【特許請求の範囲】
【請求項１】
一連の複数の画像を取得する手段と、取得された複数の画像から撮影されている人物被写体の顔及び該顔内の器官の領域を特定する特定手段とを備え、前記人物被写体に対応する領域に対する加工処理を行なう画像処理装置において、
前記複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定する特定手段と、
該特定手段により特定された領域に対する色を受け付ける受付手段と、
前記特定された領域内の色を、予め規定された色へ変更した均一化画像を作成する第１作成手段と、
前記受付手段にて選択された色で前記特定された領域に対応する範囲を着色した着色画像を作成する第２作成手段と、
前記均一化画像に対し、前記着色画像を合成する第１合成手段と、
合成手段により合成した後の画像を、前記１つの画像へ合成する第２合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段は、前記人物被写体の一部として髪の毛の領域を特定し、
前記第２作成手段は、髪色の選択を受け付けて着色画像としてヘアカラー画像を作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記規定された色は淡い茶色である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記規定された色は前記第２作成手段にて受け付ける色の選択肢毎に異なり、
前記第１作成手段は、
前記受付手段にて受け付けた色に対応する規定の色を決定し、
決定した色にて前記均一化画像を作成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第２作成手段は、前記画像上の複数箇所を含む軌跡の入力を受け付け、
前記特定された領域内で、受け付けた軌跡に対応する範囲を前記選択された色で描画する
ことを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記第１合成手段は、前記均一化画像上に前記着色画像を配置した場合に対応する画素同士について、画素値同士で所定の演算を行なうブレンド合成を実行する
ことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記第１作成手段は、前記特定された領域内の色を示す色情報と、前記領域内におけるテクスチャを表わすテクスチャ情報とに分離し、分離後の色情報が示す色を前記規定された色へ変更し、
前記第１合成手段は、前記均一化画像の色変更後の色情報に基づく画像上に、前記着色画像、テクスチャ情報に基づく画像を順に重ねて合成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかにおける髪の毛の領域に対し、前記第１及び第２作成手段、並びに、第１及び第２合成手段による処理を実行する
ことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
一連の複数の画像を取得するプロセッサが、取得した複数の画像に撮影されている人物被写体の顔及び該顔内の器官の領域を特定し、前記人物被写体に対応する領域に対する加工処理を行なう画像処理方法において、
前記複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定し、
特定された領域に対する色を受け付け、
特定された領域内の色を、予め規定された色へ変更した均一化画像を作成し、
受け付けられた色で前記領域に対応する領域を着色した着色画像を作成し、
前記均一化画像に対し、前記着色画像を合成し、
合成後の画像を更に、前記１つの画像へ合成する
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータに、一連の複数の画像を取得させ、取得された複数の画像に対する加工処理を実行させるコンピュータプログラムにおいて、
前記コンピュータに、
前記複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定し、
特定された領域に対する色を受け付け、
特定された領域内の色を、予め規定された色へ変更した均一化画像を作成し、
受け付けられた色で前記領域に対応する領域を着色した着色画像を作成し、
前記均一化画像に対し、前記着色画像を合成し、
合成後の画像を更に、前記１つの画像へ合成する
処理を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物であるユーザを被写体として写真撮影し、撮影結果が出力された所定の写真シールシート又は写真データを得ることができる撮影遊戯機における画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ユーザが自身を撮影して得られる写真シールシートを排出する装置が撮影遊戯機として提供されている。撮影遊戯機のユーザは、普段の自分とは異なる自分となった写真画像をゲーム感覚で得たいという要望を有している。実際の生活ではできないようなヘアメイクを施して変身した自分をデジタル画像の中で気軽に得ることができる機能が期待されている。
【０００３】
昨今の撮影遊戯機では、その多くにおいて顔にメイク（化粧）が施される画像処理が実施されている（特許文献１，２等）。いずれにおいても、ユーザ自身がその変身した結果に高揚感を得られるような画像としつつも、ユーザ自身を写した人物領域との馴染みをよくして違和感を生じさせない画像とすることを狙うものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１０４１６号公報
【特許文献２】特開２０１４−１３１１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
メイクを施したような画像を得るための画像処理では、メイクの対象となる目、眉、唇等、異なる顔のパーツ毎に処理を行なう。処理後に残りの領域との馴染みをよくし違和感を生じさせないようにするために、目、眉、唇などは元の画像の質感をそのまま利用したり、色を変更させた透過画像を重畳させたり、元の色と変更させたい色とを合成させたりする処理が行なわれる。透過画像の重畳処理、元の色との合成処理を行なう場合には、その対象の部分の元の色によっては、元の色の影響が強く出現して色変更の効果が弱まることがある。特に髪の毛のような明度が低い範囲に対する加工では、元の色に透過画像を重畳させたり、元の色に基づいて変更後の色を算出する加工を行なったりする場合には、演出通りの結果が得られない可能性が高い。例えば黒髪のユーザの髪色を薄いピンクなどの淡色に変化させる処理は困難であった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、ユーザを撮影した撮影画像の元の色の色相、明度及び彩度等のパラメータの影響を受けることなく、被写体人物領域の部分毎に、該部分の色を豊かな表現で変更させることが可能な画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、一連の複数の画像を取得する手段と、取得された複数の画像から撮影されている人物被写体の顔及び該顔内の器官の領域を特定する特定手段とを備え、前記人物被写体に対応する領域に対する加工処理を行なう画像処理装置において、
前記複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定する特定手段と、該特定手段により特定された領域に対する色を受け付ける受付手段と、前記特定された領域内の色を、予め規定された色へ変更した均一化画像を作成する第１作成手段と、前記受付手段にて選択された色で前記特定された領域に対応する範囲を着色した着色画像を作成する第２作成手段と、前記均一化画像に対し、前記着色画像を合成する第１合成手段と、合成手段により合成した後の画像を、前記１つの画像へ合成する第２合成手段とを備える。
【０００８】
本発明に係る画像処理装置では、前記特定手段は、前記人物被写体の一部として髪の毛の領域を特定し、前記第２作成手段は、髪色の選択を受け付けて着色画像としてヘアカラー画像を作成する。
【０００９】
本発明に係る画像処理装置では、前記規定された色は淡い茶色である。
【００１０】
本発明に係る画像処理装置では、前記規定された色は前記第２作成手段にて受け付ける色の選択肢毎に異なり、前記第１作成手段は、前記受付手段にて受け付けた色に対応する規定の色を決定し、決定した色にて前記均一化画像を作成する。
【００１１】
本発明に係る画像処理装置では、前記第２作成手段は、前記画像上の複数箇所を含む軌跡の入力を受け付け、前記特定された領域内で、受け付けた軌跡に対応する範囲を前記選択された色で描画する。
【００１２】
本発明に係る画像処理装置では、前記第１合成手段は、前記均一化画像上に前記着色画像を配置した場合に対応する画素同士について、画素値同士で所定の演算を行なうブレンド合成を実行する。
【００１３】
本発明に係る画像処理装置では、前記第１作成手段は、前記特定された領域内の色を示す色情報と、前記領域内におけるテクスチャを表わすテクスチャ情報とに分離し、分離後の色情報が示す色を前記規定された色へ変更し、前記第１合成手段は、前記均一化画像の色変更後の色情報に基づく画像上に、前記着色画像、テクスチャ情報に基づく画像を順に重ねて合成する。
【００１４】
本発明に係る画像処理装置では、複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかにおける髪の毛の領域に対し、前記第１及び第２作成手段、並びに、第１及び第２合成手段による処理を実行する。
【００１５】
本発明に係る画像処理方法は、一連の複数の画像を取得するプロセッサが、取得した複数の画像に撮影されている人物被写体の顔及び該顔内の器官の領域を特定し、前記人物被写体に対応する領域に対する加工処理を行なう画像処理方法において、前記複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定し、特定された領域に対する色を受け付け、特定された領域内の色を、予め規定された色へ変更した均一化画像を作成し、受け付けられた色で前記領域に対応する領域を着色した着色画像を作成し、前記均一化画像に対し、前記着色画像を合成し、合成後の画像を更に、前記１つの画像へ合成する。
【００１６】
本発明に係るコンピュータプログラムは、コンピュータに、一連の複数の画像を取得させ、取得された複数の画像に対する加工処理を実行させるコンピュータプログラムにおいて、前記コンピュータに、前記複数の画像の内の１つの画像毎に、該１つの画像内の前記人物被写体の一部に対応する領域を特定し、特定された領域に対する色を受け付け、特定された領域内の色を、予め規定された色へ変更した均一化画像を作成し、受け付けられた色で前記領域に対応する領域を着色した着色画像を作成し、前記均一化画像に対し、前記着色画像を合成し、合成後の画像を更に、前記１つの画像へ合成する処理を実行させる。
【００１７】
本発明では、人物被写体の一部に対応する範囲を規定された色へ変更した均一化画像に対して、選択された色で対応範囲が着色された着色画像を重ねて第１の合成を行ない、第１の合成後の画像を加工対象の画像上に重ねて合成する。これにより、元の色の影響を弱めて選択された色へ変更することが可能となり、加工対象の領域が比較的高彩度又は低明度の色を有した部分であっても色の変更が効果的になる。
【００１８】
本発明では、人物被写体の一部として特に髪の毛の領域について、規定された色へ変更した均一化画像を用いた合成を行なうことにより、従前では困難であった淡く明るい色への変更が可能になる。なお均一化画像の作成と、着色画像の作成とでは順序は限定されない。
【００１９】
本発明では、規定された色とは白のような無彩色ではなく淡い茶色とすることで、選択される色が、薄いピンク、薄いブルー、又は薄い紫のような淡色であっても馴染の良い色表現が可能となる。なお淡い茶色とは例えば画素値で表せば（Ｒ＝１５５、Ｇ＝１１０、Ｂ＝８０）である。なおＨＳＬ値で表した場合には例えば、Ｈ（色相）＝１６〜３０／３６０、Ｓ（彩度）＝３０〜５０／１００、Ｌ（輝度）＝３６〜５０／１００程度の範囲であれば淡い茶色となり得る。
【００２０】
本発明では、規定された色とは、選択される色に応じて異なり、均一化画像は選択された色に応じた規定色に変更されて作成される。これにより、従前では困難であった淡色への変更に限らず、元の画像の色に影響されない豊かな色表現が可能になる。
【００２１】
本発明では、手書き操作に基づく画像上の軌跡を選択された色で描画した着色画像を用いることで、特定された人物被写体の一部内の任意の箇所の色を、淡い色へ変更することが可能になる。
【００２２】
本発明では、均一化画像に着色画像を合成する処理は、ソフトライト合成、オーバーレイ合成等の所謂ブレンド合成と呼ばれる合成処理によって実現する。上に重ねる画像の色を反映させつつ明度を適切に上げる合成によって着色が効果的になる。
【００２３】
本発明では、均一化画像はフーリエ変換の周波数により、又はウェーブレット変換に基づき、色情報（低周波数成分）とテクスチャ情報（高周波数成分）とに分離し、色情報の色を規定された色へ変更して作成される。これにより、高周波数成分として抽出されるエッジ部分など元の質感が消失することなく色のみを変更させることが可能である。合成する際にテクスチャ情報を最も上にして画像を重ねるようにして合成することにより、質感を生かしつつ色が効果的に変更された合成画像が得られる。
【００２４】
本発明では、１つの画像に複数の人物被写体が写っている場合には、画像毎に、色の変更対象として複数の顔領域の内の１つずつと、全顔領域を選択する場合とが選択可能であり、選択された変更対象に対して処理が実行される。ユーザの好みに応じて色の変更をお揃いにしたり、個別に変更したり操作の自由度が向上する。
【発明の効果】
【００２５】
本発明による場合、撮影画像中のユーザの人物被写体領域の内、例えば眉毛、又は髪の毛の領域等、他よりも比較的高彩度又は低明度の色の部分に、処理を行なった場合でも従来は困難であった色の表現が元の質感を生かしつつ可能になった。これにより、ユーザが実際にヘアメイクを施されて変身したような画像を得ることができ、撮影遊戯機に設定されている演出通りの結果が得られ、その撮影遊戯機を選んだユーザの満足度を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】本実施の形態における撮影遊戯機の外観を示す斜視図である。
【図２】本実施の形態における撮影遊戯機の構成を模式的に示すブロック図である。
【図３】本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。
【図４】本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。
【図５】髪の毛の領域のマスク画像の内容例を模式的に示す説明図である。
【図６】髪色均一化画像の作成処理手順の一例を示すフローチャートである。
【図７】撮像画像の一例を模式的に示す説明図である。
【図８】図７の画像から作成される髪色均一化画像の一例を模式的に示す説明図である。
【図９】落書き操作画面の一例を模式的に示す説明図である。
【図１０】ワンタッチメイク時の髪色を変更する処理手順の一例を示すフローチャートである。
【図１１】ワンタッチメイク時の髪色を変更する処理の概要を示す説明図である。
【図１２】ヘアカラーメイク時の髪色を変更する処理手順の一例を示すフローチャートである。
【図１３】ヘアカラーメイク時の髪色を変更する処理の概要を示す説明図である。
【図１４】髪色変更後の画像の一例を模式的に示す説明図である。
【発明を実施するための形態】
【００２７】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００２８】
図１は、本実施の形態における撮影遊戯機の外観を示す斜視図である。撮影遊戯機は全体として、複数のユーザが入り込むことが可能な略直方体形状の箱型の装置である。撮影遊戯機は、おおまかに撮影エリアＡ及び編集エリアＢに分けることができ、夫々のエリアＡ，Ｂに複数の機器が設けられて構成される。
【００２９】
撮影エリアＡには、事前接客部１及び撮影部２に係る機器が設けられている。事前接客部１は撮影エリアＡの外側に向けて設けられているコイン投入口、タッチパネル式のディスプレイ及びスピーカ等を含んで構成されており、ユーザの撮影前のコインの投入、名前の登録等の操作を受け付ける。撮影部２は、撮影エリアＡ内部の壁面に内側に向けて設置されているカメラ２１、ディスプレイ２２、照明装置群２３、及びスピーカ２４（図２参照）を含んで構成されており、ユーザに撮影ガイドを表示し、音声で案内しながら複数回に分けて画像を撮影し、撮影された画像を編集部へ出力する処理を行なう。
【００３０】
編集エリアＢには、第１編集部３ａ、第２編集部３ｂ（図２参照）及び印刷部４に係る機器が設けられている。第１編集部３ａは編集エリアＢの中央部に操作画面表示用のマルチタッチパネル式のディスプレイ３０ａをユーザが操作しやすい高さに露出させた装置を含んで構成されている。第１編集部３ａは更にスピーカ３３ａ及び照明装置、並びにディスプレイ３０ａ用のタッチペン３１ａ，３２ａ（図２参照）を備えている。第１編集部３ａは、ユーザを撮影した撮影画像に基づく画像への落書き操作をディスプレイ３０ａ及びタッチペン３１ａ，３２ａにて受け付け、受け付けられた操作に対応する画像処理を実行する。第２編集部３ｂは第１編集部３ａ同様に構成され（図示省略）、第１編集部３ａと背中合わせの位置に設けられている。印刷部４は、編集エリアＢの第１編集部３ａ、第２編集部３ｂを含む装置の筐体内に設けられるプリンタを含んで構成され、画像処理後の画像が印刷された写真シールシートを筐体の表面に設けられている吐出口から吐き出す。
【００３１】
図２は、本実施の形態における撮影遊戯機の構成を示すブロック図である。撮影遊戯機は、撮影エリアＡ及び編集エリアＢにおけるユーザから視認可能な範囲に上述の事前接客部１、撮影部２、第１編集部３ａ、第２編集部３ｂ及び印刷部４を備えている。また撮影遊戯機は、撮影エリアＡ内の壁面に隠された箇所、又は編集エリアＢの装置の筐体内部等のユーザから視認不可能な位置に、通信部５と制御機構とを備えている。
【００３２】
通信部５は、インターネット等の外部ネットワークに接続して撮影された画像を含むデータの送受信を実現する。通信部５は制御機構に接続されており、制御機構は通信部５を介して外部ネットワーク上のサーバ装置と通信し、データの送受信を行なうことが可能である。本実施の形態における撮影遊戯機では、通信部５が撮影によって得られた画像データを撮影遊戯機のメーカが管理するサーバ装置へ送信する。これによりユーザはサーバ装置から自身の撮影画像を、所謂スマートフォン、タブレット端末、ＰＣ（Personal Computer ）等の情報端末装置にダウンロードし、情報端末装置内の記憶装置に記憶させることが可能である。
【００３３】
制御機構は、上述した各ハードウェアを制御するＰＣと、各ハードウェアが接続されているバス１００を含む制御基板と、各ハードウェアに電力を供給する図示しない電源部とにより構成される。ＰＣは１つのＰＣで構成されてもよいが、処理を円滑化するために、事前接客部１を制御するＰＣ、撮影部２を制御するＰＣ、第１編集部３ａを制御するＰＣ、第２編集部３ｂを制御するＰＣ、並びに印刷部４及び通信部５を制御するＰＣ、のように制御対象毎に異なるＰＣを用いてもよい。なお以下の説明では第１編集部３ａ及び第２編集部３ｂにおける落書き操作に基づく画像処理について主に説明する。このため、仮想的に第１ＰＣと第２ＰＣとに分別して説明する。第１ＰＣは、事前接客部１及び撮影部２における処理を制御する制御部６に対応する。第２ＰＣは、撮影部２により得られた画像に対する所定の加工処理、第１編集部３ａ及び第２編集部３ｂによる編集の受け付け、及び、これらに基づく合成を含む画像処理を制御し、印刷部４における印刷出力、及び通信部５からのデータ送信を指示する画像処理部７に対応する。
【００３４】
制御部６は、第１ＰＣに備えられたＣＰＵ（Central Processing Unit ）６０と、メモリ６１と、ＨＤＤ（Hard Disk Drive）６２と、キャプチャ・クロマキーボード６３とを含む。メモリ６１はＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、ＨＤＤ６２に替えてフラッシュメモリ、又はＳＳＤ（Solid State Drive ）等の他の不揮発性記憶装置を用いてもよい。
【００３５】
ＣＰＵ６０は、ＨＤＤ６２に記憶されている制御プログラム６Ｐを読み出し、メモリ６１に各種情報を読み書きしながら前記制御プログラム６Ｐを実行することにより、以下の各機能を実現する。
【００３６】
ＣＰＵ６０は、事前接客部１のコイン投入口にて所定料金の投入を受け付けた場合に事前接客部１から出力される制御信号を入力し、タッチパネル式のディスプレイに操作画面を出力させ、スピーカから案内音声を出力させる。また、ＣＰＵ６０は、事前接客部１のディスプレイに表示されている操作画面上の操作に対応する情報を事前接客部１から入力する。具体的にはＣＰＵ６０は、タッチパネル式のディスプレイ上の操作により、ユーザの名前、通信部５からの送信先アドレスに係る情報等を入力する。
【００３７】
ＣＰＵ６０は、撮影部２にてカメラ２１から得られるモニタ用の映像信号をキャプチャ・クロマキーボード６３が入力するように制御し、キャプチャ・クロマキーボード６３から映像信号に含まれる各フレームの画像データを取得し、取得したフレームの画像データに基づいてライブ画面用の画像の映像信号を作成し、作成した画像信号をディスプレイ２２へ出力する。またＣＰＵ６０は、撮影開始及び案内をユーザに通知するための撮影ガイドの画像信号をディスプレイ２２へ出力し、音声信号をスピーカ２４へ出力する。
【００３８】
ＣＰＵ６０は、撮影部２のカメラ２１による撮影と照明装置群２３によるフラッシュ点灯とを同期させて撮影を行なう。なおＣＰＵ６０は、カメラ２１による撮影を複数回実行する。ＣＰＵ６０は、撮影により得られる画像の複数の画像データをカメラ２１から取得し、夫々を区別できるように識別情報を付与してＨＤＤ６２に記憶すると共に、複製して画像処理部７へ出力する。
【００３９】
ＨＤＤ６２は、ＣＰＵ６０が参照する各種情報を記憶する。ＨＤＤ６２は、ＣＰＵ６０が実行する制御プログラム６Ｐを予め記憶している。ＨＤＤ６２は、制御プログラム６Ｐのほかに、事前接客部１のディスプレイ及び撮影部２のディスプレイ２２に表示する画像及びフォントデータ、事前接客部１のスピーカ及び撮影部２のスピーカ２４から出力させる音声及び音楽等のデータを予め記憶している。また、ＨＤＤ６２には、撮影部２における写真撮影で得られる画像データが記憶される。
【００４０】
キャプチャ・クロマキーボード６３は、キャプチャ機能及びクロマキー機能を有する回路基板である。キャプチャ・クロマキーボード６３は、映像信号から毎秒３０（２９．９７）枚のフレームの画像データを取得して静止画像として出力するキャプチャ機能を有する。またキャプチャ・クロマキーボード６３は、静止画像から一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素に対してα値（透明度）を設定することにより一部の色を透明化して出力するクロマキー機能を有する。キャプチャ・クロマキーボード６３は、カメラ２１からのモニタ用の映像信号から順次フレームをキャプチャし、キャプチャして得られた静止画像に必要に応じてクロマキー処理を実行し、内蔵するメモリに書き込む。ＣＰＵ６０は、キャプチャ・クロマキーボード６３内蔵のメモリから静止画像を順次読み出して、撮影部２のディスプレイ２２に表示するライブ画面用の画像の画像信号を作成する。
【００４１】
画像処理部７は、第２ＰＣに備えられたＣＰＵ７０と、メモリ７１と、ＨＤＤ７２と、グラフィックボード７３とを備える。メモリ７１は、ＤＲＡＭ又はＳＤＲＡＭ等のＲＡＭを用いる。
【００４２】
ＣＰＵ７０は、ＨＤＤ７２に記憶されている画像処理プログラム７Ｐを読み出し、メモリ７１に各種情報を読み書きしながら前記画像処理プログラム７Ｐに基づく画像処理を実行する。またＣＰＵ７０は、制御部６から出力された画像データを、付与されている識別情報と共にメモリ７１又はＨＤＤ７２に記憶し、該画像データを基に加工処理を行なう。加工処理には、画像中の人物の顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見えるようにする加工等、種々の加工が含まれる。ＣＰＵ７０は、加工の種類毎に複製した画像データをメモリ７１又はＨＤＤ７２に記憶し、各画像データに加工処理を実行し、加工後の複数の画像データをメモリ７１又はＨＤＤ７２に記憶する。
【００４３】
更にＣＰＵ７０は、メモリ７１又はＨＤＤ７２に記憶してある撮影により得られた上述の加工処理前及び加工処理後の複数の画像データに基づき、第１編集部３ａ又は第２編集部３ｂにて落書き操作を受け付ける。ＣＰＵ７０は、落書き操作として受け付けた操作の内容に応じて、後述する落書き操作画面のプレビュー表示部に表示する手書き文字又はメイクを含むスタンプ等の画像データを作成する。ＣＰＵ７０は、作成した画像データを第１編集部３ａ又は第２編集部３ｂのディスプレイへ出力する。更にＣＰＵ７０は、落書き操作画面のプレビュー表示部に表示されている確定した編集内容に応じて合成画像データを作成する。落書き操作の受け付け及び合成画像データの作成については詳細を後述する。更にＣＰＵ７０は、作成された合成画像データに基づき画像を写真シールシートに印刷出力する処理、合成画像データ又は合成処理前の画像データを通信部５から外部サーバ装置へ送信する処理を実行する。
【００４４】
ＨＤＤ７２は、ＣＰＵ７０が参照する各種情報を記憶する。ＨＤＤ７２は、ＣＰＵ７０が実行する画像処理プログラム７Ｐを予め記憶している。ＨＤＤ７２は、第１編集部３ａ及び第２編集部３ｂのディスプレイに表示する案内用の文字画像、合成用の素材である文字、フォントデータ又は画像、スピーカから出力させる音楽及び音声等のデータを予め記憶している。合成用の素材である画像の中には、メイクを施す機能を実現するべくメイク用情報７２０が予め記憶されている。メイク用情報７２０には、リップパターン情報、チーク用画像、カラコン画像、アイライン画像、つけまつげ画像、及びヘアカラー用パターン情報、ヘアアクセサリ画像等の素材画像が含まれる。メイク用情報７２０は書き換え可能である。またＨＤＤ７２には、受け付けた編集に基づく画像処理により得られた画像データ、合成後の画像の画像データが記憶される。
【００４５】
グラフィックボード７３は、入力した画像データ及び描画命令に基づいて画像を描画し、描画した画像の画像データを出力するハードウェアである。ＣＰＵ７０は、制御部６から取得して記憶した画像データに対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像データと、目的の画像を得るための描画命令とをグラフィックボード７３に与えて処理を行なわせ、描画処理によって得られた画像データをグラフィックボード７３内蔵のメモリから入力する。描画処理には、拡縮、回転、移動、クロマキー機能、トリミング機能、α化機能、明度又は色調等の調整機能、フィルタ機能、合成機能等が含まれる。
【００４６】
図３及び図４は、本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。なお、制御部６にて行なわれる処理手順と、画像処理部７にて行なわれる処理手順とに分けて説明する。図３は、制御部６により実行される撮影の処理手順の一例を示すフローチャートである。
【００４７】
図３のフローチャートに示す処理手順は、事前接客部１のタッチパネル式のディスプレイにおける操作及びコイン投入を制御部６のＣＰＵ６０によって検知した場合に開始される。
【００４８】
ＣＰＵ６０は、事前接客部１のタッチパネル式のディスプレイにて、ユーザの名前の入力、撮影コースの選択、又は出力されるシートデザインの選択等を受け付ける（ステップＳ１０１）。ＣＰＵ６０は、撮影エリアＡの空き状況を確認した上で、撮影エリアＡが空いている場合には移動を促す移動案内画面をディスプレイに表示させると共に案内音声を出力する（ステップＳ１０２）。
【００４９】
次にＣＰＵ６０は、撮影エリアＡ内にて撮影部２のディスプレイ２２に、撮影内容の案内画面を表示させ、案内音声及びＢＧＭをスピーカ２４から出力させる（ステップＳ１０３）。このとき表示される案内画面には、撮影部２のカメラ２１のモニタ出力に基づくライブ映像と、各撮影回のポーズ見本とが含まれるとよい。なおこのとき表示されるライブ映像にて、ステップＳ１０１で選択された撮影コース、シートデザインによっては、後述する髪色加工処理をリアルタイムに行なって加工処理後の画像が映像として表示されるようにしてもよい。
【００５０】
ＣＰＵ６０は、ステップＳ１０１で選択された撮影モード又はシートデザインに応じて、撮影部２のカメラ２１及び照明装置群２３を制御して複数回の撮影を実行する（ステップＳ１０４）。ＣＰＵ６０は、各回の撮影により得られる画像データを相互に識別することが可能にＨＤＤ６２に記憶する（ステップＳ１０５）。ステップＳ１０４における複数回の撮影では、ステップＳ１０１で選択された撮影モード又はシートデザインに応じて、腰から上のアップ撮影と足先も含む全身撮影とが区別されて実行されるとよい。
【００５１】
撮影が完了するとＣＰＵ６０は、編集エリアＢの空き状況を確認した上で、空いている場合には編集エリアＢの第１編集部３ａ又は第２編集部３ｂのいずれかへの移動を促す案内画面をディスプレイ２２に表示させると共に、案内音声をスピーカ２４から出力させ（ステップＳ１０６）、制御部６における処理を終了する。
【００５２】
次に画像処理部７における処理へ移行する。図４は、画像処理部７にて実行される画像処理、落書き操作受付及び印刷の処理手順の一例を示すフローチャートである。なお以下の説明はユーザが、第１編集部３ａ及び第２編集部３ｂの内、第１編集部３ａへ移動を促されて落書き操作を行なう場合を例とするが、第２編集部３ｂにおいて落書き操作が行なわれる場合も同様の処理であるから詳細な説明を省略する。
【００５３】
画像処理部７のＣＰＵ７０は、制御部６のＣＰＵ６０によりＨＤＤ６２に記憶された画像データを取得する（ステップＳ２０１）。ＣＰＵ７０は、取得した複数の画像データ夫々に対し、１又は複数の人物被写体領域を抽出する処理を実行する（ステップＳ２０２）。ステップＳ２０２における抽出処理は詳細には、画像データを与えられたグラフィックボード７３が、画像データに基づく画像から人物被写体領域に対応する画素をα化（透明化）したマスク画像の画像データを作成することで実現される。
【００５４】
ＣＰＵ７０は、複数の画像データ別に、ステップＳ２０２の抽出処理によって抽出された１又は複数の人物被写体領域夫々に対し、顔認識技術に基づいて顔領域（輪郭）、並びに顔領域内の目、鼻、及び口などの各器官領域の特徴点を特定する処理を実行する（ステップＳ２０３）。ステップＳ２０３の処理は、肌色検出、テンプレートマッチング等の種々の既存技術を利用して行なえばよい。そしてステップＳ２０３においてＣＰＵ７０は、顔領域及び器官領域の特徴点を、夫々の輪郭に対応する画像中の画素の座標の情報で特定する。具体的には、顔であれば、こめかみ、額の頂点、顎下、頬の輪郭上の複数の座標が夫々特定される。目であれば目頭、目尻、上瞼輪郭上の複数の箇所、及び下瞼輪郭上の複数の箇所の座標が夫々特定される。また口であれば、両端即ち口角と、口領域の中心と、上唇及び下唇別の輪郭上の複数の箇所の画像内における座標が夫々特定される。特定された座標情報がメモリ７１又はＨＤＤ７２に画像データ夫々と対応付けて記憶される。他には、鼻の輪郭及び鼻頭、眉の眉頭及び眉尻の位置等を特定する座標の情報が記憶される。
【００５５】
そしてＣＰＵ７０は、１又は複数の人物被写体領域夫々に対し、髪の毛の領域を特定する処理を実行する（ステップＳ２０４）。髪の毛の領域の特定方法は種々の方法が想定されるが、例えばＣＰＵ７０は、ステップＳ２０３で特定された顔領域及び各器官領域の特徴点を用いるとよい。具体的には、特定された顔領域の特徴点の内、額の頂点の情報に基づいて、ＣＰＵ７０は、額の頂点から数画素分上方に位置する特定画素における色情報を取得し、特定画素を基準として隣接する注目画素の色情報を順に参照する。注目画素の色情報が示す色が、特定画素の色情報が示す色から所定の範囲内で類似する色（一致する色であると判断できる）である場合、注目画素は特定画素を含む髪の毛の領域内であると認定し、これを繰り返して色が類似すると判断された注目画素の集合を髪の毛の領域を特定するとよい。なお髪の毛の領域として特定される領域は、類似すると判断された注目画素の集合に対応する範囲から０．０〜２．０画素等の所定の画素分内側の範囲とするとよい。これは、肌の部分との境界付近の肌部分側を髪の毛の領域として誤って特定することを回避するためである。そして特定された髪の毛の領域は、輪郭を示す座標情報、又はその領域内に対応する画素をα化（透明化）することにより得られるマスク画像として、画像中の人物被写体領域を識別する情報と対応付けて記憶するとよい。図５は、髪の毛の領域のマスク画像の内容例を模式的に示す説明図である。図５中の白い領域がα化された領域である。
【００５６】
図４に戻り、説明を続ける。ＣＰＵ７０は、特定した髪の毛の領域に基づき、髪色を均一化させた髪色均一化画像を作成する（ステップＳ２０５）。髪色均一化画像の作成については詳細を後述する。
【００５７】
次にＣＰＵ７０は、複数の画像データ別に、抽出された人物被写体領域、特定された顔領域、並びに顔領域内の各器官領域に対する加工処理を実行する（ステップＳ２０６）。ステップＳ２０６にてＣＰＵ７０は、複数回の撮影で得られた画像データ夫々に対し、撮影の方法（アップ撮影又は全身撮影等）に適した加工処理を行なう。加工処理には上述したように、顔を小顔にする加工、目を大きくする加工、身体のラインを細く見せるための加工、脚を長くみせる加工等が含まれる。
【００５８】
ステップＳ２０６までの処理は、図３のフローチャートにおけるステップＳ１０４の複数回の撮影処理が行なわれる都度、各撮影に対して記憶される画像データに対してバックグラウンド的に開始される。そしてステップＳ１０６における編集エリアＢへの案内画面の表示中に処理が進むように実行されてもよい。
【００５９】
次にＣＰＵ７０は、落書き操作画面を第１編集部３ａのディスプレイ３０ａに表示させると共に、案内音声及びＢＧＭをスピーカ３３ａから出力させる（ステップＳ２０７）。そしてＣＰＵ７０は、落書き操作画面上でディスプレイ３０ａ及びタッチペン３１ａ，３２ａによりスタンプ貼付け、文字追加、及びメイクを含む落書き操作を受け付ける（ステップＳ２０８）。落書き操作の受け付け処理についても、詳細を後述する。
【００６０】
ＣＰＵ７０は更に、合成後の写真シールシートにおけるレイアウト等の選択を受け付ける（ステップＳ２０９）。ＣＰＵ７０は、ステップＳ２０８で受け付けた落書き操作、ステップＳ２０９で受け付けたレイアウトに基づき、合成処理を実行する（ステップＳ２１０）。ステップＳ２１０において具体的には、ＣＰＵ７０は各画像データに基づく画像に対する加工処理後の画像に、落書き操作にて受け付けたスタンプ、手書き文字、重畳用メイク画像等の画像を合成し、写真シールシートにレイアウトする合成処理を実行する。
【００６１】
ＣＰＵ７０は、合成処理後の写真シールシートのプレビュー画面を含む画面をディスプレイ３０ａに表示させる（ステップＳ２１１）。ＣＰＵ７０は、印刷部４のプリンタが使用中であるか否かを確認した上で、使用中でない場合に印刷部４のプリンタにて写真シールシートの印刷出力を開始させる（ステップＳ２１２）。印刷出力処理が行なわれている間にＣＰＵ７０は、撮影された複数の画像の内、ユーザが所持する情報端末装置から入手可能とする画像の選択、情報の送信先アドレスの入力等の操作を第１編集部３ａのディスプレイ３０ａにて受け付ける（ステップＳ２１３）。ＣＰＵ７０は、受け付けた操作に応じて選択された画像の画像データを外部サーバ装置へ送信する（ステップＳ２１４）。ＣＰＵ７０は、印刷出力処理が終了するまで、第１編集部３ａのディスプレイ３０ａに待機中画面を表示し、印刷出力処理が完了した場合には印刷部４の前への移動を促す案内画面を表示させると共に、案内音声を出力させ（ステップＳ２１５）、処理を終了する。
【００６２】
図６は、髪色均一化画像の作成処理手順の一例を示すフローチャートである。以下の処理は、一連の撮影で得られる複数の画像データに対して行なわれる。
【００６３】
ＣＰＵ７０は、１の画像データを選択し（ステップＳ５１）、選択した画像データに基づく画像中の１の顔領域を選択する（ステップＳ５２）。ＣＰＵ７０は、選択した顔領域に対応して図４のフローチャートのステップＳ２０４で特定した髪の毛の領域の情報（マスク画像）を抽出する（ステップＳ５３）。ＣＰＵ７０は、選択した画像データに基づく画像中のステップＳ５３で抽出した髪の毛の領域に対応する部分を、グラフィックボード７３を用いて色情報の画像とテクスチャ情報の画像とに分離し、夫々を記憶する（ステップＳ５４）。色情報とテクスチャ情報との分離は、例えばフーリエ変換を用いた周波数分離によって分離してもよいし、ウェーブレット変換等他の手段を用いてもよい。
【００６４】
ＣＰＵ７０は、ステップＳ５４で記憶した色情報の画像における髪色の部分の色を、所定の色に変更し（ステップＳ５５）、変更後の色情報の画像及び分離したテクスチャ情報の画像を夫々画像データ及び顔領域に対応付けて記憶する（ステップＳ５６）。なおステップＳ５６では、変更後の色情報の画像と分離したテクスチャ情報の画像とを合成して戻しておいてもよい。
【００６５】
ＣＰＵ７０は、全ての顔領域を選択したか否かを判断し（ステップＳ５７）、全てを選択していないと判断した場合（Ｓ５７：ＮＯ）、処理をステップＳ５２へ戻す。ステップＳ５７で全ての顔領域を選択したと判断された場合（Ｓ５７：ＹＥＳ）、ＣＰＵ７０は、一連の複数の撮影画像の全ての画像データを選択したか否かを判断する（ステップＳ５８）。全ての画像データを選択していないと判断された場合（Ｓ５８：ＮＯ）、ＣＰＵ７０は処理をステップＳ５１へ戻し、全ての画像データを選択したと判断された場合（Ｓ５８：ＹＥＳ）、ＣＰＵ７０は髪色均一化画像の作成処理を終了し、図４のステップＳ２０６へ処理を戻す。
【００６６】
図６のフローチャートに示した処理手順について、具体例を挙げて説明する。図７は、撮像画像の一例を模式的に示す説明図であり、図８は、図７の画像から作成される髪色均一化画像の一例を模式的に示す説明図である。いずれも写真画像を線図により模式的に示している。図７の説明図に示されている画像例では、２人の人物被写体が撮影されており、２人分の人物被写体における髪色領域の色は一方が暗めで他方が明るめである。図７の画像を線図により模式的に示す例では、ハッチングの密度が濃い方が髪色の明度が他方よりも低い即ち暗い色、黒髪に近いことを示しており、密度が薄い方が髪色の明度が他方よりも高い即ち明るめの所謂茶髪に近いことを示している。図８の説明図に示されている髪色均一化画像は、色変更後の色情報とテクスチャ情報とを合成した画像を示している。図８の説明図に示されている画像例では、図７の説明図に示されている画像例と比較した場合に明らかなように、髪色の明度が統一されつつ、髪の毛の流れを表わすテクスチャがそのまま維持されていることが分かる。なお色相及び彩度についても元の色に寄らずに規定色としてあり、例えば画像信号における三原色（赤：Ｒ、緑：Ｇ、青：Ｂ）の画素値で表せば淡い茶色（Ｒ＝１５５、Ｇ＝１１０、Ｂ＝８０）である。なおＨＳＬ値で表した場合にＨ（色相）＝１６〜３０／３６０、Ｓ（彩度）＝３０〜５０／１００、Ｌ（輝度）＝３６〜５０／１００程度の範囲であれば淡い茶色となり得る。このとき無彩色である白ではなく、明るい茶色とすることで、後述する淡い色への変更時に演出通りの結果が得られる。なおこの規定色は、後述する髪色変更処理における髪色均一化画像とヘアカラー画像との合成処理の種類によって異なる可能性がある。また、この規定色は、変更後の色を淡い色としたいのか、鮮やかな色にしたのかによって異なる可能性があるから、選択される色に応じて規定色が異なる設定としてもよい。
【００６７】
なお図６〜図８で説明した髪色均一化画像の作成は、図４のフローチャートにおけるステップＳ２０５で予め実施しておくことには限定されない。後述するように、落書き操作を受け付ける際に、髪色を変更する操作が行なわれた時点で実行されてもよい。落書き操作を受け付ける際に髪色均一化画像を作成する場合は、選択された色に対応付けて設定されている規定色にて均一化された髪色均一化画像を作成するようにしてもよい。
【００６８】
次に、落書き操作の受け付けについて詳細を説明する。図９は、落書き操作画面の一例を模式的に示す説明図である。落書き操作画面は、第１編集部３ａのディスプレイ３０ａに表示され、ユーザはタッチペンによって落書き操作画面上で各種の選択、画像の移動及び拡縮又は回転、手書き入力、並びに描画等の操作を行なうことができる。第２編集部３ｂにおける落書き操作についても同様であるので詳細な説明を省略する。
【００６９】
落書き操作画面は、ユーザを人物被写体として撮影した画像のプレビュー表示部３０１，３０２を左右に有している。プレビュー表示部３０１，３０２に表示されている画像は夫々、所定の加工処理（図４におけるステップＳ２０６）後の画像であり、プレビュー表示部３０１，３０２上で手書き入力等の操作がタッチペン３１ａ，３２ａにより格別に受け付けられる。２つのプレビュー表示部３０１，３０２に対して夫々、複数の画像データに基づく複数の画像からいずれの画像の画像データを編集対象とするかを選択するための選択部３０１１，３０１２を有している。
【００７０】
落書き操作画面は、プレビュー表示部３０１とプレビュー表示部３０２との間の中央部に、手書き入力用のペンの色、ペン種、ペンの太さを夫々選択するためのペンパレット部３０３を有する。ペンパレット部３０３においては、プレビュー表示部３０１上で操作するためのタッチペン３１ａからの選択操作と、プレビュー表示部３０２上で操作するためのタッチペン３２ａからの選択操作とを夫々識別して受け付ける。またペンパレット部３０３には、選択されたペンの色、ペン種及び太さによる手書き文文字のサンプルを表示するためのペンプレビュー部３０３１及びペンプレビュー部３０３２が含まれる。
【００７１】
落書き操作画面には、プレビュー表示部３０１及びプレビュー表示部３０２の下方に夫々対応するように、予め記憶されているスタンプ画像及びメッセージ画像などの素材画像を選択するためのスタンプパレット３０４が含まれる。スタンプパレット３０４は夫々、プレビュー表示部３０１，３０２に表示されている２つのプレビュー画像に対して重畳させるスタンプ等の画像のカテゴリーを選択するためのタブ選択部１０１を有している。タブ選択部１０１には実施の形態１においては「ＳＰＥＣＩＡＬ」「ＳＴＡＭＰ」「ＭＥＳＳＡＧＥ」及び「ＭＡＫＥ」の例えば４種類のタブが選択可能に表示されている。「ＳＰＥＣＩＡＬ」は特別なイベント期間又は季節に関連付けられている特別な素材の選択を受け付ける画面を表示するためのタブである。「ＳＴＡＭＰ」は予め記憶してあるイラスト等の画像を選択する画面を表示するためのタブである。「ＭＥＳＳＡＧＥ」は予め記憶してある文字を含むメッセージ画像を選択する画面を表示するためのタブである。「ＭＡＫＥ」はＨＤＤ７２に記憶されているメイク用情報に基づく画像の選択を受け付ける画面を表示するためのタブである。
【００７２】
図９に示す落書き操作画面では、プレビュー表示部３０１，３０２と対応する両方のタブ選択部１０１で「ＭＡＫＥ」のタブが選択されている場合の内容例が示されている。「ＭＡＫＥ」のタブが選択されている場合のスタンプパレット３０４は、各プレビュー表示部３０１，３０２に夫々対応するメイクパレット３１０を有している。
【００７３】
メイクパレット３１０は上部に、メイク選択部１０２を含む。メイク選択部１０２は、メイクパレット３１０の上部に位置する複数のメイクの種類に応じた複数のボタンから構成される。図９に示す例では、メイクの種類は「ワンタッチ」、「リップ」、「チーク」、「カラコン」、及び「ヘアカラー」がある。
【００７４】
図９に示すようにプレビュー表示部３０１に対応するメイクパレット３１０には、メイク選択部１０２で「ワンタッチ」が選択された場合に表示される内容例が示されている。プレビュー表示部３０２に対応するメイクパレット３１０には、メイク選択部１０２で「ヘアカラー」が選択された場合に表示される内容例が示されている。メイクパレット３１０の下部には、いずれのメイクの種類が選択された場合も、メイク対象表示部１０３、メイク対象切替ボタン１０４が表示される。
【００７５】
メイク対象表示部１０３は、複数の画像データに対して抽出された顔領域を含む矩形領域の画像が表示される画像である。メイク対象切替ボタン１０４は、プレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中に複数の顔領域が含まれるとき、メイク対象として該複数の顔領域の内の１つずつと、全顔領域を選択する場合とを巡回的に切り替えるボタンである。例えば、画像中に２人分の顔領域が含まれる場合、当該メイク対象切替ボタン１０４を選択する都度に、メイク対象の顔領域は、１人目の顔領域、２人目の顔領域、両方の顔領域、１人目の顔領域、…と巡回的に切り替わる。
【００７６】
メイクの種類として「ワンタッチ」が選択されている場合、図９に示すように、異なるテーマに夫々対応したテーマ選択アイコン７１１、及びワンタッチメイクを消去するＯＦＦボタン７１２が配置される。テーマ選択アイコン７１１は、本実施の形態においては「ＭＩＬＫＹ  ＰＩＮＫ」、「ＦＡＮＣＹ  ＢＬＵＥ」及び「ＦＡＩＲＹ  ＰＵＲＰＬＥ」の３つテーマに夫々対応するメイク及び装飾画像の選択ボタンである。「ＭＩＬＫＹ  ＰＩＮＫ」が選択された場合には、「ＭＩＬＫＹ  ＰＩＮＫ」のテーマに対応付けられて髪色の変更を含む暖色を基調としたヘアメイクが自動的に施される。「ＦＡＮＣＹ  ＢＬＵＥ」の場合も同様にして、テーマ名と合致する寒色を基調とした淡い色を基調としたヘアメイクが自動的に施される。このように「ワンタッチ」ではテーマに対応付けられたメイクが施される。ヘアアクセサリ画像の配置が行なわれてもよい。
【００７７】
図９のプレビュー表示部３０１に対応するメイクパレット３１０にてメイク選択部１０２にて「ワンタッチ」が選択されている状態で、複数のテーマ選択アイコン７１１の内のいずれかが選択された場合の処理について説明する。図１０は、ワンタッチメイク時の髪色を変更する処理手順の一例を示すフローチャートである。なお図１０のフローチャートに示す処理は、プレビュー表示部３０１に対して行なわれる処理として説明するが、プレビュー表示部３０２においても同様であることは勿論であるから詳細な説明を省略する。
【００７８】
ＣＰＵ７０は、メイク対象切替ボタン１０４における選択状態に基づきメイク対象の顔領域を特定し（ステップＳ３０１）、特定されたメイク対象の顔領域に対応する髪の毛の領域を抽出する（ステップＳ３０２）。ＣＰＵ７０はグラフィックボード７３を用いて抽出した髪の毛の領域の範囲全てを、選択されたテーマ選択アイコン７１１に対応する髪色に着色したヘアカラー画像を作成する（ステップＳ３０３）。ヘアカラー画像は、髪の毛領域以外は透明化されているとよい。
【００７９】
次にＣＰＵ７０は、特定されたメイク対象の顔領域に対応する髪色均一化画像を抽出する（ステップＳ３０４）。図４のステップＳ２０５にて事前に髪色均一化画像を作成しない場合、ＣＰＵ７０はこの時点で図６の処理手順の内のステップＳ５３〜Ｓ５６を実行する。つまりステップＳ３０３のヘアカラー画像の作成と、髪色均一化画像の作成との順序は、いずれが先であってもよい。そしてステップＳ３０４において髪色均一化画像を作成する場合、選択されたテーマに対応するヘアカラー用パターン情報によって異なる色へ均一化させる髪色均一化画像を作成するようにしてもよい。このときＣＰＵ７０はグラフィックボード７３を用いてステップＳ５５にて対応する色へ髪色を変更する。
【００８０】
ＣＰＵ７０はグラフィックボード７３を用い、ステップＳ３０３で作成したヘアカラー画像を、ステップＳ３０４で抽出した髪色均一化画像に対して合成する（ステップＳ３０５）。ステップＳ３０５における合成処理は、例えばソフトライト合成と呼ばれる処理を行なう。即ちステップＳ３０５は、髪色均一化画像（分離した色情報及びテクスチャ情報を合成した）上にヘアカラー画像を重畳させ、重畳させたときに対応する画素（同一座標の画素）同士について、所定の演算を行なう。例えばグラフィックボード７３はソフトライト合成として、色成分（Ｒ，Ｇ，Ｂ）毎に、髪色均一化画像の画素の最大値（例えば２５５）に対する画素値の割合を底とし、ヘアカラー画像の画素値の最大値に対する割合に基づく値を冪指数とする冪演算を行なう等する。ステップＳ３０５の合成では、ソフトライト合成のみならず例えば画素値同士の乗算値に基づく演算を行なうオーバーレイ合成等の他のブレンド処理等、ヘアカラー画像の色を髪色均一化画像に反映させるための合成を行なうようにしてもよい。
【００８１】
次にＣＰＵ７０はグラフィックボード７３を用い、ステップＳ３０５で得られた髪色を変更した合成画像を、元の画像（図４のステップＳ２０６の加工処理後の画像）に重ねて合成を行なう（ステップＳ３０６）。ＣＰＵ７０は、合成後画像をプレビュー表示部３０１にて表示させ（ステップＳ３０７）、処理を終了する。
【００８２】
図１１は、ワンタッチメイク時の髪色を変更する処理の概要を示す説明図である。図１１中の各矩形はレイヤを示しており、画像の重なりを表わしている。なお図１１中の下部に従来の髪色の合成の仕方を比較例として示している。本実施の形態における画像処理部７では、ＣＰＵ７０は元の画像よりも上のレイヤに、髪色均一化画像の内の色情報に対応する画像、髪色の領域の範囲を全て選択されたテーマの色に着色したヘアカラー画像、髪色均一化画像の内のテクスチャ情報に対応する画像が重ねられる。従来であれば、元の画像にヘアカラー画像をソフトライト合成していたところ、本実施の形態における画像処理部７では、ＣＰＵ７０は髪色均一化画像の色情報に対応する画像に対してヘアカラー画像をソフトライト合成し、テクスチャ情報を加算により合成し、その合成後の画像を元の画像に対して合成処理する。
【００８３】
従来では図１１に示す通り、「ワンタッチ」メイクに設定されている例えば「ＭＩＬＫＹ  ＰＩＮＫ」のような淡い色の髪色表現は困難であった。しかしながら、本実施の形態の画像処理部７における処理により、図１１に示すように、元の画像における髪の毛の領域の色の色相、明度及び彩度等の影響を受けることなく髪色を表現することが可能となった。
【００８４】
次に、図９のメイク選択部１０２にて「ヘアカラー」がされている状態における処理について説明する。図９にてメイクの種類として「ヘアカラー」が選択されている場合、図９に示すように、プレビュー表示部３０２に対応するメイクパレット３１０のメイク選択部１０２の下方には複数種類のヘアカラーに対応したヘアカラー選択アイコン７５１と、「ヘアカラー」のメイクを消去するＯＦＦボタン７５３、一部を消去する消しゴム選択ボタン７５４が配置される。
【００８５】
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図９に手示されているようなヘアカラー選択アイコン７５１に夫々対応するヘアカラー用の色、テクスチャ及びグラデーションパターンを識別するヘアカラー用パターン情報を複数種類含む。複数種類のヘアカラー用パターン情報は図９に示すように、パープル、シルバーブルー、ブロンド、ピンク等の髪色の情報を含む。また色のイメージを表わす「ＦＡＩＲＬＹ」「ＭＩＬＫＹ  ＰＩＮＫ」、又は「ＳＯＤＡ」等に対応付けて具体的な色の情報と頭頂部と毛先部とで色味又は濃淡を変化させるグラデーションパターンの情報が含まれてもよい。グラデーションパターンの情報は例えば、混合される複数の色の情報と、色を変化させる位置、各色の透明度等の情報を含む。
【００８６】
このように示されるメイクパレット３１０にて、図９のメイク選択部１０２にて「ヘアカラー」が選択されている状態で、複数のヘアカラー選択アイコン７５１の内のいずれかが選択された場合の処理について説明する。図１２は、ヘアカラーメイク時の髪色を変更する処理手順の一例を示すフローチャートである。なお図１２のフローチャートに示す処理は、プレビュー表示部３０２に対して行なわれる処理として説明するが、プレビュー表示部３０１においても同様であることは勿論であるから詳細な説明を省略する。
【００８７】
ＣＰＵ７０は、メイク対象切替ボタン１０４における選択状態に基づきメイク対象の顔領域を特定し（ステップＳ４０１）、特定されたメイク対象の顔領域に対応する髪の毛の領域を抽出する（ステップＳ４０２）。
【００８８】
そしてＣＰＵ７０は、選択されたヘアカラー選択アイコン７５１に対応するヘアカラー用パターン情報を識別する（ステップＳ４０３）。ＣＰＵ７０は、識別したヘアカラー用パターン情報に基づき、描画ブラシの線種、色及び太さを決定し（ステップＳ４０４）、タッチペン３２ａのプレビュー表示部３０２への接触を検知し（ステップＳ４０５）、決定した線種、色及び太さの描画ブラシで接触箇所を描画する（ステップＳ４０６）。
【００８９】
ＣＰＵ７０は、ステップＳ４０２で抽出している髪の毛の領域のマスク画像に対応する範囲内で、ステップＳ４０６で描画した箇所をステップＳ４０４で決定した線種、色及び太さで描画したヘアカラー画像を作成する（ステップＳ４０７）。ＣＰＵ７０は、ステップＳ４０７で描画した範囲にて、ステップＳ４０１で特定された顔領域に対応する髪色均一化画像から一部を抽出する（ステップＳ４０８）。
【００９０】
ＣＰＵ７０は、ステップＳ４０７で作成したヘアカラー画像を、ステップＳ４０８で抽出した髪色均一化画像の一部に対して合成する（ステップＳ４０９）。ステップＳ４０９における合成処理は、図１０のフローチャート中のステップＳ３０５と同一である。
【００９１】
ＣＰＵ７０は、ステップＳ４０９で得られた髪色を変更した合成画像を、元の画像に重ねて合成を行ない（ステップＳ４１０）、合成後画像をプレビュー表示部３０２にて表示させ（ステップＳ４１１）、処理を終了する。
【００９２】
なお図１２に示す処理手順は、メイク選択部１０２にて「ヘアカラー」が選択されている間は継続して例えば所定の時間の経過の都度、繰り返し実行される。「ヘアカラー」が選択されている状態で、タッチペン３２ａを用いた落書き操作が行なわれている間は、リアルタイムに髪色が変更される処理が実行され、プレビュー表示部３０２に表示される。
【００９３】
図１３は、ヘアカラーメイク時の髪色を変更する処理の概要を示す説明図である。図１３中の各矩形はレイヤを示しており、画像の重なりを表わしている。ヘアカラーメイク時の処理では、図１１に示したワンタッチメイク時の処理と異なり、タッチペン３２ａを用いた操作に基づく描画範囲のみで、ソフトライト合成、及び元の画像に対する合成処理が行なわれる。描画範囲に絞られている点以外は、図１１を参照した説明と同一の処理である。
【００９４】
図１４は、髪色変更後の画像の一例を模式的に示す説明図である。図１４に示す画面例は、図７に示した元の画像に対し、髪色が淡い色に変更されている状態を示している。図１４においても写真画像を線図により模式的に示している。図１４中左側の人物被写体に対しては、「ワンタッチメイク」にて髪の毛の領域全体の色が変更されていることが示されており、図１４中右側の人物被写体に対しては、「ヘアカラーメイク」にて描画範囲のみ色が変更されていることが示されている。このように本実施の形態における画像処理部７の処理により、元の画像における髪の毛の領域の色の色相、明度及び彩度等の影響を受けることなく淡い色、明度の高い色、また元の髪色とは色相が全く異なる髪色を表現することが可能となった。
【００９５】
上述の髪色均一化画像を用いた髪色変更に係る合成処理は、図４のフローチャートにおけるステップＳ２１０でも実行される。ＣＰＵ７０は、「ワンタッチメイク」で選択されたテーマ選択アイコン７１１に対応する髪色、又は「ヘアカラーメイク」で選択されたヘアカラー選択アイコン７５１に対応するヘアカラー用パターン情報、描画範囲を記憶しておく。ＣＰＵ７０は、落書き操作が終了した時点でプレビュー表示部３０１，３０２に表示されている画像と同一となるように、それらの記憶されている情報を用い、図１０又は図１２のフローチャートに示した処理手順を実行して髪色を変更する合成処理を実行する。
【００９６】
本実施の形態においては、髪の毛の領域を対象として均一化画像を作成し、色を決めるカラー画像とソフトライト合成をしてから元の画像へ合成を行なう構成とした。しかしながら色の変更対象は髪の毛の領域に限定されない。人物被写体の一部に対応する領域として例えば、眉毛等の毛髪の部分、更には元の画像にて口紅が塗られている唇部分、チークが施されている頬部分、アイシャドウが施されている目の部分などでも、元の色を異なる他の色へ変更するために同様の処理が行なわれてもよい。
【００９７】
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９８】
７  画像処理部
７０  ＣＰＵ（コンピュータ、プロセッサ）
７１  メモリ
７２  ＨＤＤ
７２０  メイク用情報
７３  グラフィックボード（第１及び第２作成手段、第１及び第２合成手段）
７Ｐ  画像処理プログラム
【図１】
2018173885.tif 000003
【図２】
2018173885.tif 000004
【図３】
2018173885.tif 000005
【図４】
2018173885.tif 000006
【図５】
2018173885.tif 000007
【図６】
2018173885.tif 000008
【図７】
2018173885.tif 000009
【図８】
2018173885.tif 000010
【図９】
2018173885.tif 000011
【図１０】
2018173885.tif 000012
【図１１】
2018173885.tif 000013
【図１２】
2018173885.tif 000014
【図１３】
2018173885.tif 000015
【図１４】
2018173885.tif 000016