(57)【要約】【課題】  携帯電話向けＨＴＭＬメールの素材としての似顔絵イラストデータをユーザーの好みを取り入れながら効率的に生成できる似顔絵イラストデータ提供システムを提供する。【解決手段】  ユーザーから受信した顔写真画像データから顔領域画像データを抽出して、片側半分の顔画像を生成し、その片側顔画像に基づいて目周辺画像および眉周辺画像を抽出し、生成された片側半分顔画像と抽出された片側目領域画像・片側眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータから抽出し、抽出されたサンプルデータに基づいて輪郭／目／眉イラストデータからそれぞれ対応するイラストデータを抽出し、抽出された輪郭／目／眉イラストデータと、ユーザーから受信した髪型タイプと髪色タイプの選択データに基づいてタイプ別髪形／髪色イラストデータから選択されたイラストデータとを合成して似顔絵イラストデータを完成させる。【選択図】  図２
2009163465.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの携帯電話とのデータ通信が可能なサーバとデータ記憶部とを備え、ユーザーから送信される顔写真画像データを受信して似顔絵イラストデータを生成する似顔絵イラストデータ提供システムであって、
データ記憶部は、
ユーザーから受信した顔写真画像を抽出して一時的に保存する顔画像データ記憶手段と、
保存された顔画像データから抽出された顔領域画像データを一時的に保存する顔領域抽出データ記憶手段と、
顔の片側半分の鼻・口を含む輪郭と目と眉の写真画像のサンプルを多数蓄積する輪郭／目／眉サンプルデータ記憶手段と、
輪郭／目／眉サンプルデータ記憶手段に蓄積されている写真画像のサンプルと関連付けて記憶されている輪郭・目・眉のイラスト画像データを蓄積する輪郭／目／眉イラストデータ記憶手段と、
ユーザーによって選択された髪型と髪色を合成するためのイラスト画像データを蓄積するタイプ別髪型／髪色イラストデータ記憶手段と、を有し、
サーバは、
ユーザーから受信した顔写真画像データを顔画像データ記憶手段に保存する顔画像データ保存手段と、
保存された顔画像データから顔領域画像データを抽出して顔領域抽出データ記憶手段に保存する顔領域抽出手段と、
保存された顔領域画像データから片側半分の顔画像を生成しその片側顔画像に基づいて目周辺画像および眉周辺画像を抽出する片側半分顔画像生成／片側目領域画像・片側眉領域画像抽出手段と、
生成された片側半分顔画像と抽出された片側目領域画像・片側眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータ記憶手段から抽出するマッチングサンプルデータ抽出手段と、
抽出されたマッチングサンプルデータに基づいて輪郭／目／眉イラストデータ記憶手段からそれぞれ対応するイラストデータを抽出するマッチングイラストデータ抽出手段と、
抽出された輪郭／目／眉イラストデータと、ユーザーから受信した髪型タイプと髪色タイプの選択データに基づいてタイプ別髪形／髪色イラストデータ記憶手段から選択されたイラストデータとを合成して似顔絵イラストデータを完成させる似顔絵イラスト合成処理手段と、を有する
似顔絵イラストデータ提供システム。
【請求項２】
データ記憶部は、
広告出稿企業に対応して作成された顔の部分が空白のイラストデータを似顔絵イラストのテンプレートとしてカテゴリーと関連づけて蓄積するテンプレートデータ記憶手段と、
テンプレートと合成された似顔絵イラストデータがユーザーにダウンロードされる毎に広告課金用データを蓄積する課金データ記憶手段と
をさらに有し、
サーバは、
ユーザーから受信するカテゴリー選択情報に基づいて、テンプレートデータ記憶手段からランダム選択によりテンプレートデータを抽出するテンプレートデータ抽出手段と、
抽出されたテンプレートデータと似顔絵イラストデータとを合成するテンプレート合成処理手段と、
テンプレート合成処理手段により合成された似顔絵イラストデータをユーザーがダウンロードしたか否かを判断するダウンロード判断手段と、
ダウンロード判断手段がダウンロードしたと判断したときに広告課金用データを課金データ記憶手段に書き込む課金データ書き込み手段と、
をさらに有する
請求項１に記載の似顔絵イラストデータ提供システム。
【請求項３】
ユーザーから受信した顔写真画像を抽出して一時的に保存する顔画像データ記憶手段と、保存された顔画像データから抽出された顔領域画像データを一時的に保存する顔領域抽出データ記憶手段と、顔の片側半分の鼻・口を含む輪郭と目と眉の写真画像のサンプルを多数蓄積する輪郭／目／眉サンプルデータ記憶手段と、輪郭／目／眉サンプルデータ記憶手段に蓄積されている写真画像のサンプルと関連付けて記憶されている輪郭・目・眉のイラスト画像データを蓄積する輪郭／目／眉イラストデータ記憶手段と、ユーザーによって選択された髪型と髪色を合成するためのイラスト画像データを蓄積するタイプ別髪型／髪色イラストデータ記憶手段と、ユーザーの携帯電話とのデータ通信が可能なサーバとを備えた似顔絵イラストデータ提供システムにおいて、
ユーザーから受信した顔写真画像データを顔画像データ記憶手段に保存するステップと、
保存された顔画像データから顔領域画像データを抽出して顔領域抽出データ記憶手段に保存するステップと、
保存された顔領域画像データから片側半分の顔画像を生成しその片側顔画像に基づいて目周辺画像および眉周辺画像を抽出するステップと、
生成された片側半分顔画像と抽出された片側目領域画像・片側眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータ記憶手段から抽出するステップと、
抽出されたマッチングサンプルデータに基づいて輪郭／目／眉イラストデータ記憶手段からそれぞれ対応するイラストデータを抽出するステップと、
抽出された輪郭／目／眉イラストデータと、ユーザーから受信した髪型タイプと髪色タイプの選択データに基づいてタイプ別髪形／髪色イラストデータ記憶手段から選択されたイラストデータとを合成して似顔絵イラストデータを完成させるステップと、を有する、似顔絵イラストデータ生成方法。
【請求項４】
似顔絵イラストデータ提供システムはさらに、広告出稿企業に対応して作成された顔の部分が空白のイラストデータを似顔絵イラストのテンプレートとしてカテゴリーと関連づけて蓄積するテンプレートデータ記憶手段と、テンプレートと合成された似顔絵イラストデータがユーザーにダウンロードされる毎に広告課金用データを蓄積する課金データ記憶手段とを備え、
ユーザーから受信するカテゴリー選択情報に基づいて、テンプレートデータ記憶手段からランダム選択によりテンプレートデータを抽出するステップと、
抽出されたテンプレートデータと似顔絵イラストデータとを合成するステップと、
テンプレート合成処理手段により合成された似顔絵イラストデータをユーザーがダウンロードしたか否かを判断するステップと、
ユーザーがダウンロードしたと判断したときに広告課金用データを課金データ記憶手段に書き込むステップと、をさらに有する
請求項３に記載の似顔絵イラストデータ生成方法。
【請求項５】
ユーザーから受信した顔写真画像を抽出して一時的に保存する顔画像データ記憶手段と、保存された顔画像データから抽出された顔領域画像データを一時的に保存する顔領域抽出データ記憶手段と、顔の片側半分の鼻・口を含む輪郭と目と眉の写真画像のサンプルを多数蓄積する輪郭／目／眉サンプルデータ記憶手段と、輪郭／目／眉サンプルデータ記憶手段に蓄積されている写真画像のサンプルと関連付けて記憶されている輪郭・目・眉のイラスト画像データを蓄積する輪郭／目／眉イラストデータ記憶手段と、ユーザーによって選択された髪型と髪色を合成するためのイラスト画像データを蓄積するタイプ別髪型／髪色イラストデータ記憶手段と、ユーザーの携帯電話とのデータ通信が可能なサーバとを備えた似顔絵イラストデータ提供システムにおいて、
ユーザーから受信した顔写真画像データを顔画像データ記憶手段に保存するステップと、
保存された顔画像データから顔領域画像データを抽出して顔領域抽出データ記憶手段に保存するステップと、
保存された顔領域画像データから片側半分の顔画像を生成しその片側顔画像に基づいて目周辺画像および眉周辺画像を抽出するステップと、
生成された片側半分顔画像と抽出された片側目領域画像・片側眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータ記憶手段から抽出するステップと、
抽出されたマッチングサンプルデータに基づいて輪郭／目／眉イラストデータ記憶手段からそれぞれ対応するイラストデータを抽出するステップと、
抽出された輪郭／目／眉イラストデータと、ユーザーから受信した髪型タイプと髪色タイプの選択データに基づいてタイプ別髪形／髪色イラストデータ記憶手段から選択されたイラストデータとを合成して似顔絵イラストデータを完成させるステップと、をコンピュータに実行させるためのプログラム。
【請求項６】
似顔絵イラストデータ提供システムはさらに、広告出稿企業に対応して作成された顔の部分が空白のイラストデータを似顔絵イラストのテンプレートとしてカテゴリーと関連づけて蓄積するテンプレートデータ記憶手段と、テンプレートと合成された似顔絵イラストデータがユーザーにダウンロードされる毎に広告課金用データを蓄積する課金データ記憶手段とを備え、
ユーザーから受信するカテゴリー選択情報に基づいて、テンプレートデータ記憶手段からランダム選択によりテンプレートデータを抽出するステップと、
抽出されたテンプレートデータと似顔絵イラストデータとを合成するステップと、
テンプレート合成処理手段により合成された似顔絵イラストデータをユーザーがダウンロードしたか否かを判断するステップと、
ユーザーがダウンロードしたと判断したときに広告課金用データを課金データ記憶手段に書き込むステップと、をさらにコンピュータに実行させるための請求項５に記載のプログラム。
【請求項７】
ユーザーから受信した顔写真画像を抽出して一時的に保存する顔画像データ記憶手段と、保存された顔画像データから抽出された顔領域画像データを一時的に保存する顔領域抽出データ記憶手段と、顔の片側半分の鼻・口を含む輪郭と目と眉の写真画像のサンプルを多数蓄積する輪郭／目／眉サンプルデータ記憶手段と、輪郭／目／眉サンプルデータ記憶手段に蓄積されている写真画像のサンプルと関連付けて記憶されている輪郭・目・眉のイラスト画像データを蓄積する輪郭／目／眉イラストデータ記憶手段と、ユーザーによって選択された髪型と髪色を合成するためのイラスト画像データを蓄積するタイプ別髪型／髪色イラストデータ記憶手段と、ユーザーの携帯電話とのデータ通信が可能なサーバとを備えた似顔絵イラストデータ提供システムにおいて、
ユーザーから受信した顔写真画像データを顔画像データ記憶手段に保存するステップと、
保存された顔画像データから顔領域画像データを抽出して顔領域抽出データ記憶手段に保存するステップと、
保存された顔領域画像データから片側半分の顔画像を生成しその片側顔画像に基づいて目周辺画像および眉周辺画像を抽出するステップと、
生成された片側半分顔画像と抽出された片側目領域画像・片側眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータ記憶手段から抽出するステップと、
抽出されたマッチングサンプルデータに基づいて輪郭／目／眉イラストデータ記憶手段からそれぞれ対応するイラストデータを抽出するステップと、
抽出された輪郭／目／眉イラストデータと、ユーザーから受信した髪型タイプと髪色タイプの選択データに基づいてタイプ別髪形／髪色イラストデータ記憶手段から選択されたイラストデータとを合成して似顔絵イラストデータを完成させるステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項８】
似顔絵イラストデータ提供システムはさらに、広告出稿企業に対応して作成された顔の部分が空白のイラストデータを似顔絵イラストのテンプレートとしてカテゴリーと関連づけて蓄積するテンプレートデータ記憶手段と、テンプレートと合成された似顔絵イラストデータがユーザーにダウンロードされる毎に広告課金用データを蓄積する課金データ記憶手段とを備え、
ユーザーから受信するカテゴリー選択情報に基づいて、テンプレートデータ記憶手段からランダム選択によりテンプレートデータを抽出するステップと、
抽出されたテンプレートデータと似顔絵イラストデータとを合成するステップと、
テンプレート合成処理手段により合成された似顔絵イラストデータをユーザーがダウンロードしたか否かを判断するステップと、
ユーザーがダウンロードしたと判断したときに広告課金用データを課金データ記憶手段に書き込むステップと、をさらにコンピュータに実行させるための請求項７に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔写真画像から似顔絵イラストデータを生成してユーザーに提供する、似顔絵イラストデータ提供システムに関するものである。
【背景技術】
【０００２】
カメラ付き携帯電話等で撮影された顔写真画像を受信して、顔写真画像から自動的に似顔絵イラストを生成するシステムについては、数多くの特許出願がなされており、例えば下記に記載する特許文献１〜４が挙げられる。
【０００３】
特許文献１は、顔写真画像から似顔絵イラストを生成する方法については新たな手法を開示するものではないが、似顔絵イラストを閲覧可能とするための管理手段や広告画像と組み合わせて表示する方法について開示している。
【０００４】
特許文献２は、携帯電話のメール等に利用する似顔絵のイラストの生成及びこの似顔絵を基にして多様なキャラクターを作成するシステムについて開示している。特許文献２では、似顔絵イラストの生成の方法として、写真から切り出された顔の部分から顔を構成する各パーツを切り出し、各パーツから特徴を抽出して似顔絵の画像を作成しているが、その具体的な方法については、既存の技術を使用するものである（段落番号００３２）。特許文献２に開示する技術の特徴は、むしろ、作成された似顔絵の画像を、さらにユーザーの好み等に応じて様々に変形処理するところに特徴があると考えられる。
【０００５】
特許文献３は、電子メールの内容に応じて自動的に表示される似顔絵の表情を変化させる携帯端末装置および似顔絵データ提供システムについて開示している。特許文献３では、送信された顔画像から顔検出処理を行い、似顔絵基本データと表情パラメータをユーザー端末に返信し、似顔絵基本データを読み出して表示画面に表示すると共に、表示された似顔絵を、電子メールに含まれる感情記号にしたがって表情パラメータを変化させることにより、似顔絵の表情を変化させるところに特徴があると考えられる。
【０００６】
特許文献４では、撮影された顔とあらかじめデータベース化されている顔パーツとのマッチングを行い、大きさ・位置・色・傾き等のデータをパーツに付加してコード化し、コード化されたデータと共に似顔絵を画面等に自動出力するようにしているが、マッチング処理を実施するための具体的な方法について詳細に開示するものではない。
【０００７】
一方、最近、携帯電話でやりとりするメールの背景色や文字の色や大きさを自由に変更したり、画像や動画を埋め込めるなど、様々な装飾をメールに付加できる機能を提供するサービスが普及している。このようなサービスは、例えば「デコメール」（株式会社エヌ・ティ・ティ・ドコモの登録商標）、「デコレーションメール」（ＫＤＤＩ株式会社が使用する名称）、「アレンジメール」（ボーダフォン株式会社の登録商標）のような名称で提供されている。装飾メールの実体は、ＨＴＭＬメールの一種で、携帯電話内にＨＴＭＬコンテンツを表示する機能が備わっていれば、装飾メールを受信する側で問題なく表示可能であるが、送信する側では、このようなＨＴＭＬコンテンツを作成する機能が備わっていることが必要である。現在では多くの携帯電話の機種がこのような機能に対応するようになっている。
【０００８】
近年、携帯電話向けＨＴＭＬメールが普及するにつれ、装飾するための素材（絵文字、キャラクター画像、テンプレート、ＧＩＦ動画など）の市場も拡大している。顔写真から生成する似顔絵イラストは、ユーザーにとって自分だけのオリジナルキャラクタを作成することができるので、携帯電話向けＨＴＭＬメールの素材として魅力あるコンテンツである。従って、ユーザーが利用しやすいような携帯電話向けＨＴＭＬメール用似顔絵イラストの提供サービスはニーズが大きいと考えられる。特に、事業モデルを工夫することによって、ユーザーには無償で似顔絵イラストデータを提供できれば、サービスに対する魅力度は高まる。また、生成された似顔絵イラストデータを基に、様々なサービスを付加できる可能性がある。
【特許文献１】特開２００４−００５３９１号
【特許文献２】特開２００５−２２８１８５号
【特許文献３】特開２００７−１２２５６１号
【特許文献４】特開２００７−１６４４０８号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本願発明は、携帯電話向けＨＴＭＬメールの素材としての似顔絵イラストデータをユーザーの好みを取り入れながら効率的に生成できる似顔絵イラストデータ提供システムを提供しようとするものである。
【００１０】
また、携帯電話向けＨＴＭＬメール用の似顔絵イラストデータを広告用テンプレートと組み合わせて提供する似顔絵イラストデータ提供システムを提供しようとするものである。
【００１１】
さらに、生成された似顔絵イラストデータをユーザーの好みに応じて加工できる、似顔絵イラストデータ提供システムを提供しようとするものである。
【課題を解決するための手段】
【００１２】
本発明による似顔絵イラストデータ提供システムは、ユーザーから送信される顔写真画像データを受信して似顔絵イラストデータを生成する似顔絵イラストデータ提供システムであって。ユーザーの携帯電話とのデータ通信が可能なサーバとデータ記憶部とを備えている。
【００１３】
このデータ記憶部は、ユーザーから受信した顔写真画像を抽出して一時的に保存する顔画像データ記憶手段と、保存された顔画像データから抽出された顔領域画像データを一時的に保存する顔領域抽出データ記憶手段と、顔の片側半分の鼻・口を含む輪郭と目と眉の写真画像のサンプルを多数蓄積する輪郭／目／眉サンプルデータ記憶手段と、輪郭／目／眉サンプルデータ記憶手段に蓄積されている写真画像のサンプルと関連付けて記憶されている輪郭・目・眉のイラスト画像データを蓄積する輪郭／目／眉イラストデータ記憶手段と、ユーザーによって選択された髪型と髪色を合成するためのイラスト画像データを蓄積するタイプ別髪型／髪色イラストデータ記憶手段と、を有している。
また、このサーバは、ユーザーから受信した顔写真画像データを顔画像データ記憶手段に保存する顔画像データ保存手段と、保存された顔画像データから顔領域画像データを抽出して顔領域抽出データ記憶手段に保存する顔領域抽出手段と、保存された顔領域画像データから片側半分の顔画像を生成しその片側顔画像に基づいて目周辺画像および眉周辺画像を抽出する片側半分顔画像生成／片側目領域画像・片側眉領域画像抽出手段と、生成された片側半分顔画像と抽出された片側目領域画像・片側眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータ記憶手段から抽出するマッチングサンプルデータ抽出手段と、抽出されたマッチングサンプルデータに基づいて輪郭／目／眉イラストデータ記憶手段からそれぞれ対応するイラストデータを抽出するマッチングイラストデータ抽出手段と、抽出された輪郭／目／眉イラストデータと、ユーザーから受信した髪型タイプと髪色タイプの選択データに基づいてタイプ別髪形／髪色イラストデータ記憶手段から選択されたイラストデータとを合成して似顔絵イラストデータを完成させる似顔絵イラスト合成処理手段と、を有している。
【００１４】
また、上記の似顔絵イラストデータ提供システムにおいて、データ記憶部がさらに、広告出稿企業に対応して作成された顔の部分が空白のイラストデータを似顔絵イラストのテンプレートとしてカテゴリーと関連づけて蓄積するテンプレートデータ記憶手段と、  テンプレートと合成された似顔絵イラストデータがユーザーにダウンロードされる毎に広告課金用データを蓄積する課金データ記憶手段とを有し、サーバがさらに、ユーザーから受信するカテゴリー選択情報に基づいて、テンプレートデータ記憶手段からランダム選択によりテンプレートデータを抽出するテンプレートデータ抽出手段と、抽出されたテンプレートデータと似顔絵イラストデータとを合成するテンプレート合成処理手段と、テンプレート合成処理手段により合成された似顔絵イラストデータをユーザーがダウンロードしたか否かを判断するダウンロード判断手段と、ダウンロード判断手段がダウンロードしたと判断したときに広告課金用データを課金データ記憶手段に書き込む課金データ書き込み手段と、を有するように構成できる。
【００１５】
なお、サーバが有する上述の各手段が実行する処理は、コンピュータプログラムの制御によりコンピュータハードウェアとコンピュータプログラムとが協働して実行されるものである。
【発明の効果】
【００１６】
本願発明によれば、ユーザーから送信された顔写真画像をもとにして、携帯電話向けＨＴＭＬメールの素材としての似顔絵イラストデータをユーザーの好みを取り入れながら効率的に生成してユーザーに提供することが出来る。
【００１７】
さらに、ユーザーに無償でオリジナルな似顔絵イラストデータを提供する事業モデルを実現するために、似顔絵イラストデータと企業広告を含むテンプレートとをランダムに組み合わせたＨＴＭＬメールの素材としての似顔絵イラストデータの提供を可能にするものである。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。図１は、本発明の実施の形態による似顔絵イラストデータ提供システムの概要を示す図である。
【００１９】
似顔絵イラストデータ提供システムは、ユーザーの携帯電話４によるネットワーク５を介したアクセスに応じてユーザーの認証処理を行うと共に、メールに添付されて送信される顔写真画像データ４０２を受信して似顔絵イラストデータ作成処理を行い、完成した似顔絵イラストデータ４０４を携帯電話４にダウンロードさせるサーバ２と、サーバ２の認証処理および似顔絵イラストデータ作成処理等に必要なデータを保存しあるいはサーバ２に提供するためのデータ記憶部３とを備えている。サーバ２は、Ｗｅｂサーバ、メールサーバ、データベースサーバとしての機能を備えたものであり、図１では一つのブロックで表現しているが、複数のハードウェアによって構成してもよい。同様に、データ記憶３も一つのブロックで表現しているが、複数のデータベースあるいはデータファイルやテーブルで構成されている。
＜第１の実施の形態＞
次に、図２を用いて、第１の実施の形態におけるサーバ２およびデータ記憶部３の構成について、より詳細に説明する。
【００２０】
データ記憶部３は、会員登録されたユーザーの年齢・性別・職業・地域等を含む属性を記憶するユーザーデータベース３０１、ユーザーからメールに添付されて送信された顔写真画像を抽出して一時的に保存する顔画像データファイル３０２、保存された顔画像データから抽出された顔領域を一時的に保存する顔領域抽出データファイル３０３、顔の右半分の輪郭・目・眉の写真画像のサンプルを多数蓄積する輪郭／目／眉サンプルデータファイル３０４、輪郭／目／眉サンプルデータファイル３０４に蓄積されている写真画像のサンプルと関連付けて記憶されている輪郭・目・眉のイラスト画像データを蓄積する輪郭／目／眉イラストデータファイル３０５、ユーザーによって選択された髪型と髪色を合成するためのイラスト画像データを蓄積するタイプ別髪型／髪色イラストデータファイル３０６を有している。
【００２１】
サーバ２は、携帯電話４とデータ通信が可能であって、ユーザーの会員登録の有無や未登録会員の登録処理を含む認証処理を行う認証処理手段２０１、ユーザーから送信されたメールを展開して顔画像データを抽出して顔画像データファイル３０２に保存する顔画像データ保存手段２０２、保存された顔画像データから顔領域を抽出して顔領域抽出データファイル３０３に保存する顔領域抽出手段２０３、顔領域抽出データから右半分の顔画像を生成しその右顔画像に基づいて目周辺画像および眉周辺画像を抽出する右半分顔画像生成／右目領域画像・右眉領域画像抽出手段２０４、生成された右半分顔画像・右目領域画像および右眉領域画像のそれぞれの部位に最も類似するサンプルを輪郭／目／眉サンプルデータファイル３０４から抽出するマッチングサンプルデータ抽出手段２０５、抽出されたマッチングサンプルデータに基づいて輪郭／目／眉イラストデータファイル３０５からそれぞれ対応するイラストデータを抽出するマッチングイラストデータ抽出手段２０６、抽出された各イラストデータとユーザーが選択した髪型タイプと髪色タイプのデータ４０３に基づいてタイプ別髪形／髪色イラストデータファイル３０６から選択されたイラストデータとを合成して似顔絵イラストを完成させる似顔絵イラスト合成処理手段２０７を有している。
【００２２】
なお、サーバ２が有している認証処理手段２０１、顔画像データ保存手段２０２、顔領域抽出手段２０３、右半分顔画像生成／目領域画像・眉領域画像抽出手段２０４、マッチングサンプルデータ抽出手段２０５、マッチングイラストデータ抽出手段２０６、似顔絵イラスト合成処理手段２０７、の各手段が実行する処理は、サーバ２が有するＣＰＵを含むコンピュータハードウェアおよびコンピュータプログラムの協働により実行されるものである。
【００２３】
次に、図２および図３を用いて、似顔絵イラストデータを入手しようとするユーザー側の動作および似顔絵イラストデータを完成させるまでのサーバ２側での動作の流れの概要を説明する。
【００２４】
ユーザーはあらかじめ携帯電話のカメラで顔画像を撮影しておき（Ｕ４１）、携帯電話によりサーバ２が提供している似顔絵イラストデータ提供サービスのウェブサイトにアクセスする（Ｕ４２）。
【００２５】
サーバ２は、ユーザーからのアクセスを受けて、登録済ユーザーであるかを確認するための画面を表示させ、認証処理を開始する（Ｆ２１）。サーバ２は、例えばユーザーの入力するＩＤやパスワードあるいは属性等を取得し、登録済ユーザーのデータを保存するユーザーデータベース３０１にアクセスして検索することにより、ユーザーが登録済みであると判断すれば（Ｆ２２）、認証処理を完了し（Ｆ２４）、次の処理に移行する。ユーザーが登録済みでなければ（Ｆ２２）、ユーザーに登録を促す登録画面を表示させるためのデータを送信する（Ｆ２３）。そして、ユーザーから登録画面に入力された属性データの送信を受け（Ｕ４３）、ユーザー登録を行った上、認証処理を完了する（Ｆ２４）。
【００２６】
認証処理が完了すると、サーバ２は、顔画像送信用アドレスを表示した画面をユーザーに送信する（Ｆ２５）。ユーザーがこれに応じて、顔画像写真を添付したメールをサーバ２に送信すると（Ｕ４４）、サーバ２は、ユーザーに似顔絵生成用サイトのＵＲＬが記載されているメールを自動返信する（Ｆ２６）。一方、サーバ２では受信したメールを展開し、添付された顔写真画像を抽出し、顔画像データファイル３０２に一時的に保存する（Ｆ２７）。
【００２７】
サーバ２は、次に、保存された顔写真画像から顔領域だけを検出し（Ｆ２８）、似顔絵生成用サイトのＵＲＬにアクセスしたユーザーの携帯電話に、検出した顔領域を枠で囲んだ画面を表示させるとともに、枠で囲まれた顔領域が正しいとするか否かを選択させる選択画面と、ユーザーが選択を行なった場合には髪型タイプ・髪色タイプを選択する画面を表示させる（Ｆ２９）。そして、ユーザーからの選択の可否を取得して、ユーザーが選択を行わなかった場合には（Ｆ３０）、再トライの案内する画面を表示させ（Ｆ３１）、ユーザーが顔領域の選択および髪型・髪色の選択を行った場合は（Ｆ３０）、次のステップＦ３２に移行する。顔領域の検出方法については、後段にてより詳細に説明する。
【００２８】
ステップＦ３２では、サーバ２は、選択された顔領域画像から右半分の顔画像を生成し、さらに右目領域画像と右眉領域画像を抽出する。さらに、これらのパーツの各々を分析し、一番類似しているサンプルデータを輪郭／目／眉サンプルデータファイル３０４から抽出する（Ｆ３３）。そして、抽出された各サンプルデータファイルと関連づけて記憶されている各イラストデータを、輪郭／眉／目イラストデータファイル３０５から抽出する（Ｆ３４）。上述したマッチング処理については、後段にてより詳細に説明する。
【００２９】
最後に、サーバ２は、選択された各イラストデータと、ユーザーが予め選択した髪型・髪色のデータに基づきタイプ別髪型／髪色イラストデータファイル３０６から抽出したイラストデータとを合成し（Ｆ３５）、完成した似顔絵イラストを表示し選択の可否を問う画面をユーザーの携帯電話画面に表示させる（Ｆ３６）。このイラストの合成処理については、後段にてより詳細に説明する。
【００３０】
サーバ２は、ユーザーから似顔絵イラストの選択の可否（Ｕ４６）を取得して、選択されなかった場合には（Ｆ３７）、再トライの案内画面を表示させる（Ｆ３８）。一方、ユーザーが似顔絵イラストを選択した場合は（Ｆ３７）、似顔絵イラストデータのダウンロード画面を表示させ、ユーザーにダウンロードを促す（Ｆ３９）。
【００３１】
次に、顔領域検索／抽出の処理（Ｆ２８）の詳細について、図４、図２および図３を参照して説明する。ユーザーから送信される顔写真画像は、図４に示されるように、顔を中心として周辺の髪や首や肩あるいは背景等が含まれている。従って、似顔絵イラストを合成するためには、まず、正しく顔領域のみを検出する必要がある。そこで、サーバ２は、ユーザーから送信され顔画像データファイル３０２に保存された顔画像から平均顔によるパターン認識を行い、顔領域のみを検出して、検出箇所を枠（図４中の枠参照）で囲んでユーザーに表示し確認を求めるのである。ここで、平均顔によるパターン認識について説明する。「平均顔」とは、複数の異なる人物顔画像を画像ピクセル単位で画素濃度値を加算し、Ｎ数で除算することにより生成された、Ｎ数に対する平均的な顔のことをいう。また、「パターン認識」とは、予め作成した平均顔を基に、未知画像（すなわち、ユーザーから送信された顔写真画像）に対して、平均顔の濃度値と最も近い箇所を計算することにより、顔領域と判断するものである（これをテンプレートマッチングともいう）。
【００３２】
次に、マッチング処理（Ｆ３２、Ｆ３３、Ｆ３４）の詳細について、図５、図６、図２および図３を参照して説明する。まず、ステップＦ２８で抽出された顔領域画像から、色の濃度差を利用して鼻の位置と両目の位置を検出し、鼻の位置をＹ座標の中心、両目の中心位置をＸ座標とすることで、鼻を中心位置とした顔の右半分画像を生成する（図５（ａ）、図５（ｂ）参照）。さらに、生成した右半分顔画像を利用し、右目位置から濃度差を用いて眉位置を検出する。そして、右目位置を中心とした右目領域画像と、右眉位置を中心とした右眉領域画像とを抽出する（（図５（ｃ）、図５（ｄ）参照、ここまでがＦ３２の処理）。
【００３３】
ステップＦ３２で抽出された右半分顔画像、右目領域画像、右眉領域画像、の各々の部位について、予め輪郭／目／眉サンプルデータファイル３０４で蓄積されているサンプルデータ（写真画像データ）に対して濃度差を利用した主成分分析を行い、一番類似するサンプルデータを求める（図６（ａ）、図６（ｂ）参照。ここまでがＦ３３の処理）。
【００３４】
なお、輪郭サンプルデータは、顔の右半分の輪郭と鼻と口を含む写真画像データであり、右半分顔画像の下半分に該当する写真画像データと考えればよい。従って、輪郭サンプルデータから一番類似するサンプルデータを求めるためには、輪郭・鼻・口の類似が総合的に判断されてサンプルデータが抽出される。
【００３５】
次に、求めたサンプルデータと関連づけて記憶されている各部位のイラストデータ（図６（ｃ）参照）を輪郭／目／眉イラストデータファイル３０５から抽出する（Ｆ３４）。なお、輪郭イラストデータも、輪郭に鼻と口が含まれている顔右半分のイラストデータである。
【００３６】
次に、似顔絵イラスト合成処理（Ｆ３５）の詳細について説明する。まず、ステップＦ３４で抽出された右半分の輪郭イラストデータを無地キャンバスに合成する。この合成に際し、目尻から外側に向かって（すなわち、顔の右輪郭線に向かって）水平に伸ばした線と顔の輪郭線との交点を端点として、この端点に基づいて、ステップＦ２８で抽出された顔領域画像のサイズとイラストのサイズを等倍に調整する。同様に、ステップＦ３４で抽出された目のイラストデータと眉のイラストデータとを、顔領域画像のサイズと同等に調整する。
【００３７】
次に、輪郭イラストデータの画像上に、目のイラストデータの画像と、眉のイラストデータの画像を、以下の方法で、Ｘ座標、Ｙ座標の点に合成する。すなわち、目のイラストデータのＹ座標は、輪郭イラストデータの中心位置として決定する。そして、目のイラストデータのＸ座標については、Ｙ座標の０地点が目のイラストデータの黒目部分となるよう合成する。眉のイラストデータのＹ座標は、予めユーザーの顔領域画像で測定した右黒目Ｙ座標から、右眉Ｙ座標を差分した位置に決定する。眉のイラストデータのＸ座標は、右黒目座標位置と同じ位置に決定する。
【００３８】
最後に、ユーザーの選択にしたがってタイプ別髪型／髪色イラストデータファイルから選択された髪型／髪色イラストデータを合成する。
【００３９】
以上で、第１の実施の形態についての説明を終了するが、ここで、本発明における似顔絵イラスト作成処理の特徴について述べる。
【００４０】
本発明に係る似顔絵イラストは、携帯電話向けＨＴＭＬメールの素材として提供するものであるから、本人の顔画像写真にまったく忠実であるような高品位の似顔絵を作成することは要求されず、似顔絵キャラクタとして愛されるような本人の特徴を捉えた似顔絵イラストを提供することを目的とするものである。また、似顔絵イラストを入手しようとするユーザーは、若い世代が多いと予想されるので、似顔絵イラストを安価で（あるいは無償で）簡単に入手できなければ、ユーザーを引き付けることが出来ないと考えられる。したがって、似顔絵を作成するためにハードウェアに大きい負荷がかかるような処理を実行するシステムあるいはプログラムの作成に相当なコストを要するシステムは、現実的ではない。
【００４１】
このような目的から、本発明による似顔絵イラストの作成処理においては、まず、人間の顔の類似性は眉および目の小さな相違によって影響を受け、その他の部分、例えば口もとや鼻は大まかな分類にしたがってさえいれば相違を際立たせない、という思想に基づき、輪郭、目、眉を似顔絵イラストを構成する要素としている。さらに、予め、複数の右半分の輪郭・目・眉の写真画像と、その写真画像に関連づけて記憶されているイラスト画像のデータを蓄積しておき、ユーザーの右半分の顔領域の画像データから、似顔絵イラストデータを効率良く合成するようにしている。
なお、上記の第１の実施の形態においては、右側半分の顔領域の画像データから、似顔絵イラストデータを合成しているが、本願発明は、顔の片側半分の顔画像を用いて似顔絵を生成することに特徴があるので、左側半分の顔領域の画像データから似顔絵イラストデータを合成することも可能である。
＜第２の実施の形態＞
次に、図７〜図９を用いて、本発明による第２の実施の形態について説明する。第２の実施の形態は、企業の広告を組み込んだテンプレートと似顔絵イラストとを組み合わせて、ＨＴＭＬメールの素材としてダウンロードさせるようにして、ユーザーには無償で似顔絵イラストを提供しようとするものである。
【００４２】
図７は、第２の実施の形態におけるユーザー側の動作およびテンプレートと合成した似顔絵イラストデータをダウンロードさせるまでのサーバ２側の動作の流れを示したものであり、図８は、第２の実施の形態における広告課金の仕組みの概念を示した図である。
【００４３】
第２の実施の形態において、似顔絵イラストを完成するまでの流れは、第１の実施の形態と共通しているので、図７に示したフローでは、第１の実施の形態のステップＦ３５に該当するステップＳ３５から出発している。
【００４４】
第２の実施の形態においては、図２に示すデータ記憶部３に含まれるデータベースあるいはファイルとして、テンプレートデータベース３０７と課金データファイル３０８をさらに有している。また、図２に示すサーバ２は、ユーザーから受信するカテゴリー選択情報に基づいて、テンプレートデータベースからランダム選択によりテンプレートデータを抽出するテンプレートデータ抽出手段と、抽出されたテンプレートデータと似顔絵イラストデータとを合成するテンプレート合成処理手段と、テンプレート合成処理手段により合成された似顔絵イラストデータをユーザーがダウンロードしたか否かを判断するダウンロード判断手段と、ダウンロード判断手段がダウンロードしたと判断したときに広告課金用データを課金データ記憶手段に書き込む課金データ書き込み手段とをさらに有している。
【００４５】
テンプレートとは、広告出稿企業のイメージに合わせて予め作成された顔の部分が空白のイラストデータであり、図８のａ２に２つの例が示されている。このテンプレートは、完成された似顔絵イラストデータａ３と合成されて、ａ４のようなイメージでユーザーの携帯電話にダウンロードされるものである。テンプレートデータベース３０７では、このようなテンプレートがカテゴリーと関連付けて蓄積されている。
【００４６】
ここで、カテゴリーとは、ユーザーがテンプレートをダウンロードしようとする場合に、ユーザーに選択させるもので、図８のａ１に示す選択画面の例では、食事、デートお誘い、ショッピング、眠い、おはよう、お休み、お暇？、などのキーワードが列挙されており、これらのキーワードからいずれかを選択させるようになっている。この選択画面の例では、ユーザーは例えば自分がメールを出したい場面を想定してキーワードを選択するであろう。なお、カテゴリーの選択は、キーワードによらずに、表示された複数のアイコンやイラストから選択させるなど、様々な方法を採用することが出来る。ユーザーはカテゴリーの選択が出来るのみで、直接テンプレートを選択することができないところが第２の実施の形態における一つの特徴である。サーバ２は、選択されたカテゴリーに基づいて、このカテゴリーに属する複数のテンプレートから、似顔絵イラストに合成するテンプレートをランダムに選択するからである。
【００４７】
なお、ダウンロードされるテンプレートは企業の広告を兼ねているから、ユーザーがダウンロードした時点で、テンプレートの管理コードやダウンロードした日時等のログデータが課金データファイル３０８に書き込まれる。そして、課金データファイル３０８に蓄積されたデータから、似顔絵イラスト提供サイトの運営者の広告収入が計算されることになる。
【００４８】
次に、図７を用いて、第２の実施の形態におけるユーザー側の動作およびテンプレートと合成した似顔絵イラストデータをダウンロードさせるまでのサーバ２側の動作の流れについて説明する。
【００４９】
図３で説明した流れに従って、サーバ２が、選択された右輪郭・右目・右眉のイラストデータと、ユーザーが予め選択した髪型・髪色のデータに基づき似顔絵イラストを合成すると（Ｓ３５）、完成した似顔絵イラストを表示してユーザーに選択するかどうかを促すと共に選択する場合にはさらにカテゴリーを選択するための画面を表示させる（Ｓ３６）。
【００５０】
ユーザーがこれに応じて選択の可否およびカテゴリーの選択を送信すると（Ｕ４７）、サーバ２は似顔絵イラストが選択されなかった場合には（Ｓ３７）、ユーザーに再トライの案内を表示させる（Ｓ３８）。ユーザーが似顔絵イラストおよびカテゴリーを選択した場合には（Ｓ３７）、テンプレート合成処理を開始する（Ｓ３９）。
【００５１】
サーバ２は、テンプレートデータベース３０７にアクセスし、ユーザーが選択したカテゴリーにしたがって、カテゴリーに属するテンプレートデータを取得し、プログラム上のランダム関数を使用して一つのテンプレートを選択する（Ｓ４０）。なお、テンプレートを選択する場合、当該ユーザーの属性データをユーザーデータベース３１から取得し、カテゴリーと組み合わせてテンプレートを選択するようにしてもよい。そうすれば、ユーザー属性から最適なテンプレートを組み合わせることが可能になり、ターゲットを絞った広告効果を期待できる。
【００５２】
テンプレートが選択されると、サーバ２は、テンプレートの空白の顔の部分に似顔絵イラストを合成し（Ｓ４１）、合成済みの似顔絵イラストを表示してユーザーにダウンロードの可否を選択させる画面を表示させる（Ｓ４２）。ユーザーがダウンロードの可否を送信すると（Ｕ４８）、サーバ２は、ダウンロードが選択されなかった場合には（Ｓ４３）、再トライの案内を表示させ（Ｓ４４）、ダウンロードが選択された場合には（Ｓ４３）、ダウンロード画面を表示させる（Ｓ４５）。そして、ユーザーによるダウンロードを待って、広告課金のためのログデータを課金データファイル３０８に記録する（Ｓ４６）。なお、ステップＳ４２において、テンプレートと合成した似顔絵イラストをユーザーに表示したときに、少なくともユーザーには１回広告を表示したことになるので、この時点で一回課金を発生させてもよい。
【００５３】
ステップＳ４３において、ユーザーがダウンロードを選択しなかったときは、似顔絵イラストは気に入っているにもかかわらず選択されたテンプレートが気に入らなかった場合が多いと想定されるため、カテゴリー選択後のステップに戻って再トライできるルーチンを設ける（Ｓ４７）。
【００５４】
また、図９に示すように、テンプレートを、４〜１０個のコマ（ｂ１）で構成し、そのすべてに似顔絵イラストａ５を合成して、合成されたコマ（ｂ２）を動画としてＧＩＦアニメーションに自動生成してダウンロード可能にしてもよい。  以上で、第２の実施の形態の動作についての説明を終了するが、ここで、第２の実施の形態についての特徴を述べる。
【００５５】
第２の実施の形態では、似顔絵イラストを企業の広告媒体であるテンプレートと合成するところに特徴がある。似顔絵イラストデータを提供するサイトの運営者は、ユーザーがテンプレートと合成された似顔絵イラストをダウンロードすることにより、企業から広告収入を得ることが出来、それによってユーザーには無料で似顔絵イラストを提供するサイトを実現することが可能となる。
【００５６】
ユーザーにとっては、自己のオリジナルの似顔絵イラストと、既に社会での認知度の高い企業キャラクターとが合体されることにより、友人などに送信するメールに付加したい新しい魅力的なキャラクターを入手できる。また、テンプレートはカテゴリ選択のみによりランダムに選択されるので、どのようなテンプレートが合成されるのかワクワクする楽しみを味わえるし、一部の広告に希少性が発生することで、何度も繰り返し合成イラストを生成させる可能性がある。
広告の出稿企業にとっては、ダウンロードされた似顔絵イラストデータがユーザーの友人などに向けたメールに利用されることにより、友人などに向けた広告になり、また、ユーザーの属性等を考慮したターゲットを絞った効果的な広告も可能となる。
【００５７】
さらに、動画によるテンプレートとした場合は、静止画によるテンプレートに比べて、視覚的な印象が強く、広告の訴求効果も高いと考えられる。ユーザーにとっては、自分の似顔絵イラストと企業の広告動画が組み合わされることにより、あたかも自分がその企業のＣＭに出演したかのような気分を味わうことができ、自分がそのノベルティーであるかのような感覚を覚えることができる。それによって、その企業自体に親近感を覚え、企業のファンとなり、その企業の製品等の購買につながることも考えられる。また、その企業のダウンロードされた似顔絵イラスト付きの広告動画を、多くの友人や知人や家族に知ってもらいために、メールで頻繁に使用することが期待できる。また、一回、似顔絵イラストが組み合わされた動画テンプレートが気に入ると、ユーザーは他の動画テンプレートにも登場したい気持ちに駆られ、次々に動画テンプレートをダウンロードする可能性がある。このようなユーザーの行動により、動画テンプレートは、広告出稿企業にとっては、広告の効果を高めるための媒体としてより魅力的なものとなり、似顔絵イラストデータ提供サイトの運営者にとっても収益が発生する機会が増加することになる。
【産業上の利用可能性】
【００５８】
本発明の第１の実施の形態に記載した似顔絵イラストデータ提供システムにおける似顔絵イラスト作成処理は、第２の実施の形態ばかりではなく、顔画像を扱う様々な事業やサービスに利用可能である。以下にいくつかの利用例を記載する。
（１）自己の似顔絵イラストから犬、猫などの動物顔のキャラクターを作り出す。
アバターなどにも利用でき、そのキャラクターを使ったオリジナルグッズも作成可能である。
（２）メイクアップシュミレータに利用する。
入手する似顔絵イラスト画像を利用して、化粧品のバーチャルメイクアップを行う。新商品の販促や店舗誘引に利用することが出来る。
（３）髪型シュミレータに利用する。
入手する似顔絵イラスト画像を利用して、バーチャルに髪型を変えることが出来る。美容院の販促や店舗誘引に利用することが出来る。
（４）メガネシュミレータに利用する。
入手する似顔絵イラスト画像を利用して、バーチャルにメガネ・サングラスを掛けることが出来る。メーカーの販促などにも利用可能である。
（５）オリジナルフィギュアを作り出す。
入手する似顔絵イラスト画像を好みの人物立体模型のブランクの顔面に印刷し、自己のオリジナルフィギュアを完成させる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態による似顔絵イラストデータ提供システムの構成の概要を示すブロック図である。
【図２】本発明の第１の実施の形態の構成を示すブロック図である。
【図３】本発明の第１の実施の形態の動作の流れを示すフローチャートである。
【図４】本発明の第１の実施の形態における顔領域画像検出の例を示す図である。
【図５】本発明の第１の実施の形態における右半分画像・目周辺画像・眉周辺画像検出の例を示す図である。
【図６】本発明の第１の実施の形態における右目領域画像から右目サンプルデータ、さらに右目イラストデータを抽出する例を示す図である。
【図７】本発明の第２の実施の形態における動作の流れを示すフローチャートである。
【図８】本発明の第２の実施の携帯における広告課金の仕組みの概念を示した図である。
【図９】似顔絵イラストと動画によるテンプレートとの合成の例を示した図である。
【符号の説明】
【００６０】
２  サーバ
３  データ記憶部
４  携帯電話
５  ネットワーク
２０１  認証処理手段
２０２  顔画像データ保存手段
２０３  顔領域抽出手段
２０４  右半分顔画像生成／目領域画像・眉領域画像抽出手段
２０５  マッチングサンプルデータ抽出手段
２０６  マッチングイラストデータ抽出手段
２０７  似顔絵イラスト合成処理手段
３０１  ユーザーデータベース
３０２  顔画像データファイル
３０３  顔領域抽出データファイル
３０４  輪郭／目／眉サンプルデータファイル
３０５  輪郭／目／眉イラストデータファイル
３０６  タイプ別髪型／髪色イラストデータファイル
３０７  テンプレートデータベース
３０８  課金データファイル
【図１】
2009163465.tif 000003
【図２】
2009163465.tif 000004
【図３】
2009163465.tif 000005
【図７】
2009163465.tif 000006
【図４】
2009163465.tif 000007
【図５】
2009163465.tif 000008
【図６】
2009163465.tif 000009
【図８】
2009163465.tif 000010
【図９】
2009163465.tif 000011