(57)【要約】【課題】ユーザを撮像した画像とキャラクタ画像とを合成し、他のユーザとのコミュニケーションに利用することができる情報処理装置等を提供する。【解決手段】情報処理装置１は、複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付けるキャラクタ選択部と、ユーザを撮像したユーザ画像を取得する取得部と、前記キャラクタ画像及びユーザ画像を合成した合成画像を生成する生成部と、該合成画像を他のユーザ宛に出力する出力要求を受け付ける受付部とを備えることを特徴とする。【選択図】図１
2018151966.tif 000002
【特許請求の範囲】
【請求項１】
複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付けるキャラクタ選択部と、
ユーザを撮像したユーザ画像を取得する取得部と、
前記キャラクタ画像及びユーザ画像を合成した合成画像を生成する生成部と、
該合成画像を他のユーザ宛に出力する出力要求を受け付ける受付部と
を備えることを特徴とする情報処理装置。
【請求項２】
前記生成部は、前記ユーザ画像の一部を前記キャラクタ画像と合成した前記合成画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、
前記ユーザ画像に含まれるユーザの服飾品を抽出し、
抽出した前記服飾品を前記キャラクタ画像に合成した前記合成画像を生成する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、前記ユーザ画像に含まれるユーザの顔部分を、前記キャラクタ画像に含まれるキャラクタの顔部分と合成して複数のフェイスパターンを生成し、
前記複数のフェイスパターンから、最終的な前記合成画像に係るフェイスパターンの選択を受け付ける選択受付部を備える
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
前記生成部はさらに、選択された前記フェイスパターンと、予め設定されている前記キャラクタの複数のポーズパターンとを組み合わせ、複数パターンの前記合成画像を生成し、
前記選択受付部は、生成された複数パターンの前記合成画像から選択を受け付ける
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記生成部は、前記キャラクタ画像の一部を前記ユーザ画像と合成した前記合成画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記生成部は、前記キャラクタ画像に応じた複数のパーツ画像夫々と、前記ユーザ画像とを合成して複数パターンの合成画像を生成し、
生成した複数パターンの合成画像から選択を受け付ける選択受付部を備える
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記受付部は、前記ユーザが属するチャットグループへの出力要求を受け付け、
前記合成画像の利用に制限を付して、前記チャットグループに属する前記他のユーザ宛に前記合成画像を出力する出力部を備える
ことを特徴とする請求項１〜請求項７のいずれか１項に記載の情報処理装置。
【請求項９】
前記キャラクタ画像は複数のキャラクタを含み、
前記取得部は、複数のユーザの前記ユーザ画像を取得し、
前記生成部は、前記複数のキャラクタ夫々を前記複数のユーザに係るユーザ画像と合成した前記合成画像を生成する
ことを特徴とする請求項１〜請求項８のいずれか１項に記載の情報処理装置。
【請求項１０】
複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付け、
ユーザを撮像したユーザ画像を取得し、
前記キャラクタ画像及びユーザ画像を合成した合成画像を生成し、
該合成画像を他のユーザ宛に出力する出力要求を受け付ける
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
複数のキャラクタ画像を表示部に表示し、
表示した複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付け、
選択した前記キャラクタ画像を外部装置に通知し、
ユーザを撮像したユーザ画像を前記外部装置に出力し、
選択された前記キャラクタ画像、及び出力したユーザ画像から前記外部装置が生成した合成画像を取得し、
他のユーザ宛の前記合成画像の出力を前記外部装置に要求する
処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
ＳＮＳ（Social Networking Service）等のコミュニケーション技術の発展に伴い、ネットワーク上でユーザが自身を指し示すものとして使用する画像、いわゆるアバターの需要が高まっている。例えば特許文献１では、被写体である人間の顔画像から表情を特定し、特定した表情に応じて予め用意されたポーズ画像を顔画像と合成することで、被写体を素材としたキャラクタ画像を生成する画像生成装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１１８９９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に係る発明は、人物画像を再表現したものに過ぎず、ユーザを撮像した画像と、アニメーション等に係るキャラクタの画像とを合成して、ユーザが所望するキャラクタの要素を加味したアバターを生成するものではない。
【０００５】
本発明は斯かる事情によりなされたものであって、その目的とするところは、ユーザを撮像した画像とキャラクタ画像とを合成し、他のユーザとのコミュニケーションに利用することができる情報処理装置等を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置は、複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付けるキャラクタ選択部と、ユーザを撮像したユーザ画像を取得する取得部と、前記キャラクタ画像及びユーザ画像を合成した合成画像を生成する生成部と、該合成画像を他のユーザ宛に出力する出力要求を受け付ける受付部とを備えることを特徴とする。
【０００７】
本発明に係る情報処理装置は、前記生成部は、前記ユーザ画像の一部を前記キャラクタ画像と合成した前記合成画像を生成することを特徴とする。
【０００８】
本発明に係る情報処理装置は、前記生成部は、前記ユーザ画像に含まれるユーザの服飾品を抽出し、抽出した前記服飾品を前記キャラクタ画像に合成した前記合成画像を生成することを特徴とする。
【０００９】
本発明に係る情報処理装置は、前記生成部は、前記ユーザ画像に含まれるユーザの顔部分を、前記キャラクタ画像に含まれるキャラクタの顔部分と合成して複数のフェイスパターンを生成し、前記複数のフェイスパターンから、最終的な前記合成画像に係るフェイスパターンの選択を受け付ける選択受付部を備えることを特徴とする。
【００１０】
本発明に係る情報処理装置は、前記生成部はさらに、選択された前記フェイスパターンと、予め設定されている前記キャラクタの複数のポーズパターンとを組み合わせ、複数パターンの前記合成画像を生成し、前記選択受付部は、生成された複数パターンの前記合成画像から選択を受け付けることを特徴とする。
【００１１】
本発明に係る情報処理装置は、前記生成部は、前記キャラクタ画像の一部を前記ユーザ画像と合成した前記合成画像を生成することを特徴とする。
【００１２】
本発明に係る情報処理装置は、前記生成部は、前記キャラクタ画像に応じた複数のパーツ画像夫々と、前記ユーザ画像とを合成して複数パターンの合成画像を生成し、生成した複数パターンの合成画像から選択を受け付ける選択受付部を備えることを特徴とする。
【００１３】
本発明に係る情報処理装置は、前記受付部は、前記ユーザが属するチャットグループへの出力要求を受け付け、前記合成画像の利用に制限を付して、前記チャットグループに属する前記他のユーザ宛に前記合成画像を出力する出力部を備えることを特徴とする。
【００１４】
本発明に係る情報処理装置は、前記キャラクタ画像は複数のキャラクタを含み、前記取得部は、複数のユーザの前記ユーザ画像を取得し、前記生成部は、前記複数のキャラクタ夫々を前記複数のユーザに係るユーザ画像と合成した前記合成画像を生成することを特徴とする。
【００１５】
本発明に係るプログラムは、複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付け、ユーザを撮像したユーザ画像を取得し、前記キャラクタ画像及びユーザ画像を合成した合成画像を生成し、該合成画像を他のユーザ宛に出力する出力要求を受け付ける処理をコンピュータに実行させることを特徴とする。
【００１６】
本発明に係るプログラムは、複数のキャラクタ画像を表示部に表示し、表示した複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付け、選択した前記キャラクタ画像を外部装置に通知し、ユーザを撮像したユーザ画像を前記外部装置に出力し、選択された前記キャラクタ画像、及び出力したユーザ画像から前記外部装置が生成した合成画像を取得し、他のユーザ宛の前記合成画像の出力を前記外部装置に要求する処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、ユーザを撮像した画像とキャラクタ画像とを合成し、他のユーザとのコミュニケーションに利用することができる。
【図面の簡単な説明】
【００１８】
【図１】情報処理システムの一例を示す模式図である。
【図２】サーバの構成例を示すブロック図である。
【図３】端末の構成例を示すブロック図である。
【図４】キャラクタ選択処理を説明するための説明図である。
【図５】ユーザ画像の抽出処理を説明するための説明図である。
【図６】合成画像の生成処理を説明するための説明図である。
【図７】フェイスパターンの選択処理を説明するための説明図である。
【図８】ポーズパターンの選択処理を説明するための説明図である。
【図９】合成画像の出力処理を説明するための説明図である。
【図１０】情報処理システムが実行する処理手順の一例を示すフローチャートである。
【図１１】合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。
【図１２】実施の形態２に係る合成画像の生成処理を説明するための説明図である。
【図１３】実施の形態２に係るユーザ画像及びパーツ画像の組み合わせ例を示す説明図である。
【図１４】実施の形態２に係る合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。
【図１５】実施の形態３に係る合成画像の生成処理を説明するための説明図である。
【図１６】実施の形態３に係る情報処理システムが実行する処理手順の一例を示すフローチャートである。
【図１７】実施の形態３に係る合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。
【図１８】実施の形態４に係る服飾品の使用可否に関する選択処理を説明するための説明図である。
【図１９】実施の形態４に係る合成画像の生成処理を説明するための説明図である。
【図２０】実施の形態４に係る合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。
【図２１】上述した形態のサーバの動作を示す機能ブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
本実施の形態では、アニメーション等のキャラクタに係るキャラクタ画像、及びユーザを撮像したユーザ画像を合成した合成画像を生成する情報処理システムを一例として説明を行う。図１は、情報処理システムの一例を示す模式図である。情報処理システムは、情報処理装置１、複数の端末装置２、２、２…を含む。各装置は、インターネット等のネットワークＮによって相互に通信接続されている。
【００２０】
情報処理装置１は、種々の情報処理を行うと共に、情報の送受信を行う情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態において情報処理装置１はサーバコンピュータであるものとし、以下ではサーバ１と読み替える。サーバ１は、端末装置２、２、２…の所有者である各ユーザに対して、ネットワークＮを介してユーザ同士が交流するためのアプリケーションサービスを提供する。また、本実施の形態においてサーバ１は、各端末装置２からユーザを撮像したユーザ画像を取得し、記憶してあるキャラクタ画像と合成して合成画像を生成し、コミュニケーションツールとしてユーザに提供する。
【００２１】
端末装置２は、種々の情報処理を行う情報処理端末であり、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。本実施の形態において端末装置２はスマートフォンであるものとし、以下では簡潔のため端末２と読み替える。
【００２２】
図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、大容量記憶装置１４を含む。
制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の演算処理装置を含み、記憶部１２に記憶されたプログラムＰ１を読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要なプログラムＰ１又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための処理回路等を含み、ネットワークＮを介して端末２等と情報の送受信を行う。
【００２３】
大容量記憶装置１４は、例えばハードディスク等を含む大容量の記憶装置である。大容量記憶装置１４は、キャラクタＤＢ１４１等を記憶している。キャラクタＤＢ１４１は、キャラクタ画像に関するデータが記憶されている。なお、本実施の形態において記憶部１２及び大容量記憶装置１４は一体の記憶装置として構成されていてもよい。また、大容量記憶装置１４は複数の記憶装置により構成されていてもよい。また、大容量記憶装置１４はサーバ１に接続された外部記憶装置であってもよい。
また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、サーバ１に係る情報を表示する表示部、可搬型記憶媒体に記憶された情報を読み取る読取部等を含んでもよい。
【００２４】
図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、音声出力部２６、撮像部２７を含む。
制御部２１はＣＰＵ、ＭＰＵ等の演算処理装置を含み、記憶部２２に記憶されたプログラムＰ２を読み出して実行することにより、端末２に係る種々の情報処理、制御処理等を行う。記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要なプログラムＰ２又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部２３は無線又は有線により通信を行う通信モジュールであり、ネットワークＮを介して情報の送受信を行う。表示部２４は液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の画面を有し、制御部２１から与えられた画像を表示する。入力部２５は表示部２４に設けられたタッチパネル又は押下式のボタン等であり、ユーザによる操作入力を受け付ける。音声出力部２６は、音声の出力を行うスピーカである。撮像部２７は、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等を含み、画像の撮像を行う。
【００２５】
なお、本実施の形態において端末２は上記の構成に限られず、例えば音声の入力を行うマイク等の音声入力部、可搬型記憶媒体に記憶された情報を読み取る読取部等を含んでもよい。
【００２６】
表１に、キャラクタＤＢ１４１のレコードレイアウトの一例を示す。
【００２７】
【表１】
2018151966.tif 000003
【００２８】
キャラクタＤＢ１４１は、ＩＤ列、キャラクタ画像列、音声列を含む。ＩＤ列は、各キャラクタ画像を識別するためのＩＤを記憶している。キャラクタ画像列は、ＩＤと対応付けて、各キャラクタ画像を記憶している。キャラクタ画像は、例えばアニメーション、漫画、映画、ゲーム等のキャラクタを含む画像である。なお、キャラクタの定義は上記に限定されず、その他の娯楽コンテンツに描写されるキャラクタであってよい。音声列は、ＩＤと対応付けて、各キャラクタ画像に対応する音声データを記憶している。具体的に音声データは、キャラクタ画像に含まれるキャラクタに由来する音声であり、例えば原作に使用された音楽、キャラクタのセリフ等に係る音声である。
【００２９】
以下では、図４〜図９に基づき、情報処理システムが実行する処理の概要について説明する。本システムは、ユーザ画像から目、鼻、口等のような一部パーツを抜き出してキャラクタ画像に合成することで、アニメーション、漫画等のキャラクタにユーザの特徴要素を反映させて、ユーザだけのオリジナルのアバターを作成する処理を行う。また、オリジナルのアバターをチャット、ＳＮＳ等のようなネットワークＮ上の交流の場において利用可能とし、ユーザ間のコミュニケーションの活性化を図る。
【００３０】
図４は、キャラクタ選択処理を説明するための説明図である。図４では、端末２が表示する画面例を図示している。端末２は、ユーザによる操作入力に従って当該画面を表示する。例えば制御部２１は、各キャラクタに係るキャラクタ画像４０を、サムネイル形式で一覧にして表示部２４に表示する。
【００３１】
端末２は、表示画面へのタッチ入力を受け付けることで、キャラクタ画像４０の選択を受け付ける。端末２は、選択されたキャラクタ画像４０をサーバ１に通知する。これによりサーバ１は、端末２を介してキャラクタ画像４０の選択を受け付ける。
【００３２】
図５は、ユーザ画像５０の抽出処理を説明するための説明図である。キャラクタ画像４０の選択を受け付けた場合、端末２は、ユーザによる操作に従ってユーザを撮像する。図５に、撮像されたユーザ画像５０の一例を示す。例えば図５に示すように、ユーザ画像５０は、ユーザを正面から撮像した画像である。なお、例えばユーザ画像５０は、ユーザを側面から撮像した画像を含めてもよい。正面視及び側面視の撮像画像を用いることで、後述する合成画像を３次元的に表現することができる。端末２は、撮像されたユーザ画像５０をサーバ１に転送する。
【００３３】
なお、上記では端末２がユーザ画像５０の撮像を行うものとしたが、本実施の形態はこれに限定されるものではない。例えばデジタルカメラ等の撮像装置においてユーザ画像５０の撮像を行い、端末２がサーバ１に転送することとしてもよい。すなわち、サーバ１がユーザ画像５０を取得することができればよく、ユーザ画像５０の撮像を行うハードウェア上の処理主体は特に限定されない。
【００３４】
例えば図５に示すように、サーバ１は、ユーザ画像５０からユーザの顔部分を抽出する。具体的にサーバ１は、ユーザ画像５０からユーザの顔を認識する画像認識処理を行い、認識結果に基づいてユーザの顔部分の特徴量を抽出する。例えばサーバ１は、学習用として事前に与えられた複数の撮像画像から人間の顔を認識して特徴量を抽出する機械学習を行っておき、学習モデルを構築して大容量記憶装置１４に記憶しておく。当該機械学習処理は、例えばＷａｔｓｏｎ（登録商標）等のように、公知の機械学習アルゴリズムを適用することができる。端末２からユーザ画像５０を取得した場合、サーバ１は、構築済みの学習モデルを参照し、ユーザ画像５０からユーザの顔を認識する。
【００３５】
サーバ１は、画像認識結果に基づき、ユーザ画像５０に含まれるユーザの顔部分の特徴量を抽出する。例えばサーバ１は、図５に示すように、ユーザの顔部分に含まれる目、鼻、口、顔の輪郭等の各パーツ５１（特徴点）を認識し、各パーツ５１の形状、位置、色等の特徴量を抽出する。サーバ１は、抽出した顔部分の特徴量に基づき、キャラクタ画像４０との合成を行う。
【００３６】
なお、上記でサーバ１は機械学習の結果物である学習モデルのデータを自装置において記憶しているものとしたが、本実施の形態はこれに限定されるものではない。例えば学習モデルのデータは外部の記憶装置に記憶されており、サーバ１は、合成画像の生成処理を実行する場合、外部の記憶装置にアクセスして学習モデルのデータを参照するようにしてもよい。
【００３７】
図６は、合成画像の生成処理を説明するための説明図である。図６では、キャラクタ画像４０及びユーザ画像５０の合成を行う様子を模式的に示している。本実施の形態においてサーバ１は、ユーザの顔部分と、キャラクタの顔部分とを合成する処理を行う。
例えばサーバ１は、キャラクタの顔の一部である所定のパーツ４１と、ユーザの顔の一部である所定のパーツ５１とを合成する。例えば図６に示すように、サーバ１は、キャラクタの目及び眉と、ユーザの目及び眉とを、所定の重み付けにより合成する。これによりサーバ１は、キャラクタ画像４０の一部をユーザの特徴に応じて改変した合成画像（後述するフェイスパターン）を生成する。なお、合成箇所は目及び眉に限定されるものではなく、その他の箇所であってもよい。また、合成箇所の数は特に限定されない。
【００３８】
なお、上記でサーバ１は、ユーザ及びキャラクタの顔部分を合成するものとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、ユーザ画像５０からユーザの体型に係る特徴量を抽出し、キャラクタの体型をユーザの体型に近づけた合成画像を生成してもよい。このように、サーバ１が合成する画像箇所は特に限定されるものではなく、ユーザ画像５０の一部を抽出してキャラクタ画像４０と合成することができればよい。
【００３９】
図７は、フェイスパターンの選択処理を説明するための説明図である。図６では、一のキャラクタ画像４０から一の合成画像を生成する様子を図示した。本実施の形態では、サーバ１は合成画像の生成処理を繰り返し、一のキャラクタ画像４０及びユーザ画像５０の組み合わせから、複数のフェイスパターン８０を生成する。例えばサーバ１は、画像合成処理を行う場合に、キャラクタ画像４０とユーザ画像５０との合成比率に係る重み付けを変更することで、複数のフェイスパターン８０を生成する。また、例えばサーバ１は、合成する顔のパーツの組み合わせを変更することで複数のフェイスパターン８０を生成してもよい。また、例えばサーバ１は、一のキャラクタにつき表情を変えた複数のキャラクタ画像４０を予めキャラクタＤＢ１４１に記憶しておき、各表情のキャラクタ画像４０とユーザ画像５０との合成により複数のフェイスパターン８０を生成してもよい。サーバ１は、生成したフェイスパターン８０を端末２に出力し、表示させる。例えば図７に示すように、端末２の制御部２１は、各フェイスパターン８０を一覧で表示部２４に表示する。なお、図７では図示の便宜のため、フェイスパターン８０は顔の輪郭のみを図示し、目、鼻等の図示は省略している。
【００４０】
端末２は、表示した複数のフェイスパターン８０、８０、８０…から、最終的にユーザに提供する合成画像として用いるフェイスパターン８０の選択を受け付ける。例えば端末２は、フェイスパターン８０へのタッチ入力に基づき選択を受け付ける。具体的には、端末２は、タッチされたフェイスパターン８０に基づいて絞り込みを行い、絞り込まれたフェイスパターン８０、８０、８０…から最終的なフェイスパターン８０の選択を受け付ける。例えば図７中央に太枠で示すフェイスパターン８０ａへのタッチ入力を受け付けた場合、端末２は、当該フェイスパターン８０ａと合成比率が近似するフェイスパターン８０ｂ、８０ｂ、８０ｂ…（図７に白抜き枠で示す画像）を絞り込んで表示する。端末２は、絞り込まれたフェイスパターン８０から選択を受け付ける。端末２は、選択されたフェイスパターン８０をサーバ１に通知する。これにより、サーバ１は複数のフェイスパターン８０、８０、８０…から、最終的な合成画像に採用するフェイスパターン８０の選択を受け付ける。
【００４１】
なお、上記の絞り込みを行う場合、端末２はサーバ１にアクセスし、機械学習による学習モデルからフェイスパターン８０ａと近似するフェイスパターン８０ｂ、８０ｂ、８０ｂ…を絞り込むようサーバ１に要求してもよい。例えばサーバ１は、過去に生成した合成画像を教師データとして機械学習を行い、合成画像に係る顔パーツ、表情、絵のタッチ等について学習モデルを構築しておく。サーバ１はフェイスパターン８０ａの選択を受け付けた場合、当該学習モデルを参照し、その他のフェイスパターン８０ｂ、８０ｂ、８０ｂ…からフェイスパターン８０ａと近似するものを抽出し、端末２に出力する。これにより、サーバ１はフェイスパターン８０について、より近似性の高い一群のフェイスパターン８０、８０、８０…をユーザに提案することができる。
【００４２】
図８は、ポーズパターンの選択処理を説明するための説明図である。選択内容の通知を受けた場合、サーバ１は、選択されたフェイスパターン８０と、予め設定されているキャラクタの複数のポーズパターン８１とを組み合わせ、複数パターンの合成画像９０を生成する。ポーズパターン８１は、合成画像９０の元となったキャラクタ画像４０に係るキャラクタに応じて予め用意されたテンプレート画像であり、キャラクタの顔を除く部分の画像である。サーバ１は、複数のポーズパターンをキャラクタＤＢ１４１に記憶している。選択通知を受けた場合、サーバ１はキャラクタＤＢ１４１を参照し、選択されたフェイスパターン８０を各ポーズパターン８１に当てはめて合成画像９０を生成する。なお、例えばサーバ１は、ポーズパターン８１に応じてフェイスパターン８０の表情等を変えるなど、フェイスパターン８０にさらなる加工を施してもよい。サーバ１は、生成した複数パターンの合成画像９０を端末２に出力する。
【００４３】
端末２は、複数パターンの合成画像９０を表示部２４に表示する。端末２は、フェイスパターン８０の選択処理と同様に、ポーズパターン８１と組み合わせた合成画像９０に関して選択を受け付ける。これにより、ユーザに提供する最終的な合成画像９０が決定される。端末２は、選択した合成画像９０をサーバ１に通知する。
【００４４】
図９は、合成画像９０の出力処理を説明するための説明図である。合成画像９０に係る選択通知を受けた場合、サーバ１は、選択された合成画像９０に音声データを付加する処理を行う。上述の如く、音声データはキャラクタに由来する音声であり、例えばキャラクタのセリフ、原作コンテンツで使用された音楽、効果音等の音声である。サーバ１は、合成画像９０に音声データを付加して最終的な出力データを生成する。
【００４５】
サーバ１は、端末２からの出力要求に応じて、生成した合成画像９０を他のユーザ宛に出力する。例えばサーバ１は、生成した合成画像９０を、各ユーザがメンバーとして属するチャットグループに対して出力する。図９にチャット画面の一例を示す。図９に示すように、チャット画面は各ユーザが入力したテキスト、画像等を表示する画面である。サーバ１は、各端末２と通信を行い、チャットグループの管理、チャット画面の生成等に係る処理を行う。そしてサーバ１は、端末２からの出力要求を受け付け、チャット画面に合成画像９０を出力する。
【００４６】
例えば図９に示すように、サーバ１は、合成画像９０をＬＩＮＥ（登録商標）のスタンプのように、ユーザからの投稿画像として出力する。また、さらにサーバ１は、合成画像９０に紐付く音声データを端末２に出力する。例えば図９に示すように、端末２がユーザによる操作に従ってチャット画面を表示する場合、合成画像９０と併せてキャラクタのセリフ、音楽等の音声を出力する。
【００４７】
なお、合成画像９０をチャットグループに出力する場合、サーバ１は、当該合成画像９０の利用に制限を付した上で合成画像９０を出力する。例えばサーバ１は、端末２における合成画像９０の複製及び転送を不可能とする利用制限を付すことで、合成画像９０の利用をチャットグループ内のみに制限する。これにより、ユーザ画像５０に基づいて生成された合成画像９０の拡散を防ぎ、ユーザのプライバシーの保護を図ることができる。
【００４８】
また、例えばサーバ１は、合成画像９０の利用に時間制限を付してもよい。例えばサーバ１は、合成画像９０の表示を出力要求時から２４時間のみ可能とし、２４時間経過後に消去する。このように、合成画像９０の利用制限に係る処理内容は特に限定されず、合成画像９０の利用に一定の制限を付すことができればよい。
【００４９】
なお、上記で端末２は、合成画像９０をスタンプ形式で表示したが、本実施の形態はこれに限定されるものではない。例えば端末２は、合成画像９０を絵文字画像として表示してもよい。また、例えば端末２は合成画像９０を、ユーザ本人を示すアイコン画像として表示してもよい。このように、端末２における合成画像９０の表示形式は特に限定されない。
【００５０】
また、上記でサーバ１が合成画像９０を出力する出力先は、一部のユーザのみがアクセス可能なチャットグループであるものとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、端末２からの出力要求に基づき、合成画像９０をＳＮＳ（Social Networking Service）に係るネットワークＮ上のコミュニティに出力してもよい。また、例えばサーバ１は、特定のユーザ宛の電子メールに合成画像９０を添付して出力してもよい。すなわちサーバ１は、合成画像９０を他のユーザ宛に出力することができればよく、出力先を含む出力態様は特に限定されない。
【００５１】
図１０は、情報処理システムが実行する処理手順の一例を示すフローチャートである。図１０に基づき、情報処理システムが実行する処理内容について説明する。
端末２の制御部２１は、複数のキャラクタ画像４０を表示部２４に表示する（ステップＳ１１）。キャラクタ画像４０は、例えばアニメーション、漫画等のキャラクタの画像である。制御部２１は、各キャラクタのキャラクタ画像４０を一覧で表示部２４に表示する。制御部２１は、入力部２５への操作入力に基づき、複数のキャラクタ画像４０から一のキャラクタ画像４０の選択を受け付ける（ステップＳ１２）。例えば制御部２１は、表示部２４に表示されているキャラクタ画像４０へのタッチ入力に基づき選択を受け付ける。
【００５２】
制御部２１は、撮像部２７によりユーザを撮像する処理を行う（ステップＳ１３）。制御部２１は、ステップＳ１２で選択されたキャラクタ画像４０に係る選択通知と、ステップＳ１３で撮像されたユーザ画像５０とをサーバ１に出力する（ステップＳ１４）。
【００５３】
サーバ１の制御部１１は、通信部１３により上記の各データを取得する（ステップＳ１５）。これにより制御部１１は、キャラクタ画像４０の選択を受け付けると共に、ユーザを撮像した撮像画像５０を取得する。制御部１１は、選択されたキャラクタ画像４０、及びユーザを撮像したユーザ画像５０を合成した合成画像９０を生成する処理を行う（ステップＳ１６）。具体的に制御部１１は、ユーザ画像５０から一部を抽出し、抽出したユーザ画像５０の一部をキャラクタ画像４０に合成した合成画像９０を生成する。制御部１１は、生成した合成画像９０に係るデータを端末２に出力する（ステップＳ１７）。当該データは、キャラクタ画像４０及びユーザ画像５０から生成された合成画像９０と、キャラクタ画像４０に応じて付加される音声データとを含む。
【００５４】
端末２の制御部２１は、通信部２３により合成画像９０に係るデータを取得する（ステップＳ１８）。なお、例えば制御部２１は、取得した合成画像９０のデータを記憶部２２に記憶する。制御部２１は、合成画像９０を出力する出力先を受け付ける（ステップＳ１９）。例えば制御部２１は、当該ユーザがメンバーとして属するチャットグループの選択を受け付ける。制御部２１は、受け付けた出力先に合成画像９０を出力するようサーバ１に要求する（ステップＳ２０）。
【００５５】
サーバ１の制御部１１は、合成画像９０の出力要求を端末２から受け付ける（ステップＳ２１）。例えば制御部１１は、合成画像９０を出力するチャットグループの選択を受け付ける。制御部１１は出力要求に従い、他のユーザ宛に合成画像９０を出力する処理を行う（ステップＳ２２）。例えば制御部１１は、ステップＳ１９で選択されたチャットグループに対して合成画像９０を出力する。この場合に制御部１１は、合成画像９０の利用をチャットグループ内のみとするなど、一定の制限を付して合成画像９０を出力する。合成画像９０の出力を受けた場合、他のユーザの端末２、２、２…は、チャット画面において合成画像９０を表示する。また、端末２、２、２…は合成画像９０の表示と共に、当該合成画像９０に付加された音声を音声出力部２６より出力する。サーバ１の制御部１１は、一連の処理を終了する。
【００５６】
図１１は、合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。図１１に基づき、ステップＳ１６の処理内容について説明する。
サーバ１の制御部１１は、ユーザ画像５０に含まれるユーザの顔を認識する画像認識処理を行う（ステップＳ４１）。制御部１１は、画像認識結果に基づき、ユーザ画像５０からユーザの顔部分の特徴量を抽出する処理を行う（ステップＳ４２）。例えばサーバ１は、複数の撮像画像から人間の目、眉、鼻、口、顔の輪郭等の各パーツ５１の特徴量を抽出する学習処理を事前に行い、各パーツ５１に係る形状、位置、色等の特徴量をモデル化した学習モデルを構築して大容量記憶装置１４に記憶しておく。サーバ１の制御部１１は、新たにユーザ画像５０を取得した場合、構築済みの学習モデルを参照し、ユーザ画像５０に含まれるユーザの目、眉、鼻等の各パーツ５１について特徴量を抽出する。
【００５７】
制御部１１は、ステップＳ４２で特徴量を抽出したユーザの顔部分と、キャラクタ画像４０に含まれるキャラクタの顔部分とを合成して複数のフェイスパターン８０を生成する（ステップＳ４３）。例えば制御部１１は、キャラクタ画像４０を基本として、ユーザの顔の一部である所定のパーツ５１を、キャラクタの顔の一部である所定のパーツ４１と合成し、フェイスパターン８０に係る画像データを生成する。制御部１１は、画像の合成処理に係る重み付けを変更するなどして、一のキャラクタ画像４０及びユーザ画像５０の組み合わせにつき複数のフェイスパターンを生成する。制御部１１は、生成した複数のフェイスパターン８０に係る画像データを端末２に出力する（ステップＳ４４）。
【００５８】
端末２の制御部２１は、複数のフェイスパターン８０に係る画像データを取得する（ステップＳ４５）。制御部２１は、取得した複数のフェイスパターン８０を表示部２４に表示する（ステップＳ４６）。例えば制御部１１、キャラクタ画像４０の表示時と同じく、各フェイスパター８０ンをサムネイル形式で表示する。制御部２１は、入力部２５への操作入力に基づき、フェイスパターン８０の選択を受け付ける（ステップＳ４７）。制御部２１は、選択されたフェイスパターン８０に係る選択通知をサーバ１に出力する（ステップＳ４８）。
【００５９】
サーバ１の制御部１１は、フェイスパターン８０の選択を端末２から受け付ける（ステップＳ４９）。制御部１１は、選択されたフェイスパターン８０と、予め設定されているキャラクタの複数のポーズパターン８１とを組み合わせ、複数パターンの合成画像９０を生成する（ステップＳ５０）。ポーズパターン８１は、キャラクタの顔を除く部分の画像であり、一のキャラクタにつき複数のポーズパターン８１が設定されている。制御部１１は、キャラクタＤＢ１４１から各ポーズパターン８１に係る画像を読み出し、ステップＳ４７で選択されたフェイスパターン８０の画像と合成して複数パターンの合成画像９０を生成する。制御部１１は、生成した複数パターンの合成画像９０を端末２に出力する（ステップＳ５１）。
【００６０】
端末２の制御部２１は、複数パターンの合成画像９０を取得する（ステップＳ５２）。制御部２１は、複数パターンの合成画像９０を表示部２４に表示する（ステップＳ５３）。制御部２１は、表示した複数パターンの合成画像９０から一の合成画像９０の選択を受け付ける（ステップＳ５４）。制御部２１は、選択された合成画像９０に係る選択通知をサーバ１に出力する（ステップＳ５５）。
【００６１】
サーバ１の制御部１１は、ユーザに提供する合成画像９０の選択を端末２から受け付ける（ステップＳ５６）。制御部１１は、端末２に対して出力するデータとして、ステップＳ５４で選択された合成画像９０に加え、合成画像９０の元となったキャラクタ画像４０に対応する音声データを付加する処理を行う（ステップＳ５７）。当該音声データは、例えばキャラクタ画像４０に係るキャラクタに由来するセリフ、音楽等の音声であり、キャラクタＤＢ１４１に記憶されている。制御部１１は、上述のステップＳ１７において合成画像９０を出力する場合、音声データを付加して端末２に出力する。制御部１１は、合成画像生成のサブルーチンをリターンする。
【００６２】
なお、例えばサーバ１は、画像の合成に用いるユーザの顔のパーツ５１の指定を受け付けてもよい。例えば端末２は、ユーザを撮像してユーザ画像５０をサーバ１に出力する場合、画像の合成に使用するパーツ５１の選択を受け付ける。サーバ１は、選択されたパーツ５１の特徴量をユーザ画像５０から抽出し、キャラクタ画像４０と合成する。これにより、画像の合成に係る自由度を向上することができる。
【００６３】
以上より、本実施の形態１によれば、ユーザを撮像したユーザ画像５０と、アニメーション、漫画等のキャラクタに係るキャラクタ画像４０とを合成し、既存のキャラクタにユーザ本人の特徴要素を合わせたオリジナルのアバターを作成することができる。また、オリジナルのアバターを他のユーザとのコミュニケーションに利用することができ、チャット、ＳＮＳ等のような交流の場を活性化することができる。
【００６４】
また、本実施の形態１によれば、学習モデルに基づく画像認識処理を行うことで、ユーザの特徴を精度良く抽出することができる。また、ユーザ画像５０の一部を用いてキャラクタ画像４０を改変することで、キャラクタ画像４０を基本としたユーザのアバターを生成することができる。
【００６５】
また、本実施の形態１によれば、複数のフェイスパターン８０を生成してユーザに選択させることで、ユーザは、最終的に作成するアバターの顔部分について、多様な選択肢から所望の顔を選択することができる。
【００６６】
また、本実施の形態１によれば、フェイスパターン８０と複数のポーズパターン８１とを組み合わせた複数パターンの合成画像９０を生成することで、より多様な選択肢を与えることができる。
【００６７】
また、本実施の形態１によれば、生成した合成画像９０をチャットグループに出力すると共に、合成画像９０の利用に一定の制限を付すことで、ネットワーク上における合成画像９０の拡散を防ぎ、ユーザのプライバシーの保護を図ることができる。
【００６８】
（実施の形態２）
本実施の形態では、キャラクタの一部をユーザ画像５０に合成する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図１２は、実施の形態２に係る合成画像の生成処理を説明するための説明図である。実施の形態１では、サーバ１はキャラクタ画像４０を基本として合成画像を生成した。本実施の形態では、サーバ１はユーザ画像５０を基本として合成画像を生成する。具体的にサーバ１は、キャラクタ画像４０の一部をユーザ画像５０に合成する。
【００６９】
例えばサーバ１は、各キャラクタ画像４０について、キャラクタの一部を示すパーツ画像２４１をキャラクタＤＢ１４１に記憶しておく。図１２下側に示すように、パーツ画像２４１は、例えばキャラクタの目、鼻、口等の一部領域を元のキャラクタ画像４０から切り取った画像である。なお、図１２に示すように、パーツ画像２４１はキャラクタ画像４０の複数の箇所（図１２では口元及び耳）を含んでもよい。
【００７０】
サーバ１は、実施の形態１と同じく、機械学習に係る学習モデルを参照して、ユーザ画像５０に含まれるユーザの顔部分を認識する。そしてサーバ１は、キャラクタのパーツ画像２４１をユーザ画像５０に重畳して合成画像２９０を生成する。例えば図１２に示すように、サーバ１は画像認識結果に基づいて各パーツを適切な位置に重ね合わせる。サーバ１は、ユーザ画像５０にパーツ画像２４１を重ね合わせた後、パーツ画像２４１とユーザ画像５０との境界部分に違和感が生じないように形状、色等を補正する所定の補正処理を行い、合成画像２９０を生成する。
【００７１】
図１３は、実施の形態２に係るユーザ画像５０及びパーツ画像２４１の組み合わせ例を示す説明図である。サーバ１は、一のキャラクタ画像４０につき複数のパーツ画像２４１をキャラクタＤＢ１４１に記憶しておく。サーバ１は、端末２から取得したユーザ画像５０と、複数のパーツ画像２４１夫々とを組み合わせ、複数パターンの合成画像２９０を生成する。実施の形態１と同様、サーバ１は、生成した複数パターンの合成画像２９０を端末２に出力し、合成画像２９０の選択を受け付ける。サーバ１は、選択された合成画像２９０を端末２に出力し、ユーザに提供する。
【００７２】
図１４は、実施の形態２に係る合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。図１４に基づき、本実施の形態に係るサーバ１が実行する合成画像生成のサブルーチンについて説明する。
サーバ１の制御部１１は、大容量記憶装置１４に記憶されている学習モデルを参照し、ユーザ画像５０に含まれるユーザの顔を認識する画像認識処理を行う（ステップＳ２０１）。具体的には実施の形態１と同様、制御部１１は、ユーザの顔部分に含まれる目、眉、鼻等の各パーツ５１を認識する。制御部１１は、画像認識結果に基づき、キャラクタ画像４０に含まれるキャラクタの一部をユーザ画像５０に合成した複数パターンの合成画像２９０を生成する（ステップＳ２０２）。例えばサーバ１は、一のキャラクタ画像４０につき、合成に使用する複数のパーツ画像２４１をキャラクタＤＢ１４１に記憶しておく。制御部１１は、端末２において選択されたキャラクタ画像４０に係る複数のパーツ画像２４１をキャラクタＤＢ１４１から読み出し、各パーツ画像２４１とユーザ画像５０とを組み合わせて複数パターンの合成画像２９０を生成する。具体的には、制御部１１はステップＳ２０１で認識したユーザの顔のパーツ位置に、キャラクタのパーツ画像２４１を重ね合わせる。制御部１１は、重ね合わせたパーツ画像２４１の大きさ、色等を、基本となるユーザ画像５０に応じて補正し、各合成画像２９０を生成する。制御部１１は、生成した複数パターンの合成画像２９０を端末２に出力し（ステップＳ２０３）、処理をステップＳ５２に移行する。
【００７３】
以上より、本実施の形態２によれば、ユーザ画像５０を基本としたアバターをユーザに提供こともできる。
【００７４】
また、本実施の形態２によれば、複数のパーツ画像２４１夫々とユーザ画像５０とを組み合わせて合成画像２９０を生成することで、多様な選択肢をユーザに与えることができる。
【００７５】
（実施の形態３）
本実施の形態では、複数のキャラクタ夫々に、複数のユーザ夫々の特徴を加えた合成画像２９０を生成する形態について説明する。
図１５は、実施の形態３に係る合成画像２９０の生成処理を説明するための説明図である。図１５では、複数のキャラクタ３４１を含むキャラクタ画像３４０と、複数のユーザ３５１を含むユーザ画像３５０とを合成する様子を概念的に示している。図１５に示すように、本実施の形態に係るキャラクタ画像３４０は複数のキャラクタ３４１を含む。なお、一のキャラクタ画像３４０に含まれるキャラクタ３４１は三以上であってもよい。また、図１５では異なるキャラクタ３４１が描写されているが、一のキャラクタ画像３４０に同一のキャラクタ３４１が複数描写されていてもよい。
【００７６】
また、サーバ１は端末２から、複数のユーザ３５１を撮像したユーザ画像３５０を取得する。なお、図１５では一の画像に複数のユーザが撮像されている様子を図示しているが、サーバ１は、各ユーザ３５１を個別に撮像した複数の画像を取得してもよい。サーバ１は、実施の形態１と同様に学習モデルを参照してユーザ画像３５０からユーザ３５１の顔部分を認識し、各パーツの特徴量を抽出する。本実施の形態においてサーバ１は、複数のユーザ３５１夫々の顔部分を認識し、各ユーザ３５１の顔の各パーツについて特徴量を抽出する。
【００７７】
サーバ１は、キャラクタ画像３４０に含まれる各キャラクタ３４１の顔部分と、ユーザ画像３５０に含まれる各ユーザ３５１の顔部分とを合成する。例えば端末２は、いずれのキャラクタ３４１にいずれのユーザ３５１の顔を当てはめるか、各キャラクタ３４１及びユーザ３５１の割り当てに関する指定入力を受け付ける。サーバ１は、端末２を介して受け付けた指定内容に従って、各キャラクタ３４１の顔部分と、対応する各ユーザ３５１の顔部分とを合成する。具体的には実施の形態１と同様、サーバ１はユーザ３５１の顔の一部パーツ（例えば目及び眉）をキャラクタ３４１の顔の一部パーツと合成し、図１５右上に例示するフェイスパターン３８０を生成する。サーバ１は、実施の形態１と同様に多数のフェイスパターン３８０を生成すると共に、複数のポーズパターン（不図示）と組み合わせて複数パターンの合成画像（不図示）を生成していく。このように、サーバ１は複数のキャラクタ３４１及びユーザ３５１に係る合成画像を生成する。これにより、例えばユーザが友人と一緒に合成画像を作成したいなどのニーズに応えることができ、より娯楽性の高く、表現豊かな合成画像を作ることができる。
【００７８】
図１６は、実施の形態３に係る情報処理システムが実行する処理手順の一例を示すフローチャートである。図１６に基づき、本実施の形態に係る情報処理システムが実行する処理内容について説明する。
端末２の制御部２１は、複数のキャラクタ画像３４０を表示部２４に表示する（ステップＳ３０１）。本実施の形態に係るキャラクタ画像３４０は、一のキャラクタ画像につき複数のキャラクタを含む画像である。制御部２１は、表示されている複数のキャラクタ画像３４０から一のキャラクタ画像３４０の選択を受け付ける（ステップＳ３０２）。
【００７９】
制御部２１は、撮像部２７により複数のユーザを撮像する処理を行う（ステップＳ３０３）。なお、端末２は複数のユーザを一度に撮像してもよいし、複数のユーザを個別に撮像してもよい。制御部２１は、ステップＳ３０２で選択されたキャラクタ画像３４０に含まれる各キャラクタ３４１と、ステップＳ３０３で撮像されたユーザ画像３５０に係る各ユーザ３５１との割り当てに関して指定入力を受け付ける（ステップＳ３０４）。制御部２１は、ステップＳ３０２で選択されたキャラクタ画像３４０の選択通知と、ステップＳ３０３で撮像されたユーザ画像３５０と、ステップＳ３０４で受け付けた指定入力に係る指定内容とをサーバ１に出力する（ステップＳ３０５）。
【００８０】
サーバ１の制御部１１は、通信部１３により上記の各データを取得する（ステップＳ３０６）。これにより制御部１１は、キャラクタ３４１の選択及び割り当てを受け付けると共に、複数のユーザ３５１に係るユーザ画像３５０を取得する。制御部１１は、選択されたキャラクタ画像３４０に含まれる複数のキャラクタ３４１夫々を、複数のユーザ３５１に係るユーザ画像３５０と合成した合成画像を生成する処理を行う（ステップＳ３０７）。制御部１１は、処理をステップＳ１７に移行する。
【００８１】
図１７は、実施の形態３に係る合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。図１７に基づき、ステップＳ３０７のサブルーチンの処理内容について説明する。
制御部１１は、ユーザ画像３５０から複数のユーザ３５１夫々の顔を認識する画像認識処理を行う（ステップＳ３２１）。制御部１１は、画像認識結果に基づき、複数のユーザ３５１夫々の顔部分の特徴量を抽出する（ステップＳ３２２）。すなわち制御部１１は、各ユーザ３５１の顔部分に含まれる各パーツの特徴量を抽出する。制御部１１は、ステップＳ３２２で抽出した複数のユーザ３５１夫々の顔部分の特徴量に基づき、複数のユーザ３５１夫々の顔部分と、キャラクタ画像３４０に含まれる複数のキャラクタ３４１夫々の顔部分とを合成して複数のフェイスパターン３８０を生成する（ステップＳ３２３）。具体的に制御部１１は、ステップＳ３０４で指定された割り当てに基づき、各キャラクタ３４１の顔の所定パーツを、対応する各ユーザ３５１の顔の所定パーツと合成する。これにより、制御部１１は各キャラクタ３４１の顔を、各ユーザ３５１の顔に応じて改変する。制御部１１は、実施の形態１と同様、合成処理における重み付けを変更するなどして、一のキャラクタ３４１及びユーザ３５１の組み合わせにつき、複数のフェイスパターン３８０を生成する。制御部１１は処理をステップＳ４４に移行する。
【００８２】
以上より、本実施の形態３によれば、複数のユーザ３５１の特徴をキャラクタ３４１夫々に反映させた合成画像をユーザに提供することができる。
【００８３】
（実施の形態４）
本実施の形態では、ユーザ画像５０に含まれるユーザの服飾品４５１をキャラクタ画像４０に合成する形態について述べる。
図１８は、実施の形態４に係る服飾品４５１の使用可否に関する選択処理を説明するための説明図である。以下では本実施の形態に係る情報処理システムが実行する処理の概要について説明する。
【００８４】
サーバ１は、端末２からユーザ画像５０を取得した場合、実施の形態１と同様に、学習モデルを参照して各パーツを抽出する。具体的にサーバ１は、ユーザ画像５０からユーザの顔の各パーツ５１を抽出するだけでなく、ユーザ画像５０に含まれるユーザの服飾品４５１を抽出する。服飾品４５１は、ユーザが身に着けている物品であり、例えば眼鏡、帽子、アクセサリー等の物品である。例えばサーバ１は、服飾品４５１を身に着けた被写体の画像から服飾品４５１の特徴量を抽出する機械学習を行っておき、学習モデルを構築しておく。サーバ１は、ユーザ画像５０を取得した場合、当該学習モデルを参照してユーザの服飾品４５１に係る特徴量を抽出し、服飾品４５１を特定する。
【００８５】
服飾品４５１が抽出された場合、サーバ１は端末２に対し、抽出した服飾品４５１を合成画像に使用するか否かを問い合わせる。問い合わせを受けた場合、端末２は、図１８で例示する画面を表示部２４に表示する。例えば制御部２１は、服飾品４５１（図１８では眼鏡）が特定された旨を示すと共に、当該服飾品４５１を合成画像に使用するか否かをユーザに問い合わせるテキストを含む。また、例えば端末２は、服飾品４５１の使用の可否について選択を受け付けるための操作オブジェクト４９１、４９２を表示する。端末２は、操作オブジェクト４９１又は４９２への操作入力を受け付けることで、服飾品４５１の使用の可否について選択を受け付ける。端末２は、選択結果をサーバ１に返信する。これにより、サーバ１は服飾品を合成画像に使用するか否かの選択を受け付ける。
【００８６】
図１９は、実施の形態４に係る合成画像の生成処理を説明するための説明図である。服飾品４５１を使用する旨の選択を受け付けた場合、サーバ１は、選択された服飾品４５１をキャラクタ画像４０に合成した合成画像を生成する。具体的には図１９に示すように、サーバ１は、服飾品４５１をキャラクタの顔部分に合成したフェイスパターン４８０を生成する。なお、図１９ではユーザの目及び眉がキャラクタの目及び眉と合成されると共に、ユーザの服飾品４５１がキャラクタの顔に重畳されている様子が図示されているが、サーバ１は服飾品４５１の合成のみを行い、顔そのものについては合成処理を行わないこととしてもよい。サーバ１は、実施の形態１と同様、複数のフェイスパターン４８０を生成して端末２に出力し、選択を受け付ける。サーバ１は、選択されたフェイスパターン４８０と所定のポーズパターン（不図示）とを組み合わせて最終的な合成画像（不図示）を生成し、端末２に出力する。
【００８７】
なお、図１９では一の服飾品４５１（眼鏡）のみをキャラクタ画像４０に合成する様子を図示したが、サーバ１はユーザ画像５０から複数の服飾品４５１を抽出した場合、当該複数の服飾品４５１をキャラクタ画像４０に合成してもよい。
【００８８】
また、上記でサーバ１は、フェイスパターン４８０生成時に服飾品４５１の使用の可否について選択を受け付けたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、服飾品４５１を使用したフェイスパターン４８０と、服飾品４５１を使用しないフェイスパターン４８０とを生成し、当該フェイスパターン４８０から選択を受け付けることで、服飾品４５１の使用の可否について間接的に選択を受け付けてもよい。例えばサーバ１は、服飾品４５１を使用した場合のフェイスパターン４８０と、服飾品４５１を使用しないフェイスパターン４８０とを生成し、図７で例示した画面に双方のフェイスパターン４８０、４８０、４８０…を出力する。つまりサーバ１は、服飾品４５１を用いることでより多様性に富んだ合成画像を提示する。これにより、ユーザに対して与える合成画像の選択肢を広げることができる。
【００８９】
図２０は、実施の形態４に係る合成画像生成のサブルーチンの処理手順の一例を示すフローチャートである。図２０に基づき、本実施の形態に係る合成画像生成のサブルーチンの処理内容について説明する。
サーバ１の制御部１１は、ユーザ画像５０に含まれるユーザの顔を認識する画像認識処理を行う（ステップＳ４０１）。制御部１１は、画像認識結果に基づき、ユーザ画像５０に含まれるユーザの顔部分、及びユーザの服飾品４５１について特徴量を抽出する処理を行う（ステップＳ４０２）。具体的に制御部１１は、実施の形態１と同様にユーザの顔の各パーツ５１について特徴量を抽出すると共に、撮像範囲に含まれるユーザの服飾品４５１、例えば眼鏡、帽子、アクセサリー等の特徴量を抽出する。例えばサーバ１は、服飾品４５１を身に着けた被写体の撮像画像から各服飾品４５１の特徴量を抽出する機械学習を行っておき、構築した学習モデルを大容量記憶装置１４に記憶しておく。制御部１１は、ステップＳ４０２の処理を実行する場合、当該学習モデルを参照してユーザの眼鏡、帽子等の服飾品４５１を抽出する。なお、制御部１１は一のユーザ画像５０から複数の服飾品４５１を抽出してもよい。
【００９０】
制御部１１は、ユーザ画像５０から服飾品４５１が抽出されたか否かを判定する（ステップＳ４０３）。服飾品４５１が抽出されていないと判定した場合（Ｓ４０３：ＮＯ）、制御部１１は処理をステップＳ４３に移行する。服飾品４５１が抽出されたと判定した場合（Ｓ４０３：ＹＥＳ）、制御部１１は、当該服飾品４５１を合成画像に使用するか否かを端末２に問い合わせる（ステップＳ４０４）。
【００９１】
端末２の制御部２１は、サーバ１からの問い合わせを取得する（ステップＳ４０５）。制御部２１は、例えば図１７で示した画面を表示部２４に表示し、入力部２５への操作入力に基づいて服飾品４５１の使用の可否に係る選択を受け付ける（ステップＳ４０６）。制御部２１は、受け付けた選択内容に係る通知をサーバ１に出力する（ステップＳ４０７）。
【００９２】
サーバ１の制御部１１は、服飾品４５１を合成画像に使用するか否かの選択を端末２から受け付ける（ステップＳ４０８）。制御部１１は、受け付けた選択内容に基づき、服飾品４５１を合成画像に使用するか否かを判定する（ステップＳ４０９）。服飾品４５１を使用しないと判定した場合（Ｓ４０９：ＮＯ）、制御部１１は処理をステップＳ４３に移行する。
【００９３】
服飾品４５１を使用すると判定した場合（Ｓ４０９：ＹＥＳ）、制御部１１は、キャラクタ画像４０の顔部分に、ユーザの顔部分又は服飾品４５１を合成した複数のフェイスパターン４８０を生成する（ステップＳ４１０）。例えば制御部１１は、キャラクタの顔の一部である所定のパーツ４１をユーザの顔の所定のパーツ５１と合成すると共に、ステップＳ４０２で抽出した服飾品４５１をキャラクタの顔部分に合成する。制御部１１は、処理をステップＳ４４に移行する。
【００９４】
なお、上記では眼鏡、帽子等のように、ユーザ画像５０においてユーザの顔部分の撮像領域に含まれる服飾品４５１を用いて合成画像を生成することとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、ユーザの衣服、靴、腕時計等を服飾品４５１として抽出し、キャラクタの身体部分と合成してもよい。この場合、端末２はユーザの全身像に係る画像を撮像し、サーバ１に転送する。サーバ１は、全身像に係る画像から各服飾品４５１を抽出し、キャラクタＤＢ１４１に記憶されているキャラクタのポーズパターンと組み合わせて合成画像を生成する。これにより、サーバ１はユーザの服飾品４５１をキャラクタ画像４０に対して全体的に合成した合成画像を生成することができる。つまり、ユーザ画像５０から抽出される服飾品４５１はユーザの顔部分に含まれる服飾品４５１に限定されず、ユーザが身に着けている服飾品４５１であればよい。
【００９５】
以上より、本実施の形態４によれば、ユーザの服飾品４５１をキャラクタ画像４０に合成することで、ユーザの顔だけでなく、その他の特徴を考慮したアバターを生成することができる。
【００９６】
（実施の形態５）
図２１は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰ１を実行することにより、サーバ１は以下のように動作する。キャラクタ選択部２１１は、複数のキャラクタ画像から、一のキャラクタ画像の選択を受け付ける。取得部２１２は、ユーザを撮像したユーザ画像を取得する。生成部２１３は、前記キャラクタ画像及びユーザ画像を合成した合成画像を生成する。受付部２１４は、該合成画像を他のユーザ宛に出力する出力要求を受け付ける。
【００９７】
本実施の形態５は以上の如きであり、その他は実施の形態１から４と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
【００９８】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９９】
１  サーバ（情報処理装置）
１１  制御部
１２  記憶部
Ｐ１  プログラム
１３  通信部
１４  大容量記憶装置
１４１  キャラクタＤＢ
２  端末（端末装置）
２１  制御部
２２  記憶部
Ｐ２  プログラム
２３  通信部
２４  表示部
２５  入力部
２６  音声出力部
２７  撮像部
４０、３４０  キャラクタ画像
４１  パーツ
２４１  パーツ画像
３４１  キャラクタ
５０、３５０  ユーザ画像
５１  パーツ
３５１  ユーザ
４５１  服飾品
８０、３８０、４８０  フェイスパターン
８１  ポーズパターン
９０、２９０  合成画像
４９１、４９２  操作オブジェクト
【図１】
2018151966.tif 000004
【図２】
2018151966.tif 000005
【図３】
2018151966.tif 000006
【図４】
2018151966.tif 000007
【図５】
2018151966.tif 000008
【図６】
2018151966.tif 000009
【図７】
2018151966.tif 000010
【図８】
2018151966.tif 000011
【図９】
2018151966.tif 000012
【図１０】
2018151966.tif 000013
【図１１】
2018151966.tif 000014
【図１２】
2018151966.tif 000015
【図１３】
2018151966.tif 000016
【図１４】
2018151966.tif 000017
【図１５】
2018151966.tif 000018
【図１６】
2018151966.tif 000019
【図１７】
2018151966.tif 000020
【図１８】
2018151966.tif 000021
【図１９】
2018151966.tif 000022
【図２０】
2018151966.tif 000023
【図２１】
2018151966.tif 000024