(57)【要約】【課題】ユーザが画像の合成を望まない領域については撮影画像を表示しつつ、別の画像を撮影画像に容易に合成するための技術を提供する。【解決手段】情報処理装置１００は、画像を表示するためのディスプレイ１６と、画像に合成されるコンテンツデータとを記憶している。情報処理装置１００は、カメラから出力される撮影画像データに対し、顔検出処理を行うことで、撮影画像データにおいて、被写体となる人物のうちコンテンツデータを合成しない顔認識領域７１を算出する。情報処理装置１００は、撮影画像データにおける被写体の顔の検出結果に応じてコンテンツデータの表示位置および画像サイズを決定し、顔認識領域７１にはコンテンツデータを合成しないよう、合成領域８１にコンテンツデータを表示する。【選択図】図１
2015023382.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置の動作を制御するためのプログラムであって、
前記情報処理装置は、画像を表示するためのディスプレイと、前記画像に合成されるコンテンツデータを記憶するためのメモリと、前記情報処理装置の動作を制御するためのプロセッサとを備え、
前記プログラムは、前記プロセッサに、
入力画像データに対し画像認識処理を行うことにより、前記入力画像データに含まれる人物を示す領域を検出するステップと、
前記入力画像データにおいて、前記検出するステップで検出された前記人物を示す領域に基づいて、前記コンテンツデータの表示を抑制する領域を決定し、前記決定された領域に前記コンテンツデータが表示されないよう、前記コンテンツデータを前記入力画像データに合成することで、出力画像データを生成するステップと、
前記生成するステップで生成された前記出力画像データを、前記ディスプレイに表示するステップとを実行させる、プログラム。
【請求項２】
前記プログラムは、前記プロセッサに、
前記検出するステップにおいて、前記人物を示す領域として、前記入力画像データに含まれる人物の顔の領域を検出させ、
前記生成するステップにおいて、前記検出される顔の領域を、前記コンテンツデータの表示を抑制する領域として決定させる、請求項１記載のプログラム。
【請求項３】
前記プログラムは、前記プロセッサに、
前記生成するステップにおいて、前記検出された前記人物を示す領域に基づいて、前記コンテンツデータを表示する位置を決定し、前記コンテンツデータの表示を抑制する領域と、前記コンテンツデータを表示する位置との重複部分において前記コンテンツデータが表示されないよう、前記コンテンツデータを前記入力画像データに合成することで前記出力画像データを生成させる、請求項１に記載のプログラム。
【請求項４】
前記プログラムは、前記プロセッサに、
前記生成するステップにおいて、前記コンテンツデータの表示を抑制する領域と、前記コンテンツデータを表示する領域とで重複部分が発生しないよう、前記コンテンツデータを表示する領域を決定することで前記コンテンツデータの前記入力画像データへの合成を行わせる、請求項１に記載のプログラム。
【請求項５】
前記情報処理装置は、さらに、
撮影により画像信号を生成し、生成された前記画像信号を前記プロセッサへ出力するカメラを備え、
前記プログラムは、前記プロセッサに、
前記検出するステップにおいて、前記カメラから前記プロセッサへ出力される画像信号を前記入力画像データとして受け付けて、前記入力画像データに基づいて前記人物を示す領域を検出させ、
前記生成するステップにおいて、前記カメラから前記プロセッサが受け付けた前記入力画像データに基づき、出力画像データを生成させる、請求項１に記載のプログラム。
【請求項６】
前記情報処理装置は、さらに、
ユーザからの入力操作を受け付けるための操作受付部と、
前記情報処理装置に通信機能を発揮させるための通信モジュールとを備え、
前記情報処理装置は、前記通信モジュールにより外部の通信装置と接続し、前記外部の通信装置から前記コンテンツデータを受信可能に構成され、
前記プログラムは、前記プロセッサに、
前記外部の通信装置から前記コンテンツデータを購入する入力操作を前記操作受付部により受け付ける処理を行わせる、請求項１に記載のプログラム。
【請求項７】
情報処理装置の動作を制御するための方法であって、
前記情報処理装置は、画像を表示するためのディスプレイと、前記画像に合成されるコンテンツデータを記憶するためのメモリと、前記情報処理装置の動作を制御するためのプロセッサとを備え、
前記方法は、前記情報処理装置が、
入力画像データに対し画像認識処理を行うことにより、前記入力画像データに含まれる人物を示す領域を検出するステップと、
前記入力画像データにおいて、前記検出するステップで検出された前記人物を示す領域に基づいて、前記コンテンツデータの表示を抑制する領域を決定し、前記決定された領域に前記コンテンツデータが表示されないよう、前記コンテンツデータを前記入力画像データに合成することで、出力画像データを生成するステップと、
前記生成するステップで生成された前記出力画像データを、前記ディスプレイに表示するステップとを含む、方法。
【請求項８】
情報処理装置であって、
画像を表示するためのディスプレイと、
前記画像に合成されるコンテンツデータを記憶するためのメモリと、
前記情報処理装置の動作を制御するためのプロセッサとを備え、
前記プロセッサは、
入力画像データに対し画像認識処理を行うことにより、前記入力画像データに含まれる人物を示す領域を検出する検出部と、
前記入力画像データにおいて、前記検出部が検出した前記人物を示す領域に基づいて、前記コンテンツデータの表示を抑制する領域を決定し、前記決定された領域に前記コンテンツデータが表示されないよう、前記コンテンツデータを前記入力画像データに合成することで、出力画像データを生成する出力画像生成部と、
前記出力画像生成部により生成された前記出力画像データを、前記ディスプレイに表示させる表示制御部とを含む、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラの撮影により得られる撮影画像データに、別の画像を合成して表示するための技術に関する。
【背景技術】
【０００２】
スマートフォン、タブレット端末など、カメラを備えた情報処理装置が広く普及している。ユーザは、これらカメラ機能を利用して、例えばユーザ同士を撮影し、ＳＮＳ（social  networking  service）サイトやグループチャットアプリ等に投稿して撮影画像をユーザ間で共有している。
【０００３】
これらスマートフォンなどの情報処理装置に対して、数々のアプリケーションが提供されている。情報処理装置は、例えばアプリケーションストアを通じて、配信サーバからアプリケーションをダウンロードする。これらアプリケーションは、例えば、情報処理装置のカメラ機能を利用しやすくするもの、撮影画像に対して加工をするためのもの、画像認識処理によって被写体の顔を検出する機能を有するものなどがある。撮影画像の中から顔画像を検出するための技術は、例えば特開２００９−２２３５８１号公報（特許文献１）に開示されている。
【０００４】
情報処理装置は、顔検出機能を有するカメラアプリケーションを起動して、撮影画像に含まれる被写体の目の位置を検出し、検出された目の位置に基づいて、例えば眼鏡や仮面などの物体を表す画像を合成する。これにより、ユーザは、被写体が物体（眼鏡など）を装着した画像を得ることができ、例えばユーザが実際に眼鏡を装着することなく眼鏡を装着した後の印象などを容易に確認することができる。このように、撮影画像データに含まれる被写体の顔を検出して、検出結果に応じて眼鏡やヒゲなど別の画像を合成することにより、ユーザは、撮影画像を容易に加工することができ、他のユーザと共有して楽しむことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２２３５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザによっては、撮影画像データに対し、アニメーションしている画像などを合成しつつ、撮影画像のうち一部の領域については画像を合成せず、もとの撮影画像データを表示したいことがある。例えば、被写体となる人物が、顔や衣装などを見せつつ、被写体の周囲に別の画像を合成したいことがある。例えば被写体が、漫画、ゲーム、アニメ、映画など、ある作品のキャラクターになりきって髪形を整え、化粧をし、衣装を装着している場合などである。こうした化粧や衣装などは、これ自体が鑑賞の対象としての比重が大きいとも考えられている。その一方で、キャラクターの周囲の光線など、作品上の演出を再現するためのアニメーション画像を撮影画像に合成したいという要請もある。
【０００７】
したがって、ユーザが画像の合成を望まない領域については撮影画像を表示しつつ、アニメーションしている画像などを撮影画像に容易に合成するための技術が必要とされている。
【課題を解決するための手段】
【０００８】
一実施形態に従うと、情報処理装置の動作を制御するためのプログラムが提供される。情報処理装置は、画像を表示するためのディスプレイと、画像に合成されるコンテンツデータを記憶するためのメモリと、情報処理装置の動作を制御するためのプロセッサとを備える。プログラムは、プロセッサに、入力画像データに対し画像認識処理を行うことにより、入力画像データに含まれる人物を示す領域を検出するステップと、入力画像データにおいて、検出するステップで検出された人物を示す領域に基づいて、コンテンツデータの表示を抑制する領域を決定し、決定された領域にコンテンツデータが表示されないよう、コンテンツデータを入力画像データに合成することで、出力画像データを生成するステップと、生成するステップで生成された出力画像データを、ディスプレイに表示するステップとを実行させる。
【０００９】
別の実施形態に従うと、情報処理装置の動作を制御するための方法が提供される。情報処理装置は、画像を表示するためのディスプレイと、画像に合成されるコンテンツデータを記憶するためのメモリと、情報処理装置の動作を制御するためのプロセッサとを備える。方法は、情報処理装置が、入力画像データに対し画像認識処理を行うことにより、入力画像データに含まれる人物を示す領域を検出するステップと、入力画像データにおいて、検出するステップで検出された人物を示す領域に基づいて、コンテンツデータの表示を抑制する領域を決定し、決定された領域にコンテンツデータが表示されないよう、コンテンツデータを入力画像データに合成することで、出力画像データを生成するステップと、生成するステップで生成された出力画像データを、ディスプレイに表示するステップとを含む。
【００１０】
別の実施形態に従う情報処理装置は、画像を表示するためのディスプレイと、画像に合成されるコンテンツデータを記憶するためのメモリと、情報処理装置の動作を制御するためのプロセッサとを備え、プロセッサは、入力画像データに対し画像認識処理を行うことにより、入力画像データに含まれる人物を示す領域を検出する検出部と、入力画像データにおいて、検出部が検出した人物を示す領域に基づいて、コンテンツデータの表示を抑制する領域を決定し、決定された領域にコンテンツデータが表示されないよう、コンテンツデータを入力画像データに合成することで、出力画像データを生成する出力画像生成部と、出力画像生成部により生成された出力画像データを、ディスプレイに表示させる表示制御部とを含む。
【発明の効果】
【００１１】
上記一実施形態によると、ユーザが画像の合成を望まない領域については撮影画像を表示しつつ、別の画像を撮影画像に容易に合成することができる。
【００１２】
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１３】
【図１】実施の形態にかかる情報処理装置１００が使用される状況の一例を示す図である。
【図２】情報処理装置１００を含むネットワークの構成を示す図である。
【図３】情報処理装置１００の構成を示すブロック図である。
【図４】コンテンツ管理テーブル５１を示す図である。
【図５】撮影画像に合成するコンテンツデータの例を示す図である。
【図６】実施の形態１の情報処理装置１００による、コンテンツデータと撮影画像データとを合成して表示するための処理を示すフローチャートである。
【図７】撮影画像データとコンテンツデータとを合成する処理を示す図である。
【図８】撮影画像データとコンテンツデータとを合成するためのユーザインタフェースの一例を示す図である。
【図９】撮影画像データに合成する対象となるコンテンツデータを購入する入力操作を受け付けるためのインタフェースの例を示す図である。
【図１０】情報処理装置１００がコンテンツデータの合成のオンまたはオフを音声入力によって受け付ける例を示す図である。
【図１１】実施の形態２の情報処理装置１００の表示例を示す図である。
【図１２】実施の形態２の情報処理装置１００の処理において用いられるユーザ割り当て情報５３を示す図である。
【図１３】実施の形態２の情報処理装置１００による、コンテンツデータを撮影画像データに合成して表示するための処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１５】
＜実施の形態１＞
図１は、実施の形態にかかる情報処理装置１００が使用される状況の一例を示す図である。情報処理装置１００は、例えば、タッチパネルを備えるスマートフォンであるが、スマートフォンに限られない。情報処理装置１００は、カメラを備え、カメラが撮影した撮影画像をディスプレイ１６に表示している。情報処理装置１００は、撮影画像に、別の画像（コンテンツデータ）を合成してディスプレイ１６に表示する。例えば、図１に示すように、情報処理装置１００は、被写体の顔の周囲に、ゆらめく炎状の画像を表示するためのコンテンツデータを合成してディスプレイ１６に表示する。このとき、情報処理装置１００は、撮影画像のうち、画像認識処理に基づいて一部の領域を抽出し、この領域にはコンテンツデータを表示しないよう、ディスプレイ１６の表示内容を制御する。例えば、ユーザが撮影画像において、人物の顔を表示したい場合など、人物の顔の部分にコンテンツデータを表示することを望まない場合に、人物の顔の部分を画像認識処理によって検出し、検出した顔の部分を避けてコンテンツデータと撮影画像データとを合成することができる。
【００１６】
図１の例では、被写体は、漫画、ゲーム、アニメ、映画など、ある作品のキャラクターになりきっているとする。被写体は、キャラクターの衣装を装着し、小物を把持し、ある姿勢を維持している。情報処理装置１００は、撮影画像に対し画像認識処理を行うことで被写体の顔を検出し、検出結果に基づいて、コンテンツデータを合成しない領域である顔認識領域７１を設定する。また、情報処理装置１００は、撮影画像おける被写体の顔を検出する処理の結果に基づいて、コンテンツデータを合成するための基準となる座標値を決定する。情報処理装置１００は、撮影画像データに合成するコンテンツデータが、顔認識領域７１に表示されないよう、コンテンツデータの一部を合成領域８１に表示する。これにより、例えば、被写体が、ある作品のキャラクターになりきっている場合に、情報処理装置１００は、作品中の演出などを撮影画像に合成することができる。また、例えば被写体の顔の部分などに画像を合成することをユーザが望まない場合に、情報処理装置１００は、画像認識処理の結果に基づいて画像を合成しない領域を設定し、当該領域にはコンテンツデータを合成しないように、画像を合成してディスプレイ１６に表示することができる。このように、情報処理装置１００は、キャラクターになりきった感覚を被写体に対して提供することができる。
【００１７】
＜構成＞
図２は、情報処理装置１００を含むネットワークの構成を示す図である。図２では、情報処理装置１００として、情報処理装置１００Ａ、１００Ｂ、１００Ｃを示している。情報処理装置１００Ａ、１００Ｂは、スマートフォンであり、情報処理装置１００Ｃは、タブレット端末である。図２を参照して、情報処理装置１００Ａは、無線基地局７００と無線通信により接続し、ネットワーク８００を経由して配信サーバ９００と通信する。配信サーバ９００は、情報処理装置１００が撮影画像データと合成してディスプレイ１６に表示するための複数のコンテンツデータを記憶している。情報処理装置１００Ａは、配信サーバ９００と通信することで、配信サーバ９００からコンテンツデータを取得する。例えば、情報処理装置１００は、使用可能な期間が定められたコンテンツデータや、課金処理によって購入することができるコンテンツデータなどを配信サーバ９００から取得する。情報処理装置１００Ｂは、ルータ６００と無線通信により接続し、ネットワーク８００を経由して配信サーバ９００と通信する。情報処理装置１００Ｃは、ルータ６００と無線通信により接続し、ネットワーク８００を経由して配信サーバ９００と通信する。
【００１８】
図３は、情報処理装置１００の構成を示すブロック図である。図３に示すように、情報処理装置１００は、アンテナ１１，１３と、遠距離通信用モジュール１２と、近距離通信用モジュール１４と、タッチパネル１５と、ディスプレイ１６と、測位センサ１７と、フロントカメラ１８と、リアカメラ１９と、電源制御部２０と、バッテリ２１と、マイク２２と、スピーカ２３と、音声処理部２４と、記憶部２５と、制御部２６とを含む。
【００１９】
アンテナ１１とアンテナ１３とは、情報処理装置１００が発する信号を電波として放射する。また、アンテナ１１は、空間から電波を受信して受信信号を遠距離通信用モジュール１２へ与える。アンテナ１３は、空間から電波を受信して受信信号を近距離通信用モジュール１４へ与える。
【００２０】
遠距離通信用モジュール１２と近距離通信用モジュール１４とは、情報処理装置１００が他の無線機器と通信するため、アンテナ１１等を介して信号を送受信するための変復調処理などを行う。遠距離通信用モジュール１２と近距離通信用モジュール１４とは、チューナー、高周波回路などを含む通信モジュールであり、情報処理装置１００が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部２６へ与える。
【００２１】
遠距離通信用モジュール１２は、例えば、ＬＴＥ（Long  Term  Evolution）、ＵＭＴＳ（Universal  Mobile  Telecommunications  System）などの移動体通信システムに対応した通信モジュールであり、比較的長距離の通信に対応している。
【００２２】
近距離通信用モジュール１４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信規格や、ＩＥＥＥ（Institute  of  Electrical  and  Electronic  Engineers）８０２．１１などの無線ＬＡＮ（Local  Area  Network）規格などに対応した通信モジュールであり、比較的近距離の通信に対応している。情報処理装置１００が複数の通信方式に対応する場合、これら通信方式に対応してアンテナと通信用モジュールとを備えてもよい。
【００２３】
タッチパネル１５は、ユーザの入力操作を受け付ける。タッチパネル１５は、例えば静電容量方式のものを用いることによってユーザの接触操作を受け付ける。タッチパネル１５は、ユーザによる入力操作を制御部２６へ出力する。
【００２４】
ディスプレイ１６は、メニュー画面においてアイコンや背景画像を表示し、アプリケーションの動作によって静止画や動画などを表示する。ディスプレイ１６は、例えばＬＣＤ（Liquid  Crystal  Display）や有機ＥＬ（electroluminescence）ディスプレイによって実現される。
【００２５】
測位センサ１７は、情報処理装置１００の位置を計測するためのセンサであり、例えばＧＰＳ（Global  Positioning  System）モジュールである。
【００２６】
フロントカメラ１８とリアカメラ１９は、入射光を受光して電気信号に変換するカメラモジュールであり、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）センサ、ＡＤＣ（Analog  to  Digital  Converter）等を含み、画像信号を制御部２６へ出力する。情報処理装置１００の筺体において、ディスプレイ１６が配置される面を前面としたときに、フロントカメラ１８は、情報処理装置１００の前面に配置される。また、リアカメラ１９は、情報処理装置１００の背面に配置される。
【００２７】
電源制御部２０は、情報処理装置１００の各回路に対する電力の供給を制御する。電源制御部２０は、例えば電源制御用ＩＣ（Integrated  Circuit）である。
【００２８】
バッテリ２１は、情報処理装置１００の各回路を動作させるための電力を供給する供給源である。バッテリ２１からの電力は、電源制御部２０の制御に従って各回路へ供給される。
【００２９】
マイク２２は、ユーザによる音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部２４へ与える。
【００３０】
スピーカ２３は、音声処理部２４から与えられる音声信号を音声に変換して当該音声を情報処理装置１００の外部へ出力する。
【００３１】
音声処理部２４は、音声信号の変復調を行う。音声処理部２４は、マイク２２から与えられる信号を変調して、変調後の信号を制御部２６へ与える。また、音声処理部２４は、音声信号をスピーカ２３へ与える。音声処理部２４は、例えば音声処理用のプロセッサによって実現される。
【００３２】
記憶部２５は、例えばフラッシュメモリ等により構成され、情報処理装置１００が使用するデータおよびプログラムを記憶する。ある局面において、記憶部２５は、コンテンツ管理テーブル５１と、コンテンツデータ５２とを記憶する。
【００３３】
コンテンツ管理テーブル５１は、詳しくは後述するが、撮影画像に合成する対象となるコンテンツデータそれぞれを識別する識別情報と、コンテンツデータのファイル名と、コンテンツデータの名称と、コンテンツデータを利用できる期間とを対応付けたテーブルである。
【００３４】
コンテンツデータ５２は、各コンテンツデータの識別情報に対応する静止画または動画のデータである。
【００３５】
制御部２６は、記憶部２５に記憶される制御プログラムを読み込んで実行することにより、情報処理装置１００の動作の全体を制御する。制御部２６は、例えばアプリケーションプロセッサである。制御部２６は、プログラムに従って動作することにより、検出処理部６１と、画像生成部６２と、表示制御部６３との各機能を発揮する。検出処理部６１は、画像認識処理の機能を情報処理装置１００に発揮させ、カメラ７から出力される撮影画像データに対し、画像認識処理を施すことにより、撮影画像データに含まれる人物の顔を検出する。例えば、検出処理部６１は、撮影画像データに対して画像認識処理を行い、撮影画像データに含まれる人物の目の位置、顔のサイズなどを出力する。画像生成部６２は、撮影画像データに対し、検出処理部６１の検出結果に基づいてコンテンツデータを合成する位置を決定する等の処理を行なって、合成後の画像データを生成する。表示制御部６３は、映像信号を生成してディスプレイ１６の表示内容を制御する機能を情報処理装置１００に発揮させる。
【００３６】
＜データ構造＞
図４を参照し、情報処理装置１００の処理において用いられるデータを説明する。図４は、コンテンツ管理テーブル５１を示す図である。
【００３７】
図４に示すように、コンテンツ管理テーブル５１の各レコードは、識別番号５１１と、ファイル名５１２と、アニメーション名称５１３と、利用可能期間５１４とを含む。
【００３８】
識別番号５１１は、コンテンツデータそれぞれを識別するための識別情報である。ファイル名５１２は、コンテンツデータの識別情報に対応するファイルを示す情報である。アニメーション名称５１３は、識別情報に示されるコンテンツデータのタイトルを示す。利用可能期間５１４は、コンテンツデータを利用できる期間を示す。図４に示すように、例えば、利用可能期間５１４のデータ「2013/10/31」は、ユーザがコンテンツデータを利用できる期間が２０１３年１０月３１日までであることを示し、データ「期限設定なし」は、コンテンツデータの利用可能な期間が設定されていないことを示す。
【００３９】
＜撮影画像に合成するためのコンテンツデータ＞
図５を参照し、実施の形態１におけるコンテンツデータについて説明する。図５は、撮影画像に合成するコンテンツデータの例を示す図である。
【００４０】
図５では、記憶部２５に記憶されるコンテンツデータの例として、コンテンツデータ５２Ａ、５２Ｂ、５２Ｃを示している。コンテンツデータ５２Ａは、中心から波形状の線が放射されるようなアニメーションの画像である。コンテンツデータ５２Ｂは、リング状の物体から線が放射されるようなアニメーションの画像である。コンテンツデータ５２Ｃは、文字の形状をしたアニメーションの画像である。これらはコンテンツデータの一例であり、コンテンツデータは、これらの例に限られない。
【００４１】
＜制御構造＞
図６を参照して、情報処理装置１００の制御構造を説明する。図６は、実施の形態１の情報処理装置１００による、コンテンツデータと撮影画像データとを合成して表示するための処理を示すフローチャートである。なお、実施の形態１では、コンテンツデータは２次元の形状を有するアニメーションのデータである。以下、情報処理装置１００がユーザからの入力操作をタッチパネル１５によって受け付けて、コンテンツデータを撮影画像データに合成する処理を説明する。
【００４２】
ステップＳ６０１において、制御部２６は、リアカメラ１９を起動し、リアカメラ１９が撮影する画像の画像サイズの設定など、カメラに関する初期化の処理を行う。
【００４３】
ステップＳ６０３において、制御部２６は、リアカメラ１９が生成する画像信号の入力を受け付けて、逐次、撮影画像データを取得し、取得した撮影画像データをディスプレイ１６に表示する。
【００４４】
ステップＳ６０５において、制御部２６は、撮影画像データに対し、画像認識処理を行うことで、撮影画像に含まれる人物の顔を検出する。
【００４５】
ステップＳ６０７において、制御部２６は、撮影画像データに対する顔検出処理の結果を取得する。制御部２６は、顔検出処理の結果として、撮影画像データにおける人物の顔のサイズ、人物の目の座標、人物の口の座標などを取得する。
【００４６】
ステップＳ６０９において、制御部２６は、ステップＳ６０７で取得した顔検出処理の結果に基づいて、撮影画像データに含まれる被写体の人物の、顔の範囲を示す座標値を算出する。例えば、制御部２６は、人物の左目および右目の各座標の平均値と、左目および右目を結ぶ線分とに基づいて、顔の中心を通る線分を推定し、推定された線分に基づいて、顔の中心の座標を推定する。制御部２６は、顔の中心の座標から一定の範囲の矩形、円形その他の形状の領域を、撮影画像データに含まれる被写体の顔の範囲として算出する。例えば、制御部２６が被写体の顔の範囲を矩形の領域として算出する場合、制御部２６は、矩形を構成する４点の座標値を算出する。また、制御部２６が被写体の顔の範囲を円形の領域として算出する場合、制御部２６は、顔の中心の座標と、半径の大きさを示す値とを算出する。
【００４７】
ステップＳ６１１において、制御部２６は、顔検出処理の結果に基づいて、撮影画像データに合成されるコンテンツデータの画像サイズと、コンテンツデータの表示位置とを決定する。例えば、制御部２６は、撮影画像データに含まれる被写体の人物の左目および右目の各座標を基準として、コンテンツデータの表示位置を決定する。また、例えば、制御部２６は、被写体の左目と右目との距離に応じて被写体の顔のサイズを推定し、顔のサイズに応じてコンテンツデータの画像サイズを決定する。
【００４８】
ステップＳ６１３において、制御部２６は、ステップＳ６０９で算出した顔の範囲と、ステップＳ６１１で決定したコンテンツデータの画像サイズおよび表示位置とに基づいて、被写体の顔の範囲にコンテンツデータが表示されないよう、コンテンツデータの一部を透明化する等の加工を行う。
【００４９】
ステップＳ６１５において、制御部２６は、加工されたコンテンツデータと、撮影画像データとを合成し、合成によって生成された画像をディスプレイ１６へ表示する。その後、制御部２６は、ステップＳ６０３の処理を行う。
【００５０】
＜コンテンツデータの合成の例＞
図７を参照して、制御部２６が撮影画像データとコンテンツデータとを合成し、合成後の画像をディスプレイ１６へ表示する処理を説明する。図７は、撮影画像データとコンテンツデータとを合成する処理を示す図である。
【００５１】
ディスプレイ１６Ａに示すように、制御部２６は、撮影画像データに対し、画像認識処理を行うことで、撮影画像に含まれる人物の顔を検出し（ステップＳ６０５）、被写体の人物の顔の範囲を算出する（ステップＳ６０７、ステップＳ６０９）。ディスプレイ１６Ａにおいて、制御部２６が算出した被写体の人物の顔の範囲を顔認識領域７１として示す。
【００５２】
ディスプレイ１６Ｂに示すように、制御部２６は、コンテンツデータの画像サイズと表示位置とを決定する（ステップＳ６１１）。ディスプレイ１６Ｂにおいて、コンテンツデータの画像サイズと表示位置とをコンテンツデータ５２Ｂとして示す。
【００５３】
ディスプレイ１６Ｃに示すように、制御部２６は、被写体の人物の顔の範囲にコンテンツデータが表示されないよう、コンテンツデータの加工を行って撮影画像データと合成する（ステップＳ６１３、ステップＳ６１５）。
【００５４】
＜ユーザインタフェースの例＞
図８を参照して、情報処理装置１００がディスプレイ１６に表示する画面の一例を説明する。図８は、撮影画像データとコンテンツデータとを合成するためのユーザインタフェースの一例を示す図である。
【００５５】
図８に示すように、制御部２６は、ディスプレイ１６において、画像表示領域９１と、表示切替部９２と、ファイル名表示部９３と、アニメーションデータ購入部９４と、撮影切替部９５と、撮影開始部９６と、音声入力受付部９７とを表示する。また、制御部２６は、ディスプレイ１６において、背景アニメーション候補９８、選択中アニメーション９９、文字アニメーション候補９０など、撮影画像データに合成するコンテンツデータの候補を示すアイコン画像を表示する。図８の例では、選択中アニメーション９９のコンテンツデータがユーザによって選択されており、制御部２６は、選択中アニメーション９９のアイコン画像を、他のアイコン画像と区別して表示する。
【００５６】
画像表示領域９１は、情報処理装置１００のカメラから出力される撮影画像データと、ユーザによって指定されたコンテンツデータとを合成した画像を表示するための領域である。制御部２６は、撮影画像データに対する画像認識処理により、被写体の顔を検出する。画像表示領域９１において、被写体の顔の範囲を顔認識領域７１に示す。制御部２６は、顔認識領域７１に示される範囲にコンテンツデータが表示されないよう、撮影画像データにコンテンツデータを合成してディスプレイ１６に表示する。図８の例において、合成領域８１は、コンテンツデータが表示される領域を示している。
【００５７】
表示切替部９２は、ユーザによって指定されたコンテンツデータと撮影画像データとが合成された画像をディスプレイ１６に表示するか否かの設定を示す領域である。図８の例では、表示切替部９２は設定「ＯＮ」と示している。この場合、制御部２６は、コンテンツデータと撮影画像データとを合成して生成された画像をディスプレイ１６に表示する。なお、表示切替部９２の表示内容が設定「ＯＦＦ」の場合は、制御部２６は、カメラによって取得された撮影画像データをディスプレイ１６に表示する。制御部２６は、ユーザの入力操作をタッチパネル１５によって受け付けており、表示切替部９２に対する入力操作を受け付けて、撮影画像データとコンテンツデータとが合成された画像を表示するか否かの設定のオンとオフとを切り替える。
【００５８】
ファイル名表示部９３は、撮影画像データに合成するコンテンツデータのタイトルを示す。制御部２６は、コンテンツ管理テーブル５１を参照して、ユーザが選択しているコンテンツデータに対応するアニメーション名称５１３を読み出してファイル名表示部９３に表示する。
【００５９】
アニメーションデータ購入部９４は、コンテンツデータを購入するための入力操作をユーザから受け付けるためのボタンである。情報処理装置１００は、例えば配信サーバ９００等の外部の装置からコンテンツデータをダウンロードすることができる。情報処理装置１００は、配信サーバ９００等の外部の装置と接続し、コンテンツデータを購入するための入力操作をユーザから受け付ける。
【００６０】
撮影切替部９５は、画像表示領域９１において表示されている画像を、静止画として保存するか、動画として保存するかの設定を受け付けるための領域である。
【００６１】
撮影開始部９６は、画像表示領域９１において表示されている画像を保存するための入力操作をユーザから受け付けるための領域である。表示切替部９２において、設定が「ＯＮ」、すなわちコンテンツデータと撮影画像データとが合成された画像を表示する設定である場合、情報処理装置１００は、撮影開始部９６に対する入力操作に応じて、コンテンツデータが合成された画像を静止画または動画として保存する。
【００６２】
音声入力受付部９７は、音声によるユーザの入力操作を受け付けるための領域である。情報処理装置１００は、音声入力受付部９７に対する入力操作を受け付けることで、音声入力の受付を開始し、入力された音声に基づいて、音声認識処理を行う。例えば、情報処理装置１００は、入力された音声を、音声認識処理用のアプリケーションによって音声認識処理を行わせるか、配信サーバ９００等の外部の装置へ送信し、外部の装置に音声認識処理を行わせて、その音声認識処理の結果を受信する。情報処理装置１００は、入力された音声の音声認識処理の結果に応じて動作する。例えば、情報処理装置１００は、音声認識処理の結果を受けて、撮影開始部９６に対する入力操作が行われたものとして動作し、画像表示領域９１に表示されている合成後の画像を保存するための処理を行う。また、例えば、情報処理装置１００は、音声認識処理の結果を受けて、表示切替部９２に対する入力操作が行われたものとして動作し、撮影画像データとコンテンツデータとが合成された画像を表示するか否かの設定を切り替える処理を行う。
【００６３】
＜コンテンツデータの購入を受け付けるためのユーザインタフェースの例＞
図９を参照して、情報処理装置１００がユーザからコンテンツデータの購入を受け付けるためのユーザインタフェースの例を説明する。図９は、撮影画像データに合成する対象となるコンテンツデータを購入する入力操作を受け付けるためのインタフェースの例を示す図である。
【００６４】
図９に示すように、制御部２６は、ディスプレイ１６において、購入ボタン９４１と、コンテンツデータリスト９４２とを表示する。制御部２６は、タッチパネル１５を介して、ユーザがコンテンツデータを選択するための入力操作を受け付ける。購入ボタン９４１は、ユーザが選択したコンテンツデータを購入するための入力操作を受け付けるボタンである。
【００６５】
コンテンツデータリスト９４２は、ユーザが購入可能なコンテンツデータの一覧を表示する。なお、図９の例では、コンテンツ管理テーブル５１の利用可能期間５１４において、コンテンツデータの利用可能期間が設定されているコンテンツについては、情報処理装置１００は、そのコンテンツデータの利用可能期間をコンテンツデータリスト９４２において表示する。
【００６６】
＜撮影画像データにコンテンツデータを合成するか否かの設定の切替＞
図１０を参照して、撮影画像データにコンテンツデータを合成するか否かの設定を、音声入力によって受け付ける例を説明する。図１０は、情報処理装置１００がコンテンツデータの合成のオンまたはオフを音声入力によって受け付ける例を示す図である。
【００６７】
情報処理装置１００は、音声入力受付部９７に対する入力操作を受け付けることで、音声入力を受け付ける。図１０において、表示切替部９２が設定「ＯＦＦ」を示している場合、制御部２６は、ユーザが指定したコンテンツデータと撮影画像データとを合成することなく、ディスプレイ１６に撮影画像を表示する。情報処理装置１００は、例えば、予め設定されたキーワードの音声入力を受け付けることで、コンテンツデータと撮影画像データとが合成された画像を表示するか否かの設定を切り替える。例えば、図１０に示すように、情報処理装置１００は、マイク２２によって、音声「変身！」などのキーワードの音声入力を受け付ける。これにより、情報処理装置１００は、撮影画像データと、コンテンツデータとを合成し、合成により生成された画像を表示する処理を開始し、表示切替部９２に設定「ＯＮ」を表示する。
【００６８】
このように、情報処理装置１００は、撮影画像データに対してコンテンツデータを合成した画像を表示するか否かを音声入力によって切り替え可能とする。これにより、例えば被写体が、ある作品のキャラクターになりきっている場合に、特定の音声の入力によって、コンテンツデータと撮影画像データとが合成された画像を表示するか否かを切り替えることができ、キャラクターになりきった感覚を被写体に対して提供することができる。
【００６９】
また、情報処理装置１００は、特定の音声の入力によってコンテンツデータと撮影画像データとが合成された画像を表示するか否かを切り替える過程を、例えば動画等によって保存する入力操作を受け付けて、ユーザが他のユーザと動画等を共有することができることとしてもよい。例えば、情報処理装置１００は、撮影画像データに対してコンテンツデータを合成して生成された静止画または動画を、例えば画像投稿用のＷｅｂサイトやグループチャットに投稿することができることとしてもよい。これにより、ユーザ同士での作品の楽しみ方のバリエーションを拡げることができる。
【００７０】
＜実施の形態２＞
図１１〜図１３を参照して、別の実施の形態にかかる情報処理装置１００について説明する。実施の形態２の情報処理装置１００は、撮影画像データに含まれる複数の人物の顔をそれぞれ認識し、各人物の顔とコンテンツデータとを対応付けてディスプレイ１６に表示する。情報処理装置１００は、顔認識処理によって、撮影画像データに含まれる被写体の人物を検出するとともに、予め被写体の人物の画像データベースを有して、画像認識処理によって検出された人物が誰であるかを特定する。
【００７１】
図１１は、実施の形態２の情報処理装置１００の表示例を示す図である。図１１に示すように、情報処理装置１００は、撮影画像データに対し画像認識処理を行うことにより、第１のユーザと、第２のユーザとを特定する。情報処理装置１００は、撮影画像データに含まれる第１のユーザの顔の範囲を顔認識領域７１Ａとして推定する。また、情報処理装置１００は、第１のユーザと、コンテンツデータ５２Ａとを対応付けて記憶している。同様に、情報処理装置１００は、撮影画像データに含まれる第２のユーザの顔の範囲を顔認識領域７１Ｂとして推定する。また、情報処理装置１００は、第２のユーザと、コンテンツデータ５２Ｂとを対応付けて記憶している。
【００７２】
情報処理装置１００は、ディスプレイ１６において、第１のユーザの顔の範囲にコンテンツデータが表示されないよう、撮影画像データとコンテンツデータとを合成し、合成領域８１Ａにコンテンツデータを表示する。また、情報処理装置１００は、ディスプレイ１６において、第２のユーザの顔の範囲にコンテンツデータが表示されないよう、撮影画像データにコンテンツデータを合成し、合成領域８１Ｂにコンテンツデータを表示する。
【００７３】
＜データ構造＞
図１２は、実施の形態２の情報処理装置１００の処理において用いられるユーザ割り当て情報５３を示す図である。情報処理装置１００は、例えば、記憶部２５にユーザ割り当て情報５３を記憶している。ユーザ割り当て情報５３は、人物それぞれに対し、どのコンテンツデータが割り当てられているかを示す情報である。
【００７４】
ユーザ割り当て情報５３の各レコードは、ユーザ識別情報５３１と、ファイル名５３２と、アニメーション名称５３３とを含む。
【００７５】
ユーザ識別情報５３１は、ユーザそれぞれを識別するための識別情報である。ファイル名５３２は、ユーザ識別情報５３１の識別情報に示されるユーザに対応付けられたコンテンツデータのファイルを特定するための情報である。アニメーション名称５３３は、ファイル名５３２に示されるコンテンツデータの名称を示す。
【００７６】
＜制御構造＞
図１３を参照して、実施の形態２における情報処理装置１００の動作を説明する。なお、実施の形態１と同一の箇所については同一の参照符号を付して説明を繰り返さない。図１３は、実施の形態２の情報処理装置１００による、コンテンツデータを撮影画像データに合成して表示するための処理を示すフローチャートである。なお、情報処理装置１００は、ユーザの登録を受け付けて、記憶部２５に、登録を受け付けたユーザを顔認識処理によって特定するための参照用の画像を記憶している。
【００７７】
ステップＳ１３０１において、制御部２６は、リアカメラ１９を起動し、リアカメラ１９が撮影する画像の画像サイズの設定など、カメラに関する初期化の処理を行う。
【００７８】
ステップＳ１３０３において、制御部２６は、リアカメラ１９が生成する画像信号の入力を受け付けて撮影画像データを取得し、取得した撮影画像データのプレビューをディスプレイ１６に表示する。
【００７９】
ステップＳ１３０５において、制御部２６は、画像認識処理により撮影画像データから顔認識処理によって人物を特定するため、参照用の画像を設定する。制御部２６は、撮影画像データに対し、画像認識処理を行うことで、撮影画像に含まれる人物の顔を検出し、検出された人物を、参照用の画像と照合することで、検出された人物が誰であるかを特定するための識別子をメモリ等へ出力する。
【００８０】
ステップＳ１３０７において、制御部２６は、顔認識処理によって出力される各種データを取得する。例えば、制御部２６は、撮影画像データにおける人物の識別子、人物の顔のサイズ、人物の目の座標、人物の口の座標などのデータをメモリから読み出して取得する。
【００８１】
ステップＳ１３０９において、制御部２６は、ステップＳ１３０７で取得した顔認識処理の結果に基づいて、撮影画像データに含まれる被写体の人物の顔の範囲を示す座標値を算出する。
【００８２】
ステップＳ１３１１において、制御部２６は、顔認識処理の結果に基づいて、ユーザの識別子に対応したコンテンツデータそれぞれについて、撮影画像データと合成するコンテンツデータの画像サイズと、コンテンツデータの表示位置とを決定する。
【００８３】
ステップＳ１３１３において、制御部２６は、ステップＳ１３０９で算出した顔の範囲と、ステップＳ１３１１で決定したコンテンツデータの画像サイズおよび表示位置とに基づいて、被写体の顔の範囲にコンテンツデータが表示されないよう、コンテンツデータの一部を透明化する等の加工を行う。
【００８４】
ステップＳ１３１５において、制御部２６は、加工されたコンテンツデータと、撮影画像データとを合成し、合成によって生成された画像をディスプレイ１６へ表示する。その後、制御部２６は、ステップＳ１３０３の処理を行う。
【００８５】
このように、実施の形態２の情報処理装置１００は、撮影画像データに対し、画像認識処理を行って、被写体の人物の顔認識を行い、被写体の人物とコンテンツデータとを対応付けて、コンテンツデータと撮影画像データとを合成することができる。そのため、例えば、被写体となる複数の人物が、それぞれ特定のキャラクターになりきっている場合に、画像を合成したくない領域はそのまま撮影画像データを表示しつつ、各キャラクターに適したコンテンツデータを被写体の人物に合成することができる。例えば、作品中で、複数のキャラクターが登場する構図を再現するためにコンテンツデータを合成することが容易になる。
【００８６】
＜変形例＞
上述のように、各実施の形態にかかる情報処理装置１００について説明してきたが、以下のように変形することもできる。
【００８７】
＜１．画像認識処理による人物の検出＞
上述の各実施形態の説明では、撮影画像データに対し、画像認識処理を行うことで、撮影画像データに被写体の人物の顔を検出する構成と、被写体の人物の顔を検出して参照用の画像を照合し、被写体が誰であるかを特定する構成とを説明した。被写体となる人物を検出する方法は、これに限らず、例えば、情報処理装置１００が歩行者検出処理用のアルゴリズムを利用可能であれば、これらアルゴリズムを撮影画像データに適用してもよい。情報処理装置１００は、被写体を歩行者として検出することで、撮影画像データにおける被写体の全身を検出することができ、この検出結果に基づいて、コンテンツデータを合成する領域を決定してもよい。
【００８８】
＜２．コンテンツデータの表示位置＞
上記の実施形態の説明では、情報処理装置１００は、図６および図７を用いて説明したように、顔認識領域７１に、コンテンツデータ５２が表示されないよう、コンテンツデータ５２の一部を透明化する等の加工をし、加工後のコンテンツデータと、撮影画像データとを合成して合成後の画像データを得ることとして説明した。この他にも、顔認識領域７１にコンテンツデータ５２が表示されないよう、情報処理装置１００は、撮影画像データに含まれる被写体の顔の範囲（顔認識領域７１）を算出すると（ステップＳ６０９）、顔認識領域７１と、コンテンツデータ５２の表示領域とで重複部分が生じないように、コンテンツデータ５２が顔認識領域７１に表示されない表示位置および画像サイズを決定することとしてもよい（ステップＳ６１１）。
【００８９】
＜３．コンテンツデータの配信方法＞
上記の実施形態の説明では、情報処理装置１００は、コンテンツデータ５２を、例えば配信サーバ９００から取得することができるとして説明したが、この他にも、例えば、ある特定の地域に限定してコンテンツデータ５２を取得することができることとしてもよい。例えば、コンテンツデータを配信する配信サーバ９００は、情報処理装置１００の位置として、（ａ）測位センサ１７のＧＰＳ測定の結果、（ｂ）情報処理装置１００が無線通信をしている無線基地局７００の識別情報、（ｃ）情報処理装置１００が無線通信をしている無線ＬＡＮルータの識別情報等の情報を取得する。配信サーバ９００は、情報処理装置１００から、配布地域が限定されているコンテンツデータ５２を取得するための要求を受け付けたとき、情報処理装置１００の位置の情報に基づいて、コンテンツデータ５２の配信の可否を制御する（または、情報処理装置１００において、コンテンツデータ５２の配信を受けることが可能な地域であるか否かを判定してもよい）。
【００９０】
このように、情報処理装置１００がコンテンツデータ５２を取得可能な地域を限定することで、例えば、コンテンツデータ５２と関係のある地域で開催されるイベントや観光地へとユーザが訪問することを促すことができる。
【００９１】
その他にも、情報処理装置１００は、撮影画像データに対する画像認識処理を行って被写体の顔の領域を検出することで、コンテンツデータ５２が表示されないよう顔認識領域７１を決定することとして説明してきたが、この顔認識領域７１の範囲は、ユーザが編集可能であるとしてもよい。また、情報処理装置１００は、ユーザによる手書きの画像の入力を受け付けて、受け付けた画像を、撮影画像データに合成するコンテンツデータ５２として記憶することとしてもよい。
【００９２】
今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９３】
１１，１３  アンテナ、１２  遠距離通信用モジュール、１４  近距離通信用モジュール、１５  タッチパネル、１６  ディスプレイ、１７  測位センサ、１８  フロントカメラ、１９  リアカメラ、２０  電源制御部、２１  バッテリ、２２  マイク、２３  スピーカ、２４  音声処理部、２５  記憶部、２６  制御部、５１  コンテンツ管理テーブル、５２  コンテンツデータ、５３  ユーザ割り当て情報、６１  検出処理部、６２  画像生成部、６３  表示制御部、７１  顔認識領域、８１  合成領域、９１  画像表示領域、９２  表示切替部、９３  ファイル名表示部、９４  アニメーションデータ購入部、９５  撮影切替部、９６  撮影開始部、９７  音声入力受付部、９８  背景アニメーション候補、９９  選択中アニメーション、９０  文字アニメーション候補、１００  情報処理装置、５１１  識別番号、５１２  ファイル名、５１３  アニメーション名称、５１４  利用可能期間、５３１  ユーザ識別情報、５３２  ファイル名、５３３  アニメーション名称、６００  ルータ、７００  無線基地局、８００  ネットワーク、９００  配信サーバ、９４１  購入ボタン、９４２  アニメーションリスト。
【図１】
2015023382.tif 000003
【図２】
2015023382.tif 000004
【図３】
2015023382.tif 000005
【図４】
2015023382.tif 000006
【図５】
2015023382.tif 000007
【図６】
2015023382.tif 000008
【図７】
2015023382.tif 000009
【図８】
2015023382.tif 000010
【図９】
2015023382.tif 000011
【図１０】
2015023382.tif 000012
【図１１】
2015023382.tif 000013
【図１２】
2015023382.tif 000014
【図１３】
2015023382.tif 000015