(57)【特許請求の範囲】
【請求項１】
第１画像を取得する第１画像取得手段と、
前記第１画像を表示した表示面前方を撮影した第２画像を取得する第２画像取得手段と、
前記第２画像取得手段によって取得した前記第２画像と、前記第１画像取得手段が取得した前記第１画像とを合成する画像合成手段と、を備え、
前記画像合成手段は、前記第１画像取得手段が取得した前記第１画像において所定の基準を満たす第１領域を検出し、検出した前記第１領域の近傍の領域に前記第２画像を重畳させ、前記第１画像と前記第２画像とを合成した第３画像を生成する、
ことを特徴とする画像処理装置。
【請求項２】
前記第２画像取得手段は、撮影した画像に基づいて、所定の像を抽出し、抽出した前記所定の像を表す第２画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記第２画像の大きさを前記第１領域の大きさに応じて調整して、前記第１領域の近傍の領域に前記第２画像を重畳させる、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１画像は、人物の顔が写った画像であり、
前記第２画像は、人の手の像を表す画像であり、
前記第１領域は、前記人物の顔を含む領域である、
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記第２画像は、複数の静止画像を含み、
前記画像合成手段は、前記第２画像に含まれる前記複数の静止画像それぞれを前記第１画像に重畳させた１以上の前記第３画像を生成する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記画像合成手段は、前記第２画像を前記第１領域に所定の面積以上重ならないように前記第１画像に重畳する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記第１画像は、第１の端末がネットワークを介して第２の端末に送信した送信画像であり、
前記第３画像は、前記第１の端末によって表示される、前記送信画像に対する返信画像である、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項８】
第１の端末が第２の端末に送信する第１画像に基づいて、前記第１画像に対する返信画像を生成する返信画像生成システムであって、
前記第１画像を表示した前記第２の端末の表示面前方を撮影した撮影画像を取得し、取得した前記撮影画像に基づいて、所定の像を抽出し、抽出した前記所定の像を表す第２画像を生成する画像生成手段と、
前記第１画像と前記画像生成手段が生成した前記第２画像とを合成する画像合成手段と、を備え、
前記画像合成手段は、前記第１画像において所定の基準を満たす第１領域を検出し、検出した前記第１領域の近傍の領域に前記第２画像を重畳させ、前記第１画像と前記第２画像とを合成した第３画像を生成する、
ことを特徴とする返信画像生成システム。
【請求項９】
コンピュータを、
第１画像を取得する第１画像取得手段、
前記第１画像を表示した表示面前方を撮影した第２画像を取得する第２画像取得手段、
前記第２画像取得手段によって取得した前記第２画像と、前記第１画像取得手段が取得した前記第１画像とを合成する画像合成手段、として機能させ、
前記画像合成手段は、前記第１画像取得手段が取得した前記第１画像において所定の基準を満たす第１領域を検出し、検出した前記第１領域の近傍の領域に前記第２画像を重畳させ、前記第１画像と前記第２画像とを合成した第３画像を生成する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、返信画像生成システム、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、特許文献１には、通信端末から送信された画像データを表示装置に表示させる表示制御方法であって、画像データを送信した通信端末の位置情報から推定したその通信端末のユーザの現在状況を画像データと共に表示装置に出力する表示制御方法が開示されている。
【０００３】
また、特許文献２には、携帯電話やパーソナルコンピュータから送信された画像データをＤＰＦに表示させる表示制御方法であって、ＤＰＦの利用者に対し表示方法の設定操作を要求することなく、受信した設定情報に基づいて表示方法を設定すると共に、設定変更に伴って不足するデジタル写真データを自動的に補充する表示制御方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８１２１０号公報
【特許文献２】特開２００９−１５１３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１及び特許文献２に記載された技術は、所定の画像を面白みのある画像に加工できるものでは無かった。
【０００６】
本発明は、上記点に鑑みてなされたものであり、所定の画像を面白みのある画像に加工する画像処理装置、返信画像生成システム、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の観点に係る画像処理装置は、
第１画像を取得する第１画像取得手段と、
前記第１画像を表示した表示面前方を撮影した第２画像を取得する第２画像取得手段と、
前記第２画像取得手段によって取得した前記第２画像と、前記第１画像取得手段が取得した前記第１画像とを合成する画像合成手段と、を備え、
前記画像合成手段は、前記第１画像取得手段が取得した前記第１画像において所定の基準を満たす第１領域を検出し、検出した前記第１領域の近傍の領域に前記第２画像を重畳させ、前記第１画像と前記第２画像とを合成した第３画像を生成する。
【０００８】
本発明の第２の観点に係る返信画像生成システムは、
第１の端末が第２の端末に送信する第１画像に基づいて、前記第１画像に対する返信画像を生成する返信画像生成システムであって、
前記第１画像を表示した前記第２の端末の表示面前方を撮影した撮影画像を取得し、取得した前記撮影画像に基づいて、所定の像を抽出し、抽出した前記所定の像を表す第２画像を生成する画像生成手段と、
前記第１画像と前記画像生成手段が生成した前記第２画像とを合成する画像合成手段と、を備え、
前記画像合成手段は、前記第１画像において所定の基準を満たす第１領域を検出し、検出した前記第１領域の近傍の領域に前記第２画像を重畳させ、前記第１画像と前記第２画像とを合成した第３画像を生成する。
【０００９】
また、本発明の第３の観点に係るプログラムは、
コンピュータを、
第１画像を取得する第１画像取得手段、
前記第１画像を表示した表示面前方を撮影した第２画像を取得する第２画像取得手段、
前記第２画像取得手段によって取得した前記第２画像と、前記第１画像取得手段が取得した前記第１画像とを合成する画像合成手段、として機能させ、
前記画像合成手段は、前記第１画像取得手段が取得した前記第１画像において所定の基準を満たす第１領域を検出し、検出した前記第１領域の近傍の領域に前記第２画像を重畳させ、前記第１画像と前記第２画像とを合成した第３画像を生成する。
【発明の効果】
【００１０】
本発明に係る画像処理装置、返信画像生成システム、及び、プログラムによれば、所定の画像を面白みのある画像に加工することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の１実施形態に係る返信画像生成システムの構成例を示すブロック図である。
【図２】本発明の１実施形態に係る第１の端末の構成を示す図である。
【図３】本発明の１実施形態に係る第１の端末の、ＣＰＵ等を用いた場合の構成を示す図である。
【図４】本発明の１実施形態に係る第２の端末の構成を示す図である。
【図５】本発明の１実施形態に係る第２の端末の、ＣＰＵ等を用いた場合の構成を示す図である。
【図６】本発明の１実施形態に係るサーバの構成を示す図である。
【図７】本発明の１実施形態に係るサーバの、ＣＰＵ等を用いた場合の構成を示す図である。
【図８】本発明の１実施形態に係る返信画像生成システムが行う画像送受信処理の第１処理のフローチャートを示す図である。
【図９】本発明の１実施形態における画像送受信用データテーブルのデータ構造を説明する図である。
【図１０】本発明の１実施形態に係る返信画像生成システムが行う画像送受信処理の第２処理のフローチャートを示す図である。
【図１１】第２画像の一例を示す図である。
【図１２】本発明の１実施形態に係るサーバが行う画像送受信処理Ｃの第３画像生成処理のフローチャートを示す図である。
【図１３】（ａ）は、第１画像における基準顔を説明するための図である。（ｂ）は、第１画像における基準顔及び第２画像を重畳させるべきでない顔領域を説明するための図である。
【図１４】本発明の１実施形態に係るサーバが行う第３画像生成処理における、第２画像の位置・大きさ決定処理のフローチャートを示す図である。
【図１５】「なでる」のジェスチャーの場合の、第１画像における、集合領域と基準顔との関係、及び、集合領域の配置等を示す図であり、（ａ）は基準顔が大きい場合、（ｂ）は、基準顔が小さい場合を示す図である。
【図１６】「指を指す」のジェスチャーの場合の、第１画像における、集合領域と基準顔との関係、及び、集合領域の配置等を示す図であり、（ａ）は基準顔が大きい場合、（ｂ）は、基準顔が小さい場合を示す図である。
【図１７】「拍手」又は「手を振る」（両手で手を振る）のジェスチャーの場合の、第１画像における、集合領域と基準顔との関係、及び、集合領域の配置等を示す図であり、（ａ）は基準顔が大きい場合、（ｂ）は、基準顔が小さい場合を示す図である。
【図１８】「包み込む」のジェスチャーの場合の、第１画像における、集合領域と基準顔との関係、及び、集合領域の配置等を示す図であり、（ａ）は基準顔が大きい場合、（ｂ）は、基準顔が小さい場合を示す図である。
【図１９】本発明の１実施形態に係る返信画像生成システムにおける第３画像の生成を説明するための図である。
【発明を実施するための形態】
【００１２】
本発明に係る１実施形態について図面を参照して説明する。なお、本発明は下記の説明、図面の記載によって限定されるものではない。下記の説明及び図面の内容に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明は適宜省略されている。
【００１３】
まず、図１を参照して、本実施形態に係る返信画像生成システム１の構成を説明する。返信画像生成システム１は、第１の端末１００と、第２の端末２００と、サーバ３００と、を備える。返信画像生成システム１は、画像データを第１の端末１００と第２の端末２００とで送受信するシステムでもある。
【００１４】
第１の端末１００と第２の端末２００とサーバ３００とは、ネットワーク９００に接続され、互いに通信可能になっている。なお、本実施形態では、返信画像生成システム１は、第１の端末１００と第２の端末２００とサーバ３００とを１つずつ備えているが、返信画像生成システム１は、第１の端末１００と第２の端末２００とサーバ３００とのうちの少なくとも１つを複数備えても良い。ネットワーク９００は、例えばインターネットである。
【００１５】
第１の端末１００及び第２の端末２００は、本実施形態では、デジタルフォトフレームである。第１の端末１００及び第２の端末２００は、パーソナルコンピュータ、携帯電話等の他の装置であってもよい。第１の端末１００と第２の端末２００とは、サーバ３００を介して、画像データ等のデータを送受信する。
【００１６】
サーバ３００は、第１の端末１００又は第２の端末２００が送受信する画像データ等のデータを中継する。サーバ３００は、所定のコンピュータによって構成される。
【００１７】
第１の端末１００と第２の端末２００とサーバ３００とは、画像データを処理するが、画像データは処理中に適宜データ形式が変更されても良いものとする。
【００１８】
次に図２及び図３を参照して、第１の端末１００の構成を説明する。
【００１９】
第１の端末１００は、制御部１１０と、内部記憶部１２０と、操作部１３０と、表示部１４０と、通信部１５０と、Ｉ／Ｆ部１６０と、を備える。
【００２０】
操作部１３０は、例えば、タッチセンサ等の入力装置によって構成される。操作部１３０は、制御部１１０の制御のもと、ユーザからの操作入力に応じた操作信号を出力し、制御部１１０に供給する。制御部１１０は、供給された操作信号に応じて処理を行う。これによって、制御部１１０は、操作部１３０へのユーザの操作内容に応じた処理を行う。
【００２１】
表示部１４０は、例えば、表示パネルと表示コントローラとによって構成される。表示コントローラには、制御部１１０から画像データ等のデータが供給される。表示コントローラは、供給された画像データに基づいて表示パネルを駆動し、表示パネルに画像を表示させる。このようにして、制御部１０１は、表示部１４０に所望の画像を表示する。
【００２２】
なお、操作部１３０と表示部１４０とは、タッチパネル等によって構成されてもよい。この場合には、タッチパネルに内蔵された入力装置が操作部１３０を構成する。
【００２３】
通信部１５０は、例えば、モデム等の適宜の通信装置によって構成される。通信部１５０は、有線又は無線で、ネットワーク９００に接続される。制御部１１０は、通信部１５０及びネットワーク９００を介して、データを送受信する。
【００２４】
Ｉ／Ｆ部１６０は、外部とのインターフェース（Ｉ／Ｆ）である。Ｉ／Ｆ部１６０は、例えば、メディアコントローラ等を備える読取書込装置によって構成される。制御部１１０は、Ｉ／Ｆ部１６０を介して記憶媒体１９０に対してデータを読み書きする。
【００２５】
記憶媒体１９０は、例えば、フラッシュメモリ等を備えるメモリカード等によって構成され、第１の端末１００に取り付けられる。記憶媒体１９０は、画像データ等を記憶する。
【００２６】
制御部１１０は、画像送信部１１０ａと表示制御部１１０ｂと画像受信部１１０ｃとを備える。制御部１１０（画像送信部１１０ａと表示制御部１１０ｂと画像受信部１１０ｃとのそれぞれ）は、例えば、ＣＰＵ（Central Processing Unit）１１１とＲＡＭ（Random Access Memory）１１２とから構成され、後述の画像送受信処理Ａを行う。内部記憶部１２０は、例えば、フラッシュメモリ１２１から構成され、制御部１１０が使用するデータ等を適宜記憶する。
【００２７】
ＣＰＵ１１１は、フラッシュメモリ１２１に記録されているプログラムに従い、さらに、フラッシュメモリ１２１に記録されているデータ等を用い、第１の端末１００全体を制御し、制御部１１０が行う後述の画像送受信処理Ａを行う。フラッシュメモリ１２１に記録されているプログラム、データ等は、一度、ＲＡＭ（Random Access Memory）１２１に読み出されても良い。
【００２８】
ＣＰＵ１１１が行う処理の少なくとも一部は、各種専用回路によって実行されてもよい。つまり、制御部１１０の少なくとも一部を各種専用回路によって構成してもよい。
【００２９】
ＲＡＭ１１２は、ＣＰＵ１１１が使用するデータ、ＣＰＵ１１１が生成したデータ、ＣＰＵ１１１に供給されるデータ等を記憶する。
【００３０】
フラッシュメモリ１２１は、プログラム、及び、ＣＰＵ１１１が使用する各種データ等を記憶している。内部記憶部１２０は、ＲＯＭ（Read Only Memory）、ハードディスク等の他の記憶装置を備えても良く、この他の記憶装置が、プログラム、ＣＰＵ１１１が使用する各種データ等を記憶してもよい。
【００３１】
内部記憶部１２０及び記憶媒体１９０は、制御部１１０が使用するデータを記憶する記憶部を構成し、制御部１１０は、この記憶部からデータを取得し、所定の処理を行うことになる。なお、記憶部は、第１の端末１００がデータを読み書き出来るものであればよく、第１の端末１００の外部にあってもよい。
【００３２】
次に図４及び図５を参照して、第２の端末２００の構成を説明する。
【００３３】
第２の端末２００は、第１の端末１００の構成にさらに撮影部２７０を追加した構成である。第２の端末２００には、記憶媒体２９０が取り付けられるが、記憶媒体２９０も記憶媒体１９０と同様のものを使用できる。
【００３４】
第２の端末２００は、制御部２１０と、内部記憶部２２０と、操作部２３０と、表示部２４０と、通信部２５０と、Ｉ／Ｆ部２６０と、撮影部２７０と、を備える。
【００３５】
制御部２１０は、制御部１１０に対応する。制御部２１０は、画像送信部２１０ａと画像生成部２１０ｂと画像受信部２１０ｃと表示制御部２１０ｄと撮影制御部２１０ｅとを備え、後述の画像送受信処理Ｂを行う。制御部２１０は、例えば、ＣＰＵ２１１とＲＡＭ２１２とによって構成され、ＣＰＵ２１１はフラッシュメモリ２２１に記録されたプログラムに従って後述の画像送受信処理Ｂを行う。制御部２１０についての他の説明は、制御部１１０についての説明と同様であるので、説明を省略する。
【００３６】
撮影部２７０は、撮像素子と、撮像レンズ群と、撮像駆動部と、ＡＦＥ（Analog Front End）と、ＤＳＰ（Digital Signal Processor）と、を含む。これらは、制御部１１０（撮影制御部２１０ｅ）によって制御されて動作する。撮像部２７０は、第２の端末２００の前方（表示部２４０の表示画面の法線方向であって、ユーザ側の方向）を撮影する。
【００３７】
撮像素子は、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサによって構成される。撮像素子は、制御部２１０の制御のもと、撮像レンズ群を介して入射する光による画像を取り込んで画素毎に光電変換し、光電変換により発生した画素毎の電荷に基づく信号を撮像信号としてＡＦＥに供給する。
【００３８】
撮像レンズ群は、フォーカスレンズ、ズームレンズ等のレンズ群からなる。撮像駆動部は、撮像レンズ群の駆動、撮像素子に入射する光量の制御、及び、撮像素子に光を当てる時間（撮像素子の受光素子が受光する時間の制御）の制御等を行う機構である。撮像レンズ群及び撮像駆動部は制御部２１０の制御のもとで動作し、撮像素子は撮像を行う。
【００３９】
ＡＦＥは、制御部２１０の制御のもと、撮像素子から供給される撮像信号に所定の処理（以下、処理Ａという。）を行い、撮像素子が撮像した撮像画像を表すデジタルデータ（元画像データ）を生成して出力する。処理Ａは、ＯＢ（Optical Black）クランプ処理、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理、Ａ／Ｄ（Analog/digital）処理等を含む処理である。
【００４０】
ＤＳＰは、ＡＦＥから供給される元画像データに対して各種処理（以下、処理Ｂという）を行い、ＹＵＶ（輝度・色差）形式等の画像データを生成する。処理Ｂは、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理を含む。これによって、撮像素子が撮像した撮像画像を表す画像データ、つまり、撮影部２７０が撮影した撮影画像データが、生成される。
【００４１】
撮像部２７０は、上記のような上記の構成によって、制御部２１０（撮影制御部２１０ｅ）の制御のもと、撮像する方向にある人物及び背景等の撮像画像を取り込んでこの撮像画像を表す撮像信号を生成し、生成した撮像信号に基づいて、前記の撮像画像を表す元画像データを生成し、生成した元画像データに基づいて、撮影画像データを生成し、制御部２１０に供給する。なお、撮像部２７０は、第２の端末２００の筐体に設けられたランプ等を有し、このランプは制御部２１０の制御のもと、点灯する。
【００４２】
なお、ＤＳＰが行う処理は、制御部２１０（画像生成部２１０ｂ）が行ってもよい。この場合、制御部２１０は、撮像部２７０（ＡＦＥ）から画像元データを受け取り、受け取った画像元データに対して前記の処理Ｂと同様の処理を行うことによって画像データ（ＹＵＶ形式等）を生成する。これによって、制御部２１０は、撮像部２７０が撮像した撮像画像を表す画像データを取得する。
【００４３】
内部記憶部２２０と、操作部２３０と、表示部２４０と、通信部２５０と、Ｉ／Ｆ部２６０と、は、それぞれ、第１の端末１００の、内部記憶部１２０と、操作部１３０と、表示部１４０と、通信部１５０と、Ｉ／Ｆ部１６０と、に対応し、それぞれ、略同様のものであるので、詳しい説明は省略する。
【００４４】
サーバ３００は、制御部３１０と、内部記憶部３２０と、操作部３３０と、表示部３４０と、通信部３５０と、を備える。これらは、第１の端末１００の各部と略同様のものである。内部記憶部３２０と、操作部３３０と、表示部３４０と、通信部３５０と、は、それぞれ、第１の端末１００の、内部記憶部１２０と、操作部１３０と、表示部１４０と、通信部１５０と、に対応する。なお、操作部３３０と表示部３４０とは、サーバ３００の管理用に使用されるものである。サーバ３００は、操作部３３０と表示部３４０とを備えなくてもよい。
【００４５】
操作部３３０は、例えば、キーボード等の入力装置によって構成されてもよい。制御部３１０は、画像送信部３１０ａと表示制御部３１０ｂと画像受信部３１０ｃとを備え、後述の画像送受信処理Ｃを行う。なお、制御部３１０は、例えば、ＣＰＵ３１１とＲＡＭ３１２を備え、ＣＰＵ３１１は、ハードディスク３２１に記録されたプログラムに従って、画像送信部３１０ａと表示制御部３１０ｂと画像受信部３１０ｃとが行う処理である後述の画像送受信処理Ｃを行う。内部記憶部３２０は、例えば、ハードディスク３２１から構成され、制御部３１０が使用するデータ等を適宜記憶する。その他の説明は、第１の端末１００における説明と同様であるで、詳しい説明を省略する。
【００４６】
次に返信画像生成システム１の動作（第１の端末１００、第２の端末２００、サーバ３００の各動作）について説明する。返信画像生成システム１は、画像送受信処理を行う。
【００４７】
まず、画像送受信処理における第１処理（後述の第１画像を第１の端末１００から第２の端末２００に送信する処理）を図８を参照して説明する。この処理では、第１の端末１００と第２の端末２００とサーバ３００とは、それぞれ、画像送受信処理Ａ乃至Ｃにおける第１処理を行う。なお、第１の端末１００は、例えば、第１ユーザが操作部１３０を操作して、第１処理を始める要求を行ったときに、画像送受信処理Ａの第１処理を開始する。また、第２の端末２００とサーバ３００とは、画像データを受信するまで待機しているものとする。
【００４８】
表示制御部１１０ｂは、画像送受信処理Ａの第１処理を開始すると、記憶媒体１９０に記録された画像データが表す画像の一覧（例えば、画像のサムネイルの一覧）の画像を表示部１４０に表示する（ステップＳ１０１）。これによって、表示制御部１１０ｂは、第１ユーザに対して、送信する画像を指定するように促す。ここで、第１ユーザは、第１の端末１００のユーザである。
【００４９】
次に、表示制御部１１０ｂは、画像が選択されたかを判別する（ステップＳ１０２）。第１ユーザが表示部１４０の一覧の画像を見ながら操作部１３０を操作して送信したい画像を一覧の中から選択すると、表示制御部１１０ｂには操作部１３０からこの選択に応じた操作信号が供給される。表示制御部１１０ｂは、この操作信号の供給によって画像が選択されたと判別する（ステップＳ１０２；ＹＥＳ）。このとき、表示制御部１１０ｂは、前記の操作信号によって特定される、第１ユーザに選択された画像を表す画像データをこれから送信する画像データとして特定する（ステップＳ１０３）。
【００５０】
一方、表示制御部１１０ｂに操作部１３０から前記の操作信号が供給されない場合、表示制御部１１０ｂは画像が選択されていないと判別し（ステップＳ１０２；ＮＯ）、再度ステップＳ１０２の処理を行う。このようにして、表示制御部１１０ｂは、画像が選択されるまで待機する。
【００５１】
なお、第１ユーザは、人の顔が写った画像（ここでは、デジタル写真）を、これから送信する画像として選択するものとする。以下では、この画像とこの画像を表す画像データとを、それぞれ、第１画像と第１画像データと、とする。
【００５２】
次に、表示制御部１１０ｂは、記憶媒体１９０に記録されたアドレスデータが特定する送信先の一覧の画像を表示部１４０に表示する（ステップＳ１０４）。これによって、表示制御部１１０ｂは、第１ユーザに対して、第１画像の送信先を指定するように促す。
【００５３】
次に、表示制御部１１０ｂは、送信先が選択されたかを判別する（ステップＳ１０５）。第１ユーザが表示部１４０の一覧の画像を見ながら操作部１３０を操作して送信先を一覧の中から選択すると、表示制御部１１０ｂには操作部１３０からこの選択に応じた操作信号が供給される。表示制御部１１０ｂは、この操作信号の供給によって送信先が選択されたと判別する（ステップＳ１０５；ＹＥＳ）。このとき、表示制御部１１０ｂは、前記の操作信号によって特定される、第１ユーザに選択された送信先を特定するアドレスデータをこれから送信する送信先のアドレスデータとして特定する（ステップＳ１０６）。なお、送信先は、ユーザが操作部１３０を操作して直接入力したものであってもよい。また、ここでは、送信先として第２の端末２００が指定されたものとする。
【００５４】
一方、表示制御部１１０ｂに操作部１３０から前記の操作信号が供給されない場合、表示制御部１１０ｂは送信先が選択されていないと判別し（ステップＳ１０５；ＮＯ）、再度ステップＳ１０５の処理を行う。このようにして、表示制御部１１０ｂは、送信先が選択されるまで待機する。
【００５５】
表示制御部１１０ｂは、送信先のアドレスデータと送信する画像データとを特定すると（この特定は、例えば、ＲＡＭ１１２に画像データを保持することによって行われる。）、送信指示を行うかを選択させる画像（例えば、「送信を行いますか？」との文字列と、「ＹＥＳ」のボタンと、「ＮＯ」のボタンと、を含む画像）を表示部１４０に表示し（ステップＳ１０７）、第１ユーザに第１画像を送信させるかを選択させる。そして、表示制御部１１０ｂは、送信指示がされたかを判別する（ステップＳ１０８）。
【００５６】
第１ユーザは、表示部１４０に表示された、送信指示を行うかを選択させる画像を見て、操作部１３０を操作して送信指示を行うかを選択する。表示制御部１１０ｂには操作部１３０からこの選択に応じた操作信号が供給される。
【００５７】
第１ユーザが送信指示を行わない旨を操作部１４０を介して入力すると、表示制御部１１０ｂには、この操作に応じた操作信号（例えば、上記「ＮＯ」のボタンを選択したことを示す操作信号）が供給される。表示制御部１１０ｂは、この操作信号が供給されると、送信指示がされていないと判別し（ステップＳ１０８；ＮＯ）、再度ステップＳ１０１の処理を行う。これによって、画像の選択等が再度第１ユーザによって行われる。
【００５８】
第１ユーザが送信指示を行う旨を操作部１４０を介して入力すると、表示制御部１１０ｂには、この操作に応じた操作信号（例えば、上記「ＹＥＳ」のボタンを選択したことを示す操作信号）が供給される。表示制御部１１０ｂは、この操作信号が供給されると、送信指示がされたと判別する（ステップＳ１０８；ＹＥＳ）。
【００５９】
表示制御部１１０ｂが操作指示されたと判別した場合（ステップＳ１０８；ＹＥＳ）、画像送信部１１０ａは、表示制御部１１０ｂが前記で特定した画像データを、表示制御部１１０ｂが前記で特定したアドレスデータ（以下、送信先アドレスデータという。）と、自身のアドレスを示すアドレスデータ（第１の端末１００のアドレスを示すアドレスデータであり、内部記憶部１２０が予め記憶しているものとする。また、このアドレスデータを以下では送信元アドレスデータ）と、とともに、通信部１５０及びネットワーク９００を介してサーバ３００に送信する（ステップＳ１０９）。
【００６０】
サーバ３００の画像受信部３１０ｃは、通信部３５０を介して、第１の端末１００から送信された画像データ、送信元アドレスデータ、及び、送信先アドレスデータを受信する（ステップＳ１１０）。画像受信部３１０ｃは、受信した画像データを内部記憶部３２０に記録する（ステップＳ１１１）。このとき、画像受信部３１０ｃは、画像データに画像ＩＤ（画像データを識別するための情報、例えば、連番の番号等）を付し、画像ＩＤを示すデータにそれぞれ対応付けて、受信した画像データ、送信先アドレスデータ、送信元アドレスデータを内部記憶部３２０に記録する。なお、画像データは、画像データの記録場所（内部記憶部３２０内の記録場所）を特定するようなデータを介して画像ＩＤと対応付けられて記録される。つまり、画像データの記録場所を示すデータが画像ＩＤと対応付けられて記録される。画像データは、直接画像ＩＤと対応付けられて記録されてもよい。
【００６１】
図９に内部記憶部３２０に記録された、画像ＩＤのデータと、画像データの記録場所を示すデータと、送信先アドレスデータと、送信元アドレスデータとについてのデータ構造の一例を示す。内部記憶部３２０は、前記のデータを含むデータテーブル（以下、画像送受信用データテーブルという。）を記憶する。図９は、このデータテーブルのデータ構造である。このデータテーブルは、画像データを識別する「画像ＩＤ」と、画像データの記録場所を示す「画像データの記録場所」と、画像を送信する端末（ここでは、第２の端末２００等）を特定する「送信先アドレス」と、画像を送信した端末（ここでは、第１の端末１００等）を特定する「送信元アドレス」と、のそれぞれを示すデータ（互いに対応付けられる。）を含んで構成されるデータ構造になっている。
【００６２】
画像受信部３１０ｃが、第１画像データ等を内部記憶部３２０に記録すると、画像送信部３１０ａは、通信部３５０及びネットワーク９００を介して、この第１画像データに対応する送信先アドレスデータ（第１画像データとともに画像受信部３１０ａが受信した送信先アドレスデータ）が示すアドレスの端末（ここでは、第２端末２００）に、この第１画像データと、この第１画像データとともに画像受信部３１０ｃが受信した送信元アドレスデータと、画像ＩＤを示すデータと、を送信する（ステップＳ１１２）。
【００６３】
第２の端末２００の画像受信部２１０ｃは通信部３５０を介して、サーバ２００から送信された第１画像データと送信元アドレスデータと画像ＩＤを示すデータとを受信する（ステップＳ１１３）。画像受信部２１０ｃが前記のデータを受信すると、表示制御部２１０ｄは、例えば、表示部２４０に第１画像データを受信したことを示すメールマーク等を含む画像を表示し、第１画像データを受信したことを第２ユーザに報知する（ステップＳ１１４）。なお、画像受信部２１０ｃは、送信元アドレスデータと第１画像データと画像ＩＤを示すデータとを互いに対応付けて内部記憶部２２０に記録する。また、第２ユーザとは、第２の端末２００のユーザである。
【００６４】
次に、画像送受信処理における第２処理（後述の第３画像を第１の端末１００に返信する処理）を図１０を参照して説明する。この処理では、第１の端末１００と第２の端末２００とサーバ３００とは、それぞれ、画像送受信処理Ａ乃至Ｃにおける第２処理を行う。なお、第２の端末２００は、第１ユーザが操作部２３０を操作して、第２処理を始める要求（例えば、受信している複数の画像データが表す複数の画像のうちの１つを表示部２４０に表示させる要求）を行ったときに、画像送受信処理Ｂの第２処理を開始する。また、第１の端末１００とサーバ３００とは、画像送受信処理Ａ及びＣの第２処理を開始しており、画像データを受信するまで待機しているものとする。
【００６５】
まず、表示制御部２１０ｄは、第１画像データ（例えば、ユーザに指定された第１画像データ）を、例えば、内部記憶部２２０から取得し、取得した第１画像データを表示部２４０に供給して、第１画像データが表す第１画像を表示部２４０に表示する（ステップＳ２０１）。
【００６６】
画像生成部２１０ｂは、表示制御部２１０ｄが第１画像を表示部２４０に表示すると、撮影制御部２１０ｅは、撮影部２７０を制御して表示部２４０の前方の撮影する（ステップＳ２０２）。なお、撮影制御部２１０ｅは、撮影を開始すると、例えば、撮像部２７０が備える前記のランプ等を点灯させ、撮影が開始していることを、第２ユーザに報知する。
【００６７】
なお、撮影は、所定の期間（例えば、３０秒）行われる。また、撮影制御部２１０ｅは、静止画像を所定の時間間隔（例えば、１秒ごと）で撮影することによって、撮影を行う。撮影制御部２１０ｅは、この撮影によって順次供給される撮影画像データ（前記の静止画像を表す画像データ）を内部記憶部２２０に順次記録していく。
【００６８】
撮影制御部２１０ｅは、順次供給される撮影画像データを表示部２４０に供給し、この撮像画像データが表す静止画像を順次表示部２４０の表示画面の所定の表示領域（例えば、表示画面における向かって右上隅）に表示してもよい。これによって、第２ユーザは、後述の自分の動作を画面上で確認できる。また、後述の画像生成部２１０ｂは、後述の手の領域の検出を、リアルタイムで行い、手の領域が検出した場合に、撮影制御部２１０ｅが所定のランプを点灯することによって、第２ユーザに手の領域が検出されたことをフィードバックしてもよい。
【００６９】
上記の撮影の間、表示部２４０の前方にいる第２ユーザは表示部２４０が表示する第１画像を見て、表示部２４０の前で、手で所定のジェスチャーを行う。このジェスチャーとは、ユーザが行う手振りや手真似であって、例えば、「拍手」、「なでる」、「指を指す」、「手を振る」、「包み込む」等の動作がある。また、第２ユーザは、前記のジェスチャーを第１画像に写った所望の顔に対して行う。また、第２ユーザは、いずれか一の動作のみを行うものとする。撮影制御部２１０ｅは、撮影部２７０を用いて、前記の手のジェスチャーを撮影することになる。
【００７０】
画像生成部２１０ｂは、撮影制御部２１０ｅが前記の所定の期間撮影を行うと、つまり、撮影を終了すると、手の領域を表す第２画像を生成する（ステップＳ２０３）。画像生成部２１０ｂは、撮影制御部２１０ｅが撮影した撮影画像（内部記憶部２２０に記録された撮影画像データ）に基づいて第２画像を生成する。
【００７１】
例えば、画像生成部２１０ｂは、撮影画像を画像解析し、撮影画像について、第２ユーザの手の領域とそれ以外の領域とに分けて手（第２ユーザの手）の領域を検出する。この手の領域の検出は、手のジェスチャーで家電等を操作するための画像認識技術などが使える。この手の領域の検出は、例えば、手のテンプレート画像を用いたテンプレートマッチング等によって行われる。テンプレート画像のデータは、内部記憶部２２０に予め記憶されるものとする。また、このテンプレート画像は、頭をなでるときの手の画像（上記「なでる」のジェスチャーに対応）、指を指すときの手の画像（上記「指を指す」のジェスチャーに対応）、拍手をするときの手の画像（上記「拍手」のジェスチャーに対応）、手を振るときの手の画像（上記「手を振る」のジェスチャーに対応）、顔を包み込むときの手の画像（上記「包み込む」のジェスチャーに対応）等、第２ユーザが行うであろう手のジェスチャーに対応した画像とする。一のテンプレート画像で、手の領域が検出出来なかった場合には、順次、他のテンプレート画像が使用される。そして、全てのテンプレート画像について、手の領域を検出出来なかった場合には、その撮影画像では手の領域が検出されないことになる。
【００７２】
画像生成部２１０ｂは、撮影画像について、手の領域を複数検出した場合には、その中で、例えば、一番大きい手の領域を検出する。この手は、撮影部２７０に近い位置にあると考えられ、第２ユーザの手である可能性が高いからである。
【００７３】
画像生成部２１０ｂは、手の領域を検出すると、この手の領域と、それ以外の領域と、に分け、手の領域のみを抽出した画像を生成する。
【００７４】
画像生成部２１０ｂは、前記の画像を生成すると、この画像を表裏反転（左右反転）させる。撮影部２７０は、表示部２４０の前方を撮影しているので、つまり、手を表示部２４０から撮影しているため、第２ユーザが見る手は、実際に撮影された手と表裏が逆になるからである。次に、反転させた画像を黒く塗りつぶして影絵のような画像（手領域画像）に変換する。
【００７５】
なお、画像生成部２１０ｂは、上記の影絵内に、所定の線を入れることによって、指等を表現した画像を手領域画像としてもよい。また、手領域画像は、当然、黒く塗りつぶされたものでなくてもよい。
【００７６】
上記のような方法で生成された画像の例を、図１１を参照して説明する。図１１のように、この手領域画像３０は、例えば、手の領域が黒く塗りつぶされた、例えば、ビットマップで表される影絵のような画像になる。なお、図１１における矩形は、元の撮影画像の外縁を示す。なお、この手領域画像を表す手領域画像データには、適宜、元の撮影画像における手領域の位置（手領域の中心の位置）、方向（手領域の長尺方向の方向）等を示す位置方向データが含まれるものとする。つまり、この手領域画像データによれば、手領域画像の、元の撮影画像における位置等が分かることなる。
【００７７】
なお、上記で説明した一連の処理は、各撮影画像それぞれについて時系列順に行われる。なお、上記のテンプレートマッチングでは、最初に手の領域を検出できたときに使用されたテンプレート画像が、その後の撮影画像におけるテンプレートマッチングで使用される。手領域画像の集合によって、第２画像が構成される。つまり、上記一連の処理によって、人の手の像を含む画像である第２画像であって、複数の手領域画像からなる第２画像が生成されることになる。第２画像を表す画像データ（以下、第２画像データという）は、例えば、第２画像を構成する各手領域画像（時系列順に並ぶ）をそれぞれ表す複数の手領域画像データの集合である。
【００７８】
画像生成部２１０ｂが第２画像を生成すると、つまり、第２画像データを生成すると、第２画像を構成する各静止画像の手がどのようなジェスチャーを行っている手であるか（ジェスチャーの種別）を特定するデータ（手種別データ）を生成する。これは、例えば、上記のテンプレートマッチングにおいて、手の領域を検出できたときに使用されたテンプレート画像の種別によって特定できる。
【００７９】
画像送信部２１０ａは、画像生成部２１０ｂが生成した第２画像データを、現在表示部２４０に表示されている第１画像の画像ＩＤを特定するデータ（例えば、内部記憶部２２０に記録されており、これを画像送信部２１０ａが取得する）と、手種別データと、ともにネットワーク９００及び通信部２５０を介してサーバ３００に送信する（ステップＳ２０４）。このとき、画像送信部２１０ａは、内部記憶部２２０に前記の画像ＩＤを特定するデータに対応付けられて記録されている、第２画像データとともに、送信元アドレスデータと第２の端末２００自身に設定されているアドレスデータ（前記の送信先アドレスデータ）とを送信する。
【００８０】
サーバ３００の画像受信部３１０ｃは、通信部３５０を介して、画像送信部２１０ａが送信した、第２画像データと、手種別データと、画像ＩＤを特定するデータと、送信元アドレスデータと、送信先アドレスデータと、を受信する（ステップＳ２０５）。画像受信部３１０ｃがデータを受信すると、画像合成３１０ｂは、内部記憶部３２０が記憶する画像送受信用データテーブルを参照し、画像受信部３１０ｃが受信した、画像ＩＤを特定するデータに基づいて、このデータに対応する第１画像データを特定し、この第１画像データを内部記憶部３２０から取得し、取得した第１画像データが表す第１画像と画像受信部３１０ｃが受信した第２画像データが表す第２画像とを合成し、第３画像を生成する（ステップＳ２０６）。
【００８１】
ここで、ステップＳ２０６の処理の詳細を図１２を参照して説明する。
【００８２】
画像合成部３１０ｂは、取得した第１画像データに基づいて、顔認識を行う（ステップＳ３０１）。顔認識は、例えば、顔の画像のテンプレート画像を用いたテンプレートマッチング等によって行われる。
【００８３】
画像合成部３１０ｂは、認識した顔を基準顔として特定する（ステップＳ３０２）。特に、画像合成部３１０ｂは、認識した顔が１つである場合には、その顔を基準顔（後述の画像の合成における対象となる顔）として特定する。また、画像合成部３１０ｂは、認識した顔が複数ある場合には、大きさが最も大きい顔を基準画像として特定する。最も大きい顔が、第１画像におけるメインの被写体であり、第２ユーザ等が注目して見る顔であると考えられるからである。例えば、図１３（ａ）のように、認識した顔が複数ある場合には、最も大きい顔が基準顔として特定される。図１３（ａ）では、点線で囲まれた顔が基準顔になる。このような顔は、第２ユーザがジェスチャーを行う対象（例えば、頭をなでる対象の顔）である可能性が高いと考えられる。このため、この方法では基準顔の精度が良くなる。また、このような方法によれば、簡単に基準顔を特定できる。
【００８４】
なお、認識した顔が複数ある場合には、例えば、画像合成部３１０ｂは、予め登録されている顔（例えば、第２ユーザ又は第１ユーザ本人や、友人、家族、知人等の顔）を基準顔として特定してもよい。この場合には、画像ＩＤのデータ毎に、所定の人の顔のテンプレート画像の画像データが記録されており、画像合成部３１０ｂは、画像ＩＤ毎に、対応する画像データが表すテンプレート画像で、テンプレートマッチングを行う。このような顔は、第２ユーザがジェスチャーを行う対象である可能性が高いと考えられる。このため、この方法では基準顔の特定の精度が良くなる。
【００８５】
また、認識した顔が複数ある場合には、例えば、画像合成部３１０ｂは、手領域画像データに含まれる、撮影画像における位置及び方向等を特定するデータに基づいて、第１画像に、前記の位置及び方向で、手領域画像を重ねて（撮影画像の画像サイズと第１画像の画像サイズとは同じであるものとする。）、この手領域画像の最も近傍にある顔を基準顔として特定してもよいし、例えば、手領域画像が、指で指したときの手であれば、手の領域において先細りしている部分の延長線上にあって、この部分に最も近い顔を基準顔として特定してもよい。また、例えば、手領域画像が、包み込む手であれば、二つの手の領域の間にある顔を基準顔として特定してもよい。これらのような、手領域画像の手の領域の形状（ジェスチャーの種別）に合わせて基準顔を特定する方法で特定される顔は、第２ユーザがジェスチャーを行う対象（例えば、頭をなでる対象の顔、指で指す対象の顔、手で包み込む対象の顔）である可能性が高いと考えられる。このため、これらの方法では基準顔の特定の精度が良くなる。なお、手の領域の形状（ジェスチャーの種別）は、手種別データによって特定される。
【００８６】
また、認識した顔が複数ある場合には、例えば、画像合成部３１０ｂは、顔が正面を向いているものを基準顔としたり、第１画像の中央領域にある顔を基準顔としたりしてもよい。いずれの場合であっても、これらの方法で特定される顔は、第２ユーザがジェスチャーを行う対象である可能性が高いと考えられる。このため、これらの方法では基準顔の特定の精度が良くなる。
【００８７】
次に、画像合成部３１０ｂは、第１画像において、基準顔として特定した顔と同程度の大きさ顔の領域（両者の面積の差分が閾値以下の領域）を、第２画像を重畳させるべきでない顔領域として特定する（ステップＳ３０３）。このような顔も、基準顔と同様に、第２ユーザ等にとって重要な人の顔であり、後述のように第２画像を所定以上の面積で重畳させると、重要な人の顔が隠れてしまうからである。例えば、図１３（ｂ）のように、基準顔１１又は１３（点線内の顔）と同様の大きさの顔１２又は１４が顔領域（点線内の顔）として特定される。
【００８８】
なお、ここでの顔領域の特定に、上記の基準顔の特定で用いられた方法（特に、ジェスチャーの種別に合わせて基準顔を特定する方法以外の方法）が用いられてもよい。
【００８９】
また、このステップＳ３０３は、顔が複数認識された場合に行われる処理であり、顔が１つのみ認識された場合には、画像合成部３１０ｂは、この処理をスキップする。また、画像合成部３１０ｂは、基準顔以外の顔について、基準顔として特定した顔と同程度の大きさのものが無い場合についても、次の処理に進む。
【００９０】
次に、画像合成部３１０ｂは、第２画像を第１画像に重畳（合成）する処理を行うが、その前に第２画像を重畳する、第１画像における位置及び第２画像の大きさを決定する処理を行う（ステップＳ３０４）。
【００９１】
この処理を、図１４を参照して詳細に説明する。
【００９２】
まず、画像合成部３１０ｂは、第１画像における、基準顔の像の長尺方向における長さ（例えば基準顔の像を囲む長方形の長尺方向の長さ）を算出する（ステップＳ４０１）。また、画像合成部３１０ｂは、第２画像が含む手領域画像の長尺方向における長さの平均（例えば、手領域画像を囲む長方形の長尺方向の長さの平均）を算出する（ステップＳ４０２）。なお、手領域画像の手が握った状態であっても。この画像の長尺方向の長さを算出する。
【００９３】
次に、画像合成部３１０ｂは、サイズ係数を求める（ステップＳ４０３）。画像合成部３１０ｂは、前記で算出した２つの値から、サイズ係数＝Ａ×（基準顔の像の長尺方向における長さ）／（手領域画像を囲む長方形の長尺方向の長さの平均）を求める。Ａは所定の定数であって、基準顔の像の長尺方向における長さを手領域画像を囲む長方形の長尺方向の長さの平均の何倍にするかによって予め設定しておく。
【００９４】
画像合成部３１０ｂは、第２画像に含まれる各手領域画像を、手領域画像の大きさ（例えば縦及び横の寸法）にサイズ係数を乗じて、サイズ変更する（ステップＳ４０４）。これにより、手領域画像の長さの平均は、基準顔のＡ倍になる。
【００９５】
次に、画像合成部３１０ｂは、サイズ変更後の各手領域画像を、中心を同じにして重ね合わせ、各手領域画像がすべて入る集合領域（例えば、各手領域画像を重ね合わせた和集合の領域）を求め、求めた集合領域を第１画像に重畳させる（ステップＳ４０５）。このときの第１画像上の位置（集合領域の中心位置）は、例えば、手種別データが特定するジェスチャーの種別に応じて特定される。
【００９６】
例えば、上記「なでる」のジェスチャーの場合、基準顔の上に手が位置するのが普通なので、基準顔の中心位置よりも上かつ第１の距離の位置を集合領域の中心位置とする。
【００９７】
例えば、上記「指を指す」のジェスチャーの場合、指が顔を指すのが普通なので、基準顔の中心位置から、前記集合領域における先細りしている方向と反対側の方向に第２の距離ずらした位置を集合領域の中心位置とする。
【００９８】
例えば、上記「拍手」のジェスチャーの場合、両手が基準顔に重ならなければよいので、基準顔の中心位置から任意の方向に第３の距離ずらした位置を集合領域の中心位置とする。
【００９９】
例えば、上記「手を振る」のジェスチャーの場合、両手が基準顔に重ならなければよいので、基準顔の中心位置から任意の方向に第４の距離ずらした位置を集合領域の中心位置とする。
【０１００】
例えば、上記「包み込む」のジェスチャーの場合、両手が基準顔を包むようにするので、基準顔の中心位置から左右方向にそれぞれ第５の距離ずらした位置を集合領域の両手の中心位置とする。
【０１０１】
次に、画像合成部３１０ｂは、重畳した集合領域が前記で特定した、基準顔及び第２画像を重畳させるべきでない顔領域に所定の面積以上重なるかを判別し（ステップＳ４０６）、所定の面積以上重なっていない場合には（ステップＳ４０６；ＮＯ）、ステップＳ４０８の処理に進む。一方、重畳した集合領域が所定の面積以上重なる場合には（ステップＳ４０６；ＹＥＳ）、最小の距離で所定の面積以上重ならない位置に移動させる（ステップＳ４０７）。画像生成部３１０ｂは、ステップＳ４０７の処理において、例えば、集合領域を第１画像において、元の位置から上下左右に１画素、２画素、３画素・・・というように、ずらしていく。そして、例えば、最初に集合領域が基準顔及び第２画像を重畳させるべきでない顔領域第２画像を重畳させるべきでない顔領域に所定の面積以上重ならなくなった位置を最小の距離で重ならない位置とし、集合領域を移動させる。そして、第１画像における、この集合領域の中心位置を特定しておく。なお、集合領域が両手分の二つの離れた領域からなる場合には、適宜、両者について独立して移動させる。
【０１０２】
次に、画像合成部３１０ｂは、第１画像に重畳している集合領域が第１画像の外側に、はみ出していないかを判別し（ステップＳ４０８）、はみ出していないと判別すると（ステップＳ４０８；ＮＯ）、ステップＳ３０５の処理を行う。画像合成部３１０ｂは、はみ出していると判別した場合（ステップＳ４０８；ＹＥＳ）、集合領域を縮小して、最大のサイズで第１画像に納まるような、縮小率（左右の縮小率は同じにする。）を特定する。なお、画像合成部３１０ｂは、縮小率を徐々に大きくして、集合領域を順次縮小し、最初に、縮小後の集合領域が第１画像をはみ出さない縮小率を前記の縮小率として特定する。なお、画像生成部３１０ｂは、集合領域を縮小する際に、基準顔側に近い所定の１点を中心にして縮小をしていく。このため、縮小後の集合領域の中心位置は縮小前に比べて変化する。画像生成部３１０ｂは、この中心位置も特定する。上記のようにして、画像生成部３１０ｂは、縮小後の集合領域が第１画像をはみ出さない縮小率を前記の縮小率と特定するとともに、第１画像における集合領域の中心の位置も特定する（ステップＳ４０９）。画像生成部３１０ｂは、その後、ステップＳ３０５の処理を行う。
【０１０３】
上記集合領域と、基準顔との関係の例について、図１５乃至図１８を参照して説明する。なお、各集合領域は、便宜上矩形等の単純な図形で模式化されている。また、顔が１つのとき（基準顔が１つで）、
【０１０４】
図１５は、「なでる」のジェスチャーの場合の図である。（ａ）のように、集合領域（黒の矩形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させるが（下側の図の点線矩形参照）、移動後の集合領域は第１画像を、はみ出しているので、縮小されている。（ｂ）のように、集合領域（黒の矩形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させる（下側の図参照）。（ｂ）では、基準顔が小さく、それに伴って集合領域も小さくなっている。このため、移動後の集合領域は第１画像を、はみ出していない。
【０１０５】
図１６は、「指を指す」のジェスチャーの場合の図である。（ａ）のように、集合領域（黒の多角形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させるが（下側の図の多角形参照）、移動後の集合領域は第１画像を、はみ出しているので、縮小されている。（ｂ）のように、集合領域（黒の多角形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させる（下側の図参照）。（ｂ）では、基準顔が小さく、それに伴って集合領域も小さくなっている。このため、移動後の集合領域は第１画像を、はみ出していない。
【０１０６】
図１７は、「拍手」又は「手を振る」（両手で手を振る）のジェスチャーの場合の図である。（ａ）のように、集合領域（黒の矩形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させるが（下側の図の点線矩形参照）、移動後の集合領域は第１画像を、はみ出しているので、縮小されている。（ｂ）のように、集合領域（黒の矩形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させる（下側の図参照）。（ｂ）では、基準顔が小さく、それに伴って集合領域も小さくなっている。このため、移動後の集合領域は第１画像を、はみ出していない。なお、この時は、両手を含めて一の集合領域としている。
【０１０７】
図１８は、「包み込む」のジェスチャーの場合の図である。（ａ）のように、集合領域（黒の矩形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させる（下側の図参照）。（ｂ）のように、集合領域（黒の矩形部分）は基準顔に重なっている場合、画像合成部３１０ｂは、集合領域を移動させる（下側の図参照）。（ａ）及び（ｂ）両者では、移動後の集合領域は第１画像を、はみ出していない。なお、このようなジェスチャーの場合、集合領域は互いに離間した二つの領域を含み、画像合成部３１０ｂは、各領域について、移動、縮小等を行う。
【０１０８】
なお、上記の画像、領域の移動、縮小等は、例えば、各画素についての座標変換によって行われる。
【０１０９】
次に画像合成部３１０ｂは、第２画像に第１画像を合成し、第３画像を生成する（ステップＳ３０５）。画像合成部３１０ｂは、第１画像データと第２画像データとに基づいて第３画像を生成する。例えば、画像合成部３１０ｂは、第２画像データが表す各手領域画像を、それぞれ、第１画像に重畳させて、複数の第３画像を生成する。つまり、ここで生成される第３画像の数は、手領域画像の数と同数になる。画像合成部３１０ｂは、ステップＳ４０４で生成された、サイズ係数倍（縮小又は拡大）された各手領域画像を第１画像に重畳する。また、各手領域画像の中心位置が、前記ステップＳ４０５、ステップＳ４０７及びステップＳ４０９で特定された、集合領域の中心位置になるように、各手領域画像を第１画像に重畳させる。また、縮小率が特定されている場合には、各手領域画像を特定されている縮小率で縮小し、縮小後の各手領域画像を第１画像に重畳させる。上記のように、集合領域は基準顔及び第２画像を重畳させるべきでない顔領域と所定の面積以上重ならないので、集合領域を構成する各手領域画像もこれらと所定の面積以上重ならないことになる。このようにして、画像合成部３１０ｂは、第１画像に、第２画像（を構成する各手領域画像）を合成した複数の第３画像を生成する。
【０１１０】
次に画像合成部３１０ｂが第３画像を生成すると、画像送信部３１０ａは、生成した第３画像データを、内部記憶部３２０に記録された送信元アドレスデータ（第２の端末２００から送信された画像ＩＤを特定するデータに対応して記録されたデータ）が示す送信元（第１の端末１００）に送信する（ステップＳ２０７）。このとき、画像送信部３１０ａは、適宜、第３画像データとともに送信先アドレスデータを送信してもよい。これによって、第１の端末１００では第１ユーザが返信元を特定できる。画像合成部３１０ｂは、通信部３５０及びネットワーク９００を介して前記のデータを送信する。
【０１１１】
次に、画像受信部１１０ｃが前記の第３画像データを通信部１５０を介して受信すると（ステップＳ２０８）、表示制御部１１０ｂは、第３画像データを表示部１４０に供給し、第３画像データが表す第３画像を表示部１４０に表示する（ステップＳ２０９）。ここでは、第３画像は、複数あるので、時系列に沿って順次表示部１４０に表示される。このため、表示部１４０は、スライドショー又は動画のような構成で、第３画像が表示される。このため、第２ユーザの手の動きが再現され、表示部１４０に表示される画像は面白みのある画像になる。
【０１１２】
このようにして、第１画像の返信画像として、この第１画像に、第２ユーザのジェスチャーの画像（第２画像）が重畳された第３画像が、第１の端末１００に供給され、表示されることになる。
【０１１３】
図１９に上記画像送受信処理の第２処理の概要を示す。
【０１１４】
図１９のように、第２の端末２００の表示部１４０に第１画像（第１の端末１００から送信された画像）が表示されると、第２ユーザは例えば、第１画像に含まれる人物の顔をなでるようなジェスチャーを、表示部２４０の前方で行う。撮影部２７０は様子を撮像する。第２の端末は、撮影画像に基づいて、第２画像を生成し、サーバ３００に送信する。サーバ３００は、第２画像と第１画像とを合成し、合成した第３画像を生成して第１の端末１００に送信する。第１の端末１００は、受信した第３画像を表示部１４０に表示する。このとき、第２ユーザの手の画像の位置、大きさ等は、第１画像の被写体（顔）の大きさに応じて変更される。このため、（ａ）では、手５０（影絵）が縮小されている。また、（ｂ）では、手５０が縮小されていない。
【０１１５】
以上のような構成によって、ネットワーク９００経由で送られて来た写真（第１画像）へ返信する際、第２の端末２００の撮像部２７０で返信者（第２ユーザ）の手のジェスチャーを撮影し、それを動く影絵（第２画像）として第１画像へ重畳した第３画像を生成する。これにより、キーボードやマウス等の入力装置なしに、簡単に動きのあるリッチなコンテンツを生成し、手軽に楽しく返信することができる。これは、第１の端末１００等がデジタルフォトフレームであるときに特に言える。また、第３画像の生成に際しては、手と顔の画像認識を用いる。抽出した手の動きを、顔の位置・サイズを考慮し自動調整して重畳することで、ユーザが細かい位置・サイズ指定をすることなく、適切な配置の影絵が生成される。
【０１１６】
デジタルフォトフレーム等の画像表示機器は、高機能になってもデザイン等の要請からキーボード等のリッチな入力装置が備えられず、ネットワーク９００経由で写真を受け取っても、メッセージや動きのあるコンテンツで返信することが難しかった。本実施形態では、撮像２７０を用いて手を撮影し返信に使う影絵を生成する。影絵を重畳する位置やサイズを、顔認識情報を使うことで自動化したので、撮像部２７０以外に特別な入力装置なしで動きのあるリッチな返信コンテンツを生成することが出来る。また、手の動きは自由であるので、例えば定型メッセージやスタンプといった選択型の定型的な画像の返信方法に比べ、多くのバリエーションを持たせられる。また、撮像部２７０は、手の輪郭が認識できる程度の品質の画像が撮れれば良いので、ＱＲコード認識用などの低画素数の撮像素子を用いた撮像部２７０とも共用できる。
【０１１７】
また、上記では、撮影画像ではなく、手の領域を表す第２画像等をサーバに送る方式にしたため、第２の端末２００からサーバ３００へ送るデータ量が抑えられている。このため、第２の端末２００が低速で安価なネットワーク回線で上りが細い場合も、十分高速にデータを送信することができる。また、第１の端末１００内に第１画像がある場合、第２画像のみを送り、再生時に第１の端末１００で第３画像を生成するようにすれば、サーバ３００から第１の端末１００の下り方面のネットワーク負荷も低減することができる。
【０１１８】
本実施形態においては、サーバ３００（画像処理装置）は、上記構成によって、第１画像を取得（受信）する第１画像取得部（ここでは画像受信部３１０ａ）と、第２画像を取得し、取得した第２画像と、画像受信部３１０ａが取得した第１画像とを合成する画像合成部３１０ｂと、を備える。また、画像合成部３１０ｂは、第１画像において所定の基準を満たす第１領域（ここでは、顔の領域であって、基準顔の領域を含む領域）を検出し、検出した第１領域の近傍の領域に第２画像を重畳させ、第１画像と第２画像とを合成した第３画像を生成する。
【０１１９】
本実施形態においては、返信画像生成システム１は、上記構成によって、第１の端末１００が第２の端末２００に送信する第１画像に基づいて、第１画像に対する返信画像を生成する返信画像生成システム１であって、第１画像を表示した第２の端末２００の表示面前方を撮影した撮影画像を取得し、取得した撮影画像に基づいて、所定の像を抽出し、抽出した所定の像を表す第２画像を生成する画像生成部２１０ｂと、第１画像と画像生成部２１０ｂが生成した第２画像とを合成する画像合成部３１０ｂと、を備える。また、画像合成部３１０ｂは、第１画像において所定の基準を満たす第１領域を検出し、検出した第１領域の近傍の領域に第２画像を重畳させ、第１画像と第２画像とを合成した第３画像を生成する。
【０１２０】
上記のような構成によって、本実施形態では、所定の基準を満たす第１領域の近傍の領域に第２画像を重畳させるので、所定の画像を面白みのある画像に加工することができる。
【０１２１】
また、上記構成によって、画像合成部３１０ｂは、第２画像の大きさを第１領域の大きさに応じて調整して、第１領域の近傍の領域に前記第２画像を重畳させる。これによって、第２画像が前記の第１領域に対して大きすぎたり、小さすぎたりしても、適切な大きさで第２画像を重畳させることができるので、精度良く面白みのある画像を生成することができる。
【０１２２】
なお、上記では、第１画像は、人物の顔が写った画像であるが、他の画像であってもよく、上記では、第２画像は、人の手の像を表す画像であるが他の画像であっても良い。さらに、第１領域は、人物の顔を含む領域であるが、他の領域であってもよい。
【０１２３】
また、上記では、第２画像は複数の静止画像を含み、画像合成部３１０ｂは、第２画像に含まれる複数の静止画像それぞれを第１画像に重畳させた、複数の第３画像を生成する。これによって、動きのある第３画像が生成され、より面白みのある画像が生成される。
【０１２４】
画像合成部３１０ｂは、第２画像を第１領域に所定の面積以上重ならないように（全く重ならない場合も含む。）第１画像に重畳するので、第３画像では、第１領域と第２画像との関係が明確になり、より面白みのある画像が生成される。
【０１２５】
また、第１画像は、第１の端末１００がネットワーク３００を介して第２の端末２００に送信した送信画像であり、第３画像は、第１の端末１００によって表示される、送信画像に対する返信画像である。このように、上記では、返信画像についておもしろい画像を生成できる。
【０１２６】
なお、上記では、第３画像は、複数の静止画像からなるとしたが、一の第１画像に、各手領域画像を順次重畳させたような、所謂ダイナミックフォト等であってもよい。また、第３画像は、スライドショーのプレイリストのような形式であってもよい。このように、第３画像の形式は、一の画像であってもよく、どんなものであっても良い。
【０１２７】
また、第２画像は、一の静止画像からなるものであってもよい。この場合は、一の静止画像について上記の処理が行われる。第３画像も一の静止画像になる。
【０１２８】
また、第１の端末１００、第２の端末２００、及び、サーバ３００が有する各構成要素は、他の装置が備えても良い。例えば、サーバ３００が、画像生成部２１０ｂを備えてもよい。この場合、第２の端末２００は、撮影画像をそのままサーバ３００に送信し、サーバ３００の画像生成部が第３画像を生成する。同様にして、サーバ３００の画像合成部３１０ｂは、第２の端末２００が備えても良い。この場合には、第２の端末２００で、第３画像が生成され、サーバ３００を介して、第１の端末１００に第３画像が返信される。同様にして、第１の端末１００が画像生成部２１０ｂ及び画像合成部３１０ｂを備えても良く、この場合には、撮影画像が第１の端末１００に供給され、第１の端末１００は、第２画像及び第３画像を生成する。このようにして、各部は、どの装置が備えても良い。このため、構成によっては、上記の画像処理装置は、第１の端末１００、又は、第２の端末２００となることもある。また、上記の取得とは、記憶部から画像等を取得する、通信部を介して画像等を取得する等の他、画像等を生成することによって取得することも含む。
【０１２９】
なお、プログラムは、ＯＳ（Operation System）と協働してＣＰＵ１１１（ＣＰＵ２１１又はＣＰＵ３１１）に後述の画像送受信処理Ａ（Ｂ又はＣ）を行わせるものであってもよい。この場合、ＯＳもフラッシュメモリ１２１（フラッシュメモリ２２１又はハードディスク３２１）に記録される。また、プログラムは、持ち運び可能な記憶媒体（例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory））に記録され、第１の端末１００（第２の端末２００又はサーバ３００）に供給され、フラッシュメモリ１２１（フラッシュメモリ２２１又はハードディスク３２１）に記録されてもよい。また、プログラムは、ネットワーク９００を介して第１の端末１００（第２の端末２００又はサーバ３００）に供給され、フラッシュメモリ１２１（フラッシュメモリ２２１又はハードディスク３２１）に記録されてもよい。
【０１３０】
プログラムが記録された、フラッシュメモリ１２１（フラッシュメモリ２２１又はハードディスク３２１）等の記憶装置、又は、持ち運び可能な記憶媒体等は、プログラムを記憶した、コンピュータが読み取り可能な記憶媒体になる。プログラムは、機能の少なくとも一部が専用回路によって実現された装置（コンピュータ）を動作させるものであってもよい。つまり、第１の端末１００（第２の端末２００又はサーバ３００）は、全体として、後述の画像送受信処理Ａ（Ｂ又はＣ）を行うものであればよく、プログラムは、そのような第１の端末１００（第２の端末２００又はサーバ３００）を動作させるものであればよい。
【０１３１】
本実施形態では、第１画像に第２画像を重畳するが、そのまま重畳するだけでは、適切な第３画像にはならない。例えば、手と端末と撮像部とのサイズ・位置関係では手が大きく撮影され過ぎ、そのまま第２画像を重畳させると第１画像の大半が隠れてしまう。また、大画面ＴＶのような端末に、画面の前の全範囲をカバーできるカメラを載せたとすると、今度は手が小さくなり過ぎてしまう。
【０１３２】
そこで、第２画像の配置のルールとして、第２画像の配置のときに、第１画像における所定の顔を隠さない。また、顔が複数ある場合は、一番大きいものを基準顔とし、それと同程度の大きさの顔全てを隠さないように配置する。また、顔が大きい場合は、影絵の手も大きくする。
【０１３３】
第１画像に加える第２画像は、様々なものが考えられるが、本実施形態のような「受け取った画像への返信」というシチュエーションに限ると、ある程度種類が絞れる。これまで、(アナログ写真を含めて)アルバム等で贈られる画像は、一緒に行った旅行の写真、離れて暮らす孫のイベント写真など、人が写っているケースが多い。このため、返信に用いる画像は、大事な登場人物が背景の人物に比して大きく写っている写真を使う場合が圧倒的に多いと推定される。また、そのような場合、手は大事な登場人物を隠すような動きをすることはせず、かつ、なでる，指差す，手を振る，包み込む等、人をターゲットとした動きをするが多いとも推定される(面白ネタ写真を作るためにわざと人を隠すことはあっても、家族・友人・知人への写真のお礼で返信相手本人を隠すようなことはしづらい)。そこで、上記のルールによって、第２画像を第１画像に重畳することによって、写真の主要被写体の人物(顔が大きく写っている群)を避けた位置に、手の動きのターゲットである人物の顔に比例したサイズの手を重畳することができる。
【０１３４】
なお、図１７（ａ）のように、「拍手，両手を振る」の顔の大きい場合のように位置が大きくずれてしまう場合がある。しかし、上記のルールで上述したように、返信というシチュエーションでは大事な登場人物の顔を隠すようなジェスチャーは好まれないので、このようなケースはほとんど発生しないと思われる。また、ユーザが誤って顔を大きく隠すようなジェスチャーをしてしまった場合の為にも、このようにずらした方が望ましい。
【符号の説明】
【０１３５】
１・・・返信画像生成システム、１００・・・第１の端末、１１０・・・制御部、１１０ａ・・・画像送信部、１１０ｂ・・・表示制御部、１１０ｃ・・・画像受信部、１１１・・・ＣＰＵ、１１２・・・ＲＡＭ、１２０・・・内部記憶部、１２１・・・フラッシュメモリ、１３０・・・操作部、１４０・・・表示部、１５０・・・通信部、１６０・・・Ｉ／Ｆ部、記憶媒体・・・１９０、２００・・・第２の端末、２１０・・・制御部、２１０ａ・・・画像送信部、１１０ｂ・・・画像生成部、１１０ｃ・・・画像受信部、１１０ｄ・・・表示制御部、１１０ｅ・・・撮影制御部、２１１・・・ＣＰＵ、２１２・・・ＲＡＭ、２２０・・・内部記憶部、２２１・・・フラッシュメモリ、２３０・・・操作部、２４０・・・表示部、２５０・・・通信部、２６０・・・Ｉ／Ｆ部、２７０・・・撮影部、記憶媒体・・・２９０、３００・・・サーバ、３１０・・・制御部、３１０ａ・・・画像送信部、３１０ｂ・・・画像合成部、３１０ｃ・・・画像受信部、３１１・・・ＣＰＵ、３１２・・・ＲＡＭ、３２０・・・内部記憶部、３２１・・・ハードディスク、３３０・・・操作部、３４０・・・表示部、３５０・・・通信部、９００・・・サーバ
【図１】
0005447134.tif 000002
【図２】
0005447134.tif 000003
【図３】
0005447134.tif 000004
【図４】
0005447134.tif 000005
【図５】
0005447134.tif 000006
【図６】
0005447134.tif 000007
【図７】
0005447134.tif 000008
【図８】
0005447134.tif 000009
【図９】
0005447134.tif 000010
【図１０】
0005447134.tif 000011
【図１１】
0005447134.tif 000012
【図１２】
0005447134.tif 000013
【図１３】
0005447134.tif 000014
【図１４】
0005447134.tif 000015
【図１５】
0005447134.tif 000016
【図１６】
0005447134.tif 000017
【図１７】
0005447134.tif 000018
【図１８】
0005447134.tif 000019
【図１９】
0005447134.tif 000020