(57)【要約】【課題】ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システムを提供すること。【解決手段】この携帯電話機１０は、被写体の顔の画像を取得する画像取得部１０１と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成部１０２と、当該生成した第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する第二生成部１０５と、当該生成したキャラクタ画像を携帯電話機３０に送信する送信部１０８と、を含む。【選択図】  図１
2004236186.tif 000002
【特許請求の範囲】
【請求項１】
被写体の顔の画像を取得する画像取得手段と、
当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成手段と、
当該生成した第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、
当該生成した第二画像情報を所定の通信端末に送信する送信手段と、
を含む顔情報送信システム。
【請求項２】
前記被写体が発する音声を取得する音声取得手段と、
前記第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、を更に含み、
前記第二生成手段は、前記画像判断手段の判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する、請求項１に記載の顔情報送信システム。
【請求項３】
前記音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、
当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、
前記第二生成手段は、前記音素判断手段の判断の結果、前記音素が所定の条件を満たしている場合には少なくとも前記音素に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記音素が所定の条件を満たしていない場合には前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する、請求項２に記載の顔情報送信システム。
【請求項４】
前記第二生成手段は、前記第一画像情報及び前記音素がそれぞれ所定の条件を満たさず前記音声も取得できない場合には、予め定められた画像情報を前記第二画像情報とする、請求項３に記載の顔情報送信システム。
【請求項５】
前記第一画像情報は、前記特徴点の前記被写体の顔における分布状況を特定する情報を含む、請求項１又は２に記載の顔情報送信システム。
【請求項６】
前記画像取得手段は、前記顔の画像を時系列に沿って取得し、
前記第一生成手段は、当該取得した画像に基づいて時系列に沿った前記特徴点の位置の変位を含む前記第一画像情報を生成する、請求項１又は２に記載の顔情報送信システム。
【請求項７】
前記第一画像情報は、前記特徴点の前記被写体の顔に対する相対的な移動状況を特定する情報を含む、請求項６に記載の顔情報送信システム。
【請求項８】
画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、
第一生成手段が、当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成ステップと、
第二生成手段が、当該生成した第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、
送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、
を含む顔情報送信方法。
【請求項９】
コンピュータを、
被写体の顔の画像を取得する画像取得手段と、
当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成手段と、
当該生成した第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、
当該生成した第二画像情報を所定の通信端末に送信する送信手段と、
して機能させるための顔情報送信プログラム。
【請求項１０】
請求項９に記載の顔情報送信プログラムが記録されたことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体に関するものである。
【０００２】
【従来の技術】
電子メールの普及に伴って、単に文章情報だけではなく各種の画像情報を送信する場合が増えている。その画像情報を送信する際の一態様として、ユーザ（被写体）の顔の画像を取得して、その顔の画像を指定された表情に応じた画像に変換する技術がある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１０−１４９４３３号公報
【０００４】
【発明が解決しようとする課題】
ところで、ユーザの中には自己の顔の画像をそのまま送信することにはためらいがあるものの、自己の感情や意思といった要素を反映させたキャラクタ画像を送信したいという要望がある。従来の技術では、被写体の顔の画像を指定された表情に応じた画像に変換することはできても、ユーザの表情に基づいて感情や意思といった要素を反映させた画像を生成することはできないという課題がある。
【０００５】
そこで本発明では、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明の顔情報送信システムは、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、を含む。
【０００７】
本発明の顔情報送信方法は、画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、第一生成手段が、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成ステップと、第二生成手段が、当該生成した第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、を含む。
【０００８】
本発明の顔情報送信プログラムは、コンピュータを、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、して機能させる。
【０００９】
本発明の顔情報送信システムおよび顔情報送信方法によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映されている可能性の高い画像として第二画像情報を生成して所定の通信端末に送信できる。また、コンピュータを用いて本発明の顔情報送信プログラムを実行しても同様である。
【００１０】
また本発明の顔情報送信システムにおいては、被写体が発する音声を取得する音声取得手段と、第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、を更に含み、第二生成手段は、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。第一画像情報が所定の条件を満たしていない場合に、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成できる。
【００１１】
また本発明の顔情報送信システムにおいては、音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、第二生成手段は、音素判断手段の判断の結果、音素が所定の条件を満たしている場合には少なくとも音素に基づいて被写体の顔の表情に応じた第二画像情報を生成し、音素が所定の条件を満たしていない場合には第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。音素が所定の条件を満たしていない場合に、第一画像情報及び／又は音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、音素が何らかの理由で特定できなかったとしても第二画像情報を生成できる。
【００１２】
また本発明の顔情報送信システムにおいては、第二生成手段は、第一画像情報及び音素がそれぞれ所定の条件を満たさず音声も取得できない場合には、予め定められた画像情報を第二画像情報とすることも好ましい。条件によっては音声も取得できない場面も想定できるが、そのような場合であっても予め定められた画像情報を用いれば第二画像情報が生成できる。
【００１３】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報を含むことも好ましい。特徴点の顔における分布状況が特定されれば、特徴点相互の相対的な位置関係が把握できるのでより適切に第二画像情報を生成できる。
【００１４】
また本発明の顔情報送信システムにおいては、画像取得手段は、顔の画像を時系列に沿って取得し、第一生成手段は、当該取得した画像に基づいて時系列に沿った特徴点の位置の変位を含む第一画像情報を生成することも好ましい。時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成すれば、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じた第二画像情報を生成できる。
【００１５】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むことも好ましい。特徴点の顔に対する相対的な移動状況を時系列に沿って特定できるので、被写体の顔の表情の変化をより的確に把握できる。
【００１６】
本発明のコンピュータ読取可能な記録媒体は、上記顔情報送信プログラムが記録されている。コンピュータを用いて、本発明の記録媒体に記録された顔情報送信プログラムを実行すると、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。
【００１７】
【発明の実施の形態】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１８】
本発明の実施形態である携帯電話機（顔情報送信システム）について図１を用いて説明する。図１は携帯電話機１０を説明するための図である。携帯電話機１０は、ネットワーク２０を介して他の携帯電話機（通信端末）３０と相互に情報通信が可能なように構成されている。
【００１９】
引き続いて携帯電話機１０について説明する。携帯電話機１０は、物理的には、ＣＰＵ（中央処理装置）、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能な携帯電話機として構成されている。
【００２０】
携帯電話機１０は、機能的な構成要素として、画像取得部（画像取得手段）１０１と、第一生成部（第一生成手段）１０２と、音声取得部（音声取得手段）１０３と、音素特定部（音素特定手段）１０４と、画像判断部（画像判断手段）１０５と、割込み入力部１０６と、第二生成部（第二生成手段）１０７と、送信部（送信手段）１０８と、音素判断部（音素判断手段）１０９と、キャラクタ情報格納部１１０と、を含む。引き続いて、各構成要素について詳細に説明する。
【００２１】
画像取得部１０１は、被写体としての携帯電話機１０のユーザの顔の画像を取得する部分である。画像取得部１０１が取得する顔の画像は瞬間的なもの（静止画）であっても、時系列に沿ったもの（動画）であってもよい。画像取得部１０１は取得した画像を第一生成部１０２に出力する。
【００２２】
第一生成部１０２は、画像取得部１０１が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する。より具体的には、図２（ａ）に示すように第一生成部１０２は、画像取得部１０１が出力した画像４０に含まれる被写体の顔画像４０３に対して、目及び眉毛を特定する特徴点４０１、口及び鼻を特定する特徴点４０２を特定し、顔画像４０３及び特徴点４０１、４０２を静止画の第一画像情報として生成する。また、画像取得部１０１が出力した画像が動画である場合には、図２（ａ）に示した画像４０と所定時間経過した画像４０ａとを受け取ることとなる。画像４０ａは図２（ｂ）に示すように、所定時間経過中に動いた顔画像４０３ａを含み、その顔画像４０３ａに対して特徴点４０１ａ、４０２ａが特定される。従って動画の場合の第一画像情報は、顔画像４０３及び特徴点４０１、４０２と、顔画像４０３ａ及び特徴点４０１ａ、４０２ａを含む。第一生成部１０２は、生成した第一画像情報を画像判断部１０５に出力する。
【００２３】
画像判断部１０５は、第一生成部１０２が出力した第一画像情報が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機１０を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機１０のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、第一画像情報に含まれる特徴点のうち過半数を取得できないことや、顔画像に対する特徴点の分布が大きく外れていることが条件として設定される。画像判断部１０５は、第一画像情報が所定の条件を満たすかどうかの判断結果と、第一画像情報とを第二生成部１０７に出力する。
【００２４】
音声取得部１０３は、被写体としての携帯電話機１０のユーザが発する音声を取得する部分である。音声取得部１０３は、取得した音声を音素特定部１０４に出力する。
【００２５】
音素特定部１０４は、音声取得部１０３が取得して出力した音声に対応する音素を特定する部分である。音素とは意味の相違をもたらす最小の音の単位である。例えば、出力された音声が「こんにちは」であれば、音素としては「こ」「ん」「に」「ち」「は」を特定する。音素特定部１０４は、音声及び特定した音素を音素判断部１０９に出力する。
【００２６】
音素判断部１０９は、音素特定部１０４が出力した音素が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機１０を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機１０のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、音素が特定できないことなどが条件として設定される。音素判断部１０９は、音素が所定の条件を満たすかどうかの判断結果と音声とを第二生成部１０７に出力する。
【００２７】
割込み入力部１０６は、携帯電話機１０のユーザが入力する割込み指示を受け付けて、その割込み指示を第二生成部１０７に出力する部分である。より具体的には、「笑う」「泣く」「驚く」といった表情に関する指示に割り当てられたボタンをユーザが押下することで対応する指示が入力されて第二生成部１０７に出力される。
【００２８】
第二生成部１０７は、第一生成部１０２が生成した第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像（第二画像情報）を生成する部分である。第二生成部１０７はまた、画像判断部１０５の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくともその第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成し、第一画像情報が所定の条件を満たしていない場合であって音素特定部１０４が特定した音素が所定の条件を満たしていればその音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する。
【００２９】
第二生成部１０７は、第一画像情報も音素もそれぞれ所定の条件を満たしている場合には、第一画像情報及び音素に基づいてキャラクタ画像を生成する。例えば、第一画像情報では顔の傾きしか取得できない場合であって、音素が特定できている場合には互いに補完してキャラクタ画像を生成する。第二生成部１０７は、第一画像情報及び音素がそれぞれ所定の条件を満たしていない場合には音声の有無に基づいてキャラクタ画像を生成する。例えば、音声が所定の閾値を超えている場合にはユーザが声を発しているものとして、しゃべっているキャラクタ画像を生成する。更に、第一画像情報及び音素がそれぞれ所定の条件を満たしておらず、音声も取得できていない場合には予め格納されている画像情報をキャラクタ画像として用いるようにしても良い。
【００３０】
第二生成部１０７が第一画像情報に基づいてキャラクタ画像を生成する場合、例えば図２（ａ）に示す顔画像４０３及び特徴点４０１、４０２に基づく場合には、顔画像４０３に対する特徴点４０１、４０２の相対的な位置を分布状況として特定する。第二生成部１０７はその分布状況に基づいて、図３（ａ）に示すようにキャラクタ顔画像５０３に対する特徴点５０１、５０２の相対的な位置を決めて静止画のキャラクタ画像５０を生成する。また、第一画像情報が動画に対応する場合、すなわち図２（ａ）に示す顔画像４０３及び特徴点４０１、４０２と、図２（ｂ）に示す所定時間経過後の顔画像４０３ａ及び特徴点４０１ａ、４０２ａとに基づく場合には、図３（ａ）に示すキャラクタ画像５０に加えて、図３（ｂ）に示すキャラクタ顔画像５０３ａ及び特徴点５０１ａ、５０２ａに基づくキャラクタ画像５０ａを生成する。
【００３１】
第二生成部１０７が音素に基づいてキャラクタ画像を生成する場合には、キャラクタ情報格納部１１０に格納されている情報を利用する。キャラクタ情報格納部１１０に画されている情報の例を図４に示す。図４に示す例に拠れば、キャラクタ情報格納部１１０には、「音素」「特徴点データ」「キャラクタ画像」が関連付けられて格納されている。第二生成部１０７は、各「音素」に対応する「特徴点データ」「キャラクタ画像」を抽出して静止画若しくは動画としてのキャラクタ画像を生成する。尚、図４に示す例では、口元周辺の画像を表示しているけれども、顔全体の画像を対応させてもよい。また、「キャラクタ画像」としてユーザの癖を織り込んだ画像を格納するようにしても良い。
【００３２】
第二生成部１０７は、割込み入力部１０６から割込み指示が出力された場合には、その割込み指示に応じてキャラクタ画像を改変する。例えば、「笑う」という割込み指示が出力された場合には、生成したキャラクタ画像を笑っている表情になるように改変する。第二生成部１０７は、生成し若しくは改変を加えたキャラクタ画像を送信部１０８に出力する。
【００３３】
送信部１０８は、第二生成部１０７が生成したキャラクタ画像を携帯電話機３０に送信する。
【００３４】
引き続いて、携帯電話機１０を用いてキャラクタ画像の送信を行う方法について、図５及び図６に示すフローチャートを用いて説明する。図５及び図６に示されるフローチャートは一連のものである。ユーザがキャラクタ画像を作成して送信する指示を携帯電話機１０に入力する（ステップＳ０１）。この指示の入力に応じて、引き続いて説明するステップＳ０２、Ｓ０３及びステップＳ０４、Ｓ０５の動作が平行して行われる。
【００３５】
画像取得部１０１が、被写体としての携帯電話機１０のユーザの顔の画像を取得する（ステップＳ０２）。画像取得部１０１は取得した画像を第一生成部１０３に出力する。第一生成部１０２が、画像取得部１０１が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する（ステップＳ０３）。第一生成部１０２は、生成した第一画像情報を画像判断部１０５に出力する。
【００３６】
音声取得部１０３が、被写体としての携帯電話機１０のユーザが発する音声を取得する部分である。（ステップＳ０４）。音声取得部１０３は、取得した音声を音素特定部１０４に出力する。音素特定部１０４が、音声取得部１０３が取得して出力した音声に対応する音素を特定する（ステップＳ０５）。音素特定部１０４は、音声及び特定した音素を音素判断部１０９に出力する。
【００３７】
画像判断部１０５が、第一生成部１０２が出力した第一画像情報が所定の条件を満たすかどうかを判断する（ステップＳ０６）。画像判断部１０５は、第一画像情報が所定の条件を満たすかどうかの判断結果と第一画像情報とを第二生成部１０７に出力する。
【００３８】
音素判断部１０９が、音素特定部１０４が出力した音素が所定の条件を満たすかどうかを判断する（ステップＳ０７、Ｓ０８）。また、音素判断部１０９は、音素特定部１０４が出力した音声が所定の閾値を超えて実質的に音声がある状態かどうかを判断する（ステップＳ０９）。音素判断部１０９は、音素が所定の条件を満たすかどうかの判断結果と、音声が所定の閾値を超えているかどうかの判断結果と、音声及び音素とを第二生成部１０７に出力する。
【００３９】
第一画像情報が所定の条件を満たしており、音素も所定の条件を満たしている場合（ステップＳ０６からステップＳ０７）には、第二生成部１０７は第一画像情報と音素とに基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１０）。
【００４０】
第一画像情報が所定の条件を満たしており、音素は所定の条件を満たしていない場合（ステップＳ０６からステップＳ０７）には、第二生成部１０７は第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１１）。
【００４１】
第一画像情報が所定の条件を満たしておらず、音素は所定の条件を満たしている場合（ステップＳ０６からステップＳ０８）には、第二生成部１０７は音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１２）。
【００４２】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えている場合（ステップＳ０６、ステップＳ０８からステップＳ０９）には、第二生成部１０７は音声に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１３）。
【００４３】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えていない場合（ステップＳ０６、ステップＳ０８からステップＳ０９）には、第二生成部１０７は予め格納されているデフォルト情報に基づいてキャラクタ画像を生成する（ステップＳ１４）。
【００４４】
第二生成部１０７は、割込み入力部１０６から割込み指示が出力されたかどうかを判断する（ステップＳ１５）。第二生成部１０７は、割込み指示が出力されている場合には、その割込み指示に応じてキャラクタ画像を改変する（ステップＳ１６）。第二生成部１０７は、生成し若しくは改変を加えたキャラクタ画像を送信部１０８に出力する。送信部１０８が、第二生成部１０７が生成したキャラクタ画像を携帯電話機３０に送信する（ステップＳ１７）。
【００４５】
引き続いて、ＣＰＵ（中央処理装置）、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能なコンピュータを、本実施形態の携帯電話機１０として機能させるための顔情報送信プログラム９２及びそれが記録されているコンピュータ読取可能な記録媒体９について説明する。図７は、顔情報送信プログラム９２が記録されている記録媒体９の構成を示した図である。記録媒体９としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されたメモリなどが該当する。
【００４６】
記録媒体９は、図７に示すように、プログラムを記録するプログラム領域９１と、データを記録するデータ領域９３とを備えている。データ領域９３には、図１を用いて説明したキャラクタ情報格納部１１０と同様のキャラクタ情報データベース９３１が格納されている。
【００４７】
プログラム領域９１には、顔情報送信プログラム９２が記録されている。顔情報送信プログラム９２は、処理を統括するメインモジュール９２１と、画像取得モジュール９２２と、第一生成モジュール９２３と、音声取得モジュール９２４と、音素特定モジュール９２５と、画像判断モジュール９２６と、割込み入力モジュール９２７と、第二生成モジュール９２８と、送信モジュール９２９と、音素判断モジュール９３０とを備える。ここで、画像取得モジュール９２２、第一生成モジュール９２３、音声取得モジュール９２４、音素特定モジュール９２５、画像判断モジュール９２６、割込み入力モジュール９２７、第二生成モジュール９２８、送信モジュール９２９、音素判断モジュール９３０のそれぞれを動作させることによって実現する機能は、上記携帯電話機１０の画像取得部１０１、第一生成部１０２、音声取得部１０３、音素特定部１０４、画像判断部１０５、割込み入力部１０６、第二生成部１０７、送信部１０８、音素判断部１０９のそれぞれの機能と同様である。
【００４８】
本実施形態においては、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じたキャラクタ画像を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像としてキャラクタ画像を生成して携帯電話機３０に送信できる。
【００４９】
また本実施形態においては、第一画像情報が所定の条件を満たしていない場合に、音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしてもキャラクタ画像を生成できる。
【００５０】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報も含むので、特徴点相互の相対的な位置関係が把握でき、より適切にキャラクタ画像を生成できる。
【００５１】
また本実施形態においては、時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成するので、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じたキャラクタ画像を生成できる。
【００５２】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むので、特徴点の顔に対する相対的な移動状況を時系列に沿って特定でき、被写体の顔の表情の変化をより的確に把握できる。
【００５３】
【発明の効果】
本発明によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。従って本発明の目的とする、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することができた。
【図面の簡単な説明】
【図１】本発明の実施形態である顔情報送信システムを説明するための図である。
【図２】本発明の実施形態である顔情報送信システムが取得する顔画像の例を示す図である。
【図３】本発明の実施形態である顔情報送信システムが生成するキャラクタ画像の例を示す図である。
【図４】図１のキャラクタ情報格納部に格納されている情報の例を示す図である。
【図５】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図６】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図７】本発明の実施形態である顔情報送信プログラムを説明するための図である。
【符号の説明】
１０…携帯電話機、１０１…画像取得部、１０２…第一生成部、１０３…音声取得部、１０４…音素特定部、１０５…画像判断部、１０６…割込み入力部、１０７…第二生成部、１０８…送信部、１０９…音素判断部、１１０…キャラクタ情報格納部、２０…ネットワーク、３０…携帯電話機。
【図１】
2004236186.tif 000003
【図２】
2004236186.tif 000004
【図３】
2004236186.tif 000005
【図４】
2004236186.tif 000006
【図５】
2004236186.tif 000007
【図６】
2004236186.tif 000008
【図７】
2004236186.tif 000009