(57)【要約】【課題】記憶された画像が後に表示される際に、その画像中の人物のプロフィール情報を容易に参照できるようにする。【解決手段】通信端末装置は、画像データを記憶する画像データベース１６３と、画像中の人物を特定するための人物特定データに対応させて、その人物のプロフィール情報を記憶するプロフィール情報データベース１６２と、プロフィール情報データベース１６２を参照して、画像中の人物を特定する顔認識照合部１１１と、特定された人物のプロフィール情報を画像データに付加するプロフィール情報付加部１１３とを備える。【選択図】図１
2013164745.tif 000002
【特許請求の範囲】
【請求項１】
撮影部と、
上記撮影部で撮影された撮影画像の画像データを記憶する撮影画像データベースと、
撮影画像に基づいて、その撮影画像に含まれる人物を特定するための人物特定データに対応させて、その人物に関連するプロフィール情報を記憶するプロフィール情報データベースと、
上記プロフィール情報データベースを参照して、上記撮影画像に含まれる人物を特定する人物特定部と、
特定された人物のプロフィール情報を上記撮影画像の画像データに付加するプロフィール情報付加部と、
を備えたことを特徴とする通信端末装置。
【請求項２】
請求項１の通信端末装置であって、
上記人物特定データは、人物の顔の画像のデータ、および人物の顔の画像から抽出された、その人物の顔の特徴を示す顔情報の少なくとも一方を含み、
上記人物特定部は、上記人物特定データに含まれる人物の顔の画像のデータから抽出された顔情報、および上記人物特定データに含まれる顔情報の少なくとも一方と、上記撮影画像から抽出された顔情報とを照合して、上記撮影画像に含まれる人物を特定するように構成されていることを特徴とする通信端末装置。
【請求項３】
請求項１および請求項２のうち何れか１項の通信端末装置であって、
上記プロフィール情報付加部は、プロフィール情報データベースに、人物特定データに対応するプロフィール情報が複数記憶されている場合に、そのうちのユーザによって選択されたプロフィール情報を上記撮影画像の画像データに付加するように構成されていることを特徴とする通信端末装置。
【請求項４】
請求項１から請求項３のうち何れか１項の通信端末装置であって、さらに、
上記撮影画像データベースに記憶された撮影画像を表示部に表示させる表示制御部を備え、
上記表示制御部は、上記撮影画像の表示に併せて、上記撮影画像に含まれる人物に対応するプロフィール情報に基づく表示を行うように構成されていることを特徴とする通信端末装置。
【請求項５】
請求項４の通信端末装置であって、
上記表示制御部は、上記プロフィール情報の内容に応じた画像の表示を行うように構成されていることを特徴とする通信端末装置。
【請求項６】
請求項４および請求項５のうち何れか１項の通信端末装置であって、
上記表示制御部は、上記撮影画像に複数の人物が含まれる場合に、ユーザによって選択された人物に対応するプロフィール情報に基づく表示を行うように構成されていることを特徴とする通信端末装置。
【請求項７】
請求項１から請求項６のうち何れか１項の通信端末装置であって、さらに、
上記プロフィール情報データベースに記憶されているプロフィール情報が、上記撮影画像の画像データに付加された後に変更されている場合に、上記撮影画像の画像データに付加されているプロフィール情報を更新するプロフィール情報更新部を備えたことを特徴とする通信端末装置。
【請求項８】
請求項７の通信端末装置であって、
上記プロフィール情報更新部は、更新前のプロフィール情報が上記撮影画像の画像データから削除されずに付加された状態を維持し、
更新前後のプロフィール情報が履歴として表示され得るように構成されていることを特徴とする通信端末装置。
【請求項９】
請求項１から請求項８のうち何れか１項の通信端末装置であって、さらに、
上記プロフィール情報が付加された上記撮影画像の画像データを他の装置に送信する通信部を備えたことを特徴とする通信端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の撮影、記憶機能等を有する通信端末装置に関するものである。
【背景技術】
【０００２】
従来の通信端末装置として、撮影などによって取得した画像データを容易に記憶管理できるようにするため、画像に写った人物を顔認識処理によって特定し、その人物に関連した属性のファイル名およびフォルダ名によって画像データを記憶させる技術が知られている（例えば、特許文献１参照）。
【０００３】
また、通信端末装置に記憶されたアドレス帳の情報を簡単に活用できるようにするため、撮影された画像の顔認識処理によって人物を特定し、その人物のアドレス情報を表示する技術も知られている（例えば、特許文献２参照）。
【０００４】
さらに、放送番組等のコンテンツをユーザに推薦する情報処理装置において、撮影された画像の顔認識処理を用いてユーザを特定し、複数のユーザの嗜好の情報をユーザごとに蓄積し、各ユーザの嗜好に合うコンテンツを推薦する技術も知られている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２２４９０１号公報
【特許文献２】特開２００９−１０５６５２号公報
【特許文献３】特開２００６−３２４８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されたような技術では、画像に写った人物に関連した属性のファイル名等によって画像データが記憶されたとしても、その画像が後に表示される際に、ファイル名等以外に関して、その人物に関連した属性を表示させたりして参照することはできない。
【０００７】
また、特許文献２、３に記載されたような技術では、撮影された画像の顔認識処理はなされるが、その撮影された画像自体は記憶されないので、その画像を後に表示させることはできず、その人物に関連した属性を表示させたりすることもできない。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、その目的は、撮影され、記憶された画像が後に表示される際に、その撮影画像に含まれる人物に関連するプロフィール情報を容易に表示させ得るようにすることにある。
【課題を解決するための手段】
【０００９】
第１の発明は、
撮影部と、
上記撮影部で撮影された撮影画像の画像データを記憶する撮影画像データベースと、
撮影画像に基づいて、その撮影画像に含まれる人物を特定するための人物特定データに対応させて、その人物に関連するプロフィール情報を記憶するプロフィール情報データベースと、
上記プロフィール情報データベースを参照して、上記撮影画像に含まれる人物を特定する人物特定部と、
特定された人物のプロフィール情報を上記撮影画像の画像データに付加するプロフィール情報付加部と、
を備えたことを特徴とする。
【００１０】
これにより、撮影画像の画像データは、プロフィール情報が付加されて保存されるので、その撮影画像が後に参照される際に、その撮影画像に含まれる人物に関連するプロフィール情報も容易に参照することができる。それゆえ、例えば撮影時の状況や写っている人物について思い出したりすることなどが容易にできる。
【００１１】
第２の発明は、
第１の発明の通信端末装置であって、
上記人物特定データは、人物の顔の画像のデータ、および人物の顔の画像から抽出された、その人物の顔の特徴を示す顔情報の少なくとも一方を含み、
上記人物特定部は、上記人物特定データに含まれる人物の顔の画像のデータから抽出された顔情報、および上記人物特定データに含まれる顔情報の少なくとも一方と、上記撮影画像から抽出された顔情報とを照合して、上記撮影画像に含まれる人物を特定するように構成されていることを特徴とする。
【００１２】
これにより、撮影画像、および人物特定データに基づいて顔情報を照合することにより、撮影画像に含まれる人物を特定することが容易にできる。
【００１３】
第３の発明は、
第１の発明および第２の発明のうち何れか１つの通信端末装置であって、
上記プロフィール情報付加部は、プロフィール情報データベースに、人物特定データに対応するプロフィール情報が複数記憶されている場合に、そのうちのユーザによって選択されたプロフィール情報を上記撮影画像の画像データに付加するように構成されていることを特徴とする。
【００１４】
これにより、プロフィール情報データベースに記憶されている複数のプロフィール情報のうち、ユーザが所望するものだけを選択的に撮影画像の画像データに付加することができる。
【００１５】
第４の発明は、
第１の発明から第３の発明のうち何れか１つの通信端末装置であって、さらに、
上記撮影画像データベースに記憶された撮影画像を表示部に表示させる表示制御部を備え、
上記表示制御部は、上記撮影画像の表示に併せて、上記撮影画像に含まれる人物に対応するプロフィール情報に基づく表示を行うように構成されていることを特徴とする。
【００１６】
これにより、撮影画像が後に表示される際に、その撮影画像に含まれる人物に関連するプロフィール情報の内容も併せて表示させることが容易にできる。
【００１７】
第５の発明は、
第４の発明の通信端末装置であって、
上記表示制御部は、上記プロフィール情報の内容に応じた画像の表示を行うように構成されていることを特徴とする。
【００１８】
これにより、プロフィール情報の内容を視覚的に捉え、認識することが容易にできる。
【００１９】
第６の発明は、
第４の発明および第５の発明のうち何れか１つの通信端末装置であって、
上記表示制御部は、上記撮影画像に複数の人物が含まれる場合に、ユーザによって選択された人物に対応するプロフィール情報に基づく表示を行うように構成されていることを特徴とする。
【００２０】
これにより、撮影画像に複数の人物が写っている場合でも、ユーザが所望する各人物についてのプロフィール情報の内容を表示させることが容易にできる。
【００２１】
第７の発明は、
第１の発明から第６の発明のうち何れか１つの通信端末装置であって、さらに、
上記プロフィール情報データベースに記憶されているプロフィール情報が、上記撮影画像の画像データに付加された後に変更されている場合に、上記撮影画像の画像データに付加されているプロフィール情報を更新するプロフィール情報更新部を備えたことを特徴とする。
【００２２】
これにより、プロフィール情報データベースに記憶されているプロフィール情報の更新を画像データに付加されているプロフィール情報に反映させることが容易にできる。
【００２３】
第８の発明は、
第７の発明の通信端末装置であって、
上記プロフィール情報更新部は、更新前のプロフィール情報が上記撮影画像の画像データから削除されずに付加された状態を維持し、
更新前後のプロフィール情報が履歴として表示され得るように構成されていることを特徴とする。
【００２４】
これにより、更新前後のプロフィール情報を表示させて確認することが容易にできる。
【００２５】
第９の発明は、
第１の発明から第８の発明のうち何れか１つの通信端末装置であって、さらに、
上記プロフィール情報が付加された上記撮影画像の画像データを他の装置に送信する通信部を備えたことを特徴とする。
【００２６】
これにより、画像データにプロフィール情報が付加されているので、他の装置においても、送信元の装置のプロフィール情報データベースを参照することなく、撮影画像に含まれる人物に関連するプロフィール情報を参照することができる。
【発明の効果】
【００２７】
本発明では、撮影され、記憶された画像が後に表示される際に、その撮影画像に含まれる人物に関連するプロフィール情報を容易に表示させ得るようにすることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態の通信端末装置１００の構成を示すブロック図である。
【図２】通信端末装置１００の撮影画像記録動作を示すフローチャートである。
【図３】撮影画像の例を示す説明図である。
【図４】顔情報、およびプロフィール情報の例を示す説明図である。
【図５】付加するプロフィール情報の選択画面の表示例を示す説明図である。
【図６】プロフィール情報が付加された画像データの例を示す説明図である。
【図７】通信端末装置１００の撮影画像表示動作を示すフローチャートである。
【図８】記憶画像の一覧表示の例を示す説明図である。
【図９】記憶画像およびプロフィール情報の表示例を示す説明図である。
【図１０】プロフィール情報の更新の例を示す説明図である。
【図１１】更新されたプロフィール情報の表示例を示す説明図である。
【図１２】プロフィール情報の更新履歴の表示例を示す説明図である。
【図１３】他の機器に送信される画像データの例を示す説明図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００３０】
（通信端末装置１００の構成）
通信端末装置１００には、図１に示すように、制御部１１０と、入力部１２０と、撮影部１３０と、通信部１４０と、表示部１５０と、記憶部１６０とが設けられている。
【００３１】
制御部１１０は、以下の各部を制御するものである。
【００３２】
入力部１２０は、例えばタッチパネルやハードキーなど、通信端末装置１００を動作させるための入力操作を行うものである。
【００３３】
撮影部１３０は、例えばカメラなど、画像を撮影して画像データを生成するものである。また、画像認識する機能を有したりしてもよい。
【００３４】
通信部１４０は、例えばいわゆるｉＣ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信、電話回線網を利用した通信等の有線または無線通信により外部と通信するためのものである。
【００３５】
表示部１５０は、例えば液晶ディスプレイなど、制御部１１０の制御により種々の情報を表示するものである。
【００３６】
記憶部１６０は、例えばメモリなど、制御部１１０の制御に用いられる各種の情報を記憶するものである。
【００３７】
上記記憶部１６０は、具体的には、例えば顔情報データベース１６１と、プロフィール情報データベース１６２と、画像データベース１６３と、プロフィール補助情報データベース１６４とを備えて構成されている。
【００３８】
顔情報データベース１６１は、アドレス帳に登録されている人物の顔情報、すなわち、その人物の顔の画像から抽出された顔の特徴を示す情報が格納されたデータベースである。
【００３９】
プロフィール情報データベース１６２は、アドレス帳に登録されている人物に関連するプロフィール情報、具体的には、例えば、氏名、電話番号、ニックネーム、趣味、出身地、出身校などの情報が格納されたデータベースである。上記顔情報データベース１６１と、プロフィール情報データベース１６２とが、例えば電話帳（アドレス帳）として用いられる。
【００４０】
画像データベース１６３は、端末内にある画像が格納されたデータベースである。
【００４１】
プロフィール補助情報データベース１６４は、例えば趣味などのあらかじめ想定されるプロフィール情報について、その内容に応じた画像のデータである補助情報が格納されたデータベースである。
【００４２】
また、上記制御部１１０は、具体的には、例えば顔認識照合部１１１と、プロフィール情報引用部１１２と、プロフィール情報付加部１１３と、情報更新部１１４と、更新履歴表示部１１５と、プロフィール補助情報表示部１１６と、情報更新照合部１１７等とを備えて構成されている。
【００４３】
顔認識照合部１１１は、撮影部１３０によって撮影された撮影画像から抽出された顔情報と、顔情報データベース１６１を参照して得られる顔情報とを照合して、撮影されている人物を特定するものである。
【００４４】
プロフィール情報引用部１１２は、上記特定された人物に関連するプロフィール情報をプロフィール情報データベース１６２から引用するものである。
【００４５】
プロフィール情報付加部１１３は、プロフィール情報引用部１１２によって取得されたプロフィール情報を上記撮影画像の画像データに付加するものである。
【００４６】
情報更新部１１４は、プロフィール情報データベース１６２に記憶されているプロフィール情報が、画像データに付加された後に更新されている場合に、上記画像データに付加されているプロフィール情報を更新するものである。
【００４７】
更新履歴表示部１１５は、画像データに付加されている更新前後のプロフィール情報を更新履歴として表示部１５０に表示させるものである。
【００４８】
プロフィール補助情報表示部１１６は、プロフィール補助情報データベース１６４に記憶されている補助情報、すなわちプロフィール情報の内容に応じた画像のデータを読み出して、表示部１５０に表示させるものである。
【００４９】
情報更新照合部１１７は、記憶部１６０のプロフィール情報データベース１６２に更新情報が記憶されているかを確認するものである。
【００５０】
（画像の撮影時の動作）
上記のように構成された通信端末装置１００によって、その電話帳に登録されている人物が撮影される場合には、図２に示すような動作が行われる。
【００５１】
（Ｓ１０１）  まず、撮影部１３０が起動されて人物の画像が撮影されると、その撮影画像は、図３に示すように表示部１５０に表示される。
【００５２】
（Ｓ１０２）  制御部１１０の顔認識照合部１１１は、上記撮影画像に写っている人物の顔の画像から顔の特徴を抽出して顔情報を求め、図４に示すように顔情報データベース１６１に記憶されている顔情報と照合する。
【００５３】
（Ｓ１０３）  プロフィール情報引用部１１２は、上記照合によって特定された人物に対応させてプロフィール情報データベース１６２に記憶されている例えば図４に併せて示すようなプロフィール情報を読み出し、図５（ａ）に示すように、表示部１５０に表示する。同図の例では、各項目にチェックボックスが表示されることにより、撮影画像の画像データに付加するプロフィール情報をユーザが選択できるようになっている。
【００５４】
（Ｓ１０４）  プロフィール情報付加部１１３は、図５（ｂ）に示すように、上記チェックボックスによるユーザの選択操作を受け付ける。
【００５５】
（Ｓ１０５）  さらに、プロフィール情報付加部１１３は、図６に模式的に示すように、上記選択されたプロフィール情報を撮影画像の画像データに埋め込んで画像データベース１６３に記憶させる。
【００５６】
（画像の表示時の動作）
次に、上記のようにして撮影され、保存された画像が表示される場合には、図７に示すような動作が行われる。
【００５７】
（Ｓ２０１）  まず、例えばデータＢＯＸと称される、画像表示を行うためのアプリケーションが起動される。
【００５８】
（Ｓ２０２）  そこで、図８に示すように、画像データベース１６３に保存されている画像の一覧表示（複数の画像の縮小表示）がなされる。
【００５９】
（Ｓ２０３）  続いてユーザの画像選択操作が受け付けられ、所望の画像が選択されると、その画像の通常表示がなされる。以下では、例えば前記図６に示したようにプロフィール情報の埋め込まれた画像が選択されたとして説明する。
【００６０】
（Ｓ２０４）  さらに、表示された画像に含まれる１人以上の被写体のうち、ユーザがプロフィール情報を表示させようとする被写体の選択操作が受け付けられる。例えば、タッチパネルを備えた通信端末装置１００の場合、被写体をタップする操作が検知される。
【００６１】
（Ｓ２０５）  選択された被写体について画像データに付加されているプロフィール情報が、例えば図９に示すように画像に重ねて表示される。ここで、例えば趣味のサッカーなどについては、文字として表示されてもよいが、例えば、文字表示に代えて、または文字表示と供に、プロフィール補助情報表示部１１６によって、同図に示すようにプロフィール補助情報データベース１６４に補助情報として記憶されているサッカーボールの画像などが表示されるようにしてもよい。このような、サッカーをイメージするのに適した画像等を表示させることにより、プロフィール情報を視覚的に認識しやすくすることができる。
【００６２】
また、上記のような表示と供に、プロフィール情報の更新を指示するための更新ボタンが表示される。
【００６３】
（Ｓ２０６）  次に、上記更新ボタンの操作が受け付けられる。
【００６４】
（Ｓ２０７）  更新ボタンが操作されると、情報更新照合部１１７は、プロフィール情報データベース１６２に記憶されているプロフィール情報が更新されているかを確認する。
【００６５】
（Ｓ２０８）  プロフィール情報データベース１６２に更新情報がなければ、画像データベース１６３に記憶されている画像データに付加されているプロフィール情報はそのままにされ、上記図９の表示状態が維持される。
【００６６】
（Ｓ２０８）  一方、プロフィール情報データベース１６２に更新情報があれば、情報更新部１１４は、画像データベース１６３に記憶されている画像データに付加されているプロフィール情報を更新する。このとき、情報更新部１１４は、更新後の情報を更新前の情報に上書きするようにしてもよいが、例えば図１０に模式的に示すように追加するようにしてもよい。このように更新前の情報を残しておくことによって、通常は図１１に示すように最新の情報だけを表示させる（例えば、趣味がサッカーから野球に変わった場合でも、趣味として野球のみを表示させ、出身校として「●●大」が加わった場合でも、「●●中、●●高」の代わりに「●●大」を表示させる。）一方、以下に説明するように更新履歴を表示させることもできる。
【００６７】
（Ｓ２１０）  すなわち、画像データに付加されているプロフィール情報が１回以上更新されている場合には、図１１に併せて示すように履歴ボタンが表示される。
【００６８】
（Ｓ２１１）  そして、上記履歴ボタンの選択操作が受け付けられる。
【００６９】
（Ｓ２１２）  履歴ボタンが操作されると、更新履歴表示部１１５は、図１２に示すように、時間軸に沿って、各項目ごとに以前の情報から最新の情報までを並べて表示する。
【００７０】
上記のように画像の撮影時点などにプロフィール情報が付加されて保存された画像データは、表示させるごとにデータベース等を参照する必要がなく、オフライン状態でもプロフィール情報を表示させることが容易にできる。また、上記のような画像データが、例えば図１３に示すように他の通信端末装置１００’等に伝達された場合などでも、同じようにプロフィール情報を表示させることができる。すなわち画像データの伝送によってプロフィール情報もやり取りされるので、新しいつながりやコミュニケーションを生み出すことなども容易にできる。
【００７１】
上記のような通信端末装置１００を用いることによって、例えば次のような使用状況において、ユーザの利便性を向上させることなどが容易にできる。
【００７２】
すなわち、例えば、友人と２人で記念写真を撮影するシーンを考える。このとき、友人の現在の趣味を写真とともに記録できれば、数年後その写真を見返したときに当時の思い出をより鮮明に思い出すことができる。また、写真を表示する際に、埋め込まれたプロフィール情報の更新内容や、更新履歴を閲覧できれば、人生の足跡を垣間見ることもできてコミュニケーションを活性化させるのに役立つ。ここで、写真撮影の度に、文字入力をするなどして画像情報にプロフィール情報を埋め込むのはわずらわしい。そこで、あらかじめ電話帳に登録されたプロフィール情報を選択できるようにすれば、画像情報に付加することも容易に行うことができる。また撮影された画像は、撮影した端末に残すだけでなく、ＳＮＳ（social network service）にアップロードしたり、他人に送付したりと用途が広がっている。その際にこういったプロフィール情報が付加されていれば、画像だけのやり取りでは生まれなかった、新しいコミュニケーションを生み出すことができる。
【００７３】
なお、上記の例では、顔情報データベース１６１には、顔の特徴を示す情報が格納される例を示したが、これに限らず、顔の画像自体が格納されて、撮影画像と照合される際に、顔の特徴を示す情報が抽出されるようにしてもよい。
【００７４】
また、人物を特定することが可能な情報であれば、顔に限らず、上半身や全体像などの画像等の情報が用いられるなどしてもよい。
【００７５】
また、プロフィール情報が画像に重ねて表示される例を示したが、これに限らず、別途設けられた表示領域に表示されるなどしてもよい。
【００７６】
また、上記の例では、図７の（Ｓ２０４）で被写体の選択操作がなされてからプロフィール情報が表示される例を示したが、被写体が１人だけの場合には、（被写体を特定しない）単なる表示指示操作によって表示されるようにしたり、画像の表示と同時に自動的に表示されるようにしたりしてもよい。また、複数人が撮影されている場合には、全員のプロフィール情報が同時に自動的に表示されるようにしたりしてもよい。さらに、これらの表示を初期設定等によって選択できるようにしてもよい。
【００７７】
また、上記の例では、図７の（Ｓ２０６）で更新ボタンが操作されてから、プロフィール情報データベース１６２のプロフィール情報が更新されているかが確認される例を説明したが、これに限らず、画像を表示する際に更新の有無が確認され、更新されている場合にだけ、更新ボタンが表示されるようにしたりしてもよい。
【００７８】
また、プロフィール情報データベース１６２において更新されたプロフィール情報が表示される際に、直ちに、画像データに付加されているプロフィール情報が更新されるのに限らず、ユーザによる確認を待ってから、更新されるようにしてもよい。
【産業上の利用可能性】
【００７９】
以上説明したように、本発明は、画像の撮影、記憶機能等を有する通信端末装置等について有用である。
【符号の説明】
【００８０】
１００      通信端末装置
１００’    通信端末装置
１１０      制御部
１１１      顔認識照合部
１１２      プロフィール情報引用部
１１３      プロフィール情報付加部
１１４      情報更新部
１１５      更新履歴表示部
１１６      プロフィール補助情報表示部
１１７      情報更新照合部
１２０      入力部
１３０      撮影部
１４０      通信部
１５０      表示部
１６０      記憶部
１６１      顔情報データベース
１６２      プロフィール情報データベース
１６３      画像データベース
１６４      プロフィール補助情報データベース
【図１】
2013164745.tif 000003
【図２】
2013164745.tif 000004
【図３】
2013164745.tif 000005
【図４】
2013164745.tif 000006
【図５】
2013164745.tif 000007
【図６】
2013164745.tif 000008
【図７】
2013164745.tif 000009
【図８】
2013164745.tif 000010
【図９】
2013164745.tif 000011
【図１０】
2013164745.tif 000012
【図１１】
2013164745.tif 000013
【図１２】
2013164745.tif 000014
【図１３】
2013164745.tif 000015