(57)【特許請求の範囲】
【請求項１】
ディスプレイと、
故人の生前の複数の写真が格納される記憶装置と、
前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、
前記人物の顔の特徴量が登録される顔画像データベースと、
前記ディスプレイの前の人物を撮影するカメラと、
表示アプリケーションプログラムを含む各種プログラムを実行するプロセッサと、
を具備し、
前記プロセッサは、
前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別し、
前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得し、
前記写真設定情報に基づいて前記記憶装置に格納されている前記複数の写真の中から前記交際期間に撮影された前記故人の写真を選択し、
選択された前記故人の写真を前記ディスプレイの画面に表示する
電子機器。
【請求項２】
前記人物の音声を集音するマイクと、
前記人物の音声特徴量が登録される音声識別データベースと、
を更に具備し、
前記プロセッサは、前記画像による前記人物の識別が成功しなかった場合、前記マイクによって集音された音声を認識し、その認識結果と前記音声識別データベースとに基づいて、前記人物を識別する請求項１に記載の電子機器。
【請求項３】
前記プロセッサは、前記故人の写真の顔のしわ、口元、表情、頭髪、ヒゲの１つ以上をレタッチして前記ディスプレイの画面に表示する請求項１に記載の電子機器。
【請求項４】
前記複数の写真について、各写真の顔画像の領域を示す領域データが登録される写真情報データベースを更に具備し、
前記プロセッサは、前記写真情報データベースに基づいて、前記顔画像の領域が大きい写真を前記故人の写真として選択する請求項１に記載の電子機器。
【請求項５】
前記プロセッサは、前記表示された写真の履歴を記録し、まだ表示されていない前記故人の写真を選択して表示する請求項１に記載の電子機器。
【請求項６】
ディスプレイと、
故人の生前の写真が複数格納される記憶装置と、
前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、
前記人物の顔の特徴量が登録される顔画像データベースと、
前記ディスプレイの前の人物を撮影するカメラと、
表示アプリケーションプログラムを含む各種プログラムを実行するプロセッサと、
を具備する電子機器の表示方法であって、
前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別し、
前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得し、
前記写真設定情報に基づいて前記記憶装置に格納される前記交際期間に撮影された前記故人の写真を選択し、
選択された前記故人の写真を前記ディスプレイの画面に表示する
表示方法。
【請求項７】
ディスプレイと、
故人の生前の写真が複数格納される記憶装置と、
前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、
前記人物の顔の特徴量が登録される顔画像データベースと、
前記ディスプレイの前の人物を撮影するカメラと、
を具備する電子機器のコンピュータによって実行されるプログラムであって、
前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別する手順と、
前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得する手順と、
前記写真設定情報に基づいて前記記憶装置に格納される前記交際期間に撮影された前記故人の写真を選択する手順と、
選択された前記故人の写真を前記ディスプレイの画面に表示する手順と、
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、画像を表示する電子機器、表示方法及びプログラムに関する。
【背景技術】
【０００２】
人物の画像をディスプレイの画面に表示する電子機器が提案されている。一例として、人物の写真を記憶保持し、電子機器への接近を検出すると人物の写真をディスプレイの画面に表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−５６２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、誰が接近しても表示される写真は一定である。表示されている写真が観察者の知っている頃の写真であると、観察者は、懐かしみもわく。しかし、表示されている写真が観察者の知らない頃の写真であると、観察者は、写真を見てもなじみがない場合がある。
【０００５】
発明の目的は、観察者に適した画像を表示させることが可能な電子機器、表示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
実施形態によれば、ディスプレイと、故人の生前の写真が複数格納される記憶装置と、前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、前記人物の顔の特徴量が登録される顔画像データベースと、前記ディスプレイの前の人物を撮影するカメラと、表示アプリケーションプログラムを含む各種プログラムを実行するプロセッサと、を具備する。前記プロセッサは、前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別し、前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得し、前記写真設定情報に基づいて前記記憶装置に格納される前記交際期間に撮影された前記故人の写真を選択し、選択された前記故人の写真を前記ディスプレイの画面に表示する。
【図面の簡単な説明】
【０００７】
【図１】実施形態の電子機器を含む仏壇の外観の一例を示す図。
【図２】仏壇の前に故人の息子が存在する場合の状態の一例を示す図。
【図３】仏壇の前に故人の孫が存在する場合の状態の一例を示す図。
【図４】実施形態の電子機器のシステム構成の一例を示す図。
【図５】表示アプリケーションプログラムのソフトウェアモジュール構成の一例を示す図。
【図６】写真素材データベースの構造の一例を示す図。
【図７】写真情報データベースの構造の一例を示す図。
【図８】人物関係データベースの構造の一例を示す図。
【図９】顔認識データベースの構造の一例を示す図。
【図１０】音声認識データベースの構造の一例を示す図。
【図１１】音声認識データベースの構造の別の例を示す図。
【図１２】タッチスクリーンディスプレイの前に人が存在してから、故人の写真を表示するまでの処理の手順の一例を示すフローチャート。
【図１３】実施形態のシステム構成の別の例を示す図。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。
【０００９】
まず、図１を参照して、一実施形態に係る電子機器を備える、過去に存在した人（故人）との対話システムの概要を説明する。この電子機器は、例えば、タブレットコンピュータ、ノートブック型のパーソナルコンピュータ、スマートフォン、ＰＤＡ、デジタルテレビジョン受信機、デジタルフォトフレーム、または各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ２として実現されている場合を想定する。
【００１０】
本タブレットコンピュータ２は、例えば仏壇１や墓石のような、亡くなった人を供養するための祭礼用具（以下、仏壇１と称する）に組み込まれている。タブレットコンピュータ２は仏壇１に固定されるものであってもよいし、仏壇１に対して取り外し可能に設置されるものであってもよい。つまり、タブレットコンピュータ２は、仏壇１に組み込まれた状態で提供（販売）されてもよいし、従来の仏壇１（例えば、家庭に既にある仏壇）にオプションとして設置されるようにしてもよい。また、仏壇１の外部に近接して設置されるようにしてもよいし、仏壇１と特に関係なく単なるフォトフレームとして独立して設置されるようにしてもよい。
【００１１】
タブレットコンピュータ２には、ＡＣ外部電源又はバッテリーから電力が供給される。仏壇１内のタブレットコンピュータ２を設置する位置には、タブレットコンピュータ２にＡＣ外部電源からの電力を供給し、バッテリーを充電するためのクレードル（充電器）が設けられていてもよい。
【００１２】
タブレットコンピュータ２は、カメラ１６、タッチスクリーンディスプレイ１７、スピーカー１８Ａ，１８Ｂ、及びマイク１９Ａ，１９Ｂを備える。タブレットコンピュータ２は、カメラ１６によって取得されたタブレットコンピュータ２の前方にいる人の画像、またはマイク１９Ａ，１９Ｂによって取得された音声に基づいて、タブレットコンピュータ２の前方に存在する人物（観察者）を識別する。識別結果に基づいて、故人と人物とが関わっている期間内の写真から作成された顔画像をタッチスクリーンディスプレイ１７の画面に表示する。なお、タッチスクリーンディスプレイ１７の画面には、亡くなった人の画像だけでなく、位牌、花立、火立、香炉、供物、花仏水器、りん、等の仏具の画像が表示されてもよい。
【００１３】
タッチスクリーンディスプレイ１７の画面に表示される故人の写真は、タッチスクリーンディスプレイ１７の前の人物に応じて、変化する。例えば、故人の息子がタッチスクリーンディスプレイ１７の前に存在する場合、タッチスクリーンディスプレイ１７には、故人の若いときの写真が表示される。例えば、故人の孫がタッチスクリーンディスプレイ１７の前に存在する場合、タッチスクリーンディスプレイ１７には、故人の晩年のときの写真が表示される。
【００１４】
図２は、故人の息子がタッチスクリーンディスプレイ１７の前に存在する状態を示す図である。図２に示すように、故人の息子Ｐ１がタッチスクリーンディスプレイ１７の前に存在する場合、タッチスクリーンディスプレイ１７には、故人の若いときの写真が表示される。
【００１５】
図３は、故人の孫がタッチスクリーンディスプレイ１７の前に存在する状態を示す図である。図３に示すように、故人の孫Ｐ２がタッチスクリーンディスプレイ１７の前に存在する場合、タッチスクリーンディスプレイ１７には、故人の晩年の写真が表示される。
【００１６】
図４は、タブレットコンピュータ２のシステム構成を示す図である。  
タブレットコンピュータ２は、図４に示されるように、ＣＰＵ１００、システムコントローラ１０１、タッチコントローラ１０２、メモリ１０３、表示コントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、エンベデッドマルチメディアカード（ｅＭＭＣ）１０６、電源管理ＩＣ（ＰＭＩＣ）１０８、Ａｕｄｉｏ  Ｃｏｄｅｃ１１０、３Ｇ／ＬＴＥモジュール１１１、ＬＡＮモジュール１１２、ＢＴモジュール１１３、カードコントローラ１１４、ＵＳＢコネクタ１１５、カメラモジュール１６、等を備える。
【００１７】
ＣＰＵ１００は、タブレットコンピュータ２内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１００は、ストレージデバイスであるｅＭＭＣ１０６からメモリ１０３にロードされる各種ソフトウェアを実行する。ｅＭＭＣ１０６は、フラッシュメモリを利用した、組み込み機器向けの記憶装置である。ｅＭＭＣ１０６は、マルチメディアカード（ＭＭＣ）と同一のインタフェースでシステムコントローラ１０１と接続される。ソフトウェアには、オペレーティングシステム（ＯＳ）２０１、及び各種アプリケーションプログラムが含まれている。また、アプリケーションプログラムには、表示アプリケーションプログラム２０２が含まれている。この表示アプリケーションプログラム２０２は、例えば、タブレットコンピュータ２の前にいる人物（例えば、仏壇１にお参りする人）と、過去に存在した人とのかかわりが重なっている期間内の写真から作成された顔画像をタッチスクリーンディスプレイ１７の画面に表示する。
【００１８】
また、ＣＰＵ１００は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１９】
システムコントローラ１０１は、ＣＰＵ１００のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０１には、メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０１は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介して表示コントローラ１０４との通信を実行する機能も有している。
【００２０】
表示コントローラ１０４は、本タブレットコンピュータ２のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。この表示コントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。タッチコントローラ１０２は、タッチパネル１７Ｂ上での指等を用いた操作に応じて、タッチパネル１７Ｂ上の操作位置を示す操作信号をシステムコントローラ１０１に出力する。
【００２１】
さらに、システムコントローラ１０１は、Ａｕｄｉｏ  Ｃｏｄｅｃ１１０との通信を実行する機能も有している。Ａｕｄｉｏ  Ｃｏｄｅｃ１１０は、マイク１９Ａ，１９Ｂによって検出された音声（例えば、ユーザが発話したことによる音声）を符号化することによって、所定の形式のオーディオデータを生成する。また、Ａｕｄｉｏ  Ｃｏｄｅｃ１１０は、再生対象のオーディオデータを復号し、復号された音声をスピーカー１８Ａ，１８Ｂから出力する。システムコントローラ１０１は、ＵＳＢコネクタ１１５に接続されたＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行するためのＵＳＢコントローラも内蔵している。
【００２２】
ＰＭＩＣ１０８は、ＡＣ又はバッテリー１０８Ａから供給される電力を管理するためのワンチップマイクロコンピュータである。ＰＭＩＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ２を電源オン又は電源オフする機能を有している。
【００２３】
カメラモジュール１６は、画像を撮影し、撮影された画像のデータをシステムコントローラ１０１に出力する。カメラモジュール１６は、動画像（映像）のような、連続した複数の画像を撮影することもできる。
【００２４】
３Ｇ／ＬＴＥモジュール１１１は、アンテナ１１１Ａを介して、３Ｇ移動通信又はＬＴＥ通信を実行するように構成されたデバイスである。ＬＡＮモジュール１１２は、アンテナ１１２Ａを介して、例えばＩＥＥＥ  ８０２．１１ｇ規格の無線通信や、ＩＥＥＥ  ８０２．３規格の有線通信を実行する通信デバイスである。Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０は、アンテナ１１３Ａを介して、外部機器とのＢｌｕｅｔｏｏｔｈ通信を実行する通信デバイスである。
【００２５】
カードコントローラ１１４は、コンピュータ本体に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。人感センサ１１６は、例えば、タブレットコンピュータ２の画面の前方に人が存在するか否かを検出するセンサである。
【００２６】
次いで、図５を参照して、本タブレットコンピュータ２によって実行される表示アプリケーションプログラム２０２の機能構成を説明する。上述したように、表示アプリケーションプログラム２０２は、例えば、タブレットコンピュータ２の前の人物（観察者）に応じた遺影を表示する機能、等を有する。
【００２７】
表示アプリケーションプログラム２０２は、写真インデクシング部３０１、人物登録部３０２、人物識別部３０３、写真表示制御部３０４、および写真加工部３０５等を備える。表示アプリケーションプログラム２０２は、写真素材データベース（ＤＢ）３１１、写真情報データベース（ＤＢ）３１２、人物関係データベース（ＤＢ）３１３、顔認識データベース（ＤＢ）３１４、および音声認識データベース（ＤＢ）３１５を有する。
【００２８】
写真インデクシング部３０１は、ｅＭＭＣ１０６やメモリカード内に格納されている複数の写真から顔画像を認識する。写真インデクシング部３０１は、認識された顔画像に基づいて、複数の写真を人物毎にグループ化する。写真インデクシング部３０１は、各グループを代表する顔画像をタッチスクリーンディスプレイ１７に表示し、故人に対応するグループをユーザに選択させる。ユーザは、代表顔画像の中から故人に対応する顔映像を選択する操作を行う。写真インデクシング部３０１は、ユーザによって選択された顔映像に対応するグループに含まれる写真のパスを写真素材データベース３１１に登録する。
【００２９】
写真素材データベース３１１の構造の例を図６に示す。
【００３０】
図６に示すように、写真素材データベース３１１には、写真ＩＤに対して選択された写真のパスが関連付けられている。
【００３１】
また、写真インデクシング部３０１は、選択された顔映像に対応するグループに含まれる各写真について、写真データに含まれるＥｘｉｆ（Exchangeable image file format）に含まれる撮影日時を写真情報データベース３１２に登録する。
【００３２】
また、写真インデクシング部３０１は、選択された顔映像に対応するグループに含まれる各写真について、顔画像の位置、例えば中心位置を示す顔位置データを写真情報データベース３１２に登録する。また、写真インデクシング部３０１は、選択された顔映像に対応するグループに含まれる各写真について、顔画像の領域を示す領域データを写真情報データベース３１２に登録する。
【００３３】
写真情報データベース３１２の構造の例を図７に示す。
【００３４】
図７に示すように、写真情報データベース３１２には、写真ＩＤに対して、撮影日時、顔位置、および顔領域が関連付けられている。
【００３５】
人物登録部３０２は、故人との関わりがあった人物の情報を人物関係データベース３１３に登録する。人物関係データベース３１３には、人物の名前、生年、および、写真設定としての故人との関わりが始まった年（開始暦年）、故人との関わりが始まった時の故人の年齢（開始故人年齢）、および故人との関わりがあった年数（期間）が登録される。写真設定として、開始暦年、開始故人年齢の少なくとも一つが人物関係データベース３１３に登録されていれば良い。
【００３６】
人物関係データベース３１３の構造の例について図８を参照して説明する。人物関係データベース３１３では、人物ＩＤに対して、人物名、生年、開始暦年、開始故人年齢、および期間等が関連付けられる。例えば、人物ＩＤ「ＩＤ００１」の「太郎」さんは、故人の実子であり、故人が３０歳だった1９６４年に生まれたことから、対応する開始暦年等が登録されている。また、人物ＩＤ「ＩＤ００２」の「はな子」さんは、太郎さんの夫人、すなわち故人の義子であり、人物ＩＤ「ＩＤ００３」の「もも子」さんは、太郎さんの娘、すなわち故人の孫であり、それぞれ対応する開始暦年等が登録されている。
【００３７】
人物登録部３０２は、故人との関わりがあった人物の写真から顔画像を抽出する。人物登録部３０２は、抽出された顔画像から目立つ特徴を抽出し、抽出された特徴をデータ化する。例えば、人物登録部３０２は、目、眉毛、口等の顔のパーツの相対位置や大きさ、眼窩、鼻、頬骨、およびあごの輪郭等の特徴をデータ化する。人物登録部３０２は、データ化された特徴量を顔認識データベース３１４に登録する。人物登録部３０２は、カメラモジュール１６によって取得された画像から、故人との関わりがあった人物の顔画像の特徴を抽出して登録してもよい。
【００３８】
顔認識データベース３１４の構造の例について図９を参照して説明する。
【００３９】
顔認識データベース３１４では、人物ＩＤに対して顔特徴量（データＡ，データＢ，データＣ）が関連付けられている。顔認識データベース３１４内で用いられる人物ＩＤは、人物関係データベース３１３で用いられている人物ＩＤと同一のものが用いられる。
【００４０】
人物登録部３０２は、マイク１９Ａ，１９Ｂによって取得される、故人との関わりがあった人物の音声から、発声した人物を識別する音声特徴量を演算する。人物登録部３０２は、音声特徴量を音声認識データベース３１５に登録する。
【００４１】
音声認識データベース３１５の構造の例について図１０を参照して説明する。
【００４２】
音声認識データベース３１５では、人物ＩＤに対して音声特徴量（データＤ，データＥ，データＦ）が関連付けられている。音声認識データベース３１５内で用いられる人物ＩＤは、人物関係データベース３１３で用いられている人物ＩＤと同一のものが用いられる。
【００４３】
音声認識データベース３１５の構造の別の例について図１１を参照して説明する。
【００４４】
図１１に示すように、人物ＩＤに対して、テキストが関連付けられている。例えば、故人の実子である「太郎」さんに対応する人物ＩＤ「ＩＤ００１」に「おとうさんおはよう」が関連付けられている。また、太郎さんの夫人、すなわち故人の義子である「はな子」さんに対応する人物ＩＤ「ＩＤ００２」に「おとうさまおはようございます」が関連付けられている。また、太郎さんの娘、すなわち故人の孫である「もも子」さんに対応する人物ＩＤ「ＩＤ００３」に「おじいちゃんおはよう」が関連付けられている。
【００４５】
人物識別部３０３は、ＬＣＤ１７Ａの前に存在する人物を識別する。人物識別部３０３は、例えばカメラモジュール１６によって撮影されたコンピュータ２の前の人物の画像と、顔認識データベース３１４とに基づいて、コンピュータ２の前の人物を識別する。
【００４６】
人物識別部３０３は、人物の画像から顔画像を抽出する。人物識別部３０３は、抽出された顔画像から特徴量を演算する。人物識別部３０３は、演算された特徴量と、顔認識データベース３１４に登録されている特徴量とを比較することによって、演算された特徴量に近い特徴量に関連付けられている人物ＩＤを特定する。
【００４７】
音声認識データベース３１５の構造が図１０に示すものである場合、人物識別部３０３は、例えばマイク１９Ａ，１９Ｂによって取得される音声データから発声した人物を識別する音声特徴量を抽出する。人物識別部３０３は、演算された特徴量と、音声認識データベース３１５に登録されている特徴量とを比較することによって、演算された音声特徴量に近い音声特徴量に関連付けられている人物ＩＤを特定する。
【００４８】
また、音声認識データベース３１５の構造が図１１に示すものである場合、人物識別部３０３は、例えばマイク１９Ａ，１９Ｂによって取得される音声データをテキスト化しても良い。人物識別部３０３は、テキストと音声認識データベース３１５とに基づいて、テキストに対応する人物ＩＤを特定しても良い。また、音声認識データベース３１５に登録されているテキストに基づいて、マイク１９Ａ，１９Ｂによって取得される音声データの認識を行うことによって、対応する人物ＩＤを特定しても良い。
【００４９】
なお、人物は、人物と故人との関係に応じた、特定のキーワードを発声するようにする。例えば、人物が故人の孫の場合、人物は、「おじいちゃんおはよう」と発声する。
【００５０】
人物識別部３０３は、音声認識辞書を用いて、人物の発話による音声に音声認識処理を施すことによって、音声に対応するテキストを生成する。音声認識辞書には、例えば、言葉の音の最小単位である音素と特徴量との対応を示す情報と、音素列と単語との対応を示す情報とが含まれている。
【００５１】
より具体的には、まず、人物識別部３０３は音声から雑音を除去し、特徴量を算出する。人物識別部３０３は、音声認識辞書を用いて、算出された特徴量に基づいて音声に対応する音素列を生成する。そして、人物識別部３０３は、音声認識辞書を用いて、変換された音素列に対応する単語を決定する。なお、人物識別部３０３は、音素列に対応する複数の単語の候補を決定し、連続する単語のつながりの尤もらしさに基づいて、音素列に対応する単語列（テキスト）を決定するようにしてもよい。
【００５２】
そして、人物識別部３０３は、決定された単語列と音声認識データベース３１５とに基づいて、発話者に対応する人物ＩＤを特定する。
【００５３】
写真表示制御部３０４は、人物関係データベース３１３に基づいて、人物識別部３０３によって特定された人物ＩＤに関連付けられている人物と故人との交際が重なる期間を取得する。写真表示制御部３０４は、写真情報データベース３１２に基づいて、交際期間に撮影されている写真データの写真ＩＤを取得する。写真ＩＤが複数取得された場合、写真表示制御部３０４は、複数の写真ＩＤから一つ以上の写真ＩＤを選択する。
【００５４】
写真表示制御部３０４は、写真情報データベース３１２に基づいて、顔領域の大きさが一番大きい写真に対応する写真ＩＤを選択しても良い。また、写真表示制御部３０４は、特定された写真ＩＤに対して表示された写真の履歴を記録しておき、まだ表示されていない写真に対応する写真ＩＤを選択しても良い。加工元の写真は、写真表示制御部３０４は、ランダムに写真を選択しても良い。選定するか、時期の近いものを選定する。
【００５５】
人物識別部３０３によって複数の人物が識別された場合、写真表示制御部３０４は、各人物の交際期間に応じて写真の絞り込みを行っても良い。
【００５６】
各人物ＩＤに表示したい故人の時期を関連付けて人物関係データベース３１３に登録し、識別された人物に応じた時期を優先的に使用して写真を選択しても良いし、登録された時期の写真が選択される確率を高くした上でランダムに選択しても良い。
【００５７】
各人物ＩＤに表示したい故人の写真に対応する写真ＩＤを関連付けて登録し、識別された人物に応じた写真を優先的に選択するとともに、所定の確率で他の写真もランダムに選択するようにしても良い。
【００５８】
写真表示制御部３０４は、選択された写真ＩＤを写真加工部３０５に通知し、写真加工部３０５に写真の加工を要求する。
【００５９】
写真加工部３０５は、通知された写真ＩＤに関連付けられている写真データのパスを読み出す。写真加工部３０５は、読み出したパスに基づいて、写真データをｅＭＭＣ１０６またはメモリカードから読み出す。
【００６０】
写真加工部３０５は、通知された写真ＩＤに関連付けられている顔位置データを写真情報データベース３１２から読み出す。写真加工部３０５は、読み出された顔位置データに基づいて、顔画像を含む故人の画像をトリミングする。写真加工部３０５は、故人の顔の位置または領域に応じて拡大してもよい。
【００６１】
写真加工部３０５は、トリミングされた画像内の故人の顔画像に対して、識別された人物と故人との交際の時期によってレタッチしても良い。写真加工部３０５は、加工は、顔のシワ、口元、および表情のレタッチを行っても良い。写真加工部３０５は、頭髪、ヒゲの色を増減させるレタッチを行っても良い。写真加工部３０５は、髪型や服装を変化させたり、髪や服装の色調を変化させたりするレタッチを行っても良い。交際期間内に撮影された写真が無くても、レタッチを行って、故人の容貌を若くしたり、故人の容貌を老けさせたりすることで、交際期間内に相当する容貌の故人を画面に表示させることが可能になる。
【００６２】
レタッチの設定（加工方法）は、写真設定として人物関係データベース３１３に登録されていても良い。
【００６３】
写真表示制御部３０４は、写真加工部３０５によって加工された写真をＬＣＤ１７Ａの画面に表示する。なお、複数の写真を選択した場合、写真表示制御部３０４は、選択された複数の写真を適宜切り替えながら表示しても良い。写真表示制御部３０４は、選択された複数の写真を動的な画面遷移等のエフェクトを加えながら切り替え表示しても良い。また、写真表示制御部３０４は、選択された複数の写真にエフェクトを加えて動画を作成し、再生表示しても良い。
【００６４】
写真表示制御部３０４は、故人の顔の位置または領域に応じて動的にズームするエフェクトを加えて表示しても良い。写真表示制御部３０４は、ズームアウト状態からズームイン、ズームイン状態からズームアウト、ズームアウト状態からズームインして再度ズームアウトして表示しても良い。
【００６５】
次に、タッチスクリーンディスプレイ１７の前に人が存在してから、故人の写真を表示するまでの処理の手順を図１２のフローチャートを参照して説明する。
【００６６】
人物識別部３０３は、人感センサ１１６の検出結果によって、タッチスクリーンディスプレイ１７（タブレットコンピュータ２）の前に人が存在するかを判定する（ステップＢ１１）。人が存在すると判定した場合（ステップＢ１１のＹｅｓ）、人物識別部３０３は、カメラモジュール１６によって取得された画像による人物の顔識別を試みる。人物識別部３０３は、顔識別に成功したかを判定する（ステップＢ１２）。顔識別に成功しなかったと判定した場合（ステップＢ１２のＮｏ）、人物識別部３０３は、マイク１９Ａ，１９Ｂによって集音された音声による人物識別を試みる。人物識別部３０３は、音声識別に成功したかを判定する（ステップＢ１３）。
【００６７】
顔識別に成功したと判定した場合（ステップＢ１２のＹｅｓ）、または音声識別に成功したと判定した場合（ステップＢ１３のＹｅｓ）、識別された人物に対応する人物ＩＤを写真表示制御部３０４に通知する。写真表示制御部３０４は、人物関係データベース３１３から人物ＩＤに対応する写真設定を取得する（ステップＢ１４）。
【００６８】
音声識別に成功しなかったと判定した場合（ステップＢ１３のＮｏ）、人物識別部３０３は、人物の識別しなかった場合に対応する人物ＩＤを写真表示制御部３０４に通知する。写真表示制御部３０４は、人物関係データベース３１３から人物ＩＤに対応する写真設定を取得する（ステップＢ１８）。
【００６９】
写真表示制御部３０４は、設定に含まれる交際期間に従った故人の写真を選択する（ステップＢ１５）。写真表示制御部３０４は、選択された写真に対応する写真ＩＤと写真設定とを写真加工部３０５に通知する。写真加工部３０５は、通知された設定に従って、写真ＩＤに対応する写真を加工する（ステップＢ１６）。写真加工部３０５は、加工された写真を写真表示制御部３０４に渡す。写真表示制御部３０４は、渡された写真をＬＣＤ１７Ａに表示するための処理を行う（ステップＢ１７）。
【００７０】
以上の処理で、タッチスクリーンディスプレイ１７（タブレットコンピュータ２）の前に存在する人物に応じた故人の写真を表示することが可能になる。
【００７１】
なお、一部の処理をサーバコンピュータで行っても良い。図１３は、故人の写真の表示を行うシステムの構成を示す図である。  
システムは、タブレットコンピュータ２およびサーバコンピュータ４００等を備える。タブレットコンピュータ２とサーバコンピュータ４００とは、ネットワークを介して通信を行うことが可能である。
【００７２】
サーバコンピュータ４００は、写真インデクシング部３０１Ｓ、制御部３０４Ｓ、写真加工部３０５Ｓ、およびストレージ４０１、等を備える。写真インデクシング部３０１Ｓ、制御部３０４Ｓ、および写真加工部３０５Ｓは、サーバコンピュータ４００内のプロセッサによって実行される。また、サーバコンピュータ４００は、写真素材データベース３１１Ｓ、写真情報データベース３１２Ｓ、および人物関係データベース３１３Ｓ等を備える。
【００７３】
ストレージ４０１内には、ｅＭＭＣ１０６に格納されていた複数の写真が格納される。写真インデクシング部３０１Ｓは、タブレットコンピュータ２の写真インデクシング部３０１と同様な処理を行う。制御部３０４Ｓは、タブレットコンピュータ２の写真表示制御部３０４によって行われる処理のうち、写真を選択する処理を行う。制御部３０４Ｓは、写真加工部３０５Ｓによって加工された写真を写真表示制御部３０４に送信する処理を行う。写真加工部３０５Ｓは、タブレットコンピュータ２の写真加工部３０５と同様な処理を行う。
【００７４】
ＬＣＤ１７Ａの前に存在する人物を識別し、故人の顔画像を含む複数の写真のうちの、人物と故人の交際期間内に撮影された写真に含まれる故人の顔画像をＬＣＤ１７Ａの画面に表示することで、ＬＣＤ１７Ａの前の人物に対して最適な画像を表示させることが可能なる。
【００７５】
その他．さらに、音声認識して音声で応答する音声対話を行ってもよい。故人の声を録音した音声、故人の声から作成した合成音声、故人の声に似せて作った音声を出力する。識別された人物に応じて声の調子を変えてもよい。例えば、孫の場合は晩年の声を使用するか、晩年の声に似せて加工した声を使用する。識別された人物に応じて音声応答のスタイルを変えてもよい。例えば、孫の場合はゆっくり優しく語りかける。知人の場合は丁寧語で元気に話す。
【００７６】
上記実施形態では、故人の写真を表示していたが、現在生きている人物の写真を表示しても良い。また、人物では無く、ペット等の動物の写真を表示しても良い。
【００７７】
なお、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００７８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７９】
２…タブレットコンピュータ、１６…カメラモジュール、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タッチパネル、１９Ａ．１９Ｂ…マイク、１００…ＣＰＵ、１０４…表示コントローラ、１０６…エンベデッドマルチメディアカード、１１６…人感センサ、２０２…表示アプリケーションプログラム、３０１…写真インデクシング部、３０２…人物登録部、３０３…人物識別部、３０４…写真表示制御部、３０５…写真加工部、３０５Ｓ…写真加工部、３１１…写真素材データベース、３１２…写真情報データベース、３１３…人物関係データベース、３１４…顔認識データベース、３１５…音声認識データベース。
【図１】
0006465398.tif 000002
【図２】
0006465398.tif 000003
【図３】
0006465398.tif 000004
【図４】
0006465398.tif 000005
【図５】
0006465398.tif 000006
【図６】
0006465398.tif 000007
【図７】
0006465398.tif 000008
【図８】
0006465398.tif 000009
【図９】
0006465398.tif 000010
【図１０】
0006465398.tif 000011
【図１１】
0006465398.tif 000012
【図１２】
0006465398.tif 000013
【図１３】
0006465398.tif 000014