(57)【要約】 【課題】ユーザと関係のある人物の画像を含む未登録情報を電話帳等に登録するためのユーザの入力操作を支援することが可能な情報処理装置等を提供する。【解決手段】本情報処理装置は、画像を記憶する記憶部３３と、アドレスとこのアドレスに対応する人物の画像とを記憶するアドレス帳１８と、アドレス帳１８に記憶されていない未登録アドレスをメールから抽出するメール解析部２０と、記憶部３３に記憶された画像から、抽出された未登録アドレスに対応する人物の画像を推定する検索処理部３０と、抽出された未登録アドレスと、推定された人物の画像と、この未登録アドレス及びこの人物の画像をアドレス帳１８へ登録するよう促すための登録推奨情報と、を表示する表示部１３と、を備える。【選択図】図１
2014149554.tif 000002
【特許請求の範囲】
【請求項１】
画像を記憶する画像記憶部と、
アドレスと前記アドレスに対応する人物の画像とを記憶するアドレス記憶部と、
前記アドレス記憶部に記憶されていない未登録アドレスをメールから抽出する情報抽出部と、
前記画像記憶部に記憶された画像から、前記情報抽出部により抽出された未登録アドレスに対応する人物の画像を推定する人物画像推定部と、
前記情報抽出部により抽出された未登録アドレスと、前記人物画像推定部により推定された人物の画像と、前記未登録アドレス及び前記人物の画像を前記アドレス記憶部へ登録するよう促すための登録推奨情報と、を表示する表示部と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記情報抽出部は、メールに含まれる時刻情報を抽出し、
前記人物画像推定部は、前記画像記憶部に記憶された画像のうち、前記情報抽出部により抽出された時刻情報との間に所定の類似性を有する時刻に撮影された画像から、前記未登録アドレスに対応する人物の画像を推定する情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記情報抽出部は、メールに含まれる位置情報を抽出し、
前記人物画像推定部は、前記画像記憶部に記憶された画像のうち、前記情報抽出部により抽出された位置情報との間に所定の類似性を有する位置で撮影された画像から、前記未登録アドレスに対応する人物の画像を推定する情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記情報抽出部は、前記アドレス記憶部に記憶された登録済アドレスをメールから抽出し、
前記人物画像推定部は、前記画像記憶部に記憶された画像のうち、前記情報抽出部により抽出された登録済アドレスに対応する人物が含まれる画像から、前記未登録アドレスに対応する人物の画像を推定する情報処理装置。
【請求項５】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された動画像において、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物が含まれるフレームの前後所定数以内のフレームに、前記アドレス記憶部に記憶されていない他の人物の画像である未登録人物画像が含まれる場合、その未登録人物画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項６】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された動画像において、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物が含まれ、かつ、前記アドレス記憶部に記憶されていない他の人物の画像である未登録人物画像が含まれるフレームが所定数以上存在する場合、その未登録人物画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項７】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された動画像のうち、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物が含まれ、かつ、前記アドレス記憶部に記憶されていない他の人物の画像である未登録人物画像が含まれる動画像のファイルが所定数以上存在する場合、その未登録人物画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項８】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された動画像において、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物が含まれるフレーム群の中に、前記アドレス記憶部に記憶されていない他の人物の画像である未登録人物画像が含まれるフレームが所定時間分以上存在する場合、その未登録人物画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項９】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された静止画像において、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物から所定距離以内に、前記アドレス記憶部に記憶されていない他の人物が存在する場合、その他の人物の画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項１０】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された静止画像において、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物と前記静止画像の撮影者との距離である第１の距離と、前記静止画像に含まれる前記アドレス記憶部に記憶されていない他の人物と前記静止画像の撮影者との距離である第２の距離と、の比が所定比以下である場合、その他の人物の画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項１１】
請求項２ないし４のいずれか１項に記載の情報処理装置であって、
前記人物画像推定部は、前記画像記憶部に記憶された静止画像において、前記アドレス記憶部に記憶された登録済みアドレスに対応する人物と、前記アドレス記憶部に記憶されていない他の人物と、の間に存在する人物の数が所定数以下の場合、その他の人物の画像を前記未登録アドレスに対応する人物の画像であると推定する情報処理装置。
【請求項１２】
請求項１ないし１１のいずれか１項に記載の情報処理装置であって、更に、
メール通信を行う通信部を備え、
前記人物画像推定部は、前記通信部によりメールを受信したときに、前記未登録アドレスに対応する人物の画像を推定する情報処理装置。
【請求項１３】
請求項１ないし１１のいずれか１項に記載の情報処理装置であって、更に、
画像を撮影する画像撮影部を備え、
前記人物画像推定部は、前記画像撮影部により画像の撮影が完了したときに、前記未登録アドレスに対応する人物の画像を推定する情報処理装置。
【請求項１４】
請求項１ないし１１のいずれか１項に記載の情報処理装置であって、更に、
前記画像記憶部に記憶された画像に対して顔認証処理を行う顔認証処理部を備え、
前記人物画像推定部は、前記顔認証処理部により顔認証処理が完了したときに、前記未登録アドレスに対応する人物の画像を推定する情報処理装置。
【請求項１５】
アドレスと前記アドレスに対応する人物の画像とを記憶するアドレス記憶部に記憶されていない未登録アドレスをメールから抽出するステップと、
画像を記憶する画像記憶部に記憶された画像から、前記抽出された未登録アドレスに対応する人物の画像を推定するステップと、
前記抽出された未登録アドレスと、前記推定された人物の画像と、前記未登録アドレス及び前記人物の画像を前記アドレス記憶部へ登録するよう促すための登録推奨情報と、を表示するステップと、
を有する情報処理方法。
【請求項１６】
請求項１５に記載の情報処理方法の各ステップをコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。特に携帯端末等に搭載される電話帳のようなデータベースを管理するための技術に関する。
【背景技術】
【０００２】
携帯電話端末や携帯型情報端末などの装置には、電話帳（アドレス帳）のようなデータベースの機能が搭載されている場合が多い。すなわち、通話相手の端末との間で音声通話のための回線を接続するために必要な相手先電話番号や、電子メールの送信先を表す相手のメールアドレスなどの情報が、電話帳のデータベースとして管理されている。
【０００３】
また、このような電話帳のデータベースにおいては、電話番号やメールアドレスなどの情報は相手先毎に個人名や企業名等と関連付けて管理されるのが一般的である。また、相手先の特定を容易にするために、個人名、住所等の文字情報だけでなく、該当する人物の顔などの画像も電話帳のデータベースに同時に登録できる場合もある。
【０００４】
このような電話帳の登録内容については、一般的には、携帯電話端末等の装置のユーザ自身が必要に応じて相手先毎に情報を手作業で入力し、所定の登録操作を行うことによりデータベースに保存することができる。従って、ユーザにとって十分な人数分の情報が端末の電話帳に蓄積されるまでに、ユーザは時間をかけて面倒な入力操作を繰り返す必要がある。
【０００５】
電話帳のデータベースに基づくデータ管理を行うための技術として、以下の特許文献１および２の技術が知られている。
【０００６】
特許文献１では、テレビ電話の通信機能を搭載した装置において、人物の画像を電話帳のデータベースに登録するための技術を開示している。具体的には、テレビ電話の通話中に、相手先の電話番号に基づいて電話帳を検索し、該当する人物の画像が登録済みか否かを識別する。そして、未登録の場合には、受信した相手の人物画像を取り込んで電話帳に登録する。
【０００７】
特許文献２では、同報メールを扱う装置において、メールアドレスの保護をきめ細かく行うための技術を開示している。具体的には、同報メールを受信した際に、当該メールのヘッダ部に記載された宛先のメールアドレスがアドレス帳に登録されているか否かを識別し、未登録のメールアドレスを前記ヘッダ部から自動的に削除する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３２９６３２号公報
【特許文献２】特開２０１０−２７１７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の技術では、電話帳に未登録の通信相手の人物の画像を自動的に登録できるのは、実際にテレビ電話の通信を行う場合のみに限られる。従って、画像の送受信を伴わない一般的な音声通話や電子メールのやりとりだけを行う場合には、電話帳に未登録の人物の画像は、ユーザが個別に手作業で登録しなければならず、手間がかかることは避けられない。特に、電話帳に画像を登録する場合には、文字情報の場合と異なり、簡単なボタン操作だけでは画像の情報を入力できないので、登録の作業はユーザにとって非常に煩わしい場合が多い。
【００１０】
また、特許文献２の技術では、受信した同報メールに含まれているメールアドレスがアドレス帳に登録されているか否かを自動的に識別するが、未登録の人物についてアドレス帳の内容を補完するような動作を行うことはできない。また、未登録の人物が知人であった場合でも、該当するメールアドレスは受信した同報メールから削除されてしまうので、
受信した情報をアドレス帳の内容を充実させるために役立てることはできない上、その知人とのやり取りが一切遮断されてしまうことになる。
【００１１】
本発明は、ユーザと関係のある人物の画像を含む未登録情報を電話帳等に登録するためのユーザの入力操作を支援することが可能な情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の情報処理装置は、画像を記憶する画像記憶部と、アドレスと前記アドレスに対応する人物の画像とを記憶するアドレス記憶部と、前記アドレス記憶部に記憶されていない未登録アドレスをメールから抽出する情報抽出部と、前記画像記憶部に記憶された画像から、前記情報抽出部により抽出された未登録アドレスに対応する人物の画像を推定する人物画像推定部と、前記情報抽出部により抽出された未登録アドレスと、前記人物画像推定部により推定された人物の画像と、前記未登録アドレス及び前記人物の画像を前記アドレス記憶部へ登録するよう促すための登録推奨情報と、を表示する表示部と、を備える。
【００１３】
この構成によれば、人物の画像を含む未登録情報をアドレス記憶部へ登録するためのユーザの操作を支援することができる。すなわち、人物画像推定部が未登録アドレスに対応する人物の画像を自動的に推定するので、ユーザは表示される登録推奨情報に従って簡単な操作で未登録情報を登録することができる。
【００１４】
また、本発明の情報処理方法は、アドレスと前記アドレスに対応する人物の画像とを記憶するアドレス記憶部に記憶されていない未登録アドレスをメールから抽出するステップと、画像を記憶する画像記憶部に記憶された画像から、前記抽出された未登録アドレスに対応する人物の画像を推定するステップと、前記抽出された未登録アドレスと、前記推定された人物の画像と、前記未登録アドレス及び前記人物の画像を前記アドレス記憶部へ登録するよう促すための登録推奨情報と、を表示するステップと、を有する。
【００１５】
この方法によれば、人物の画像を含む未登録情報をアドレス記憶部へ登録するためのユーザの操作を支援することができる。すなわち、未登録アドレスに対応する人物の画像を自動的に推定するので、ユーザは表示される登録推奨情報に従って簡単な操作で未登録情報を登録することができる。
【００１６】
また、本発明の情報処理プログラムは、上記情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００１７】
このプログラムによれば、人物の画像を含む未登録情報をアドレス記憶部へ登録するためのユーザの操作を支援することができる。すなわち、未登録アドレスに対応する人物の画像を自動的に推定するので、ユーザは表示される登録推奨情報に従って簡単な操作で未登録情報を登録することができる。
【発明の効果】
【００１８】
本発明は、ユーザと関係のある人物の画像を含む未登録情報を電話帳等に登録するためのユーザの入力操作を支援することできる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における情報処理装置の主要部の構成例を示すブロック図
【図２】本発明の実施形態における情報処理装置による未登録人物情報の登録支援時の動作例を示すフローチャート
【図３】本発明の実施形態における情報処理装置による各トリガに基づく未登録人物情報の登録支援時の動作例を示すフローチャート
【図４】（Ａ）〜（Ｄ）本発明の実施形態における抽出された画像に基づく未登録顔画像の推定を説明するための図
【図５】（Ａ）〜（Ｄ）本発明の実施形態における情報処理装置の画面表示例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照しながら以下に説明する。
【００２１】
本実施形態の情報処理装置に関する主要部の構成例が図１に示されている。なお、図１に示す情報処理装置としては、例えば携帯電話端末、携帯型情報端末、パーソナルコンピュータ等の装置が想定される。
【００２２】
図１に示すように、情報処理装置１は、通信部１１、操作部１２、表示部１３、電子メール受信部１４、画像撮影処理部１５、人物認証処理部１６、キー入力処理部１７、アドレス帳１８、アドレス帳管理部１９、メール解析部２０、検索処理部３０、および記憶部３３、を有して構成される。
【００２３】
また、メール解析部２０は、ヘッダ情報解析部２１およびテキスト解析部２２を有する。検索処理部３０は、静止画データ検索処理部３１および動画データ検索処理部３２を有する。また、記憶部３３は、動画データファイル３４および静止画データファイル３５を保存することができる。動画データファイル３４および静止画データファイル３５は、あらかじめ記憶部３３に保存されているものでなく、例えばＷＥＢ上のサーバから通信部１１を介して取得され、記憶部３３に保存されたものでもよい。
【００２４】
なお、図１に示した電子メール受信部１４、画像撮影処理部１５、人物認証処理部１６、キー入力処理部１７、アドレス帳管理部１９、メール解析部２０、および検索処理部３０の各機能については、情報処理装置１を制御する図示しないコンピュータが所定のプログラムを実行することにより実現することができる。勿論、同様の機能を実現する専用のハードウェアで置き換えることも可能である。また、図１に示した各機能の一部分の構成要素を省略した状態で本実施形態を実施することも可能である。
【００２５】
通信部１１は、所定の通信回線を経由してインターネットなどのネットワークと接続し、所定のサーバ等の他装置との間で電子メールの情報のやりとりを含むデータ通信を行う。
【００２６】
操作部１２は、ユーザの入力操作を受け付ける様々なボタンやキーを備えている。表示部１３は、液晶等で構成される表示画面を有しており、様々な文字列、図形、画像などを可視情報として画面上に表示する。なお、操作部１２は、表示部１３の画面上に重ねて配置される透明なタッチパネルとして構成される場合もある。
【００２７】
電子メール受信部１４は、他の装置から発信された自局のユーザ宛の電子メールを、通信部１１を経由して所定の通信ネットワークから受信する。なお、電子メール受信部１４が扱う電子メールについては、既存の規格に従って構成されている。すなわち、宛先、送信元等のそれぞれを表すメールアドレス、タイトル等の情報を含むヘッダや、メールの本文を表すテキスト情報を含んでいる。
【００２８】
電子メール受信部１４が受信した各電子メールのデータは、受信済みメールファイル２３として所定の記憶装置上に保存される。また、電子メール受信部１４は、１件の電子メールを受信する毎に、メール着信を表す通知をメール解析部２０に出力する。
【００２９】
画像撮影処理部１５は、ユーザの入力操作により撮影が指示された時に画像の撮影を行う。図示しないが、図１の情報処理装置１には、カメラが搭載されている。このカメラを用いて画像撮影処理部１５は必要な画像を静止画や動画として撮影する。
【００３０】
画像撮影処理部１５により撮影された動画の画像データは、動画データファイル３４として記憶部３３に保存される。また、画像撮影処理部１５により撮影された静止画の画像データは、静止画データファイル３５として記憶部３３に保存される。つまり、記憶部３３は、画像を記憶する画像記憶部としての機能を有する。また、画像撮影処理部１５は、静止画や動画の撮影が完了すると、撮影完了を表す通知をメール解析部２０に出力する。
【００３１】
人物認証処理部１６は、ユーザの入力操作等によって認証開始が指示された時に、記憶部３３に保存されている動画データファイル３４や静止画データファイル３５のデータについて画像認識の処理を実行し、認証処理を行う。具体的には、各画像中に存在する人物を検出し、各人物の顔等の特徴からそれぞれの個人を認証する。顔の認証が完了すると、人物認証処理部１６は顔認証完了の通知をメール解析部２０に出力する。なお、顔認証以外の方法で人物認証を行ってもよい。
【００３２】
アドレス帳１８は、この情報処理装置１のユーザの友人や知人など様々な人物の個人情報を保持するデータベースである。具体的には、氏名、メールアドレス、電話番号、顔等を含む画像、住所、などの情報を互いに関連付けた状態で保持する。つまり、アドレス帳１８は、アドレスとこのアドレスに対応する人物の画像とを記憶するアドレス記憶部としての機能を有する。
【００３３】
アドレス帳管理部１９は、アドレス帳１８の登録内容を管理する。アドレス帳１８が保持する情報は個人情報であり、初期状態ではアドレス帳１８には何も登録されていない。例えば、ユーザが操作部１２に対して所定の入力操作を行うことにより、必要な個人情報を入力し、アドレス帳１８にその個人情報が登録される。情報処理装置１には、アドレス帳１８に未登録の人物について、アドレス帳１８への個人情報の登録操作を支援するための機能が備わっている。この機能については後で詳細に説明する。
【００３４】
キー入力処理部１７は、操作部１２に対するユーザの入力操作を受け付けるための処理を実行し、この情報処理装置１の動作モードや操作部１２の表示状態に応じて適切な指示を各部に与える。
【００３５】
メール解析部２０は、所定のトリガが発生した時に、受信済みメールファイル２３の内容を解析する。例えば、ヘッダ情報解析部２１の宛先判断部２１ａは、受信した電子メールの１件毎に、ヘッダ領域のデータを解析して宛先（ユーザ以外の送信先）や送信元（差出人）として指定されているメールアドレスを抽出する。つまり、メール解析部２０は、アドレス帳１８に登録されていない未登録アドレスをメールから抽出する情報抽出部としての機能を有する。また、電話帳登録アドレス判断部２１ｂは、宛先判断部２１ａの抽出した各メールアドレスの人物の情報がアドレス帳１８に登録済みか否かを識別する。なお、トリガが発生する条件については後で説明する。
【００３６】
検索処理部３０は、メール解析部２０が検出した未登録アドレス（アドレス帳１８に未登録の人物のメールアドレス）に該当する人物の顔画像を、記憶部３３上に蓄積されている画像データの中から抽出する。静止画データ検索処理部３１は、静止画データファイル３５を検索して該当する顔画像を検出する。また、動画データ検索処理部３２は、動画データファイル３４を検索して該当する顔画像を検出する。検索の方法については後で説明する。なお、人物の顔画像は、人物の画像の一例であり、他の人物の部位の画像や人物全体の画像であってもよい。
【００３７】
所定のトリガが発生し、メール解析部２０が受信済みメールファイル２３の中から未登録アドレスを検出した時には、表示部１３は、未登録アドレスと、該当人物の顔画像と、登録推奨情報とを画面上に表示する。該当人物の顔画像は、検索処理部３０の抽出結果である。登録推奨情報は、該当人物の情報（顔画像等）のアドレス帳１８への登録をユーザに促すための情報である。
【００３８】
次に、情報処理装置１の動作例について説明する。
【００３９】
アドレス帳１８に未登録の人物の個人情報の登録を支援するための情報処理装置１の動作例が図２および図３に示されている。まず図２に示す動作について説明する。
【００４０】
ステップＳ１１では、メール解析部２０が、処理対象の受信済みメールファイル２３のヘッダ領域から宛先および差出人のメールアドレスを抽出し、アドレス帳１８に登録済みのメールアドレスが１つ以上存在するか否かを識別する。
【００４１】
アドレス帳１８に登録済みのメールアドレスが全く存在しない場合には、ステップＳ１１からＳ１２に進む。アドレス帳１８に登録済みのメールアドレスが存在する場合には、選択している動作モードに応じてステップＳ１５又はＳ１２に進む。すなわち、未登録の人物の顔画像を登録済みの顔画像を利用して推測する動作モードの場合には、ステップＳ１５に進む。また、未登録の人物の顔画像を時刻情報や場所情報を利用して推測する動作モードの場合には、ステップＳ１２に進む。
【００４２】
ステップＳ１２では、テキスト解析部２２が、処理対象の受信済みメールファイル２３のデータの本文の内容を解析し、この本文の中に、時刻を表す情報（時刻情報）又は場所を表す情報（場所情報）が存在するか否かを識別する。時刻又は場所（位置）の情報が含まれる場合には、テキスト解析部２２がこれらの情報を抽出する。時刻及び場所のいずれの情報も存在しなければ、未登録の人物の顔画像を推測できないので、図２の処理を終了する。また、メール本文に時刻情報が含まれている場合にはステップＳ１３に進み、場所情報が含まれている場合にはステップＳ１４に進む。
【００４３】
ステップＳ１３では、検索処理部３０が、記憶部３３に保持されている動画データファイル３４の各動画および静止画データファイル３５の各画像のデータを参照し、未登録の人物に対応する特定の動画もしくは静止画を抽出する。具体的には、メール解析部２０が未登録の人物を検出した受信済みメールファイル２３のメール本文に含まれている時刻情報を参照し、撮影時刻がこの時刻情報と類似している画像を抽出する。例えば、撮影時刻とこの時刻情報との時間差が所定時間内の時点で撮影された画像を抽出したり、日付の違いだけで区別するためにおよそ同時刻で日付が異なる画像を抽出したりする。
【００４４】
ステップＳ１４では、検索処理部３０が、記憶部３３に保持されている動画データファイル３４および静止画データファイル３５の各動画像のデータを参照し、未登録の人物に対応する特定の動画もしくは静止画を抽出する。具体的には、メール解析部２０が未登録の人物を検出した受信済みメールファイル２３のメール本文に含まれている場所情報を参照し、撮影場所がこの場所情報と類似している画像を抽出する。例えば、撮影場所とこの撮影情報との距離が所定距離内の地点で撮影された画像を抽出したり、撮影場所名が似ている画像を抽出したりする。
【００４５】
ステップＳ１５では、検索処理部３０が、記憶部３３に保持されている動画データファイル３４および静止画データファイル３５の各画像のデータを参照し、未登録の人物に対応する特定の動画もしくは静止画を抽出する。具体的には、人物認証処理部１６により各画像に含まれる顔等の特徴とアドレス帳１８に登録されている登録済みの人物の顔等の特徴とを比較して、登録済みの人物が含まれている静止画または動画を抽出する。
【００４６】
ステップＳ１６では、検索処理部３０が、ステップＳ１３、Ｓ１４、Ｓ１５のいずれかにおいて、条件に該当する静止画または動画を抽出することができたか否かを識別する動画を抽出できた場合はステップＳ１７に進み、静止画を抽出できた場合はステップＳ１８に進み、動画も静止画も抽出できなかった場合は、図２の処理を終了する。
【００４７】
ステップＳ１７では、動画データ検索処理部３２が、ステップＳ１３、Ｓ１４、Ｓ１５のいずれかで抽出された動画のデータに基づいて、未登録の人物に相当する顔画像を推定する。この処理の具体例については後で説明する。
【００４８】
ステップＳ１８では、静止画データ検索処理部３１が、ステップＳ１３、Ｓ１４、Ｓ１５のいずれかで抽出された静止画のデータに基づいて、未登録の人物に相当する顔画像を推定する。この処理の具体例については後で説明する。
【００４９】
このように、検索処理部３０は、記憶部３３に記憶された画像からメール解析部２０により抽出された未登録アドレスに対応する人物の画像を推定する人物画像推定部としての機能を有する。
【００５０】
ステップＳ１９では、ステップＳ１７又はＳ１８において、未登録の人物に相当する顔画像を推定することができたか否かを識別する。推定できた場合はステップＳ２０に進み、推定できなかった場合は図２の処理を終了する。
【００５１】
ステップＳ２０では、表示部１３が、ステップＳ１７又はＳ１８で推定された未登録の人物の顔画像と、メールに含まれる未登録メールアドレスと、これらの情報の登録操作をユーザに対して促すための登録推奨情報と、を画面上に表示する。
【００５２】
ステップＳ２１では、キー入力処理部１７が、ステップＳ２０の画面表示に対するユーザの入力操作を受け付け、入力操作の内容に従って登録を実行するか否かを識別する。登録を実行するための操作を検出した場合は次のステップＳ２２に進み、登録しない場合は図２の処理を終了する。
【００５３】
ステップＳ２２では、アドレス帳管理部１９が、ユーザの入力操作に従って、推定により抽出された顔画像を含む未登録の人物の情報をアドレス帳１８に登録する。また、複数の顔画像が候補として抽出された場合には、アドレス帳管理部１９は、複数の候補の中からユーザが操作部１２等を介して選択した特定の顔画像をアドレス帳１８に登録してもよい。
【００５４】
このように、検索処理部３０は、記憶部３３に記憶された画像のうち、メール解析部２０により抽出された時刻情報との間に所定の類似性を有する時刻に撮影された画像から、未登録アドレスに対応する人物の画像を推定する。これにより、登録すべき人物と一致する可能性が高い画像を抽出することが可能になる。
【００５５】
また、検索処理部３０は、記憶部３３に記憶された画像のうち、メール解析部２０により抽出された位置情報との間に所定の類似性を有する位置で撮影された画像から、未登録アドレスに対応する人物の画像を推定する。これにより、登録すべき人物と一致する可能性が高い画像を抽出することが可能になる。
【００５６】
また、検索処理部３０は、記憶部３３に記憶された画像のうち、メール解析部２０により抽出された登録済アドレスに対応する人物が含まれる画像から、未登録アドレスに対応する人物の画像を推定する。これにより、登録すべき人物と一致する可能性が高い画像を自動的に抽出することが可能になる。
【００５７】
次に、図３に示す動作について説明する。本実施形態においては、様々な状況において未登録の人物の情報の登録を支援するためのトリガが発生し、その都度、前述の図２に示した処理が実行される。具体的には、電子メール受信部１４がメール着信をメール解析部２０に通知した時と、画像撮影処理部１５が撮影完了をメール解析部２０に通知した時と、人物認証処理部１６が顔認証完了をメール解析部２０に通知した時に、それぞれトリガが発生する。
【００５８】
ステップＳ３１においては、電子メール受信部１４が、新たなメールを着信すると、メール着信がメール解析部２０に通知される。この通知によりトリガが発生し、ステップＳ３４に進む。
【００５９】
ステップＳ３２では、画像撮影処理部１５が、操作部１２等を介したユーザの指示に従って動画もしくは静止画の撮影が完了すると、撮影完了をメール解析部２０に通知する。この通知によってトリガが発生した時には、ステップＳ３６に進む。
【００６０】
ステップＳ３３では、記憶部３３に保持されている動画データファイル３４や静止画データファイル３５の各画像に含まれている人物について、人物認証処理部１６が顔等の認証を完了すると、顔認証完了をメール解析部２０に通知する。この通知によってトリガが発生した時には、ステップＳ３６に進む。
【００６１】
ステップＳ３４では、メール解析部２０が、受信済みメールファイル２３のデータを解析し、その中に宛先および差出人のいずれかのメールアドレスとして、アドレス帳１８に登録されていない未登録アドレスが含まれているか否かを識別する。未登録アドレスが含まれている場合は次のステップＳ３５に進み、含まれていなければ図２の処理を終了する。なお、ステップＳ３４で処理対象とする受信済みメールファイル２３については、電子メール受信部１４が最後に受信したメールだけに限定しても良いし、それ以外のメールも同時に処理対象としても良い。
【００６２】
ステップＳ３５では、情報処理装置１は、該当する受信済みメールファイル２３の内容から未登録アドレスを抽出し、このメールアドレスと、推定された顔画像と、をアドレス帳１８に登録するための操作の支援を行う。すなわち、既に説明した図２の処理を、ステップＳ３５で実行する。
【００６３】
ステップＳ３６では、メール解析部２０が、過去に受信した受信済みメールファイル２３が保存されているメール受信ボックスの中から、それぞれのメールのヘッダの内容を順番に参照し、宛先および差出人のいずれかのメールアドレスとして、未登録アドレスが含まれているメールを検索する。
【００６４】
ステップＳ３７では、未登録アドレスが含まれているメールが存在するか否かを識別する。未登録アドレスを含むメールが存在する場合はステップＳ３５に進み、存在しない場合は図２の処理を終了する。
【００６５】
このように、検索処理部３０は、電子メール受信部１４によりメールを受信したときに、未登録アドレスに対応する人物の画像を推定する。これにより、未登録の人物に関する登録の操作を、ユーザはメールの受信を契機とするタイミングで行うことができる。
【００６６】
また、検索処理部３０は、画像撮影処理部１５により画像の撮影が完了したときに、未登録アドレスに対応する人物の画像を推定する。これにより、未登録の人物に関する登録の操作を、ユーザは画像の撮影が完了したことを契機とするタイミングで行うことができる。
【００６７】
また、検索処理部３０は、人物認証処理部１６により顔認証処理が完了したときに、未登録アドレスに対応する人物の画像を推定する。これにより、未登録の人物に関する登録の操作を、ユーザは画像中の顔に対する認証処理が完了したことを契機とするタイミングで行うことができる。
【００６８】
次に、未登録アドレスに対応する人物の顔画像の推定方法について説明する。
【００６９】
検索処理部３０が未登録アドレスに対応する人物の顔画像を推定するための処理については、以下に説明するように、様々な種類の検索条件（判断基準）を適用して検索を行うことが考えられる。また、該当する顔画像を静止画から抽出する場合と動画から抽出する場合とで、それぞれ独立した検索条件を用いることにより、より適切な顔画像を推定することが可能になる。
【００７０】
＜動画から推定する場合の判断基準の具体例＞
（判断基準Ａ：フレーム数又は時間で範囲を規定）
動画を構成する時系列順に並ぶ多数のフレームの中で、アドレス帳１８に登録済みの人物の顔画像が登場するフレームを基準フレームとし、この基準フレームの前後所定範囲内のフレーム群を検索対象とする。この検索対象の範囲をフレーム数又は時間で規定する。そして、この所定範囲内のフレーム群の中で未登録の人物の顔画像を検出した場合に、この未登録の顔画像を未登録アドレスに対応する人物の顔画像として推定する。
【００７１】
例えば、動画撮影時のフレームレートが３０フレーム／秒の場合に、基準フレームの前後３秒間の範囲、つまり、基準フレームの前方９０フレームの位置から基準フレームの後方９０フレームの位置までの範囲内に登場する未登録の顔画像を未登録アドレスの顔画像と推定する。
【００７２】
このように、検索処理部３０は、記憶部３３に記憶された動画像において、アドレス帳１８に記憶された登録済みアドレスに対応する人物が含まれるフレームの前後所定数以内のフレームに、アドレス帳１８に記憶されていない他の人物の画像である未登録人物画像が含まれる場合、その未登録人物画像を未登録アドレスに対応する人物の画像であると推定する。これにより、動画像の中で登録済みの人物が登場するフレームと近い別フレームに未登録の人物が現れる場合には、その未登録の人物がユーザの知人である可能性が高いので登録すべき人物と推定することができる。
【００７３】
（判断基準Ｂ：登場回数を規定）
動画を構成する多数のフレームの中で、アドレス帳１８に登録済みの人物の顔画像と未登録の顔画像とが同時に登場するフレームを検索する。そして、登録済みの人物と共に未登録の同じ顔画像が登場するフレームの数を登場回数としてカウントする。登場回数が規定値以上の未登録の顔画像を未登録アドレスに対応する人物の顔画像として推定する。
【００７４】
例えば、登場回数の規定値が３である場合には、登録済みの人物の顔画像と未登録の同じ顔画像とが同時に登場するフレームが３フレーム以上検出された場合に、未登録の顔画像を未登録アドレスの顔画像と推定する。
【００７５】
このように、検索処理部３０は、記憶部３３に記憶された動画像において、アドレス帳１８に記憶された登録済みアドレスに対応する人物が含まれ、かつ、アドレス帳１８に記憶されていない他の人物の画像である未登録人物画像が含まれるフレームが所定数以上存在する場合、その未登録人物画像を未登録アドレスに対応する人物の画像であると推定する。これにより、登録済みの人物と未登録の人物とが現れる動画像のフレーム数が多い場合は、ユーザの知人である可能性が高いので、その未登録の人物を登録すべき人物と推定することができる。
【００７６】
なお、例えば、第１フレーム〜第４フレーム、第７フレーム〜第１０フレーム、第１５フレーム〜第１７フレームに登録済の人物の顔画像と未登録の顔画像とが同時に登場する場合、連続するフレーム（フレーム群）を上記の登場回数としてもよい。この場合、登場回数は３回となる。また、各フレームを上記の登場回数としてもよい。この場合、登場回数は１０回となる。
【００７７】
（判断基準Ｃ：ファイル数を規定）
記憶部３３に記憶された動画データを記録した動画ファイルが複数存在している場合に、アドレス帳１８に登録済みの人物の顔画像と未登録の顔画像との両者が含まれている動画ファイルを検索する。そして、登録済みの人物と未登録の同じ顔画像とが登場する動画ファイルの数が規定値以上の場合に、検出された未登録の顔画像を未登録アドレスに対応する人物の顔画像として推定する。
【００７８】
例えば、ファイル数の規定値が３である場合には、登録済みの人物の顔画像と未登録の同じ顔画像とが登場する動画ファイルが３つ以上検出された場合に、未登録の顔画像を未登録アドレスの顔画像と推定する。
【００７９】
このように、検索処理部３０は、記憶部３３に記憶された動画像のうち、アドレス帳１８に記憶された登録済みアドレスに対応する人物が含まれ、かつ、アドレス帳１８に記憶されていない他の人物の画像である未登録人物画像が含まれる動画像のファイルが所定数以上存在する場合、その未登録人物画像を未登録アドレスに対応する人物の画像であると推定する。これにより、登録済みの人物と未登録の人物とが現れる動画像のファイルの数が多く存在する場合には、ユーザの知人である可能性が高いので、その未登録の人物を登録すべき人物と推定することができる。
【００８０】
（判断基準Ｄ：登場時間を規定）
動画を構成する多数のフレームの中で、アドレス帳１８に登録済みの人物の顔画像と未登録の顔画像とが同時に登場するフレームを検索する。そして、登録済みの人物と共に未登録の同じ顔画像が登場する時系列順のフレーム群について、未登録の同じ顔画像が連続的に登場している時間の長さが規定値以上の場合に、未登録の顔画像を未登録アドレスに対応する人物の顔画像として推定する。
【００８１】
例えば、登場時間の規定値が３秒である場合には、登録済みの人物の顔画像と未登録の同じ顔画像とが同時に登場するフレーム群の中で、未登録の同じ顔画像が連続的に登場している時間の長さが３秒以上の場合に、未登録の顔画像を未登録アドレスの顔画像と推定する。
【００８２】
このように、検索処理部３０は、記憶部３３に記憶された動画像において、アドレス帳１８に記憶された登録済みアドレスに対応する人物が含まれるフレーム群の中に、アドレス帳１８に記憶されていない他の人物の画像である未登録人物画像が含まれるフレームが所定時間分以上存在する場合、その未登録人物画像を未登録アドレスに対応する人物の画像であると推定する。これにより、登録済みの人物と未登録の人物とが現れる動画像の中で未登録の人物が現れる時間が比較的長い場合には、ユーザの知人である可能性が高いので、その未登録の人物を登録すべき人物と推定することができる。
【００８３】
＜静止画から推定する場合の判断基準の具体例＞
（判断基準Ｅ：人物間の距離を規定）
１つの静止画の画像中に、アドレス帳１８に登録済みの人物の顔画像と未登録の顔画像とが同時に登場している場合に、登録済みの顔画像と未登録の顔画像との間の距離を検出する。この距離が規定値以下の場合には、未登録の顔画像を未登録アドレスに対応する人物の顔画像として推定する。
【００８４】
例えば、図４（Ａ）に示すように、登録済みアドレスの人物Ｐ１と未登録の顔画像Ｑ１との距離が近い場合には、両者の人物は互いに知人である可能性が高く、未登録の顔画像Ｑ１の人物がユーザの知人である可能性も高いので、未登録の顔画像Ｑ１を未登録アドレスの顔画像と推定することができる。一方、図４（Ｄ）に示すように、登録済みアドレスの人物Ｐ１と未登録の顔画像Ｑ１との画像中の距離が離れている場合には、両者の人物は知人ではない可能性もあるので、未登録アドレスの人物ではないものと推定する。
【００８５】
このように、検索処理部３０は、記憶部３３に記憶された静止画像において、アドレス帳１８に記憶された登録済みアドレスに対応する人物から所定距離以内に、アドレス帳に記憶されていない他の人物が存在する場合、その他の人物の画像を未登録アドレスに対応する人物の画像であると推定する。これにより、登録済みの人物と未登録の人物とが含まれる静止画像の中で両者間の距離が比較的近い場合には、ユーザの知人である可能性が高いので、その未登録の人物を登録すべき人物と推定することができる。
【００８６】
（判断基準Ｆ：撮影者からの距離を規定）
１つの静止画の画像中に、アドレス帳１８に登録済みの人物の顔画像と未登録の顔画像とが同時に登場している場合に、登録済みの人物の顔画像と撮影者との距離と、未登録の顔画像と撮影者との距離と、の違いを検出する。この場合、例えば顔の大きさの違いあるいは人物の身長の違いに基づいて検出する。そして、登録済みの人物の顔画像と撮影者との距離と、未登録の顔画像と撮影者との距離と、の比率が規定値以内の場合に、未登録の顔画像Ｑ１を未登録アドレスに対応する人物の顔画像として推定する。
【００８７】
例えば、図４（Ｂ）に示すように、登録済みアドレスの人物Ｐ１と未登録の顔画像Ｑ１とが同じ画像中に現れている場合であっても、登録済みアドレスの人物Ｐ１と比べて撮影者からの距離が明らかに遠い未登録の顔画像Ｑ１の人物は、知人ではない可能性が高いので、未登録アドレスの人物ではないものと推定する。
【００８８】
このように、検索処理部３０は、記憶部３３に記憶された静止画像において、アドレス帳１８に記憶された登録済みアドレスに対応する人物と静止画像の撮影者との距離である第１の距離と、静止画像に含まれるアドレス帳１８に記憶されていない他の人物と静止画像の撮影者との距離である第２の距離と、の比が所定比以下である場合、その他の人物の画像を未登録アドレスに対応する人物の画像であると推定する。これにより、登録済みの人物と未登録の人物とが含まれる静止画像の中で両者の撮影者からの距離が同等である場合には、ユーザの知人である可能性が高いので、その未登録の人物を登録すべき人物と推定することができる。
【００８９】
（判断基準Ｇ：人物間の顔の数を規定）
１つの静止画の画像中に、アドレス帳１８に登録済みの人物の顔画像と、未登録の顔画像と、更にその他の顔画像とが同時に登場している場合に、登録済みの顔画像と未登録の顔画像との間に存在するその他の顔画像の数を検出し、この数が規定値以下の場合に未登録の顔画像を未登録アドレスに対応する人物の顔画像の候補として推定する。
【００９０】
例えば、図４（Ｄ）に示すように、登録済みアドレスの人物Ｐ１と未登録の顔画像Ｑ１との間にその他の顔画像Ｒ１〜Ｒ３に対応する３人の人物が存在している場合には、登録済みアドレスの人物と未登録の顔画像の人物との関係が希薄である可能性が高い。つまり、図４（Ｄ）の場合は未登録の顔画像の人物はユーザの知人ではない可能性が高いので、未登録アドレスの人物ではないものと推定する。
【００９１】
このように、検索処理部３０は、記憶部３３に記憶された静止画像において、アドレス帳１８に記憶された登録済みアドレスに対応する人物と、アドレス帳１８に記憶されていない他の人物と、の間に存在する人物の数が所定数以下の場合、その他の人物の画像を未登録アドレスに対応する人物の画像であると推定する。これにより、多数の人物が含まれる静止画像の中で、登録済みの人物と未登録の人物との間に存在する第三者の人数が所定数以下の場合は、ユーザの知人である可能性が高いので、その未登録の人物を登録すべき人物と推定することができる。
【００９２】
次に、情報処理装置１の画面表示例について説明する。
【００９３】
情報処理装置１の外観及び様々な画面表示状態の具体例が図５（Ａ）〜（Ｄ）に示されている。図５（Ａ）〜（Ｄ）に示した表示例について以下に説明する。
【００９４】
情報処理装置１が電子メールを受信した場合には、受信メールの内容として図５（Ａ）に示すような情報が表示部１３に表示される。図５（Ａ）の画面に表示された受信メールには、日時５１ａ、差出人５１ｂ、宛先５１ｃ、宛先５１ｄ、本文５１ｅの各情報が含まれている。なお、図５（Ａ）のメールの例には、差出人５１ｂの情報として「Ｋ朗君」のメールアドレスが含まれており、宛先５１ｃの情報として自分のメールアドレスが含まれている。
【００９５】
図５（Ａ）に示した例では、宛先５１ｄのメールアドレス「aabbcc@xxx.ne.jp」がアドレス帳１８にまだ登録されていない状態を想定している。従って、例えばこの電子メールを受信した時に発生するトリガによって、図３に示したステップＳ３１からＳ３４の処理に進み、宛先の「aabbcc@xxx.ne.jp」が未登録アドレスであるためステップＳ３５（図２の内容）が実行される。
【００９６】
そして、図２に示すステップＳ２０において、図５（Ｂ）又は図５（Ｃ）に示すような情報が表示部１３に表示される。すなわち、図２のステップＳ１７、Ｓ１８で推定された結果として単一の顔画像だけが候補として検出された場合には図５（Ｂ）の画面が表示され、複数の顔画像が候補として検出された場合には図５（Ｃ）の画面が表示される。
【００９７】
図５（Ｂ）においては、ポップアップ表示されたウィンドウ内に、未登録アドレスである「aabbcc@xxx.ne.jp」の文字列情報５２ａと、推定により得られた顔画像５２ｂと、これらの登録を促す登録推奨情報５２ｃとしての情報（「ではないですか？」）とが表示されている。更に、図５（Ｂ）の画面中には、メールリンクボタン５２ｄ、静止画リンクボタン５２ｅ、アドレス帳登録ボタン５２ｆ、登録済み人物表示部５２ｇも表示されている。
【００９８】
メールリンクボタン５２ｄには、未登録アドレスが検出された特定のメールを呼び出して内容を表示するためのリンクが割り当てられている。
【００９９】
静止画リンクボタン５２ｅは、推定した顔画像が静止画から抽出された場合に表示される。このボタンにはその静止画を呼び出して内容を表示するためのリンクが割り当てられている。また、推定した顔画像が動画から抽出された場合には、その動画を呼び出すための動画リンクボタン（図示せず）が静止画リンクボタン５２ｅの代わりに表示される。
【０１００】
アドレス帳登録ボタン５２ｆには、図５（Ｂ）の画面に表示された未登録アドレスおよび推定された顔画像の情報をアドレス帳１８に登録するための表示画面へ遷移するための機能が割り当てられている。つまり、この画面が表示された状態でユーザが操作部１２を介してアドレス帳登録ボタン５２ｆをクリックすると、未登録アドレスおよび推定された顔画像の情報をアドレス帳１８に登録するための画面に進むことができる。
【０１０１】
登録済み人物表示部５２ｇは、登録済み人物に関連する情報を表示する。図５（Ｂ）の例では、差出人である「Ｋ朗君」が登録済みの人物であり、この人物（Ｋ朗君）と宛先の未登録アドレスの人物とが知り合いの可能性があることを表すメッセージを登録済み人物表示部５２ｇで表示している。
【０１０２】
図５（Ｃ）においては、ポップアップ表示されたウインドウ内に、未登録アドレスである「aabbcc@xxx.ne.jp」の文字列情報５３ａと、推定により得られた顔画像として複数の候補が存在することを表すメッセージ５３ｂと、登録を促す登録推奨情報５３ｈとしての情報（「登録しますか？」）とが表示されている。更に、図５（Ｃ）の画面中には、顔画像候補表示ボタン５３ｃ、メールリンクボタン５３ｄ、静止画リンクボタン５３ｅ、アドレス帳登録ボタン５３ｆ、登録済み人物表示部５３ｇも表示されている。
【０１０３】
顔画像候補表示ボタン５３ｃには、図５（Ｄ）で示す画面へ遷移するためのリンクが割り当てられている。つまり、ユーザが操作部１２等を介して顔画像候補表示ボタン５３ｃをクリックすると、図５（Ｄ）に示すように、推定された複数の顔画像が候補の一覧５４ａとして表示され、これらのいずれか１つをユーザが選択できる。
【０１０４】
メールリンクボタン５３ｄには、未登録アドレスが検出された特定のメールを呼び出して内容を表示するためのリンクが割り当てられている。
【０１０５】
静止画リンクボタン５３ｅは、推定した顔画像が静止画から抽出された場合に表示される。このボタンにはその静止画を呼び出して内容を表示するためのリンクが割り当てられている。また、推定した顔画像が動画から抽出された場合には、その動画を呼び出すための動画リンクボタン（図示せず）が静止画リンクボタン５３ｅの代わりに表示される。
【０１０６】
アドレス帳登録ボタン５３ｆには、図５（Ｃ）の画面に表示された未登録アドレスおよび推定された顔画像の情報をアドレス帳１８に登録するための表示画面へ遷移するための機能が割り当てられている。但し、顔画像の候補が複数存在する場合には、画面５４を表示し、いずれか１つの顔画像をユーザが操作部１２等を介して登録対象として選択した後で、登録のための画面に遷移する。
【０１０７】
このような本実施形態の情報処理装置１によれば、所定の条件でトリガが発生した時に、受信した電子メールの差出人や宛先のメールアドレスとして未登録アドレスが存在する場合に、この情報をユーザは簡単な操作でアドレス帳１８に登録できる。特に、未登録アドレスに対応する人物の顔画像を自動的に推定し表示するので、顔画像を含む個人情報の登録が容易になる。
【産業上の利用可能性】
【０１０８】
本発明は、ユーザと関係のある人物の画像を含む未登録情報を電話帳等に登録するためのユーザの入力操作を支援することが可能な情報処理装置、情報処理方法、および情報処理プログラム等に有用である。
【符号の説明】
【０１０９】
１  情報処理装置
１１  通信部
１２  操作部
１３  表示部
１４  電子メール受信部
１５  画像撮影処理部（画像撮影部の一例）
１６  人物認証処理部（顔認証処理部の一例）
１７  キー入力処理部
１８  アドレス帳（アドレス記憶部の一例）
１９  アドレス帳管理部
２０  メール解析部（情報抽出部の一例）
２１  ヘッダ情報解析部
２１ａ  宛先判断部
２１ｂ  電話帳登録アドレス判断部
２２  テキスト解析部
２３  受信済みメールファイル
３０  検索処理部（人物画像推定部の一例）
３１  静止画データ検索処理部
３２  動画データ検索処理部
３３  記憶部（画像記憶部の一例）
３４  動画データファイル
３５  静止画データファイル
【図１】
2014149554.tif 000003
【図２】
2014149554.tif 000004
【図３】
2014149554.tif 000005
【図４】
2014149554.tif 000006
【図５】
2014149554.tif 000007