(57)【特許請求の範囲】
【請求項１】
送受信した電子メールを表示する機能を有する電子メール表示装置であって、
前記電子メールの各々に割り振られた固有のＩＤ情報を保存するメールデータ記録手段と、画像を保存する画像データ記録手段と、前記画像に固有の特徴をタグ情報として管理する画像管理用データベース手段と、を有しており、
前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報を関連づけることによって、互いに関連づけされた電子メールと画像とを同時に表示する電子メール表示装置であって、
前記関連づけは、
前記電子メールの送受信日時及び前記電子メールの本文中に含まれる日時のうち少なくとも一方と、前記画像の撮影日時との差の絶対値を変数とする関数項、前記電子メールの発着信の相手人名と、画像に固有のタグ情報としての人名との一致の有無を表す項、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項のうちの全ての項を含む多項式により表される関連度が、所定の閾値以上である場合に、前記ＩＤ情報と前記タグ情報とを関連付けるものである電子メール表示装置であって、
前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項は、キーワードが属するカテゴリに応じて、重み係数が異なることを特徴とする電子メール表示装置。
【請求項２】
請求項１に記載の電子メール表示装置であって、
スケジューラのデータを保存するスケジュールデータ記憶領域から、画像データ中の日時をその時間帯に含むスケジュールを探し、そのスケジュールに含まれる予定、要件、人の少なくとも１つをタグ情報として追加する手段、
画像データ中の位置情報に対応する地名、場所特有のキーワード、ランドマーク情報の少なくとも１つを検索して、タグ情報として追加する手段、
画像データ中のコメントからのキーワードをタグ情報として追加する手段、
のうちの少なくとも１つを更に備えることを特徴とする電子メール表示装置。
【請求項３】
請求項１又は２に記載の電子メール表示装置であって、
前記電子メールの固有のＩＤ情報は、内容が関連している一連の送受信メールをまとめて認識することが可能なグループＩＤと、共通のグループＩＤを有する複数の電子メールを時系列順に並べて最も古いものから順に振られたものである個別ＩＤとであり、
グループＩＤに関連付けられているが、個別ＩＤに関連付けられていない画像群に関しては、
前記電子メールと、その発着信日時と撮影日時が一番近い画像と、を同時表示することを特徴とする電子メール表示装置。
【請求項４】
請求項１乃至３の何れか１項に記載の電子メール表示装置であって、
前記画像の固有のタグ情報には、前記画像が取得された日時、前記画像が取得された場所を示す位置情報、及び前記画像に記録されたコメントが含まれることを特徴とする電子メール表示装置。
【請求項５】
請求項１乃至４の何れか１項に記載の電子メール表示装置であって、
前記データベース手段は外部ネットワークに接続されており、
前記外部ネットワークから前記画像又は画像の特徴の情報を取得することを特徴とする電子メール表示装置。
【請求項６】
請求項５に記載の電子メール表示装置であって、
前記電子メール本文中に電話番号が含まれている場合は、前記データベース手段が、該電話番号に関連する前記画像又は画像の特徴の情報を前記外部ネットワークから取得し、前記画像を表示することを特徴とする電子メール表示装置。
【請求項７】
請求項５又は６に記載の電子メール表示装置であって、
前記電子メール本文中にＵＲＬ情報が含まれている場合は、前記データベース手段が、該ＵＲＬ情報を含むサイトの関連画像及び該サイトを表示した際の画面イメージのうち少なくとも一方を、前記外部ネットワークから取得し表示することを特徴とする電子メール表示装置。
【請求項８】
電子メール表示装置における電子メール及び画像の仕分け方法であって、
前記電子メールの各々に固有のＩＤ情報を割り振る工程と、
前記通信端末装置に保存されている画像の特徴をタグ情報として抽出してデータベースを作る工程と、
前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報とを関連づけることで、電子メールと画像を関連づける工程と、
前記通信端末装置に前記電子メールを表示するのと同時に、該電子メールと関連づけされた画像を表示する工程と、
を有する通信端末装置における電子メール及び画像の仕分け方法であって、
前記関連づけは、
前記電子メールの送受信日時及び前記電子メールの本文中に含まれる日時のうち少なくとも一方と、前記画像の撮影日時との差の絶対値を変数とする関数項、前記電子メールの発着信の相手人名と、画像に固有のタグ情報としての人名との一致の有無を表す項、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項のうちの全ての項を含む多項式により表される関連度が、所定の閾値以上である場合に、前記ＩＤ情報と前記タグ情報とを関連付けるものである仕分け方法であって、
前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項は、キーワードが属するカテゴリに応じて、重み係数が異なることを特徴とする仕分け方法。
【請求項９】
送受信した電子メールを表示する機能を有する電子メール表示装置としてコンピュータを機能させるためのプログラムであって、
コンピュータを、
前記電子メールの各々に割り振られた固有のＩＤ情報を保存するメールデータ記録手段と、画像を保存する画像データ記録手段と、前記画像に固有の特徴をタグ情報として管理する画像管理用データベース手段として機能させ、
前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報を関連づけることによって、互いに関連づけされた電子メールと画像とを同時に表示する電子メール表示装置としてコンピュータを機能させるためのプログラムであって、
前記関連づけは、
前記電子メールの送受信日時及び前記電子メールの本文中に含まれる日時のうち少なくとも一方と、前記画像の撮影日時との差の絶対値を変数とする関数項、前記電子メールの発着信の相手人名と、画像に固有のタグ情報としての人名との一致の有無を表す項、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項のうちの全ての項を含む多項式により表される関連度が、所定の閾値以上である場合に、前記ＩＤ情報と前記タグ情報とを関連付けるものであるプログラムであって、
前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項は、キーワードが属するカテゴリに応じて、重み係数が異なることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子メールの送受信及び管理を行うことが可能な通信端末装置に関する。
【背景技術】
【０００２】
現在、日常のコミュニケーション手段の１つとして、携帯情報端末やＰＣなどにおいて電子メールは広く利用されており、ＨＴＭＬメールや画像及び音楽などのデータが添付された印象的なメールも簡単に作成できるようになっている。また、送受信メールなどを整理して一覧する技術や、送受信メールを漫画形式に変換する技術なども開発されており、電子メールの利便性はますます高まっている。
【０００３】
しかし、電子メールの一般化に伴って、個人の携帯情報端末やＰＣには数多くの電子メールが保存されることになり、過去のメールを読もうとする場合、複数のメール間における話題の関連性やその内容を忘れていることが多くなっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２５２１９９号公報
【特許文献２】特開２００２−２４４９７６号公報
【特許文献３】特開２０００−１６３３３９号公報
【特許文献４】特開２００９−１４５９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これに対して、特許文献１、２及び３のように、送受信メールの繋がりをわかりやすく整理する方法は複数存在しており、電子メールを受信するとヘッダ情報の解析を行い、特定のメールのやり取りをまとめてマトリックス状に表示する方法などが考案されている。このような機能は、特定のメールのやり取りを連続表示することができるので有用である。
【０００６】
しかしながら、以上の機能は関連する一連の送受信メールを表示するのみであり、そのメールが非常に古いものである場合、記載されている文書のみでは当時の記憶や状況がわかりづらく、状況をイメージしにくい場合が想定される。  
【０００７】
これに対し、特許文献４には、複数の電子メール内のメール文と各電子メールに関連付けられた送信者画像とを合成して時系列に並ぶ複数のコマから成る漫画を形成する方法が開示されている。これは、添付画像、決められたキーワードの登録画像及びＧＰＳ情報などから漫画を作成することで、複数の電子メールを読みやすくまとめることができる。しかしながら、この発明ではメール本文に取り込む画像情報が限定的なものとなっており、使用者の記憶を触発するには十分でない。
【０００８】
本発明は、上記課題に鑑みて考案されたものであり、一連の電子メールと関連の深い画像を紐付け（関連づけ）してメディア情報を管理し利用者へ提示することで、当時の状況把握や感情喚起を誘導させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、送受信した電子メールを表示する機能を有する電子メール表示装置であって、前記電子メールの各々に割り振られた固有のＩＤ情報を保存するメールデータ記録手段と、画像を保存する画像データ記録手段と、前記画像に固有の特徴をタグ情報として管理する画像管理用データベース手段と、を有しており、前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報を関連づけることによって、互いに関連づけされた電子メールと画像とを同時に表示する電子メール表示装置であって、前記関連づけは、前記電子メールの送受信日時及び前記電子メールの本文中に含まれる日時のうち少なくとも一方と、前記画像の撮影日時との差の絶対値を変数とする関数項、前記電子メールの発着信の相手人名と、画像に固有のタグ情報としての人名との一致の有無を表す項、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項のうちの全ての項を含む多項式により表される関連度が、所定の閾値以上である場合に、前記ＩＤ情報と前記タグ情報とを関連付けるものである電子メール表示装置であって、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項は、キーワードが属するカテゴリに応じて、重み係数が異なることを特徴とする。
【００１０】
また、本発明は、電子メール表示装置における電子メール及び画像の仕分け方法であって、前記電子メールの各々に固有のＩＤ情報を割り振る工程と、前記通信端末装置に保存されている画像の特徴をタグ情報として抽出してデータベースを作る工程と、前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報とを関連づけることで、電子メールと画像を関連づける工程と、前記通信端末装置に前記電子メールを表示するのと同時に、該電子メールと関連づけされた画像を表示する工程と、を有する通信端末装置における電子メール及び画像の仕分け方法であって、前記関連づけは、前記電子メールの送受信日時及び前記電子メールの本文中に含まれる日時のうち少なくとも一方と、前記画像の撮影日時との差の絶対値を変数とする関数項、前記電子メールの発着信の相手人名と、画像に固有のタグ情報としての人名との一致の有無を表す項、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項のうちの全ての項を含む多項式により表される関連度が、所定の閾値以上である場合に、前記ＩＤ情報と前記タグ情報とを関連付けるものである仕分け方法であって、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項は、キーワードが属するカテゴリに応じて、重み係数が異なることを特徴とすることを特徴とする。
更に、本発明は、送受信した電子メールを表示する機能を有する電子メール表示装置としてコンピュータを機能させるためのプログラムであって、コンピュータを、前記電子メールの各々に割り振られた固有のＩＤ情報を保存するメールデータ記録手段と、画像を保存する画像データ記録手段と、前記画像に固有の特徴をタグ情報として管理する画像管理用データベース手段として機能させ、前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報を関連づけることによって、互いに関連づけされた電子メールと画像とを同時に表示する電子メール表示装置としてコンピュータを機能させるためのプログラムであって、前記関連づけは、前記電子メールの送受信日時及び前記電子メールの本文中に含まれる日時のうち少なくとも一方と、前記画像の撮影日時との差の絶対値を変数とする関数項、前記電子メールの発着信の相手人名と、画像に固有のタグ情報としての人名との一致の有無を表す項、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項のうちの全ての項を含む多項式により表される関連度が、所定の閾値以上である場合に、前記ＩＤ情報と前記タグ情報とを関連付けるものであるプログラムであって、前記電子メールのタイトル中又は本文中のキーワードと、画像に固有の何れかのタグ情報との共通の有無を表す前記キーワード毎の項は、キーワードが属するカテゴリに応じて、重み係数が異なることを特徴とする。
【発明の効果】
【００１１】
本発明によって、整理された特定メールのやり取り情報を参照する際に、メールの内容に関連する画像を同時に利用者に提示することで、より強い印象を使用者に与え、状況のイメージの想起を補助することができる。また、位置情報やメール本文のキーワードだけでなく、スケジュールやブラウザの表示履歴情報などを加味した上で表示する画像を選択するため、より当時の状況に適合した表示を行うことができる。
【００１２】
このように、本発明は、利用者の心を揺さぶり、当時を懐かしむようなビューアとしての用途に利用することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の通信端末装置の一実施形態の概略的な構成図を示す。
【図２】本発明の具体的な利用イメージの例を示す。
【図３】画像のタグ情報を付けるフローチャートを示す。
【発明を実施するための形態】
【００１４】
以下、本発明の通信端末装置の実施形態について図を参照しながら詳細に説明する。しかし、本発明は以下の実施形態に限定されることはない。
【００１５】
（構成の説明）
最初に、本発明の通信端末装置の実施形態に関して、その全体構成を説明する。図１は、本発明の通信端末装置の一実施形態の概略的な構成図である。
【００１６】
本実施形態は、特定のメールのやり取り内容をＩＤで管理し、スケジュールデータ、ＧＰＳ情報、画像ヘッダのタグ情報を基にタグ付けされた画像データベースを紐付けて管理する機能と、特定のメールのやり取りを行う際に関連する画像を表示する機能と、から主に構成される。
【００１７】
より詳細には、データを格納するメモリ領域（１０）と、情報の解析や表示画面の画面構成を決定するＣＰＵ（２０）と、実際にデータを表示する表示装置（３０）と、から本実施形態は構成されている。上記メモリ領域（１０）には、各種のデータを保存する複数の領域が存在する。そのデータ保持領域としては、メールのやり取り毎における固有のＩＤ情報を保持するメールデータ記録領域（１２）、画像データを保存する画像データ記録領域（１３）、スケジューラのデータを保存するスケジュールデータ記録領域（１４）、各画像データの特徴である、メール送受信日時、画像の撮影日時、ＧＰＳ情報、画像に記録されたコメント及びスケジューラデータを分析した結果をまとめて管理するデータベース領域（１１）がある。さらに、必要に応じて、上記データベース領域は、外部ネットワーク（４０）と接続され、そこから必要な情報を取得することができるように構築することも可能である。
【００１８】
システム構成によって、スケジュールデータを利用しない場合は、除外してもよい。
【００１９】
（動作の説明）
これより、本発明の実施形態の動作を説明する。  
【００２０】
初めに、予めメールボックスに保存されているメールに対して、画像データとメールデータを紐付ける（関連させる）手順に関して説明を行う。
【００２１】
まず、送受信されたメールの一連のやり取りをメールヘッダ情報にある、メール送信先、Ｓｕｂｊｅｃｔ、Ｍｅｓｓａｇｅ−ＩＤ、Ｒｅｆｅｒｅｎｃｅｓなどを利用して抽出する。メール受信環境によっては、全てのヘッダ情報が取得できない場合があり、それを考慮した上で実装することが求められる。一般的なＰＣ用のメーラーの場合、Ｍｅｓｓａｇｅ−ＩＤ、Ｒｅｆｅｒｅｎｃｅｓから一連のメールを判断することが可能だが、携帯情報端末などで、ヘッダ情報を切り捨てて受信するメーラーを利用する場合など、メールの件名や送受信相手情報などを含めて判断が必要な場合があるが、このメールのやり取り情報の抽出は、一般的にメール送受信分野において広く使用されている既存技術を用いることとする。
【００２２】
上記抽出処理と並行して、抽出されたメールデータと画像データの紐付けを行うための準備として、各送受信メールに対してメールグループＩＤ（以下、『グループＩＤ』と表記する）とメール個別ＩＤ（以下、『個別ＩＤ』と表記する）を割り振る。
【００２３】
ここで、『グループＩＤ』とは、抽出された一連の送受信メールを一意に認識可能とするために割り振る番号である。また、『個別ＩＤ』は、共通のグループＩＤを持つ一連のメールに対して、時系列順に並べたときに最も古いメールを１として、昇順に割り振られた番号である。このグループＩＤを割り振ることで、一度抽出されたメールに対しては高速に表示が可能となる。また、グループＩＤが割り振られたメールを抽出することで、関連するメールを即座に表示することも可能である。なお、個別ＩＤを割り振る際に、送信メールと受信メールの内どちらか一方に対して、ＩＤの補数を記録するように設定するなどして、送信又は受信メールの区別を付けて利用することもできる。
【００２４】
なお、新規にメールを受信又は発信した際は、その時点で関連メールを検索し、グループＩＤと個別ＩＤを割り当てる。一般的に、関連するメールは時系列上に並べた際、送受信日時が比較的近いメールである確率が高いため、最新のメールから順にチェックして関連するメールを見つけた段階で各ＩＤを登録すれば、処理時間を短くすることができる。
【００２５】
ただし、メール送受信時のＩＤ割り当て機能は、ＯＮ又はＯＦＦを可能として、初期状態はＯＦＦとするのが望ましい。「初めにＯＮにする場合は、既存メールデータに対するＩＤ設定を一度行う必要がある」という制約を付けることで、メール受信時のＩＤ割り当て時に、他のメールにＩＤが割り当てられていないという状況を防ぐ方が好ましい。この制約がない場合は、初期状態で既存のメールにＩＤが付加されていないため、初めてメールを受信した段階で全メールに対して関連メールが存在するかを分析する必要が発生し、メールの件数によっては、全メールデータにＩＤを割り振る場合時間がかかる可能性があるためである。
【００２６】
なお、関連メールを１件見つけた段階でそのメールに対し共通ＩＤを割り振り、後から全メールへのＩＤ割り当てを実施することも可能だが、この方法においては例外処理などのため処理時間が増加することを注意する。
【００２７】
次に、各メールと画像データを紐付ける（関連づける）。
【００２８】
まず、メールデータと画像データを紐付ける前段階として、予め、各画像ファイルに関連するキーワード（すなわち、メールデータと紐付けを行う際に利用する各画像の特徴）をデータベース化して登録及び管理する。これ以降、各画像の特徴をあらわす前記キーワードのことを『タグ情報』と表記する。また、画像データのヘッダに情報を書き込める画像形式の場合は、テーブル管理と同時にキーワードをヘッダに記録してもよい。また、データベースに画像が登録されているか判断するために、データベース登録の有無を識別する識別子をヘッダ情報に書き込んでもよい。
【００２９】
タグ情報を登録するための具体的な処理の一例を示したものが、図３のフローチャートである。プロセスの一部を省略し、時間と精度の調整を行ってもよい。
【００３０】
スケジューラに記載された日時、予定内容、会う人などの情報を元に、利用者が保有している写真の撮影日時と照合するのがプロセス（２０７）である。画像の撮影日時情報を元に、スケジュール機能に登録されているその時間帯の予定や用件、会った人の情報をチェックし、タグ情報として追加するプロセスである。
【００３１】
次にプロセス（２０８）では、位置情報から地名や場所特有のキーワードをインターネット上から検索し、タグ情報として記録する。前のプロセス（２０７）において、スケジューラから地名やランドマーク情報がタグ情報として保存されている場合は、タグ情報を元に関連キーワードを取得してタグ情報に付加してもよい。ただし、他者が撮影した画像の場合、スケジューラ情報と無関係な画像を結び付ける可能性があるため、スケジューラ利用者本人やそのとき会っていた相手情報と画像の撮影者情報が違う場合は、タグを付加しないようにしてもよい。その他のプロセスとして、画像ファイルのヘッダ情報として予めコメントが記載されている場合はキーワードをタグ情報として追加するプロセス（２０９）から処理が構成される。これらのタグ情報はデータベース化され画像情報と紐付けがされる。
【００３２】
携帯情報端末などで、写真撮影を行ったり、外部から画像を取得する場合、エージェント機能などにより、画像保存時に画像に関するコメント入力させたり、なぜ、この画像を保存しようとしているのかを選択形式で取得することで画像データとそのときの利用者の感情とを結び付けて保存してもよい。ただし、このような機能は利用者によっては、嫌悪感を抱く場合があるため、ＯＮ／ＯＦＦ可能にするのが望ましい。
【００３３】
このタグ付けのとき、例えば、旅行の際事前に行くメンバーの名前情報を装置に入力しておくことで、旅行期間中の写真に対して、メンバー情報をタグとして付加することができるようにしてもよい。メールに添付されていた画像は、メール発信時期、発信者情報の他、メールの件名又は本文から関連キーワードを登録しておくことで利用可能となる。
【００３４】
上記のタグ情報は、個人情報保護の観点から、実名を使用せずに暗号化して、一意に識別可能なデータとして保存することも可能である。暗号化の方式は特に定めないが、エンコードされたタグ情報は必ずしもデコードができる必要はなく、特定キーワードをパスワードとした非可逆変換でも問題ない。ｍｄ５のようなハッシュ関数を利用して、照合を行ってもよい。
【００３５】
指定したフォルダに対してデータベース化処理を行う場合及び新規で対象フォルダに画像を移動した場合には、以上説明したようなタグ情報を付与する処理が求められる。ここで、新規に追加された画像の一例としては、外部のメモリから取り込まれた画像、インターネットなど外部ネットワークから取得した画像、携帯情報端末などに付属されているカメラによって新規に撮影保存された画像、及びイラスト作成アプリケーションや画像加工アプリケーションにより新規で保存された画像などがある。ただし、外部メモリから予め指定されているフォルダへ画像をコピーする際や携帯情報端末に付属するカメラで写真を撮影し保存した際に処理を実行するか、利用者が意図的に指定したときのみに処理を実行するかは、設計者によって設定されてもよいし、利用者の方で任意に設定可能としてもよい。
【００３６】
以上のようにして画像のタグ情報が登録された後、メールのグループＩＤ若しくは個別ＩＤ毎の発着信日時、発信者、着信者やメール本文内容と画像のタグ情報とを照合し、関連の有無を判定する。関連が強いと判定された場合は、データベースの対象画像に対して、グループＩＤ及び個別ＩＤを登録する。関連の強さの判定は、以下に説明するプロセスで実行することが可能である。しかし、下記プロセスは一例であり、これ以外の判断基準を利用して関連強さを判定することも可能であることを注意する。
【００３７】
関連の強さを関連度Ｙで表し、以下のプロセスでＹを導出する。ただし、文中のパラメータであるＡ、Ｂ、Ｋ、Ｌ、Ｎは、調整可能とする。まず、メールの送受信日時情報、メール本文に含まれる日時情報と、画像の撮影日時情報との差の絶対値Ｎを計算し、Ｙ＝Ａ／ｆ（Ｎ）を導出する。ここで、ｆ（Ｎ）はＮの値によって変化する関数を意味しており、メールの日時情報と画像の日時情報が近い値ほど小さくなるような任意の関数（例えばｆ（Ｎ）＝Ｎなど）とする。ただし、時刻情報がメール中に複数存在する場合は、全てのＹの値を計算した後、Ｙの平均値を新たにＹとする。次に、メールの発着信相手情報と、各画像のタグ情報（人名情報）を照合し、一致した場合はＹ＝Ｙ＋Ｂとして、関連度を更新する。続いて、各画像のタグ情報とメールタイトル、本文中のキーワードを比較して、共通するキーワードが存在するごとにＸ＝Ｘ＋１として更新する。ここでＸの初期値は０とする。最後に、画像とメールの関連度をＹ＝Ｙ＋Ｘとして更新する。なお、本文中のキーワードの比較において、利用者の好みに応じて、例えば、料理キーワードや風景キーワードなど特定のカテゴリのキーワードが一致する場合はＸ＝Ｘ＋２とするなどして、キーワードカテゴリ毎に関連度の変化に差を付けてもよい。これにより、関連度の変化に差を付けることで、好みの画像表示がされやすくしてもよい。これは、設定画面などで、ユーザが優先度を変更可能とする事で用意に実現可能である。最終的に、関連度Ｙの大きい画像がメールと関連性が強いとみなして、データベース上に登録を行う。ただし、同一グループＩＤの他のメールで既に同一画像が登録されていた場合は、次に関連度が高い画像を関連画像とすることで、同一の画像ができるだけ関連画像として登録されないようにしてもよい。また、関連度がＬ以上の画像が他に存在しない場合は、関連度Ｌ以上の画像のうち、同一グループＩＤ内で、出現頻度が最も少ない画像を関連画像として登録してもよい。このようなプロセスで、関連画像がないと判断された場合は、インターネット上からメール本文中で出現頻度の高いキーワードと関連する画像を取得してもよい。
【００３８】
上述した様々な解析処理は、利用するシステムの性能に応じて、端末で行ってもよいし、特定外部のサーバに位置情報や写真を一度送信し、そこで分析し、得られた検索結果を取得してもよい。
【００３９】
また、予め有名なランドマークの写真、特定の食材や道具などのサンプル画像と対応するタグ情報をまとめたデータベースを用意し、利用者が画像を保有していない場合、データベースから画像を取得して紐付けを利用できる仕組みを組み込んでもよい。これにより、画像を保有していない利用者にも、初期段階からある程度の利便性が実感可能となる。
【００４０】
また、利用者同士が特定サーバを共有して画像情報のネットワークを構築することで、画像やデータベースを共有してもよい。これは、セキュリティを考慮して、各画像個別に公開範囲を定めてもよい。画像情報の共有を、特定の相手とのみ共有、全体で共有、又は共有しないなどと様々に設定することも可能である。
【００４１】
また、画像に対して、個別で、利用者が自らキーワードを設定できるようにしてもよい。
【００４２】
以上のプロセスを経て、メールデータと画像データの紐付けが実施される。利用者が設定した表示方法に応じて、ＣＰＵ（２０）によりメール情報と画像情報とを統合して、表示装置（３０）に出力する。画面に表示するメールデータが持つグループＩＤや個別ＩＤ情報を元に画像が選択される。画像に対してグループＩＤのみが登録され個別ＩＤが付随していない場合は、メールデータと同一のグループＩＤが設定された画像のうち、発着信日時と画像の撮影日時が一番近いデータを表示するようにしてもよい。予め一般的な画像を特定フォルダ又はネットワーク上でデータベース化しておき、メールデータに含まれるキーワードと照合して画像を表示してもよい。一例を挙げると、個人の保有するデータベースメール内容と一致する画像データが存在しない場合、メールに「富士山」というキーワードが存在した場合、富士山の画像を取得して表示可能としてもよい。その他、送受信メールがデコレーションメールの場合や、背景又は画像が添付されている場合は、そのデータを用いて画面表示を行い、データベースに登録されている画像を利用しないようにしてもよい。
【００４３】
また、メール本文中に店舗電話番号が含まれている場合、対象となる店舗名、建物画像、関連ロゴマークなどをネットワーク上や電話帳から取得し、表示できるようにしてもよい。電話帳に登録されている電話番号の場合、その登録対象の人と関連する画像や情報を表示することが可能である。また、メールにＵＲＬ情報が含まれている場合、そのＵＲＬのサイトの関連画像を表示したり、サイトを表示した際の画面イメージを作成して画像の代わりに表示したりしてもよい。
【００４４】
さらに、メールを送受信していた期間に発着信した電話番号履歴から、関連する情報を取得することも可能である。また、期間中に利用したブラウザの履歴情報を利用して優先的に関連する画像を収集してもよい。
【００４５】
上記メール本文中のキーワード、電話番号又はＵＲＬ情報を元に取得した画像が特定のフォルダに保存され、そしてデータベースに追加を行い、次回以降の表示を高速にすることも可能である。また、事前に利用者がメールデータに対して分析を行い、関連する画像を収集しデータベース化する機能を付加してもよい。これらの処理は、画像データとメールＩＤを紐付ける作業を実施する際に同時に実施可能である。
【００４６】
また、送受信メールは、手動で切り替えることもできるし、自動で送受信メールと画像データをスライドショーのように流して表示することもできる。
【００４７】
以上のようなプロセスを経て実際に電子メールと画像を通信端末装置において表示した例を図２に示す。図２において（ａ）〜（ｃ）に示されているのは、数人でハイキングに行き写真を撮った例であり、紐付けされた画像とメールとを表示する際の操作例が記載されている。図２の（ｄ）〜（ｆ）に示されているのは、ランチに関連した画像とメールの表示例であり、このように幾つかある表示方法から利用者が好みのものを選択できるようにすることが可能である。さらに、音声によるメール読み上げ機能を組み合わせて、関連画像のスライドショーを行いながら、一連の送受信メールの読み上げを行うことも可能である。
【００４８】
携帯情報端末だけで実現する場合、メモリの量が有限となり、一定期間のデータにしか利用ができない。これを解消するために、巨大なストレージを持つパーソナルコンピュータ上にメールや画像データを保存し、より長期間のデータに対して同様の機能を提供してもよい。また、サーバなどにデータを保存して、同様の機能を実現してもよい。例えば、携帯情報端末でテレビの話題などをする場合、メールの内容を同時にホームネットワークへ発信し、関連する番組のスナップショットや番組データを取得し、データベースに登録してもよい。
【００４９】
メールやり取り毎のサムネイル画像を保存し、本来の画像へのリンク情報を登録することで、擬似的なフォルダ管理を行うこともできる。また、本発明により実行された分類情報を元に、実際の画像保存フォルダの整理、最適化を行う機能を具備してもよい。
【００５０】
グループＩＤを利用せず、個別ＩＤを対象として本発明を適用することで、単一の送受信メールに対しても同様の効果を実現することも可能である。
【００５１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００５２】
（付記１）電子メールを送受信及び管理する機能を有する通信端末装置であって、前記電子メールの各々に割り振られた固有のＩＤ情報を保存するメールデータ記録手段と、画像を保存する画像データ記録手段と、前記画像に固有の特徴をタグ情報として管理する画像管理用データベース手段と、を有しており、前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報を関連づけることによって、互いに関連づけされた電子メールと画像とを同時に表示することを特徴とする、通信端末装置。
【００５３】
（付記２）前記電子メールの固有のＩＤ情報は、内容が関連している一連の送受信メールをまとめて認識することが可能なグループＩＤと、共通のグループＩＤを有する複数の電子メールを時系列順に並べて最も古いものから順に振られたものである個別ＩＤとであることを特徴とする、付記１に記載の通信端末装置。
【００５４】
（付記３）前記画像の固有のタグ情報には、前記画像が取得された日時、前記画像が取得された場所を示す位置情報、及び前記画像に記録されたコメントが含まれることを特徴とする、付記１又は２に記載の通信端末装置。
【００５５】
（付記４）使用者のスケジューラのデータを保存するスケジュールデータ記憶手段をさらに有しており、前記タグ情報には、前記スケジュールデータが含まれることを特徴とする、付記３に記載の通信端末装置。
【００５６】
（付記５）前記データベース手段は外部ネットワークに接続されており、前記外部ネットワークから前記画像又は画像の特徴の情報を取得することが可能であることを特徴とする、付記１から４のいずれかに記載の通信端末装置。
【００５７】
（付記６）通信端末装置における電子メール及び画像の仕分け方法であって、前記電子メールの各々に固有のＩＤ情報を割り振る工程と、前記通信端末装置に保存されている画像の特徴をタグ情報として抽出してデータベースを作る工程と、前記電子メールに固有のＩＤ情報と前記画像に固有のタグ情報とを関連づけることで、電子メールと画像を関連づける工程と、前記通信端末装置に前記電子メールを表示するのと同時に、該電子メールと関連づけされた画像を表示する工程と、を有することを特徴とする、通信端末装置における電子メール及び画像の仕分け方法。
【００５８】
（付記７）前記電子メールの固有のＩＤ情報は、内容が関連している一連の送受信メールをまとめて認識することが可能なグループＩＤと、共通のグループＩＤを有する複数の電子メールを時系列順に並べて最も古いものから順に振られたものである個別ＩＤとであることを特徴とする、付記６に記載の電子メール及び画像の仕分け方法。
【００５９】
（付記８）前記画像の固有のタグ情報には、前記画像が取得された日時、前記画像が取得された場所を示す位置情報、及び前記画像に記録されたコメントが含まれることを特徴とする、付記６又は７に記載の電子メール及び画像の仕分け方法。
【００６０】
（付記９）前記タグ情報には、使用者のスケジュールデータが含まれることを特徴とする、付記８に記載の電子メール及び画像の仕分け方法。
【００６１】
（付記１０）前記データベースを作る工程は、前記通信端末装置に接続された外部ネットワークから前記画像又は画像のタグ情報を取得することを含むこと特徴とする、付記６から９のいずれかに記載の電子メール及び画像の仕分け方法。
【産業上の利用可能性】
【００６２】
本発明は、携帯電話、ＰＨＳ及びスマートフォンなどの各種携帯情報端末の他、通信機能を有しかつ電池で駆動する各種家庭用や産業用電化製品、さらには、携帯端末情報（メール、アドレス帳、画像）を保存することが可能なＰＣや家電などの各種電子情報機器に適用可能である。
【符号の説明】
【００６３】
１０  メモリ領域（データ記憶装置）
１１  データベース領域
１２  メールデータ記憶領域
１３  画像データ記憶領域
１４  スケジュールデータ記憶領域
２０  ＣＰＵ
３０  表示装置
４０  外部ネットワーク
【図１】
0005534556.tif 000002
【図２】
0005534556.tif 000003
【図３】
0005534556.tif 000004