(57)【要約】  画像データ記憶部（１４２）が記憶している画像データを添付した電子メールをメール送受信部（１１０）が送信した場合、送信した電子メールである送信電子メールに添付した画像データを識別するための画像データ識別情報と、その送信電子メールに対する返信である返信電子メールに記載された返信メッセージとを対応付けて画像管理データ記憶部（１４３）が記憶する。
2012036039.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像データを記憶する画像データ記憶部と、
電子メールを送受信するメール送受信部と、
前記画像データ記憶部が記憶している前記画像データを添付した電子メールを前記メール送受信部が送信した場合、該送信した電子メールである送信電子メールに添付した画像データを識別するための画像データ識別情報と、該送信電子メールに対する返信である返信電子メールに記載された返信メッセージとを対応付けて記憶する画像管理データ記憶部とを有する携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置において、
前記画像データ記憶部に記憶された前記画像データと、前記画像管理データ記憶部にて該画像データの画像データ識別情報と対応付けられて記憶されている前記返信メッセージとを合成した合成画像データを作成し、該合成画像データを前記画像データ記憶部に記憶させる画像データ編集部を有することを特徴とする携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置において、
前記画像データ編集部は、所定のキーワードと該キーワードに応じたデコレーションイメージとをあらかじめ対応付けて記憶し、前記返信メッセージに含まれるキーワードに応じたデコレーションイメージを用いて前記合成画像データを作成することを特徴とする携帯端末装置。
【請求項４】
請求項１に記載の携帯端末装置において、
前記画像管理データ記憶部は、前記返信メッセージのうち、外部からの所定の操作によって選択された範囲のみを、前記画像データ識別情報と対応付けて記憶することを特徴とする携帯端末装置。
【請求項５】
請求項１に記載の携帯端末装置において、
電話帳データを記憶する電話帳データ記憶部を有し、
前記画像管理データ記憶部は、前記返信メッセージのうち、前記電話帳データ記憶部に記載された登録名とあらかじめ設定されたキーワードとに基づいて選択された部分のみを、前記画像データ識別情報と対応付けて記憶することを特徴とする携帯端末装置。
【請求項６】
取得した画像データを管理する画像データ管理方法であって、
前記画像データを記憶する処理と、
前記画像データを添付した電子メールである送信電子メールを送信する処理と、
前記送信電子メールに対する返信である返信電子メールを受信する処理と、
前記送信電子メールに添付した画像データを識別するための画像データ識別情報と、前記返信電子メールに記載された返信メッセージとを対応付けて管理する処理とを行う画像データ管理方法。
【請求項７】
コンピュータに、
取得した画像データを記憶する手順と、
前記画像データを添付した電子メールである送信電子メールを送信する手順と、
前記送信電子メールに対する返信である返信電子メールを受信する手順と、
前記送信電子メールに添付した画像データを識別するための画像データ識別情報と、前記返信電子メールに記載された返信メッセージとを対応付けて管理する手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを管理する携帯端末装置、画像データ管理方法およびプログラムに関する。
【背景技術】
【０００２】
印刷した写真をアルバムに貼り付けて保存する場合、その貼り付けた写真の周囲に手書きでコメントを書き込んだり、シールなどでデコレーションをしたりすることがある。【０００３】
また、近年、携帯端末には、カメラ等の撮影機能が具備されているものが多い。このカメラ等で撮影した画像を一覧化して保存するだけでなく、それぞれの写真に対する当時のコメントも保存しておきたい場合がある。そのような場合、画像の編集を行い、自らコメントを入れるという、あくまでも作成する本人のコメントを残しておくのみというのが、一般的である。【０００４】
また、閲覧用の画像を電子メールに添付して送信した場合、当該画像に対する相手先のコメントは、当該電子メールに対する返信の電子メールや、音声通話によって得ることができる。しかしながら、このように得られたコメントは、当該画像とともに管理しておく有効な手段がないため、その場限りのものとなってしまう。【０００５】
また、移動機内で、電子メールや通話履歴、および画像などを日程などにより、それらを互いに紐付けて、アプリケーションの中で見せる方法が実施されている。【０００６】
しかしながら、この方法は、それぞれを独立に管理しているだけで、画像に直接紐付けされているものではない。そのため、移動機の外にデータを出した際や、画像の印刷時に画像とともに印刷する手段もなく、情報を一緒に保存しておくことができない。【０００７】
そこで、複数の参加者によって画像データとコメントとを対応付けた電子アルバム作成を容易にすることが可能な情報処理装置が考えられている（例えば、特許文献１参照。）。これは専用のサーバを用意し、各自が自らサーバにアクセスして行う手法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３０４９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載されたように、画像データを管理する専用のサーバを利用して実現する方法は多数提供されている。しかしながら、特に、高年齢層の利用者にとって、自らサーバにアクセスし、ユーザ認証を行い、コメント等の情報を保存することは、容易に操作できるものではない。【００１０】
また、このような技術においては、専用のサーバで管理するため、当該サーバを維持するための維持費用がかかってしまうという問題点がある。【００１１】
本発明の目的は、上述した課題を解決する携帯端末装置、画像データ管理方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１２】
本発明の携帯端末装置は、
取得した画像データを記憶する画像データ記憶部と、
電子メールを送受信するメール送受信部と、
前記画像データ記憶部が記憶している前記画像データを添付した電子メールを前記メール送受信部が送信した場合、該送信した電子メールである送信電子メールに添付した画像データを識別するための画像データ識別情報と、該送信電子メールに対する返信である返信電子メールに記載された返信メッセージとを対応付けて記憶する画像管理データ記憶部とを有する。【００１３】
また、本発明の画像データ管理方法は、
取得した画像データを管理する画像データ管理方法であって、
前記画像データを記憶する処理と、
前記画像データを添付した電子メールである送信電子メールを送信する処理と、
前記送信電子メールに対する返信である返信電子メールを受信する処理と、
前記送信電子メールに添付した画像データを識別するための画像データ識別情報と、前記返信電子メールに記載された返信メッセージとを対応付けて管理する処理とを行う。【００１４】
また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
取得した画像データを記憶する手順と、
前記画像データを添付した電子メールである送信電子メールを送信する手順と、
前記送信電子メールに対する返信である返信電子メールを受信する手順と、
前記送信電子メールに添付した画像データを識別するための画像データ識別情報と、前記返信電子メールに記載された返信メッセージとを対応付けて管理する手順とを実行させる。
【発明の効果】
【００１５】
以上説明したように、本発明においては、画像データとその画像データに対するメッセージとを容易に対応付けて管理することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の携帯端末装置の実施の一形態を示す図である。
【図２】図１に示した電話帳データ記憶部に記憶されている電話帳データの一例を示す図である。
【図３】図１に示した画像データ記憶部に記憶されている画像データの一例を示す図である。
【図４】図１に示した画像管理データ記憶部に記憶されている管理データの一例を示す図である。
【図５】図４に示した返信メッセージファイル名と返信メッセージとの対応付けの一例を示す図である。
【図６】本形態における画像データ管理方法のうち、画像データと送信データとを対応付けて管理する処理の一例を説明するためのフローチャートである。
【図７】本形態における画像データ管理方法のうち、画像データと送信データとを対応付けに、さらに返信データを対応付けて管理する処理の一例を説明するためのフローチャートである。
【図８】図１に示した画像データ編集部によって作成された合成画像データの一例を示す図である。
【図９】図１に示した画像データ編集部によって作成された合成画像データの他の例を示す図である。
【図１０】本形態における画像データ管理方法のうち、画像データと送信データと返信データとを対応付けて管理する処理の一例を説明するためのフローチャートである。
【図１１】図１に示した表示部に表示された範囲選択画面の一例を示す図である。
【図１２】図１に示した表示部に表示された返信電子メールの一例を示す図である。
【図１３】図１２に示した返信メッセージから抽出されたテキストデータが登録された例を示す図である。
【図１４】図１３に示した対応付けから作成された合成画像データの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は、本発明の携帯端末装置の実施の一形態を示す図である。
【００１９】
本形態における携帯端末装置１００には図１に示すように、メール送受信部１１０と、表示部１２０と、入力部１３０と、メモリ１４０と、制御部１５０とが設けられている。
【００２０】
また、メモリ１４０には、電話帳データ記憶部１４１と、画像データ記憶部１４２と、画像管理データ記憶部１４３とが設けられている。
【００２１】
また、制御部１５０には、ＣＰＵ１５１と、メール情報解析部１５２と、画像データ編集部１５３とが設けられている。
【００２２】
なお、図１には、携帯端末装置１００を構成する構成要素のうち、本発明に係わる構成要素のみを示した。
【００２３】
メール送受信部１１０は、電子メールの送受信を行う。例えば、メール送受信部１１０は、画像データを添付した電子メールである送信電子メールを送信し、その送信電子メールに対する返信である返信電子メールを受信する。
【００２４】
表示部１２０は、画像や電子メール等の情報を表示するディスプレイである。
【００２５】
入力部１３０は、携帯端末装置１００の外部から情報を入力するために、携帯端末装置１００を操作する者が操作するキー等である。
【００２６】
電話帳データ記憶部１４１は、一般的な電話帳データを記憶する。また、電話帳データ記憶部１４１に記憶されている電話帳データは、画像管理データ記憶部１４３に記憶されているデータとの対応付けに用いられる。
【００２７】
図２は、図１に示した電話帳データ記憶部１４１に記憶されている電話帳データの一例を示す図である。
【００２８】
図１に示した電話帳データ記憶部１４１には図２に示すように、登録名と、電話番号と、電子メールアドレスとが対応付けられた電話帳データが記憶されている。
【００２９】
例えば、図２に示すように、登録名「おばあちゃん」と、電話番号「０９０−１１１１−１１１１」と、電子メールアドレス「１１１＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」とが対応付けられて記憶されている。これは、登録名が「おばあちゃん」である相手の電話番号が「０９０−１１１１−１１１１」であり、電子メールアドレスが「１１１＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」であることを示している。また、登録名「おじいちゃん」と、電話番号「０９０−２２２２−２２２２」と、電子メールアドレス「２２２＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」とが対応付けられて記憶されている。これは、登録名が「おじいちゃん」である相手の電話番号が「０９０−２２２２−２２２２」であり、電子メールアドレスが「２２２＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」であることを示している。また、登録名「おじちゃん」と、電話番号「０９０−３３３３−３３３３」と、電子メールアドレス「３３３＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」とが対応付けられて記憶されている。これは、登録名が「おじちゃん」である相手の電話番号が「０９０−３３３３−３３３３」であり、電子メールアドレスが「３３３ｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」であることを示している。また、登録名「おばちゃん」と、電話番号「０９０−４４４４−４４４４」と、電子メールアドレス「４４４＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」とが対応付けられて記憶されている。これは、登録名が「おばちゃん」である相手の電話番号が「０９０−４４４４−４４４４」であり、電子メールアドレスが「４４４＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」であることを示している。
【００３０】
また、一般的な電話帳データのように、これらの情報とともに、その相手の顔写真（画像）や、住所等も対応付けられているものであっても良い。
【００３１】
画像データ記憶部１４２は、取得した画像データを記憶する。この画像データは、携帯端末装置１００に具備されているカメラ等の撮影機能で撮影したものや、インターネット上から取得したもの等である。
【００３２】
図３は、図１に示した画像データ記憶部１４２に記憶されている画像データの一例を示す図である。
【００３３】
図１に示した画像データ記憶部１４２には図３に示すように、画像データと、当該画像データを識別するための画像データ識別情報である画像データファイル名とが対応付けられて記憶されている。
【００３４】
画像管理データ記憶部１４３は、送信電子メールに添付した画像データを識別するための画像データ識別情報と、当該送信電子メールの返信である返信電子メールに記載された返信メッセージとを対応付けて管理データとして記憶する。
【００３５】
図４は、図１に示した画像管理データ記憶部１４３に記憶されている管理データの一例を示す図である。
【００３６】
図１に示した画像管理データ記憶部１４３には図４に示すように、画像データファイル名と、送信データと、返信日時と、返信メッセージファイル名とが対応付けられて管理データとして記憶されている。
【００３７】
画像データファイル名は、送信された電子メールに添付された画像データを識別するための画像データ識別情報である。
【００３８】
送信データは、送信された電子メールの内容を示すものである。また、送信データは、宛先アドレスと、日時と、件名と、メッセージＩＤとから構成される。
【００３９】
宛先アドレスは、送信された電子メールの宛先の電子メールアドレスである。
【００４０】
日時は、当該送信電子メールが送信された日時である。
【００４１】
件名は、送信電子メールの「件名」や「Ｓｕｂｊｅｃｔ」の欄に記載された情報である。
【００４２】
メッセージＩＤは、受信した電子メールが、当該送信電子メールに対する返信電子メールであるかを判断するときに、その受信した電子メールのＩｎ−Ｒｅｐｌｙ−Ｔｏフィールドを用いて判断するためのＩＤである。
【００４３】
返信日時は、当該送信電子メールに対して返信されてきた返信電子メールを受信した日時である。
【００４４】
返信メッセージファイル名は、返信電子メールの本文である返信メッセージのファイル名である。実際の返信メッセージは、他の部分に記憶されており、この返信メッセージファイル名で引き出せるようになっている。
【００４５】
これらの対応付けを記憶する処理については、後述する。
【００４６】
図５は、図４に示した返信メッセージファイル名と返信メッセージとの対応付けの一例を示す図である。
【００４７】
図５に示すように、図４に示した返信メッセージファイル名と、実際の返信メッセージとが対応付けられている。この対応付けを用いることにより、図４に示した返信メッセージファイル名から実際の返信メッセージを取得することができる。
【００４８】
また、ＣＰＵ１５１は、一般的なＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、携帯端末装置１００全体を制御する。
【００４９】
メール情報解析部１５２は、メール送受信部１１０によって送受信された電子メールの付加情報部分を解析し、必要情報を画像管理データ記憶部１４３に登録する。
【００５０】
画像データ編集部１５３は、画像データの加工・編集を自動で行う。具体的には、画像データ編集部１５３は、画像データ記憶部１４２に記憶されている画像データと、画像管理データ記憶部１４３にて当該画像データの画像データファイル名と対応付けられて記憶されている返信メッセージファイル名から取得される返信メッセージとを合成した合成画像データを作成する。また、画像データ編集部１５３は、作成した合成画像データを画像データ記憶部１４２に記憶させる（登録する）。
【００５１】
また、画像データ編集部１５３は、所定のキーワードとそのキーワードに応じたデコレーションイメージとをあらかじめ対応付けて記憶し、返信メッセージに含まれるキーワードに応じたデコレーションイメージを用いて合成画像データを作成するものであっても良い。
【００５２】
以下に、本形態における画像データ管理方法について説明する。まずは、本形態における画像データ管理方法のうち、画像データと送信データとを対応付けて管理する処理について説明する。
【００５３】
図６は、本形態における画像データ管理方法のうち、画像データと送信データとを対応付けて管理する処理の一例を説明するためのフローチャートである。
【００５４】
まず、携帯端末装置１００から電子メールを送信しようとする利用者によって、入力部１３０に所定の操作が入力されることにより、ステップ１にて所望の画像データが選択される。
【００５５】
また、同様に利用者によって、入力部１３０に所定の操作が入力されることにより、ステップ２にて送信電子メールが作成される。ここでは、送信電子メールの件名や送信メッセージの入力（作成）およびステップ１にて選択された画像データの添付処理が行われる。
【００５６】
その後、利用者によって、入力部１３０に所定の入力が行われることにより、作成された送信電子メールが、ステップ３にてメール送受信部１１０から送信されると、送信データと画像データとが対応付けられた情報が、ステップ４にて画像管理データ記憶部１４３に記憶される。具体的には、送信電子メールに添付された画像データの画像データファイル名と、送信電子メールのメールヘッダとなる送信データ（図４に示した宛先アドレス（送信電子メールの「Ｔｏ」の部分）、日時（送信電子メールの「Ｄａｔｅ」の部分）、件名（送信電子メールの「Ｓｕｂｊｅｃｔ」の部分）およびメッセージＩＤ）とが、図４に示すように対応付けられて記憶される。
【００５７】
次に、本形態における画像データ管理方法のうち、画像データと送信データとを対応付けに、さらに返信データを対応付けて管理する処理について説明する。
【００５８】
図７は、本形態における画像データ管理方法のうち、画像データと送信データとを対応付けに、さらに返信データを対応付けて管理する処理の一例を説明するためのフローチャートである。
【００５９】
送信電子メールを送信した後、ステップ１１にて電子メールがメール送受信部１１０にて受信されると、受信された電子メールが、ステップ１２にてメール情報解析部１５２によって解析される。この情報解析の具体的な方法は、サブジェクト（Ｓｕｂｊｅｃｔ：）や、リプライｔｏ（Ｉｎ−Ｒｅｐｌｙ−Ｔｏ：）フィールド等のメールヘッダ情報を確認（抽出）するものである。
【００６０】
すると、ステップ１３にてＣＰＵ１５１またはメール情報解析部１５２によって、当該メールヘッダ情報と画像管理データ記憶部１４３に記憶されている管理データとの照合が行われる。この照合により、受信した電子メールが、画像データを添付して送信された送信電子メールに対する返信電子メールかどうかが判断される。
【００６１】
このとき、どの電子メールへの返信かを示すＩｎ−Ｒｅｐｌｙ−Ｔｏフィールドがある場合は、「Ｉｎ−Ｒｅｐｌｙ−Ｔｏ：」の後に記載されているメッセージＩＤによって簡単にチェックが可能である。それは、図４に示したように、送信データとしてメッセージＩＤを記憶しているため、そのメッセージＩＤと一致するかどうかを判断すれば良いからである。
【００６２】
それに対して、Ｉｎ−Ｒｅｐｌｙ−Ｔｏフィールドがない場合には、サブジェクトや送信者、日時などの情報を用いて判断される。例えば、送信電子メールのサブジェクトが「海行ったよー」であり、受信した電子メールのサブジェクトが「Ｒｅ：海行ったよー」であれば、当該受信した電子メールは、当該送信電子メールに対する返信電子メールであると判断される。また、さらに、送信日時から受信日時までの時間があらかじめ設定された時間内であれば、送信電子メールと返信電子メールとの関係がある可能性が高いと判断されるため、これらも判断材料として用いても良い。また、受信した電子メールの送信者が、送信電子メールの宛先である場合、当該受信した電子メールは、当該送信電子メールに対する返信電子メールであると判断されるものであっても良い。
【００６３】
このような照合により、受信した電子メールが、画像データを添付して送信された送信電子メールに対する返信電子メールではないと判断された場合、通常の電子メール受信として処理される。
【００６４】
一方、受信した電子メールが、画像データを添付して送信された送信電子メールに対する返信電子メールであると判断された場合、当該返信電子メールがメール送受信部１１０にて受信された日時と、当該返信電子メールの本文である返信メッセージとが、ステップ１４にて画像管理データ記憶部１４３の対応する送信データと対応付けられて登録（記憶）される。
【００６５】
このとき、図４および図５に示すように、返信メッセージ自体は、テキストファイルとして持ち、そのファイル名を送信データと対応付けるものであっても良い。
【００６６】
また、返信電子メールに画像データが添付されている場合、その画像データもともに対応付けて記憶するものであっても良い。このとき、当該画像データ自体は、画像データ記憶部１４２に記憶し、当該画像データのファイル名を送信データと対応付けて画像管理データ記憶部１４３に記憶するものであっても良い。
【００６７】
すると、画像データ記憶部１４２に記憶されている画像データと、画像管理データ記憶部１４３にて当該画像データの画像データファイル名と対応付けられて記憶されている返信メッセージファイル名から取得される返信メッセージとが、ステップ１５にて画像データ編集部１５３によって合成されて合成画像データが作成される。このとき、当該返信電子メールがメール送受信部１１０にて受信された日時や、返信電子メールの送信元の名前（電話帳データ記憶部１４１における登録名）もともに合成されるものであっても良い。
【００６８】
図８は、図１に示した画像データ編集部１５３によって作成された合成画像データの一例を示す図である。ここでは、図４に示した管理データのうち、画像データファイル名「ＰＩＣ０００１」を用いて作成された合成画像データの一例を示す。
【００６９】
図８に示すように、「ＰＩＣ０００１」のファイル名である画像データと、返信メッセージファイル「１００８０１１０３９．ｔｘｔ」に記載された「かわいいね。早く会いたいな。」と、当該返信電子メールの電子メールアドレス「１１１＠ａｂｃｐｈｏｎｅ．ｎｅ．ｊｐ」を持つ「おばあちゃん」（図２に示した電話帳データより取得）と、返信（受信）日時のうちの日にちのみである「２０１０．８．１」とが合成される。
【００７０】
このように作成された合成画像データは、元の画像データとは別個の画像データとして、ステップ１６にて画像データ記憶部１４２に記憶される。また、このとき、合成画像データを識別するための画像データファイル名が付与されて記憶されることは言うまでもない。また、当該画像データファイル名が、管理データ上で対応付けられるものであっても良い。
【００７１】
また、画像データ記憶部１４２に記憶された合成画像データは、そのときに表示部１２０に表示されるものであっても良いし、外部からの入力があったとき等、所定のタイミングで表示部１２０に表示されるものであっても良い。このとき、合成画像データが、サムネイル化され、一覧表示されるものであっても良い。
【００７２】
さらに、画像データ記憶部１４２に記憶された合成画像データは、外部からの所定の入力操作によって、読み出されて、外部へ送信されたり、外部の記憶媒体へ書き込まれたりできるものであっても良い。
【００７３】
また、画像データ編集部１５３は、所定のキーワードとそのキーワードに応じたデコレーションイメージとをあらかじめ対応付けて記憶し、返信メッセージに含まれるキーワードに応じたデコレーションイメージを用いて合成画像データを作成するものであっても良い。このとき、画像データ編集部１５３は、感情理解エンジンを利用し、受信した返信メッセージの内容のキーワードから当該画像データに関連する部分を抽出し、その部分だけを登録するという機能を具備させても良い。また、この感情理解エンジンを利用すれば、画像データ編集部１５３は、返信メッセージに込められた感情を抽出し、合成画像データを作成する際に、感情に応じたデコレーションを自動で施すことで、ユーザ利便性を向上することが可能となる。
【００７４】
図９は、図１に示した画像データ編集部１５３によって作成された合成画像データの他の例を示す図である。
【００７５】
図９に示すように、図８に示した合成画像データとは異なり、「かわいいね。」というキーワードが抽出され、その「かわいいね。」というキーワードに応じたデコレーション（ハートマーク）が合成されている。
【００７６】
また、返信メッセージを画像データに合成するかどうか、および合成する範囲を設定可能にするものであっても良い。
【００７７】
図１０は、本形態における画像データ管理方法のうち、画像データと送信データと返信データとを対応付けて管理する処理の一例を説明するためのフローチャートである。
【００７８】
送信電子メールを送信した後、ステップ２１にて電子メールがメール送受信部１１０にて受信されると、受信された電子メールが、ステップ２２にてメール情報解析部１５２によって解析される。この情報解析の具体的な方法は、図７に示したフローチャートを用いて説明したものと同じである。
【００７９】
すると、ステップ２３にて、ＣＰＵ１５１またはメール情報解析部１５２によって、当該メールヘッダ情報と画像管理データ記憶部１４３に記憶されている管理データとの照合が行われる。この照合により、受信した電子メールが、画像データを添付して送信された送信電子メールに対する返信電子メールかどうかが判断される。具体的な判断方法は、図７に示したフローチャートを用いて説明したものと同じである。
【００８０】
このような照合により、受信した電子メールが、画像データを添付して送信された送信電子メールに対する返信電子メールではないと判断された場合、通常の電子メール受信として処理される。
【００８１】
一方、受信した電子メールが、画像データを添付して送信された送信電子メールに対する返信電子メールであると判断された場合、返信電子メールの返信メッセージのうち、画像データと対応付けて登録するものを選択するための範囲選択画面が表示部１２０に表示される。
【００８２】
図１１は、図１に示した表示部１２０に表示された範囲選択画面の一例を示す図である。
【００８３】
図１１に示すように、受信した電子メールが一般的な方式で表示され、その本文であるメッセージのうち、所望の範囲が設定できるように表示される。これは、携帯端末装置１００の利用者が、入力部１３０を用いて所定の操作を行うことで、その範囲が選択され（図１１では、下線部分）、表示された「範囲選択」キーが選択されることにより決定する。
【００８４】
表示された範囲選択画面に対して、利用者によって何も操作（入力）されない場合（ステップ２４の「なし」）、通常の電子メール受信として処理される。
【００８５】
それに対して、表示された範囲選択画面に対して、入力部１３０に外部から所定の操作が行われた場合（ステップ２４の「あり」）、表示されている返信メッセージのうち、当該操作に基づいた範囲が、ステップ２５にて選択される。
【００８６】
すると、返信メッセージのうちの選択された範囲に含まれるメッセージ（以下、選択メッセージと称する）と、当該返信電子メールがメール送受信部１１０にて受信された日時とが、ステップ２６にて画像管理データ記憶部１４３の対応する送信データと対応付けられて登録（記憶）される。
【００８７】
このとき、図７に示したフローチャートを用いて説明したものと同様に、選択メッセージ自体は、テキストファイルとして持ち、そのファイル名を送信データと対応付けるものであっても良い。
【００８８】
すると、画像データ記憶部１４２に記憶されている画像データと、画像管理データ記憶部１４３にて当該画像データの画像データファイル名と対応付けられて記憶されているファイル名から取得される選択メッセージとが、ステップ２７にて画像データ編集部１５３によって合成されて合成画像データが作成される。このとき、当該返信電子メールがメール送受信部１１０にて受信された日時や、返信電子メールの送信元の名前もともに合成されるものであっても良い。
【００８９】
このように作成された合成画像データは、元の画像データとは別個の画像データとして、ステップ２８にて画像データ記憶部１４２に記憶される。また、このとき、合成画像データを識別するための画像データファイル名が付与されて記憶されることは言うまでもない。また、当該画像データファイル名が、管理データ上で対応付けられるものであっても良い。
【００９０】
このような方法を利用すれば、返信メッセージが画像データと対応付けられて利用されることを、送信電子メールの宛先である者が意識せずに返信電子メールを送信した場合においても、画像データとの対応付けに適した情報のみを登録することが可能である。
【００９１】
また、返信電子メール本文である返信メッセージについて、キーワード解析を行い、電話帳データ記憶部１４１に記憶されている電話帳データに登録してある登録名とあらかじめ設定されたキーワードとを抽出し、抽出した登録名とキーワードとに基づいて選択された部分のみを、画像データ識別情報と対応付けて記憶するものであっても良い。
【００９２】
図１２は、図１に示した表示部１２０に表示された返信電子メールの一例を示す図である。
【００９３】
図１２に示すように、返信電子メールの返信メッセージすべてを表示し、返信メッセージについて、キーワード解析を行い、電話帳データに登録されている「おじいちゃん」というキーワード、および、あらかじめ設定されている「言っていた」という言葉を検出する。そして、「おじいちゃん」と「言っていた」との間にあるメッセージが「おじいちゃん」の言葉と判断し、そのメッセージがテキストデータとして抽出されて画像管理データ記憶部１４３に登録されるものであっても良い。
【００９４】
また、このテキストデータと画像データとを対応付けて登録する際、電話帳データ記憶部１４１に登録してある画像データも対応付けて登録するものであっても良い。
【００９５】
図１３は、図１２に示した返信メッセージから抽出されたテキストデータが登録された例を示す図である。
【００９６】
図１３に示すように、返信メッセージファイル名と、登録名として抽出された言葉を話していたと判断された「おじいちゃん」と、電話帳データ記憶部１４１に登録してある「おじいちゃん」の電話帳画像ファイル名と、抽出されたテキストデータとが対応付けられて記憶される。
【００９７】
このような対応付けから、合成画像データが作成される。
【００９８】
図１４は、図１３に示した対応付けから作成された合成画像データの一例を示す図である。
【００９９】
図１４に示すように、図１２に示すように「おじいちゃん」の言葉として抽出されたキーワードに、電話帳データ記憶部１４１に登録してある「おじいちゃん」の画像データを合成するものであっても良い。
【０１００】
このような方法を利用すれば、返信メッセージが画像データと対応付けられて利用されることを、送信電子メールの宛先である者が意識せずに返信電子メールを送信した場合においても、管理に適した情報のみを保存しておくことが可能である。
【０１０１】
また、電話帳データ記憶部１４１に画像データを電子メールに添付して送信した日時等の記録を残しておき、一定期間が経過した時にアラームを出す機能を具備しても良い。
【０１０２】
また、その際、顔認識機能を利用した顔（個人）ごとに管理したアルバムを有している場合は、そのアルバムの中の最新の画像データを添付した電子メールを自動で作成し、利用者に送信を促す機能を具備しても良い。この機能を持つことによって、画像データを定期的に送信したい相手がある場合に、忘れることなく、送信することが可能となる。
【０１０３】
以上説明したように、本発明においては、以下のような効果を奏する。
【０１０４】
第１の効果は、利用者が意識することなく、画像データとその画像データを添付して送信した送信電子メールに対する返信電子メールの返信メッセージとを対応付けることが可能となることである。それは、画像データを添付した電子メールの送信時に、自動で送信に関するデータを登録し、また、電子メール受信時には、該当の送信電子メールに対する返信電子メールであるか否かのチェックを自動で行うからである。
【０１０５】
第２の効果は、画像データが添付された電子メールを受け取った利用者（画像データに対するメッセージを返信した利用者）も、画像データにコメントをつけるという操作を意識することなく、通常の電子メール返信という操作でそれを実現するができることである。
【０１０６】
第３の効果は、画像データと対応付けられたテキストデータを自動で合成し、表示ができることである。
【０１０７】
第４の効果は、合成したデータは別の画像データファイルとしてイメージのまま保存するため、パソコンなどの携帯端末装置１００の外にデータを出した場合であっても、イメージをそのまま保存しておくことが可能であり、印刷することもできることである。
【０１０８】
このように、本発明では、特別な管理サーバを利用することなく、携帯端末装置１００内の機能において、電子メールの返信メッセージを画像データと直接対応付けて管理することによって、携帯端末装置１００の外にデータを出す場合や、印刷した場合にも、情報を一緒に残しておくことを可能とする。
【０１０９】
上述した携帯端末装置１００に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理手順を記述したコンピュータプログラム（以下、プログラムと称する）を携帯端末装置１００にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを携帯端末装置１００に読み込ませ、実行するものであっても良い。携帯端末装置１００にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、携帯端末装置１００に内蔵されたメモリ１４０、ＲＯＭ、ＲＡＭ等のメモリやＨＤＤ等を指す。この記録媒体に記録されたプログラムは、携帯端末装置１００に設けられたＣＰＵ１５１にて読み込まれ、ＣＰＵ１５１の制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵ１５１は、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【０１１０】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１１１】
この出願は、２０１０年９月１４日に出願された日本出願特願２０１０−２０５４９９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2012036039.tif 000003
【図２】
2012036039.tif 000004
【図３】
2012036039.tif 000005
【図４】
2012036039.tif 000006
【図５】
2012036039.tif 000007
【図６】
2012036039.tif 000008
【図７】
2012036039.tif 000009
【図８】
2012036039.tif 000010
【図９】
2012036039.tif 000011
【図１０】
2012036039.tif 000012
【図１１】
2012036039.tif 000013
【図１２】
2012036039.tif 000014
【図１３】
2012036039.tif 000015
【図１４】
2012036039.tif 000016
【国際調査報告】
2012036039.tif 000017
2012036039.tif 000018
2012036039.tif 000019
2012036039.tif 000020