(57)【要約】【課題】  処理対象となる操作（電子メールの送信／ファイル操作）に直接含まれないデータに対しても、それに関連するメタデータを効率良く付与する。【解決手段】  テキストデータ、コンテンツデータ、通信対象のメッセージＩＤ、通信済みであり参照元となるメッセージＩＤとを含むメッセージデータを通信する手段と、各メッセージＩＤに関係するコンテンツデータおよびテキストデータを示すメタデータ管理テーブルを保持する手段とを備え、通信するメッセージデータを解析し、メタデータ管理テーブルに基づいて、参照元となるメッセージデータのメッセージＩＤに関係するコンテンツデータを特定し、通信対象であるメッセージＩＤに関係するコンテンツデータとして、特定されたコンテンツデータが含まれるようメタデータ管理テーブルを更新する。【選択図】  図４
2010128924.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータ、およびコンテンツデータ、および通信対象であるメッセージデータのメッセージＩＤ、および通信済みであり参照元となるメッセージデータのメッセージＩＤとを含むメッセージデータを通信する通信手段と、
各メッセージＩＤに関係するコンテンツデータおよびテキストデータを示すメタデータ管理テーブルを保持する保持手段と、
前記通信手段で通信するメッセージデータを解析し、前記メタデータ管理テーブルに基づいて、参照元となるメッセージデータのメッセージＩＤに関係するコンテンツデータを特定する特定手段と、
前記通信対象であるメッセージデータのメッセージＩＤに関係するコンテンツデータとして、前記特定手段により特定されたコンテンツデータが含まれるよう、前記メタデータ管理テーブルを更新する更新手段
とを有する画像管理装置。
【請求項２】
テキストデータ、およびコンテンツデータ、および通信対象であるメッセージデータのメッセージＩＤ、および通信済みであり参照元となるメッセージデータのメッセージＩＤとを含むメッセージデータを通信する通信工程と、
各メッセージＩＤに関係するコンテンツデータおよびテキストデータを示すメタデータ管理テーブルを保持する保持工程と、
前記通信工程で通信するメッセージデータを解析し、前記メタデータ管理テーブルに基づいて、参照元となるメッセージデータのメッセージＩＤに関係するコンテンツデータを特定する特定工程と、
前記通信対象であるメッセージデータのメッセージＩＤに関係するコンテンツデータとして、前記特定手段により特定されたコンテンツデータが含まれるよう、前記メタデータ管理テーブルを更新する更新工程
とを有する画像管理方法。
【請求項３】
請求項２に記載の画像管理方法をコンピュータに実行させるためのプログラム。
【請求項４】
請求項３に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メッセージデータの中で通信されるコンテンツデータに効率良くメタデータを付与できるようにする技術に関する。
【背景技術】
【０００２】
従来、電子メールを用いて画像データにメタデータを付与する方法が開示されている（特許文献１）。特許文献１では、電子メールの本文にタグでメモを指定し、画像データを添付して送信する。電子メールを受信すると、本文からメモを取り出し、メタデータとして、添付された画像データに付与する。
【０００３】
また、実際に行った操作をファイルにメタデータとして付与する方法が開示されている（特許文献２）。特許文献２では、ファイルに対して操作を行うと、ファイル名とその操作（コマンド）を履歴テーブルに保持する。
【特許文献１】特開２００４−１９３８５９号公報
【特許文献２】特開２００７−１４１１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１では、処理対象である電子メールに含まれる画像データにメタデータを付与する。特許文献２では、処理対象である操作に含まれるファイルにメタデータを付与する。
【０００５】
いずれの方法も、処理対象となる操作（電子メールの送信／ファイル操作）に直接含まれるデータ（画像データ／ファイル）に対してのみメタデータを付与するので、メタデータの適用範囲が狭い。
【０００６】
本発明は、上記従来例に鑑みて成されたものであり、処理対象となる操作（電子メールの送信／ファイル操作）に直接含まれないコンテンツデータに対しても、それに関連するメタデータを効率良く付与することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を解決するために、例えば本発明の画像管理装置によれば、テキストデータ、およびコンテンツデータ、および通信対象であるメッセージデータのメッセージＩＤ、および通信済みであり参照元となるメッセージデータのメッセージＩＤとを含むメッセージデータを通信する通信手段と、各メッセージＩＤに関係するコンテンツデータおよびテキストデータを示すメタデータ管理テーブルを保持する保持手段と、前記通信手段で通信するメッセージデータを解析し、前記メタデータ管理テーブルに基づいて、参照元となるメッセージデータのメッセージＩＤに関係するコンテンツデータを特定する特定手段と、前記通信対象であるメッセージデータのメッセージＩＤに関係するコンテンツデータとして、前記特定手段により特定されたコンテンツデータが含まれるよう、前記メタデータ管理テーブルを更新する更新手段とを有する。
【発明の効果】
【０００８】
本発明によれば、処理対象となる操作（電子メールの送信／ファイル操作）に直接含まれないコンテンツデータに対しても、それに関連するメタデータを効率良く付与することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の好適な実施例について説明する。
【実施例１】
【００１０】
図１は、本発明の一実施例にかかる画像管理装置のハードウェア構成を示すブロック図である。
１０１はＣＰＵであり、システム制御部として装置全体の動作を制御する。
１０２はＲＯＭであり、制御プログラムを格納する。具体的には、後述する画像／音声データとメタデータを管理するためのプログラム、メッセージ（メッセージデータ）を送受信するためのプログラムを格納する。
１０３はＲＡＭであり、ＣＰＵ１０１のワークエリアを提供し、各種データなどを格納する。
１０４は記憶装置であり、後述する画像データベースを保持する。ＨＤＤ（ハードディスク装置）や半導体メモリを用いたＳＳＤなどからなる。
１０５は通信制御部であり、有線や無線のネットワークを介して、外部の画像管理装置と通信を行うためのインタフェースである。
１０６は操作部であり、ユーザによる操作を行うためのものである。具体的には、出力装置である画面や、入力装置であるマイク、キーボード、タッチパネルなどを含む。
【００１１】
図２は、本発明の一実施例にかかる画像管理装置の機能構成を示すブロック図である。
２０３は、画像管理装置が送受信するメッセージを処理するメッセージ処理部である。メッセージ処理部２０３は、送信するメッセージ（メッセージデータ）の雛型を作成する。また、メタデータを付与するために、受信したメッセージを解析する処理を行う。
【００１２】
図３にメッセージの例を示す。
メッセージＩＤ３０１は、通信対象であるメッセージを一意に識別するための識別子である。図３の例でメッセージＩＤは「ｍ２＠ｍａ」である。メッセージＩＤ生成部２０１が、メッセージＩＤを生成する。メッセージ（メッセージデータ）を送受信する複数の画像管理装置が、同じメッセージＩＤを生成しないようにする必要がある。
【００１３】
例えば、画像管理装置ごとに一意に割り当てられた値と、個々の画像管理装置が一意に生成する値を加えて、複数の画像管理装置間で一意のメッセージＩＤを生成する。図３の「ｍ２＠ｍａ」で、「ｍ２」の部分が、個々の画像管理装置が一意に生成する値である。また「ｍａ」の部分が、画像管理装置ごとに一意に割り当てられた値である。
【００１４】
参照元メッセージＩＤ３０２は、一連のメッセージのやり取り（スレッド）において、過去にやり取りされたメッセージ、即ち通信済みのメッセージのメッセージＩＤを保持する。図３の例で参照元メッセージＩＤは「ｍ１＠ｍａ」と「ｐ１＠ｐａ」である。これは、「ｍ２＠ｍａ」のメッセージが、「ｍ１＠ｍａ」、「ｐ１＠ｐａ」と同じスレッドに属するメッセージであることを示す。参照元メッセージＩＤ生成部２０２が、参照元メッセージＩＤを生成する。参照元メッセージＩＤを生成するアルゴリズムは、後述する。またメッセージは、テキストデータ３０３と画像データ３０４を含む。
【００１５】
２０４は、外部の画像管理装置とメッセージの送受信を行うメッセージ送受信部である。メッセージの送受信は、通信制御部１０５の替わりに、ＵＳＢメモリなどのフラッシュメモリを用いてもよい。この場合、作成したメッセージをＵＳＢメモリにコピーすることが、メッセージの送信にあたる。また、ＵＳＢメモリ内に保存されているメッセージを、画像管理装置にコピーすることが、メッセージの受信にあたる。２０９は、画像データ（コンテンツデータ）とそのメタデータを管理する画像データベースである。
【００１６】
図４に画像データベース２０９の構成例を示す。画像データベース２０９は、画像データ管理テーブル４０１とメタデータ管理テーブル４０２からなる。
【００１７】
画像データ管理テーブル４０１は、画像データと、画像データを特定するための画像ＩＤの、２つのカラムからなる。主キーは画像ＩＤである。
【００１８】
メタデータ管理テーブル４０２は、メッセージＩＤと、テキストデータと、それに関係する画像（コンテンツ）の、３つのカラムからなる。主キーはメッセージＩＤである。各レコードが、画像データ（コンテンツデータ）とメタデータの関係を保持する。例えば、１つ目のレコード（メッセージＩＤが「ｍ１＠ｍａ」のレコード）は、「００１．ｊｐｇ」と「００３．ｊｐｇ」の画像データと、「今日の太郎です。ぐっすり寝ています。」のテキストデータを関係付ける。つまり、「ｍ１＠ｍａ」のテキストデータが、メタデータとして、「００１．ｊｐｇ」と「００３．ｊｐｇ」の画像データに付与されていることを表す。メッセージに含まれるテキストデータの全文ではなく、一部を抽出しデータベースに登録してもよい。例えば要約技術などを用いて、テキストデータから重要文やキーワードを抽出する。
【００１９】
２０５は、画像データベース２０９から、指定された条件に合った画像ＩＤを取り出すコンテンツＩＤ取り出し部である。なお、画像管理装置は、コンテンツデータとして、画像データだけでなく音声データを扱ってもよい。音声データを特定する音声ＩＤと、画像ＩＤを合わせて、コンテンツＩＤと呼ぶ。
【００２０】
２０６は、画像ＩＤと、メッセージＩＤと、テキストデータとを関係付けて、画像データベースに登録するメタデータ処理部である。画像データベースへの登録は、追加と更新がある。「追加」は、テーブルに新しいレコードを登録することである。画像データベースの管理にＳＱＬを用いる場合は、ｉｎｓｅｒｔのコマンドが対応する。「更新」は、既存のレコードのカラムに新しい値を登録することである。ＳＱＬで、ｕｐｄａｔｅのコマンドが対応する。
【００２１】
２０７は、操作部１０６に画像データを表示する画像データ表示部である。
【００２２】
２０８は、メタデータを用いて、ユーザの入力に対応する画像データを検索する画像データ検索部である。例えば音声認識エンジンを搭載し、音声を用いた検索機能を提供する。また、テキストを入力とした検索機能を提供してもよい。
【００２３】
図５は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。新規にメッセージを送信する処理手順を示す。「ママ」の画像管理装置を例に用いる。「ママ」から「パパ」へ子供の画像データを添付したメッセージを送信する。送信するメッセージの例を図６に示す。
【００２４】
Ｓ５０１で、メッセージＩＤ生成部２０１が、送信するメッセージのメッセージＩＤを生成する。生成したメッセージＩＤの例は「ｍ１＠ｍａ」である。
【００２５】
Ｓ５０２で、メッセージ処理部２０３が、メッセージＩＤが入った空のメッセージを作成する。ユーザが「宛先」「題」などを入力する。図６の例では、「宛先」に「パパ」、「題」に「今日の」をユーザが入力する。
【００２６】
Ｓ５０３で、ユーザがテキストデータを入力する。図６の例では、「今日の太郎です。ぐっすり寝ています。」をユーザが入力する。
【００２７】
Ｓ５０４で、ユーザが、画像データベース２０９から、添付する画像データを選択する。「ママ」の画像データベースの例として、図４を用いる。ただし、メタデータ管理テーブル４０２は、空の状態から始める。ユーザが、画像データ管理テーブル４０１から、「００１．ｊｐｇ」の画像データを選択したとする。メッセージ処理部２０３が、選択された画像データを、送信するメッセージに添付する。
【００２８】
Ｓ５０５で、メッセージ送受信部２０４が、メッセージを送信する。
【００２９】
Ｓ５０６で、メタデータ処理部２０６が、送信したメッセージのメッセージＩＤとテキストデータと画像ＩＤを新規レコードとし、メタデータ管理テーブル４０２に追加する。テキストデータはテキストデータのカラム、画像ＩＤは関係画像のカラムに対応する。追加後のメタデータ管理テーブル４０２の例を図７に示す。「００１．ｊｐｇ」の画像データと、「ｍ１＠ｍａ」のテキストデータが、同一レコードとして関係付けられる。言い方を変えると、「００１．ｊｐｇ」の画像データに、「ｍ１＠ｍａ」のテキストデータが、メタデータとして付与されたことを意味する。
【００３０】
図８は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。メッセージを受信する処理手順を示す。図５の処理で送信したメッセージに対する「パパ」からの返信メッセージを受信する処理手順を例とする。メッセージを受信する直前のメタデータ管理テーブル４０２を図７とする。
【００３１】
Ｓ８０１で、メッセージ処理部２０３が、受信したメッセージ（通信対象であるメッセージ）を解析し、メッセージＩＤを取り出す。ここで受信したメッセージの例を図９に示す。取り出したメッセージＩＤは「ｐ１＠ｐａ」である。このメッセージＩＤを変数ｍｓｇＩｄ１に代入する。ｍｓｇＩｄ１の値は「ｐ１＠ｐａ」となる。
【００３２】
Ｓ８０２で、メッセージ処理部２０３が、受信したメッセージ（通信対象であるメッセージ）を解析し、テキストデータを取り出す。取り出したテキストデータは「こないだの帽子ですね。もっと画像を送ってください。」である。このテキストデータを変数ｔｘｔ１に代入する。
【００３３】
Ｓ８０３で、メッセージ処理部２０３が、受信したメッセージ（通信対象であるメッセージ）を解析し、参照元メッセージＩＤを取り出す。取り出した参照元メッセージＩＤは「ｍ１＠ｍａ」である。この参照元メッセージＩＤを変数ｍｓｇＩｄＬｉｓｔ１に代入する。この例では、参照元メッセージＩＤが、１つのメッセージＩＤを含む。しかし、参照元メッセージＩＤは複数のメッセージＩＤを含むことが可能である。そこで、参照元メッセージＩＤをリストとして扱う。この例でｍｓｇＩｄＬｉｓｔ１は、１つのメッセージＩＤ（「ｍ１＠ｍａ」）を含むリストである。
【００３４】
Ｓ８０４で、ｍｓｇＩｄＬｉｓｔ１がメッセージＩＤを含むか否かを判定する。メッセージＩＤを含む場合はＳ８０５へ進む。含まない場合は処理を終了する。
【００３５】
Ｓ８０５で、コンテンツＩＤ取り出し部２０５が、ｍｓｇＩｄＬｉｓｔ１に含まれるメッセージＩＤのうち少なくとも１つと関係付けられている画像ＩＤを特定する。この例で、ｍｓｇＩｄＬｉｓｔ１に含まれるメッセージＩＤは、「ｍ１＠ｍａ」である。図７のメタデータ管理テーブル４０２から、「ｍ１＠ｍａ」のレコードを取り出す。取り出したレコードの関係画像のカラムから、画像ＩＤを特定して取り出す。ここでは「００１．ｊｐｇ」を取り出す。取り出した画像ＩＤを変数ｉｍｇＩｄＬｉｓｔ１に代入する。この例では、取り出された画像ＩＤが１つである。しかし、複数の画像ＩＤが取り出されることがある。そこで、変数ｉｍｇＩｄＬｉｓｔ１をリストとして扱う。この例でｉｍｇＩｄＬｉｓｔ１は、１つの画像ＩＤ（「００１．ｊｐｇ」）を含むリストである。
【００３６】
Ｓ８０６で、ｉｍｇＩｄＬｉｓｔ１が画像ＩＤを含むか否かを判定する。画像ＩＤを含む場合はＳ８０７へ進む。含まない場合は処理を終了する。
【００３７】
Ｓ８０７で、メタデータ処理部２０６が、ｍｓｇＩｄ１とｔｘｔ１とｉｍｇＩｄＬｉｓｔ１を新規レコードとし、メタデータ管理テーブル４０２に追加する。追加後のメタデータ管理テーブル４０２の例を図１０に示す。「ｐ１＠ｐａ」のレコードが追加される。「００１．ｊｐｇ」の画像データに、「ｐ１＠ｐａ」のテキストデータが、メタデータとして付与される。「００１．ｊｐｇ」の画像データは、「ｐ１＠ｐａ」のメッセージに含まれない。つまり、通信対象であるメッセージに含まれない画像データに対して、メタデータを付与できる。
【００３８】
図１１は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。受信したメッセージに対して返信する処理手順を示す。図８の処理で受信した、図９のメッセージに対する返信メッセージを、再度「パパ」へ送信する処理手順を例とする。返信するメッセージの例を図１２に示す。メッセージを返信する直前のメタデータ管理テーブル４０２を図１０とする。
【００３９】
Ｓ１１０１で、メッセージＩＤ生成部２０１が、返信するメッセージのメッセージＩＤを生成する。生成したメッセージＩＤの例は「ｍ２＠ｍａ」である。生成したメッセージＩＤを変数ｍｓｇＩｄ１に代入する。
【００４０】
Ｓ１１０２で、参照元メッセージＩＤ生成部２０２が、返信するメッセージの参照元メッセージＩＤを生成する。返信元メッセージの参照元メッセージＩＤに、返信元メッセージのメッセージＩＤを加えたものを、返信するメッセージの参照元メッセージＩＤとする。この例で、返信元メッセージは図９のメッセージである。生成する参照元メッセージＩＤは、「ｍ１＠ｍａ」に「ｐ１＠ｐａ」を加えた「ｍ１＠ｍａ，ｐ１＠ｐａ」となる。生成した参照元メッセージＩＤを変数ｍｓｇＩｄＬｉｓｔ１に代入する。ｍｓｇＩｄＬｉｓｔ１はリストとして扱う。この例では、２つのメッセージＩＤ（「ｍ１＠ｍａ」と「ｐ１＠ｐａ」）を含むリストである。
【００４１】
Ｓ１１０３で、メッセージ処理部２０３が、メッセージＩＤと参照元メッセージＩＤが入った空のメッセージを作成する。ユーザが「宛先」「題」などを入力する。
【００４２】
Ｓ１１０４で、ユーザがテキストデータを入力する。図１２の例では、「ほい。この帽子似合っているよね。」をユーザが入力する。ユーザが入力したテキストを変数ｔｘｔ１に代入する。
【００４３】
Ｓ１１０５で、ユーザが、画像データベース２０９から、添付する画像データを選択する。図４の画像データ管理テーブル４０１から、「００３．ｊｐｇ」の画像データを選択したとする。ユーザが選択した画像ＩＤを変数ｉｍｇＩｄ１に代入する。メッセージ処理部２０３が、選択された画像データを、返信するメッセージに添付する。
【００４４】
Ｓ１１０６で、メッセージ送受信部２０４が、メッセージを送信（返信）する。
【００４５】
Ｓ１１０７で、コンテンツＩＤ取り出し部２０５が、ｍｓｇＩｄＬｉｓｔ１に含まれるメッセージＩＤのうち少なくとも１つと関係付けられている画像ＩＤを取り出す。この例で、ｍｓｇＩｄＬｉｓｔ１に含まれるメッセージＩＤは、「ｍ１＠ｍａ」と「ｐ１＠ｐａ」である。まず、「ｍ１＠ｍａ」と関係付けられている画像ＩＤを取り出す。図１０のメタデータ管理テーブル４０２で、「ｍ１＠ｍａ」のレコードから、「００１．ｊｐｇ」を取り出す。次に、「ｐ１＠ｐａ」と関係付けれられている画像ＩＤを取り出す。図１０のメタデータ管理テーブル４０２で、「ｐ１＠ｐａ」のレコードから、「００１．ｊｐｇ」を取り出す。取り出した画像ＩＤをまとめて、変数ｉｍｇＩｄＬｉｓｔ１に代入する。重複した画像ＩＤは１つにまとめる。この例でｉｍｇＩｄＬｉｓｔ１の値は「００１．ｊｐｇ」となる。複数の画像ＩＤが取り出されることがあるので、ｉｍｇＩｄＬｉｓｔ１をリストとして扱う。
【００４６】
Ｓ１１０８で、メタデータ処理部２０６が、ｉｍｇＩｄＬｉｓｔ１にｉｍｇＩｄ１を追加する。この例でｉｍｇＩｄＬｉｓｔ１は「００１．ｊｐｇ」、ｉｍｇＩｄ１は「００３．ｊｐｇ」である。追加した結果、ｉｍｇＩｄＬｉｓｔ１は「００１．ｊｐｇ，００３．ｊｐｇ」となる。
【００４７】
Ｓ１１０９で、メタデータ処理部２０６が、ｍｓｇＩｄ１とｔｘｔ１とｉｍｇＩｄＬｉｓｔ１を新規レコードとして、メタデータ管理テーブル４０２に追加する。追加後のメタデータ管理テーブル４０２の例を図１３に示す。「ｍ２＠ｍａ」のレコードが追加される。「００１．ｊｐｇ」と「００３．ｊｐｇ」の画像データに、「ｍ２＠ｍａ」のテキストデータが、メタデータとして付与される。２つの画像データのうち、「００１．ｊｐｇ」の画像データは、「ｍ２＠ｍａ」のメッセージに含まれない。つまり、対象となるメッセージに含まれない画像データに対して、メタデータを付与できる。もちろん、対象となるメッセージに含まれる画像データ（「００１．ｊｐｇ」）に対しても、メタデータを付与できる。
【００４８】
Ｓ１１１０で、メタデータ処理部２０６が、ｍｓｇＩｄＬｉｓｔ１から未処理のメッセージＩＤを１つ取り出す。この例でｍｓｇＩｄＬｉｓｔ１は「ｍ１＠ｍａ，ｐ１＠ｐａ」であり、「ｍ１＠ｍａ」「ｐ１＠ｐａ」を順に取り出す。取り出したメッセージＩＤを変数ｍｓｇＩｄ２に代入する。
【００４９】
Ｓ１１１１で、Ｓ１１１０で未処理のメッセージＩＤを取り出せたか否かを判定する。取り出せた場合はＳ１１１２へ進む。取り出せなかった場合、つまりすべてのメッセージＩＤを取り出し終わった場合は、処理を終了する。
【００５０】
Ｓ１１１２で、コンテンツＩＤ取り出し部２０５が、ｍｓｇＩｄ２に関係付けられている画像ＩＤを取り出す。ｍｓｇＩｄ２の値が「ｍ１＠ｍａ」の場合について説明する。図１３のメタデータ管理テーブル４０２から、「ｍ１＠ｍａ」のレコードを取り出す。取り出したレコードの関係画像のカラムから、画像ＩＤを取り出す。「００１．ｊｐｇ」を取り出す。取り出した画像ＩＤを変数ｉｍｇＩｄＬｉｓｔ２に代入する。この例では、取り出された画像ＩＤが１つである。しかし、複数の画像ＩＤが取り出されることがある。そこで、ｉｍｇＩｄＬｉｓｔ２をリストとして扱う。
【００５１】
Ｓ１１１３で、メタデータ処理部２０６が、ｉｍｇＩｄＬｉｓｔ２にｉｍｇＩｄ１を追加する。この例でｉｍｇＩｄＬｉｓｔ２は「００１．ｊｐｇ」、ｉｍｇＩｄ１は「００３．ｊｐｇ」である。追加した結果、ｉｍｇＩｄＬｉｓｔ２は「００１．ｊｐｇ，００３．ｊｐｇ」となる。
【００５２】
Ｓ１１１４で、メタデータ処理部２０６が、ｍｓｇＩｄ２のレコードの関係画像のカラムを、ｉｍｇＩｄＬｉｓｔ２に更新する。ｍｓｇＩｄ２の値が「ｐ１＠ｐａ」の場合についても、Ｓ１１１２からＳ１１１４の処理を行う。更新後のメタデータ管理テーブル４０２の例を図１４に示す。「ｍ１＠ｍａ」のレコードの関係画像のカラムに、「００３．ｊｐｇ」が加わる。つまり、「００３．ｊｐｇ」の画像データに、「ｍ１＠ｍａ」のテキストデータが、メタデータとして付与される。今回送信するメッセージに含まれる画像データに対して、過去のメッセージのテキストデータを、メタデータとして付与できる。
【００５３】
図１５は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。図１１のＳ１１０５において、画像データを選択する処理手順を、より詳細に示す。
【００５４】
Ｓ１５０１で、コンテンツＩＤ取り出し部２０６が、ｍｓｇＩｄＬｉｓｔ１に含まれるメッセージＩＤのうち少なくとも１つと関係付けられている画像ＩＤを取り出す。これは、図１１のＳ１１０７と同じ処理である。取り出した画像ＩＤを変数ｉｍｇＩｄＬｉｓｔ３に代入する。ｉｍｇＩｄＬｉｓｔ３の値は「００１．ｊｐｇ」となる。
【００５５】
Ｓ１５０２で、画像データ表示部２０７が、操作部１０６の画面に表示する画像データを、画像データベース２０９から取り出す。例として、図４の画像データベース２０９で、「００１．ｊｐｇ」「００２．ｊｐｇ」「００３．ｊｐｇ」「００４．ｊｐｇ」「００５．ｊｐｇ」を取り出す。取り出した画像ＩＤを変数ｉｍｇＩｄＬｉｓｔ４に代入する。ｉｍｇＩｄＬｉｓｔ４の値は「００１．ｊｐｇ，００２．ｊｐｇ，００３．ｊｐｇ，００４．ｊｐｇ，００５．ｊｐｇ」となる。
【００５６】
Ｓ１５０３で、画像データ表示部２０７が、ｉｍｇＩｄＬｉｓｔ４から未処理の画像ＩＤを１つ取り出す。この例では、「００１．ｊｐｇ」「００２．ｊｐｇ」「００３．ｊｐｇ」「００４．ｊｐｇ」「００５．ｊｐｇ」を順に取り出す。取り出した画像ＩＤを変数ｉｍｇＩｄ４に代入する。
【００５７】
Ｓ１５０４で、未処理の画像ＩＤを取り出せたか否かを判定する。取り出せた場合はＳ１５０５へ進む。取り出せなかった場合、つまりすべての画像ＩＤを取り出し終わった場合は、処理を終了する。
【００５８】
Ｓ１５０５で、画像データ表示部２０７が、ｉｍｇＩｄ４がｉｍｇＩｄＬｉｓｔ３に含まれるか否かを判定する。判定の結果Ｓ１５０６で処理を分岐する。含まれる場合はＳ１５０７へ進み、含まれない場合はＳ１５０８へ進む。
【００５９】
Ｓ１５０７で、画像データ表示部２０７が、ｉｍｇＩｄ４の画像データを識別して表示する。例えば通常の方法に比べ、小さなサイズで表示する。
【００６０】
Ｓ１５０８で、画像データ表示部２０７が、ｉｍｇＩｄ４の画像を通常の方法で表示する。
【００６１】
以上の処理手順により、画像データを選択するときに、画像データを操作部１０６の画面に表示することができる。
【００６２】
図１６に、操作部１０６の画面に表示した例を示す。この例では、「００１．ｊｐｇ」の画像データのみ、識別して表示することになる。「００１．ｊｐｇ」の画像データは、このメッセージの一連のやりとりにおいて、既に送信した画像である。この例では図６のメッセージで送信している。既に送信した画像データを識別可能に表示することで、画像データの２度送りを防止することが可能となる。
【００６３】
図１７は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。画像データベース２０９から、所望の画像データを、音声認識を用いて検索する処理手順を示す。例として、図４の画像データベース２０９を用いる。
【００６４】
Ｓ１７０１で、画像データ検索部２０８が、ユーザが発声した音声を、操作部１０６のマイクから取り込む。
【００６５】
Ｓ１７０２で、画像データ検索部２０８が、音声認識エンジンを用いて、取り込んだ音声を音声認識する。
【００６６】
Ｓ１７０３で、画像データ検索部２０８が、音声認識結果を出力する。音声認識結果として文字列を出力することにする。例えば、ユーザの発声を「たろ〜」とする。音声認識結果として「太郎」を出力する。
【００６７】
Ｓ１７０４で、メタデータ処理部２０６が、メタデータ管理テーブル４０２から、認識結果の文字列をテキストデータのカラムに含むレコードを検索する。図４のメタデータ管理テーブル４０２では、「ｍ１＠ｍａ」のレコードのテキストデータのカラムが「太郎」を含む。
【００６８】
Ｓ１７０５で、メタデータ処理部２０６が、検索されたレコードの関係画像のカラムに含まれる画像ＩＤを取り出す。この例では、「００１．ｊｐｇ」と「００３．ｊｐｇ」を取り出す。
【００６９】
Ｓ１７０６で、画像データ表示部２０７が、操作部１０６の画面に、取り出した画像ＩＤの画像データを表示する。表示例を図１８に示す。
【００７０】
以上説明したとおり、画像データベース２０９が、画像データ管理テーブル４０１とメタデータ管理テーブル４０２を含むことで、文字列による画像データの検索が容易になる。
【００７１】
一般にメッセージのやり取りが長く続くと、話題が変化する。その結果、画像データに、関係の薄いメタデータが付与されるという問題が生じる。この問題を解決するために、スレッドの分割を行う。スレッドの分割を実現するために、継続カウンタをメッセージに含める。新規のメッセージを作成する場合は、継続カウンタの値を、予め定めた値に設定する。以降の説明において、例として、この値を５とする。受信したメッセージに対して返信を行う場合に、継続カウンタの値を決める処理手順を、図１９に示す。
【００７２】
図１９は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。受信したメッセージに対して返信する場合における、継続カウンタの処理手順を示す。図１９で、Ｓ１１０１〜Ｓ１１０６の処理は、図１１と同じ処理である。
【００７３】
Ｓ１９０１で、メッセージ処理部２０３が、返信するメッセージが画像データを含むか否かを判定する。画像データを含む場合はＳ１９０５へ進み、含まない場合はＳ１９０２へ進む。
【００７４】
Ｓ１９０２で、メッセージ処理部２０３が、返信元メッセージの継続カウンタの値から１を引いたものを、返信するメッセージの継続カウンタの値とする。
【００７５】
Ｓ１９０３で、メッセージ処理部２０３が、返信するメッセージの継続カウンタの値が０か否かを判定する。０の場合はＳ１９０４へ進み、０でない場合はＳ１１０６へ進む。
【００７６】
Ｓ１９０４で、メッセージ処理部２０３が、返信するメッセージの参照元メッセージＩＤの値を空にする。
【００７７】
Ｓ１９０５で、メッセージ処理部２０３が、返信するメッセージの継続カウンタの値を５とする。
Ｓ１１０６以降の処理は、図１１と同じである。
【００７８】
継続カウンタを用いたスレッドの分割について、図２０の例を用いて具体的に説明する。図２０は「Ｄ」さんと「Ｅさん」の２人の間での、メッセージのやり取りを表す。メッセージ１から順に、メッセージ９まで９回のやり取りを表す。
【００７９】
メッセージ１は、「Ｄ」さんから「Ｅ」さんへのメッセージである。新規のメッセージである。「００１．ｊｐｇ」の画像データを含む。継続カウンタの値は、予め定めた値の５とする。
【００８０】
メッセージ２は、「Ｅ」さんから「Ｄ」さんへのメッセージである。メッセージ１に対する返信メッセージである。継続カウンタの値は４である。この値はメッセージ１の継続カウンタの値から１を引いたものである。
【００８１】
メッセージ３は、「Ｄ」さんから「Ｅ」さんへのメッセージである。メッセージ２に対する返信メッセージである。継続カウンタの値は３である。この値はメッセージ２の継続カウンタの値から１を引いたものである。
【００８２】
メッセージ４は、「Ｅ」さんから「Ｄ」さんへのメッセージである。メッセージ３に対する返信メッセージである。継続カウンタの値は２である。この値はメッセージ３の継続カウンタの値から１を引いたものである。
【００８３】
メッセージ５は、「Ｄ」さんから「Ｅ」さんへのメッセージである。メッセージ４に対する返信メッセージである。継続カウンタの値は１である。この値はメッセージ４の継続カウンタの値から１を引いたものである。
【００８４】
メッセージ６は、「Ｅ」さんから「Ｄ」さんへのメッセージである。メッセージ５に対する返信メッセージである。メッセージ５の継続カウンタの値から１を引くと０になる。また、画像データを含まない。よって、図１９のＳ１９０４とＳ１９０５を処理する。参照元メッセージＩＤの値を空にする。これにより、メッセージ５以前のメッセージとの関係が断たれる。つまりメッセージ１〜５とメッセージ６以降でスレッドが分割される。また、継続カウンタの値を５とする。
【００８５】
メッセージ７は、「Ｄ」さんから「Ｅ」さんへのメッセージである。メッセージ６に対する返信メッセージである。継続カウンタの値は４である。この値はメッセージ６の継続カウンタの値から１を引いたものである。
【００８６】
メッセージ８は、「Ｅ」さんから「Ｄ」さんへのメッセージである。メッセージ７に対する返信メッセージである。継続カウンタの値は３である。この値はメッセージ７の継続カウンタの値から１を引いたものである。
【００８７】
メッセージ９は、「Ｄ」さんから「Ｅ」さんへのメッセージである。メッセージ８に対する返信メッセージである。「００２．ｊｐｇ」の画像データを含む。よって、図１９のＳ１９０５を処理する。継続カウンタの値を５とする。
【００８８】
「Ｄ」さんの画像管理装置で、メッセージ９の送信後、「００２．ｊｐｇ」の画像データに対しメタデータが付与される。付与されるメタデータは、メッセージ６〜９、つまり、「ｅ３＠ｅｅ」「ｄ４＠ｄｄ」「ｅ４＠ｅｅ」「ｄ５＠ｄｄ」のテキストデータである。メッセージ６において、参照元メッセージＩＤの値が空になる（スレッドが分割される）ので、それ以前のメッセージのテキストデータは付与されない。
【００８９】
また「Ｄ」さんの画像管理装置で、メッセージ１〜５の送受信時に、「００１．ｊｐｇ」の画像データに対しメタデータが付与される。付与されるメタデータは、メッセージ１〜５、つまり、「ｄ１＠ｄｄ」「ｅ１＠ｅｅ」「ｄ２＠ｄｄ」「ｅ２＠ｅｅ」「ｄ３＠ｄｄ」のテキストデータである。メッセージ６において、スレッドが分割されるので、それ以降のメッセージのテキストデータは付与されない。
【００９０】
以上説明したように、スレッドの分割を行うことで、画像データと異なる話題のメッセージ（関係が薄いメッセージ）のテキストデータを、メタデータとして付与することを防げるようになる。
【００９１】
以上の構成によれば、処理対象となる操作に直接含まれないコンテンツデータに対しても、それに関連するメタデータを効率良く付与することができる。
【実施例２】
【００９２】
図２１は、画像データベース２０９の他の構成を示す。図２１が管理しているメタデータは、図４が管理しているメタデータと同等である。画像データベース２０９は画像データ管理テーブル４０１とテキストデータ管理テーブル２１０１と関係メッセージ管理テーブル２１０２からなる。画像データ管理テーブルは、図４の画像データベース２０９と同じである。
【００９３】
テキストデータ管理テーブル２１０１は、メッセージＩＤとテキストデータの２つのカラムからなる。主キーはメッセージＩＤである。
【００９４】
関係メッセージ管理テーブル２１０２は、画像ＩＤと関係メッセージの２つのカラムからなる。主キーは画像ＩＤである。関係メッセージのカラムの値は、画像ＩＤと関係付けられている複数のメッセージＩＤである。
【００９５】
図２２は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。メッセージＩＤとテキストデータと画像ＩＤを関係付けて、画像データベース２０９に登録（追加／更新）する処理手順を示す。この処理を行う前に、メッセージＩＤを変数ｍｓｇＩｄ１に代入する。テキストデータを変数ｔｘｔ１に代入する。複数の画像ＩＤを変数ｉｍｇＩｄＬｉｓｔ１に代入する。
【００９６】
Ｓ２２０１で、メタデータ処理部２０６が、テキストデータ管理テーブル２１０１に、メッセージＩＤの値がｍｓｇＩｄ１のレコードが存在するか否かを判定する。
【００９７】
Ｓ２２０２で、Ｓ２２０１で存在すると判定した場合はＳ２２０４へ進む。存在しないと判定した場合はＳ２２０３へ進む。
【００９８】
Ｓ２２０３で、メタデータ処理部２０６が、ｍｓｇＩｄ１とｔｘｔ１を新規レコードとし、テキストデータ管理テーブル２１０１に追加する。
【００９９】
Ｓ２２０４で、メタデータ処理部２０６が、ｉｍｇＩｄＬｉｓｔ１から未処理の画像ＩＤを１つ取り出す。取り出した画像ＩＤを変数ｉｍｇＩｄ１に代入する。
【０１００】
Ｓ２２０５で、Ｓ２２０４で未処理の画像ＩＤを取り出せたか否かを判定する。取り出せた場合はＳ２２０６へ進む。取り出せなかった場合、つまりすべての画像ＩＤを取り出し終わった場合は、処理を終了する。
【０１０１】
Ｓ２２０６で、メタデータ処理部２０６が、関係メッセージ管理テーブル２１０２に、画像ＩＤの値がｉｍｇＩｄ１のレコードが存在するか否かを判定する。
【０１０２】
Ｓ２２０７で、Ｓ２２０６で存在すると判定した場合はＳ２２０８へ進む。存在しないと判定した場合はＳ２２１１へ進む。
【０１０３】
Ｓ２２０８で、メタデータ処理部２０６が、関係メッセージ管理テーブル２１０２から、画像ＩＤの値がｉｍｇＩｄ１のレコードを取り出す。取り出したレコードの関係メッセージのカラムの値を変数ｍｓｇＩｄＬｉｓｔ２に代入する。
【０１０４】
Ｓ２２０９で、メタデータ処理部２０６が、ｍｓｇＩｄＬｉｓｔ２にｍｓｇＩｄ１を追加する。
【０１０５】
Ｓ２２１０で、メタデータ処理部２０６が、画像ＩＤの値がｉｍｇＩｄ１のレコードの関係メッセージのカラムを、ｍｓｇＩｄＬｉｓｔ２に更新する。
【０１０６】
Ｓ２２１１で、メタデータ処理部２０６が、ｉｍｇＩｄ１とｍｓｇＩｄ１を新規レコードとして、関係メッセージ管理テーブル２１０２に追加する。
【０１０７】
図５の処理手順で、図６のメッセージを送信した後の画像データベース２０９の例を図２３に示す。画像データ管理テーブル４０１は省略している。メッセージを送信する前は、テキストデータ管理テーブル２１０１と関係メッセージ管理テーブル２１０２が空の状態であったとする。
【０１０８】
図５のＳ５０６において、「ｍ１＠ｍａ」のテキストデータと、「００１．ｊｐｇ」の画像データを関係付けて、画像データベースに追加する。これは、図２１の画像データベース２０９を用いた場合、図２２の処理となる。Ｓ２２０３において、テキストデータ管理テーブル２２０１に、「ｍ１＠ｍａ」とそのテキストデータを新規レコードとして追加する。Ｓ２２１１において、関係メッセージ管理テーブル２１０２に、「００１．ｊｐｇ」と「ｍ１＠ｍａ」を新規レコードとして追加する。
【０１０９】
図２３の画像データベースでは、「００１．ｊｐｇ」の画像データと「ｍ１＠ｍａ」が、関係メッセージ管理テーブル２１０２において、同一レコードとして関係付けられる。また、「ｍ１＠ｍａ」とそのテキストデータが、テキストデータ管理テーブル２１０１において、同一レコードとして関係付けられる。２つのテーブルを用いて、「００１．ｊｐｇ」の画像データと、「ｍ１＠ｍａ」のテキストデータが関係付けられる。図２３が管理しているメタデータは、図７が管理しているメタデータと同等である。
【０１１０】
図２４は、本発明の一実施例にかかる画像管理装置の処理手順を示すフローチャートである。画像データにメタデータとして付与されたテキストデータを、画像データと共に送信する処理手順を示す。例として図２１の画像データベース２０９を用いる。
【０１１１】
Ｓ２４０１で、送信するメッセージを作成する。図５のＳ５０１からＳ５０３の処理に相当する。
【０１１２】
Ｓ２４０２で、ユーザが、画像データベース２０９から、添付する画像データを選択する。「００４．ｊｐｇ」の画像データを選択したとする。
【０１１３】
Ｓ２４０３で、メタデータ処理部２０６が、関係メッセージ管理テーブル２１０２から、選択された画像データに関係するメッセージＩＤを取り出す。具体的には、「００４．ｊｐｇ」のレコードの関係メッセージのカラムからメッセージＩＤを取り出す。取り出したメッセージＩＤは、「ｍ３＠ｍａ」「ａ１＠ａａ」「ｂ１＠ｂｂ」「ｍ４＠ｍａ」である。
【０１１４】
Ｓ２４０４で、メタデータ処理部２０６が、テキストデータ管理テーブル２１０１から、取り出したメッセージＩＤに対応するテキストデータを取り出す。「ｍ３＠ｍａ」「ａ１＠ａａ」「ｂ１＠ｂｂ」「ｍ４＠ｍａ」のそれぞれに対応する４つのテキストデータを取り出す。
【０１１５】
Ｓ２４０５で、ユーザが、取り出されたテキストデータから、所望のテキストデータを選択する。「ａ１＠ａａ」と「ｂ１＠ｂｂ」に対応するテキストデータを選択したとする。
【０１１６】
Ｓ２４０６で、メタデータ処理部２０６が、Ｓ２４０５で選択されたテキストデータを、Ｓ２４０２で選択された画像データに付与する。例を図２５に示す。
Ｓ２４０７で、メッセージ送受信部２０４が、メッセージを送信する。
【０１１７】
以上説明したように、画像データベースを図２１の構成とすることで、メタデータ付きの画像データ（コンテンツデータ）を容易に作成することができる。
以上の構成によれば、処理対象となる操作に直接含まれないコンテンツデータに対しても、それに関連するメタデータを効率良く付与することができる。
【０１１８】
（変形例）
以上の実施例において、メッセージとして電子メールを用いてもよい。その場合、メッセージＩＤは、電子メールのＭｅｓｓｅｇｅ−Ｉｄヘッダを用いる。参照元メッセージＩＤは、電子メールのＲｅｆｅｒｅｎｃｅｓヘッダを用いる。
【０１１９】
なお、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムや装置に供給し、それらのコンピュータが記憶媒体に格納されたプログラムコードを読み出して実行することでも目的は達成される。
【０１２０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成する。
【０１２１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１２２】
また、コンピュータが読出したプログラムコードを実行することにより、実施例の機能が実現されるだけでなく、そのコードの指示に基づき、コンピュータ上のオペレーティングシステムなどが処理を行い、実施例の機能が実現される場合も発明に含まれる。
【０１２３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入／接続された機能拡張ユニットに備わるメモリに書込まれた後、そのコードに基づき前記ユニットのＣＰＵなどが実際の処理を行う場合も発明に含まれる。
【図面の簡単な説明】
【０１２４】
【図１】本発明の一実施例にかかる画像管理装置のハードウェア構成を示すブロック図である。
【図２】本発明の一実施例にかかる画像管理装置の機能構成を示すブロック図である。
【図３】メッセージの例を示す図である。
【図４】画像データベースの構成例を示す図である。
【図５】本発明の一実施例にかかるメッセージ送信時の処理手順を示すフローチャートである。
【図６】メッセージの例を示す図である。
【図７】メタデータ管理テーブルの例を示す図である。
【図８】本発明の一実施例にかかるメッセージ受信時の処理手順を示すフローチャートである。
【図９】メッセージの例を示す図である。
【図１０】メタデータ管理テーブルの例を示す図である。
【図１１】本発明の一実施例にかかるメッセージ返信時の処理手順を示すフローチャートである。
【図１２】メッセージの例を示す図である。
【図１３】メタデータ管理テーブルの例を示す図である。
【図１４】メタデータ管理テーブルの例を示す図である。
【図１５】本発明の一実施例にかかる画像選択時の処理手順を示すフローチャートである。
【図１６】画像データの表示例を示す図である。
【図１７】本発明の一実施例にかかる音声検索の処理手順を示すフローチャートである。
【図１８】画像データの表示例を示す図である。
【図１９】本発明の一実施例にかかる継続カウンタの処理手順を示すフローチャートである。
【図２０】メッセージのやり取りの例を示す図である。
【図２１】画像データベースの構成例を示す図である。
【図２２】本発明の一実施例にかかる画像データベースへの登録の処理手順を示すフローチャートである。
【図２３】テキストデータ管理テーブルと関係メッセージ管理テーブルの例を示す図である。
【図２４】本発明の一実施例にかかるコメント付きの画像データ送信するための処理手順を示すフローチャートである。
【図２５】コメント付きの画像データの例である。
【符号の説明】
【０１２５】
２０１  メッセージＩＤ生成部
２０２  参照元メッセージＩＤ生成部
２０３  メッセージ処理部
２０４  メッセージ送受信部
２０５  コンテンツＩＤ取り出し部
２０６  メタデータ処理部
２０７  画像データ表示部
２０８  画像データ検索部
２０９  画像データベース
【図１】
2010128924.tif 000003
【図２】
2010128924.tif 000004
【図３】
2010128924.tif 000005
【図４】
2010128924.tif 000006
【図５】
2010128924.tif 000007
【図６】
2010128924.tif 000008
【図７】
2010128924.tif 000009
【図８】
2010128924.tif 000010
【図９】
2010128924.tif 000011
【図１０】
2010128924.tif 000012
【図１１】
2010128924.tif 000013
【図１２】
2010128924.tif 000014
【図１３】
2010128924.tif 000015
【図１４】
2010128924.tif 000016
【図１５】
2010128924.tif 000017
【図１６】
2010128924.tif 000018
【図１７】
2010128924.tif 000019
【図１８】
2010128924.tif 000020
【図１９】
2010128924.tif 000021
【図２０】
2010128924.tif 000022
【図２１】
2010128924.tif 000023
【図２２】
2010128924.tif 000024
【図２３】
2010128924.tif 000025
【図２４】
2010128924.tif 000026
【図２５】
2010128924.tif 000027