(57)【要約】【課題】  未整理の写真画像を、利用者入力する簡単な検索文で検索することができる、写真画像検索装置を提供する。【解決手段】  インデックス作成部１０は、日記ＤＢ１０２の日記データを取得し、日記データに含まれる単語を抽出し、抽出した単語の情報と該日記データが日記ＤＢ１０２登録された日付の情報とを関連付けてインデックスＤＢ２０に記録する。そして、検索部３０は、ユーザが入力した検索文を構文解析し、検索文に含まれる検索語を抽出し、該検索語の情報を指標として、インデックスＤＢ２０を参照し、該検索語を含む日記データの登録された日付の情報を抽出する。そして、検索語を含む日記データの登録された日付を指標として、写真画像データベース４０を参照し、該当する日付に撮影された写真画像を抽出して表示する。【選択図】  図１
2006235910.tif 000002
【特許請求の範囲】
【請求項１】
複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置であって、
写真画像のデータを撮影された日付の情報と共に記録する写真画像データベースと、
文章データを記憶する文書データベースと、
前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析手段と、
前記文章データ解析手段により抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けて記録するインデックスデータベースと、
入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析手段と、
前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章データの登録された日付の情報を抽出する日付情報抽出手段と、
前記検索語を含む文章の登録された日付を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出手段と、
前記写真画像抽出手段により抽出された写真画像を表示する表示手段と
を備えることを特徴とする写真画像検索装置。
【請求項２】
複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置であって、
写真画像のデータを撮影された日付と共に記録する写真画像データベースと、
文章データを記憶する文書データベースと、
前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析手段と、
前記文章データごとにページＩＤを付与して、前記文書データベースへの文章データの記録の日付および保存場所を記録するページテーブルと、
前記文章データ解析手段により抽出した単語ごとに単語ＩＤを付与して単語名と共に記録する単語テーブルと、
前記ページＩＤを指標として、前記文章データ解析手段により抽出した単語のＩＤを記録する単語／ページテーブルと、
入力される検索文を構文解析し、該検索文に含まれる単語を抽出する検索文解析手段と、
前記検索文解析手段により抽出した単語から検索語を取得する検索語取得手段と、
前記検索文解析手段により抽出した単語から日付の範囲に関する情報を取得する日付範囲情報取得手段と、
前記日付範囲の情報を指標として、前記ページテーブルを参照し、前記日付範囲に属するページＩＤを特定する日付範囲ページ特定手段と、
前記検索語を指標にして、前記単語テーブルを参照し、該検索語に相当する単語の単語ＩＤを抽出する単語ＩＤ取得手段と、
前記単語ＩＤ取得手段により抽出された単語ＩＤを指標として、前記単語／ページテーブルを参照して、該単語を含むページＩＤを取得するページＩＤ取得手段と、
前記ページＩＤ取得手段により取得されたページＩＤを指標として、前記ページテーブルを参照し、前記日付範囲ページ特定手段により特定された日付範囲内のページＩＤから該当するページＩＤを抽出し、該抽出されたページＩＤの文章データの日付を特定する日付特定手段と、
前記日付特定手段により特定された日付を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出手段と、
前記写真画像抽出手段により抽出された写真画像を表示する表示手段と
を備えることを特徴とする写真画像検索装置。
【請求項３】
予め選定した単語に重み付けを行い登録した重み付け辞書をさらに備え、
前記単語テーブルに単語ＩＤと単語名とを記録する際に、前記重み付け辞書を参照し、該単語ＩＤと単語名に加えて、さらに品詞と重み付けの情報を記録する手段と、
前記単語／ページテーブルにページＩＤと単語ＩＤを記録する際に、ページＩＤと単語ＩＤに加えて、さらに、当該ページＩＤの文章データにおける当該単語の出現頻度の情報を記録する手段と
を備えることを特徴とする請求項２に記載の写真画像検索装置。
【請求項４】
前記文章データが、Ｗｅｂ日記サーバ上に記録された日記データであり、
写真画像検索装置には、前記Ｗｅｂ日記サーバへの日記データの登録、およびＷｅｂ日記サーバから日記データを読み込む文章データ登録／取得手段を
備えることを特徴とする請求項１から３のいずれかに記載の写真画像検索装置。
【請求項５】
前記文章データが電子メールデータであり、
写真画像検索装置には、電子メールの読み取り手段を
備えることを特徴とする請求項１から３のいずれかに記載の写真画像検索装置。
【請求項６】
前記写真画像が、カメラ付き携帯通信端末で撮影された写真画像であり、
前記文章データが、前記カメラ付き携帯通信端末内の電子メールデータであり、
写真画像検索装置には、前記カメラ付き携帯通信端末との通信接続手段を
備えることを特徴とする請求項１から３のいずれかに記載の写真画像検索装置。
【請求項７】
前記写真画像検索装置はカメラ付き携帯通信端末内に設備され、
前記文章データが電子メールデータであり、
前記写真画像がカメラ付き携帯通信端末のカメラにより撮影された写真画像であること
を特徴とする請求項１から３のいずれかに記載の写真画像検索装置。
【請求項８】
複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置における写真画像検索方法であって、
写真画像検索装置内のコンピュータが、写真画像のデータを撮影された日付と共に写真画像データベースに記録するステップと、
コンピュータが、文章データを文書データベースに記録するステップと、
コンピュータが、前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析ステップと、
コンピュータが、前記文章データ解析ステップにより抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録するステップと、
コンピュータが、入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析ステップと、
コンピュータが、前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章データの登録された日付の情報を抽出する日付情報抽出ステップと、
コンピュータが、前記検索語を含む文章データの登録された日付の情報を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出ステップと、
コンピュータが、前記写真画像抽出ステップにより抽出された写真画像を表示する表示ステップと
を含むことを特徴とする写真画像検索方法。
【請求項９】
複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置内のコンピュータに、
写真画像のデータを撮影された日付と共に写真画像データベースに記録するステップと、
文章データを文書データベースに記録するステップと、
前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析ステップと、
前記文章データ解析ステップにより抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録するステップと、
入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析ステップと、
前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章の登録された日付情報を抽出する日付情報抽出ステップと、
前記検索語を含む文章の登録された日付の情報を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出ステップと、
前記写真画像抽出ステップにより抽出された写真画像を表示する表示ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置内のコンピュータに、
写真画像のデータを撮影された日付と共に写真画像データベースに記録するステップと、
文章データを文書データベースに記録するステップと、
前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析ステップと、
前記文章データ解析ステップにより抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録するステップと、
入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析ステップと、
前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章の登録された日付情報を抽出する日付情報抽出ステップと、
前記検索語を含む文章の登録された日付の情報を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出ステップと、
前記写真画像抽出ステップにより抽出された写真画像を表示する表示ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
近年、デジタルカメラが一般家庭へ急速に普及している。デジタルカメラでは従来の銀塩フィルムの写真に比べ、手軽に撮影、消去ができる。また、メモリカードの容量も増加し、１枚のメモリカードに１００枚以上の写真を保存できることもあり、より大量の写真が撮影される傾向にある。
【０００２】
大量に撮影された写真を保存するには、パーソナルコンピュータのＨＤＤ（ハードディスク）や、大容量ＨＤＤを備えたフォトストレージなどが利用される。
【０００３】
１回の撮影で１００枚以上の写真が撮影されるため、頻繁にデジタルカメラを使う場合、１年間の写真の枚数は数千枚におよぶ。こうした状況では、後から目的の写真を見つけやすくするためには、アルバム編集ソフトを利用するか、保存するフォルダを適切に管理し、あらかじめ整理しておく必要がある。
【０００４】
しかし、こうした整理を常にしておくことは、利用者にとって手間のかかることである。また、取りためた写真が増大して行くにつれて、過去の写真を少ない手間で、簡単に見つけることが求められる。
【０００５】
このような問題を解決するために、大量の写真画像の中から、キーワード検索によって、所望の写真をみつけるための方法がいくつか提案されている。例えば、撮影装置にキーワードボタンを設けることによって特定のキーワードを写真画像に追加できるようにしている（例えば、特許文献１参照）。
【０００６】
また、アルバムソフト等において、複数の画像をグループ化して、一括してコメントを付与することによって、画像に対してキーワードを追加する利用者の作業を軽減している（例えば、特許文献２参照）。しかしながら、これらの方法においては、撮影時または写真の整理の際に、コメントを追加するという作業が発生する。
【０００７】
また、イベント情報データベースを用意することによって、写真画像に対してのキーワードの付与を省略する手法を提案している。しかし、イベント情報データベースをどのように整備、更新するかという課題があった（例えば、特許文献３参照）。
【特許文献１】特開２００２−３４４７２１号公報
【特許文献２】特開２０００−１０１８９４号公報
【特許文献３】特開２００３−３０３２１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、従来の方法では、撮影時または写真の整理の際に、コメントを追加するという作業が発生するなどの問題があった。
【０００９】
ところで、個人が継続して蓄積している情報として、ウェブログなどと呼ばれるＷｅｂ上の日記や、パーソナルコンピュータ上のメールのやりとりの情報などがある。これらの情報には、利用者の行動に関する情報が大量のテキストデータとして存在し、日時の情報等が付加されている。
【００１０】
本発明では、上記日記等の文章データと写真画像の情報を関連づけることによって、未整理の写真画像の検索を、利用者のあいまいな記憶による簡単な検索文の入力により行なうことができる、写真画像検索装置、写真画像検索方法、記録媒体、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上記課題を解決するためになされたものであり、本発明の写真画像検索装置は、複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置であって、写真画像のデータを撮影された日付の情報と共に記録する写真画像データベースと、文章データを記憶する文書データベースと、前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析手段と、前記文章データ解析手段により抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けて記録するインデックスデータベースと、入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析手段と、前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章データの登録された日付の情報を抽出する日付情報抽出手段と、前記検索語を含む文章の登録された日付を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出手段と、前記写真画像抽出手段により抽出された写真画像を表示する表示手段とを備えることを特徴とする。
このような構成であれば、文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出し、該抽出された単語の情報と該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録する。そして、ユーザが入力した検索文を構文解析し、検索文に含まれる検索語を抽出し、該検索語の情報を指標として、インデックスデータベースを参照し、該検索語を含む文章データの登録された日付の情報を抽出する。そして、検索語を含む文章データの登録された日付を指標として、写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出して表示する。
これにより、Ｗｅｂ日記や電子メール等の文章データを利用して、目的の写真画像を検索することができるので、写真の撮影時や、写真画像検索装置（例えば、パーソナルコンピュータ等）へ写真画像を取り込む際に、写真画像にコメントを付加したり、フォルダに整理するなどの作業が不要になる。また、日記等の文章データと写真画像の情報を関連づけることによって、未整理の写真画像を、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することにより検索することができる。
【００１２】
また、本発明の写真画像検索装置は、複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置であって、写真画像のデータを撮影された日付と共に記録する写真画像データベースと、文章データを記憶する文書データベースと、前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析手段と、前記文章データごとにページＩＤを付与して、前記文書データベースへの文章データの記録の日付および保存場所を記録するページテーブルと、前記文章データ解析手段により抽出した単語ごとに単語ＩＤを付与して単語名と共に記録する単語テーブルと、前記ページＩＤを指標として、前記文章データ解析手段により抽出した単語のＩＤを記録する単語／ページテーブルと、入力される検索文を構文解析し、該検索文に含まれる単語を抽出する検索文解析手段と、前記検索文解析手段により抽出した単語から検索語を取得する検索語取得手段と、前記検索文解析手段により抽出した単語から日付の範囲に関する情報を取得する日付範囲情報取得手段と、前記日付範囲の情報を指標として、前記ページテーブルを参照し、前記日付範囲に属するページＩＤを特定する日付範囲ページ特定手段と、前記検索語を指標にして、前記単語テーブルを参照し、該検索語に相当する単語の単語ＩＤを抽出する単語ＩＤ取得手段と、前記単語ＩＤ取得手段により抽出された単語ＩＤを指標として、前記単語／ページテーブルを参照して、該単語を含むページＩＤを取得するページＩＤ取得手段と、前記ページＩＤ取得手段により取得されたページＩＤを指標として、前記ページテーブルを参照し、前記日付範囲ページ特定手段により特定された日付範囲内のページＩＤから該当するページＩＤを抽出し、該抽出されたページＩＤの文章データの日付を特定する日付特定手段と、前記日付特定手段により特定された日付を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出手段と、前記写真画像抽出手段により抽出された写真画像を表示する表示手段とを備えることを特徴とする。
このような構成であれば、文章データごとにページＩＤを付与して、文章データの記録の日付および保存場所をページテーブルに記録する。また、文章データを構文解析し、該文章に含まれる単語を抽出し、抽出した単語ごとに単語ＩＤを付与して単語名と共に単語テーブルに記録する。また、ページＩＤを指標にして、抽出した単語のＩＤを単語／ページテーブルに記録する。そして、ユーザが入力した検索文を構文解析し、該検索文に含まれる単語を抽出し、抽出した単語から日付範囲の情報と検索語を取得する。そして、日付範囲の情報を指標にページテーブルを参照し、特定された日付範囲に属するページＩＤを取得する。また、検索語を指標にして単語テーブルを参照し、該検索語に相当する単語の単語ＩＤを抽出し、該単語ＩＤを指標に単語／ページテーブルを参照して、該単語を含むページＩＤを抽出する。そして、このページＩＤを指標にページテーブルを参照し、特定された日付範囲内のページＩＤの中から該当するページＩＤ（検索語を含むページＩＤ）を抽出し、抽出されたページＩＤを有する文章データの日付を特定する。そして、この文章データの日付を指標として、写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出して表示する。
これにより、Ｗｅｂ日記や電子メール等の文章データを利用して、目的の写真画像を検索することができるので、写真の撮影時や、写真画像検索装置（例えば、パーソナルコンピュータ等）へ写真画像を取り込む際に、写真画像にコメントを付加したり、フォルダに整理するなどの作業が不要になる。また、日記等の文章データと写真画像の情報を関連づけることによって、未整理の写真画像を、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することにより検索することができる。
【００１３】
また、本発明の写真画像検索装置は、予め選定した単語に重み付けを行い登録した重み付け辞書をさらに備え、前記単語テーブルに単語ＩＤと単語名とを記録する際に、前記重み付け辞書を参照し、該単語ＩＤと単語名に加えて、さらに品詞と重み付けの情報を記録する手段と、前記単語／ページテーブルにページＩＤと単語ＩＤを記録する際に、ページＩＤと単語ＩＤに加えて、さらに、当該ページＩＤの文章データにおける当該単語の出現頻度の情報を記録する手段とを備えることを特徴とする。
このような構成であれば、単語テーブルに単語ＩＤと単語名とを記録する際に、該単語ＩＤと単語名に加えて、さらに品詞と重み付けの情報を記録する。また、単語／ページテーブルにページＩＤと単語ＩＤを記録する際に、該ページＩＤと単語ＩＤに加えて、さらに、該単語の文章データ中の出現頻度の情報を記録する。
これにより、検索語と、インデックスＤＢ中の単語テーブルに登録された単語との類似度判定に、ＴＦＩＤＦ（term frequency inverted document frequency）等を用いることができる。
【００１４】
また、本発明の写真画像検索装置は、前記文章データが、Ｗｅｂ日記サーバ上に記録された日記データであり、写真画像検索装置には、前記Ｗｅｂ日記サーバへの日記データの登録、およびＷｅｂ日記サーバから日記データを読み込む文章データ登録／取得手段を備えることを特徴とする。
このような構成であれば、文章データとして、Ｗｅｂ日記サーバに記録された日記データを使用し、写真画像データベース中の写真画像と関連付け、検索文により写真画像を検索する。
これにより、ユーザが日々記録しているＷｅｂ日記サーバ上の日記データを利用して、未整理の写真画像を、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することにより検索することができる。
【００１５】
また、本発明の写真画像検索装置は、前記文章データが電子メールデータであり、写真画像検索装置には、電子メールの読み取り手段を備えることを特徴とする。
このような構成であれば、文章データとして、電子メールデータを使用し、写真画像データベースに記録した写真画像と関連付け、検索文により写真画像を検索する。
これにより、ユーザが送受信した電子メールデータを利用して、未整理の写真画像を、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することにより検索することができる。
【００１６】
また、本発明の写真画像検索装置は、前記写真画像が、カメラ付き携帯通信端末で撮影された写真画像であり、前記文章データが、前記カメラ付き携帯通信端末内の電子メールデータであり、写真画像検索装置には、前記カメラ付き携帯通信端末との通信接続手段を備えることを特徴とする。
このような構成であれば、写真画像検索装置をカメラ付き携帯通信端末と接続し、該カメラ付き携帯通信端末内に記憶された写真画像データと電子メールデータを、写真画像検索装置内に取り込んで記憶する。そして、文章データとして電子メールデータを使用し、カメラ付き携帯通信端末で撮影した写真画像と関連付け、検索文により写真画像を検索する。
これにより、カメラ付き携帯通信端末に蓄積された未整理の写真画像を、電子メールデータと関連付け、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することで検索することができる。
【００１７】
また、本発明の写真画像検索装置は、前記写真画像検索装置はカメラ付き携帯通信端末内に設備され、前記文章データが電子メールデータであり、前記写真画像がカメラ付き携帯通信端末のカメラにより撮影された写真画像であることを特徴とする。
このような構成であれば、写真画像検索装置をカメラ付き携帯通信端末内に設備し、文章データとして電子メールデータを使用し、カメラ付き携帯通信端末で撮影し蓄積された写真画像と関連付け、検索文により写真画像を検索する。
これにより、カメラ付き携帯通信端末に蓄積された未整理の写真画像を、電子メールデータと関連付け、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することで検索することができる。
【００１８】
また、本発明の写真画像検索方法は、複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置における写真画像検索方法であって、写真画像検索装置内のコンピュータが、写真画像のデータを撮影された日付と共に写真画像データベースに記録するステップと、コンピュータが、文章データを文書データベースに記録するステップと、コンピュータが、前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析ステップと、コンピュータが、前記文章データ解析ステップにより抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録するステップと、コンピュータが、入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析ステップと、コンピュータが、前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章データの登録された日付の情報を抽出する日付情報抽出ステップと、コンピュータが、前記検索語を含む文章データの登録された日付の情報を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出ステップと、コンピュータが、前記写真画像抽出ステップにより抽出された写真画像を表示する表示ステップとを含むことを特徴とする。
このような方法であれば、文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出し、該抽出された単語の情報と該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録する。そして、ユーザが入力した検索文を構文解析し、検索文に含まれる検索語を抽出し、該検索語の情報を指標として、インデックスデータベースを参照し、該検索語を含む文章データの登録された日付の情報を抽出する。そして、検索語を含む文章データの登録された日付を指標として、写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出して表示する。
これにより、Ｗｅｂ日記や電子メール等の文章データを利用して、目的の写真画像を検索することができるので、写真の撮影時や、写真画像検索装置（例えば、パーソナルコンピュータ等）へ写真画像を取り込む際に、写真画像にコメントを付加したり、フォルダに整理するなどの作業が不要になる。また、日記等の文章データと写真画像の情報を関連づけることによって、未整理の写真画像を、利用者のあいまいな記憶による簡単な検索文（例えば、去年の運動会など）を入力することにより検索することができる。
【００１９】
また、本発明のコンピュータ読み取り可能な記録媒体は、複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置内のコンピュータに、写真画像のデータを撮影された日付と共に写真画像データベースに記録するステップと、文章データを文書データベースに記録するステップと、前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析ステップと、前記文章データ解析ステップにより抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録するステップと、入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析ステップと、前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章の登録された日付情報を抽出する日付情報抽出ステップと、前記検索語を含む文章の登録された日付の情報を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出ステップと、前記写真画像抽出ステップにより抽出された写真画像を表示する表示ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２０】
また、本発明のコンピュータプログラムは、複数の写真画像と複数の文章データを保存すると共に、入力された検索文を指標として、前記写真画像を抽出して表示する写真画像検索装置内のコンピュータに、写真画像のデータを撮影された日付と共に写真画像データベースに記録するステップと、文章データを文書データベースに記録するステップと、前記文書データベース中の文章データを構文解析し、該文章データに含まれる単語を抽出する文章データ解析ステップと、前記文章データ解析ステップにより抽出された単語の情報と、該文章データが登録された日付の情報とを関連付けてインデックスデータベースに記録するステップと、入力される検索文を構文解析し、該検索文に含まれる検索語を抽出する検索文解析ステップと、前記検索文中の検索語の情報を指標として、前記インデックスデータベースを参照し、該検索語を含む文章の登録された日付情報を抽出する日付情報抽出ステップと、前記検索語を含む文章の登録された日付の情報を指標として、前記写真画像データベースを参照し、該当する日付に撮影された写真画像を抽出する写真画像抽出ステップと、前記写真画像抽出ステップにより抽出された写真画像を表示する表示ステップとを実行させるためのプログラムである。
【発明を実施するための最良の形態】
【００２１】
次に本発明を実施するための最良の形態について図面を参照して説明する。
【００２２】
図1は、本発明による写真画像検索装置の第１の構成例を示す機能ブロック図である。
図１において、写真画像検索装置１は、例えば、パーソナルコンピュータ等であり、写真画像検索装置１には、周辺装置として液晶ディスプレイなどの表示装置２、キーボード・マウスなどの入力装置３が接続されている。また、写真画像検索装置１は、デジタルカメラ４を接続して、撮影した写真画像のデータを取り込むように構成され、取り込んだ写真画像データは写真画像ＤＢ（データベース）４０に記録される。
【００２３】
また、写真画像検索装置１内には、文章データを検索するためのインデックス情報を作成するインデックス作成部１０と、インデックス作成部１０で使用されるインデックスＤＢ２０と、写真画像を検索する検索部３０と、写真画像ＤＢ４０と、デジタルカメラ４を接続し、写真画像データを写真画像ＤＢ４０に記録する写真画像登録部４１を備えている。
【００２４】
また、写真画像検索装置１は、インターネットを介して、Ｗｅｂ日記サーバ１００に接続されている。Ｗｅｂ日記サーバ１００は、利用者のＷｅｂ日記のデータを蓄積する日記ＤＢ（文書データベース）１０２と、Ｗｅｂサーバ１０１を備え、利用者は写真画像検索装置（例えば、パーソナルコンピュータ）１内のＷｅｂブラウザを通して、日記の編集および閲覧を行う。
【００２５】
また、写真画像検索装置１内のインデックス作成部１０は、インデックス情報の作成処理を行なうための各種の処理部で構成されている。
文章データ登録／取得処理部１１は、Ｗｅｂ日記サーバ１００の日記ＤＢ１０２への日記データ（文章データ）の登録（書き込み）や、Ｗｅｂ日記サーバ１００から日記データを読み込むための処理を行なう。
文章データ解析処理部（文章データ解析手段）１２は、Ｗｅｂ日記サーバ１００の日記ＤＢ（文書データベース）から読み取った日記データを構文解析し、該文章に含まれる単語を抽出する処理を行なう。
【００２６】
ページテーブル登録処理部１３は、日記ＤＢ１０２から読み取った日記データごとにページＩＤを付与して、この日記データをＷｅｂ日記サーバ１００に登録した日付および保存場所の情報（ＵＲＬ情報など）を、インデックスＤＢ２０内のページテーブル２２に記録する処理を行なう。
【００２７】
図７は、インデックスＤＢ２０内のページテーブル２２の例を示す図であり、ページＩＤをインデックスとして、日付（Ｗｅｂ日記サーバ１００へ日記データを登録した日付）と、日記データの保存場所を示すＵＲＬを記録したテーブルである。Ｗｅｂ日記サーバ１００から読み込んだ日記データの情報は、このページテーブルに記録される。
【００２８】
単語テーブル登録処理部１４は、文章データ解析処理部１２の日記データの解析処理により抽出した単語ごとに単語ＩＤを付与して、また、重み付け辞書２１を参照して、単語名と重み付けの情報を単語テーブルに記録する処理を行なう。
【００２９】
図８は、単語テーブルの例を示す図であり、単語テーブル２３は、日記データの文章の中から抽出した単語について、単語ＩＤをインデックス（指標）として、単語名（例えば、映画）、品詞（例えば、名詞）、重み（例えば、５）を記録したテーブルである。
【００３０】
単語／ページテーブル登録処理部１５は、ページテーブルで使用したページＩＤをインデックスとして、該ページＩＤの日記データについての、文章データ解析処理部１２により抽出した単語のＩＤと、該単語の使用頻度の情報を単語／ページテーブル２４に記録する処理を行なう。
【００３１】
図９は、単語／ページテーブルの例を示す図であり、単語／ページテーブル２４は、日記データのページＩＤをインデックスとして、該ページＩＤの日記データ中に出現する単語ＩＤと、該単語の出現頻度とを記録したテーブルである。
【００３２】
なお、図６は、重み付け辞書の例を示す図であり、イベント名の検索語として使用される可能性の高い単語を予め選択し、重み付けを行なって登録したシステムが用意した辞書である。
【００３３】
また、検索部３０中の検索文解析処理部（検索文解析手段）３１は、入力装置３によりユーザが入力した検索文（例えば、去年の運動会）を構文解析し、該検索文に含まれる単語を抽出する処理を行なう。
日付範囲情報取得処理部（日付範囲情報取得手段）３２は、検索文解析処理部３１により抽出した単語から日付の範囲に関する情報を取得する処理部である。
日付範囲ページ特定処理部（日付範囲ページ特定手段）３３は、日付範囲情報取得処理部３２により得られた日付範囲の情報をインデックスにして、ページテーブル２２を参照し、日付範囲に属するページＩＤを特定する処理部である。
【００３４】
検索語取得処理部３４は、検索文解析処理部３１により抽出した単語から検索語を取得する処理を行なう。
単語ＩＤ取得処理部３５は、検索語取得処理部３４により抽出した検索語を指標にして、単語テーブル２３を参照し、該検索語に相当する単語の単語ＩＤを抽出する処理を行なう。
【００３５】
ページＩＤ取得処理部（ページＩＤ取得手段）３６は、単語ＩＤ取得処理部３５により抽出された単語ＩＤを指標として、単語／ページテーブル２４を参照して、該単語を含むページＩＤを取得する処理部である。
日付特定処理部（日付特定手段）３７は、ページＩＤ取得処理部３６により取得されたページＩＤを指標として、ページテーブル２２を参照し、日付範囲ページ特定処理部３３により特定された日付範囲内のページＩＤの中から、該当するページＩＤ（検索語を含むページＩＤ）を抽出し、該抽出されたページＩＤの文章データの日付を特定する処理部である。
【００３６】
写真画像抽出処理部（写真画像抽出手段）３８は、日付特定処理部３７により特定された日付を指標として、写真画像ＤＢ４０を参照し、該当する日付に撮影された写真画像を抽出する処理を行なう。写真画像抽出処理部３８により抽出された写真画像は表示装置（表示手段）２に表示される。
【００３７】
図１０は、写真画像ＤＢの例を示す図であり、写真画像ＤＢ４０には、画像ＩＤをインデックスとして、撮影日時と、写真画像データ（ＪＰＥＧファイル等）が記録される。
【００３８】
なお、上述した写真画像検索装置１は、パーソナルコンピュータの他に、モバイルコンピュータ等も使用でき、インターネットへの接続機能と、デジタルカメラ４との接続機能を有していれば、如何なる種類の情報機器であってもよい。
【００３９】
また、図１に示す例では、日記データ（文章データ）の保存場所として、Ｗｅｂ日記サーバ１００を利用する例を示しているが、日記データの保存場所は写真画像検索装置１内であってもよい。また、文章データとしては、電子メールの情報であってもよい。例えば、写真画像検索装置１がパーソナルコンピュータ等である場合に、このパーソナルコンピュータ内に保存された電子メールデータなどであってもよい。
【００４０】
以上、本発明の写真画像検索装置の第１の構成例について説明したが、本発明の写真画像検索装置により、Ｗｅｂ日記等の文章データを利用して、目的の写真画像を検索することができるので、写真の撮影時や、写真画像検索装置（例えば、パーソナルコンピュータ等）への写真画像を取り込む際に、写真画像にコメントを付加したり、フォルダに整理するなどの作業が不要になる。また、日記等の文章データと写真画像の情報を関連づけることによって、未整理の写真画像を、利用者のあいまいな記憶による検索文（例えば、去年の運動会など）を入力することで検索することができる。
【００４１】
なお、図２は、写真画像検索装置のハードウェア構成例を示す図である。この図が示すように、写真画像検索装置１は、図２で示すようなハードウェア構成を有している。ハードウェア構成として、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）／ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、Ｉ／Ｆ（Interface）などである。そして、写真画像検索装置１は、ＣＰＵがＲＡＭ／ＲＯＭやＨＤＤに記録されているプログラムを読み取って、インデックス作成部１０内の各処理部１１〜１５および検索部３０の各処理部３１〜３８の各機能の処理を行なう。またインデックスＤＢ２０および写真画像ＤＢ４０はＨＤＤにより構成されている。
【００４２】
図３は、本発明の写真画像検索装置の第２の構成例を示す機能ブロック図であり、デジタルカメラの代わりに、カメラ付き携帯通信端末５を用いた構成図例を示す機能ブロック図である。
【００４３】
図３に示す例は、写真画像検索装置（例えば、パーソナルコンピュータ）１ａにカメラ付き携帯通信端末（携帯電話等）５を接続して、携帯通信端末５で撮影した写真画像、および電子メールデータを取り込む例を示している。この構成例では、携帯通信端末５により送受信した電子メールデータをＷｅｂ日記データ（図１の日記ＤＢ１０２を参照）の代わりに使用する。
【００４４】
図３において、カメラ付き携帯通信端末５で撮影された写真画像は、写真画像登録部４２を介して、写真画像ＤＢ４０に記録される。また、カメラ付き携帯通信端末５内の電子メールデータは、文章データ登録部４３を介して、文章データＤＢ４４に記録される。文章データＤＢ４４に記録された電子メールデータは、文章データとして、インデックス作成部１０により使用される。なお、インデックス作成部１０、インデックスＤＢ２０、検索部３０、および写真画像ＤＢ４０の構成は、図１で説明したものと同様である。
【００４５】
これにより、カメラ付き携帯通信端末５により撮影した写真画像を、電子メールの文章データを利用して検索することができるので、写真の撮影時に、写真画像にコメントを付加したり、フォルダに整理するなどの作業が不要になる。また、電子メールの文章データと写真画像の情報を関連づけることによって、未整理の写真画像を、利用者のあいまいな記憶による検索文を入力することで検索することができる。
【００４６】
図４は、本発明の写真画像検索装置の第３の構成例を示す機能ブロック図であり、写真画像検索装置１ｂを携帯通信端末５０の単体内に設備した構成例を示している。インデックス作成部１０、インデックスＤＢ２０、検索部３０、および写真画像ＤＢ４０は携帯通信端末５０に内蔵される。
【００４７】
なお、制御部５１は、携帯通信端末５０の全体を統括して制御する処理部であり、通信部５２は、無線により基地局との間で通信を行う処理部であり、メールデータ５３は、携帯通信端末５０内に保存された電子メールデータであり、写真画像データ５４は、携帯通信端末５０に内蔵（または付属する）デジタルカメラ６により撮影された写真画像のデータである。なお、インデックス作成部１０、インデックスＤＢ２０、検索部３０、および写真画像ＤＢ４０の構成は、図１で説明したものと同様である。
【００４８】
これにより、携帯電話機等の携帯通信端末５０で撮影し、該携帯通信端末５０内に蓄積された写真画像を、電子メールデータ（文章データ）と関連付けることができ、ユーザが入力する検索文により目的とする写真画像を検索することができる。
【００４９】
また、図５は、インデックス作成部１０におけるインデックス作成処理の手順を示すフローチャートであり、図１に示す写真画像検索装置１を例にして説明したものである。以下、図５を参照して、その手順について説明する。
【００５０】
まず、写真画像検索装置１からＷｅｂ日記サーバ１００のＷｅｂサーバ１０１に通信接続し、日記ＤＢ１０２に新規日記データがあるかどうかを確認する（ステップＳ１）。新規日記データがあれば、日記データを読み込み（ステップＳ２）、インデックス作成処理を行う。新規日記データがなければ処理を終了する。
【００５１】
日記データを取得後、日記データ中の文章の形態素解析を行い、日記の文章を、該文章に含まれる単語に分解する（ステップＳ３、Ｓ４）。
【００５２】
形態素解析により取得した単語は、図６に示す重み付け辞書を参照し、単語に対し重み付けが行なわれインデックスＤＢ２０中の単語テーブル２３に記録される（ステップＳ５）。なお、重み付け辞書２１中の重みの数値は、システムにより予め設定されているが、ユーザが書き込むようにしてもよい。
【００５３】
また、日記データの文章中に出現する単語と、ページごとの出現頻度が、ページＩＤをインデックスとして、インデックスＤＢ２０の単語／ページテーブル２４（図９）に記録される（ステップＳ６）。
【００５４】
日記データの文章中の全ての単語を取得後（ステップＳ７）、ステップＳ１に戻り、すべての新規の日記データについて、データ取得済みであれば、インデックス作成処理を終了する。
【００５５】
なお、写真画像検索装置としては、パーソナルコンピュータを使用することができ、この場合は、インデックス作成処理を、パーソナルコンピュータのアイドル時間（アプリケーションが稼動していない時間）を利用して定期的に実行することができる。
【００５６】
図１１は、写真画像検索の検索手順を示すフローチャートであり、検索部３０における写真画像の検索処理の流れと、その実行例を示したものである。以下、図１１を参照して、写真画像の検索処理の手順について説明する。
【００５７】
まず、最初に、利用者が入力した、検索文を取得する。例えば「去年の運動会」などである（ステップＳ１１）。
【００５８】
次に、検索文を構文解析し（ステップＳ１２）、日時範囲の指定の部分と、イベントや行事を示す検索語の部分に分割する。この例では、「去年」は日時を示す部分、「運動会」が検索語の名詞として取り出される。なお、図１２に、構文解析結果の例を示す。
【００５９】
次に、構文解析結果から日時範囲を示す部分を取得し、それを日時範囲に変換する（ステップＳ１３）。この例では、「去年」を２００４年１月１日から２００４年１２月３１日までに変換している。日時範囲の変換規則は図１３に示すような表によって、現在日時から計算する。なお、図１３中の符号ｙは「年」を示し、ｄは「日」を示す。
【００６０】
次に、構文解析結果からその他の部分を検索語として取り出す（ステップＳ１４）。この例では、検索語として「運動会」が得られる。
【００６１】
日時範囲と検索語を求めたら、インデックスＤＢ２０を参照して、該当する日付範囲で、該等する検索語が使われている日記のページを抽出し、日記の日付を求める（ステップＳ１５）。この例では、まず、図７に示すインデックスＤＢ２０中のページテーブル２２を参照し、該当する日付の範囲に相当するページＩＤを求める。この場合は、ページＩＤ、１、２、３、４が該当する。次に、図８に示す単語テーブル２３を参照し、「運動会」の単語ＩＤ「５」を取得する。それから、図９に示す単語／ページテーブル２４を参照し、単語ＩＤ「５」に対応するページＩＤ「２」を求める。そして、再度、図７のページテーブルを参照し、ページＩＤ、１、２、３、４の範囲内であるページＩＤ「２」に対応する日付「２００４年１０月２０日」が抽出される。
【００６２】
次に、該当する日付（２００４年１０月２０日）に相当する画像を画像ＤＢ４０（図１０）を参照して求める（ステップＳ１６）。この例では、画像ＩＤの２、３、４、５が該当する。最後に、該当する画像を表示し、検索処理を終了する（ステップＳ１７）。
【００６３】
以上、説明した検索手順により、ユーザが簡単な検索文を入力するだけで、検索文に関連する写真画像を自動的に抽出して表示することができる。
【００６４】
なお、上述した処理手順においては、説明を簡単にするために、各単語の重み付けと、出現頻度の情報を使用しない例について説明したが、各単語の重み付けと、出現頻度の情報を使用することにより、検索文中の単語と、インデックスＤＢ中の単語テーブルに登録された単語の類似度判定に、ＴＦＩＤＦ等を用いる場合に使用する。
【００６５】
以上、本発明の実施の形態について説明したが、本発明の写真画像検索装置においては、Ｗｅｂ日記や電子メール等の文章データを利用して、目的の写真画像を検索するようにできるので、写真の撮影時や、パソコン内への取り込みなどの際に、コメントを付加したり、フォルダに整理するなどの作業が不要になる。
【００６６】
また、日記を書くという行為やメールを書く行為は、それ自体が目的として成立するので、写真の検索に利用するためのコメントづけや整理に比べて利用者にとっての負担感が著しく軽減される。
【００６７】
また、図２に示したように、本発明の写真画像検索装置は内部にコンピュータシステムを有している。そして、上述した処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
【００６８】
すなわち、インデックス作成部１０および検索部３０等における、各処理は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工、演算処理を実行することにより、実現されるものである。
【００６９】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７０】
以上、本発明の実施の形態について説明したが、本発明の写真画像検索装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００７１】
【図１】本発明による写真画像検索装置の第１の構成例を示す機能ブロック図。
【図２】写真画像検索装置のハードウェア構成例を示す図。
【図３】本発明による写真画像検索装置の第２の構成例を示す機能ブロック図。
【図４】本発明による写真画像検索装置の第３の構成例を示す機能ブロック図。
【図５】インデックス作成処理の手順を示すフローチャート。
【図６】重み付け辞書の例を示す図。
【図７】インデックスＤＢ内のページテーブルの例を示す図。
【図８】インデックスＤＢ内の単語テーブルの例を示す図。
【図９】インデックスＤＢ内の単語／ページテーブルの例を示す図。
【図１０】写真画像ＤＢの例を示す図。
【図１１】写真画像検索処理の手順を示すフローチャート。
【図１２】構文解析結果の例を示す図。
【図１３】日時範囲の変換規則の例を示す図。
【符号の説明】
【００７２】
１、１ａ、１ｂ  写真画像検索装置、  ２  表示装置、  ３  入力装置
４、６  デジタルカメラ、  ５  携帯通信端末、１０  インデックス作成部
１１  文章データ登録／取得処理部、  １２  文章データ解析処理部
１３  ページテーブル登録処理部、  １４  単語テーブル登録処理部
１５  単語／ページテーブル登録処理部、  ２０  インデックスＤＢ
２１  重み付け辞書書、  ２２  ページテーブル、  ２３  単語テーブル
２４  単語／ページテーブル、  ３０  検索部、  ３１  検索文解析処理部
３２  日付範囲情報取得処理部、  ３３  日付範囲ページ特定処理部
３４  検索語取得処理部、  ３５  単語ＩＤ取得処理部
３６  ページＩＤ取得処理部、  ３７  日付特定処理部、  ３８  写真画像抽出処理部
４０  写真画像データベース、  ４１、４２  写真画像登録部
４３  文章データ登録部、  ４４  文章データＤＢ、  ５０  携帯通信端末
５１  制御部、  ５２  通信部、  ５３  メールデータ、  ５４  写真画像データ
１００  Ｗｅｂ日記サーバ、  １０１  Ｗｅｂサーバ、  １０２  日記ＤＢ
【図１】
2006235910.tif 000003
【図２】
2006235910.tif 000004
【図３】
2006235910.tif 000005
【図４】
2006235910.tif 000006
【図５】
2006235910.tif 000007
【図６】
2006235910.tif 000008
【図７】
2006235910.tif 000009
【図８】
2006235910.tif 000010
【図９】
2006235910.tif 000011
【図１０】
2006235910.tif 000012
【図１１】
2006235910.tif 000013
【図１２】
2006235910.tif 000014
【図１３】
2006235910.tif 000015