(57)【要約】      （修正有）【課題】キーワードが付与されていない画像情報をキーワードによって検索することを可能とする装置の提供。【解決手段】データベース内の画像情報を検索する画像検索方法であって、画像検索装置が、キーワード情報に対応する該データベース内の画像情報に予め対応付けられたテキスト情報を検出し、該検出したテキスト情報に対応する該画像情報から第一の特徴量を算出し、該データベース内の画像情報から算出した第二の特徴量と該第一の特徴量との差に応じて類似か否かを判別し、類似すると判別した場合に該第二の特徴量に対応する画像情報を出力する。【選択図】図１
2008217428.tif 000002
【特許請求の範囲】
【請求項１】
画像検索装置の記憶モジュールに格納されたデータベース内の画像情報を検索する処理を該画像検索装置の制御部に実行させる画像検索プログラムであって、該制御部に、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を検出するステップ、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該データベースから検出するステップ、
該検出した該類似画像情報を出力するステップ、
を実行させることを特徴とする画像検索プログラム。
【請求項２】
該検出した該類似画像情報に該キーワード情報を対応付けて該データベースに格納することを特徴とする請求項１記載の画像検索プログラム。
【請求項３】
該検出した該類似画像情報を出力するときに、類似する順に指定個数の画像情報を取得することを特徴とする請求項１記載の画像検索プログラム。
【請求項４】
該検出した該類似画像情報を出力するときに、該キーワード情報に対応する該検出したテキスト情報に対応する該画像情報を併せて表示することを特徴とする請求項１記載の画像検索プログラム。
【請求項５】
該検出した該類似画像情報を出力するときに、該キーワード情報に類似すると判別された該他の画像情報と該キーワード情報に対応する該検出したテキスト情報に対応する該画像情報とを別の領域に併せて表示することを特徴とする請求項１記載の画像検索プログラム。
【請求項６】
画像情報が格納された第一のデータベースと画像情報とテキスト情報とが関連付けられて格納された第二のデータベースとがあり、画像情報が格納された第一のデータベース内の画像情報を検索する画像検索方法であって、画像検索装置が、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を該第二のデータベースから検出し、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該第一のデータベースから検出し、
該検出した該類似画像情報を出力する
ことを特徴とする画像検索方法。
【請求項７】
画像情報とテキスト情報とが関連付けられて格納されたデータベース内の画像情報を検索する画像検索装置であって、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を検出し、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該データベースから検出し、
該検出した該類似画像情報を出力する
ことを特徴とする画像検索装置。
【請求項８】
画像情報とテキスト情報とが関連付けられて格納されたデータベース内の画像情報を検索する画像検索方法であって、画像検索装置が、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を検出し、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該データベースから検出し、
該検出した該類似画像情報を出力する
ことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索プログラム、方法及び装置に関する。
【背景技術】
【０００２】
画像情報を記憶する記憶装置の記憶容量は増加しており、画像情報の検索処理を実行する機会が増加している。画像情報の検索処理は、大きく分けて、二種類ある。一種類目の方法は、各画像に対してその画像を説明するテキスト情報を予め付与しておき、テキスト情報によってキーワードを検索する方法である。二種類目の方法は、検索のキーをスケッチあるいは画像情報とし、データベースに格納されている画像情報との類似度を計算し類似度の高い画像を検索する方法である。
【０００３】
一種類目の方法はあらかじめ各画像に対して適切なテキスト情報を付与しておく必要がある。しかし一種類目の方法は、テキスト情報を付与するためのコストがかかる問題、全ての利用者の検索意図に応じたキーワードをあらかじめ付与することは不可能である問題、キーワードで検索しても所望の画像に同一キーワードが付与されていなければ検索できないという問題がある。また、インターネット上の画像検索は、画像情報と同一のＷｅｂページのテキスト情報とを対応付けることでキーワード付与のコストがかかる問題を解決しているが、画像情報を解説したテキスト情報であるとは限らず、キーワードと検索意図との対応付けの問題は残る。二種類目の方法は、検索キーとなるスケッチあるいは画像情報を準備しなければならない問題がある。また、検索キーとなるスケッチを利用者が描く場合、利用者のスケッチの描画の技術によって異なる検索結果となる問題がある。
【特許文献１】特開２００５−３５４１３４号公報
【特許文献２】特開２００４−１５７６２３号公報
【特許文献３】特開２００６−４１５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、キーワードが付与されていない画像情報をキーワードによって検索することを可能とする装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の第一の手段は、画像情報とテキスト情報とが関連付けられて格納されたデータベース内の画像情報を検索する画像検索方法であって、画像検索装置が、キーワード情報に対応するテキスト情報に関連付けられた画像情報を検出し、検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報をデータベースから検出し、検出した類似画像情報を出力する。
【０００６】
また、本発明の第二の手段は、第一の手段で更に、検出した類似画像情報にキーワード情報を対応付けてデータベースに格納する。
【０００７】
また、本発明の第三の手段は、第一の手段で更に、検出した類似画像情報を出力するときに、類似する順に指定個数の画像情報を取得する。
【０００８】
また、本発明の第四の手段は、第一の手段で更に、検出した類似画像情報を出力するときに、キーワード情報に対応する検出したテキスト情報に対応する画像情報を併せて表示する。
【０００９】
また、本発明の第五の手段は、第一の手段で更に、検出した類似画像情報を出力するときに、キーワード情報に類似すると判別された他の画像情報とキーワード情報に対応する検出したテキスト情報に対応する画像情報とを別の領域に併せて表示する。
【発明の効果】
【００１０】
テキスト情報が付与されていない画像情報であってもキーワードによって検索することが可能となる。その結果、利用者は所望の画像情報を容易に検索可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００１２】
図１は本実施例の画像検索装置１０の機能ブロック図である。
【００１３】
本実施例の画像検索装置１０は、入力モジュール１１、検索モジュール１２、特徴量算出モジュール１３、類似画像検出モジュール１４、キーワード付与モジュール１５、出力モジュール１６および画像データベース１７を有する。
【００１４】
入力モジュール１１は、画像情報を検索するための検索キーワード情報を取得する。例えば、利用者はキーボード等によって検索キーワード情報を入力すると、入力モジュール１１は入力された検索キーワード情報を取得する。
【００１５】
検索モジュール１２は、検索キーワード情報に対応する画像データベース１７の画像情報を検索し、検索結果として検索キーワードに対応する画像情報のリストを取得する。
【００１６】
画像データベース１７は画像情報が格納されたデータベースである。画像データベース１７は画像情報と画像情報に関する説明が記述されているテキスト情報とが関連付けられて格納される。ここで、画像データベース１７に格納される画像情報とテキスト情報との組をデータレコードとする。データレコードのテキスト情報は、画像情報に関するすべての説明の記載がされる必要はない。さらに、画像情報に関連付けられたデータレコードのテキスト情報がない場合もある。
【００１７】
特徴量算出モジュール１３は、画像情報の特徴量を算出する。画像情報の特徴量は類似画像検出モジュール１４で類似画像を検出する際に使用する値であり画像情報から所定の演算で求まる画像情報毎に固有の値である。画像情報の特徴量は、例えば、画像の色の比率を表す色ヒストグラム特徴や、画像の色の配置を表す色レイアウト特徴などがある。特徴量算出モジュール１３は、算出した画像情報の特徴量を保持する。
【００１８】
類似画像検出モジュール１４は、検索モジュール１２が取得した画像情報に類似する画像データベース１７内の画像情報を検出する。具体的には、画像データベース１７から読み出した画像情報の特徴量と検索モジュール１２が取得した画像情報の特徴量との間の類似度を演算し、類似度の高い画像データベース１７内の画像情報を抽出する。類似画像検出モジュール１４は、画像データベース１７に格納された画像情報を一枚ずつ読み出す。なお、読み出す画像情報は、検索モジュール１２で検索結果として取得された画像情報以外としてもよいし、テキスト情報が関連付けられていない全ての画像情報でもよい。類似度の計算は、例えば、検索モジュール１２が取得した画像リストの各画像情報の特徴量と画像データベース１７内の画像情報の特徴量との間のユークリッド距離の平均から算出する方法がある。類似度の高い画像データベース１７内の画像情報の抽出は、例えば、各画像情報毎に演算した類似度の演算結果を基準として、類似度が予め定めた値以上の画像情報をすべて抽出する方法、類似度が高い順に予め定めた数の画像情報を抽出する方法でもよい。
【００１９】
キーワード付与モジュール１５は、類似画像検出モジュール１４で抽出された画像情報に対して入力モジュール１１が取得した検索キーワード情報を関連付けて、画像データベース１７に格納する。なお、すでに画像情報に関連付けられたテキスト情報が画像データベース１７に格納されている場合、テキスト情報を削除することなく、入力モジュール１１が取得した検索キーワードをテキスト情報に追加して画像データベース１７に格納する。
【００２０】
出力モジュール１６は、検索結果を出力する。例えば、表示画面に画像情報群を表示させる。また、画像情報群を表示させる際、出力モジュール１６は、利用者の所望の表示条件によって画像情報の表示順序を変更する。
【００２１】
図２は、本実施例のハードウェア構成図である。画像検索装置１０は、制御部２１、メモリ２２、記憶部２３、入力部２４、出力部２５、ネットワークインターフェース部２６を有し、それぞれがバス２７に接続された構成である。
【００２２】
制御部２１は当該画像検索装置１０の全体を制御する。例えば、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）である。また、制御部２１はメモリ２２に展開された画像検索プログラム２８を実行する。画像検索プログラム２８は制御部２１を入力モジュール１１、検索モジュール１２、特徴量算出モジュール１３、類似画像検出モジュール１４、キーワード付与モジュール１５、出力モジュール１６として機能させる。本実施例では各モジュールを制御部２１として機能させる。
【００２３】
メモリ２２は、記憶部２３に格納された画像検索プログラム２８が展開される記憶領域である。また、メモリ２２は制御部２１が画像検索プログラム２８を実行する際に生成される種々の演算結果が格納される記憶領域である。メモリ２２は例えばＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）である。
【００２４】
入力部２４は利用者からの検索キーワード情報を受付ける。入力部２４は、例えば、キーボード、マウス、タッチパネル等である。
【００２５】
出力部２５は、画像情報の検索結果を出力する。出力部２５は、例えば、ディスプレイ（表示装置）等である。
【００２６】
記憶部２３は、画像検索プログラム２８や画像データベース１７が格納される。記憶部２３は例えばハードディスク装置である。
【００２７】
ネットワークインターフェース部２６は、インターネットあるいはＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等のネットワークに接続して、ネットワーク経由でデータの送受信を可能にする構成である。したがって、ネットワークインターフェース部２６を介した先に入力部、出力部、メモリ、記憶部が存在する装置構成とすることも可能である。また、画像検索装置１０は画像検索プログラム２８を記録した記録媒体又はプログラムのダウンロードも可能である。
【００２８】
図３は本実施例の画像データベース１７の構成図である。画像データベース１７は画像情報１７１を記憶する。画像データベース１７は画像情報１７１にテキスト情報１７３を関連付けて記憶する。本実施例での画像データベース１７は、画像情報１７１、画像ファイル名１７２およびテキスト情報１７３を関連付けて記憶する。一つの画像情報１７１に対応する画像ファイル名１７２およびテキスト情報１７３の組をデータレコードとする。
【００２９】
画像データベース１７は、画像情報１７１にテキスト情報１７３が付与されていないデータレコードも有する。また、テキスト情報１７３の書式は予め定めた書式に従った形式でもよいし、利用者が自由に入力可能な形式でもよい。  また、画像データベース１７に画像情報１７１、画像ファイル名１７２とテキスト情報１７３を関連付けて格納する方法は既存の方式で可能である。
【００３０】
次に本実施例での検索処理について説明する。図４は、本実施例の検索処理のフローチャートである。本実施例では、画像データベース１７には画像情報１７１が予め格納されており、画像情報１７１の一部はテキスト情報１７３が付けられている。
【００３１】
利用者は入力部２４によって画像検索装置１０に検索キーワード情報を入力する。画像検索装置１０の制御部２１は入力部２４に入力された検索キーワード情報を受付ける（Ｓ１００）。例えば、利用者が「富士山」という検索キーワード情報を入力部２４に入力したとする。
【００３２】
制御部２１は、画像データベース１７をキーワードで検索する（Ｓ１０１）。具体的には、制御部２１はＳ１００で受付けた検索キーワード情報に合致する画像データベース１７に格納されたテキスト情報１７３を検出する。制御部２１は、テキスト情報１７３に「富士山」なる文字列を含むデータレコードを検出する。図３の画像データベース１７のテキスト情報１７３に「富士山」なる文字列を含むデータレコードは画像ファイル名１７２がＰ００１、Ｐ００３及びＰ００６である。
【００３３】
制御部２１はＳ１０２で検出したデータレコードに含まれる画像情報１７１群を取得する（Ｓ１０２）。制御部２１は画像ファイル名１７２がＰ００１、Ｐ００３およびＰ００６に対応する画像情報１７１群を取得する。
【００３４】
次に制御部２１は検索結果の各画像情報１７１から特徴量を算出する（Ｓ１０３）。特徴量は、画像情報に含まれる色の割合を表す色ヒストグラム特徴、画像情報内の部分ごとの色を表す色レイアウト特徴、画像情報内の物体の境界の位置を表すエッジ分布特徴等の他、種々の特徴量を算出する方式を使用して算出することが可能である。また、特徴量の算出は各特長量の算出方式を組み合わせた算出方法としてもよい。
【００３５】
図５は、画像情報の特徴量の算出例の説明図である。本実施例は色レイアウト特徴による特徴量の算出方法の一つを用いた場合を説明する。
【００３６】
図５の第一の状態５１はＳ１０２で取得した画像ファイル名１７２がＰ００１、Ｐ００３およびＰ００６の各画像情報１７１である。制御部２１は、Ｓ１０２で取得した画像ファイル名１７２がＰ００１、Ｐ００３、Ｐ００６の各画像情報１７１を４×４の１６の領域５５に分割する。制御部２１が各画像情報１７１を領域５５に分割した状態を図５の第二の状態５２に示す。
【００３７】
制御部２１は、第二の状態５２に示すように各画像情報１７１の各領域５５で最も多い色情報を取得する。制御部２１が各画像情報１７１の各領域５５の最も多い色情報を取得した状態を図５の第三の状態５３に示す。各領域５５の色の多少は例えば画素数で比較する。制御部２１は、各領域５５の色データを画像情報１７１の左上の領域から順に並べることで色レイアウト特徴量を取得する。制御部２１が取得する色レイアウト特徴量を図５の第四の状態５４に示す。
【００３８】
図５での色データの値を、白を「０」、薄い灰（図では右上から左下の方向の斜線）を「１」、濃い灰（図では左上から右下の方向の斜線）を「２」、黒を「３」で表すこととすると、画像ファイル名１７２がＰ００１の特徴量は（０，０，０，０，０，１，１，０，１，１，１，０，１，１，１，１）となり、画像ファイル名１７２がＰ００３の特徴量は（０，０，０，０，０，０，０，０，３，３，０，０，３，３，３，３）となり、画像ファイル名１７２がＰ００６の特徴量は（０，０，０，０，１，１，１，０，１，１，１，１，１，１，１，１）となる。
【００３９】
制御部２１は、類似度の算出に使用するため、算出した特徴量を各画像情報１７１に対応付けて一時保存する。
【００４０】
次に制御部２１はＳ１０２で取得した画像情報群に類似する画像情報を画像データベース１７から検出する（Ｓ１０４）。類似画像の検出処理を図６で説明する。
【００４１】
図６は類似する画像情報を検出する処理のフローチャートである。制御部２１は、類似判定の対象となる画像情報を画像データベース１７から読み出す（Ｓ１１１）。
【００４２】
制御部２１は、Ｓ１１１で読み出した画像情報がＳ１０２で取得した画像情報群に含まれる画像情報か否かを判定する（Ｓ１１２）。Ｓ１１１で読み出した画像情報がＳ１０２で取得した画像情報群に含まれている場合（Ｓ１１２：Ｙｅｓ）、画像情報は既に検索結果として検出されているため、制御部２１は画像データベース１７内の次の画像情報の検出処理を行う。一方、Ｓ１１１で読み出した画像情報がＳ１０２で取得した画像情報群に含まれていない場合（Ｓ１１２：Ｎｏ）、制御部はＳ１１１で読み出した画像情報の特徴量を計算する（Ｓ１１３）。
【００４３】
図７は、類似画像を検出するための特徴量を算出する際の説明図である。本実施例は図５と同じく色レイアウト特徴による特徴量の算出方法の一つを用いた場合を説明する。なお、図６のフローチャートでは制御部２１は一つの画像情報に対して特徴量を算出する処理を行う処理をループして行うが、図７では説明の簡単化のため３つの画像情報を示す。制御部２１はＳ１１１からＳ１１３までの処理によって、Ｓ１０１の検索キーワード情報による画像情報の検索処理で検出されなかったデータレコードの画像ファイル名１７２がＰ００２、Ｐ００４およびＰ００５の画像情報１７１を取得し、各画像情報の特徴量を算出する。図７の状態７１では制御部２１が取得した画像情報である。図７の状態７２は制御部２１が画像情報の領域を１６分割した状態を示す。図７の状態７３は制御部２１が状態７２で１６個の領域に分割された画像情報のそれぞれの領域内の色で最も多い色情報を取得した状態を示す。図７の状態７４は制御部２１が算出した色レイアウト特徴量を示す。
【００４４】
図７での色データの値を、白を「０」、薄い灰（図では右上から左下の方向の斜線）を「１」、濃い灰（図では左上から右下の方向の斜線）を「２」、黒を「３」で表すこととすると、画像ファイル名１７２がＰ００２の特徴量は（０，０，０，０，０，１，１，１，０，１，１，１，１，１，１，１）となり、画像ファイル名１７２がＰ００４の特徴量は（０，３，３，０，０，３，１，０，０，１，１，０，０，２，２，０）となり、画像ファイル名１７２がＰ００５の特徴量は（０，０，０，０，０，０，０，０，２，２，０，０，２，２，２，２）となる。
【００４５】
次に、制御部２１はＳ１１３で算出した特徴量とＳ１０３で算出した検索キーワード情報による検索で検出された画像情報群の特徴量との間の類似度を計算する（Ｓ１１４）。
【００４６】
制御部２１は、Ｓ１１１からＳ１１５までのループによって、画像ファイル名１７２がＰ００１、Ｐ００３およびＰ００６の三枚の画像情報と画像ファイル名１７２がＰ００２の画像情報１７１との類似度、画像ファイル名１７２がＰ００１，Ｐ００３およびＰ００６の三枚の画像情報１７１と画像ファイル名１７２がＰ００４の画像情報１７１との類似度、画像ファイル名１７２がＰ００１，Ｐ００３およびＰ００６の三枚の画像情報と画像ファイル名１７２がＰ００５の画像情報との類似度をそれぞれ計算する。
【００４７】
複数の画像情報に対する一つの画像情報の類似度を計算する方法としてはいろいろなものが考えられる。本実施例では各画像情報間の類似度を求め、求めた複数の類似値の平均値を複数の画像情報に対する一つの画像情報の類似度とする。
【００４８】
各画像情報の間の類似度の計算はユークリッド距離を用いる。ユークリッド距離は二つの画像情報の間のベクトルの距離を表し、類似度が高いほど距離が小さくなる。本実施例では，各画像情報の１６個に分割された領域の個々のベクトルの距離の総和を求めることとする。例えば画像ファイル名１７２がＰ００１の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１との間のベクトルの距離は、式（１）によって算出する。
【００４９】
【数１】
2008217428.tif 000003
【００５０】
画像ファイル名１７２がＰ００１，Ｐ００３およびＰ００６の三枚の画像情報１７１に対する画像ファイル名１７２がＰ００２の画像情報１７１の類似度は、画像ファイル名１７２がＰ００１の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度、画像ファイル名１７２がＰ００３の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度および画像ファイル名１７２がＰ００６の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度の平均値として表される。画像ファイル名１７２がＰ００１の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度は「１．７」であり、画像ファイル名１７２がＰ００３の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度は「５．８」であり、画像ファイル名１７２がＰ００６の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度は「１．７」である。したがって、画像ファイル名１７２がＰ００１の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度、画像ファイル名１７２がＰ００３の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度、および画像ファイル名１７２がＰ００６の画像情報１７１と画像ファイル名１７２がＰ００２の画像情報１７１の類似度の平均値は「３．１」となる。したがって、画像ファイル名１７２がＰ００１，Ｐ００３およびＰ００６の三枚の画像情報１７１に対する画像ファイル名１７２がＰ００２の画像情報１７１の類似度は「３．１」となる。画像ファイル名１７２がＰ００４およびＰ００５の画像情報１７１について同様に計算すると、画像ファイル名１７２がＰ００１，Ｐ００３およびＰ００６の三枚の画像情報１７１に対する画像ファイル名１７２がＰ００４の画像情報１７１の類似度は「６．２」となる。画像ファイル名１７２がＰ００１，Ｐ００３およびＰ００６の三枚の画像情報に対する画像ファイル名１７２がＰ００５の画像情報１７１の類似度は「２．９」となる。
【００５１】
ここで、制御部２１がＳ１１４で実行する類似度を算出する他の方式について説明する。Ｓ１１４の類似度の算出結果である画像ファイル名１７２がＰ００５の画像情報１７１の類似度の平均値は、画像ファイル名１７２がＰ００２の画像情報１７１の類似度の平均値よりも小さい値となる。したがって、制御部２１は、画像ファイル名１７２がＰ００５の画像情報１７１を画像ファイル名１７２がＰ００２の画像情報１７１よりもキーワード検索によって検出された各画像情報に類似すると判定する。制御部２１が、画像ファイル名１７２がＰ００５の画像情報１７１を画像ファイル名１７２がＰ００２の画像情報１７１よりも類似すると判断するのは、画像ファイル名１７２がＰ００５の画像情報１７１は画像ファイル名１７２がＰ００１の画像情報１７１および画像ファイル名１７２がＰ００６の画像情報１７１とほどほどに類似し、かつ、画像ファイル名１７２がＰ００５の画像情報１７１は画像ファイル名１７２がＰ００３の画像情報１７１にきわめて類似する、一方、画像ファイル名１７２がＰ００２の画像情報１７１は画像ファイル名１７２がＰ００３の画像情報１７１と大きく異なるためである。
【００５２】
画像情報１７１とテキスト情報１７３とは関連しないデータレコードである場合もある。例えば、Ｐ００３の画像情報１７１の画像情報は「富士山」なるテキスト情報１７３が関連付けられているが、Ｐ００３の画像情報１７１は富士山の画像情報ではない場合がある。したがって、検索キーワード情報で検出された画像情報の中には利用者が希望しない画像情報が含まれる場合がある。
【００５３】
そこで、制御部２１はＳ１１４にて個々の画像情報間の類似度を算出した後、予め定めた閾値を超える類似度のみを取得することとする。
【００５４】
図１３はステップ関数である。図１３のステップ関数により制御部２１は、類似度１３４が「Ｔ」１３１以上となる場合に類似度に「１」１３２を掛け、類似度１３４が「Ｔ」１３１未満となる場合に類似度に「０」１３３を掛ける処理を実行する。
【００５５】
例えば、「Ｔ」＝「３．０」とすると、Ｐ００１，Ｐ００３，Ｐ００６の三枚の画像情報１７１とＰ００２の画像情報１７１との間の類似度は、Ｐ００１の画像情報１７１とＰ００２の画像情報１７１との間は「０」となり、Ｐ００３の画像情報１７１とＰ００２の画像情報１７１との間は「５．８」となり、Ｐ００６の画像情報１７１とＰ００２の画像情報１７１との間は「０」となる。この結果、Ｐ００１，Ｐ００３，Ｐ００６の三枚の画像情報１７１とＰ００２の画像情報１７１との類似度の平均値は「１．９」となる。
【００５６】
一方、Ｐ００１，Ｐ００３，Ｐ００６の三枚の画像情報１７１とＰ００５の画像情報１７１との間の類似度は、Ｐ００１とＰ００５との間は「３．０」となり、Ｐ００３とＰ００５との間は「０」となり、Ｐ００６の画像情報１７１とＰ００５の画像情報１７１との間は「３．３」となる。この結果、Ｐ００１，Ｐ００３，Ｐ００６の三枚の画像情報１７１とＰ００５の画像情報１７１との類似度の平均値は「２．１」となる。
「富士山」の検索キーワード情報で検出されたＰ００１，Ｐ００３およびＰ００６の画像情報１７１のうち、Ｐ００２の画像情報１７１はＰ００１，Ｐ００６の二枚の画像情報１７１と類似し、Ｐ００５の画像情報１７１はＰ００３の画像情報１７１のみと類似していると判定される。
【００５７】
したがって、制御部２１が画像情報間の類似度を算出した後で、ステップ関数を掛け合わせるため、類似度の高い画像が多い場合に類似度の平均値が高くなる。その結果、類似画像の精度の高い検索が可能となる。なお、図１３のステップ関数に限らず、予め設定する重み関数を設定することによって同様の効果を得ることができる。重み関数は、例えば、図１４のシグモイド関数がある。
【００５８】
次に、制御部２１は全画像の読出しを完了したか否かを判定する（Ｓ１１５）。全画像の読出しを完了していない場合は（Ｓ１１５：Ｎｏ）、次の画像を画像情報データベースから読み出す。一方、全画像の読出しが完了した場合は（Ｓ１１５：Ｙｅｓ）、制御部２１は、類似度が高い画像情報を抽出する（Ｓ１１６）。例えば、制御部２１はＳ１１４で算出した各画像情報毎の類似度が予め定めた閾値を超えている画像のみを類似度が高い画像情報として抽出する。また、類似画像として抽出する画像情報の数を予め定めておき、類似度が高い画像情報から、予め定められた個数のみを表示することも可能である。本実施例では閾値を「５．０」とする。類似度の平均値が「５．０」以下なのはＰ００２、Ｐ００５の画像情報１７１である。制御部２１は、類似度が高い画像情報としてＰ００２、Ｐ００５の画像情報１７１を抽出する。
【００５９】
図４の本実施例の検索処理のフローチャートの説明に戻る。制御部２１は検出した類似画像に検索キーワード情報を関連付ける（Ｓ１０５）。具体的には、制御部２１は検出された類似画像のデータレコードのテキスト情報１７３の領域に検索キーワード情報を格納する。なお、データレコードのテキスト情報１７３に既にテキスト情報が格納されている場合、制御部２１は既に格納されたテキスト情報に検索キーワード情報を付加して格納する。図８は更新された画像データベース１７である。これにより、データベースに対して検索を繰り返すにつれて画像情報に適切なテキスト情報を付与していくことが可能となる。
【００６０】
最後に、制御部２１は画像情報を表示する（Ｓ１０６）。図９は検出結果となる画像情報の表示例である。画面の表示領域９１には入力された検索キーワード情報を表示する領域９２、検索処理の実行の開始を指示するスイッチを表示する領域９３及び、検索結果の画像情報を表示する領域９４がある。検索結果の画像情報を表示する領域９４には「富士山」の検索キーワード情報によって検出されたＰ００１、Ｐ００３及びＰ００６の画像情報１７１が表示されるとともに、Ｐ００１、Ｐ００３及びＰ００６の画像情報１７１に類似する画像情報であるＰ００５の画像情報１７１およびＰ００２の画像情報１７１が表示される。なお、図９では制御部２１は類似度順に表示する。本実施例では検索キーワード情報が合致する画像情報はファイル名順に表示する。なお、ソートの順序はファイル名順に限らず、他の順序であっても良い。画像ファイル名１７２順は例えばアルファベットの昇順、数字の昇順などを条件とする。類似画像情報検索によって予め定めた閾値を超えた類似値を有する画像情報については類似する度合いが高い順に表示する。
【００６１】
以上の処理により、利用者は検索キーワード情報である「富士山」を入力すると、制御部２１は、検索キーワード情報として「富士山」が関連付けられていない画像情報であっても検出することが可能となる。
【００６２】
なお、Ｓ１０６において、制御部２１は画像情報を別の表示方法とすることも可能である。図１０は検出結果となる画像情報の第二の表示例である。画面の表示領域９１には入力された検索キーワード情報を表示する領域９２、検索処理の実行の開始を指示するスイッチを表示する領域９３、Ｓ１０１での検索キーワード情報による検索処理の結果の画像情報を表示する第一の領域９５およびＳ１１６での類似画像の検索処理の結果の画像情報を表示する第二の領域９６がある。
【００６３】
検索結果の画像情報を表示する第一の領域９５には「富士山」の検索キーワード情報によって検出されたＰ００１、Ｐ００３及びＰ００６の画像情報１７１が表示される。なお、検索キーワード情報が合致する画像情報は一致するため、第一の領域９５は画像ファイル名１７２順に表示する。なお、ソートの順序はファイル名順に限らず、他の順序であっても良い。
【００６４】
検索結果の画像情報を表示する第二の領域９６にはＰ００１、Ｐ００３及びＰ００６の画像情報１７１に類似する画像情報であるＰ００５の画像情報１７１およびＰ００２の画像情報１７１が表示される。なお、図１０では制御部２１は第二の領域９６の各画像情報を類似度順に表示する。制御部２１は類似画像情報検索によって予め定めた閾値を超えた類似値を有する画像情報については類似する度合いが高い順に表示する。
【００６５】
図１０ように検索キーワード情報による検索処理の結果の画像情報を表示する第一の領域９５とＳ１１６での類似画像の検索処理の結果の画像情報を表示する第二の領域９６とを分けて表示することにより、ユーザは画像がキーワードで検索されたものか、類似計算で検索されたものかを簡単に把握できる。
【００６６】
更に、Ｓ１０６において、制御部２１は画像情報の検索結果を別の表示方法とすることも可能である。図１１は検索結果の画像情報を表示する順番を決定する処理のフローチャートである。
【００６７】
制御部２１は、検索キーワード情報によって検出した画像情報群Ｐ１（図３のＰ００１、Ｐ００３およびＰ００６の画像情報１７１）をソートして並べる（Ｓ１２１）。ソートの基準は検索キーワード情報の合致率、画像情報に対するアクセス回数、あるいはその他の基準で並べる。本実施例では、画像情報群Ｐ１としてＰ００１、Ｐ００３、Ｐ００６の画像情報１７１の順にソートされて並べられたものとする。
【００６８】
次に制御部２１は、類似検索部で抽出した検索キーワード情報によって検出した画像情報群Ｐ１に対して類似度が高い画像情報群Ｐ２から、一つの画像情報Ｐ３を取得する（Ｓ１２２）。本実施例では、制御部２１は一つの画像情報Ｐ３としてＰ００２の画像情報１７１を取得する。
【００６９】
制御部２１は、検索キーワード情報によって検出した画像情報群Ｐ１の中でＳ１２２において取得した画像情報Ｐ３に最も類似する画像情報Ｐ４を抽出する（Ｓ１２３）。画像情報Ｐ３であるＰ００２の画像情報１７１に最も類似した画像情報Ｐ４として選択されるのはＰ００１の画像情報１７１である。
【００７０】
制御部２１は画像情報Ｐ４の後ろに画像情報Ｐ３を挿入する（Ｓ１２４）。本実施例では、制御部２１はＰ００１の画像情報１７１の後ろにＰ００２の画像情報１７１を挿入する。また、Ｐ００５の画像情報１７１はＰ００３の画像情報１７１に最も類似しているため、Ｐ００３の画像情報１７１の後ろにＰ００５の画像情報１７１を挿入する。
【００７１】
全ての類似画像についての挿入が決定していない場合（Ｓ１２５：Ｎｏ）。制御部２１はＳ１２２から次の類似画像情報についての並べ替え処理を実行する。一方、全ての類似画像についての挿入が決定した場合（Ｓ１２５：Ｙｅｓ）、制御部２１は並べ替えた画像情報の順番で画像情報を表示する（Ｓ１２６）。
【００７２】
図１２は、検出結果となる画像情報の第三の表示例である。
【００７３】
図１１の検索結果の画像情報を表示する順番を決定する処理を行ったことにより、類似する画像が連続して表示されるため、利用者は希望する画像情報を探し出すことが容易になる。
【００７４】
ここで、制御部２１がＳ１０３にて実行する特徴量を検出する処理の別の方式について説明する。画像データベース１７には利用者が意図しないテキスト情報１７３が付与される場合がある。例えば、図３のＰ００３の画像情報１７１のように富士山の画像でない画像情報に「富士山」のキーワードを含むテキスト情報１７３が付与される場合がある。ただし、画像データベース１７の全体では、画像情報１７１とテキスト情報１７３との間が無関係であるにも関わらず関連付けられているデータレコードは少なく、多くの場合は検索キーワード情報に適した画像情報を検出する。このような状況の場合、制御部２１はＳ１０３で取得する検索キーワード情報の検索処理によって検出した画像情報の特徴量を複数のカテゴリに分類する。一般的に、多くの画像情報が分類されたカテゴリは検索キーワード情報に関連する可能性が高い画像情報である場合が多いためである。
【００７５】
図１５は、制御部２１がＳ１０３にて実行する特徴量を検出する処理の別の方式のフローチャートである。
【００７６】
制御部２１は、Ｓ１０２で取得した検索キーワード情報によって検出された画像情報をカテゴリに分類する（Ｓ１３１）。Ｓ１０２のキーワード検索処理によって制御部２１が検出した画像情報１７１はＰ００１，Ｐ００３、Ｐ００６である。Ｐ００１，Ｐ００３、Ｐ００６の各画像情報１７１をカテゴリに分類する。本実施例では画像が少ないため二つのカテゴリに分類する。カテゴリへの分類の方法は既存の分類方法を利用する。既存の分類方法はＫ−Ｍｅａｎｓ法や自己組織化マップ法、ＯＰＴＩＣＳ法等がある。
【００７７】
制御部２１が画像情報をカテゴリに分類する処理を実行するとＰ００１，Ｐ００３、Ｐ００６の三枚の画像情報は、例えばカテゴリＣ１にＰ００１の画像情報１７１およびＰ００６の画像情報１７１が分類され、カテゴリＣ２にＰ００３の画像情報１７１が分類される。
【００７８】
制御部２１は類似度の演算の対象となるカテゴリを抽出する（Ｓ１３２）。具体的には、類似度計算に利用する対象とするか否かを判断する閾値を予め設定する。本実施例は、カテゴリが有する画像情報の数が二枚以上を閾値として予め設定される。制御部２１は閾値を超えるカテゴリＣ１を類似度の演算の対象として判別する。
【００７９】
カテゴリＣ１に含まれるＰ００１及びＰ００６の二枚の画像情報とＰ００２、Ｐ００４およびＰ００５の画像情報１７１との間の類似度は以下の値となる。Ｐ００１の画像情報１７１とＰ００２の画像情報１７１との間の類似度は「１．７」となり、Ｐ００６の画像情報１７１とＰ００２の画像情報１７１との間の類似度は「１．７」となり、類似度の平均値は「１．７」となる。Ｐ００１の画像情報１７１とＰ００４の画像情報１７１との間の類似度は「５．２」となり、Ｐ００６の画像情報１７１とＰ００４の画像情報１７１との間の類似度は「５．４」となり、類似度の平均値は「５．３」となる。Ｐ００１の画像情報１７１とＰ００５の画像情報１７１との間の類似度は「３．０」となり、Ｐ００６の画像情報１７１とＰ００５の画像情報１７１との間の類似度は「３．３」となり、類似度の平均値は「３．２」となる。
【００８０】
以上からＰ００２に対応する類似度の平均値が最小となり、制御部２１はＰ００２の画像がカテゴリＣ１の「富士山」の画像に類似すると判定する。
【００８１】
上記の処理を実行することにより、制御部２１は、図３のＰ００３の画像情報のようなテキスト情報１７３と画像情報１７１とが関連しない画像情報の検出を防ぐことが可能になる。この結果、制御部２１は例外的な画像情報を排除した精度の高い類似画像の出力が可能となる。
【００８２】
なお、一度計算した特徴量をデータレコード毎に対応付けて格納するする領域を設けることにより、次回からの制御部２１が特徴量の演算に要する時間を短縮することも可能である。
【００８３】
次に、検索キーワード情報によって検索する第一のデータベースと類似画像を検索する第二のデータベースとを有する場合を説明する。
【００８４】
図１６は、データベースが複数ある場合のシステム構成例である。図１６のシステムのテレビ放送受信装置３０は、録画機能によってテレビ放送３５を録画し、録画した映像の特定の部分（シーン）毎にインデックス画像データを生成する。画像検索モジュール４０は入力された検索キーワード情報に対応する所望のシーンを検索して出力する。
【００８５】
図１６のシステムは、画像検索モジュール４０およびネットワーク画像データベース１８がネットワーク３６により接続される。ネットワーク３６は例えば、インターネットあるいはＬＡＮ等である。また、テレビ放送３５およびテレビ放送受信装置３０は例えば電波３７によって映像の放送、及び映像の受像を行う。映像の放送、及び映像の受像は電波３７だけでなく、有線放送あるいはネットワークよっても行うことが可能である。なお、これらの接続については、適宜変更が可能である。例えば、画像検索モジュール４０とテレビ放送受信装置３０とが別であり、電気的に接続される構成でもよい。画像検索モジュール４０とテレビ放送受信装置３０とが別に構成される場合、画像検索モジュール４０とテレビ放送受信装置３０とは例えばＵＳＢあるいはネットワークによって接続される。
【００８６】
ネットワーク画像データベース１８は、画像データベース１７の内、テキスト情報１７３と画像情報１７１とが関連付けられたデータレコードが格納されたデータベースである。ネットワーク画像データベース１８のデータ構成は図３の画像データベース１７の構成と同様である。
【００８７】
なお、ネットワーク画像データベース１８は、例えば、一般的なインターネット画像検索システムを利用することが可能である。検索モジュール４２は検索キーワード情報によって画像の検索処理を行うＷｅｂサービスを実行する。検索モジュール４２はＷｅｂサービスの検索結果から得られる検索キーワード情報に対応するテキスト情報を有する画像情報を取得する。
【００８８】
テレビ放送３５は映像情報を放送する。例えば無線放送局、有線放送局、ネットワークによる映像情報の配信局等である。
【００８９】
テレビ放送受信装置３０は、テレビ放送３５からの映像情報を、例えば電波３７を介して受信する。本実施例では、説明の簡単化のため電波３７としたが一般的な無線放送、有線放送による構成としたが、ネットワーク３６を介した通信による映像情報を配信する方式であっても良い。
【００９０】
テレビ放送受信装置３０は、映像録画モジュール３１、インデックス画像取得モジュール３２および映像情報記憶モジュール１９を有する。映像録画モジュール３１は、テレビ放送３５からの映像情報を受信する。また、映像録画モジュール３１は、受信した映像情報がアナログ情報の場合、受信した映像情報をＭｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）２等にエンコードしてデジタル化する。映像録画モジュール３１は、映像情報を録画する際、映像情報の切れ目、音の切れ目等を検出して映像情報を複数の部分映像に分割する。映像録画モジュール３１は、分割した部分映像を映像情報記憶モジュール１９に記憶する。
【００９１】
インデックス画像取得モジュール３２は、映像録画モジュール３１が分割した部分映像の先頭フレームとなる画像をインデックス画像として抽出する。インデックス画像取得モジュール３２は、抽出したインデックス画像情報と部分映像とを対応付けて映像情報記憶モジュール１９に記憶する。
【００９２】
映像情報記憶モジュール１９は映像情報が格納される。映像情報記憶モジュール１９は録画した映像情報から生成した部分映像（シーン）の一覧を記憶するハードディスクドライブに相当する。図１７は、映像情報記憶モジュール１９に格納されるデータ構成例である。映像情報記憶モジュール１９のデータレコードは、映像情報識別番号１９１、部分映像番号識別番号１９２、インデックス画像情報１９３およびテキスト情報１９４から構成される。
【００９３】
画像検索モジュール４０は、入力モジュール１１、検索モジュール４２、特徴量算出モジュール１３、類似画像検出モジュール４４、キーワード付与モジュール４５および出力モジュール１６を有する。
【００９４】
図１６の画像検索モジュール４０と図１の画像検索装置１０とが異なる点は、画像検索モジュール４０は画像検索装置１０の画像データベース１７を有さない点である。図１６のシステムは画像検索装置１０の画像データベース１７に代替するデータベースとして、ネットワーク画像データベース１８および映像情報記憶モジュール１９の二つを有する。
【００９５】
画像検索モジュール４０の検索モジュール４２は入力モジュール１１に入力された検索キーワード情報に合致するテキスト情報１７３を有するネットワーク画像データベース１８内のデータレコードをネットワーク３６経由で取得する。
【００９６】
類似画像検出モジュール４４は映像情報記憶モジュール１９に格納されたインデックス画像情報１９３とネットワーク画像データベース１８に格納された画像情報１７１との間の類似度を求める。
【００９７】
キーワード付与モジュール４５は、検索キーワード情報に類似する画像情報であると判別されたインデックス画像情報１９３のデータレコードのテキスト情報１９４に検索キーワード情報を付与する。
【００９８】
入力モジュール１１、特徴量算出モジュール１３および出力モジュール１６は画像検索装置１０と同様であるため説明を省略する。
【００９９】
図１８は、図１６のハードウェア構成例である。テレビ放送受信装置３０は、制御部６１、メモリ６２、記憶部６３、入力部６４、出力部６５、ネットワークインターフェース部６６を有し、それぞれがバス６７に接続された構成である。
【０１００】
制御部６１はテレビ放送受信装置３０の全体を制御する。例えば、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）である。また、制御部６１はメモリ６２に展開された画像検索プログラム６８および録画プログラム６９を実行する。画像検索プログラム６８は制御部６１を画像検索モジュール４０の入力モジュール１１、検索モジュール４２、特徴量算出モジュール１３、類似画像検出モジュール４４、キーワード付与モジュール４５および出力モジュール１６として機能させる。録画プログラム６９は制御部６１を映像録画モジュール３１、インデックス画像取得モジュール３２として機能させる。
【０１０１】
メモリ６２は、記憶部６３に格納された画像検索プログラム６８および録画プログラム６９が展開される記憶領域である。また、メモリ６２は制御部６１が画像検索プログラム６８および録画プログラム６９を実行する際に生成される種々の演算結果が格納される記憶領域である。メモリ６２は例えばＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）である。入力部６４は利用者からの検索キーワード情報を受付ける。入力部６４は、例えば、キーボード、マウス、タッチパネル等である。出力部６５は、画像情報の検索結果を出力する。出力部６５は、例えば、ディスプレイ（表示装置）等である。記憶手段６３は、画像検索プログラム６８、録画プログラム６９、映像記憶モジュール１９が格納される。記憶手段６３は例えばハードディスク装置である。
【０１０２】
ネットワークインターフェース部６６は、インターネットあるいはＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等のネットワークに接続して、ネットワーク経由でデータの送受信を可能にする構成である。したがって、ネットワークインターフェース部６６を介した先に入力部、出力部、メモリ、記憶部が存在する装置構成とすることも可能である。またテレビ放送受信装置３０は、画像検索プログラム６８を記録した記録媒体又はプログラムのダウンロードも可能である。
【０１０３】
次に、テレビ放送受信装置３０が実行する処理について説明する。
【０１０４】
当初の映像情報記憶モジュール１９に格納されたデータレコードのテキスト情報１９４は情報が付与されていない状態である。利用者はテレビ放送受信装置３０に検索キーワード情報を入力する。入力モジュール１１は検索キーワード情報を受付ける。検索モジュール４２は受付けた検索キーワード情報でネットワーク画像データベース１８のテキスト情報１７３を検索する処理を実行する。検索モジュール４２は検索結果としてネットワーク画像データベース１８内のテキスト情報１７３が合致する画像情報１７１を取得する。特徴量算出モジュール１３は、取得したそれぞれのネットワーク画像データベース１８の画像情報１７１の特徴量を算出する。
【０１０５】
次に類似画像検出モジュール４４は、テレビ放送受信装置３０の映像情報記憶モジュール１９に格納されたインデックス画像情報１９３を読み出す。類似画像検出モジュール４４は、ネットワーク画像データベース１８画像情報１７１と映像情報記憶モジュール１９のインデックス画像情報１９３によって各インデックス画像情報１９３の類似度を算出する。類似画像検出モジュール４４は、類似度に応じてインデックス画像情報１９３を類似画像として判定する。
【０１０６】
キーワード付与モジュール４５は類似画像と判定されたインデックス画像情報１９３に検索キーワード情報を関連付けてテキスト情報１９４に格納する。出力モジュール１６は類似画像と判定されたインデックス画像情報１９３を画面に出力する。利用者は、画面上の類似画像であるインデックス画像情報１９３を適宜選択して所望の映像を視聴することができる。以上から、キーワード情報が関連付けられていない映像情報であっても、キーワードによって検索して視聴することが可能となる。
【０１０７】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
（付記１）
画像検索装置の記憶モジュールに格納されたデータベース内の画像情報を検索する処理を該画像検索装置の制御部に実行させる画像検索プログラムであって、該制御部に、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を検出するステップ、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該データベースから検出するステップ、
該検出した該類似画像情報を出力するステップ、
を実行させることを特徴とする画像検索プログラム。
（付記２）
該検出した該類似画像情報に該キーワード情報を対応付けて該データベースに格納することを特徴とする付記１記載の画像検索プログラム。
（付記３）
該検出した該類似画像情報を出力するときに、類似する順に指定個数の画像情報を取得することを特徴とする付記１記載の画像検索プログラム。
（付記４）
該検出した該類似画像情報を出力するときに、該キーワード情報に対応する該検出したテキスト情報に対応する該画像情報を併せて表示することを特徴とする付記１記載の画像検索プログラム。
（付記５）
該検出した該類似画像情報を出力するときに、該キーワード情報に類似すると判別された該他の画像情報と該キーワード情報に対応する該検出したテキスト情報に対応する該画像情報とを別の領域に併せて表示することを特徴とする付記１記載の画像検索プログラム。
（付記６）
該検出した該類似画像情報を出力するときに、該検出した該類似画像情報を該キーワード情報に対応する該検出したテキスト情報に最も類似する該画像情報の隣に配置して表示することを特徴とする付記１記載の画像検索プログラム。
（付記７）
画像情報が格納された第一のデータベースと画像情報とテキスト情報とが関連付けられて格納された第二のデータベースとがあり、画像情報が格納された第一のデータベース内の画像情報を検索する画像検索方法であって、画像検索装置が、
キーワード情報に対応する該テキスト情報に対応する画像情報を該第一のデータベースから検出し、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該第二のデータベースから検出し、
該検出した該類似画像情報を出力する
ことを特徴とする画像検索方法。
（付記８）
画像情報に含まれる色情報に応じて、該画像情報の固有の値を演算することを特徴とする付記１記載の画像検索方法。
（付記９）
画像情報とテキスト情報とが関連付けられて格納されたデータベース内の画像情報を検索する画像検索装置であって、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を検出し、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該データベースから検出し、
該検出した該類似画像情報を出力する
ことを特徴とする画像検索装置。
（付記１０）
画像情報とテキスト情報とが関連付けられて格納されたデータベース内の画像情報を検索する画像検索方法であって、画像検索装置が、
キーワード情報に対応する該テキスト情報に関連付けられた画像情報を検出し、
該検出したテキスト情報に対応する画像情報から定まる固有の値に対して予め定めた範囲以内となる固有の値を有する類似画像情報を該データベースから検出し、
該検出した該類似画像情報を出力する
ことを特徴とする画像検索方法。
【図面の簡単な説明】
【０１０８】
【図１】本実施例の機能ブロック図である。
【図２】本実施例のハードウェア構成図である。
【図３】本実施例の画像データベース１７の構成図である。
【図４】本実施例の検索処理のフローチャートである。
【図５】画像情報の特徴量の算出例の説明図である。
【図６】類似する画像情報を検出する処理のフローチャートである。
【図７】類似画像を検出するための特徴量を算出する際の説明図である。
【図８】更新された画像データベース１７である。
【図９】検出結果となる画像情報の表示例である。
【図１０】検出結果となる画像情報の第二の表示例である。
【図１１】検索結果の画像情報を表示する順番を決定する処理のフローチャートである。
【図１２】検出結果となる画像情報の第三の表示例である。
【図１３】ステップ関数である。
【図１４】シグモイド関数である。
【図１５】制御部２１がＳ１０３にて実行する特徴量を検出する処理の別の方式のフローチャートである。
【図１６】データベースが複数ある場合のシステム構成例である。
【図１７】映像情報記憶モジュール１９に格納されるデータ構成例である。
【図１８】図１６のハードウェア構成例である。
【符号の説明】
【０１０９】
１０  画像検索装置
１１  入力モジュール
１２  検索モジュール
１３  特徴量算出モジュール
１４  類似画像検出モジュール
１５  キーワード付与モジュール
１６  出力モジュール
１７  画像データベース
１８  ネットワーク画像データベース
１９  映像情報記憶モジュール
２１  制御部
２２  メモリ
２３  記憶部
２４  入力部
２５  出力部
２６  ネットワークインターフェース
２７  バス
３０  テレビ放送受信機
３１  映像録画モジュール
３２  インデックス画像取得モジュール
３５  テレビ放送
３６  ネットワーク
４０  画像検索モジュール
４２  検索モジュール
４４  類似画像検出モジュール
４５  キーワード付与モジュール
６１  制御部
６２  メモリ
６３  記憶部
６４  入力部
６５  出力部
６６  ネットワークインターフェース
６７  バス
【図１】
2008217428.tif 000004
【図２】
2008217428.tif 000005
【図３】
2008217428.tif 000006
【図４】
2008217428.tif 000007
【図５】
2008217428.tif 000008
【図６】
2008217428.tif 000009
【図７】
2008217428.tif 000010
【図８】
2008217428.tif 000011
【図９】
2008217428.tif 000012
【図１０】
2008217428.tif 000013
【図１１】
2008217428.tif 000014
【図１２】
2008217428.tif 000015
【図１３】
2008217428.tif 000016
【図１４】
2008217428.tif 000017
【図１５】
2008217428.tif 000018
【図１６】
2008217428.tif 000019
【図１７】
2008217428.tif 000020
【図１８】
2008217428.tif 000021