(57)【特許請求の範囲】
【請求項１】
文書データを蓄積する文書データベースから、指定された検索文字列が含まれる文書データを検索する文書検索部と、
前記文書検索部が検索した文書データに含まれる画像を取得する文書解析部と、
前記文書データベース内の全ての文書データを検索対象として、前記文書解析部が取得した画像に類似する画像を含む文書データを検索する画像検索部と、
前記文書データベース内の全ての文書データに含まれる前記検索文字列の情報量の合計と、前記画像検索部による検索の結果得られた各文書データに含まれる前記検索文字列の情報量の合計とに基づき、前記画像検索部または前記文書検索部による検索の結果得られた文書データに含まれる画像が前記検索文字列の内容を表しているか否かを判定する画像推定部と、
前記画像推定部による判定結果を出力する出力部と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記画像検索装置は、
画像とそのメタデータを格納する画像メタデータＤＢと、
前記画像メタデータＤＢに画像とそのメタデータを格納するメタデータ管理部と、
を備え、
前記メタデータ管理部は、
前記画像推定部が前記検索文字列の内容を表していると判定した前記画像と前記検索文字列を、画像とそのメタデータとして前記画像メタデータＤＢに格納する
ことを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記メタデータ管理部は、
前記画像検索部が前記検索を実施し、前記画像推定部が前記判定を実施する毎に、前記画像推定部が前記検索文字列の内容を表していると判定した前記画像と前記検索文字列を、画像とそのメタデータとして前記画像メタデータＤＢに格納する
ことを特徴とする請求項２記載の画像検索装置。
【請求項４】
前記画像メタデータＤＢは、
画像とそのメタデータが対応付けられた頻度を、前記画像および前記メタデータと対応付けて格納し、
前記メタデータ管理部は、
画像とそのメタデータを前記画像メタデータＤＢに格納する毎に前記頻度を加算する
ことを特徴とする請求項３記載の画像検索装置。
【請求項５】
前記文書検索部は、前記検索文字列として複数の単語を受け取り、
前記メタデータ管理部は、前記複数の単語の組み合わせを前記メタデータとして前記画像メタデータＤＢに格納する    
ことを特徴とする請求項２記載の画像検索装置。
【請求項６】
前記画像検索部は、
前記文書解析部が取得した画像を画像類似度にしたがって複数のグループにクラスタリングし、
前記文書データベース内の全ての文書データを検索対象として、前記クラスタリングによって得られた前記グループの代表値に類似する画像を含む文書データを検索する
ことを特徴とする請求項１記載の画像検索装置。
【請求項７】
前記画像検索部は、
前記クラスタリングによって得られた前記グループのうち、グループ内に含まれる画像の数が所定閾値以上であり、かつ同グループ内の画像特徴量の分散が所定閾値以下である前記グループのみを対象として、前記代表値に類似する画像を含む文書データを検索する
ことを特徴とする請求項６記載の画像検索装置。
【請求項８】
前記画像検索部は、
前記画像推定部が前記検索文字列の内容を表していると判定した前記画像に類似する第２画像を含む文書データを前記文書データベースから検索し、
前記出力部は、
前記画像推定部による判定結果とともに前記第２画像を含む文書データを検索した結果を出力する
ことを特徴とする請求項１記載の画像検索装置。
【請求項９】
前記文書検索部は、
前記検索文字列として複数の単語を受け取った場合は、前記複数の単語のうち少なくともいずれかを含む文書データを前記文書データベースから検索し、
前記画像推定部は、
前記複数の単語を全て含む前記検索文字列の情報量に基づき前記判定を実施する
ことを特徴とする請求項１記載の画像検索装置。
【請求項１０】
前記出力部は、
前記画像検索部による検索の結果得られた文書データに含まれる画像が前記検索文字列の内容を表していると前記画像推定部が判定した場合、
前記文書検索部が検索した文書データに含まれる画像と、前記画像検索部による前記検索の結果得られた画像とのうち、前者のみを出力する
ことを特徴とする請求項１記載の画像検索装置。
【請求項１１】
前記画像推定部は、
前記画像検索部による検索の結果得られた各文書データに含まれる前記検索文字列の情報量の合計が、前記文書データベース内の全ての文書データに含まれる前記検索文字列の情報量の合計を所定閾値以上上回っているか否かに基づき前記判定を実施し、
前記画像検索装置は、
前記所定閾値を指定する指定入力を受け取る閾値設定部を備える
ことを特徴とする請求項１記載の画像検索装置。
【請求項１２】
前記出力部は、
前記画像検索部による検索の結果得られた文書データに含まれる画像が前記検索文字列の内容を表していると前記画像推定部が判定した場合、
前記文書検索部が検索した文書データと、前記画像検索部による前記検索の結果得られた文書データとを出力する
ことを特徴とする請求項１記載の画像検索装置。
【請求項１３】
文書データを蓄積する文書データベースから、指定された検索文字列が含まれる文書データを検索する文書検索ステップ、
前記文書検索ステップで検索した文書データに含まれる画像を取得する文書解析ステップ、
前記文書データベース内の全ての文書データを検索対象として、前記文書解析ステップにおいて取得した画像に類似する画像を含む文書データを検索する画像検索ステップ、
前記文書データベース内の全ての文書データに含まれる前記検索文字列の情報量の合計と、前記画像検索ステップにおける検索の結果得られた各文書データに含まれる前記検索文字列の情報量の合計とに基づき、前記画像検索ステップにおける検索の結果得られた文書データに含まれる画像が前記検索文字列の内容を表しているか否かを判定する画像推定ステップ、
前記画像推定ステップにおける判定結果を出力する出力ステップ、
を有することを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を検索する技術に関する。
【背景技術】
【０００２】
文書作成ソフトの高機能化やストレージの大容量化により、画像が含まれる文書の比率が高まっている。特にプレゼン資料や企業内文書に関しては、短時間での理解を支援するために、テキストの領域よりも画像の領域が大きい文書も多く存在する。これらのファイルを探す際には、ファイルが保存されているフォルダを直接参照したり、文書中のテキストを対象としたキーワード検索をしたりといった方法が検索手段として用いられている。
【０００３】
しかし、テキスト情報だけに頼る検索では、検索文字列に関連する画像を含む文書を探したい場合や、指定した検索文字列に係るトピックを示す画像を探したい場合において、画像とキーワードの関係を利用することが困難である。
【０００４】
下記特許文献１では、上記課題に鑑み、文書中の画像のキャプション番号とキャプション文字列に基づいて、画像が依存しているパラグラフを特定し、そのパラグラフから特徴度の高い単語を当該画像のキーワードとして抽出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２０５０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載されている技術では、想定していないキャプションが画像に含まれている場合や、依存パラグラフに画像の内容を示すような単語がない場合は、ユーザの意図しない単語が画像のキーワードとして対応付けられてしまう。
【０００７】
また、画像の内容を示す単語の組み合せは無数にあるため、検索キーワードを文書内から自動的に取得すると、ユーザの視点に適した単語集合が検索キーワードとして用いられないことがある。例えば、間違ったキーワードや、正しいがユーザが検索時に入力することが少ない単語で構成されるキーワードが使用され、画像に対応付けられる場合がある。かかるキーワードでは、画像や文書の検索に役立てることは難しい。
【０００８】
本発明は、上記のような課題に鑑みてなされたものであり、キーワードを指定して文書中の画像を検索する場合において、精度が高く検索漏れが少ない検索技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像検索装置は、検索文字列を含む文書データ内の画像に類似する画像を検索し、その類似画像を含む文書データ内における検索文字列の情報量と、全文書データ内における検索文字列の情報量とに基づき、画像が検索文字列の内容を表しているか否かを判定する。
【発明の効果】
【００１０】
本発明に係る画像検索装置によれば、検索文字列を含む文書データ内の画像に類似する画像を検索することにより、検索漏れを少なくすることができる。また、検索文字列の情報量に基づき画像が検索文字列の内容を表しているか否かを判定するので、検索精度を高めることができる。
【００１１】
上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【００１２】
【図１】実施形態１に係る画像検索装置１００の構成図である。
【図２】画像ＤＢ１１３の構成とデータ例を示す図である。
【図３】画像特徴量フィールド１１３２に格納する特徴量ベクトルを算出する様子を示す図である。
【図４】画面表示部１１９が表示部１０４に表示させる検索文字列入力画面の構成例を示す図である。
【図５】画像検索装置１００の動作を説明するフローチャートである。
【図６】ステップＳ５０６における係数αをユーザが指定するための設定画面例を示す図である。
【図７】実施形態２に係る画像検索装置１００の動作を説明するフローチャートである。
【図８】実施形態３に係る画像検索装置１００の構成図である。
【図９】画像メタデータＤＢ８２０の構成とデータ例を示す図である。
【図１０】実施形態３において画像検索装置１００が画像メタデータＤＢ８２０にキーワードを登録する処理を説明するフローチャートである。
【図１１】実施形態４に係る画像検索装置１００の動作を説明するフローチャートである。
【図１２】実施形態５に係る画像検索装置１００の動作を説明するフローチャートである。
【図１３】実施形態６に係る画像検索装置１００の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
＜実施の形態１＞
図１は、本発明の実施形態１に係る画像検索装置１００の構成図である。画像検索装置１００は、ユーザが指定した検索文字列の内容を表す画像を検索する装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、主メモリ１０２、入力部１０３、表示部１０４、通信部１０５、記憶部１１０を備える。
【００１４】
ＣＰＵ１０１は、記憶部１１０が格納しているプログラムを実行することにより、画像検索装置１００の機能を提供する。主メモリ１０２は、ＣＰＵ１０１が使用するデータを一時的に格納する。入力部１０３は、ユーザからの操作入力を受け取ってＣＰＵ１０１に出力する。表示部１０４は、例えばディスプレイなどの画面表示デバイスである。通信部１０５は、他の装置との間で通信するためのインターフェースである。
【００１５】
記憶部１１０は、画像検索装置１００のＯＳ（オペレーティングシステム）１１１、文書ＤＢ（ＤａｔａＢａｓｅ）１１２、画像ＤＢ１１３、文書解析部１１４、画像推定部１１５、文書検索部１１６、画像検索部１１７、形態素解析部１１８、画面表示部１１９を格納している。
【００１６】
文書ＤＢ１１２は、文書データを格納するデータベースである。後述する文書検索部１１６が文書を検索したり、文書の単語頻度を取得したりすることができるのであれば、必ずしも文書データそのものを格納しなくともよい。画像ＤＢ１１３は、画像データを格納するデータベースである。画像ＤＢ１１３の詳細は後述の図２で説明する。
【００１７】
文書解析部１１４は、文書データを解析して当該文書データ内のテキストや画像を抽出する。文書解析部１１４は、文書作成ソフトウェアの開発元が提供しているライブラリ、またはオープンソースのライブラリなどを用いて構成することができる。例えば、Ｍｉｃｒｏｓｏｆｔ  Ｏｆｆｉｃｅ（登録商標）の文書データであれば、マイクロソフト社が提供しているＳＤＫ（Ｓｏｆｔｗａｒｅ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｋｉｔ）、ＰＤＦファイルであればオープンソースのｉＴｅｘｔなどを利用することができる。後述する文書検索部１１６が文書解析機能を備えている場合は、その文書解析機能を利用しても構わない。
【００１８】
画像推定部１１５は、検索結果の文書に含まれる各画像が、ユーザが指定した検索文字列の内容を示す画像であるかどうかを判定する。具体的な判定手法については後述の図４で説明する。
【００１９】
文書検索部１１６は、文書ＤＢ１１２に文書データが新規に登録されると、文書解析部１１４が取得した当該文書データ内のテキストを、形態素解析部１１８の機能によって形態素解析し、その結果得られた単語を検索用のインデックス情報として文書ＤＢ１１２に登録する。また、ユーザが指定した検索文字列を含む文書データを文書ＤＢ１１２から検索する。文書検索部１１６は、例えばオープンソースで公開されている全文検索ソフトウェアであるＬｕｃｅｎｅ（http://lucene.apache.org/）などを用いて構成することができるが、同様の機能を実現できればこれに限られない。
【００２０】
画像検索部１１７は、指定された画像に類似する画像を検索する。具体的には、各画像の特徴量ベクトル間の距離を計算し、その距離が小さい画像を類似度が高い画像と判断する。画像検索部１１７は、画像検索結果を例えば類似度が高い順に出力する。このとき、検索結果の上位Ｎ個または類似度がＸ以上の画像というように、目的に合わせて検索結果を抽出して適宜ソートした上で出力する。
【００２１】
形態素解析部１１８は、文字列を形態素解析して単語に分割する。例えば、オープンソースとして公開されている日本語形態素解析システムＳｅｎ（http://www.mlab.im.dendai.ac.jp/~yamada/ir/MorphologicalAnalyzer/Sen.html）などを用いて構成することができる。文書検索部１１６が形態素解析機能を備えている場合は、その機能を用いても構わない。また、英語などのように分かち書きされている言語は単語に分かれているため、形態素解析は不要である。ただし、意味的に同じ単語が語形変化により異なる文字列となっている場合があるので、この分野において一般的によく知られているステミングの処理を施し、語幹を統一するようにしてもよい。
【００２２】
画面表示部１１９は、各機能部の処理結果を表示部１０４上に画面出力させる。画面出力に代えて、処理結果を示すデータを出力し、そのデータを受け取った装置などが画面出力を実施するようにしてもよい。その他の出力形式を採用してもよい。
【００２３】
文書解析部１１４、画像推定部１１５、文書検索部１１６、画像検索部１１７、形態素解析部１１８、画面表示部１１９は、これらの機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したプログラムをＣＰＵ１０１が実行することによって構成することもできる。以下では後者によって実装したものと仮定する。
【００２４】
文書ＤＢ１１２と画像ＤＢ１１３は、これらが格納するレコードを記録するデータファイルと記憶部１１０上の記憶領域によって構成することができる。データベースに対するデータ読み書きを制御する機能部と併せてこれらＤＢを構成してもよい。
【００２５】
図２は、画像ＤＢ１１３の構成とデータ例を示す図である。画像ＤＢ１１３は、画像ＩＤフィールド１１３１、画像特徴量フィールド１１３２、画像フィールド１１３３、文書ＩＤフィールド１１３４、ページフィールド１１３５、座標フィールド１１３６を有する。
【００２６】
画像ＩＤフィールド１１３１は、文書に含まれる画像を識別するＩＤを保持する。画像特徴量フィールド１１３２は、画像の見た目の特徴を数値化した特徴量ベクトルを保持する。画像フィールド１１３３は、画像のバイナリデータを保持する。文書ＩＤフィールド１１３４は、画像ＩＤフィールド１１３１によって識別される画像が含まれている文書のＩＤを保持する。ページフィールド１１３５は、文書ＩＤフィールド１１３４によって識別される文書内に画像ＩＤフィールド１１３１によって識別される画像が配置されているページ番号を保持する。座標フィールド１１３６は、文書ＩＤフィールド１１３４によって識別される文書内における画像の配置位置を示す座標を保持する。
【００２７】
例えば、画像ＩＤ＝１００００００１の画像は、文書ＩＤ＝０００００１の文書の１ページ目の左上座標（３５，１０）と右下座標（６０，３５）で囲まれる矩形領域にある画像を示す。ここでは、座標フィールド１１３６の定義はＸ、Ｙ方向を各々最大値１００で正規化した場合の座標を用いているが、ピクセル数など他の単位を用いても構わない。
【００２８】
文書ＤＢ１１２に文書データが登録されるとき、文書解析部１１４はその文書データから画像を取得し、画像ＤＢ１１３にその画像を登録する。例えば画像サイズが事前に定めたサイズ以下である場合など、実質的な内容がない画像に関しては登録を省略しても構わない。画像特徴量フィールド１１３２は、文書解析部１１４や画像検索部１１７など適当な機能部が計算すればよい。
【００２９】
図３は、画像特徴量フィールド１１３２に格納する特徴量ベクトルを算出する様子を示す図である。特徴量ベクトルは、画像から生成した画像の見た目の特徴を表す多次元ベクトルとして構成することができる。例えば、画像の画素値情報を用いて、画像中のエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、特徴量ベクトルとすることができる。
【００３０】
画像中のエッジパターンの分布は、図３に示す例のように、特徴的なエッジパターンをあらかじめ複数設定し、画像を格子状に領域分割し、各領域内に含まれるエッジパターン数を計数することによって多次元ベクトルを生成し、主成分分析法を用いて次元圧縮することにより生成される。
【００３１】
ここでは画像の見た目の特徴を示す特徴量として特徴量ベクトルを例示したが、これに限られるものではなく、同等の特徴を表現することができる情報であればよい。例えば一般に広く知られているＭＰＥＧ−７で規定されているエッジヒストグラム特徴やＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量など他の特徴量を用いても構わない。また、ベクトル間距離の計算は、例えば２乗距離など、ベクトル間の類似度を計算できれば、どのような方式を用いても構わない。
【００３２】
図４は、画面表示部１１９が表示部１０４に表示させる検索文字列入力画面の構成例を示す図である。ユーザは、検索文字列入力欄１０４１に検索文字列を入力し、検索ボタン１０４２を押下する。画像検索装置１００は、以下の図５で説明するフローチャートにしたがってその検索文字列を受け取り、検索文字列の内容を表す画像を検索する。
【００３３】
図５は、画像検索装置１００の動作を説明するフローチャートである。以下、図５の各ステップについて説明する。
【００３４】
（図５：ステップＳ５０１）
画面表示部１１９は、表示部１０４に、図４で説明した入力画面を表示させる。ユーザは入力部１０３を操作して検索文字列を入力する。画像検索装置１００は、検索文字列を受け取って以下の処理を実施する。検索文字列として、単一の単語が入力される場合もあるし、複数の単語の組み合わせが入力される場合もある。
【００３５】
（図５：ステップＳ５０２）
文書検索部１１６は、ステップＳ５０１で受け取った検索文字列が含まれる文書の集合を文書ＤＢ１１２から取得する。検索文字列として複数の単語が入力された場合、これらを全て含む文書を検索するようにしてもよいし、少なくともいずれか１つを含む文書を検索するようにしてもよい。本実施形態１では、検索文字列に含まれる全ての単語を含む文書を検索するものとする。
【００３６】
（図５：ステップＳ５０３）
文書解析部１１４は、ステップＳ５０２で取得した検索結果の文書に含まれる画像を、画像ＤＢ１１３から取得する。本ステップにおいて取得する画像は、検索文字列を含む全文書内の全画像であるため、検索文字列の内容を表していない画像が多く含まれる。
【００３７】
（図５：ステップＳ５０４）
画像検索部１１７は、ステップＳ５０３で取得した各画像について、その類似画像を含む文書の集合を検索する。具体的には、画像ＤＢ１１３の画像特徴量フィールド１１３２を用いて類似検索を実施し、その結果得られた画像に対応する文書ＩＤフィールド１１３４を取得すればよい。
【００３８】
（図５：ステップＳ５０５：その１）
画像推定部１１５は、ステップＳ５０４で取得した文書集合について、検索文字列の出現確率Ｐ（ｘ）を取得する。例えば、ステップＳ５０４で取得した類似画像を含む文書の合計が１０００個であり、そのうち検索文字列を含む文書が５０個であった場合、Ｐ（ｘ）＝５０／１０００＝０．０５となる。
【００３９】
（図５：ステップＳ５０５：その２）
画像推定部１１５は、文書ＤＢ１１２を参照し、文書全体における検索文字列の出現確率Ｑ（ｘ）を取得する。例えば、文書ＤＢ１１２に登録されている文書が５００，０００個であり、そのうち検索文字列が含まれる文書の数が２００個である場合、Ｑ（ｘ）＝２００／５０００００＝０．０００４となる。ステップＳ５０２において、検索文字列が含まれる文書数を既に取得していた場合は、その値を用いてもよい。
【００４０】
（図５：ステップＳ５０６）
画像推定部１１５は、ステップＳ５０５で算出した出現確率Ｐ（ｘ）とＱ（ｘ）を用いて、ステップＳ５０４で取得した各画像が検索文字列の内容を示す画像であるかどうかを判定する。まず、画像が検索文字列の内容を示していれば、ステップＳ５０４で取得した文書内には、全文書集合よりも高い確率で検索文字列が含まれているはずであると仮定する。ステップＳ５０３で取得した画像のうち、Ｐ（ｘ）＞α×Ｑ（ｘ）（α＞１）を満たすものは、検索文字列の内容を示す画像であると判定する。
【００４１】
（図５：ステップＳ５０６：補足その１）
上記条件式におけるαは、出現確率Ｐ（ｘ）とＱ（ｘ）がほぼ等しい場合に、偶然に上記条件式を満たしてしまうことを防止するための係数である。αの値は、例えば、１．５などあらかじめ定めておく。αが小さければ検索文字列と対応付けられる画像が増えるが、間違った判定結果も増える傾向がある。αが大きければこれと反対の傾向となる。
【００４２】
（図５：ステップＳ５０６：補足その２）
ステップＳ５０５〜Ｓ５０６では、文書内における検索文字列の出現頻度を用いる例を説明したが、これに限られるものではなく、文書全体に含まれる検索文字列の情報量と、ステップＳ５０４で検索した類似画像を含む文書内に含まれる検索文字列の情報量とを比較することができれば、その他の情報量を用いてステップＳ５０５〜Ｓ５０６を実施することもできる。例えばＫＬ（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ）情報量などを用いてもよい。
【００４３】
（図５：ステップＳ５０６：補足その３）
αの値はあらかじめ定めておいてもよいし、後述する図６のようなインターフェースを介してユーザが適宜設定できるようにしてもよい。
【００４４】
（図５：ステップＳ５０７）
画像推定部１１５は、ステップＳ５０３で取得した画像のうち、ステップＳ５０６で説明した条件式を満たす画像を、ユーザが指定した検索文字列に対する検索結果として決定する。この検索結果に加えて、ステップＳ５０４で得られた類似画像を、さらに検索結果に加えることもできる。類似画像の見た目は検索結果に含まれる画像と似ていると考えられるからである。
【００４５】
（図５：ステップＳ５０８〜Ｓ５０９）
画像表示部１１９は、ステップＳ５０７で検索結果として決定された画像を、検索文字列の内容を示す画像として、記憶部１１０や表示部１０４に出力する（Ｓ５０８）。次の検索指示がある場合は、ステップＳ５０１〜Ｓ５０８の処理を、終了指示があるまで繰り返す（Ｓ５０９）。
【００４６】
図６は、ステップＳ５０６における係数αをユーザが指定するための設定画面例を示す図である。画面表示部１１９は、図６のような設定画面を表示部１０４に表示させる。ユーザは、係数設定部１０４３を操作して用途に応じて最適なαの値を設定し、設定ボタン１０４４を操作する。記憶部１１０はその値を記憶しておき、画像推定部１１５はステップＳ５０６においてその値を使用する。
【００４７】
＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る画像検索装置１００は、類似画像を含む文書データ内における検索文字列の情報量Ｐ（ｘ）と、全文書データ内における検索文字列の情報量Ｑ（ｘ）とに基づき、文書検索部１１６または画像検索部１１７が検索した画像が検索文字列の内容を表しているか否かを判定する。これにより、検索文字列と画像が文書内で直接的に対応付けられているとは限らない場合においても、検索文字列の内容を表す画像を精度よく検索することができる。
【００４８】
また、本実施形態１に係る画像検索装置１００によれば、ユーザが熟考して作成した質の高い検索文字列を入力すると、その検索文字列の内容を示す画像を適切に取得できるという効果がある。検索文字列を文書内から取得する場合と比較し、人が検索したい単語が検索文字列として用いられるため、検索などに活用しやすいキーワードを用いて画像を検索することができる。
【００４９】
なお本実施形態１では、画像検索装置１００は画像を検索しているが、その過程において得られた文書を検索結果として提示することもできるし、画像と文書をともに提示することもできる。以下の実施形態においても同様である。
【００５０】
＜実施の形態２＞
本発明の実施形態２では、画像をクラスタリングすることによって複数のグループに分類し、クラスタリング後の画像集合に対して実施形態１と同様の処理を実施する動作例を説明する。クラスタリングにより、全体処理を高速化することを図る。画像検索装置１００の構成は実施形態１と同様であるため、以下ではクラスタリングに係る動作を中心に説明する。
【００５１】
本実施形態２において、画像検索部１１７は、画像集合をその類似度に応じてクラスタリングする機能を有する。その他の機能は実施形態１と概ね同様であるため、具体的な機能については下記図７において説明する。
【００５２】
図７は、本実施形態２に係る画像検索装置１００の動作を説明するフローチャートである。以下、図７の各ステップについて説明する。
【００５３】
（図７：ステップＳ７０１〜Ｓ７０３）
これらのステップは、実施形態１の図５で説明したステップＳ５０１〜Ｓ５０３と同様である。
【００５４】
（図７：ステップＳ７０４）
画像検索部１１７は、画像特徴量を用いて、ステップＳ７０３で得られた画像をＮ個のグループに分類する。Ｎは、分類対象となる画像数にしたがって定めることができる。例えば、Ｎ＝画像数／２０とすると、画像数が２０００の場合はＮ＝１００となる。クラスタリングの手法としては、Ｋ−ｍｅａｎｓクラスタリング法、ＩＳＯＤＡＴＡクラスタリング法など、どのような方式を用いても構わない。
【００５５】
（図７：ステップＳ７０５）
画像推定部１１５は、ステップＳ７０４でクラスタリングした画像のうち、ステップＳ７０６以降の処理対象とするものを定める。例えば以下のような基準によって処理対象を定めることが考えられる。
【００５６】
（図７：ステップＳ７０５：処理対象を定める基準例その１）
実施形態１では、ステップＳ５０３で得られた画像全てについて、ステップＳ５０４で類似検索を実施しているので、その結果得られる類似画像の件数は多くなりがちである。そこで本実施形態２では、ステップＳ７０４で得られた各クラスタの代表値について、ステップＳ７０６で類似検索を実施する。クラスタの代表値は、例えば同じクラスタに属する画像の特徴量の平均などとすればよい。これにより、クラスタに属する個々の画像について類似検索を実施する必要がなくなるので、処理負荷を軽減することができる。
【００５７】
（図７：ステップＳ７０５：処理対象を定める基準例その２）
ユーザが頻繁に利用したくなる価値の高い画像は、サイズ違いや微修正が加えられた類似画像が多く存在すると考えられる。そこで画像推定部１１５は、類似画像が多く集まり、かつクラスタ内の特徴量の分散が小さいクラスタに含まれる画像を対象として、ステップＳ７０６で類似検索を実施する。具体的には、事前に定めた個数以上の画像が含まれるクラスタであり、かつクラスタ内の特徴量の分散値が所定閾値以下のクラスタを検索し、該当するクラスタの代表値について、ステップＳ７０６で類似検索を実施する。これにより上記例その２よりもさらに処理負荷を軽減することができる。
【００５８】
（図７：ステップＳ７０６〜Ｓ７１１）
画像検索部１１７は、ステップＳ７０５で決定された検索対象について、類似検索を実施する（Ｓ７０６）。以後のステップは実施形態１の図５で説明したステップＳ５０５〜Ｓ５０９と同様であるが、ステップＳ５０６では画像が検索文字列の内容を表すか否かを判定しているのに対し、ステップＳ７０８ではクラスタの代表値が検索文字列の内容を表すか否かを判定する点が異なる。ステップＳ７１１では、そのクラスタに含まれる画像を検索結果として出力する。
【００５９】
＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る画像検索装置１００は、文書検索部１１６が検索した文書内に含まれる画像をクラスタリングし、各クラスタの代表値について類似検索を実施する。これにより、画像が検索文字列の内容を表しているか否かを判定する対象数を削減して負荷を軽減し、処理を高速化することができる。
【００６０】
また、本実施形態２に係る画像検索装置１００によれば、クラスタ内の特徴量の分散が大きいクラスタを類似検索の対象から除外することにより、さらに処理を高速化することができる。また、特徴量の分散が大きいクラスタは検索文字列の内容とはかけ離れた画像を多く含むと考えられるので、検索処理におけるノイズとなる可能性が高い。かかるクラスタを検索対象から除外することにより、検索精度を高める効果も期待できる。
【００６１】
＜実施の形態３＞
実施形態１〜２において、検索結果として得られる画像は、検索文字列の内容を表していると考えられる。この点を別の側面から見ると、検索文字列と画像の対応関係を特定することができたと考えることができる。すなわちその検索文字列は、検索結果として得られた画像のメタデータとして様々な形態で利用することができるのではないかと本発明者は考えた。そこで本発明の実施形態３では、指定した検索文字列に対応する画像が検索結果として得られたとき、その検索文字列を当該画像のメタデータとして保存する構成例を説明する。
【００６２】
図８は、本実施形態３に係る画像検索装置１００の構成図である。本実施形態３において、記憶部１１０は、実施形態１〜２で説明した構成に加えて、新たに画像メタデータＤＢ８２０とメタデータ管理部８２１を格納する。その他の構成は実施形態１〜２と同様である。
【００６３】
画像メタデータＤＢ８２０は、キーワードと画像の対応関係を保持するデータベースである。キーワードは、検索文字列に含まれる１以上の単語であり、これに対応付けられた画像のメタデータとして利用することができる。画像メタデータＤＢ８２０の詳細は後述の図９で説明する。メタデータ管理部８２１は、画像メタデータＤＢ８２０が保持するレコードを管理する。
【００６４】
メタデータ管理部８２１は、その機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、その機能を実装したプログラムをＣＰＵ１０１が実行することによって構成することもできる。以下では後者によって実装したものと仮定する。
【００６５】
画像メタデータＤＢ８２０は、同ＤＢが格納するレコードを記録するデータファイルと記憶部１１０上の記憶領域によって構成することができる。データベースに対するデータ読み書きを制御する機能部と併せて同ＤＢを構成してもよい。
【００６６】
図９は、画像メタデータＤＢ８２０の構成とデータ例を示す図である。画像メタデータＤＢ８２０は、キーワードフィールド８２０１と画像ＩＤフィールド８２０２を有する。キーワードフィールド８２０１は、検索文字列に含まれる１以上の単語を保持する。画像ＩＤフィールド８２０２は、各キーワードの検索結果として得られた画像のＩＤと検索結果として得られた回数を保持する。
【００６７】
検索文字列に複数の単語が含まれる場合、キーワードフィールド８２０１は、検索文字列を個々の単語に分解したキーワードを保持するようにしてもよいし、複数の単語の組み合わせを１つのキーワードとして保持するようにしてもよい。頻度の値についても同様である。一般的には、複数の単語の組み合わせはその組み合わせに格別の意義があると考えられるので、単語の組み合わせをそのままキーワードフィールド８２０１に格納することが望ましいと考えられる。
【００６８】
図９に示すデータ例において、「画像検索  風景」というキーワードが、画像０００００００２については２０３回、画像０００００００３については１９８回、検索結果として対応付けられたことが分かる。同じキーワードであっても対応付けられた頻度が画像毎に異なる場合があるのは、いずれかの画像が後から登録された場合や、類似画像として得られた検索結果にキーワードが対応付けられことにより間接的にキーワードが付与される場合があるからである。
【００６９】
図１０は、本実施形態３において画像検索装置１００が画像メタデータＤＢ８２０にキーワードを登録する処理を説明するフローチャートである。以下、図１０の各ステップについて説明する。
【００７０】
（図１０：ステップＳ１００１〜Ｓ１００７、Ｓ１００９）
これらのステップは、実施形態１の図５で説明したステップＳ５０１〜Ｓ５０７、Ｓ５０９と同様である。
【００７１】
（図１０：ステップＳ１００８）
メタデータ管理部８２１は、画像メタデータＤＢ８２０に、ステップＳ１００１〜Ｓ１００７の処理によって決定した、画像と検索文字列の対応関係を格納する。本ステップにおいてステップＳ５０８を併せて実施してもよいし、本フローチャートを画像検索とは別に実施する場合は本ステップのみを実施してもよい。
【００７２】
＜実施の形態３：まとめ＞
以上のように、本実施形態３に係る画像検索装置１００は、画像検索の結果得られた検索文字列と画像の対応関係を、画像メタデータＤＢ８２０に格納する。これにより、単に検索文字列の内容を表す画像を検索するのみならず、検索文字列を用いて画像に意味付けをしてメタデータとして蓄積することができる。このメタデータは以後の検索において用いることもできるし、その他の様々な用途に転用することもできる。
【００７３】
また、本実施形態３に係る画像検索装置１００は、検索文字列を用いて画像を検索する毎に、利用価値の高い画像メタデータが自動的に生成し、これを蓄積することができる。また、検索文字列と画像が対応付けられた頻度を蓄積することにより、各々の画像を最も特徴づける検索文字列が何であるかを容易に把握できる。
【００７４】
＜実施の形態４＞
本発明の実施形態４では、実施形態１〜３で説明した動作例よりも多くの検索結果を得る動作例を説明する。検索結果として得られた画像群に類似する画像をさらに検索して検索結果を拡張することにより、これを実現できると考えられる。画像検索装置１００の構成は実施形態１〜３と同様であるため、以下では検索結果を拡張するための動作を中心に説明する。
【００７５】
図１１は、本実施形態４に係る画像検索装置１００の動作を説明するフローチャートである。以下、図１１の各ステップについて説明する。
【００７６】
（図１１：ステップＳ１１０１〜Ｓ１１０７、Ｓ１１１０）
これらのステップは、実施形態１の図５で説明したステップＳ５０１〜Ｓ５０７、Ｓ５０９と同様である。
【００７７】
（図１１：ステップＳ１１０８）
画像検索部１１７は、ステップＳ１１０７で検索結果として決定された各画像に類似する画像をさらに検索する。ただし検索対象は、ステップＳ１１０４において検索対象としていない画像に限定する。既に検索した画像を再検索するのは重複処理だからである。
【００７８】
（図１１：ステップＳ１１０９）
画像表示部１１９は、ステップＳ１１０７およびＳ１１０８の結果得られた画像を、検索文字列の内容を示す画像として、記憶部１１０や表示部１０４に出力する。
【００７９】
（図１１：ステップＳ１１０２の変形例）
検索結果を拡張するその他の手法としては、検索対象とする画像を初めから多目に確保しておくことも有効であると考えられる。例えばステップＳ１１０１において複数の単語が検索文字列として入力された場合、ステップＳ１１０２においてこれらの単語のうち少なくともいずれかを含む文書を検索する（ｏｒ検索）ことにより、これらの単語を全て含む文書を検索する（ａｎｄ検索）よりも多くの文書および画像を取得することができる。これにより検索対象を拡張してより多くの検索結果を得ることができると考えられる。ただしステップＳ１１０５では、検索文字列の内容を表す画像であるか否かを正確に判定するため、検索文字列内の各単語を全て含む文書を対象とすることが望ましい。
【００８０】
＜実施の形態４：まとめ＞
以上のように、本実施形態４に係る画像検索装置１００は、検索文字列の内容を示す画像に類似した画像を検索結果として提示する。これにより、文書内のテキスト上では検索文字列に対応する単語が含まれていない場合でも、検索文字列の内容を表す画像を検索することができる可能性が高まる。検索対象とする画像を拡張する場合も、これと同様の効果を得ることができる。
【００８１】
また、本実施形態４のステップＳ１１０８は、検索文字列を用いず画像の類似検索のみによって検索結果を得るので、画像を検索したい用途においては、より検索トピックに適合した検索結果を得ることができると考えられる。
【００８２】
＜実施の形態５＞
本発明の実施形態５では、実施形態２で説明したクラスタリングに係る動作と実施形態３で説明した画像メタデータＤＢ８２０にメタデータを登録する動作を組み合わせた構成例を説明する。画像検索装置１００の構成は実施形態３と同様であるので、以下では組み合わせに係る動作を中心に説明する。
【００８３】
図１２は、本実施形態５に係る画像検索装置１００の動作を説明するフローチャートである。以下、図１２の各ステップについて説明する。
【００８４】
（図１２：ステップＳ１２０１〜Ｓ１２０９、Ｓ１２１１）
これらのステップは、図７のステップＳ７０１〜Ｓ７０９、Ｓ７１１と同様である。
【００８５】
（図１２：ステップＳ１２１０）
メタデータ管理部８２１は、ステップＳ１２０８〜Ｓ１２０９において、検索文字列の内容を表していると判定されたクラスタに属する画像およびこれに対応する検索文字列を、画像メタデータＤＢ８２０に登録する。
【００８６】
＜実施の形態５：まとめ＞
以上のように、本実施形態５に係る画像検索装置１００は、文書検索部１１６が検索した文書内に含まれる画像をクラスタリングし、検索文字列の内容を表しているクラスタに属する画像および対応する検索文字列を画像メタデータＤＢ８２０に蓄積する。これにより、頻繁に利用されている画像とそのメタデータのみを高速に蓄積することができる。
【００８７】
＜実施の形態６＞
本発明の実施形態６では、実施形態２で説明したクラスタリングに係る動作と実施形態４で説明した検索結果（または検索対象）を拡張する動作を組み合わせた構成例を説明する。画像検索装置１００の構成は実施形態３と同様であるので、以下では組み合わせに係る動作を中心に説明する。
【００８８】
図１３は、本実施形態６に係る画像検索装置１００の動作を説明するフローチャートである。以下、図１３の各ステップについて説明する。
【００８９】
（図１３：ステップＳ１３０１〜Ｓ１３０８、Ｓ１３１１）
これらのステップは、図７のステップＳ７０１〜Ｓ７０８、Ｓ７１１と同様である。ステップＳ１３０２において、実施形態４で説明したステップＳ１１０２の変形例と同様の処理を実施してもよい。
【００９０】
（図１３：ステップＳ１３０９〜Ｓ１３１０）
画像検索部１１７は、ステップＳ１３０７で検索結果として決定されたクラスタに属する各画像に類似する画像をさらに検索する（Ｓ１３０９）。画像表示部１１９は、ステップＳ１３０８およびＳ１３０９の結果得られた画像を、検索文字列の内容を示す画像として、記憶部１１０や表示部１０４に出力する。
【００９１】
＜実施の形態６：まとめ＞
以上のように、本実施形態６に係る画像検索装置１００は、書検索部１１６が検索した文書内に含まれる画像をクラスタリングし、検索文字列の内容を表しているクラスタに類似する画像をさらに検索して検索結果として提示する。これにより、頻繁に利用されている画像のみを使って高速に検索結果を得ることができる。また、実施形態４と同様に検索トピックを代表するような画像を検索することができる。
【００９２】
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
【００９３】
上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
【符号の説明】
【００９４】
１００：画像検索装置、１０１：ＣＰＵ、１０２：主メモリ、１０３：入力部、１０４：表示部、１０５：通信部、１１０：記憶部、１１１：ＯＳ、１１２：文書ＤＢ、１１３：画像ＤＢ、１１４：文書解析部、１１５：画像推定部、１１６：文書検索部、１１８：形態素解析部、１１９：画面表示部、８２０：画像メタデータＤＢ、８２１：メタデータ管理部。
【図１】
0005868262.tif 000002
【図２】
0005868262.tif 000003
【図３】
0005868262.tif 000004
【図４】
0005868262.tif 000005
【図５】
0005868262.tif 000006
【図６】
0005868262.tif 000007
【図７】
0005868262.tif 000008
【図８】
0005868262.tif 000009
【図９】
0005868262.tif 000010
【図１０】
0005868262.tif 000011
【図１１】
0005868262.tif 000012
【図１２】
0005868262.tif 000013
【図１３】
0005868262.tif 000014