(57)【要約】【課題】画像を含む文書群から、各画像の目的・内容に沿った類似画像を効率的に検索する。【解決手段】画像検索システムに、(1) 文書に含まれる各画像から特徴量を検出して量子化し、擬似単語とする機能、(2) 文書中の画像の説明文から用語を抽出する機能、(3) 各画像及びその説明文の両方が類似する文書群から画像及びその説明文を取り出し、取り出された画像の群に共通する特徴量について他の特徴量よりも大きな重みを付ける、又は取り出された画像の群内での相対的な重みを付けた特徴量ベクトルの総和を各画像のプロファイルとする機能、(4) 各画像を、前記擬似単語と前記用語から構成される文書とみなし、画像及び又はテキストで与えられるクエリーと、前記重み又は前記プロファイルを用いて、クエリーに類似する画像を検索する機能を設ける。【選択図】図１
2013020480.tif 000002
【特許請求の範囲】
【請求項１】
画像を含む文書について、画像の特徴量を量子化し、量子化した特徴量を擬似単語とする第１の処理部と、
文書中の画像の説明文から用語を抽出する第２の処理部と、
各画像及びその説明文の両方が類似する文書群から画像及びその説明文を取り出し、取り出された画像の群に共通する特徴量について他の特徴量よりも大きな重みを付ける、又は取り出された画像の群内での相対的な重みを付けた特徴量ベクトルの総和を各画像のプロファイルとする第３の処理部と、
各画像を、前記擬似単語と前記用語から構成される文書とみなし、画像及び又はテキストで与えられるクエリーと、前記重み又は前記プロファイルを用いて、クエリーに類似する画像を検索する第４の処理部と、
を有することを特徴とする画像検索システム。
【請求項２】
請求項１に記載の画像検索システムにおいて、
前記第３の処理部は、画像の特徴量を量子化する際、複数の観点から特徴量を個別に量子化しておき、いずれの観点又は特徴量に重きをおいて検索すべきかを各画像に付与する
ことを特徴とする画像検索システム。
【請求項３】
請求項２に記載の画像検索システムにおいて、
前記第３の処理部は、いずれの観点又は特徴量に重きをおいて検索すべきかを、類似する画像の群内における各観点又は各特徴量の分散に基づいて決定する
ことを特徴とする画像検索システム。
【請求項４】
請求項１に記載の画像検索システムにおいて、
前記第１の処理部は、予め画像の特徴量を量子化する際、前記文書中に含まれる画像の全体を使って特徴量を計算して量子化するものと、類似する画像のみを使って量子化したものを画像の特徴量として保持する
ことを特徴とする画像検索システム。
【請求項５】
請求項１に記載の画像検索システムにおいて、
前記第１の処理部は、予め画像の特徴量を量子化する際、説明文の用語を同時にクラスタリングして量子化する
ことを特徴とする画像検索システム。
【請求項６】
請求項１に記載の画像検索システムにおいて、
前記第３の処理部は、予め概念間の関係、及び、下位概念と上位概念を関連付けておくと共に、上位概念で特徴的な画像特徴量を計算し、
第４の処理部は、テキストクエリーが与えられたとき、クエリーが属する概念から予め関連付けられた上位概念を関連づけ、クエリーが検索すべき画像の特徴量を該上位概念に対応する第３の処理部の処理結果から抽出し、その特徴量からの距離が閾値より大きい特徴量をもつ画像についてはテキストクエリーにより検索された画像群から除去する
ことを特徴とする画像検索システム。
【請求項７】
請求項１に記載の画像検索システムにおいて、
前記第３の処理部は、予め概念間の関係、及び、下位概念と上位概念を関連付けておくと共に、上位概念で特徴的な画像特徴量を計算し、
第４の処理部は、テキストクエリーが与えられたとき、クエリーが属する概念から予め関連付けられた上位概念を関連づけ、クエリーが検索すべき画像の特徴量を該上位概念に対応する第３の処理部の処理結果から抽出し、テキストクエリーと共に画像に付された重みを用いて検索する
ことを特徴とする画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像（図、テーブル等）を含む文書中から、目的とする画像を検索するシステムに関する。
【背景技術】
【０００２】
各種情報公開の流れとともに、科学技術論文においても一定期間を経てオープン化する動きが広がりつつある。また、科学論文誌への投稿論文においても、別途、リポジトリーサイトへ論文原稿を提出して、情報の共有を図る動きが広がりつつある。
【０００３】
多くの文書では、文書中の図に重要な情報が集約されている。このため、文書中のコンテクストを考慮した文書・画像検索技術が必要となりつつある。
【０００４】
しかし、従来の文献検索システムは、通常、テキストのみしか考慮していない。また、図を検索する場合でも、従来の文献検索システムは、図の説明文（figure legend）を対象とした検索が主流である。
【０００５】
世の中に多数存在する図の類似検索システムにおいては、図の説明文を対象として検索を行うか、図を画像処理して生成した特徴量を対象として検索を行う方法が主流である。画像とテキストを結びつける方法には、(1) 人が感じる上位の概念と、画像の色、テクスチャ、領域等の低レベル（low-level）特徴量と、セマンティックを対応づけて検索する方法（例えば非特許文献１及び２を参照。）、(2) イメージによる検索後、テキストによる検索を実行する方法等がある（非特許文献３）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ying Liua, Dengsheng Zhanga, Guojun Lua, and Wei-Ying Mab, A survey of content-based image retrieval with high-level semantics,  Pattern Recognition, Vol. 40, 262-282 (2007).
【非特許文献２】Ricardo da S. Torresa,  Alexandre X. Falcaoa, Marcos A. Goncalvesb, Joao P. Papaa, Baoping Zhangc, Weiguo Fanc, Edward A. Foxc, A genetic programming framework for content-based image retrieval, Pattern Recognition, Vol 42, 283-292 (2009).
【非特許文献３】Charles Frankel, Michael J. Swain, and Vassilis Athitsos. Webseer: An image search engine for the world wide web, Univ.of Chicago, Technical Report, 96-14 (1996).
【非特許文献４】Douglas R. Heisterkamp, Building a latent semantic index of an image database from patterns of relevance feedback, 16th International Conference on Pattern Recognition (ICPR'02) - Volume 4, 40134 (2002).
【非特許文献５】Amin Shah-hosseini,  Gerald M. Knapp, Semantic image retrieval based on probabilistic latent semantic analysis, MULTIMEDIA '06 Proceedings of the 14th annual ACM international conference on Multimedia (2006).
【非特許文献６】C. Harris and M. Stephens, “A combined corner and edge detector,” in Alvey Vision Conference, pp. 147-151, 1988.
【非特許文献７】S. M. Smith and J. M. Brady, “SUSAN - A new approach to low level image processing,” International Journal of Computer Vision, vol. 23, no. 34, pp. 45-78, 1997.
【非特許文献８】T. Lindeberg, “Detecting salient blob-like image structures and their scales with a scale-space primal sketch - a method for focus-of-attention,” International Journal of Computer Vision, vol. 11, no. 3, pp. 283-318, 1993.
【非特許文献９】T. Lindeberg and J. Garding, “Shape-adapted smoothing in estimation of 3-Dshape cues from affine deformations of local 2-D brightness structure,” Image and Vision Computing, vol. 15, no. 6, pp. 415-434, 1997.
【非特許文献１０】K. Mikolajczyk and C. Schmid, “Scale and affine invariant interest point detectors,” International Journal of Computer Vision, vol. 1, no. 60, pp. 63-86, 2004.
【非特許文献１１】T. Kadir and M. Brady, “Scale, saliency and image description,” International Journal of Computer Vision, vol. 45, no. 2, pp. 83-105, 2001.
【非特許文献１２】T. Tuytelaars and L. Van Gool, “Wide baseline stereo matching based on local, affinely invariant regions,” in Proceedings of the British Machine Vision Conference, pp. 412-425, 2000.
【非特許文献１３】J. Matas, O. Chum, M. Urban, and T. Pajdla, “Robust wide-baseline stereo from maximally stable extremal regions,” in Proceedings of the British Machine Vision Conference, pp. 384-393, 2002.
【非特許文献１４】G. Mori, X. Ren, A. Efros, and J. Malik, “Recovering human body configurations: Combining segmentation and recognition,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 326-333, 2004.
【非特許文献１５】S. Belongie, J. Malik, and J. Puzicha, “Shape Matching and Object Recognition Using Shape Contexts,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 2, no. 4, pp. 509-522, Apr. 2002.
【非特許文献１６】W. Freeman and E. Adelson, “The Design and Use of Steerable Filters,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 13, no. 9, pp. 891-906, 1991.
【非特許文献１７】Y. Ke and R. Sukthankar, “PCA-SIFT: A More Distinctive Representation for Local Image Descriptors,” Proc. Conf. Computer Vision and Pattern Recognition, pp. 511-517, 2004.
【非特許文献１８】Y. Ke and R. Sukthankar, “PCA-SIFT: A More Distinctive Representation for Local Image Descriptors,” Proc. Conf. Computer Vision and Pattern Recognition, pp. 511-517, 2004.
【非特許文献１９】J. Koenderink and A. van Doorn, “Representation of Local Geometry in the Visual System,” Biological Cybernetics, vol. 55, pp. 367-375, 1987.
【非特許文献２０】S. Lazebnik, C. Schmid, and J. Ponce, “Sparse Texture Representation Using Affine-Invariant Neighborhoods,” Proc. Conf. Computer Vision and Pattern Recognition, pp. 319-324, 2003.
【非特許文献２１】F. Schaffalitzky and A. Zisserman, “Multi-View Matching for Unordered Image Sets,” Proc. Seventh European Conf. Computer Vision, pp. 414-431, 2002.
【非特許文献２２】L. Van Gool, T. Moons, and D. Ungureanu, “Affine/Photometric  Invariants for Planar Intensity Patterns,” Proc. Fourth European  Conf. Computer Vision, pp. 642-651, 1996.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
通常、画像間には、色、輪郭、テクスチャなどの様々な観点での類似性が存在する。従って、文書中から目的とする画像を検索する際に様々な観点の存在を考慮しない場合、色、輪郭、又はテクスチャは似ていても、目的の画像ではない画像が検索結果に含まれてしまう。例えばプラークのある脳組織を検索する場合において、色を画像の特徴量の一つとして用いると、目的の画像とは色が異なる画像は、類似画像として認識されることは少ない。また、脳組織内に大きなプラークが形成されている場合、その画像内に現われる輪郭が大きく異なるため、大きなプラークが形成された脳組織の画像は、目的とする画像に類似する画像として検索されにくい。
【０００８】
一方、テキスト情報のみを用いる方法は、プラークという言葉が画像の説明文に入っていない画像は類似画像として検索することができない。また、疾患によっては、類似の形状変化を同じ名前で呼ぶとは限らない。このため、目的とする画像に類似する画像であったとしても、テキスト情報だけでは必要な検索を実現できない。
【０００９】
また、画像による検索後に、画像に付随するテキスト情報を用いて検索する方法もあるが、色を画像の特徴量の一つとして検索を行う場合と同様の問題を有している。
【００１０】
これらの例の場合には、検索時の色への重み付けを軽くすべきということになる。PET（positron emission tomography）のがん腫瘍データは、色を使うと簡単にその他のモダリティのデータと識別することができる。一般には、画像群での出現頻度に応じ、画像の特徴量に対する重み付けを行っているが、本来は、画像毎にどの特徴量に重きをおいて計算するかを変えるべきである。
【００１１】
また、コンテンツベースの画像検索（Content-based image retrieval）においては、画像の特徴量と印象語などを含む概念の関係性を、人手若しくは少しの学習データによる機械学習を用い、又は教師なし学習を用いて対応付けている。この手法は、フラグメンタルな特徴量と概念とを対応付けることができる。しかし、この手法は、画像群全体に対して一様な対応付けとなる。このため、個々の画像に対する対応関係が必要とされる上記のような問題の解決には用いることができない。
【００１２】
これに対し、非特許文献４のＬＳＩ（Latent Semantic Indexing）法や非特許文献５のｐＬＳＩ法（probabilistic LSI）法を用いれば、(1) 画像の特徴量間の関係性、(2) 用語と画像の特徴量間の関係性、(3) 用語間の関係性を潜在的に利用した検索が可能である。
【００１３】
しかし、これらの方法は、文書群全体又は画像全体に同様な処理を行うものであり、様々な観点を考慮した対応関係を画像毎に検索するものではない。従って、これらの方法によっても、上記課題を解決することはできない。
【００１４】
この他、画像検索の場合にも、文書検索の場合と同様に、画像の特徴量にインデックスを張り、当該インデックスを用いた検索結果の中からユーザが適当な画像を選択することにより関連フィードバック（relevance feedback）を行う方法、又は、上位から一定の検索結果に基づいて自動的に関連フィードバック（relevance feedback）を行う方法がある。しかし、ユーザが適切な画像を選択しないと、検索精度は向上しない上、手間がかかる問題がある。
【００１５】
また、テキスト情報から画像を検索する際には、クエリー次第で、無関係な画像が検索されることが多々ある。例えば「アポトーシス」AND「細胞」をクエリーとして検索を行ったとしても、アポトーシスのイメージ図だけでなく、アポトーシスに関するシグナル伝達系の図、グラフ、全く関係のない電気泳動の図が検索されてしまうことがある。
【００１６】
この検索結果は、テキストから画像を検索する際には、一般に、画像周りのテキスト情報が使用されるものの、画像周りには必ずしも画像に直接関係する用語が含まれていない場合も多々あるからである。
【００１７】
この場合も、検索された画像の中から目標に近い画像をユーザに選択してもらう、又は、自動的に上位の数件を次のクエリーとする関連フィードバック（relevance feedback）を行うことができる。しかし、上記の場合と同様に、適切な画像を選択しないと、検索精度は向上しない上、手間がかかるという問題がある。
【課題を解決するための手段】
【００１８】
上記の問題は、本来は、画像及び画像に付随するテキスト毎に、関係する画像及びそれに付随するテキスト情報を考慮して、画像の特徴量に対する重み付けを調整する必要があるにもかかわらず、それが行われていないことに起因すると考えられる。具体的には、従来の方法は、画像群全体における特徴量の出現頻度や画像中での出現頻度により、その重要度を測り、重み付けを行っている。このため、従来の方法は、本来行うべき画像の重み付けになっていない。また、前述した従来の方法は、一様な重み付け検索の実行により、大まかな類似検索を行うことはできても（画像上は差異が小さい画像の検索はできても）、コンテクスト上の差異が大きい画像の違いを検出することができない。
【００１９】
そこで、本発明者は、以下の処理機能を有する検索システムを提案する。
(1) 文書に含まれる各画像から特徴量を検出して量子化し、擬似単語とする機能
(2) 文書中の画像の説明文から用語を抽出する機能
(3) 各画像及びその説明文の両方が類似する文書群から画像及びその説明文を取り出し、取り出された画像の群に共通する特徴量について他の特徴量よりも大きな重みを付ける、又は取り出された画像の群内での相対的な重みを付けた特徴量ベクトルの総和を各画像のプロファイルとする機能
(4) 各画像を、前記擬似単語と前記用語から構成される文書とみなし、画像及び又はテキストで与えられるクエリーと、前記重み又は前記プロファイルを用いて、クエリーに類似する画像を検索する機能
【発明の効果】
【００２０】
本発明によれば、クエリーに類似性の高い画像を精度良く検索することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００２１】
【図１】実施形態に係る画像検索システムの概略構成を示す図。
【図２Ａ】画像から特徴量を抽出して特徴点の特徴量を計算し、画像に付随する用語情報を用いて特徴量を量子化する図。
【図２Ｂ】画像を領域に分割して領域毎に特徴量を抽出し、画像に付随する用語情報を用いて特徴量を量子化する図。
【図３Ａ】１つの画像から抽出した特徴点における特徴量を示す図。
【図３Ｂ】画像から抽出した領域毎の特徴量を示す図。
【図３Ｃ】各特徴点における量子化特徴量（擬似単語）を示す図。
【図３Ｄ】領域毎の量子化特徴量（擬似単語）を示す図。
【図３Ｅ】各特徴点について２つの観点から特徴量を示す図。
【図３Ｆ】同一画像に対して特徴点の検出を２つの観点（手法）で行い、それら特徴点の特徴量を示す図。
【図３Ｇ】各特徴点を複数の観点から量子化した擬似単語を示す図。
【図３Ｈ】各領域を複数の観点から量子化した擬似単語を示す図。
【図３Ｉ】同一画像に対して特徴点を２つの観点（手法）から検出し、それら特徴点の特徴量をそれぞれ量子化した擬似単語を示す図。
【図４】画像から特徴量を抽出して量子化する際に、全体画像（文書）を利用した量子化と、類似画像（文書）のみを利用した量子化を順に行う例を示す図。
【図５Ａ】１つの画像の特徴量を量子化して得られる特徴量ベクトルを示す図。
【図５Ｂ】１つの画像の各領域の特徴量を量子化して得られる特徴量ベクトルを示す図。
【図６Ａ】画像を特徴量の値のみでクラスタリングした例を示す図。
【図６Ｂ】画像を特徴量と画像に付随するテキスト中の用語の出現頻度を用いてクラスタリングした例を示す図。
【図７】特徴量に基づく画像のクラスタリングと付随するテキスト中の用語に基づく画像のクラスタリングとの対応関係（左図）と、付随するテキスト中の用語のクラスタリングを反映して画像の特徴量をクラスタリングの例（右図）との関係を示す図。
【図８Ａ】クエリーとなる画像ｉとその付随テキストで構成されるクエリーと、クエリーに類似する画像とその付随テキストで構成される文書群を説明する図。
【図８Ｂ】クエリーに類似する画像群について量子化された特徴量の頻度と付随テキスト中の用語の頻度の例を示す図。
【図８Ｃ】図８Ｂに基づいて計算された画像ｉについて量子化された特徴量の数値（プロファイル）と付随テキスト中の用語の数値（プロファイル）の例を示す図。
【図９Ａ】各画像の特徴量、その重み、付随するテキスト中の用語で構成されるインデックスの例を示す図。
【図９Ｂ】各文書に含まれる画像の特徴量、その重み、テキスト中の用語で構成されるインデックスの例を示す図。
【図１０Ａ】同義語のデータベースの例を示す図。
【図１０Ｂ】上位（下位）概念のデータベースの例を示す図。
【図１０Ｃ】概念、その概念が生じる対象、その対象を測定する測定手法、対象となる図番号で構成されるデータベースの例を示す図。
【図１１Ａ】検索システムの画面例を示す図。
【図１１Ｂ】検索結果の画面例を示す図。
【発明を実施するための形態】
【００２２】
以下、図面に基づいて、本発明の実施の形態を説明する。なお、本発明の実施態様は、後述する形態例に限定されるものではなく、その技術思想の範囲において、種々の変形が可能である。
【００２３】
［画像検索システムの全体構成］
図１に、文書内に含まれる画像を検索する画像検索システムの概念構成例を示す。画像検索システムは、画像入り文書前処理部１００、クエリー入力部１０９、クエリー前処理部１１０、クエリー対応付け部１１１、検索部１１２、解提示部１１３より構成される。
【００２４】
［画像入り文書前処理部］
画像入り文書前処理部１００は、検索対象である画像入り文書に対する前処理を実行する処理部であり、以下に示す各部（処理）を実行する。画像入り文書は、画像入り文書データベース１０１に格納されている。
【００２５】
画像入り文書前処理部１００には、テキスト解析処理部１０２、画像解析処理部１０３が設けられている。テキスト解析処理部１０２は、文書中の図に付随するテキスト部分から用語を抽出する処理と、抽出された用語の出現頻度等を解析する処理を実行する。なお、テキスト解析処理部１０２は、データベース１１４を通じ、用語間の関係、用語（下位概念）と上位概念の関係等を認識する。画像解析処理部１０３は、文書中の画像から特徴量を抽出する処理と、抽出された特徴量を量子化する処理とを実行する処理部である。本明細書では、画像から抽出された特徴量を量子化したものを「画像量子化特徴量」又は「擬似単語」という。擬似単語は、類似テキスト検索の場合と同様に扱うことができる。
【００２６】
計算部１０４は、文中から抽出された用語を利用して、画像量子化特徴量を量子化する処理部である。インデックス作成部１０５は、画像又は文書毎に量子化した量子化特徴量と、図を説明する用語のインデックスを作成する処理部である。重み付け・プロファイル解析処理部１０６は、作成されたインデックスを利用し、画像量子化特徴量も付随テキスト量子化特徴量も類似する画像群を検索し、各画像群に共通する特徴量に重み付け又はプロファイルを付与する。ここでの「重み」は、画像入り文書全体に対する画像の相対位置を与え、「プロファイル」は、類似する画像で構成される画像群内における画像間の相対位置を与える。
【００２７】
インデックス再作成部１０７は、画像毎に、画像量子化特徴量と用語の出現頻度と、重み又はプロファイルを対応付けたインデックスを付与して擬似文書を作成する処理部である。なお、画像入り文書前処理部１００には、画像と概念との関係性を保存するデータベース１１５も設けられる。本実施例の場合、画像入り文書前処理部１００内には様々なデータベースが内蔵されているが、これらの一部又は全部は、画像入り文書前処理部１００の外部に配置されていても良い。また、前述した各処理機能の一部は、１つ又は複数の外部装置に配置されていても良い。
【００２８】
クエリー入力部１０９には、検索対象とする画像（図）、用語、文書等が入力される。検索対象が図の場合、クエリー対応付け部１１１は、クエリーとして指定された図を、インデックス付きの図に対応付ける処理を実行する。
【００２９】
検索部１１２は、クエリーに対応付けられたインデックスを用いて画像の検索処理を実行する。検索部１１２は、インデックス再作成部１０７で作成された擬似文書を検索対象とし、クエリーに近い画像を検索結果として読み出す。検索部１１２は、検索結果のうち特徴が大きく外れる画像を除去する。検索結果は、解提示部１１３を通じ、ＧＵＩ画面上に提示される。除外方法の詳細については後述する。
【００３０】
クエリーが用語のみの場合（「テキストクエリー」の場合）には、クエリー前処理部１１０による処理が、検索部１１２による検索処理の前に実行される。クエリー前処理部１１０にも、テキスト解析処理部１０２が設けられており、画像入り文書中の画像に付属する説明文から用語を認識して抽出する。テキスト解析処理部１０２は、用語間及び用語と上位概念との関係をデータベース１１４から読み出して検索部１１２に与える。また、テキスト解析処理部１０２は、画像と概念との関係をデータベース１１５から読み出して検索部１１２に与える。
【００３１】
検索部１１２は、データベース１１４及び１１５から読み出された関係を用い、テキストクエリーに合致する画像を検索する。この際、検索部１１２は、検索結果のうち特徴が大きく外れる画像を除去する。検索結果は、解提示部１１３を通じ、ＧＵＩ画面上に提示される。
【００３２】
なお、新規の画像をクエリーに用いる場合も、クエリー前処理部１１０による処理が、検索部１１２による検索処理の前に実行される。この際、クエリー前処理部１１０は、重み付け・プロファイル解析処理部１０４１において、画像入り文書前処理部１００と同様の処理を実行する。具体的には、新規画像から画像量子化特徴量を抽出して量子化する処理、新規画像に類似する画像の予備検索に基づいた重み又はプロファイルの作成処理を実行する。重みやプロファルの情報は検索部１１２に与えられる。
【００３３】
ここで、量子化された重みやプロファイルの値は擬似単語として扱うことができる。擬似単語は、類似テキスト検索の場合と同様に扱うことができる。
【００３４】
［画像解析処理部］
次に、画像量子化特徴量を抽出する画像解析処理部１０３の内部構成例を示す。画像量子化特徴量を抽出する方法には、特徴点毎に抽出する方法（図２Ａ）と領域毎に抽出する方法（図２Ｂ）の２つがある。図２Ａの場合、特徴点抽出処理部１０３１において画像から特徴点が抽出され、特徴量抽出処理部１０３２において特徴点の量子化特徴量が抽出される。図２Ｂの場合、領域分割処理部１０３３における領域認識により画像が領域毎に分割され、特徴量抽出処理部１０３４において領域毎の量子化特徴量が抽出される。この他、画像をグリッド毎に分割し、各グリッドについて特徴量を抽出しても構わない。
【００３５】
特徴点の検出方法には、コーナ検出法（Corner detector）（例えば、Harris detector（非特許文献６）、SUSAN detector（非特許文献７）、Harris-Laplace detector（非特許文献８）、Harris-Affine detector（非特許文献９））、Blob detector（例えば、Hessian detector（非特許文献１０）、Salient regions（非特許文献１１））、領域検出法（Region detector）（例えば、Intensity-based regions（非特許文献１２）、Maximally stable extremal regions（非特許文献１３）、segmentation-based regions（非特許文献１４）等がある。
【００３６】
特徴点における特徴量の検出には、shape context（非特許文献１５）、steerable filters（非特許文献１６）、SIFT（非特許文献１７）、PCA-SIFT（非特許文献１８）、differential invariants（非特許文献１９）、spin images（非特許文献２０）、complex filters（非特許文献２１）、moment invariants（非特許文献２２）等がある。
【００３７】
特徴点における特徴量の例１０３５を図３Ａに示し、領域における特徴量の例１０３６を図３Ｂに示す。特徴量を量子化した後の特徴点と特徴量の例２０１、２０２を図３Ｃ及び図３Ｄに示す。
【００３８】
なお、図３Ｅに示す例１０３７のように、各特徴点について２つの観点から特徴量を計算しても良いし、図３Ｆに示す例１０３８のように、同一画像について２つの観点から特徴点を検出し、それら各特徴点について特徴量を計算しても良い。ここでの観点には、色に関する特徴量、テクスチャに関する特徴量、形に関する特徴量等がある。この場合、各特徴点の特徴点を量子化した値は、図３Ｇ、図３Ｈ、図３Ｉに示す例２０３、２０４、２０５のように複数の値をとる。
【００３９】
［計算部］
図４に、画像量子化特徴量を量子化する計算部１０４の内部構成例を示す。計算部１０４は、全文書の画像量子化特徴量を処理対象とする量子化処理部１０４２と、類似する画像群の画像量子化特徴量のみを処理対象とする量子化処理部１０４３とで構成される。なお、量子化処理部１０４３は、量子化処理部１０４２の実行後に実行される。この場合も、図３Ｇ、図３Ｈ、図３Ｉのように複数の観点から量子化された特徴量が作成される。
【００４０】
図単位での特徴量は、量子化した特徴量のベクトルとして表わすことができる。図５Ａ及び図５Ｂに、その一例を示す。なお、本手法は２次元の画像のみならず、３次元の画像においても同様に扱うことができる。
【００４１】
図６Ａ、図６Ｂを用い、類似する画像の検索（クラスタリング）を説明する。図６Ａ及び図６Ｂにおいて、黒ノード（点）３０とグレーノード（点）３０がそれぞれ特徴量を示している。黒ノード３０とグレーノード３０は、観点によっては異なるクラスターに属する特徴量を持つ特徴点であることを示している。図６Ａの場合、１つのクラスター３１の中に黒ノード３０とグレーノード３０が混在したものが含まれている。一方、図６Ｂは、観点によっては異なるクラスター３１に属する特徴点は、別のクラスター３１に属すようにクラスタリングされた場合を示している。
【００４２】
図６Ａのようなクラスター３１ではなく、図６Ｂのようなクラスター３１にクラスタリングするには、例えば図７に示すような用語間の関係性を使えば良い。図７の左図は線分により２つのクラスターに分けられている。このうち、線分から左側に位置するクラスター５３、５４は、図６Ａに示す画像のクラスター３１に対応する。一方、線分から右側に位置するクラスター５１、５２は、図に付随するテキストに出現する用語同士の関係性を示すクラスターに対応する。なお、ノード（点）５０は、用語（概念）に対応する。
【００４３】
線分に対して右側に位置するノードと、左側に位置するノードを結ぶエッジ（線）は、各特徴量（各図）に付随している用語との関係を示している。この関係を用いることにより、クラスターの分割を行う。
【００４４】
例えば線分に対して左側に位置する１つのクラスターから延びるエッジが、線分に対して右側に位置する２つのクラスターに分割して引き出される場合、その情報を反映させることにより、１つのクラスター５３を２つのクラスター５２１、５２２に分割する。同様に、１つのクラスター５４を２つのクラスター５３１、５３２に分割することができる。
【００４５】
このクラスタリング方法には、k-means clustering、階層的クラスタリング、EM (expectation maximization) algorithmベースでクラスタリングする方法等がある。例えば用語と画像の特徴量を別々にクラスタリングした後、用語のクラスターと画像のクラスターの対応関係から画像のクラスタリングを細分化する方法と、最初から画像の特徴量と用語の出現頻度を要素とするベクトルをクラスタリングする方法など複数存在する。
【００４６】
用語のクラスターと画像のクラスターの対応関係から分割する際には、用語のクラスターを固定した状態で行う。画像のあるクラスターを分割するか否かの判断には、該クラスターを複数に分割した場合の各情報量を予測計算し、分割による情報利得が大きいクラスターから分割する方法や、EMを用いて最適な分割を求めても良い。
【００４７】
例えば、情報利得を用いる場合は、
【数１】
2013020480.tif 000003
【００４８】
ただし、ｐixは、画像の特徴量クラスターｘにおいて、対応する用語クラスターｉに属するものの割合を示し、ｐix１、ｐix２は、クラスターｘを２つに分割した後、対応する用語クラスターｉに属するものの割合を示す。
【００４９】
情報量利得が特定の値（例えば 0.1）を下回る場合、クラスターをこれ以上分解しないものとする。
【００５０】
一見、図６Ａにおいて、クラスタリングする数をより大きくしておけば、検索精度が上るように見える。しかし、実際は、一定の数以上にクラスターを分割しても、検索精度は上がらない。その理由として、一つの観点における特徴間の距離でクラスターの数を増加させると、意味のあるクラスター分割よりも無意味な分割が増え、無意味なクラスター分割により精度が下がることがあるためである。すなわち、クラスター数を一定以上増やしても検索精度は向上しなくなる。
【００５１】
［クエリーの構造］
図８Ａに、クエリーの構造例と、クエリーに対して画像もテキストも比較的類似する文書の関係を示す。クエリーは、画像とその付随テキストで構成される。ここでは、Ｎ個の文書が検索されている。
【００５２】
［インデックスの例］
図８Ｂに、画像とその付随テキストを、量子化特徴量の頻度ｆi(1〜M)６０１と用語の頻度ｆi(1〜N)６０２で表すインデックス６０の構造例を示す。ここでの付随テキストの類似性は全ての用語を対象とするのでなく、イメージング手法やイメージング対象等の画像の特徴に関係し易い用語に重みをおいて計算した方が効果的である。イメージング手法やイメージング対象か否かを判別するには、文書中の位置や局所文脈で判断しても良い。
【００５３】
例えば論文ならば、手法に関する情報は、Methodのセクションに書かれている。このため、イメージング分野（Journalの種類）毎に用語頻度を計算し、分野毎に大きく異なる名詞句等を、イメージング手法の候補とする方法がある。また、ここでの局所文脈とは、Figure captionの“measured by 名詞句”、“名詞句 image”、“名詞句 scan”のような表現のことである。
【００５４】
図８Ｃに、画像及びその付随テキストを、量子化特徴量のプロファイル６０３と用語のプロファイル６０４で表すインデックス６１の構造例を示す。例えばこのプロファイル６０３は、図８Ｂの画像に基づいて、以下に示す（式２）又は（式３）により表わすことができる。もっとも、全体の画像群に比して類似の画像群の特徴が捉えられる式であれば、（式２）又は（式３）に限らない。
【００５５】
【数２】
2013020480.tif 000004
【００５６】
【数３】
2013020480.tif 000005
【００５７】
ここで、sijは、ｉ番目とｊ番目の画像の類似度である。また、（式２）及び（式３）において、fkjは、ｊ番目の画像のｋ番目の特徴量の頻度である。Ｆk は、検索対象の画像全体におけるｋ番目の特徴量の総和である。用語も同様のプロファイルとしても良い。また、画像のみをプロファイルとしても良い。また、このように特徴量毎に重みを決めても良いが、各特徴量が、色に関する特徴量、形に関する特徴量、テクスチャに関する特徴量などのいずれのグループに属すかを予め判別し、これらのグループ毎に重みを決めても良い。
【００５８】
なお、検索によっては、このような重み付けを行わずに検索したい場合もある。この場合、図８Ｃに示すインデックス構成とはせず、図９Ａ及び図９Ｂに示すように、元の特徴量の頻度と重みとに分ける方法でも構わない。例えば、図９Ａ及び図９Ｂの重みづけは、類似画像中の分散値から（式４）を用いて計算することも可能である。すなわち、特徴量の有無だけでなく、分散が大きい特徴量ほど、類似度を計算する際に重みを下げることになる。
【００５９】
【数４】
2013020480.tif 000006
【００６０】
σikは、ｉ番目の画像のｋ番目の特徴量に関する類似画像間での分散を示している。Δは定数項である。Ｎi は、画像ｉのテキスト情報も類似し、かつ、比較的画像も類似している画像の総数である。（式４）における重みづけは、各特徴量によって行っても良いが、色に関する特徴量、形に関する特徴量、テクスチャに関する特徴量を別々に扱っても良い。
【００６１】
このように、分散が大きい特徴量の重みを下げることにより、分散の大きい特徴量を有する画像も検索結果に含めることができる。例えば染色方法が複数ある脳組織におけるプラーク画像においては色に関する分散が大きい。しかし、検索時にも色に関する重みが低くなるため、異なる染色方法で染色された脳組織のプラークも検索できるようになる。
【００６２】
図９Ａは、画像毎に、画像の特徴量（量子化特徴量の頻度）７０１と、各特徴量の検索時に用いる重み７０２と、用語の出現頻度７０３をインデックス７０とした例を示している。図９Ｂは、文書毎に、文書に含まれる画像の特徴量（量子化特徴量の頻度）７１１と、各特徴量の検索時に用いる重み７１２と、用語の出現頻度７１３をインデックス７１とした例を示している。図９Ａ及び図９Ｂにおけるインデックスは、インデックス再作成部１０７で作成されたインデックスに対応する。
【００６３】
［データベース］
図１０Ａに、同義語（概念間の関係）間の関係を示し、図１０Ｂに、用語（下位概念）と上位概念又は用語（上位概念）と下位概念との関係を示す。図１０Ｃには、概念と、その概念が生じる対象、その対象を測定する測定手法と、対象となる図番号の関係を示す。図１０Ａのデータベース例８０１と、図１０Ｂのデータベース例８０２は、データベース１１４の一例である。図１０Ｃのデータベース例８０３は、データベース１１５の一例である。
【００６４】
［検索時の動作］
クエリーとして既存の画像が入力された場合、画像検索システムは、クエリー対応付け部１１１は、データベース中からクエリー画像に対応する重みやプロファイルを読み出し、作成した重みやプロファイルを用いて画像を検索する。前述したように、重みやプロファイルは、いずれの観点又は特徴量に重みを置けば良いかを示している。従って、従来手法以上に、精度の高い検索が可能となる。
【００６５】
クエリーとして新規の画像が入力された場合、画像検索システムは、クエリー前処理部１１０において、クエリー画像に対応する重みやプロファイルを作成し、作成した重みやプロファイルを用いて画像を検索する。
【００６６】
クエリーとしてテキストが入力された場合、画像検索システムは、クエリー前処理部１１０において用語（概念）を抽出し、データベース１１４及び１１５を使用して上位概念に関係付け、その後、上位概念に関係のある画像を収集し、その画像群に基づいて図８Ｃに示すプロファイルや図９Ａに示す画像の重みを作成し、用語のクエリー検索と共に、これら重み又はプロファイルを使用して画像検索を行う。または、用語のみで画像を検索した後に、検索された画像と、図８Ｃに示すプロファイル又は図９Ａに示す画像の重みとを用いてスコア（例えば特徴ベクトル間の内積）を計算し、スコアが低ければ検索結果から除外することにより、目的とする画像を検索する。
【００６７】
［インターフェース例］
図１１Ａに、検索インターフェースの例を示す。画面９０１は、テキストクエリーの入力部９０２、文書データベース中に含まれる図の番号の指定部９０３、外部からのデータのアップロード部９０４で構成される。指定部９０３とアップロード部９０４が、図のクエリー入力部を構成する。この他、画面９０１には、文書データベース中に含まれる図番号の指定部９０５と、文書のアップロード部９０６が配置される。指定部９０５とアップロード部９０６が、文書のクエリー入力部を構成する。
【００６８】
また、画面９０１には、検索結果の出力条件欄９０７が配置される。この例の場合、出力条件欄９０７では、検索結果を図のみで表示するか、図と説明文で表示するか、文書のみで表示するかを選択することができる。また、画面９０１には、送信ボタン９０８が配置される。送信ボタン９０８を画面上でクリックすると、検索条件が画像検索システムに送信される。
【００６９】
図１１Ｂに、検索結果の表示画面例を示す。図１１Ｂに示す画面９０９は、検索された図９１０と、それに付随する情報９１１が同時に表示される場合を表している。付随する情報には、例えば、figure caption、又は本文中で該図を説明する文（テキスト情報）が含まれる。
【００７０】
［まとめ］
以下に、本実施形態で説明した画像検索システムの特徴をまとめる。この画像検索システムは、各画像から特徴量を検出し、各画像の付随テキスト情報とを予め関連付けておく。そして、各画像について、画像の特徴量と付随テキスト情報の両方共が比較的類似する画像が含まれている画像入り文書を予め文書群から検索する。次に、検索された画像群に共通する特徴量を抽出し、各画像におけるそれら特徴量の重みが増すように、各画像に重み付けを行う。又は、検索結果として得られる画像群を構成する要素間における画像群内での相対的な重みを付した特徴量ベクトルの総和をプロファイルとして各画像（要素）に付与する。
【００７１】
検索実行時には、この重み付けに基づいて検索を行う。このため、個々の特徴量における重み付けよりも、類似度が非常に高い画像から、多少は類似度が落ちる画像まで類似指標と共に検索結果を表示することが可能となる。なお、付随テキスト情報のうち、前述のテキストの類似性は、すべての用語を対象とするのではなく、イメージング手法や、イメージング対象など画像の特徴に関係し易い用語に重みをおいて計算する。
【００７２】
また、各画像からの特徴量を取り出してクラスタリングする際、画像検索システムは、画像に付随する情報を同時にクラスタリングする、又は用語のクラスターを画像のクラスターに反映させる。このため、画像情報だけならば同一クラスにクラスタリングされてしまうものを、別のクラスとして認識することができ、より詳細な類似画像の検索が可能となる。
【００７３】
更に、画像検索システムは、特徴量の量子化を画像群全体で行うだけでなく、類似の画像群の中で更に行い、別々の量子化した特徴量として保持する。これにより、大まかな類似画像検索のみならず、類似性が高い画像同士も類似度の序列も精度良く検索することができる。
【００７４】
また、画像検索システムは、予め、用語と状態、状態と測定手法などの概念間の関係を関連付けておくと共に、それらの概念で特徴的な画像特徴量を計算してデータベース化しておく。そして、クエリーが与えられた場合には、予め関連付けられたクエリーが属する状態、当該状態を取りうる対象、当該対象を測定し得る測定手法等から、クエリーが検索すべき画像の特徴量を前処理データから検索する。このとき、与えられたクエリーに対して、これらの関係性から検索すべき画像特徴量は事前に分かる。従って、その特徴量から大きくはずれる検索画像については、画像周辺のテキスト情報からクエリーを検索した画像群から除く。これにより、クエリーと関連性が低い画像を除去することができる。
【００７５】
［他の形態例］
上記の例は、主に、学術論文とその図について示しているが、学術論文に限らず、ウェブページを含め、図が入っているテキストならば、本手法を適用することができる。
【００７６】
なお、本発明は上述した形態例に限定されるものでなく、様々な変形例が含まれる。例えば、上述した形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある形態例の一部を他の形態例の構成に置き換えることが可能であり、また、ある形態例の構成に他の形態例の構成を加えることも可能である。また、各形態例の構成の一部について、他の構成を追加、削除又は置換することも可能である。
【００７７】
また、上述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路その他のハードウェアとして実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することにより実現しても良い。すなわち、ソフトウェアとして実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD（Solid State Drive）等の記憶装置、ICカード、SDカード、DVD等の記憶媒体に格納することができる。
【００７８】
また、制御線や情報線は、説明上必要と考えられるものを示すものであり、製品上必要な全ての制御線や情報線を表すものでない。実際にはほとんど全ての構成が相互に接続されていると考えて良い。
【符号の説明】
【００７９】
１００…画像入り文書前処理部
１０１…画像入り文書データベース（ＤＢ）
１０２…テキスト解析処理部
１０３…画像解析処理部
１０４…計算部
１０５…インデックス作成部
１０６…重み付け・プロファイル解析処理部
１０７…インデックス再作成部
１０９…クエリー入力部
１１０…クエリー前処理部
１１１…クエリー対応付け部
１１２…検索部
１１３…解提示部
１１４…データベース
１１５…データベース
１０３１…特徴点抽出処理部
１０３２…特徴量抽出処理部
１０３３…領域分割処理部
１０３４…特徴量抽出処理部
１０３５…特徴点における特徴量の例
１０３６…領域に分割した際の各領域における特徴量の例
１０３７…各特徴点において２つの手法によって特徴量を計算している例
１０３８…２つの手法によって特徴点を検出した後、それらの特徴量を計算している例
１０４１…画像から特徴量を抽出し量子化し、類似画像の予備検索に基づいて重み付け、又はプロファイルの作成
１０４２…全体文書を利用した画像の特徴量と付随文書の用語を利用した特徴量の量子化
１０４３…類似の画像入り文書のみを利用した画像の特徴量と付随文書の用語を利用した特徴量の量子化
２０１…特徴点における特徴量を量子化した例
２０２…領域における特徴量を量子化した例
２０３…特徴点における特徴量を複数の観点で量子化した例
２０４…領域における特徴量を複数の観点で量子化した例
２０５…同一画像に対して特徴点の検出も２つの観点（手法）で行い、それらの特徴点での特徴量を計算し量子化した例
２１１…各画像において、特徴点における特徴量を量子化したベクトルの例
２１２…各画像において、領域における特徴量を量子化したベクトルの例
３０…画像の特徴量をクラスタリングする際の特徴点の例
３１…画像の特徴量をクラスタリングする際のクラスターの例
５０…画像に付随する用語間の関連度からのクラスタリングする際の特徴点の例
５１…画像に付随する用語間の関連度からのクラスタリングする際のクラスターの例
５２…画像に付随する用語間の関連度からのクラスタリングする際のクラスターの例
５３…画像の特徴量をクラスタリングする際のクラスターの例
５４…画像の特徴量をクラスタリングする際のクラスターの例
５２１…画像の特徴量を用語間の関連性を考慮してクラスタリングする際のクラスターの例
５２２…画像の特徴量を用語間の関連性を考慮してクラスタリングする際のクラスターの例
５３１…画像の特徴量を用語間の関連性を考慮してクラスタリングする際のクラスターの例
５３２…画像の特徴量を用語間の関連性を考慮してクラスタリングする際のクラスターの例
６０…画像の量子化特徴量の頻度、画像に付随するテキストの頻度による画像ごとのインデックスの例
６１…画像の量子化特徴量のプロファイル、画像に付随するテキストのプロファイルによる画像ごとのインデックスの例
６０１…各画像における、量子化した画像の特徴量の例
６０２…各画像における、付随テキストの用語の出現頻度の例
６０３…各画像における、画像特徴量のプロファイル
６０４…各画像に付随するテキスト中の用語のプロファイル
７０…画像の特徴量、画像に付随するテキスト頻度の画像ごとのインデックスの例
７０１…各画像における、画像の特徴量の例
７０２…各画像における、画像の特徴量への検索時の重みの例
７０３…各画像における、付随テキストの用語の出現頻度の例
７１…画像の特徴量、画像に付随するテキスト頻度の画像ごとのインデックスの例
７１１…各文書における、画像の特徴量の例
７１２…各文書における、画像の特徴量への検索時の重みの例
７１３…各文書における、付随テキストの用語の出現頻度の例
８０１…同義語のＤＢ例
８０２…上位、下位概念のデータベースの例
８０３…概念と、概念が深く関与する対象、その対象を測定する測定機器、これらが該当する図番号の関係のデータベースの例
９０１…システムの検索クエリー入力画面
９０２…テキストクエリー入力部
９０３…図のクエリーの入力部分（検索対象データベースに登録されている図番号の指定）
９０４…図のクエリー入力部分（新規図のファイルアップロード）
９０５…文書のクエリーの入力部分（検索対象データベースに登録されている図番号の指定）
９０６…文書のクエリー入力部分（新規文書のファイルアップロード）
９０７…検索結果の選択部
９０８…検索開始ボタン
９０９…検索結果表示画面
９１０…検索結果の図表示の例
９１１…検索結果のテキスト表示部
【図１】
2013020480.tif 000007
【図２Ａ】
2013020480.tif 000008
【図２Ｂ】
2013020480.tif 000009
【図３Ａ】
2013020480.tif 000010
【図３Ｂ】
2013020480.tif 000011
【図３Ｃ】
2013020480.tif 000012
【図３Ｄ】
2013020480.tif 000013
【図３Ｅ】
2013020480.tif 000014
【図３Ｆ】
2013020480.tif 000015
【図３Ｇ】
2013020480.tif 000016
【図３Ｈ】
2013020480.tif 000017
【図３Ｉ】
2013020480.tif 000018
【図４】
2013020480.tif 000019
【図５Ａ】
2013020480.tif 000020
【図５Ｂ】
2013020480.tif 000021
【図６Ａ】
2013020480.tif 000022
【図６Ｂ】
2013020480.tif 000023
【図７】
2013020480.tif 000024
【図８Ａ】
2013020480.tif 000025
【図８Ｂ】
2013020480.tif 000026
【図８Ｃ】
2013020480.tif 000027
【図９Ａ】
2013020480.tif 000028
【図９Ｂ】
2013020480.tif 000029
【図１０Ａ】
2013020480.tif 000030
【図１０Ｂ】
2013020480.tif 000031
【図１０Ｃ】
2013020480.tif 000032
【図１１Ａ】
2013020480.tif 000033
【図１１Ｂ】
2013020480.tif 000034