(57)【要約】【課題】ユーザが意図する画像を簡単に検索ができる仕組みを提供することを課題とする。【解決手段】オブジェクト抽出部１０６により登録する画像中のオブジェクトを抽出し、特徴量抽出部１０７が抽出されたオブジェクトの視覚的特徴を抽出し、単語推定部１０８が画像の視覚的特徴を表す単語を記憶する視覚分類辞書部１０１を参照して抽出したオブジェクトの視覚的特徴に対応する単語を抽出し、語句推定部１０９が語句と単語を関連付けて記憶する語彙辞書部１０２を参照して抽出した単語に関連付けられている語句を抽出して、画像データベース１０４に当該語句とオブジェクトを含む画像と関連付けて記憶するようにした。【選択図】        図１
2004362314.tif 000002
【特許請求の範囲】
【請求項１】
登録対象の画像のデータの入力を受け付ける登録受付手段と、
受け付けた画像中のオブジェクトを抽出するオブジェクト抽出手段と、
当該オブジェクトの視覚的特徴を抽出する特徴抽出手段と、
画像中のオブジェクトの視覚的特徴と当該視覚的特徴を表す単語を関連付けて記憶する第１の記憶手段と、
上記第１の記憶手段を参照して、抽出したオブジェクトの視覚的特徴に対応する単語を抽出する単語抽出手段と、
意味概念をあらわす語句と上記視覚的特徴をあらわす単語とを関連付けて記憶する第２の記憶手段と、
上記第２の記憶手段を参照して、上記オブジェクトの視覚的特徴を表す単語に関連付けられている語句を抽出する語句抽出手段と、
抽出された語句を上記オブジェクトを含む画像と関連付けて検索情報として記憶する第３の記憶手段と、
を有することを特徴とする検索情報登録装置。
【請求項２】
語句の類義語及び語句が属するカテゴリの類義カテゴリを記憶する類義語・類義カテゴリ記憶手段と、
類義語・類義カテゴリ記憶手段を参照して、上記抽出された語句の類義語及び当該語句が属する類義カテゴリを検索する類義語検索手段を更に有し、
上記第３の記憶手段は、上記オブジェクト画像に関連付けて検索された類義語及び類義カテゴリを更に記憶する、
請求項１記載の検索情報登録装置。
【請求項３】
上記登録受付手段は、登録対象の画像に付加されている当該画像に関連した内容を有するテキストデータを更に受け付け、
上記語句抽出手段は、上記受け付けたテキストデータに含まれる語句を更に抽出する、
請求項１又は２記載の検索情報登録装置。
【請求項４】
検索対象となる検索画像の入力を受け付ける検索受付手段と、
受け付けた検索画像からオブジェクトを抽出するオブジェクト抽出手段と、
抽出されたオブジェクトの視覚的特徴を抽出する視覚的特徴抽出手段と、
画像の視覚的特徴を表す単語を記憶する第１の記憶手段と、
上記第１の記憶手段を参照して、抽出した視覚的特徴に対応する単語を抽出する単語抽出手段と、
意味概念をあらわす語句と上記視覚的特徴をあらわす単語を関連付けて記憶する第２の記憶手段と、
オブジェクトを含む画像と当該オブジェクトに関連する語句及び当該語句が属するカテゴリとを関連付けて記憶する第３の記憶手段と、
上記第２の記憶手段を参照して、上記検索画像の視覚的特徴を表す単語に関連付けられている１又は複数の語句を抽出する語句抽出手段と、
上記第３の記憶手段を参照して、上記抽出された１又は複数の語句に関連付けられている画像を検索して出力する検索出力手段と、
を有することを特徴とする情報検索装置。
【請求項５】
上記受付手段は検索対象となる画像に関するテキストデータをさらに受け付け、
上記検索出力手段は、上記第３の記憶手段を参照して、上記語句抽出手段により抽出された語句及び上記テキストデータに含まれる語句に関連付けられている画像を検索して出力する、
請求項４記載の情報検索装置。
【請求項６】
上記出力された画像のうち、ユーザにより選択された割合又は頻度に基づいて画像に関連付けられている語句及びカテゴリの重み付けを行う評価手段を更に有し、
上記第３の記憶手段には、評価手段により評価された画像に対する各語句及び各カテゴリの重み付けを記憶し、
上記画像検索出力手段は、上記重み付けを参照して抽出された語句及びカテゴリの重み付けが高い画像を優先して検索出力する、
請求項４又は５記載の情報検索装置。
【請求項７】
画像中のオブジェクトの視覚的特徴を表す単語を記憶する第１の記憶手段と、意味概念をあらわす語句と上記視覚的特徴をあらわす単語とを関連付けて記憶する第２の記憶手段とを有するコンピュータにより実行される方法であって、
上記コンピュータが、
登録対象画像のデータを受け付けるステップと、
上記登録対象画像中のオブジェクトを抽出するステップと、
上記抽出されたオブジェクトの視覚的特徴を抽出するステップと、
上記第１の記憶手段を参照して、抽出されたオブジェクトの視覚的特徴に対応する単語を抽出するステップと、
上記第２の記憶手段を参照して、上記オブジェクトの視覚的特徴を表す単語に関連付けられている語句を抽出し、抽出した語句を上記オブジェクトを含む画像と関連付けて第３の記憶手段に記憶するステップと、
を行うことを特徴とする検索情報登録方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報検索及び情報検索のためのデータベースを作成するための技術であって、特に画像を検索するのに好適な技術に関する。
【０００２】
【従来の技術】
従来、複数の画像を記憶した画像データベースから所望の画像を抽出する場合、何らかの方法で検索する画像の特徴を特定し、この特徴に基づいて検索を行っていた。その一例として、人が所望の画像を表現するために言葉を用いることが多いことから、画像を言葉により表現してテキスト情報としてデータベース化して検索することが行われていた。またテキストでは画像の特徴の表現が不十分であるため、画像の特徴量を抽出してそれをデータベース化して画像の検索が行われていた。
さらに検索するユーザの意図にあった画像検索を可能とするため、画像の潜在的な意味をインデックスとする手法や、２次元ＭＨＭＭによる画像全体の統計的モデル化を行ったり、ＥＭによる統計的学習と識別の応用、Ｈｏｐｆｉｅｌｄネットワークに概念の連想など様々な手法が提案されている。
【０００３】
この一例として、検索すべき画像の意味および認識による記述をユーザから受け取り、キーワード等の意味的検索を行うと共に、形態的もしくは構成要素の空間的関係に基づく類似画像検索を行い、これらの検索結果を統合し、検索結果を類似度基準に基づくランキングを行ってユーザに提供する方法などが提案されている（例えば、特許文献１）。
また、別の方法としては、画像データの所定領域を解析して、領域の色、テクスチャ、大きさなど特徴量を属性として付与するとともに、各領域間の位相関係を表したデータを作成しておき、各領域間の位相関係からオブジェクトで置換して、このオブジェクト、オブジェクトの相対位置及びオブジェクトの位相関係をキーワードとして抽出し、このキーワードを画像データと共に登録することが提案されている（例えば、特許文献２）。
【０００４】
【特許文献１】
特開平１０−２４０７７１号公報
【特許文献２】
特開平１０−４９５４２号公報
【０００５】
【発明が解決しようとする課題】
しかし、従来の意味ベースの画像検索システムでは、類似度を評価するモデルがオブジェクトなどの視覚的な属性の中で客観的に捉えられるものだけに依存しているものがほとんどであった。
そのため、ユーザがある状況の中で感じる画像の主観的な類似度と食い違うことが多く、いわゆるセマンティックギャップが発生してしまうという問題があった。そして、このセマンティックギャップのため、例えば、同じ動物の画像を検索する場合にであっても、従来であれば座っているライオンの画像、右を向いているライオンの画像、走っているライオンの画像などすべて同じ「ライオン」という言葉に関連付けられていたため、ユーザが寝ているライオンの画像を検索しようとすると、全てのライオンの画像が抽出されてしまったり、又は走っているライオンの画像などのユーザの意図しない画像が優先的に選択されるなどの問題がった。そのため、膨大な画像の中からユーザの主観的な意図に基づいて画像を検索しようとしても、意図する画像を検索することは大変困難であった。
【０００６】
また、テキストに基づく画像検索だけでなく、ある画像に関連する画像を検索したい場合、その画像の捉え方、感じ方はユーザにより様々である。そのため、同じ画像でもユーザにより関連付ける言葉が異なり、ある画像に基づいてこれに関連する画像を検索することは非常に困難であった。
【０００７】
本発明は上述の問題点を解決するためになされたものであって、ユーザが意図する画像を簡単に検索できる仕組みを提供することを課題とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明は画像中のオブジェクトの視覚的特徴を表す単語の検索と、当該単語に関連する意味を持った語句の検索の２段階の検索を取り入れることにより、より高い精度で検索が行える仕組みを提供する。
このための仕組みの一例として、本発明にかかる検索情報登録装置は、登録対象の画像のデータの入力を受け付ける登録受付手段と、受け付けた画像中のオブジェクトを抽出するオブジェクト抽出手段と、当該オブジェクトの視覚的特徴を抽出する特徴抽出手段と、画像中のオブジェクトの視覚的特徴と当該視覚的特徴を表す単語を関連付けて記憶する第１の記憶手段と、上記第１の記憶手段を参照して、抽出したオブジェクトの視覚的特徴に対応する単語を抽出する単語抽出手段と、意味概念をあらわす語句と上記視覚的特徴をあらわす単語とを関連付けて記憶する第２の記憶手段と、上記第２の記憶手段を参照して、上記オブジェクトの視覚的特徴を表す単語に関連付けられている語句を抽出する語句抽出手段と、抽出された語句を上記オブジェクトを含む画像と関連付けて検索情報として記憶する第３の記憶手段とを有することを特徴とする。
【０００９】
また、語句の類義語及び語句が属するカテゴリの類義カテゴリを記憶する類義語・類義カテゴリ記憶手段と、類義語・類義カテゴリ記憶手段を参照して、上記抽出された語句の類義語及び当該語句が属する類義カテゴリを検索する類義語検索手段を更に有し、上記第３の記憶手段は、上記オブジェクト画像に関連付けて検索された類義語及び類義カテゴリを更に記憶するようにしてもよい。
【００１０】
また、上記登録受付手段は、登録対象の画像に付加されている当該画像に関連した内容を有するテキストデータを更に受け付け、上記語句抽出手段は上記受け付けたテキストデータに含まれる語句を更に抽出するようにしてもよい。
【００１１】
また、上記第２の記憶手段には、さらに語句に関連付けて当該語句のカテゴリが記憶されており、上記語句抽出手段は、抽出した語句が属するカテゴリを更に抽出して上記第３の記憶手段に記憶するようにしてもよい。
また、上記オブジェクトの視覚的特徴は、オブジェクトの色、テクスチャ、形状により特徴を特定するようにしてもよい。
また、上記単語抽出手段は、複数の単語を抽出し、上記語句抽出手段は、一つのオブジェクトに対して複数の語句を抽出するようにしてもよい。
【００１２】
本発明の一の観点にかかる情報検索装置は、検索対象となる検索画像の入力を受け付ける検索受付手段と、受け付けた検索画像からオブジェクトを抽出するオブジェクト抽出手段と、抽出されたオブジェクトの視覚的特徴を抽出する視覚的特徴抽出手段と、画像の視覚的特徴を表す単語を記憶する第１の記憶手段と、上記第１の記憶手段を参照して、抽出した視覚的特徴に対応する単語を抽出する単語抽出手段と、意味概念をあらわす語句と上記視覚的特徴をあらわす単語を関連付けて記憶する第２の記憶手段と、画像と当該画像に関連する語句及び当該語句が属するカテゴリとを関連付けて記憶する第３の記憶手段と、上記第２の記憶手段を参照して、上記検索画像の視覚的特徴を表す単語に関連付けられている１又は複数の語句を抽出する語句抽出手段と、上記第３の記憶手段を参照して、上記抽出された１又は複数の語句に関連付けられている画像を検索して出力する検索出力手段とを有することを特徴とする。
【００１３】
上記受付手段は、検索対象となる画像に関するテキストデータをさらに受け付け、上記検索出力手段は、上記第３の記憶手段を参照して、上記語句抽出手段により抽出された語句及び上記テキストデータに含まれる語句に関連付けられている画像を検索して出力するようにしてもよい。
【００１４】
また、上記出力された画像のうち、ユーザにより選択された割合又は頻度に基づいて画像に関連付けられている語句及びカテゴリの重み付けを行う評価手段を更に有し、上記第３の記憶手段には、評価手段により評価された画像に対する各語句及び各カテゴリの重み付けを記憶し、上記画像検索出力手段は、上記重み付けを参照して抽出された語句及びカテゴリの重み付けが高い画像を優先して検索出力するようにしてもよい。
【００１５】
本発明の一の観点にかかる検索情報登録方法は、画像中のオブジェクトの視覚的特徴を表す単語を記憶する第１の記憶手段と、意味概念をあらわす語句と上記視覚的特徴をあらわす単語とを関連付けて記憶する第２の記憶手段とを有するコンピュータにより実行される方法であって、上記コンピュータが、登録対象画像中のオブジェクトを抽出するステップと、当該オブジェクトの視覚的特徴を抽出するステップと、上記第１の記憶手段を参照して、抽出したオブジェクトの視覚的特徴に対応する単語を抽出するステップと、上記第２の記憶手段を参照して、上記オブジェクトの視覚的特徴を表す単語に関連付けられている語句を抽出し、抽出された語句を上記オブジェクトを含む画像と関連付けて第３の記憶手段に記憶するステップとを行うことを特徴とする。
【００１６】
また情報検索方法としては、画像の視覚的特徴を表す単語を記憶する第１の記憶手段と、意味概念をあらわす語句と上記視覚的特徴をあらわす単語を関連付けて記憶する第２の記憶手段と、上記語句と当該語句に関連する画像とを関連付けて記憶する第３の記憶手段とを有するコンピュータにより実行される方法であって、コンピュータが、検索対象となる検索画像の入力を受け付けるステップと、受け付けた検索画像からオブジェクトを抽出するステップと、抽出されたオブジェクトの視覚的特徴を抽出するステップと、上記第１の記憶手段を参照して、抽出した視覚的特徴に対応する単語を抽出するステップと、上記第２の記憶手段を参照して、上記検索画像の視覚的特徴を表す単語に関連付けられている１又は複数の語句を抽出するステップと、上記第３の記憶手段を参照して、上記抽出された１又は複数の語句に関連付けられている画像を検索して出力するステップとを行うようにしてもよい。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明にかかる検索情報登録装置及び情報検索装置を適用した装置の一実施形態について説明する。図１に本実施形態にかかる情報処理装置１の全体構成の一例を示す。
本実施形態にかかる情報処理装置１はコンピュータにより構成されており、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵが実行するコンピュータプログラム、コンピュータプログラムや所定のデータなどを記憶することができるＲＡＭ、ＲＯＭなどの内部メモリ及びハードディスクドライブなどの外部記憶装置により図１に示した機能ブロックを構成することができる。
図１に示した機能ブロックは、視覚分類辞書部１０１、語彙辞書部１０２、類義語・類義カテゴリー辞書部１０３、画像データベース１０４、登録受付部１０５、オブジェクト抽出部１０６、特徴量抽出部１０７、単語推定部１０８、語句推定部１０９、類義語推定部１１０、検索受付部１１１、出力部１１２、評価処理部１１３から構成されている。
【００１８】
視覚分類辞書部１０１は、画像の視覚的特徴を表す単語を記憶する記憶部である。視覚分類とはある画像特徴量を持つ画像を人が認識している名詞や形容詞などの言葉に置き換えるための分類である。本実施形態では、色、テクスチャ、形状の視覚的特徴から視覚分類を行っており、視覚分類辞書部１０１にはそれぞれに対応して、色テーブル、テクスチャテーブル、形状テーブルが記憶されている。
【００１９】
色テーブルは、図２に示すように、各色をＨＳＶ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｖａｌｕｅ）色空間により表したテーブルである。この図２に示したもののうち、Ｈは色相（Ｈｕｅ）、Ｓは彩度（Ｓａｔｕｒａｔｉｏｎ）、Ｖは明度（Ｖａｌｕｅ）をそれぞれ表している。そして、例えば、黒であればＨは「ｎｕｌｌ」でＳ及びＶはそれぞれ０のように、色ごとにＨＳＶのそれぞれの値が定義されている。これらの値はＨＳＶ色空間に基づいた定義となっている。
テクスチャテーブルは、図３に示すように、テクスチャーごとにスポットやストライプなどの模様があるか否かが分析され定義されている。なお、このテクスチャーの分析は例えば、ガボールフィルタにより各テクスチャーを解析した結果に基づいてテーブルを作成することができる。
形状テーブルは、図４に示すように、円、矩形、三角形などの形状ごとに、その特徴を表すｃｕｒｖａｔｕｒｅ、ｃｉｒｃｕｌａｔｉｏｎ、ｉｎｖａｒｉａｎｔ  ｍｏｍｅｎｔ、ｄｉｆｆｅｒｅｎｔｉａｌ  ｉｎｖａｒｉａｎｔｓのそれぞれ特徴量が定義されている。
【００２０】
語彙辞書部１０２は、意味概念をあらわす語句と視覚的特徴をあらわす単語を関連付けて記憶する記憶部である。この語彙辞書部１０２には、図５に示すように意味概念をあらわす語句と、その語句が属するカテゴリーと、その語句の類義語と、その語句の説明とが関連付けられてている。
カテゴリはその語句を所定の基準に基づいて分類したものであり、例えば、「ｃａｔ」に対しては、「ｂｅａｓｔ」、「ａｎｉｍａｌ」などのカテゴリーが相当する。また、説明は、語句の意味概念を説明するためのテキストデータであり、この説明文中に視覚的特徴を表す色、テクスチャー、形状などの単語が１又は複数含まれるようになっている。
【００２１】
類義語・類義カテゴリ辞書部１０３は、ある語句に対する類義語や、分類を表すカテゴリに類似するカテゴリを記憶したものである。
【００２２】
画像データベース１０４は、語句と画像とを関連付けてデータベース化したものである。この画像データベース１０４には、画像を識別するための画像ＩＤ、画像中のオブジェクトの領域を表す領域ＩＤ、オブジェクトの特徴量、特徴量重み、画像中のオブジェクトを表す語句、語句の類義語、各類義語の重み付け値、オブジェクトが属するカテゴリ、各カテゴリの重み付け値が記憶できるようになっている。
オブジェクトの特徴量は、特徴量抽出部１０７により算出されたオブジェクトの特徴量である。
特徴量重み付け値は、オブジェクトの色、テクスチャ、形状ごとの重み付けを表しており、図６中ｃは色、ｔはテクスチャ、ｓは形状のそれぞれ重み付け値を示している。
また、類義語重み付け値は、各類義語が当該画像のオブジェクトとどの程度の関連性を有しているかを表す値であり、図６の例では、左から順にｊａｇｕａｒが０．８、ｃｈｅｅｔａｈが０．７というように類義語ごとに対応して記憶されており、値が大きいほど関連性が高いことを表している。同様に、カテゴリーについても、各カテゴリーに対してカテゴリー重み付け値が対応するようになっており、図示の例ではｃｒｅａｔｕｒｅが０．９、ａｎｉｍａｌが０．７のように重み付けがされている。
【００２３】
オブジェクト抽出部１０６は、画像中からオブジェクトを抽出する処理を行う。
このオブジェクトの抽出は、例えば、オブジェクト抽出部１０６が、マルチスケール非線形色拡散（Ｍｕｌｔｉ−ｓｃａｌｅ  ｉｎｈｏｍｏｇｅｎｅｏｕｓ  ｃｏｌｏｒ  ｄｉｆｆｕｓｉｏｎ）アルゴリズムを適用して、画像領域内を徐々に細分化していくことにより特徴的なオブジェクト領域を抽出するようにしてもよい。
【００２４】
特徴量抽出部１０７は、抽出したオブジェクトの視覚的特徴を抽出する処理を行う。視覚的特徴抽出としては、例えば、色はＨＳＶ色空間上でベクトル量子化を施したり、ガボールフィルタによる解析により抽出できる。
【００２５】
単語推定部１０８は、視覚分類辞書部１０１を参照して、抽出したオブジェクトの視覚的特徴に対応する単語を抽出する処理を行う。この処理は、例えば、単語推定部１０８が、視覚分類辞書部１０１を参照して、特徴量抽出部１０７により抽出されたデータに基づいて色、テクスチャ、形状のそれぞれに合致した単語を抽出するようになっている。
【００２６】
語句推定部１０９は、抽出された画像中のオブジェクトの視覚的特徴を表す単語に関連付けられている語句を推定して抽出する処理を行う。この処理は、語句推定部１０９が、語彙辞書部１０２の各語句の説明を参照して、視覚的特徴から抽出された単語が説明中に存在する場合に、当該語句を当該オブジェクトに関連する語句として抽出するようになっている。
また、語句推定部１０９は、画像に関連して当該画像の説明文などのテキストデータに付加されている場合には、当該テキストデータに含まれている語句を抽出する
また、語句推定部１０９は、語彙辞書部１０２から抽出した語句のカテゴリを抽出する。
【００２７】
類義語推定部１１０は、抽出された語句の類義語及びカテゴリの類義カテゴリを抽出する処理を行う。
類義語、類義カテゴリの検索は、類義語・類義カテゴリー辞書部１０３を参照してある語句の類義語や、あるカテゴリの類義カテゴリーを検索するごとに類義語、類義カテゴリを抽出できるようになっている。
【００２８】
検索受付部１１１は、ユーザからの画像検索要求を受け付ける処理を行う。検索要求の受付は、所定のディスプレイ上に所定の検索要求入力画面を表示して底から検索対象の画像等を入力できるようにすることができる。
なお、画像検索要求は、例えば、言葉を用いたテキストデータによる画像検索要求、所定の画像データに基づいた関連画像の検索要求、画像データとテキストデータとによる関連画像の検索要求のいずれでもよい。
【００２９】
出力部１１２は、画像データベース１０４を参照して、抽出された語句に関連付けられている画像を検索して所定のディスプレイなどに出力する処理を行う。
また、出力部１１２は、検索要求としてテキストデータを含む検索要求を受け付けた場合には、当該テキストデータに含まれる語句に関連付けられている画像を検索して出力することもできるように構成されている。
また、出力部１１２は、画像に関連付けて記憶されている語句に重み付けがされている場合には、当該重み付け情報を参照して、検索対象となった画像又はテキストデータから抽出された語句に対して高い重み付けがされている画像を優先して出力するようになっている。
【００３０】
評価処理部１１３は、出力部１１２により出力された画像のうち、ある語句や単語に基づいて抽出した画像を、ユーザが所望の画像として選択した頻度に基づいて、各画像に対する各語句の重み付け、特徴量に対する重み付けを計算し、これを画像データベース１０４に記憶するようになっている。この頻度は、例えば、語句の出現頻度や、いくつかの語句が組になって出現する頻度を表す共起頻度に基づいて重み付けを行うことができる。
【００３１】
次に、本発明にかかる検索画像登録方法の一実施形態について図７を参照して説明する。
図７において、まずユーザが情報処理装置１を使用して登録する画像データを入力すると、登録受付部１０５が画像の入力を受け付ける（Ｓ１０１）。
この登録される画像の一例を図８に示す。図８に示すように、入力されるデータは、画像データ１００１と、この画像の内容を説明するテキストデータの説明文１００２から構成されている。なお、入力データは、説明文１００２が付加されている必要はなく、画像データ１００１のみであってもよく任意である。また、画像に対する説明はビデオフレームに埋め込まれたテロップや音声も利用でき、これらをテキストデータに変換して同様な処理をすることができる。
なお、画像は前処理として量子化処理を行い、量子化されたデータを取り込むようにしてもよい。また、登録処理は、登録受付部１０５が所定の記憶媒体に記憶されている画像を読み取ることにより、またインターネット等の所定のネットワークを介して受け付けるようにしてもよく任意である。
【００３２】
画像を受け付けると、オブジェクト抽出部１０６が入力画像中の特徴オブジェクトを抽出する（Ｓ１０２）。
この抽出処理は、オブジェクト抽出部１０６が、以下の式に基づいて計算を行い、オブジェクトの抽出をすることができる。
【００３３】
【数１】
2004362314.tif 000003
【００３４】
ここで、Ｉは色特徴ベクトルのことであり、たとえば、ＨＳＶ色データのベクトルを表す。また、ｘ、ｙは画像中の画素の位置、ｔは拡散回数（計算の繰り返し数）、ｄｉｖは発散（ｄｉｖｅｒｇｅｎｃｅ）、ｇｒａｄはガウス関数との畳み込みによる平滑化演算子を表す。この式に基づき、オブジェクト抽出部１０６が所定回数（ｔ）拡散処理を行うことにより特徴的なオブジェクトを抽出することができる。
【００３５】
なお、上述のｃ（ｘ，ｙ，ｔ）は拡散率（伝導率）関数を表し、このアルゴリズムでの多変量色拡散の計算ではｃ（ｘ，ｙ，ｔ）＝１／｛１＋（‖ｇｒａｄ｛Ｉ｝‖／Ｋ）２  ｝を用いることができる。そして、ここに示すＫはテクスチャに依存する適応型伝導パラメータであり、これに基づいて拡散処理を制御（調整）するものであり、このパラメータ値は実験的に求めることができる。
【００３６】
また、上記ｇｒａｄを計算するために、２つのピクセルＰｉ，ｊ，Ｐｉ＋ｍ，ｊ＋ｎの色差を、以下の式（２）に示すように定義することができる。ここで、添え字のｍおよびｎは、４方向の隣接ピクセルを表している。なお、ｗ１  、ｗ２  、ｗ３  は重み定数である。
【００３７】
【数２】
2004362314.tif 000004
【００３８】
そして、具体的なパラメータを求めるためには、まず、スケール（σ）パラメータに応じて決まるピクセル近傍でのきめの粗さを（ｔｅｘｔｕｒｅｄｎｅｓｓ）求め、求めたきめの粗さを評価し、所定のきめ粗さの条件（例えば、きめ粗さの閾値２０％）に応じて、テクスチャあるいは色の勾配を求める処理を行う。このきめの粗さは、輪郭抽出した画像データ上の処理対象範囲内における輪郭となる画素の比率から求められる。なお、輪郭の抽出は、一次微分法、ｚｅｒｏ−ｃｒｏｓｓ法、スーベル法、キャニー法などの周知手段を用いることにより行う。
【００３９】
そして、きめの粗さがの所定の閾値より大きい場合は、ピクセル近傍におけるアングル差及び色差（すなわち角および色の度数分布の差分）を、次の式（３）及び（４）により求め、テクスチャ勾配ＧＴｅｘｔｕｒｅ＝Ｗ１  ＊Ｄ＋Ｗ２  ｄ１を計算し、適応型伝導パラメータＫ＝ｆ１（ＧＴｅｘｔｕｒｅ）を求める。この際、アングル差及び色差は、対象画素の四近傍周辺領域について算出して平滑化処理する。この四近傍周辺領域は、５×５、７×７というようなｎ×ｎサイズの画素領域を基本とし、対象画素領域において上下左右に四方向に隣接する周辺画素領域をいう。なお、Ｗ１  、Ｗ２  は重み定数である。
【００４０】
【数３】
2004362314.tif 000005
【００４１】
【数４】
2004362314.tif 000006
【００４２】
ここで、式（３）中のＩｉ、Ｊｊは、アングルヒストグラムの値であり、角の度数分布について、各区画に含まれる度数の行列を表す。また、Ａは行列で、その要素は２つの方向（角）の類似度であり、アングルヒストグラムの角度数に応じた類似度をテーブルとして定義している。また、Ｎはアングルヒストグラムの分割総数であり、ここでは１０°刻みに分割した３６を用いる。なお、アングルヒストグラムはテクスチャ特徴から画素においてエッジの角度に関するものであり、テクスチャ特性は、ウェーブレット・フィルタやガボール・フィルタなどで求めることができる。
【００４３】
また、式（４）中のｈ及びｇは、色を量子化して区画に分けた度数分布ヒストグラムであり、ｄ１  は、その共通部分を表す。また、Ｍは色ヒストグラムの分割総数であり、ここではＨＳＶ色空間を７２に分割したものを用いる。
【００４４】
一方、このきめの粗さがの所定の閾値より小さい場合は、ピクセル近傍における色差を、前述の式（２）より色勾配ＧＣｏｌｏｒ＝ｄ を計算し、適応型伝導パラメータＫ＝ｆ２（ＧＣｏｌｏｒ）を求める。この際、色差は、対象画素の四近傍連接領域について算出して平滑化処理する。この四近傍連接領域とは、対象画素において上下左右の四方向に連接する連接画素領域をいう。
【００４５】
このようにして、拡散パラメータである適応型伝導パラメータにより拡散処理率を制御し、きめの粗い部分を「不要な（ｎｏｉｓｙ）」領域とみなし、境界を保存したまま拡散させることによりそのテクスチャを除去する。そして、最後に領域の拡大と併合を適用して特徴的なオブジェクトを抽出することができる。
【００４６】
オブジェクトの抽出がされると、特徴量抽出部１０７が抽出したオブジェクトの特徴量を抽出する（Ｓ１０３）。
本実施形態では、特徴量抽出部１０７が、抽出したオブジェクトの色をＨＳＶ色空間に変換したり、ガボールフィルタによりテクスチャーを解析したり、オブジェクトの形状を抽出したりする。
【００４７】
特徴量が抽出されると、単語推定部１０８が視覚分類辞書部１０１を参照して、抽出した特徴量から視覚的特徴を表す単語を推定して抽出する（Ｓ１０４）。
この処理は、例えば、単語推定部１０８が、特徴量としてＨＳＶの値がそれぞれＨ（ｎｕｌｌ）、Ｓ（０）、Ｖ（０）、であれば色テーブルを参照して対応する単語「黒」を抽出する。同様に、テクスチャのスポット、ストライプなどの特徴から対応するテクスチャ名を抽出し、また円、矩形などの形状の特徴量から対応する形状を抽出する。
【００４８】
オブジェクトの特徴量に対応する単語が抽出されると、語句推定部１０９が、語彙辞書部１０２を参照してこれらの語句をその説明中に有している語句及びその語句のカテゴリを抽出する（Ｓ１０５）。
この処理は、例えば、語句推定部１０９が「ブラウン」、「スポット」、「サーキュラー」などの抽出された単語から、これら単語が語句の説明に使用されている語句として「ｃａｔ」を抽出する。
なお、この際、登録対象画像の説明文などのテキストデータが付加された形で入力された場合には、語句推定部１０９は当該テキストデータから語句を抽出する。この語句の抽出は例えば、文法的に意味のある分節でテキストを区切ることにより抽出するようにしてもよい。
【００４９】
そして、類義語推定部１１０が、類義語・類義カテゴリ辞書部１０３を参照して、抽出された語句の類義語及び類義カテゴリを推定する（Ｓ１０６）。
これにより、例えば、抽出された語句が「ｃａｔ」であれば、それの類義語として「ジャガー」、「チーター」、「ライオン」が抽出され、カテゴリーとして「けもの」に類似するカテゴリとして「動物」のカテゴリが抽出される。
【００５０】
この画像と単語、語句及びカテゴリー、類義語・類義カテゴリーの関係を図９に示す。図９に示すように、所定の画像１００１に対して、まず推定された単語１００３として色の特徴を表すブラウン、テクスチャの特徴を表すスポット、形状の特徴を表すサーキュラーが関連付けられる。そして、これら単語を含む語句として１００４の「ｃａｔ」が抽出される。さらに、その類義語として１００５のジャガー、チーター、ライオンが関連付けられる。またカテゴリとして１００６のけものが関連つけられ、その類義カテゴリーとして１００７の動物が関連付けられるようになる。なお、図９中のカッコは画像中のオブジェクトに対する重み付けを表している。
【００５１】
そして、類義語推定部１１０が、抽出された語句及びカテゴリ、類義語と類義カテゴリとを画像に関連付けて画像データベース１０４に登録して（Ｓ１０７）、処理を終了する。なお、この際、登録受付部１０５により付与した画像を識別する画像ＩＤ、オブジェクト抽出部１０６により特定したオブジェクトの領域ＩＤ、特徴量抽出部１０７により抽出した画像特徴量も画像データベース１０４に登録する。
【００５２】
次に、登録された画像を検索する場合の処理の一例について図１０を参照して説明する。
図１０において、まず検索画面からユーザが検索画像を入力して検索要求を行うと、検索受付部１１１が画像検索要求を受付ける（Ｓ２０１）。
検索要求入力画面の一例を図１１に示す。図１１に示すように、検索対象の画像を入力する検索画像指定欄２００１、また必要なキーワードなど画像を検索するためのテキストデータを入力するキーワード入力欄２００２が設けられている。そして、これらに検索対象の画像又はキーワードを入力して検索ボタン２００３がユーザにより指示されることにより検索要求がされるようになっている。
なお、検索の際のキーワードなどのテキストデータを入力するか否かは任意である。また、検索対象画像は所定のユーザが外部から量子化された画像データを取り込んで入力してもよいし、また予め用意された所定の量子化された画像の中から選択して入力してもよく任意である。
【００５３】
画像検索要求を受け付けると、オブジェクト抽出部１０６が、上述のＳ１０２の処理と同様に検索対象画像中の特徴オブジェクトを抽出する（Ｓ２０２）。
【００５４】
オブジェクトの抽出がされると、特徴量抽出部１０７が抽出したオブジェクトの特徴量を抽出する（Ｓ２０３）。本実施形態では、特徴量抽出部１０７が、抽出したオブジェクトの色をＨＳＶ色空間に変換したり、ガボールフィルタによりテクスチャーを解析したり、オブジェクトの形状を抽出してオブジェクトの視覚的特徴量を抽出する。
【００５５】
特徴量が抽出されると、単語推定部１０８が視覚分類辞書部１０１を参照して、抽出した特徴量に対応する単語を推定して抽出する（Ｓ２０４）。この処理は、前述のＳ１０４の処理と同様に、例えば、単語推定部１０８は、特徴量としてＨＳＶの値がそれぞれＨ（ｎｕｌｌ）、Ｓ（０）、Ｖ（０）、であれば色テーブルを参照して対応する単語「黒」を抽出する。同様に、テクスチャのスポット、ストライプなどの特徴から対応するテクスチャ名を抽出し、また円、矩形などの特徴から対応する形状を抽出する。
【００５６】
視覚特徴量に関連する単語が抽出されると、語句推定部１０９が、語彙辞書部１０２を参照してこれらの単語をその説明中に有している語句及びその語句のカテゴリを抽出する（Ｓ２０５）。
【００５７】
語句が抽出されると、類義語推定部１１０が、前述のＳ１０６の処理と同様に、類義語・類義カテゴリ辞書部１０３を参照して、抽出された語句の類義語及び類義カテゴリを抽出する（Ｓ２０６）。
【００５８】
そして出力部１１２が、画像データベース１０４を参照して、抽出した語句及びカテゴリ、類義語及び類義カテゴリに関連付けられている画像を抽出する（Ｓ２０７）。
この抽出処理は、まず出力部１１２が、画像データベース１０４の画像の説明を参照して、説明の中に当該語句を含みかつ同じカテゴリに属する画像を抽出する。同様に、出力部１１２が、説明の中に類義語を含みかつ類義カテゴリに属する画像を抽出する。また、説明中に当該語句を含みかつ類義カテゴリに属する画像を抽出したり、説明中に類義語を含みかつ同じカテゴリーに属する画像を抽出したりしてもよい。これらの処理を行うことにより出力部１１２が１又は複数の選択候補画像を抽出する。
【００５９】
出力部１１２は、抽出した１又は複数の画像を所定のディスプレイなどに認識可能な形態で出力し、ユーザに対して所望の画像を選択するよう要求する（Ｓ２０８）。画像を出力した際の一例を図１２に示す。図１２に示すように、検索結果画面上には、数枚の画像が表示され、そのうちからユーザが意図する画像を選択できるようになっている。出力を行う際、出力部１１２は、画像に対する語句の重み付けに基づいて、検索要求された画像に近いと判断された画像、即ち抽出された語句、カテゴリに対する重み付けが高い順に画像を優先的に表示する。
そして、ユーザは所望の画像がない場合には、次の画像の候補を要求することで、出力部１１２は次に重み付けが高く優先度が高い画像を表示し、ユーザからの選択を待つようにしてもよい。
【００６０】
ユーザが意図する画像をポインティングデバイスなどで指示するなどして選択すると、出力部１１２は当該画像のみをディスプレイ等に表示する（Ｓ２０９）。
これにより、ユーザは選択した画像を参照したり、ダウンロードしたりして利用することができるようになる。
【００６１】
また、評価処理部１１３は、ユーザにより画像が選択されたことにより、画像データベース１０４に記憶されている当該画像に対する語句及びカテゴリの重み付けを更新し、今回の選択結果を重み付けにフィードバックして（Ｓ２１０）、処理を終了する。
このフィードバックは、例えば、当該画像を検索するに当たって「ｃａｔ」という語句を抽出した場合には、当該画像に対する「ｃａｔ」の重み付けを加算することにより行う。なお、この重み付けの計算は、当該画像が選択された全回数のうち当該語句が抽出された割合、当該語句に基づいて画像が抽出され、ユーザに選択された頻度などに応じて計算しても良く任意である。
【００６２】
以上のように、本実施形態によれば、検索用画像を登録する際、オブジェクト抽出部１０６により登録する画像中の特徴的なオブジェクトを抽出し、特徴量抽出部１０７が抽出されたオブジェクトの視覚的特徴を抽出し、単語推定部１０８が視覚分類辞書部１０１を参照して抽出したオブジェクトの視覚的特徴に対応する単語を抽出し、語句推定部１０９が語彙辞書部１０２を参照して抽出した単語に関連付けられている語句を抽出して、画像データベース１０４に当該語句とオブジェクトを含む画像とを関連付けて記憶するようにしたことから、画像が含んでいるオブジェクトにより関連性が深い語句を画像と対応付けてデータベース化することができる。
これにより、この画像データベース１０４を参照することにより、ユーザが特定した語句に基づいた画像の検索が容易にできるようになる。特に、オブジェクトの視覚的特徴を表す単語の検索と、当該単語に関連した意味を有する語句の検索の２段階を行って語句を抽出したことにより、オブジェクトの視覚的特徴を反映させ、かつ、オブジェクトの意味に関連する語句を画像に関連付けることができ、これによりユーザの意図に合った画像の検索が可能となる。
【００６３】
また、類義語推定部１１０により抽出された語句の類義語及び／又は当該語句が属する類義カテゴリを検索し、画像データベース１０４に画像に関連付けて検索された類義語及び／又は類義カテゴリを更に記憶するようにしたことから、画像を一つの語句やカテゴリーだけでなく、類義語や類義カテゴリとも関連付けることができ、検索を行う際の幅を広げることでユーザが意図する画像を容易に検索するための画像データベースの作成が可能となる。
【００６４】
また、登録受付部１０５が、登録対象の画像に付加されている当該画像に関連した内容を有する説明文などのテキストデータを受け付け、語句推定部１０９が受け付けたテキストデータに含まれる語句を抽出するようにしたことから、もともと画像に関連の深い画像の説明文などのテキストデータの内容を反映することができ、よりユーザの意図に適した検索が可能となるデータベースを作成できる。
【００６５】
また、画像を検索する際、検索受付部１１１により検索対象となる検索対象画像の入力を受付け、オブジェクト抽出部１０６が当該画像中の特徴的なオブジェクトを抽出し、特徴量抽出部１０７が抽出されたオブジェクトの視覚的特徴を抽出し、単語推定部１０８が視覚分類辞書部１０１を参照して抽出されたオブジェクトの視覚的特徴に対応する単語を抽出し、語句推定部１０９が語彙辞書部１０２を参照して抽出した単語に関連付けられている語句を抽出し、出力部１１２が画像データベース１０４を参照して、抽出された語句に関連付けられている画像を検索して出力するようにしたことから、検索対象画像に基づいてユーザが意図する関連画像を簡単に検索することができる。
これにより、ユーザが意図した関連する画像の検索が容易にできるようになる。特に、オブジェクトの視覚的特徴を表す単語の検索と、当該単語に関連する語句の検索の２段階を画像検索に取り入れたことで、オブジェクトの視覚的特徴を反映させ、かつ、オブジェクトの意味に関連する語句を関連付けることができユーザの意図に合った画像の検索が可能となる。
【００６６】
また、検索受付部１１１が検索対象となるテキストデータを受け付け、出力部１１２が抽出された語句及びテキストデータに含まれる語句に関連付けられている画像を検索して出力するようにすれば、予め検索対象画像に関連付けられている説明文などのテキストデータを利用してよりユーザの意図に適合した精度の高い画像検索をすることができる。
【００６７】
また、評価処理部１１３が出力された画像のうちユーザにより所望の画像として選択された割合又は頻度に基づいて、当該画像に対する語句の検索重み付けを行い、画像に関連付けてこの語句ごとの重み付けを画像データベース１０４に記憶するようにし、出力部１１２がこの重み付けを参照して、入力された語句の重み付けが高い画像を優先して出力するようにすれば、ユーザによるフィードバックを反映して、ユーザの意図する画像をより優先的に検索出力することができる。
【００６８】
なお、上述の実施形態では、類義語や類義カテゴリまで検索する例について説明したが、類義語や類義カテゴリまで検索する必要がない場合にはこれを行わなくともよい。また、語句又はカテゴリのいずれか一方のみ用いるようにしてもよい。
【００６９】
また、上述の実施形態では、画像に基づく検索の例について説明したが、画像を用いずにテキストデータのみに基づいて画像検索を行うようにしてもよい。
【００７０】
本実施形態の情報処理装置１用のコンピュータプログラムを、コンピュータ読み取り可能な媒体（ＦＤ、ＣＤ−ＲＯＭ等）に格納して配布してもよいし、搬送波に重畳し、通信ネットワークを介して配信することも可能である。
【００７１】
【発明の効果】
本発明によれば、ユーザが意図する画像を簡単に検索ができる。
【図面の簡単な説明】
【図１】本発明にかかる検索情報登録装置及び情報検索装置を適用した情報処理装置の一実施形態を示した機能ブロック図。
【図２】本実施形態にかかる視覚分類辞書部の色テーブルに記憶されるデータの一例を示した図。
【図３】本実施形態にかかる視覚分類辞書部のテクスチャーテーブルに記憶されるデータの一例を示した図。
【図４】本実施形態にかかる視覚分類辞書部の形状テーブルに記憶されるデータの一例を示した図。
【図５】本実施形態にかかる語彙辞書部に記憶されるデータの一例を示した図。
【図６】本実施形態にかかる画像データベースに記憶されるデータの一例を示した図。
【図７】本実施形態にかかる画像登録処理の流れを示した処理フロー。
【図８】本実施形態にかかる登録画像の一例を示した図。
【図９】本実施形態にかかる画像と単語、語句、カテゴリー、類義語、類義カテゴリーの関連を示した模式図。
【図１０】本実施形態にかかる画像検索処理の流れを示した処理フロー。
【図１１】本実施形態にかかる検索画像の入力画面の一例を示した図。
【図１２】本実施形態にかかる検索結果出力画面の一例を示した図。
【符号の説明】
１      情報処理装置
１０１  視覚分類辞書部
１０２  語彙辞書部
１０３  類義語・類義カテゴリー記憶部
１０４  画像データベース
１０５  登録受付部
１０６  オブジェクト抽出部
１０７  特徴量抽出部
１０８  単語推定部
１０９  語句推定部
１１０  類義語推定部
１１１  検索受付部
１１２  出力部
１１３  評価処理部
【図１】
2004362314.tif 000007
【図２】
2004362314.tif 000008
【図３】
2004362314.tif 000009
【図４】
2004362314.tif 000010
【図５】
2004362314.tif 000011
【図６】
2004362314.tif 000012
【図７】
2004362314.tif 000013
【図８】
2004362314.tif 000014
【図９】
2004362314.tif 000015
【図１０】
2004362314.tif 000016
【図１１】
2004362314.tif 000017
【図１２】
2004362314.tif 000018