(57)【要約】【課題】  大量に存在する文書中の画像を検索したり、当該文書データを元に画像を認識する画像検索装置および画像検索方法を提供する。【解決手段】  一部の文書について、当該文書に含まれる画像の内容を示すテキスト情報を当該文書中のテキストから自然言語処理によって抽出するとともに、前記一部の文書および前記他の一部の文書の画像データから画像の内容を示す特徴量を抽出する登録処理手段１１と、前記一部の文書についてのテキスト情報、および前記一部の文書および前記他の一部の文書についての前記特徴量および前記画像を保管するデータベース１２と、利用者からの検索要求に対して前記データベースのテキストを検索するとともに、検索された画像の特徴量に基づき、前記データベースから特徴量を検索する検索処理手段１３と、利用者が検索要求を発行しまた検索処理手段による検索結果を利用者に提示するユーザインタフェース１４とを備える。【選択図】    図１
2005107931.tif 000002
【特許請求の範囲】
【請求項１】
画像を含む複数の文書から所定の画像を検索するための画像検索装置であって、
一部の文書について、当該文書に含まれる画像の内容を示すテキスト情報を当該文書中のテキストから自然言語処理によって抽出するテキスト情報抽出手段と、
前記一部の文書および前記他の一部の文書の画像データから画像の内容を示す特徴量を抽出する画像特徴量抽出手段と、
前記一部の文書についてのテキスト情報、および前記一部の文書および前記他の一部の文書についての前記特徴量および前記画像を保管するデータベースと、
利用者がテキストまたはキーワードによる検索要求を発行する検索要求発行手段と、
検索要求に対して前記データベースのテキストを検索するテキスト検索処理実行手段と、
検索された画像の特徴量に基づき、前記データベースから特徴量を検索し類似する特徴量の画像を検索する画像検索処理実行手段と、
テキスト検索処理実行手段および画像検索処理実行手段による検索結果を利用者に提示する検索結果提示手段と、
を備えたことを特徴とする画像検索装置。
【請求項２】
前記テキスト検索処理実行手段により検索されたテキストと、それに対応付けられている画像を、複数、画面に表示し、利用者に当該画像を選択させ、当該選択画像に基づき前記画像検索処理実行手段が前記特徴量の画像の検索を行うことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記テキスト検索処理実行手段による検索において複数の画像が検索されたときは、各画像ごとにテキスト検索処理実行手段による検索結果を表示することを特徴とする請求項１または２に記載の画像検索装置。
【請求項４】
画像を含む複数の文書から所定の画像を検索するための画像検索装置であって、
前記文書に含まれる画像にかかる画像データから画像の内容を示すテキスト情報を自然言語処理によって抽出するテキスト情報抽出手段と、
前記文書に含まれる画像にかかる画像データから画像の内容を示す特徴量を抽出するとともに、利用者が入力した任意の画像について特徴量を抽出する特徴量抽出手段と、
前記テキスト情報、前記特徴量および前記画像を保管するデータベースと、
前記データベースから類似する特徴量を検索する特徴量検索手段と、
前記特徴量検索手段により検索した特徴量に対応するテキスト情報を利用者に提示する検索結果提示手段と、
を備えたことを特徴とする画像検索装置。
【請求項５】
前記特徴量検索手段により検索された画像と、それに対応付けられたテキスト情報とを画面に表示する確認情報表示手段を備え、
利用者の操作により画像とテキストとの対応付けを解除する特徴量・テキスト対応解除手段、および／または、
画像とテキストにその対応付けの確信度を設定し、または設定した値を変更する特徴量・テキスト対応確信度設定手段、
を備えたことを特徴とする請求項４に記載の画像検索装置。
【請求項６】
複数の言語に対応し、一つの特徴量に対して各言語ごとにテキストをマップし検索することを特徴とする請求項１から５の何れかに記載の画像検索装置。
【請求項７】
前記テキストと前記特徴量との関連付けを自動的に行なう自動関連付け手段を備えるとともに、利用者が当該関連付け行なうことための編集手段を備えたことを特徴とする請求項１から６の何れかに記載の画像検索装置。
【請求項８】
テキストと特徴量の他に、そのテキストや特徴量が出現したコンテキスト情報を保持し、画像検索に際して前記コンテキスト情報をも含めて検索するコンテキスト情報検索手段を備えたことを特徴とする請求項１から７の何れかに記載の画像検索装置。
【請求項９】
画像を含む複数の文書から所定の画像を検索するための画像検索方法であって、
一部の文書について、当該文書に含まれる画像の内容を示すテキスト情報を当該文書中のテキストから自然言語処理によって抽出するテキスト情報抽出ステップと、
前記一部の文書および前記他の一部の文書の画像データから画像の内容を示す特徴量を抽出する画像特徴量抽出ステップと、
前記一部の文書についてのテキスト情報、および前記一部の文書および前記他の一部の文書についての前記特徴量および前記画像をデータベースに保管するデータベース保管ステップと、
利用者が発行したテキストまたはキーワードによる検索要求に対して前記データベースのテキストを検索するテキスト検索処理実行ステップと、
検索された画像の特徴量に基づき、前記データベースから特徴量を検索し類似する特徴量の画像を検索する画像検索処理実行ステップと、
テキスト検索処理実行ステップおよび画像検索処理実行ステップにおける検索結果を利用者に提示する検索結果提示ステップと、
を備えたことを特徴とする画像検索方法。
【請求項１０】
前記テキスト検索処理実行ステップにおいて検索されたテキストと、それに対応付けられている画像を、複数、画面に表示し、利用者に当該画像を選択させ、当該選択画像に基づき前記画像検索処理実行ステップにおいて前記特徴量の画像の検索を行うことを特徴とする請求項９に記載の画像検索方法。
【請求項１１】
前記テキスト検索処理実行ステップにおける検索において複数の画像が検索されたときは、各画像ごとにテキスト検索処理実行ステップにおける検索結果を表示することを特徴とする請求項９または１０に記載の画像検索方法。
【請求項１２】
画像を含む複数の文書から所定の画像を検索するための画像検索方法であって、
前記文書に含まれる画像にかかる画像データから画像の内容を示すテキスト情報を自然言語処理によって抽出するテキスト情報抽出ステップと、
前記文書に含まれる画像にかかる画像データから画像の内容を示す特徴量を抽出するとともに、利用者が入力した任意の画像について特徴量を抽出する特徴量抽出ステップと、
前記テキスト情報、前記特徴量および前記画像をデータベースに保管するデータベース保管ステップと、
前記データベースから類似する特徴量を検索する特徴量検索ステップと、
前記特徴量検索ステップにおいて検索した特徴量に対応するテキスト情報を利用者に提示する検索結果提示ステップと、
を備えたことを特徴とする画像検索方法。
【請求項１３】
前記特徴量検索ステップにおいて検索された画像と、それに対応付けられたテキスト情報とを画面に表示する確認情報表示ステップを備え、
利用者の操作により画像とテキストとの対応付けを解除する特徴量・テキスト対応解除ステップ、および／または、
画像とテキストにその対応付けの確信度を設定し、または設定した値を変更する特徴量・テキスト対応確信度設定ステップ、
を備えたことを特徴とする請求項１２に記載の画像検索方法。
【請求項１４】
複数の言語に対応し、一つの特徴量に対して各言語ごとにテキストをマップし検索することを特徴とする請求項９から１３の何れかに記載の画像検索方法。
【請求項１５】
前記テキストと前記特徴量との関連付けを自動的に行なう自動関連付けステップを備えたことを特徴とする請求項９から１４の何れかに記載の画像検索方法。
【請求項１６】
テキストと特徴量の他に、そのテキストや特徴量が出現したコンテキスト情報を保持し、画像検索に際して前記コンテキスト情報をも含めて検索するコンテキスト情報検索ステップを備えたことを特徴とする請求項９から１５の何れかに記載の画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量に存在する文書中の画像を検索し、当該文書データをもとにに画像を認識する画像検索装置および画像検索方法に関する。
【背景技術】
【０００２】
特許文献１では、画像検索装置，画像検索用キーテキストの生成方法、並びにその装置としてコンピュータを機能させるためのプログラムおよびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するもので、文書中の画像をテキストにより検索するものことができる。
【０００３】
また、テキストデータおよび画像特徴量を利用して画像検索を行う従来技術が特許文献２，３，４，５に示されている。
【０００４】
【特許文献１】特開平１１−２５１１３号
【特許文献２】特開２００１−８４２７４号
【特許文献３】特開２０００−４８０４１号
【特許文献４】特開２０００−２５０９４３号
【特許文献５】特開２０００−７６２８７号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の検索技術では、画像に適切なテキストが付与されていない場合にはうまく検索できない問題点があった。
【０００６】
また、特許文献２〜特許文献５の技術では、テキストと画像特徴量の両者を利用して検索する場合でも利用者が指定したテキストおよび画像の画像特徴量を用いて検索するので、テキストが一致するか画像特徴量が類似していなければ検索されない。また、登録画像のテキストが適切に設定されていない場合には、画像特徴量が類似していなければ検索されない。
実際には画像特徴量は類似していなくても画像の意味的内容は類似する場合が少なからずあり、このような場合には特許文献２〜特許文献５の技術では役に立たない。
【０００７】
本発明の目的は、登録画像が適切に設定されていないような画像でも、検索できるようにするとともに、利用者からの検索要求に対して第一段階としてテキストで検索し、第二段階としてテキストで検索された画像に付与されている特徴量で検索できるようにすることにある。
【課題を解決するための手段】
【０００８】
本発明者は、利用者からの一回の検索要求に対して二段階の検索処理を行うことで、利用者が意図する画像を抽出でき、また、利用者が指定したテキストおよび利用者が指定した画像の画像特徴量の両者をキーとして単に検索するのではなく、テキストをキーに検索した結果得られた画像の画像特徴量により検索することで利用者が意図する画像を抽出できるとの知見を得て本発明をなすに至った。
【０００９】
本発明の第１態様の画像検索装置は、画像を含む複数の文書から所定の画像を検索するものであって、一部の文書について、当該文書に含まれる画像の内容を示すテキスト情報を当該文書中のテキストから自然言語処理によって抽出するテキスト情報抽出手段と、前記一部の文書および前記他の一部の文書の画像データから画像の内容を示す特徴量を抽出する画像特徴量抽出手段と、前記一部の文書についてのテキスト情報、および前記一部の文書および前記他の一部の文書についての前記特徴量および前記画像を保管するデータベースと、利用者がテキストまたはキーワードによる検索要求を発行する検索要求発行手段と、検索要求に対して前記データベースのテキストを検索するテキスト検索処理実行手段と、検索された画像の特徴量に基づき、前記データベースから特徴量を検索し類似する特徴量の画像を検索する画像検索処理実行手段と、テキスト検索処理実行手段および画像検索処理実行手段による検索結果を利用者に提示する検索結果提示手段とを備えたことを特徴とする。
本発明の画像検索装置は、各構成要素をサーバに配備し、端末コンピュータ等、携帯型電話機によりサーバにアクセスできる検索システムとして構成することができる。また、データベースとしてＤＶＤ，ＣＤＲＯＭ等を用いたスタンドアローンのシステム、またはデータベースと端末コンピュータとがＬＡＮにより接続されたシステムとして構成することもできる。
【００１０】
第１態様の画像検索装置では、前記テキスト検索処理実行手段により検索されたテキストと、それに対応付けられている画像を、複数、画面に表示し、利用者に当該画像を選択させ、当該選択画像に基づき前記検索処理実行手段が前記特徴量の検索を行うことができる。
【００１１】
また、第１態様の画像検索装置では、テキスト検索処理実行手段による検索において複数の画像が検索されたときは、各画像ごとにテキスト検索処理実行手段による検索結果を表示することもできる。
【００１２】
本発明の第２態様の画像検索装置は、画像を含む複数の文書から所定の画像を検索するためのものであって、前記文書に含まれる画像にかかる画像データから画像の内容を示すテキスト情報を自然言語処理によって抽出するテキスト情報抽出手段と、前記文書に含まれる画像にかかる画像データから画像の内容を示す特徴量を抽出するとともに利用者が入力した任意の画像について特徴量を抽出する特徴量抽出手段と、前記テキスト情報、前記特徴量および前記画像を保管するデータベースと、前記データベースから類似する特徴量を検索する特徴量検索手段と、前記特徴量検索手段により検索した特徴量に対応するテキスト情報を利用者に提示する検索結果提示手段と、を備えたことを特徴とする。
【００１３】
本発明の第２態様の画像検索装置では、前記特徴量検索手段により検索された画像と、それに対応付けられたテキスト情報とを画面に表示する確認情報表示手段を備え、利用者は、前記特徴量による検索が利用者の意図と一致しているか、または、画像（さらに特徴量）とテキストが正しく対応付けられているかを確認し、利用者の操作により画像（さらに特徴量）とテキストとの対応付けを解除する特徴量・テキスト対応解除手段と、および／または、画像（さらに特徴量）とテキストにその対応付けの確信度を設定し、または設定した値を変更する特徴量・テキスト対応確信度設定手段とを備えることができる。
【００１４】
本発明の第１，第２態様の画像検索装置では、複数の言語に対応し、一つの特徴量に対して各言語ごとにテキストをマップし検索することができる。
【００１５】
また、本発明の第１，第２態様の画像検索装置では、前記テキストと前記特徴量との関連付けを自動的に行なう自動関連付け手段を備えるとともに、利用者が当該関連付け行なうことための編集手段を備えることができる。
【００１６】
また、本発明の第１，第２態様の画像検索装置では、テキストと特徴量の他に、そのテキストや特徴量が出現したコンテキスト情報（Ｗｅｂページや文書の種別）を保持し、画像検索に際して前記コンテキスト情報をも含めて検索することができる。
【００１７】
本発明の第３態様の画像検索方法は、画像を含む複数の文書から所定の画像を検索するためのものであって、一部の文書について、当該文書に含まれる画像の内容を示すテキスト情報を当該文書中のテキストから自然言語処理によって抽出するテキスト情報抽出ステップと、前記一部の文書および前記他の一部の文書の画像データから画像の内容を示す特徴量を抽出する画像特徴量抽出ステップと、前記一部の文書についてのテキスト情報、および前記一部の文書および前記他の一部の文書についての前記特徴量および前記画像をデータベースに保管するデータベース保管ステップと、利用者が発行したテキストまたはキーワードによる検索要求に対して前記データベースのテキストを検索するテキスト検索処理実行ステップと、検索された画像の特徴量に基づき、前記データベースから特徴量を検索し類似する特徴量の画像を検索する画像検索処理実行ステップと、テキスト検索処理実行ステップおよび画像検索処理実行ステップにおける検索結果を利用者に提示する検索結果提示ステップとを備えたことを特徴とする。
【００１８】
本発明の第３態様の画像検索方法では、前記テキスト検索処理実行ステップにおいて検索されたテキストと、それに対応付けられている画像を、複数、画面に表示し、利用者に当該画像を選択させ、当該選択画像に基づき前記画像検索処理実行ステップにおいて前記特徴量の画像の検索を行うことができる。
【００１９】
本発明の第３態様の画像検索方法では、前記テキスト検索処理実行ステップにおける検索において複数の画像が検索されたときは、各画像ごとにテキスト検索処理実行ステップにおける検索結果を表示することができる。
【００２０】
本発明の第４態様の画像検索方法は、画像を含む複数の文書から所定の画像を検索するためのものであって、前記文書に含まれる画像にかかる画像データから画像の内容を示すテキスト情報を自然言語処理によって抽出するテキスト情報抽出ステップと、前記文書に含まれる画像にかかる画像データから画像の内容を示す特徴量を抽出するとともに、利用者が入力した任意の画像について特徴量を抽出する特徴量抽出ステップと、前記テキスト情報、前記特徴量および前記画像をデータベースに保管するデータベース保管ステップと、前記データベースから類似する特徴量を検索する特徴量検索ステップと、前記特徴量検索ステップにおいて検索した特徴量に対応するテキスト情報を利用者に提示する検索結果提示ステップとを備えたことを特徴とする。
【００２１】
本発明の第４態様の画像検索方法では、前記特徴量検索ステップにおいて検索された画像と、それに対応付けられたテキスト情報とを画面に表示する確認情報表示ステップを備え、利用者の操作により画像とテキストとの対応付けを解除する特徴量・テキスト対応解除ステップ、および／または、画像とテキストにその対応付けの確信度を設定し、または設定した値を変更する特徴量・テキスト対応確信度設定ステップを備えることができる。
【００２２】
本発明の第３および第４態様の画像検索方法では、複数の言語に対応し、一つの特徴量に対して各言語ごとにテキストをマップし検索することができる。
【００２３】
本発明の第３および第４態様の画像検索方法では、前記テキストと前記特徴量との関連付けを自動的に行なう自動関連付けステップを備えることができる。
【００２４】
本発明の第３および第４態様の画像検索方法では、テキストと特徴量の他に、そのテキストや特徴量が出現したコンテキスト情報を保持し、画像検索に際して前記コンテキスト情報をも含めて検索するコンテキスト情報検索ステップを備えることができる。
【発明の効果】
【００２５】
（１）第１態様および第３態様の発明では、テキストをキーにして画像検索（第一段階の画像検索）を行い、これにより得られた画像の画像特徴量をキーにして次の画像検索（第二段階の画像検索）を行う。このような検索を行なうことにより、一部の登録画像のみに検索のためのテキスト情報があればよく、すべての登録画像にテキスト情報が付与されている必要がない。また、従来技術では、テキストをキーに検索する場合に、画像に対して正しくテキストが付与されていない場合には検索により所望の画像を取得することができないが、本発明では、テキストが正しく付与されていないために、第一段階の画像検索では所望の画像を取得することができなくても、特徴量が類似していれば第二段階の検索で所望の画像を取得できる。これにより、検索の漏れを無くすことができ、検索精度を向上させることができる。
【００２６】
（２）第１態様および第３態様の発明では、利用者に適切な画像を選択させることで、検索精度を向上させることができる。
【００２７】
（３）第１態様および第３態様の発明では、第一段階での検索において複数の画像が検索された場合において、各画像についての第二段階での検索結果を各画像ごとに表示させることで、検索動作を利用者が容易に把握でき、次回の検索時の指定が容易になる。
【００２８】
（４）第２態様および第４態様の発明では、利用者が画像を指定することでその画像の内容を示すテキスト等の情報を取得することが可能である。
【００２９】
（５）第２態様および第４態様の発明では、検索時に利用者が自由に関連付け情報を編集することで検索精度を向上させることができる。
【００３０】
（６）第１から第４態様の発明では、各言語に対応することができる。
【００３１】
（７）第１から第４態様の発明では、利用者が自由に関連付け情報を編集することで検索精度を向上させることが可能である。
【００３２】
（８）第１から第４態様の発明では、コンテキスト情報を追加することでより検索精度を高めることが可能である。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の画像検索装置による検索が最も有効であると考えられるインターネット上での検索について説明する。インターネット上のＨＴＭＬで記述されるページはすべて文書であり（すなわち、文書データにより構成され）、その文書には様々な画像が埋め込まれている（すなわち、リンクされている）。
【００３４】
図１に本発明の画像検索装置の一実施形態を示す。図１において、画像検索装置１は、登録処理手段１１と、データベース１２と、検索処理手段１３と、ユーザインタフェース１４とからなり、画像検索装置１は、インターネット１００に接続されている。登録処理手段１１は、本発明のテキスト情報抽出手段、特徴量抽出手段、自動関連付け手段等として機能する。検索処理手段１３は、本発明のテキスト検索処理実行手段、検索処理実行手段、確認情報表示手段、コンテキスト情報検索手段等として機能する。ユーザインタフェース１４は、本発明の検索要求発行手段と、検索結果提示手段として機能し、確認情報表示手段、特徴量・テキスト対応解除手段、特徴量・テキスト対応確信度設定手段等として機能する。
【００３５】
なお、本発明の画像検索方法におけるテキスト情報抽出ステップ、画像特徴量抽出ステップ、データベース保管ステップ、画像検索処理実行ステップ、検索結果提示ステップは、テキスト情報抽出手段、画像特徴量抽出手段、データベース、画像検索処理実行手段、検索結果提示手段により実現される。また、確認情報表示ステップ、特徴量・テキスト対応解除ステップ、特徴量・テキスト対応確信度設定ステップは、確認情報表示手段、特徴量・テキスト対応解除手段、特徴量・テキスト対応確信度設定手段により実現される。さらに、自動関連付けステップ、コンテキスト情報検索ステップは、自動関連付け手段、コンテキスト情報検索手段により実現される。
【第１実施形態】
【００３６】
第１実施形態におけるデータベースへの登録は以下のように行なわれる。この本実施形態では、登録対象となるＨＴＭＬ文書はインターネット上またはイントラネット上にあると想定するがローカルファイルやデータベース上にＨＴＭＬ文書がある場合にも本発明が適用できる。また、人が予め指定した文書集合を登録してもよいがここではインターネット上でのページの自動取得方法として一般的なクローラ（ロボット）を用いた例を示す。検索に際しては、テキスト情報検索と特徴量検索の二段階での検索が行なわれる。テキスト情報により検索される文書は、可能であれば全文書でもよいし、全文書の一部でもよい。なお、画像特徴量は検索対象全文書から予め抽出しておきデータベースに登録しておく必要がある。図２に登録処理（Ｓ１０１〜Ｓ１０５）の概要を示し、図３に検索処理（Ｓ２０１〜２０４）の概要を示す。
【００３７】
［登録画像選別］
クローラは、インターネット上に存在するページ（ＨＴＭＬ文書）を一つずつ取得し（S１０１）、取得したページから画像を抽出する（S１０２）。すなわち、画像を指定するタグがあるときはその画像を登録画像としてデータベースに登録する（S１０３）。抽出処理が終了したときや、HTML文書に画像が含まれていないときは、次のページを取得し、抽出処理を繰り返す。
【００３８】
ＨＴＭＬに含まれている画像（リンクされている画像）には画像検索の対象とならないような画像（ボタン、背景、罫線など）が存在する。これらの画像は、以下のようにして登録画像から除外する。すなわち、画像のサイズ、アスペクト比、種類といった情報により登録対象画像を選別する。たとえば、画像のサイズが所定サイズよりも小さいものはボタン、チェックボックス等であることが想定されるので登録対象とはしない。また、アスペクト比が大きい画像は罫線であることが想定されるの登録対象とはしない。さらに、ＧＩＦの画像データは装飾の場合が多いので登録画像とはしない。
【００３９】
［テキスト情報抽出］
登録対象となった画像から画像の内容を示すテキスト情報をＨＴＭＬ文書から抽出する（S１０４）。ＨＴＭＬ文書の場合には画像の内容を示す情報がイメージ（ｉｍｇ）タグのａｌｔ属性に記述されているので、これをテキスト情報として抽出する。テキスト情報の抽出には、特開平１１−２５１１３号公報に記載の方法を用いることができる。
【００４０】
また、画像の内容を示すテキスト情報を抽出することもできる。テキスト情報は、自然言語のテキストでもよいし、形態素解析などを用いてキーワードを抽出してもよい。また、特開平１１−２５１１３号に記載の技術のように複数のテキスト情報を抽出し各テキスト情報に重み付けを行なってもよい。
【００４１】
抽出したテキスト情報はデータベースに登録する。テキスト情報の抽出は登録対象となった画像の全てから行う必要はなく、適切なテキストが抽出できなかった場合には後述する特徴量抽出だけを行う。また、テキスト情報を抽出した結果、そのテキスト情報が既に登録されており、当該テキスト情報にかかる画像が多数ある場合には、そのテキスト情報はデータベースに登録してもよいし登録しなくてもよい。
【００４２】
［画像特徴量抽出］
登録対象となった画像データから画像特徴量を抽出する（S１０５）。画像特徴量としてカラーヒストグラムなどの一般的な画像特徴量を利用することができる。たとえば、カラーヒストグラムであれば、当該特徴量はベクトルデータとなる。また、画像全体から画像特徴量を抽出するのではなく、領域識別により抽出した領域（オブジェクト）から画像特徴量を抽出してもよい。抽出した画像特徴量と画像データは、関連付けしてデータベースに登録する。画像データ自体を登録せずに、その画像のＵＲＬを登録してもよい。画像特徴量抽出はテキスト情報と異なりすべての登録対象画像から抽出する必要がある。
【００４３】
以下、テキストによる画像検索について説明する。利用者はテキストにより所望の画像を検索することができる。この検索は利用者の１回の検索要求に対してまずテキストをキーにした画像検索（第一段階の画像検索）を行い、第一段階で検索された画像の特徴量を元にした画像検索（第二段階の画像検索）を行ない、この二段階の検索によって得られた検索結果を利用者に提示する。第二段階の検索では、第一段階で検索された画像にリンク付けされた特徴量をキーに検索を行なう。
【００４４】
［テキスト情報検索］
ユーザインタフェース１４から入力された、自然言語テキストまたはキーワード（検索テキスト）を取得し、自然言語テキストの場合には形態解析によりキーワードを抽出する（S２０１）。キーワードによりデータベース中のテキスト情報を検索する。すなわち、キーワードを含むテキスト情報を全文検索により検索し、検索されたテキスト情報に対応する画像特徴量が特定される。場合によっては複数の画像のテキスト情報が検索されるので、複数の画像特徴量が特定される。また、確信度が指定されている場合には確信度順にソートされ、予め指定された上位数件の画像と限定したり、予め指定された閾値以上の画像に限定したりすることで画像特徴量が特定される。
【００４５】
テキストによって特定された画像特徴量が抽出された画像を一覧し、利用者が意図する画像に類似する画像を明示的に利用者が指定することも可能である。図４にこの表示画面の例を示す。また、図４に示したような画面で検索用の画像の選択だけでなく、利用者が画像とテキストの組み合わせが正しくないことを指定するチェックボックスを加えることも可能である。利用者がそのチェックボックスを指定した場合には、画像とテキストの対応付けを削除（切断）したり、または、確信度を下げる処理をすることにより画像とテキストの対応付けをより正確に変更することが可能となる。
【００４６】
［画像特徴量検索］
テキスト情報検索により特定された問い合わせ画像特徴量に類似する画像特徴量をデータベースから検索する（S２０２）。画像特徴量がカラーヒストグラムのようなベクトルデータであれば類似度は例えばユークリッド距離で計算できる。問い合わせ画像特徴量とデータベース中の全特徴量との類似度を算出し、特徴量を類似度の高い順にソーティングする。テキスト情報検索で複数の画像特徴量が特定されている場合には、類似度を各特徴量の類似度の総和とすることができるし、また、総和とせずに最小の類似度を用いてもよい。
【００４７】
［検索結果表示］
画像特徴量検索でソーティングされた特徴量の順に対応する画像を利用者に表示する（S２０３）。利用者は表示された画像一覧から画像を選択し、画像をデータを取得することが可能である。
画像を選択した場合には単純に検索された画像を一覧するだけではなく、選択された画像ごとに検索した結果の画像を図５のように表示することも可能である。
【００４８】
［確信度更新］
検索結果表示の処理において、利用者により画像が選択されるということは、利用者の指定したテキストと画像が適合していることを意味する。したがって、テキスト情報検索によって特定された画像特徴量とテキスト情報の組み合わせが妥当であると判断できるので、データベースに登録されている画像特徴量とテキスト情報の組み合わせについての確信度を更新する（S２０４）。こうすることによって、確信度の高い組み合わせを優先して検索することになるので検索精度を向上させることができる。
【００４９】
［複数言語対応］
データベースで管理されるテキスト情報は言語ごとにもつことも可能である。つまり、１画像ごとに日本語、英語、フランス語のそれぞれのテキスト情報を有することを特徴とし、いずれの言語で検索することも可能とする。また、日本語で検索された画像を基に画像を特徴量を検索し、その検索された特徴量に対応付けられた英語を検索することも可能である。つまり、日本語に対応する英語を検索することができ、日英辞書のように利用することも可能である。
【００５０】
［特徴量とテキストの関連付けの編集］
検索の精度は特徴量とテキストの関連付けの情報に大きく依存する。この関連付け情報は自動的に抽出されるだけでなく、利用者が明示的に編集することができる。単純に関連付けを一覧して、その関連付けを削除したり、または、関連付けの確信度を変更することができる。
【００５１】
［コンテキスト情報による検索］
テキストと特徴量の関連付けの情報にさらにコンテキスト情報を追加することも可能である。コンテキスト情報はテキストや画像がどのような種別のページで出現したかを示す情報である。Ｗｅｂページや文書にはタイトルやページのテキスト情報からそのテキストの種別が抽出できる。例えば、ページ中のテキストを形態素解析した結果キーワードを抽出し、その結果工学関連のキーワードが多ければ工学関連のページだと判断し関連付け情報にコンテクスト情報として工学を示す値を付与することが可能である。検索時にはテキストだけでなく、コンテキストを選択することを可能とし、指定されたコンテキストと共に関連付け情報を検索することで、より検索精度を高めることができる。
【第２実施形態】
【００５２】
第１実施形態と同様の構成で画像を認識させて画像の内容を示すテキストを表示させることができる。第１実施形態のデータベースはそのまま認識用データベースとして利用できるので第１実施形態と併用することが可能である。登録に関しては第１実施形態と同様なので説明を省略するが、認識のみを目的にする場合には全画像を登録する必要はなく、また、テキスト情報と特徴量を常に両方抽出する必要がある。検索処理の概要を図６（Ｓ３０１〜S３０３）に示す。利用者は認識したい任意の画像を指定し、その画像の内容を示すテキストを取得することが可能である。
【００５３】
［画像特徴量検索］
指定された画像から画像特徴量を抽出し、第１実施形態と同様にデータベースから類似する画像と特徴量を検索する（S３０１）。画像特徴量を抽出する前に、領域抽出を行い領域（物体）を抽出した上で、その領域から画像特徴量を抽出しても良い。なお、確信度が指定されている場合には、検索時には確信度により類似度の重み付けを行う。
【００５４】
［検索結果表示］
類似度が特定の閾値以上或いは予め決められた件数の画像特徴量に対応するテキスト情報の一覧を利用者に提示する（S３０２）。
【００５５】
［確信度更新］
第１実施形態と同様に利用者は適当なテキストを選択することができ、選択されたテキスト情報に対応する確信度を更新する（S３０３）。
【００５６】
［複数言語対応］
第１実施形態と同様にテキストデータには複数の言語を持つことが可能であり、指定された言語による検索結果の表示を可能とする。
【００５７】
［特徴量とテキストの関連付けの編集］
検索の精度は特徴量とテキストの関連付けの情報に大きく依存する。この関連付け情報は自動的に抽出されるだけでなく、利用者が明示的に編集することができる。単純に関連付けを一覧して、その関連付けを削除したり、または、関連付けの確信度を変更することができる。
【００５８】
［コンテキスト情報による検索］
テキストと特徴量の関連付けの情報にさらにコンテキスト情報を追加することも可能である。コンテキスト情報はテキストや画像がどのような種別のページで出現したかを示す情報である。Ｗｅｂページや文書にはタイトルやページのテキスト情報からそのテキストの種別が抽出できる。例えば、ページ中のテキストを形態素解析した結果キーワードを抽出し、その結果工学関連のキーワードが多ければ工学関連のページだと判断し関連付け情報にコンテクスト情報として工学を示す値を付与することが可能である。検索時にはテキストだけでなく、コンテキストを選択することを可能とし、指定されたコンテキストと共に関連付け情報を検索することで、より検索精度を高めることができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の画像検索装置の第１施形態にかかる構成図である。
【図２】図１の実施形態における登録処理を示すフローチャートである。
【図３】図１の実施形態における検索処理を示すフローチャートである。
【図４】第１実施形態における検索結果の一表示例を示す図である。
【図５】第１実施形態における検索結果の他の表示例を示す図である。
【図６】本発明の画像検索装置の第２実施形態における検索処理を示すフローチャートである。
【符号の説明】
【００６０】
１１  登録処理手段
１２  データベース
１３  検索処理手段
１００  インターネット
【図１】
2005107931.tif 000003
【図２】
2005107931.tif 000004
【図３】
2005107931.tif 000005
【図４】
2005107931.tif 000006
【図５】
2005107931.tif 000007
【図６】
2005107931.tif 000008