(57)【要約】      （修正有）【課題】画像によって関連する文字の情報を検索することができる検索システム及びその検索方法を提供する。【解決手段】ウェブページの検索エンジンを利用して送られた画像を受信する受信モジュールと、受信した画像の特徴を分析し、類似度の数値によって、画像データベースから類似度の数値が高い順に並べられているＮ個の類似画像の一つ前のＮ−１個の類似画像を抽出する分析モジュールと、ウェブページにおける類似画像が位置する位置データと、類似画像の周辺に記載されている文字データを抽出する抽出モジュールと、抽出した文字データからスコアリングを計算するスコアリングモジュールと、抽出したＮ個の名詞或いは名詞句をキーワードとして、検索エンジンに入力して関連する全文を検索し、且つ検索の結果をユーザに送信する検索モジュールと、を備える。【選択図】図２
2014102827.tif 000002
【特許請求の範囲】
【請求項１】
検索システムにおいて、
ユーザが端末装置によって、ウェブページに登録し、そのウェブページの検索エンジンを利用して送られた画像を受信する受信モジュールと、
受信した画像の特徴を分析し、その特徴を基に、画像データベースの全ての画像の類似度を計算し、計算した類似度の数値によって、前記画像データベースから類似度の数値が高い順に並べられている複数の類似画像中の類似度の数値が高い順に前のＮ個の類似画像を抽出する分析モジュールと、抽出したＮ個の類似画像が掲載されている１つ或いは複数のファイルを抽出し、前記ウェブページにおける前記類似画像が位置する位置データと、前記類似画像の付近に記載されている文字データを抽出する抽出モジュールと、
抽出した文字データから名詞或いは名詞句のスコアリングの数値を計算し、各名詞或いは名詞句のスコアリングを計算するスコアリングモジュールと、
前記スコアリングの数値によって、スコアリングの数値が高い順にＮ個の名詞或いは名詞句を抽出し、抽出したＮ個の名詞或いは名詞句をキーワードとして、検索エンジンに入力して関連する全文を検索し、且つ検索の結果をユーザに送信する検索モジュールと、
を備えることを特徴とする検索システム。
【請求項２】
前記画像の特徴は、色調、輪郭、形状であることを特徴とする請求項１に記載の検索システム。
【請求項３】
前記画像データベースには、各画像が掲載されているウェブページのＵＲＬ及び画像がウェブページに位置する位置データが記録されていることを特徴とする請求項１に記載の検索システム。
【請求項４】
前記スコアリングの数値は、ＳＩＦＴ画像処理方法によって計算することを特徴とする請求項１に記載の検索システム。
【請求項５】
前記スコアリングモジュールは、対応するファイルにおける取得したＮ個の類似画像の位置によって、名詞或いは名詞句のスコアリングの数値を調整することを特徴とする請求項１に記載の検索システム。
【請求項６】
検索方法において、
ユーザが端末装置によって、ウェブページに登録し、そのウェブページの検索エンジンを利用して送られた画像を受信する受信ステップと、
受信した画像の特徴を分析し、その特徴を基に、画像データベースの全ての画像の類似度を計算し、計算した類似度の数値によって、前記画像データベースから類似度の数値が高い順に並べられている複数の類似画像中の類似度の数値が高い順に前のＮ個の類似画像で抽出する分析ステップと、抽出したＮ個の類似画像が掲載されている１つ或いは複数のファイルを抽出し、前記ウェブページにおける前記類似画像が位置する位置データと、前記類似画像の付近に記載されている文字データを抽出する抽出ステップと、
抽出した文字データから名詞或いは名詞句のスコアリングの数値を計算し、各名詞或いは名詞句のスコアリングを計算するスコアリングステップと、
前記スコアリングの数値によって、スコアリングの数値が高い順にＮ個の名詞或いは名詞句を抽出し、抽出したＮ個の名詞或いは名詞句をキーワードとして、検索エンジンに入力して関連する全文を検索し、且つ検索の結果をユーザに送信する検索ステップと、
を備えることを特徴とする検索方法。
【請求項７】
前記画像の特徴は、色調、輪郭、形状であることを特徴とする請求項６に記載の検索方法。
【請求項８】
前記画像データベースには、各画像が掲載されているウェブページのＵＲＬ及び画像がウェブページに位置する位置データが記録されていることを特徴とする請求項６に記載の検索方法。
【請求項９】
前記スコアリングの数値は、ＳＩＦＴ画像処理方法によって計算することを特徴とする請求項６に記載の検索方法。
【請求項１０】
前記スコアリングステップには、さらに対応するファイルにおける取得したＮ個の類似画像の位置によって、名詞或いは名詞句のスコアリングの数値を調整するステップを備えることを特徴とする請求項６に記載の検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク技術に関し、特に検索システム及びその検索方法に関するものである。
【背景技術】
【０００２】
インターネットが発展するにつれ、現在の人々は、インターネットによって様々な情報を得ることができるので非常に便利である。インターネットには、大量の情報が保存されており、ユーザは検索エンジンを利用して、この大量の情報の中から必要とする情報を容易に検索することができる。
【０００３】
従来の検索エンジンは、ユーザが入力したキーワードを基に、関連する情報を検索し、且つ関連結果をユーザに提供する。現在、大容量の記憶装置、イメージデータ装置（例えば、ビデオカメラ、デジタルカメラ等）の進化に伴い、大量の異なる種類の画像（例えば、科学、医学、地理、生活等に関する画像）得ることができる。しかし、現在、画像によって、必要とする情報を検索することはできない。従って、画像によって必要とする情報を検索することが、現在の検索システムの最大の課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上の問題点に鑑みて、本発明は、画像によって関連する文字の情報を検索することができる検索システム及びその検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明の検索システムは、ユーザが端末装置によって、ウェブページに登録し、そのウェブページの検索エンジンを利用して送られた画像を受信する受信モジュールと、受信した画像の特徴を分析し、その特徴を基に、画像データベースの全ての画像の類似度を計算し、計算した類似度の数値によって、画像データベースから類似度の数値が高い順に並べられている複数の類似画像中の類似度の数値が高い順に前のＮ個の類似画像を抽出する分析モジュールと、抽出したＮ個の類似画像が掲載されている１つ或いは複数のファイルを抽出し、ウェブページにおける類似画像が位置する位置データと、類似画像の付近に記載されている文字データを抽出する抽出モジュールと、抽出した文字データから名詞或いは名詞句のスコアリングの数値を計算し、各名詞或いは名詞句のスコアリングを計算するスコアリングモジュールと、スコアリングの数値によって、スコアリングの数値が高い順にＮ個の名詞或いは名詞句を抽出し、抽出したＮ個の名詞或いは名詞句をキーワードとして、検索エンジンに入力して関連する全文を検索し、且つ検索の結果をユーザに送信する検索モジュールと、を備える。
【０００６】
上記の課題を解決するために、本発明の検索方法は、ユーザが端末装置によって、ウェブページに登録し、そのウェブページの検索エンジンを利用して送られた画像を受信する受信ステップと、受信した画像の特徴を分析し、その特徴を基に、画像データベースの全ての画像の類似度を計算し、計算した類似度の数値によって、画像データベースから類似度の数値が高い順に並べられている複数の類似画像中の類似度の数値が高い順に前のＮ個の類似画像を抽出する分析ステップと、抽出したＮ個の類似画像が掲載されている１つ或いは複数のファイルを抽出し、ウェブページにおける類似画像が位置する位置データと、類似画像の付近に記載されている文字データを抽出する抽出ステップと、抽出した文字データから名詞或いは名詞句のスコアリングの数値を計算し、各名詞或いは名詞句のスコアリングを計算するスコアリングステップと、スコアリングの数値によって、スコアリングの数値が高い順にＮ個の名詞或いは名詞句を抽出し、抽出したＮ個の名詞或いは名詞句をキーワードとして、検索エンジンに入力して関連する全文を検索し、且つ検索の結果をユーザに送信する検索ステップと、を備える。
【発明の効果】
【０００７】
本発明の検索システム及びその検索方法は、画像を基に、容易に必要とするウェブページ及びそのウェブページに記載されている文字を検索することができるため、検索に便利である。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る検索システムの利用環境を示す図である。
【図２】本発明に係る検索システムの機能モジュールの構造図である。
【図３】本発明に係る検索方法の流れ図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本発明に係る検索システム及びその検索方法について詳細に説明する。図１に示したように、本発明の検索システム１０は、アプリケーションサーバ１に用いられる。アプリケーションサーバ１は、ネットを介して、複数の端末装置２と、１つのウェブサーバ３とにそれぞれ通信可能に接続される。前記ネットとは、インターネット、企業内部ネット等である。端末装置２は、パーソナルコンピュータ、タブレットパソコン、ＰＤＡ、携帯電話等の電子端末装置である。
【００１０】
ウェブサーバ３は、ウェブページを閲覧するサービスを提供する。ウェブサーバ３は、ウェブサーバ３の内部に画像データベース４が設置されるか、或いは外部の画像データベース４に接続される。画像データベース４には、ネットの画像が保存されおり、各画像の全てに関連データが備えられている。また、各関連データには、画像が掲載されているウェブページのＵＲＬ、画像がウェブページ上で位置する位置データがそれぞれ備えられている。ウェブサーバ３は、アプリケーションサーバ１から送れてきたウェブページ検索の要求を受信した後、画像データベース４からユーザが送った画像と類似する類似画像を抽出し、類似画像とその類似画像が掲載されているウェブページに記載されている文字データとを組み合わせて、完全なウェブページを形成し、且つその完全なウェブページをアプリケーションサーバ１によって、対応する端末装置２に送信する。他の実施形態において、ウェブサーバ３とアプリケーションサーバ１とを組み合わせて、アプリケーションプログラムサーバを備えた１つのＷｅｂサーバを形成することもできる。
【００１１】
図２に示したように、検索システム１０は、プログラムコードによって組み合わされた複数の機能モジュールを備える。この機能は、ユーザが入力した画像を受信し、且つ該画像の特徴を分析する。分析した特徴を基に、画像データベース４の中から、その画像と類似する複数の画像を抽出し、且つその類似画像が保存されているファイル（例えば、ウェブページ等）を取り出す。さらに、このウェブページから画像が位置する位置データを取得し、且つ画像の付近に記載されている文字データを取得する。次いで、この文字データから名詞或いは名詞句のスコアリングを計算し、スコアリングが高い名詞或いは名詞句をキーワードとして検索を行う。前記名詞は、人或いは物の名詞（例えば、パソコン、ユーザ、ネット等）であり、前記名詞句は、複数の名詞が組み合わされた単語或いは修飾語が付け加えられた名詞（例えば、パソコンネットワーク、権限ユーザ等）である。
【００１２】
検索システム１０のプログラムコードは、アプリケーションサーバ１の記憶ユニット２０に保存され、検索システム１０のプログラムコードの機能は、アプリケーションサーバ１の制御ユニット３０によって実行される。アプリケーションサーバ１の記憶ユニット２０は、スマートメディア、ＳＤメモリーカード、フラッシュカード等の記憶装置である。アプリケーションサーバ１の制御ユニット３０は、ＣＰＵ等である。
【００１３】
図３に示したように、本実施形態において、検索システム１０は、プログラムコードを組み合わせて形成された複数の機能モジュールを備える。この複数の機能モジュールは、それぞれ受信モジュール１００、分析モジュール１０１、抽出モジュール１０２、スコアリングモジュール１０３、及び検索モジュール１０４である。また、実際の要求によって、ステップの順番を変更することもできるし、一部のステップを省略することもできる。
【００１４】
検索方法は、以下のステップ（Ｓ０１〜Ｓ０９）を備える。ステップＳ０１（受信ステップ）において、ユーザが端末装置２のブラウザを介して、検索エンジンに入力された画像を送り、受信モジュール１００は、このユーザが送った画像を受信する。
【００１５】
ステップＳ０２（分析ステップ）において、分析モジュール１０１は、受信した画像の特徴を分析し、その特徴を基に、画像データベース４の全ての画像の類似度を計算する。画像の特徴は、色調、輪郭、形状等である。本実施形態において、画像の特徴の分析及び類似度の計算は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）画像処理方法によって計算する。
【００１６】
ステップＳ０３において、分析モジュール１０１は、計算した類似度の数値によって、画像データベース４の中の類似度の数値が高い順に並べられている複数の類似画像中の類似度の数値が高い順に前のＮ個の類似画像を抽出する。
【００１７】
ステップＳ０４（抽出ステップ）において、抽出モジュール１０２は、画像データベース４に記録されている類似画像データによって、抽出されたＮ個の類似画像が掲載されている１つ或いは複数のファイル（例えば、ウェブページ）を抽出する。画像データベース４の各画像には、各画像の関連データが備わっており、この関連データは、類似画像が掲載されているウェブページのＵＲＬ、類似画像におけるウェブページに位置する位置データが記録されている。
【００１８】
ステップＳ０５において、抽出モジュール１０２は、画像ベータデース４に保存されている類似画像がウェブページに位置する位置データによって、類似画像のウェブページにおける位置を確定する。並びに、該類似画像の付近に記載されている文字データを抽出する。１つのファイルから抽出された文字データは、１段落の文字データである。前記類似画像の付近に記載されている文字データとは、類似画像の上下にそれぞれＭ行或いは左右にそれぞれＭ行記載された文字データのことである。つまり、類似画像を挟んだ文字データである。
【００１９】
ステップＳ０６（スコアリングステップ）において、スコアリングモジュール１０３は、抽出した文字データから名詞或いは名詞句のスコアリングを計算して、各名詞或いは名詞句のスコアリングを計算する。本実施形態において、ＴＦ−ＩＤＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）法によって、名詞或いは名詞句のスコアリングを計算する。ＴＦ−ＩＤＦ法は、情報探索やテキストマイニング等の分野で利用され、抽出した１つの名詞或いは名詞句が１段落の文字の中で有用度がどのくらいであるかを判定する。名詞或いは名詞句の有用度は、１段落中に出現した頻度と正比であるので、名詞或いは名詞句が１段落中に出現した頻度が高いほど有用度は高い。また、複数の段落の文字に出現した頻度とは逆比例であるので、名詞或いは名詞句が複数の段落中に出現した頻度が高いほど有用度は低い。例えば、１段落の文字の中で、名詞或いは名詞句の数が１００であり、その中で名詞である「パソコン」が３回出現した場合、この１段落の文字における名詞「パソコン」の出現頻度は、３／１００＝０．０３である。名詞「パソコン」が、１０００段落の文字の中に出現し、この全文の総段落の数が１０００００００である場合、文書逆頻度は、ＬＯＧ（１０００００００／１０００）＝４である。つまり、名詞の「パソコン」のスコアリングの数値は、０．０３×４＝０．１２である。
【００２０】
他の実施形態において、単語の出現頻度（ＴＦ）のみを採用することもできる。この際、名詞或いは名詞句のその複数の段落で出現する頻度は参考にしない。また、他の実施形態において、Ｂｏｏｌｅａｎ法を採用することもできる。Ｂｏｏｌｅａｎ法は、１段落の文字からランダムに名詞或いは名詞句を抽出し、その名詞或いは名詞句が１段落中に出現する頻度を計算する。
【００２１】
ステップＳ０７において、スコアリングモジュール１０３は、対応するファイルにおける取得したＮ個の類似画像の位置によって、名詞或いは名詞句のスコアリングの数値を調整する。例えば、１つの類似画像が１つのファイルのホームページに掲載されている際、この類似画像は、有用度が高い。１つ或いは複数の名詞或いは名詞句に対応する類似画像が、ホームページに掲載されていれば、スコアリングモジュール１０３は、名詞或いは名詞句のスコアリングの数値に係数を掛ける。例えば、１．１を掛ける。
【００２２】
ステップＳ０８（検索ステップ）において、検索モジュール１０４は、スコアリングの数値によって、スコアリングの数値が高い順にＮ個の名詞或いは名詞句を抽出する。
【００２３】
ステップＳ０９において、検索モジュール１０４は、抽出したＮ個の名詞或いは名詞句をキーワードとして、検索エンジンに入力して関連する全文を検索し、且つ検索の結果をユーザに送信する。
【符号の説明】
【００２４】
１  アプリケーションサーバ
２  端末装置
３  ウェブサーバ
４  画像データベース
１０  検索システム
２０  記憶ユニット
３０  制御ユニット
１００  受信モジュール
１０１  分析モジュール
１０２  抽出モジュール
１０３  スコアリングモジュール
１０４  検索モジュール
【図１】
2014102827.tif 000003
【図２】
2014102827.tif 000004
【図３】
2014102827.tif 000005