(57)【要約】  【課題】所望の画像がインターネット上のどこに掲載されているかを容易に知ることができる。【解決手段】クローリングエンジン１１は、インターネット４０上のウェブページに接続して、そのウェブページのＵＲＬと、そのウェブページに掲載された画像のＵＲＬと、その画像データを取得する。収集された画像のハッシュ値が画像ハッシュ算出装置１２で算出され、そのハッシュ値を、その画像が取得されたウェブページのＵＲＬ、その画像のＵＲＬ等と関連付けて画像ＤＢ３０に格納する。検索装置２３は、画像ハッシュ算出装置２２から出力されたハッシュ値と同一のハッシュ値と一致するハッシュ値が画像ＤＢ３０に含まれるかどうかを検索し、そのハッシュ値に関連付けられたウェブページのＵＲＬと、画像のＵＲＬとを画像ＤＢ３０から取得して、検索結果表示装置２４に表示する。【選択図】  図１
2009282883.tif 000002
【特許請求の範囲】
【請求項１】
クローリング装置と、画像検索装置とで構成された画像検索システムであって、
前記クローリング装置は、
インターネット上からウェブページのＵＲＬと、該ウェブページに含まれる画像とを収集するクローリング手段と、
前記クローリング手段により収集された画像の画像データに基づいて該画像の識別情報を算出する第１の識別情報算出手段と、
前記第１の識別情報算出手段により算出された識別情報と、該識別情報の基となる画像が掲載されていたウェブページのＵＲＬであって、前記クローリング手段により収集されたウェブページのＵＲＬとを関連付けて保存するデータベースと、を備え、
前記画像検索装置は、
検索対象となる画像を取得する検索画像取得手段と、
前記検索画像取得手段により取得された画像から該画像の識別情報を算出する第２の識別情報算出手段と、
前記第２の識別情報算出手段により算出された識別情報と同じ識別情報が前記データベースに含まれるかどうかを検索し、前記第２の識別情報算出手段により算出された識別情報と同じ識別情報が前記データベースに含まれていた場合には、該識別情報に関連付けられたウェブページのＵＲＬを前記データベースから取得する検索手段と、
前記検索手段により取得されたＵＲＬを出力する出力手段と、
を備えたことを特徴とする画像検索システム。
【請求項２】
前記クローリング手段は、前記ウェブページに含まれる画像と共に該画像のＵＲＬを取得し、
前記データベースは、前記クローリング手段により取得された画像のＵＲＬを該画像の識別情報と関連付けて保存し、
前記検索手段は、前記識別情報に関連付けられたウェブページのＵＲＬ及び画像のＵＲＬを前記データベースから取得することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記クローリング装置は、前記クローリング手段により収集された画像に電子透かしが挿入されているかどうか、及び電子透かしが挿入されている場合には当該電子透かしに関する情報を検出する電子透かし検出手段を備え、
前記画像検索装置は、検索対象となる電子透かしに関する情報を取得する電子透かし情報取得手段を備え、
前記データベースは、前記電子透かし検出手段により検出された電子透かしに関する情報を該電子透かしに関する情報が検出された画像の識別情報と関連付けて保存し、
前記検索手段は、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれるかどうかを検索し、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれていた場合には、前記電子透かしに関する情報に関連付けられたウェブページのＵＲＬ及び識別情報を前記データベースから取得することを特徴とする請求項１又は２に記載の画像検索システム。
【請求項４】
前記識別情報は、前記画像に対してハッシュ関数を適用することにより算出されたハッシュ値であることを特徴とする請求項１から３のいずれかに記載の画像検索システム。
【請求項５】
前記識別情報は、前記画像固有の特徴を示す特徴量であることを特徴とする請求項１から３のいずれかに記載の画像検索システム。
【請求項６】
クローリング装置と、画像検索装置とで構成された画像検索システムであって、
前記クローリング装置は、
インターネット上からウェブページのＵＲＬと、該ウェブページに含まれる静止画とを収集するクローリング手段と、
前記クローリング手段により収集された静止画に電子透かしが挿入されているかどうか、及び電子透かしが挿入されている場合には当該電子透かしに関する情報を検出する電子透かし検出手段と、
前記クローリング手段により収集されたウェブページのＵＲＬと、前記電子透かし検出手段により検出された電子透かしに関する情報とを関連付けて保存するデータベースと、を備え、
前記画像検索装置は、
検索対象となる電子透かしに関する情報を取得する電子透かし情報取得手段と、
前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれるかどうかを検索し、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれていた場合には、該電子透かしに関する情報に関連付けられたウェブページのＵＲＬを取得する検索手段と、
前記検索手段により取得されたウェブページのＵＲＬを出力する出力手段と、
を備えたことを特徴とする画像検索システム。
【請求項７】
前記クローリング手段は、前記ウェブページに含まれる画像と共に該画像のＵＲＬを取得し、
前記データベースは、前記クローリング手段により取得された画像のＵＲＬを該画像の電子透かしに関する情報と関連付けて保存し、
前記検索手段は、前記画像の電子透かしに関する情報に関連付けられたウェブページのＵＲＬ及び画像のＵＲＬを前記データベースから取得することを特徴とする請求項６に記載の画像検索システム。
【請求項８】
請求項１から７のいずれかに記載の画像検索システムを構成するクローリング装置。
【請求項９】
請求項１から７のいずれかに記載の画像検索システムを構成する画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像検索システム、クローリング装置及び画像検索装置に係り、特にインターネット上から所望の画像を検索可能な画像検索システム、クローリング装置及び画像検索装置に関する。
【背景技術】
【０００２】
特許文献１には、自然文による検索条件の内容からキーワードを抽出し、キーワードと類似する情報をインターネットから収集した情報が登録されたデータベースから抽出し、その結果をキーワードとの類似度が高い順に並べて表示する発明が開示されている。
【０００３】
特許文献２には、画像、音楽などのメディアデータからテキストデータからなる鍵を抽出し、メディアデータ、鍵、ネットワーク上のサイト等を関連付けたデータベースを構築する発明が開示されている。
【特許文献１】特開２０００−２３１５６９号公報
【特許文献２】特開２０００−７６３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１、２に記載の発明のようなテキストデータを用いて検索を行う方法は、広くインターネット検索の技術分野において既知である。また、イメージ検索のように、テキスト情報からインターネット上の画像を検索することもよく行われている。
【０００５】
しかしながら、上記従来技術では、既に手元にある画像がインターネット上のどこのページに掲載されていたものかを調べることはできないという問題がある。したがって、画像の著作権を所有している著作権者が、自身の所有する画像の違法な転載などを効率よく調べる方法は未だに提供されていない。
【０００６】
本発明はこのような事情に鑑みてなされたもので、所望の画像がインターネット上のどこに掲載されているかを容易に知ることができる画像検索システム、クローリング装置及び画像検索装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の画像検索システムは、クローリング装置と、画像検索装置とで構成された画像検索システムであって、前記クローリング装置は、インターネット上からウェブページのＵＲＬと、該ウェブページに含まれる画像とを収集するクローリング手段と、前記クローリング手段により収集された画像の画像データに基づいて該画像の識別情報を算出する第１の識別情報算出手段と、前記第１の識別情報算出手段により算出された識別情報と、該識別情報の基となる画像が掲載されていたウェブページのＵＲＬであって、前記クローリング手段により収集されたウェブページのＵＲＬとを関連付けて保存するデータベースと、を備え、前記画像検索装置は、検索対象となる画像を取得する検索画像取得手段と、前記検索画像取得手段により取得された画像から該画像の識別情報を算出する第２の識別情報算出手段と、前記第２の識別情報算出手段により算出された識別情報と同じ識別情報が前記データベースに含まれるかどうかを検索し、前記第２の識別情報算出手段により算出された識別情報と同じ識別情報が前記データベースに含まれていた場合には、該識別情報に関連付けられたウェブページのＵＲＬを前記データベースから取得する検索手段と、前記検索手段により取得されたＵＲＬを出力する出力手段と、を備えたことを特徴とする。
【０００８】
請求項１に記載の画像検索システムによれば、インターネット上からウェブページのＵＲＬと、該ウェブページに含まれる画像とを収集し、収集された画像から該画像の識別情報を算出し、算出された識別情報と、該識別情報の基となる画像が掲載されていたウェブページのＵＲＬとを関連付けてデータベースに保存する。そして、検索対象となる画像を取得し、取得された画像から該画像の識別情報を算出し、算出された識別情報と同じ識別情報がデータベースに含まれるかどうかを検索し、算出された識別情報と同じ識別情報がデータベースに含まれていた場合には、この識別情報に関連付けられたウェブページのＵＲＬをデータベースから取得する。これにより、画像自身を検索のクエリーとして、その画像が掲載されているウェブページを検索することができる。そのため、手元にある画像の掲載元を事後的に知ることができる。
【０００９】
請求項２に記載の画像検索システムは、請求項１に記載の画像検索システムにおいて、前記クローリング手段は、前記ウェブページに含まれる画像と共に該画像のＵＲＬを取得し、前記データベースは、前記クローリング手段により取得された画像のＵＲＬを該画像の識別情報と関連付けて保存し、前記検索手段は、前記識別情報に関連付けられたウェブページのＵＲＬ及び画像のＵＲＬを前記データベースから取得することを特徴とする。
【００１０】
請求項２に記載の画像検索システムによれば、識別情報と関連付けてその画像のＵＲＬがデータベースに保存され、検索対象の画像の識別情報と同じ識別情報がデータベースに含まれていた場合には、この識別情報に関連付けられたウェブページのＵＲＬ及び画像のＵＲＬをデータベースから取得する。これにより、検索された画像のインターネット上での利用、転載の状況を知ることができる。
【００１１】
請求項３記載の画像検索システムは、請求項１又は２に記載の画像検索システムにおいて、前記クローリング装置は、前記クローリング手段により収集された画像に電子透かしが挿入されているかどうか、及び電子透かしが挿入されている場合には当該電子透かしに関する情報を検出する電子透かし検出手段を備え、前記画像検索装置は、検索対象となる電子透かしに関する情報を取得する電子透かし情報取得手段を備え、前記データベースは、前記電子透かし検出手段により検出された電子透かしに関する情報を該電子透かしに関する情報が検出された画像の識別情報と関連付けて保存し、前記検索手段は、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれるかどうかを検索し、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれていた場合には、前記電子透かしに関する情報に関連付けられたウェブページのＵＲＬ及び識別情報を前記データベースから取得することを特徴とする。
【００１２】
請求項３に記載の画像検索システムによれば、画像の識別情報と関連付けてその画像から検出された電子透かしに関する情報がデータベースに保存される。検索対象となる電子透かしに関する情報を取得し、取得された電子透かしに関する情報と同じ情報がデータベースに含まれていた場合には、この電子透かしに関する情報に関連付けられたウェブページのＵＲＬ及び識別情報をデータベースから取得する。これにより、画像に文字が上書きされる、画像がトリミングされるなどの加工が行われた場合においても、その画像が掲載されているウェブページを検索することができる。そのため、手元にある画像の掲載元を事後的に知ることができる。
【００１３】
請求項４に記載の画像検索システムは、請求項１から３のいずれかに記載の画像検索システムにおいて、前記識別情報は、前記画像に対してハッシュ関数を適用することにより算出されたハッシュ値であることを特徴とする。これにより、同一の画像が掲載されているウェブページを確実に検索することができる。
【００１４】
請求項５に記載の画像検索システムは、請求項１から３のいずれかに記載の画像検索システムにおいて、前記識別情報は、前記画像固有の特徴を示す特徴量であることを特徴とする。これにより、同一の画像のみでなく、画像の拡大、縮小や、保存の形式（例えばjpeg形式からbmp形式）の変更などの処理が行われることによりデータとしては異なるが、ユーザから見て区別がつかない画像が掲載されたウェブページについても確実に検索することができる。
【００１５】
請求項６に記載の画像検索システムは、クローリング装置と、画像検索装置とで構成された画像検索システムであって、前記クローリング装置は、インターネット上からウェブページのＵＲＬと、該ウェブページに含まれる静止画とを収集するクローリング手段と、前記クローリング手段により収集された静止画に電子透かしが挿入されているかどうか、及び電子透かしが挿入されている場合には当該電子透かしに関する情報を検出する電子透かし検出手段と、前記クローリング手段により収集されたウェブページのＵＲＬと、前記電子透かし検出手段により検出された電子透かしに関する情報とを関連付けて保存するデータベースと、を備え、前記画像検索装置は、検索対象となる電子透かしに関する情報を取得する電子透かし情報取得手段と、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれるかどうかを検索し、前記電子透かし情報取得手段により取得された電子透かしに関する情報と同じ情報が前記データベースに含まれていた場合には、該電子透かしに関する情報に関連付けられたウェブページのＵＲＬを取得する検索手段と、前記検索手段により取得されたウェブページのＵＲＬを出力する出力手段と、を備えたことを特徴とする。
【００１６】
請求項６に記載の画像検索システムによれば、インターネット上からウェブページのＵＲＬと、そのウェブページに含まれる静止画とを収集し、収集された静止画に電子透かしが挿入されているかどうか、及び電子透かしが挿入されている場合には当該電子透かしに関する情報を検出し、検出された電子透かしに関する情報と、収集されたウェブページのＵＲＬとを関連付けてデータベースに保存する。そして、検索対象となる電子透かしに関する情報を取得し、取得された電子透かしに関する情報と同じ情報がデータベースに含まれるかどうかを検索し、取得された電子透かしに関する情報と同じ情報がデータベースに含まれていた場合には、この電子透かしに関する情報に関連付けられたウェブページのＵＲＬを取得する。これにより、画像に文字が上書きされる、画像がトリミングされるなどの加工が行われた場合においても、その画像が掲載されているウェブページを検索することができる。そのため、手元にある画像の掲載元を事後的に知ることができる。
【００１７】
請求項７に記載の画像検索システムは、請求項６に記載の画像検索システムにおいて、前記クローリング手段は、前記ウェブページに含まれる画像と共に該画像のＵＲＬを取得し、前記データベースは、前記クローリング手段により取得された画像のＵＲＬを該画像の電子透かしに関する情報と関連付けて保存し、前記検索手段は、前記画像の電子透かしに関する情報に関連付けられたウェブページのＵＲＬ及び画像のＵＲＬを前記データベースから取得することを特徴とする。
【００１８】
請求項７に記載の画像検索システムによれば、画像から検出された電子透かしに関する情報と関連付けてその画像のＵＲＬがデータベースに保存される。検出対象として電子透かしに関する情報を取得し、その電子透かしに関する情報と同じ識別情報がデータベースに含まれていた場合には、この電子透かしに関する情報に関連付けられたウェブページのＵＲＬ及び画像のＵＲＬをデータベースから取得する。これにより、検索された画像のインターネット上での利用、転載の状況を知ることができる。
【００１９】
請求項８に記載のクローリング装置は、請求項１から７のいずれかに記載の画像検索システムを構成する。
【００２０】
請求項９に記載の画像検索装置は、請求項１から７のいずれかに記載の画像検索システムを構成する。
【発明の効果】
【００２１】
本発明によれば、所望の画像がインターネット上のどこに掲載されているかを容易に知ることができる。
【発明を実施するための最良の形態】
【００２２】
＜第１の実施の形態＞
図１は、第１の実施の形態に係る画像検索システム１の全体構造の概略図である。画像検索システム１は、主として、クローリング部１０と、検索部２０と、画像ＤＢ（データベース）３０とで構成される。
【００２３】
クローリング部１０は、主として、クローリングエンジン１１と、画像ハッシュ算出装置１２とで構成され、検索部２０は、主として、画像入力装置２１と、画像ハッシュ算出装置２２と、検索装置２３と、検索結果表示装置２４とで構成される。クローリングエンジン１１には、インターネット４０が接続されている。また、クローリングエンジン１１には、画像ＤＢ３０が接続され、画像ＤＢ３０は検索装置２３に接続される。
【００２４】
まず、クローリング部１０について説明する。
【００２５】
クローリングエンジン１１は、インターネット４０上のウェブページに接続して、そのウェブページのＵＲＬを取得する。また、クローリングエンジン１１は、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等で記述されたリンク情報を辿って、ウェブページに掲載された画像のＵＲＬと、その画像データを取得する。
【００２６】
クローリングエンジン１１で収集された画像は、クローリングエンジン１１から画像ハッシュ算出装置１２に出力され、画像ハッシュ算出装置１２においてＭＤ５やＳＨＡ−１といったハッシュ関数を利用してその画像のハッシュ値が算出され、その画像のハッシュ値が画像ハッシュ算出装置１２からクローリングエンジン１１に入力される。
【００２７】
クローリングエンジン１１は、画像のハッシュ値を、その画像が取得されたウェブページのＵＲＬ、その画像のＵＲＬ等と関連付けて画像ＤＢ（データベース）３０に格納する。クローリングエンジン１１は、インターネット４０を自動巡回し、この処理を再帰的に行うことで、画像ＤＢ３０を継続的に増大させる。
【００２８】
画像ＤＢ３０のデータ構造を図２に示す。画像ＤＢ３０は、画像が掲載されているウェブページのＵＲＬと、そのウェブページに掲載されている画像のＵＲＬと、その画像のハッシュ値とを関連付けて保存する。
【００２９】
ハッシュ値は、画像の同一性を検出する指標であり、同じ画像からは同じハッシュ値が算出される。図２に示す場合においては、１行目、４行目及び７行目に同じハッシュ値「１２３４５６７８」が格納されており、この３つが同じ画像であることを示している。
【００３０】
次に、検索部２０について説明する。
【００３１】
画像入力装置２１は、検索対象となる画像を取得し、画像ハッシュ算出装置２２へ出力する。
【００３２】
画像ハッシュ算出装置２２は、画像入力装置２１から出力された画像を入力し、ＭＤ５やＳＨＡ−１といったハッシュ関数を利用してその画像のハッシュ値を算出する。
【００３３】
検索装置２３は、画像ハッシュ算出装置２２から出力されたハッシュ値と同一のハッシュ値と一致するハッシュ値が画像ＤＢ３０に含まれるかどうかを検索し、そのハッシュ値に関連付けられたウェブページのＵＲＬと、画像のＵＲＬとを画像ＤＢ３０から取得する。
【００３４】
例えば、画像入力装置２１で取得された画像から画像ハッシュ算出装置２２においてハッシュ値「１２３４５６７８９」が算出され、画像ハッシュ算出装置２２から検索装置２３にハッシュ値「１２３４５６７８９」が入力されたとする。図２に示すように、画像ＤＢ３０には、ハッシュ値「１２３４５６７８９」が１行目、４行目及び７行目に格納されているため、検索装置２３は、１行目、４行目及び７行目に格納されているウェブページのＵＲＬと、画像のＵＲＬとを画像ＤＢ３０から取得する。
【００３５】
検索装置２３は、この検索結果を一覧形式で検索結果表示装置２４に出力する。検索結果表示装置２４は、カラー表示が可能な液晶ディスプレイであり、検索装置２３から出力された検索結果が検索結果表示装置２４に表示される。
【００３６】
検索結果表示装置２４に表示された検索結果の一例を図３に示す。検索結果表示装置２４には、検索結果として画像ＤＢ３０の１行目に格納されているウェブページのＵＲＬ「http://foo/index.html」及び画像のＵＲＬ「http://foo/img.jpeg」と、４行目に格納されているウェブページのＵＲＬ「http://bar/index.html」及び画像のＵＲＬ「http://foo/img.jpeg」と、７行目に格納されているウェブページのＵＲＬ「http://hoge/img.jpeg」と、画像のＵＲＬ「http://hoge/img2.jpeg」とが一覧表として表示される。
【００３７】
これにより、画像入力装置２１で取得された画像が、３つのウェブページに掲載されていることが分かる。また、ウェブページ「http://foo/img.jpeg」及び「http://bar/index.html」に掲載された画像は、同一画像ＵＲＬ「http://foo/img.jpeg」へのリンクであるが、ウェブページ「http://hoge/img.jpeg」に掲載された画像は、画像のデータそのものがコピーされて転載されていることが分かる。
【００３８】
本実施の形態によれば、キーワードではなく、画像自身を検索のクエリーとして、その画像が掲載されているウェブページを検索することができる。そのため、手元にある画像の掲載元を事後的に知ることができる。また、その画像のインターネット上での利用、転載の状況を知ることができる。
【００３９】
また、本実施の形態によれば、画像自身を検索のクエリーとするため、異なる画像が掲載されたウェブページが検出されることを防止することができる。また、ユーザがキーワード等を入力する必要が無いため、使い勝手を良くすることができる。
【００４０】
なお、本実施の形態では、検索結果として検索結果表示装置２４にウェブページのＵＲＬと、画像のＵＲＬとを表示したが、画像のＵＲＬの表示は必須ではなく、ウェブページのＵＲＬのみを検索結果表示装置２４に表示するようにしてもよい。この場合には、画像が掲載されているウェブページのＵＲＬと、その画像のハッシュ値とを関連付けて画像ＤＢ３０に保存しておけばよい。
【００４１】
なお、本実施の形態は、静止画のみではなく、動画にも適用することができるし、音楽などの画像以外の各種コンテンツにも適用することができる。
【００４２】
＜第２の実施の形態＞
第１の実施の形態では、ハッシュ値に基づいて画像が掲載されているウェブページを検索したが、画像自身を検索のクエリーとしてその画像が掲載されているウェブページを検索する方法はこれに限らない。
【００４３】
第２の実施の形態は、画像の図柄、色、明るさなどの画像固有の特徴を示す特徴量に基づいて、画像が掲載されているウェブページを検索する形態である。以下、第２の実施の形態に係る画像検索システム２について説明する。以下、第１の実施の形態と同一の部分については、同一の符号を付し、詳細な説明を省略する。
【００４４】
図４に示すように、画像検索システム２は、主として、クローリング部１０−１と、検索部２０−１と、画像ＤＢ３１とで構成される。クローリング部１０−１は、主として、クローリングエンジン１３と、画像特徴量算出装置１４とで構成され、検索部２０−１は、主として、画像入力装置２１と、画像特徴量算出装置２５と、類似検索装置２６と、検索結果表示装置２４とで構成される。クローリングエンジン１１には、インターネット４０が接続されている。クローリングエンジン１１には、画像ＤＢ３１が接続され、画像ＤＢ３１は類似検索装置２６に接続される。
【００４５】
まず、クローリング部１０−１について説明する。
【００４６】
クローリングエンジン１３は、インターネット４０の電子文書に接続して、そのウェブページのＵＲＬを取得する。また、クローリングエンジン１３は、ＨＴＭＬ等で記述されたリンク情報を辿って、ウェブページに掲載された画像のＵＲＬと、その画像データを取得する。クローリングエンジン１３で収集された画像は、クローリングエンジン１３から画像特徴量算出装置１４に出力される。
【００４７】
画像特徴量算出装置１４は、クローリングエンジン１３から入力された画像の特徴量を算出する。特徴量とは、画像の図柄、色、明るさなどの画像固有の特徴を表す値であり、例えば多次元のベクトルで与えられる。画像特徴量算出装置１４は、例えば、図５に示すように、画像を４つに分割したときの左上の領域（領域１）、左下の領域（領域２）、右上の領域（領域３）及び右下の領域（領域４）と、画像の中心部の領域（領域５）との５個の領域の色（例えばＹ成分）の平均値を算出し、領域１、領域２、領域３、領域４及び領域５の色の平均値を用いた５次元のベクトルを特徴量として算出する。
【００４８】
［数１］
特徴量＝（領域１の平均値、領域２の平均値、領域３の平均値、領域４の平均値、領域５の平均値）
これにより、画像の図柄、色、明るさなどが同一、又はユーザから見て区別がつかない程度に図柄、色、明るさなどが異なる画像（類似画像）であれば、同一又は略同一（±１桁程度の多少の誤差を有する）の特徴量を算出することができる。すなわち、画像の拡大、縮小や、保存の形式（例えばjpeg形式からbmp形式）の変更などの処理が行われていたとしても、ユーザから見て区別がつかないのであれば、同一又は略同一の特徴量を算出することができる。
【００４９】
画像特徴量算出装置１４で算出された特徴量は、クローリングエンジン１３に出力される。クローリングエンジン１３は、画像の特徴量を、その画像が取得されたウェブページのＵＲＬ、その画像のＵＲＬ等と関連付けて画像ＤＢ３１に格納する。クローリングエンジン１３は、インターネット４０を自動巡回し、この処理を再帰的に行うことで、画像ＤＢ３１を継続的に増大させる。
【００５０】
画像ＤＢ３１のデータ構造を図６に示す。画像ＤＢ３１は、画像が掲載されているウェブページのＵＲＬと、そのウェブページに掲載されている画像のＵＲＬと、その画像の特徴量とを関連付けて保存する。
【００５１】
次に、検索部２０−１について説明する。
【００５２】
画像特徴量算出装置２５は、画像特徴量算出装置１４と同様の方法により、画像入力装置２１から出力された画像から特徴量を算出する。
【００５３】
類似検索装置２６は、画像特徴量算出装置２５から出力された特徴量と同一又は略同一の特徴量が画像ＤＢ３１に含まれるかどうかを検索し、その特徴量に関連付けられたウェブページのＵＲＬと、画像のＵＲＬとを画像ＤＢ３１から取得する。
【００５４】
例えば、画像入力装置２１で取得された画像から画像特徴量算出装置２５において特徴量「１２３４５」が算出され、画像特徴量算出装置２５から類似検索装置２６に特徴量「１２３４５」が入力されたとする。図６に示すように、画像ＤＢ３１には、特徴量「１２３４５」が１行目、４行目及び７行目に格納されているため、類似検索装置２６は、１行目、４行目及び７行目に格納されているウェブページのＵＲＬと、画像のＵＲＬとを画像ＤＢ３１から取得する。
【００５５】
この時、±１桁程度の多少の誤差を許容し、同一及び略同一の特徴量に関連付けられたウェブページのＵＲＬと、画像のＵＲＬとを取得する。これにより、拡大・縮小などの加工が行われたがユーザから見て元の画像と区別がつかないような類似画像と関連付けられたウェブページのＵＲＬと、画像のＵＲＬとを確実に取得することができる。
【００５６】
類似検索装置２６は、この検索結果を一覧形式で検索結果表示装置２４に出力する。検索結果表示装置２４は、カラー表示が可能な液晶ディスプレイであり、類似検索装置２６から出力された検索結果が検索結果表示装置２４に表示される。
【００５７】
本実施の形態によれば、キーワードではなく、画像自身を検索のクエリーとして、その画像が掲載されているウェブページを検索することができる。そのため、手元にある画像の掲載元を事後的に知ることができる。また、その画像のインターネット上での利用、転載の状況を知ることができる。
【００５８】
また、本実施の形態によれば、画像自身を検索のクエリーとするため、異なる画像が掲載されたウェブページが検出されることを防止することができる。また、ユーザがキーワード等を入力する必要が無いため、使い勝手を良くすることができる。
【００５９】
また、本実施の形態によれば、画像自体の特徴を示す特徴量に基づいて検索を行うため、画像の拡大、縮小や、保存の形式（例えばjpeg形式からbmp形式）の変更などの処理が行われたとしても、ユーザから見て区別がつかないがデータとしては異なる画像が掲載されたウェブページについても確実に検索することができる。
【００６０】
なお、本実施の形態では、特徴量として多次元のベクトルを用いたが、これに限らず、５文字〜１００文字程度で構成される様々な形式のものを用いることができる。
【００６１】
また、本実施の形態では、検索結果としてウェブページのＵＲＬと、画像のＵＲＬとを出力したが、ウェブページのＵＲＬのみを出力するようにしてもよい。
【００６２】
なお、本実施の形態は、静止画のみではなく、動画のキーフレームにも適用することができる。
【００６３】
＜第３の実施の形態＞
第１の実施の形態及び第２の実施の形態では、ハッシュ値や特徴量という画像のデータから算出された識別情報に基づいて画像が掲載されているウェブページを検索した。これらの方法は簡易で確実な方法ではあるが、画像に文字を上書きするなどの加工がされた場合には対応することができない。
【００６４】
第３の実施の形態は、画像に埋め込まれた電子透かしに基づいて画像が掲載されているウェブページを検索する形態である。以下、第３の実施の形態に係る画像検索システム３について説明する。以下、第１の実施の形態と同一の部分については、同一の符号を付し、詳細な説明を省略する。
【００６５】
図７に示すように、画像検索システム３は、主として、クローリング部１０−２と、検索部２０−２と、画像ＤＢ３２とで構成される。クローリング部１０−２は、主として、クローリングエンジン１５と、透かし検出装置１６とで構成され、検索部２０−２は、主として、透かし情報入力装置２７と、検索装置２８と、検索結果表示装置２４とで構成される。クローリングエンジン１５には、インターネット４０が接続されている。クローリングエンジン１５には、画像ＤＢ３２が接続され、画像ＤＢ３２は検索装置２８に接続される。
【００６６】
まず、クローリング部１０−２について説明する。
【００６７】
クローリングエンジン１５は、インターネット４０の電子文書に接続して、そのウェブページのＵＲＬを取得する。また、クローリングエンジン１５は、ＨＴＭＬ等で記述されたリンク情報を辿って、ウェブページに掲載された画像のＵＲＬと、その画像データを取得する。クローリングエンジン１５で収集された画像は、クローリングエンジン１５から透かし検出装置１６に出力される。
【００６８】
透かし検出装置１６は、クローリングエンジン１５から入力された画像に電子透かしが埋め込まれているか、電子透かしが埋め込まれている場合にはどのような電子透かしが埋め込まれているかを検出する。電子透かしを検出する方法については、様々な方法が公知となっているため、説明を省略する。透かし検出装置１６で電子透かしが検出された場合には、検出された電子透かしの文字列がクローリングエンジン１５に出力される。
【００６９】
クローリングエンジン１５は、透かし検出装置１６で電子透かしが検出された場合には、検出された電子透かしの文字列を、その画像が取得されたウェブページのＵＲＬ、その画像のＵＲＬ等と関連付けて画像ＤＢ３２に格納し、透かし検出装置１６で電子透かしが検出されなかった場合には、その画像が取得されたウェブページのＵＲＬと、その画像のＵＲＬとを関連付けて画像ＤＢ３２に格納する。クローリングエンジン１５は、インターネット４０を自動巡回し、この処理を再帰的に行うことで、画像ＤＢ３２を継続的に増大させる。
【００７０】
画像ＤＢ３２のデータ構造を図８に示す。画像ＤＢ３２は、画像が掲載されているウェブページのＵＲＬと、そのウェブページに掲載されている画像のＵＲＬと、その画像に埋め込まれた電子透かしの文字列とを関連付けて保存する。図８に示す場合においては、１行目、２行目、４行目、６行目及び７行目には、「Copyright  fujifilm」という文字列が格納されており、この５つの画像からは「Copyright  fujifilm」という文字列からなる電子透かしが検出されたことを示している。また、３行目及び５行目は、電子透かしの文字列が格納されておらず、この２つの画像からは電子透かしが検出されなかったことを示している。
【００７１】
次に、検索部２０−２について説明する。
【００７２】
透かし情報入力装置２７は、検出対象となる画像に埋め込まれた電子透かしに関する情報、例えば電子透かしの文字列を入力する。
【００７３】
検索装置２８は、透かし情報入力装置２７から出力された文字列と同一の文字列が画像ＤＢ３２に含まれるかどうかを検索し、その文字列に関連付けられたウェブページのＵＲＬと、画像のＵＲＬとを画像ＤＢ３２から取得する。
【００７４】
例えば、透かし情報入力装置２７から検索装置２８に「Copyright  fujifilm」という文字列が入力されたとする。図８に示すように、画像ＤＢ３２には、「Copyright  fujifilm」という文字列が１行目、２行目、４行目、６行目及び７行目に格納されているため、検索装置２８は、１行目、２行目、４行目、６行目及び７行目に格納されているウェブページのＵＲＬと、画像のＵＲＬとを取得する。
【００７５】
検索装置２８は、この検索結果を一覧形式で検索結果表示装置２４に出力する。検索結果表示装置２４は、カラー表示が可能な液晶ディスプレイであり、検索装置２８から出力された検索結果が検索結果表示装置２４に表示される。
【００７６】
本実施の形態によれば、電子透かしを用いることで、画像に文字が上書きされる、画像がトリミングされるなどの加工が行われた場合においても、その画像が掲載されているウェブページを検索することができる。そのため、手元にある画像の掲載元を事後的に知ることができる。また、その画像のインターネット上での利用、転載の状況を知ることができる。
【００７７】
なお、本実施の形態では、電子透かしが検出されなかった画像についても画像ＤＢに保存したが、電子透かしが検出された画像のみを画像ＤＢに保存するようにしてもよい。
【００７８】
なお、本実施の形態は、第１の実施の形態や第２の実施の形態と組み合わせて用いることでより精度の高い検出を行うことができる。
【００７９】
なお、本発明は、クローリング部、検索部、画像ＤＢが全て含まれた装置として提供してもよいし、２つ以上の装置からなるシステムとして提供してもよい。また、装置は、ＰＣでもよいし、携帯端末でもよい。また、装置に限らず、装置に適用するプログラムとして提供することもできる。
【図面の簡単な説明】
【００８０】
【図１】本発明が適用された画像検索システム１の概略図である。
【図２】画像検索システム１の画像ＤＢ３０に保存されるデータの一例である。
【図３】画像検索システム１の検索結果の表示例である。
【図４】本発明が適用された画像検索システム２の概略図である。
【図５】特徴量の算出について説明する図である。
【図６】画像検索システム２の画像ＤＢ３１に保存されるデータの一例である。
【図７】本発明が適用された画像検索システム３の概略図である。
【図８】画像検索システム３の画像ＤＢ３２に保存されるデータの一例である。
【符号の説明】
【００８１】
１、２、３：画像検索システム、１０、１０−１、１０−２：クローリング部、１１、１３、１５：クローリングエンジン、１２：画像ハッシュ算出装置、１４：画像特徴量算出装置、１５：入力部、１６：透かし検出装置、２０、２０−１、２０−２：検索部、２１：画像入力装置、２２：画像ハッシュ算出装置、２３、２８：検索装置、２４：検索結果表示装置、２５：画像特徴量算出装置、２６：類似検索装置、２７：透かし情報入力装置、３０、３１、３２：画像ＤＢ、４０：インターネット
【図１】
2009282883.tif 000003
【図２】
2009282883.tif 000004
【図３】
2009282883.tif 000005
【図４】
2009282883.tif 000006
【図５】
2009282883.tif 000007
【図６】
2009282883.tif 000008
【図７】
2009282883.tif 000009
【図８】
2009282883.tif 000010