(57)【特許請求の範囲】
【請求項１】
画像データベースに新たな画像と前記新たな画像の情報とを書き込む方法であって、
（ａ）前記画像データベースに予め格納されている画像と、入力されたクエリされた画像とを比較して、前記画像データベースに、前記クエリされた画像に類似している画像があるかを検索する段階と、
（ｂ）検索結果として前記クエリされた画像に類似している画像がない場合に、前記クエリされた画像を、認識されなかった画像データベースに格納する段階と、
（ｃ）前記認識されなかった画像データベース内の画像を、類似度に応じて分類して、複数の画像群に体系化する段階と、
（ｄ）特定の画像と前記特定の画像のタグ情報とが外部から入力された場合、前記特定の画像と、体系化された前記複数の画像群における特定の画像群に含まれている少なくともいくつかの画像とを比較して、前記特定の画像群内に、予め設定されている閾値を超える類似度を有している画像があるかを判断して、前記予め設定されている閾値を超える類似度を有していると判断された前記画像のうち少なくとも１つを、外部から入力された前記タグ情報とともに、前記画像データベースに自動的に書き込ませる段階と
を備える方法。
【請求項２】
前記段階（ｄ）で、前記特定の画像と前記特定の画像のタグ情報とが、ウェブクローラまたはユーザ端末から受信される、請求項１に記載の方法。
【請求項３】
前記段階（ａ）で、前記クエリされた画像が入力された場合に、前記クエリされた画像に類似した画像があるかを、前記画像データベースに予め格納されている前記画像の正規化された特徴領域と、前記クエリされた画像の正規化された特徴領域とを比較して検索する、請求項１または２に記載の方法。
【請求項４】
前記段階（ｃ）で、前記類似度は、前記認識されなかった画像データベース内の前記画像の特徴または特徴領域同士を比較して、前記複数の画像群に体系化することで判断される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記段階（ｃ）で、前記特定の画像群から、または、前記認識されなかった画像データベースから、予め定められた数を超える数のデータが収集された場合に、前記段階（ｄ）を実行する、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記段階（ｄ）で、前記特定の画像群内の１つの画像の正規化された特徴領域が、前記特定の画像の正規化された特徴領域と比較され、同じオブジェクトを示すと考えられる少なくとも１対の特徴領域が、前記特定の画像および前記特定の画像群内の前記１つの画像のそれぞれから取得され、前記特定の画像と前記特定の画像群内の前記１つの画像との間の類似度が判断される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記段階（ｄ）で、少なくとも２対の特徴領域が前記特定の画像および前記特定の画像群内の前記１つの画像のそれぞれから取得された場合、前記特定の画像群内の前記１つの画像の少なくとも２つの特徴領域の間の相対的位置関係と、前記特定の画像の少なくとも２つの特徴領域との間の相対的位置関係とを、位相幾何学を利用することで前記特定の画像群内の前記１つの画像と前記特定の画像とが合致するかを判断することで、比較する、請求項６に記載の方法。
【請求項８】
前記段階（ｄ）で、前記特定の画像群内の少なくともいくつかの画像を表すｎ個の代表画像と前記ｎ個の代表画像のタグとを、前記画像データベースに書き込む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ｎ個の代表画像とはそれぞれ異なる視点、それぞれ異なる輝度、またはそれぞれ異なる時間を反映するｍ個のサブ画像をともに書き込む、請求項８に記載の方法。
【請求項１０】
前記ｍ個のサブ画像を追加で書き込むときに、前記ｍ個のサブ画像のタグも前記ｍ個のサブ画像とともに書き込まれる、請求項９に記載の方法。
【請求項１１】
前記ｎ個の代表画像及び前記ｍ個のサブ画像は、少なくとも１つの特徴または特徴領域を共有する、請求項９または１０に記載の方法。
【請求項１２】
前記段階（ａ）（ｂ）（ｃ）及び（ｄ）のうち少なくとも１つは、コンピュータリソースまたはサーバリソースを共有する複数のサーバデバイスを仮想化するクラウドコンピューティングサーバによって実行される、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
画像データベースに新たな画像と前記新たな画像の情報とを書き込むシステムであって、
前記画像データベースに予め格納されている画像と、入力されたクエリされた画像とを比較して、前記画像データベースに、前記クエリされた画像に類似している画像があるかを検索する検索部と、
検索結果として前記クエリされた画像に類似している画像がない場合に、前記クエリされた画像を、認識されなかった画像データベースに格納する、認識されなかった画像格納部と、
前記認識されなかった画像データベース内の画像を、類似度に応じて分類して、複数の画像群に体系化する、認識されなかった画像群体系化部と、
特定の画像と前記特定の画像のタグ情報とが外部から入力された場合、前記特定の画像と、体系化された前記複数の画像群における特定の画像群に含まれている少なくともいくつかの画像とを比較して、前記特定の画像群内に、予め設定されている閾値を超える類似度を有している画像があるかを判断して、前記予め設定されている閾値を超える類似度を有していると判断された前記画像のうち少なくとも１つを、外部から入力された前記タグ情報とともに、前記画像データベースに自動的に書き込ませる、新たな画像書き込み部と
を備えるシステム。
【請求項１４】
前記外部には、クローラまたはユーザ端末が含まれる、請求項１３に記載のシステム。
【請求項１５】
前記クエリされた画像が入力された場合に、前記検索部は、前記クエリされた画像に類似した画像があるかを、前記画像データベースに予め格納されている前記画像の正規化された特徴領域と、前記クエリされた画像の正規化された特徴領域とを比較して検索する、請求項１３または１４に記載のシステム。
【請求項１６】
前記認識されなかった画像格納部は、前記類似度を、前記認識されなかった画像データベース内の前記画像の特徴または特徴領域同士を比較することで、前記複数の画像群に体系化することで判断する、請求項１３から１５のいずれか一項に記載のシステム。
【請求項１７】
前記特定の画像群から、または、前記認識されなかった画像データベースから、予め定められた数を超える数のデータが収集された場合に、前記新たな画像書き込み部は、少なくともいくつかの画像を、入力された前記タグ情報とともに前記画像データベースに書き込む、請求項１３から１６のいずれか一項に記載のシステム。
【請求項１８】
前記新たな画像書き込み部は、前記特定の画像群内の１つの画像の正規化された特徴領域を、前記特定の画像の正規化された特徴領域と比較して、同じオブジェクトを示すと考えられる少なくとも１対の特徴領域を、前記特定の画像および前記特定の画像群内の前記１つの画像のそれぞれから取得して、前記特定の画像と前記特定の画像群内の前記１つの画像との間の類似度を判断する、請求項１３から１７のいずれか一項に記載のシステム。
【請求項１９】
少なくとも２対の特徴領域が前記特定の画像および前記特定の画像群内の前記１つの画像のそれぞれから取得された場合、前記新たな画像書き込み部は、前記特定の画像群内の前記１つの画像の少なくとも２つの特徴領域の間の相対的位置関係と、前記特定の画像の少なくとも２つの特徴領域との間の相対的位置関係とを、位相幾何学を利用することで前記特定の画像群内の前記１つの画像と前記特定の画像とが合致するかを判断することで、比較する、請求項１８に記載のシステム。
【請求項２０】
前記新たな画像書き込み部は、前記特定の画像群内の少なくともいくつかの画像を表すｎ個の代表画像と前記ｎ個の代表画像のタグとを、前記画像データベースに書き込む、請求項１３から１９のいずれか一項に記載のシステム。
【請求項２１】
前記ｎ個の代表画像とはそれぞれ異なる視点、それぞれ異なる輝度、またはそれぞれ異なる時間を反映するｍ個のサブ画像をともに書き込む、請求項２０に記載のシステム。
【請求項２２】
前記ｍ個のサブ画像を追加で書き込むときに、前記ｍ個のサブ画像のタグも前記ｍ個のサブ画像とともに書き込まれる、請求項２１に記載のシステム。
【請求項２３】
前記ｎ個の代表画像及び前記ｍ個のサブ画像は、少なくとも１つの特徴または特徴領域を共有する、請求項２１または２２に記載のシステム。
【請求項２４】
前記システムは、コンピュータリソースまたはサーバリソースを共有する複数のサーバデバイスを仮想化するクラウドコンピューティングサーバによって実行される、請求項１３から２３のいずれか一項に記載のシステム。
【請求項２５】
コンピュータに動作を実行させるプログラムであって、前記動作が、
画像データベースに予め格納されている画像と、入力されたクエリされた画像とを比較して、前記画像データベースに、前記クエリされた画像に類似している画像があるかを検索する手順と、
検索結果として前記クエリされた画像に類似している画像がない場合に、前記クエリされた画像を、認識されなかった画像データベースに格納する手順と、
前記認識されなかった画像データベース内の画像を、類似度に応じて分類して、複数の画像群に体系化する手順と、
特定の画像と前記特定の画像のタグ情報とが外部から入力された場合、前記特定の画像と、体系化された前記複数の画像群における特定の画像群に含まれている少なくともいくつかの画像とを比較して、前記特定の画像群内に、予め設定されている閾値を超える類似度を有している画像があるかを判断して、前記予め設定されている閾値を超える類似度を有していると判断された前記画像のうち少なくとも１つを、外部から入力されたタグ情報とともに、前記画像データベースに自動的に書き込ませる手順と
を含む、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、韓国特許出願第１０−２０１１−００１０６２４（出願日２０１１年２月７日）の優先権を主張しており、このすべての開示を参照としてここに組み込む。
【０００２】
本発明は、新たな画像及びその情報を画像データベースに書き込むための方法、システム、及びコンピュータ可読記録媒体に関しており、より詳しくは、画像データベースを参照してクエリされた画像の結果を検索して、認識されなかった画像とそのタグ情報を画像データベースに追加して、別個のデータベースに対する上述した検索プロセスにも関わらず認識されなかった画像を格納／分類して、自動取得された（たとえばウェブクローリングにより）画像及びそのタグ（またはユーザが手動で提供した画像及びそのタグ）の利用の際に認識されなかった画像を検証する方法、システム、及び、コンピュータ可読記録媒体に関する。
【背景技術】
【０００３】
近年の電話通信技術の開発及びインターネットの普及により、様々な検索方法が採用されるようになっている。たとえば、コンピュータのユーザは、辞書から直接、または、情報に詳しい他人から情報を取得することに加え、インターネットを利用して情報検索を行う場合がある。つまり、ブラウザを利用して、検索サービスを提供しているウェブサーバにアクセスした後で、見つけたい情報に関するキーワードを入力することで、ユーザは検索サービスを提供される。
【０００４】
様々な検索サービスが既に開発されているが、特に韓国では、知識関連の検索がより重要になってきている。したがって、情報取得のための検索サービスの利用が増えてきている。多くのユーザが検索サービスを利用しており、通常はウェブサイトを訪れるユーザ数があれば、広告面での利益に直接結びつくことから、多くのポータルが検索サービスを提供している。
【０００５】
これら検索サービスを提供するウェブサイトの量は増えているが、そのほとんどが、キーワードを含むテキストの検索という同じ検索サービスの提供に終始しており、もっといろいろな方法を利用してより簡単に情報を得たいというユーザの望みは満たしていない。
【０００６】
特に、従来の技術では、所望の情報がテキストではなくて画像の場合、その画像に関連すると思われるキーワードを推定してから、キーワードを入力して検索を行う必要がある。もちろん、検索範囲を設定することで画像に対応する結果のみを示すことはできるが、このような画像検索自身は、キーワードを含むテキストに基づく検索と変わらない。
【０００７】
従来の技術の課題は、ユーザが画像の正体（the identity）がわからない場合、ユーザが関連するキーワードを簡単に推定することができず、所望の画像を入手できない、という点である。
【０００８】
したがって、この課題を解決するために、特定の画像に関する情報の取得を所望するユーザ等に対して、テキストではなくて画像自身を利用することで検索が可能な画像取得システムが開発された。
【０００９】
しかし既存の画像取得システムは以下の課題を有している。１つ目は、画像データベースが、画像取得システムを提供するために多くのデータを必要とする点である。
【００１０】
データベースに十分なデータがない場合、クエリされる画像が入力されても、システムは、しばしば検索結果に関する情報を提供できず、画像データベース内のどの画像ともマッチしない全てのクエリされた画像（つまり、認識されなかった画像）が、再利用されることなく破棄されてきた。この場合には、認識されなかった画像は、手動で画像データベースに反映されない限り、システムは、検索が何度繰り返されても、認識されなかった画像の検索結果に関する情報を提供することができない。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的の１つは、上述した課題すべてを解決することである。
【００１２】
本発明の別の目的は、画像データベースの画像と比較するプロセスを行っても認識されなかったクエリされた画像を、別のデータベースに格納及び分類分けして、ウェブクローリング等の方法によって自動的に取得された画像（またはユーザが手動で提供した画像）及びそのタグ情報（画像に対応する情報）を利用して、認識されなかった画像を検証して、認識されなかった画像（つまり新たに認識された画像）と、タグ情報とを簡単に画像データベースに書き込むことである。
【課題を解決するための手段】
【００１３】
本発明の一態様は、画像データベースに新たな画像と新たな画像の情報とを書き込む方法であって、（ａ）前記画像データベースに予め格納されている画像と、入力されたクエリされた画像とを比較して、画像データベースに、クエリされた画像に類似している画像があるかを検索する段階と、（ｂ）検索結果としてクエリされた画像に類似している画像がない場合に、クエリされた画像を、認識されなかった画像データベースに格納する段階と、（ｃ）認識されなかった画像データベース内の画像を、類似度に応じて分類して、複数の画像群に体系化する段階と、（ｄ）特定の画像と特定の画像のタグ情報とが外部から入力された場合、特定の画像と、体系化された複数の画像群における特定の画像群に含まれている少なくともいくつかの画像とを比較して、特定の画像群内に、予め設定されている閾値を超える類似度を有している画像があるかを判断して、予め設定されている閾値を超える類似度を有していると判断された画像のうち少なくとも１つを、外部から入力されたタグ情報とともに、画像データベースに自動的に書き込ませる段階とを備える方法である。
【００１４】
本発明の他の態様は、画像データベースに新たな画像と新たな画像の情報とを書き込むシステムであって、画像データベースに予め格納されている画像と、入力されたクエリされた画像とを比較して、画像データベースに、クエリされた画像に類似している画像があるかを検索する検索部と、検索結果としてクエリされた画像に類似している画像がない場合に、クエリされた画像を、認識されなかった画像データベースに格納する、認識されなかった画像格納部と、認識されなかった画像データベース内の画像を、類似度に応じて分類して、複数の画像群に体系化する、認識されなかった画像群体系化部と、特定の画像と特定の画像のタグ情報とが外部から入力された場合、特定の画像と、体系化された複数の画像群における特定の画像群に含まれている少なくともいくつかの画像とを比較して、特定の画像群内に、予め設定されている閾値を超える類似度を有している画像があるかを判断して、予め設定されている閾値を超える類似度を有していると判断された画像のうち少なくとも１つを、外部から入力されたタグ情報とともに、画像データベースに自動的に書き込ませる、新たな画像書き込み部とを備えるシステムである。
【図面の簡単な説明】
【００１５】
本発明の上述した、またはその他の目的及び特徴が、添付図面とともに読まれることで以下の好適な実施形態の記載から明らかになる。
【００１６】
【図１】本発明の一実施形態における、画像データベースに新しい画像とその情報とを書き込むためのシステム全体の構成を簡単に示す図である。
【００１７】
【図２】本発明の一実施形態における画像処理システム２００の構成を例示する。
【００１８】
【図３】本発明の一実施形態における、類似度に基づいて、認識されなかった画像データベースに格納されている画像を分類する例を示す。
【００１９】
【図４Ａ】本発明の一実施形態における、類似度に基づいて、認識されなかった画像データベースに格納されている画像を分類することで、１つの画像群をまとめる実施形態を示す。
【図４Ｂ】本発明の一実施形態における、類似度に基づいて、認識されなかった画像データベースに格納されている画像を分類することで、１つの画像群をまとめる実施形態を示す。
【００２０】
【図５Ａ】本発明の一実施形態における、特徴領域を正規化する構成を例示する図を示す。
【図５Ｂ】本発明の一実施形態における、特徴領域を正規化する構成を例示する図を示す。
【図５Ｃ】本発明の一実施形態における、特徴領域を正規化する構成を例示する図を示す。
【図５Ｄ】本発明の一実施形態における、特徴領域を正規化する構成を例示する図を示す。
【００２１】
【図６Ａ】１つの画像群に含まれている１つの画像及びウェブクローラによって収集される画像にそれぞれ含まれる特徴領域の分布を例示する図である。
【図６Ｂ】１つの画像群に含まれている１つの画像及びウェブクローラによって収集される画像にそれぞれ含まれる特徴領域の分布を例示する図である。
【発明を実施するための形態】
【００２２】
本発明の詳細な記載は、本発明が添付請求項に関して実行可能な具体的な実施形態を示している。
【００２３】
以下の詳細な記載において、本発明を実施可能な具体的な実施形態を例として示す添付図面について参照している。これら実施形態は、本発明を当業者に実施させるべく十分詳細に記載されている。本発明の様々な実施形態は、異なってはいるが、必ずしも相互排他的ではない。たとえば、一実施形態との関連でここに記載する具体的な特徴、構造、または特性は、本発明の精神及び範囲を逸脱せずに他の実施形態内に実装することができる。加えて、開示されている各実施形態内の個々のエレメントの位置または配置は、本発明の精神及び範囲を逸脱しなければ修正することができる。したがって以下の詳細な記載は限定的に受け取られるべきではなく、本発明の範囲は、請求項に与えられるものと同様の均等物の全範囲を含み、添付請求項によってのみ定義され、適切に解釈されるべきである。図面においては、参照番号は、図面が異なっていても同じまたは類似した機能を示す。
【００２４】
本発明の目的を達成するための本発明の構成を以下に示す。
【００２５】
＜システム全体の構成＞
図１は、本発明の一実施形態における、画像データベースに新しい画像とその情報とを書き込むためのシステム全体の構成を簡単に示す図である。
【００２６】
図１に示すように、本発明の一実施形態によるシステム全体は、ネットワーク１００、新たな画像及びその情報を画像データベースに書き込むことのできる画像処理システム２００、及び、ユーザ端末３００を含む。
【００２７】
まず、ネットワーク１００は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）等を含む、有線無線を問わない様々なネットワークとして構成されてよい。本発明のネットワーク１００は、より好適には、ワールドワイドウェブ（ｗｗｗ）としてよい。
【００２８】
本発明の一実施形態において、ユーザ端末３００からネットワーク１００経由でクエリされた画像が画像処理システム２００に入力されると、画像処理システム２００は、画像データベースに予め格納されている画像を、クエリされた画像と比較して（つまり、画像データベースに、クエリされた画像に類似している画像があるかを検索する）、検索結果として類似画像がない場合には、クエリされた画像を認識されなかった画像データベースに格納する。この時間で、データベースに予め格納されている画像の正規化された特徴領域を、クエリされた画像のものと比較することで、画像データベースに、クエリされた画像と類似した画像があるかをブラウジングしてよい。
【００２９】
さらに、本発明の一実施形態における画像処理システム２００は、類似度を利用して、認識されなかった画像データベースに格納されている、互いに関連付けられている画像を収集して、１以上の画像群を生成することができる。この時間で、もしも特定の画像及びそのタグ情報が外部から（たとえばウェブクローラまたはユーザ端末から）取得された場合、画像処理システム２００は、上述した１以上の画像群における特定の画像群のうちの複数の画像に、当該特定の画像を比較して、当該特定の画像群のうちの複数の画像のうちの少なくとも一部が、予め設定されている閾値を超える類似度を有するかを判断して、もしも画像が、予め設定されている閾値を超える類似度を有していると判断された場合には、画像処理システム２００が、上述した外部から得た特定の画像群のうちの複数の画像の少なくとも一部及びタグ情報を、後述するような画像データベースに自動的に書き込んでよい。
【００３０】
具体的には、データ（当該特定の画像内のデータ、または、認識されなかった画像データベースに格納されている全てのデータ）が、予め定められたデータ数を超えて収集された場合に、本発明の一実施形態における画像処理システム２００は、特定の画像群のうちの複数の画像の少なくとも一部が、クローリングされたデータ及びユーザが入力したデータの両方または片方に関連しているかを判断することができ、複数の画像の少なくとも一部が関連していると判断される場合には、画像処理システム２００が、画像データベースに、クローリングされたデータ及びユーザが入力したデータの両方または片方に含まれている複数の画像の少なくとも一部と適切なタグ情報とを書き込むことができる。画像処理システム２００の内部構成については、後で詳述する。
【００３１】
本発明の一実施形態のユーザ端末３００は、ユーザに画像処理システム２００にアクセスさせて、システム２００と通信させることができる機能を含むデジタルデバイスであり、計算機能を持つマイクロプロセッサ及びメモリ手段を有しているデジタルデバイス（パソコン（デスクトップ、ラップトップを含む））、ワークステーション、ＰＤＡ、ウェブパッドが、本発明におけるユーザ端末３００として採用されてよい。
【００３２】
＜画像処理システムの構成＞
以下で、本発明の実装の重要な機能及びシステム２００の各コンポーネントの機能を実行するための、画像処理システム２００の内部構成を説明する。
【００３３】
図２は、本発明の一実施形態における画像処理システム２００の内部構成を例示する。
【００３４】
図２によれば、本発明の一実施形態の画像処理システム２００は、検索部２１０、認識されなかった画像格納部２２０、認識されなかった画像群体系化部２３０、新たな画像書き込み部２４０、画像データベース２５０、認識されなかった画像データベース２６０、通信部２７０、及び制御部２８０を含んでよい。
【００３５】
本発明の一実施形態によると、検索部２１０、認識されなかった画像格納部２２０、認識されなかった画像群体系化部２３０、新たな画像書き込み部２４０、画像データベース２５０、認識されなかった画像データベース２６０、通信部２７０、及び制御部２８０は、その少なくとも一部がユーザ端末３００と通信してよいプログラムモジュールであってよい。これらプログラムモジュールは、オペレーティングシステム、アプリケーションプログラムモジュール、その他のプログラムモジュールの形態に含まれていてもよいし、または、当業者であればよく知っている様々な記憶デバイスに、または、端末またはサーバと通信可能な遠隔記憶デバイスに格納されていてもよい。プログラムモジュールは、本発明に記載される具体的なアブストラクトデータの一種または具体的な処理を実行するためのルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、及びデータ構造を含んでよいが、これらに限定はされない。
【００３６】
まず、クエリされた画像が検索部２１０に入力されると、本発明の一実施形態における検索部２１０は、クエリされた画像を、画像データベースに既に格納されているデータと比較して、画像データベース２５０に、クエリされた画像に類似している画像があるか否かを判断する。
【００３７】
具体的には、本発明の一実施形態における検索部２１０は、画像データベースに既に格納されているデータの正規化された特徴領域（１または複数）を、クエリされた画像の正規化された特徴領域（１または複数）と比較して、画像データベース２５０に、クエリされた画像と類似した画像があるかを検索してよい。
【００３８】
ここで検索部２１０、認識されなかった画像群体系化部２３０、及び新たな画像書き込み部２４０は、マッチング処理（つまり比較処理）用に複数の画像から特徴及び特徴領域を予め抽出させることができてよい。本明細書のおける「特徴」は、画像内のオブジェクトの特徴エレメントを含む一点のことであり、本明細書における「特徴領域」は、オブジェクトの特性を含んでいる特徴の周りの領域のことである。特徴領域は、画像の視点及び照明の変化に対してロバストであるよう設定されていてよい。
【００３９】
上述したように、画像から特徴及び特徴領域を抽出するためには、特徴抽出技術が必要となる。本発明の一実施形態の例においては、著者Ｃ．Ｈａｒｒｉｓ氏他１名による「組み合わせられた隅部及び端部の検知器（A combined corner and edge detector）」と称される文献で（１９９８年の「アルベイ画像会議（In Alvey Vision Conference）」で発表）が、この特徴認識技術を開示している（文献の全内容をここに組み込んだこととする）。文献では、特徴の周りの勾配分布を表す第２のモーメント行列を利用して、楕円の特徴領域を推定する方法が述べられている。もちろん、本発明の利用可能な特徴抽出技術は上述した文献に記載されている方法に限定はされず、様々な例を利用して本発明を再現することもできる。
【００４０】
第２に、検索部２１０の検索結果として、画像データベース２５０に、クエリされている画像に類似した画像がない場合には、本発明の一実施形態における認識されなかった画像格納部２２０が、クエリされた画像を、認識されなかった画像データベース２６０に格納する機能を果してよい。
【００４１】
加えて、本発明の一実施形態における、認識されなかった画像群体系化部２３０は、認識されなかった画像データベース２６０に格納されている画像間の類似度を参照して（たとえば予め固定された値よりも高い類似度）、高い関連性を有する画像同士を分類（grouping）して、１つの画像群を体系化（organizing）する機能を果たす。より詳しくは、認識されなかった画像群体系化部２３０は、認識されなかった画像データベース２６０に格納されている複数の画像の特徴または特徴領域を比較して、その間で高い類似度をもつと考えられる画像を分類して１つの画像群に体系化することができる。
【００４２】
図３は、本発明の一実施形態における、認識されなかった画像群体系化部２３０が、認識されなかった画像データベース２６０に格納されている高い類似度をもつ画像を分類して１つの画像群に体系化する様子を示している。図３によれば、認識されなかった画像群体系化部２３０は、認識されなかった画像データベース２６０に（認識されなかった画像格納部２２０によって）格納されている画像を、画像間の類似度を利用して分類して、３１０、３２０、３３０等の画像群に体系化してよい。
【００４３】
加えて、図４Ａ及び図４Ｂは、認識されなかった画像データベース２６０に格納されている高い類似度を有する画像同士を分類して、１つの画像群に体系化する、本発明の一実施形態における、認識されなかった画像群体系化部２３０の一実施形態を示している。図４Ａ及び図４Ｂによると、本発明の一実施形態における、認識されなかった画像群体系化部２３０は、まず、図４Ａに示すように、認識されなかった画像データベースに格納されている画像マッチングスキームを適用して、互いに高い類似度をもつ、認識されなかった画像データベースに格納されている画像を分類してよい。次に、分類された画像を図４Ａに示す構造化された画像群へと体系化するために、本発明の一実施形態における認識されなかった画像群体系化部２３０は、時間及び様々な視点から、分類された画像を配列、構造化、及び格納することができる。図４Ｂは、時間及び様々な視点から、分類された画像を配列、構造化、及び格納することができる、認識されなかった画像群体系化部２３０の一例を示しているが、これに限定はされない。つまり、本発明の一実施形態による認識されなかった画像群体系化部２３０は、多岐にわたる方法で画像群を体系化することができるものであってよい。
【００４４】
本発明の一実施形態では、特定の画像及びそのタグ情報がウェブクローラ（不図示）、ユーザ端末３００などから取得される場合に、新たな画像書き込み部２４０は、この特定の画像を、特定の画像群に含まれる少なくとも一部の画像と比較して、その間の類似度が予め設定されている閾値を超えるか否かを判断して、もしも類似度が予め定められている閾値を超えている場合には、新たな画像書き込み部２４０が、少なくとも一部の画像及び取得したタグ情報を自動的に画像データベース２５０に書き込む機能を行ってよい。このときに、特定の画像群に含まれるデータ（the number of data）が、認識されなかった画像群体系化部２３０により収集される場合には、または、認識されなかった画像データベースに含まれるデータの数が、完全に予め定められている閾値を超えている場合には、本発明の一実施形態の新たな画像書き込み部２４０が、分析（画像マッチング処理）を行わせてよい。
【００４５】
加えて、マッチング対象であるウェブクローラ等が収集した画像、及び、画像群に含まれる画像は、異なる輝度の環境のもとで異なる視点から撮像された画像でありうることから、画像それぞれに含まれる特徴領域も、その視点及び輝度に応じてサイズ及び形状が異なるように抽出される場合がある。したがって、ウェブクローラ等が収集した画像の特徴領域と、画像群に含まれる画像の特徴領域とを直接比較するだけでは、画像を正確にマッチングすることが難しい場合がある。ここでは、ウェブクローラが収集する画像を便宜上想定した説明を行うが、ユーザ端末３００が収集した画像も含まれてよい。
【００４６】
サイズ及び形状が視点及び輝度に応じている特徴領域の抽出によって生じる課題を解決するために、本発明の一実施形態における新たな画像書き込み部２４０は、ウェブクローラ等が収集した画像と、画像群の画像とにそれぞれ含まれている各特徴部のサイズ及び形状を正規化して、正規化された特徴領域それぞれに基づいて画像マッチングを行うようにすることで、様々な視点及び輝度が生じるエラーを補償してよい。
【００４７】
図５Ａから図５Ｂは、本発明の一実施形態における特徴領域を正規化する構成を例示している。図５Ａは、ウェブクローラ等が収集した画像から抽出した特徴領域５１０を示しており、図５Ｂは、画像群に含まれる画像から抽出した特徴領域５２０を示している。図５Ａ及び図５Ｂを参照すると、各画像は同じオブジェクトを示しているにも関わらず、同じオブジェクトの同じ特徴領域のサイズ及び形状が、視点または輝度の差によって異なるように表示されており、それぞれ異なるサイズ及び形状を持つ特徴領域５１０及び特徴領域５２０が図５Ａの画像及び図５Ｂの画像から抽出されていることがわかる。
【００４８】
本発明の一実施形態では、新たな画像書き込み部２４０は、正規化技術を用いて、それぞれ異なるサイズ及び形状の一対の特徴領域を、同じサイズ及び形状の一対の特徴領域として正規化することができる。つまり、新たな画像書き込み部２４０は、図５Ａ及び図５Ｂに示す一対の特徴領域５１０、５２０をそれぞれ正規化して、図５Ｃ及び図５Ｄに示す一対の特徴領域５３０、５４０を生成することができる。
【００４９】
上述したように、画像から抽出した特徴領域を正規化するためには、特徴領域の正規化技術が必要である。本発明の一実施形態における特徴領域の正規化技術に関しては、著者Ｋ．ＭＩＫＯＬＡＪＣＺＹＫ氏他７名による文献「アフィン領域検知器比較（A Comparison of Affine Region Detectors）」（２００５年１１月「International Journal of Computer Vision」誌に掲載）などを参照されたい（文献の全内容をここに組み込んだものとする）。この文献の開示する方法では、第２のモーメント行列ＭＬ１／２及びＭＲ１／２の利用により、様々なサイズ及び形状の楕円特徴領域を、特定のサイズ及び特定の形状の円形に正規化することで、様々な画像の視点および輝度条件を推定する方法と、回転行列Ｒを利用して、正規化された特徴領域を回転させて、一対の正規化された特徴領域が同じオブジェクトを示しているか否かを判断する方法とが開示されている。もちろん、本発明の利用可能な正規化技術は上述した文献に記載されている方法に限定はされず、様々な例を利用して本発明を再現することもできる。
【００５０】
さらに、本発明の一実施形態における新たな画像書き込み部２４０は、画像群における１つの画像の少なくとも１つの正規化された特徴領域を、収集した画像の少なくとも１つの正規化された特徴領域と比較して、画像それぞれから、同じオブジェクトと思われる少なくとも一対の特徴領域を取得してよい。加えて、少なくとも２つの対の特徴領域が取得された場合には、本発明の一実施形態における新たな画像書き込み部２４０は、上述した少なくとも２つの対の特徴領域に対応する、画像群の画像の少なくとも２つの特徴領域の相対的な位置関係と、収集された画像の少なくとも２つの特徴領域（上述した少なくとも２つの対の特徴領域に対応する）の相対的な位置関係とを、幾何学技術を利用して比較して、これらの少なくとも２つの対の特徴領域が互いに合致しているか否かを判断する。
【００５１】
図６Ａ及び図６Ｂは、１つの画像群に含まれている１つの画像及びウェブクローラによって収集される１つの画像にそれぞれ含まれる特徴領域の分布を例示する図である。図６Ａ及び図６Ｂによると、本発明の一実施形態における新たな画像書き込み部２４０は、ウェブクローラ等が収集した画像（つまり図６Ａの画像）と、画像群に含まれる画像（つまり図６Ｂの画像）との間の類似度を、前者の画像の複数の特徴領域と後者の画像の複数の特徴領域との間の相対的位置関係を比較することで、判断してよい。
【００５２】
上述したように、特徴領域の間の相対的位置関係を利用して２つの異なる画像間の類似度を求めるためには、位相幾何学技術（technology of topology）が必要となる。本発明の一実施形態では、この位相幾何学技術として、著者ＤＥＲＤＡＲ  Ｓａｌａｈ氏他２名による「代数的位相幾何学を利用する画像マッチング（Image matching using algebraic topology）」（２００６年１月の「Proceedings of PSIE, ６０６６巻」誌に掲載）を参照されたい（文献の全内容をここに組み込んだものとする）。上述した文献は、２つの画像の間の類似度を、これら画像それぞれに含まれる特徴同士の境界エレメントを、代数的位相幾何学により参照することで計測する方法を記載している。もちろん、本発明で利用可能な位相幾何学は上述した文献に記載されている方法に限定はされず、様々な例を利用して本発明を再現することもできる。
【００５３】
上述したように、本発明の画像マッチング方法は、ウェブクローラ等が収集した画像と、画像群に含まれる画像とのマッチング精度を高める効果がある。
【００５４】
新たな画像書き込み部２４０は、新たに認識された画像とその取得情報とを画像データベース２５０に書き込む必要があり、新たな画像書き込み部２４０は、新たに認識された画像を表すｎ個の代表画像と、代表画像に対応している代表タグと書き込んでよい。さらに、本発明の一実施形態における新たな画像書き込み部２４０は、さらに、代表画像を画像データベース２５０に書き込んでいる間に、異なる視点、輝度、または時間に反映されるｍ個のサブ画像を書き込むこともできる。加えて、サブ画像に関するサブタグを選択的に追加することもできる（代表画像とサブ画像とは、１以上の特徴及び特徴部を共有している）。
【００５５】
さらに本発明の一実施形態では、画像データベース２５０は、その正体が完全に認識されている画像とそのタグを含んでいるデータベースであり、認識されなかった画像データベース２６０は、検索部２１０の取得の結果マッチングしなかった、画像またはクエリされた画像を格納するデータベースである。
【００５６】
さらには、画像データベース２５０及び認識されなかった画像データベース２６０は、狭義のデータベースだけではなく、たとえばコンピュータファイルシステムに基づいてデータレコードのような広義のものを含んでよい。この観点に基づけば、本発明のデータベースは、簡単なオペレーション処理ログ群を含むことができる（ブラウジングでき、データをそこから抽出可能であれば）。また、画像データベース２５０及び認識されなかった画像データベース２６０は、あたかもこれらが画像処理システム２００に含まれているかのように、図２に示されているが、これらは本発明を実装する当業者が必要と思えば、画像処理システム２００とは別個に構成することもできる。
【００５７】
本発明の一実施形態における通信部２７０は、画像処理システム２００を、ユーザ端末３００等の外部デバイスと通信させる機能を実行することができる。
【００５８】
本発明の一実施形態では、制御部２８０が、検索部２１０、認識されなかった画像格納部２２０、認識されなかった画像群体系化部２３０、新たな画像書き込み部２４０、画像データベース２５０、認識されなかった画像データベース２６０、通信部２７０の間のデータフローを制御する機能を実行してよい。言い換えると、制御部２８０は、外部からのデータフロー、または、画像処理システム２００のコンポーネントの間のデータフローを制御して、検索部２１０、認識されなかった画像格納部２２０、認識されなかった画像群体系化部２３０、新たな画像書き込み部２４０、画像データベース２５０、認識されなかった画像データベース２６０、通信部２７０に、銘々の固有の機能を実行させることができる。
【００５９】
本発明の一実施形態では、画像処理システム全体またはそのコンポーネントの少なくとも一部（検索部２１０、認識されなかった画像格納部２２０、認識されなかった画像群体系化部２３０、新たな画像書き込み部２４０、画像データベース２５０、認識されなかった画像データベース２６０、通信部２７０、制御部２８０を含む）を、コンピューティングリソースまたはサーバリソースを共有する複数のサーバデバイスを仮想化するクラウドコンピューティングサーバによって実装することもできる。
【００６０】
本発明では、画像データベースが十分なデータを有さない場合、画像データベースに格納されている画像とマッチングしなかった、クエリされた画像を利用することもでき、こうすることで最終的には、自動的に進化する画像データベースを実装する効果が得られるだろう。
【００６１】
本発明の一実施形態は、コンピュータ可読媒体に記録可能な様々なコンピュータ手段によって実行可能なプログラムコマンドの形態で実装することができる。コンピュータ可読媒体は、プログラムコマンド、データファイル、及びデータ構造を単独で含んでもよいし、これらを組み合わせて含んでもよい。媒体に記録されるプログラムコマンドは、本発明に特化されているコンポーネントであってもよいし、コンピュータソフトウェア分野の当業者が利用可能なものであってもよい。コンピュータ可読記録媒体は、磁気媒体（たとえばハードディスク、フロッピー（登録商標）ディスク、磁気テープ）、光学媒体（たとえばＣＤ−ＲＯＭ及びＤＶＤ）、光磁気媒体（たとえばフロプティカルディスク）、及び、ハードウェアデバイス（たとえばＲＯＭ、ＲＡＭ、及び、プログラム記憶及び実行に特化したフラッシュメモリ）を含む。プログラムコマンドは、コンパイラが作成する機械語コードだけではなく、コンピュータが実行する解釈プログラム等が利用可能なハイレベルコードを含んでもよい。上述したハードウェアデバイスは、本発明の動作を実行するために１つのソフトウェアモジュール以上の働きをすることができ、これらは反対の場合であっても同じことをすることができる。
【００６２】
本発明を、好適な実施形態に照らして例示、記載してきたが、当業者には様々な変更及び変形が、以下の請求項に定義されている本発明の範囲及び精神から逸脱することなく可能であることを理解されたい。
【００６３】
したがって本発明の思想は、説明された実施形態に限られず、以下の特許請求項及び特許請求項に等しいまたは均等な変形例を含むすべての事項が、本発明の思想と同じカテゴリーに関連している。
【図１】
0005617095.tif 000002
【図２】
0005617095.tif 000003
【図３】
0005617095.tif 000004
【図４Ａ】
0005617095.tif 000005
【図４Ｂ】
0005617095.tif 000006
【図５Ａ】
0005617095.tif 000007
【図５Ｂ】
0005617095.tif 000008
【図５Ｃ】
0005617095.tif 000009
【図５Ｄ】
0005617095.tif 000010
【図６Ａ】
0005617095.tif 000011
【図６Ｂ】
0005617095.tif 000012