(57)【要約】【課題】  画像アイテムを検索するための有用な方法を提供する。【解決手段】  画像検索方法は、第１の画像の少なくとも一部に、当該第１の画像の色の総数が低減するように、解像度低減処理を適用し、前記第１の画像から、同じ色の画像部分のみを有する複数の色平面を形成し、前記各色平面から、前記画像部分の特性に対応する特徴データを抽出し、前記複数の色平面から抽出された特徴データを表す特徴データ表現を生成し、前記第１の画像の少なくとも一部から抽出された特徴データ表現と、複数の他の画像の少なくとも一部から抽出された特徴データ表現とを比較し、前記比較に基づいて、前記複数の他の画像のうちの１つを選択する。【選択図】  図５
2009110525.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の少なくとも一部に、当該第１の画像の色の総数が低減するように、解像度低減処理を適用し、
前記第１の画像から、当該第１の画像の色のうち同じ色の画像部分のみを有する複数の色平面を形成し、
前記各色平面から、前記画像部分の特性に対応する特徴データを抽出し、
前記複数の色平面から抽出された特徴データを表す特徴データ表現を生成し、
前記第１の画像の少なくとも一部から抽出された特徴データ表現と、複数の他の画像の少なくとも一部から抽出された特徴データ表現とを比較し、
前記比較に基づいて、前記複数の他の画像のうちの１つを選択する
画像検索方法。
【請求項２】
請求項１に記載の画像の検索方法であって、
前記複数の他の画像から抽出された特徴データ表現は、前記第１の画像から抽出された特徴データ表現と同様の手法で抽出される
画像検索方法。
【請求項３】
請求項１に記載の画像検索方法であって、さらに、
前記第１の画像から抽出された特徴データ表現と前記複数の他の画像から抽出された特徴データ表現との前記比較に基づいて、前記第１の画像と前記複数の他の画像の各画像との類似度を生成し、
前記選択するステップは、前記類似度に基づいて実行される
画像検索方法。
【請求項４】
請求項１に記載の画像検索方法であって、
前記特徴データ表現はヒストグラムである
画像検索方法。
【請求項５】
請求項１に記載の画像検索方法であって、
前記第１の画像は、ユーザにより規定された、所定の画像中のセグメントであって、当該所定の画像よりも小さい
画像検索方法。
【請求項６】
請求項１に記載の画像検索方法であって、
前記第１の画像は、第２の画像がグリッドで区切られた複数の領域のうちの１つである
画像検索方法。
【請求項７】
請求項１に記載の画像検索方法であって、
前記各色平面についての前記特徴データは、一群の値の平均値から算出され、
前記一群の値のうちの各値は、前記画像部分のそれぞれの外周の複数の画素の画素値に対応する
画像検索方法。
【請求項８】
コンピュータに、請求項１に記載の画像検索方法の各ステップを実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録した記録媒体。
【請求項１０】
第１の画像に、当該第１の画像における色の総数が低減するように、色平均化処理を適用する色平均化部と、
前記第１の画像から、当該第１の画像の色のうち同じ色の画像部分のみを有する複数の色平面を形成する色平面形成部と、
前記各色平面から、画像部分の特性に対応する特徴データを抽出する特徴データ抽出部と、
前記複数の色平面から抽出した特徴データを表す特徴データ表現を生成する特徴データ表現生成部と、
前記第１の画像の少なくとも一部から抽出された特徴データ表現と、複数の他の画像の少なくとも一部から抽出された特徴データ表現とを比較する比較部と、
前記比較に基づいて、前記複数の他の画像のうちの１つを選択する選択部と
を具備する画像検索装置。
【請求項１１】
請求項１０に記載の画像検索装置であって、
前記特徴データ表現生成部は、前記複数の他の画像から抽出された特徴データ表現を、前記第１の画像から抽出された特徴データ表現と同様の手法で抽出する
画像検索装置。
【請求項１２】
請求項１０に記載の画像検索装置であって、
前記第１の画像から抽出された特徴データ表現と前記複数の他の画像から抽出された特徴データ表現との前記比較に基づいて、前記第１の画像と前記複数の他の画像の各画像との類似度を生成する類似度生成部をさらに具備し、
前記選択部は、前記類似度に基づいて前記選択を実行する
画像検索装置。
【請求項１３】
請求項１０に記載の画像検索装置であって、
前記特徴データ表現はヒストグラムである
画像検索装置。
【請求項１４】
請求項１０に記載の画像検索装置であって、
ユーザ入力に応じて、所定の画像中の、当該所定の画像よりも小さいセグメントを、前記第１の画像として規定するユーザインタフェースをさらに具備する
画像検索装置。
【請求項１５】
請求項１０に記載の画像検索装置であって、
前記第１の画像は、第２の画像がグリッドで区切られた複数の領域のうちの１つである
画像検索装置。
【請求項１６】
請求項１０に記載の画像検索装置であって、
前記各色平面についての前記特徴データは、一群の値の平均値から算出され、
前記一群の値のうちの各値は、前記画像部分のそれぞれの外周の画素の画素値に対応する
画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索方法及び画像検索装置に関する。
【背景技術】
【０００２】
テキスト情報アイテム、又は少なくともいくらかのテキストコンテンツを有するアイテムをインデックス化及び検索する技術が開発されてきた。こうした技術の一例は、テキストアイテム（例えば、単語の配列）から特徴データを生成し、この特徴データに基づくアイテム間の比較を可能にするものである。
【０００３】
しかしながら、画像アイテムに関しては、有用な技術はほとんど考案されていない。
一つの簡単な技術としては、テキストを画像に関連付けることがある。このテキストは単に、タイトルであることもあり、又はより詳細な「メタデータ」であることもある。「メタデータ」とは、例えば１段落の説明文、画像内のアイテムまたは人物の一覧表画像の撮影時刻、その撮影に関連する一覧表等である。そして、テキストベースの検索技術を用いて類似の画像を識別することもできる。しかし、当然、正確且つ有用なメタデータを提供するためには時間とコストがかかり、且つメタデータを生成するユーザの主観に左右される。
【０００４】
その他の技術では、画像自体の特性に基づいて特徴データを生成する。特徴データは、色特徴、テクスチャ特徴等を含む。
【０００５】
【特許文献１】米国特許第６４７７２６９号明細書
【特許文献２】米国特許第６７２８４０６号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、この技術もまた限界のあるものである。なぜなら、画像を見る人にとっては同じ物事を表す２つの画像が、実際には非常に異なる画像特性を有している場合があるからである。例えば、特定の人物を表す一対の画像は、それらの背景が異なるために、非常に異なる画像特性を有している場合がある。
【０００７】
本発明の目的は、これらの問題に対処することである。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、画像検索方法が提供される。当該方法は、第１の画像の少なくとも一部に、当該第１の画像の色の総数が低減するように、解像度低減処理を適用し、前記第１の画像から、同じ色の画像部分のみを有する複数の色平面を形成し、前記各色平面から、画像部分の特性に対応する特徴データを抽出し、前記複数の色平面から抽出された特徴データを表す特徴データ表現を生成し、前記第１の画像の少なくとも一部から抽出された特徴データ表現と、複数の他の画像の少なくとも一部から抽出された特徴データ表現とを比較し、前記比較に基づいて、前記複数の他の画像のうちの１つを選択する。
【０００９】
本発明により、多くの利点が提供される。特に、本発明において実施される技術は、第１の画像における特徴を検索する一方、検索される第１の画像のすべての部分を考慮に入れる。したがって、この検索方法によって検索結果として返される画像は、検索される第１の画像内の特定の特徴だけでなく、これらの特徴が含まれる背景又はコンテキストも検索する。
【００１０】
さらに、色解像度低減処理及び特徴データ表現処理を、比較的少ない計算量で達成することができ、より複雑な処理を必要とすることなく、検索結果を返すことができる。これにより、いくつかの実施形態では、検索方法をリアルタイムで実行することができる。
【００１１】
いくつかの実施形態では、前記複数の他の画像から抽出された特徴データ表現は、前記第１の画像から抽出された特徴データ表現と同様に抽出される。
【００１２】
いくつかの実施形態では、本発明の実施形態に係る方法は、さらに、前記第１の画像から抽出された特徴データ表現と前記複数の他の画像から抽出された特徴データ表現との前記比較に基づいて、前記第１の画像と前記複数の他の画像の各画像との類似度を生成する。前記選択するステップは、前記類似度に基づいて実行される。
【００１３】
いくつかの実施形態では、前記特徴データ表現はヒストグラムである。
【００１４】
いくつかの実施形態では、前記第１の画像は、ユーザにより規定される、所定の画像中のセグメントであって、当該所定の画像よりも小さい。
【００１５】
いくつかの実施形態では、前記第１の画像は、第２の画像がグリッドで区切られた複数の領域のうちの１つである。
【００１６】
いくつかの実施形態では、前記各色平面についての前記特徴データは、一群の値の平均値から算出され、前記一群の値のうちの各値は、前記画像部分のそれぞれの外周の画素数に対応する。
【００１７】
本発明の種々の態様及び特徴は、添付の特許請求の範囲において規定される。
【発明を実施するための最良の形態】
【００１８】
これより、本発明の実施形態を、添付の図面を参照して例示としてのみ説明する。図面において、同様の部分には対応する参照符号を付す。
【００１９】
図１Ａは、汎用コンピュータ１０からなる画像処理システムの概略図である。汎用コンピュータ１０は、処理部２０と、表示装置６０と、キーボード７０と、マウス８０等のユーザ入力装置とを有する。処理部２０は、プログラム及びデータを記憶するディスク記憶装置３０と、イーサネット（登録商標）又はインターネット等のネットワーク５０に接続されたネットワークインタフェースカード４０とを有する。表示装置６０は、陰極線管表示装置又は液晶表示装置である。当該システムはプログラムの制御下で動作し、当該プログラムはディスク記憶装置３０に記憶され、例えば、ネットワーク５０、リムーバブルディスク（図示せず）を介して提供されるか、又はディスク記憶装置３０に事前にインストールされることにより提供される。
【００２０】
大まかに言えば、画像処理システムは、ユーザが指定した種々の検索基準（条件）に合致する画像を特定するために、ユーザが、画像リポジトリ内の多数の画像の中から画像を検索することができるように構成される。典型的には、ユーザは、第１の画像を取得することによって検索基準を指定し、その第１の画像の部分又は特徴を選択する。実施形態においては、その第１の画像（又はその選択された１つ又は複数の部分）が処理対象となる。この処理を以下に説明する。ここで、第１の画像に対して実行される処理は、検索されるリポジトリ内の１つ又は複数の画像に対しても実行されてもよいことに留意されたい。このリポジトリ内の画像に対する処理は、検索が行われる前に実行されてもよく（「事前解析」と呼ぶ）又は、画像の検索と並行して（「オンザフライ」と呼ぶ）実行されてもよい。この処理については後に説明する。
【００２１】
その後、画像処理システムは、ユーザが選択した第１の画像の部分又は特徴を基準として、画像リポジトリ内を検索する。例えば、ユーザはリポジトリから、鳥を含む画像を検索したいと思うかもしれない。この場合、ユーザは鳥を含む第１の画像を選択し、その画像のうちの、鳥を包含する特定の部分又は特徴を選択する。検索が行われると、画像リポジトリからの検索画像のリストが生成される。このリストは、ユーザが選択した第１の画像の部分又は特徴に類似しているか又は類似の要素を含むと考えられるリポジトリ内の画像を特定する。これにより、ユーザは、特定の検索のために、関連する画像の特徴だけを抽出できるようになる。例えば、この例では、鳥のくちばしが選択され、類似のくちばしを有する画像だけが検索で返されてもよい。これにより、関連する部分のみがユーザに返されるため、コンピュータリソースをより効率的に用いることができる。さらに、以下に説明する方法で処理された、選択された部分だけを検索することにより、返される画像は大きさの影響を受けない。言い換えれば、上記の例において、くちばしの画像に占める割合が２０％であろうと７０％であろうと問題ではなく、どちらも関連するものとして返される。これにより、検索のメカニズムが改善される。いくつかの実施形態では、システムは、指定された検索基準に最も合致する画像を特定することにより、生成されたリスト内の画像をランク付けする。
【００２２】
画像リポジトリは、システム内、例えばディスク記憶装置３０に記憶された複数の画像から構成されてもよい。或いは、画像リポジトリは、システムから遠隔にある何らかの形態の記録媒体に記憶されてもよい。この場合、システムは、ネットワーク５０に接続されたネットワークインタフェースカード４０等の何らかの形態の中間リンクを介して、その記録媒体にアクセスする。画像は、ネットワーク５０に接続された複数の記憶ノードを介して送信されてもよい。
【００２３】
画像は様々な形式であってよく、例えば、カメラによって取得された「静止」画であってもよく、または画像はビデオストリームを含む一連の画像から取得されてもよい。
【００２４】
図１Ｂは、表示装置６０上に表示されるグラフィカルユーザインタフェース１１を示す概略図である。グラフィカルユーザインタフェース１１は、検索ウィンドウ１１４及び検索結果ウィンドウ１１３を有する。検索ウィンドウ１１４は、検索基準の抽出対象となる第１の画像１１２を表示する。
【００２５】
上述のように、この第１の画像（又は、いくつかの実施形態では、選択された部分）が、画像処理対象となる。
【００２６】
［画像検索機構］
画像リポジトリ内の画像を検索するために、画像処理システムは、以下のステップを実行する。
【００２７】
まず、検索基準の抽出対象となる第１の画像が選択される。この第１の画像は画像リポジトリ内から選択したものであってもよく、又は外部ソースからネットワーク５０を介して、若しくはディスク若しくはシステムに装着された他の記録媒体からシステムにロードされた新たな画像であってもよい。
【００２８】
典型的には、この画像は表示装置６０上でユーザに対して提示され、ユーザはマウス８０等の入力装置を用いて、この画像のうちの領域を選択する。いくつかの実施形態では、画像はグリッド状にセグメント化され、ユーザはそのグリッドの中から、ユーザが検索の基準とする画像特徴を含む１つ又は複数のセグメントを選択する。しかし、本発明はこれに限定されず、以下に説明するように、ユーザはマウス８０を用いて、自分で領域を規定することができる。図２Ａは、グリッド状にセグメント化された画像、及びグリッドのブロックを選択することにより強調表示された注目領域の一例を示す。この注目領域は、注目特徴を有し、この注目特徴から、検索基準領域が抽出される。
【００２９】
上述のように、画像リポジトリからの画像のうち少なくともいくつかは、事前解析される。リポジトリ内の画像の事前解析により、検索の際にシステムに対する処理負荷が低減され、したがって、画像の検索速度が向上する。検索速度をさらに向上させるために、リポジトリの画像の事前解析は、第１の画像の解析に用いた技術と同様の技術を用いて実行される。さらに、リポジトリ内の画像の事前解析の一部として、事前解析された画像のうちの少なくともいくつかは、例えば２×２のグリッド、３×３のグリッド、４×４のグリッド等のグリッドを適用することにより、複数のブロックにセグメント化される。或いは、２×３のグリッド又は３×４のグリッド等の非正方形のグリッドを用いてもよい。個々のブロック又はブロックのグループは、画像全体とは独立して解析することができる。したがって、画像リポジトリからの画像だけではなく、画像リポジトリからの各画像の種々の異なる部分を検索することができる。さらに、上述のように、システムは、画像のうち、ユーザが指定した領域に形状が合致する部分を検索することができる。したがって、ユーザが図２Ａに示すように領域を選択した場合、形状が合致する領域が画像リポジトリ内の画像から検索される。この原理が図２Ｂに示される。図２Ｂでは、対象領域に形状が対応する４つの領域２１、２２、２３、２４が示されている。これらの領域が、図２Ａにおいて強調表示される。図２Ｂは４つのみの形状が対応する領域を示すが、図２Ｂに示す４×４グリッドは、実際には、より多くの形状が対応する領域を有してもよいことが理解されるであろう。
【００３０】
上述したように、別の実施形態では、ユーザは単に、検索基準となる画像特徴を含む領域を規定する。この領域が、図３に破線のボックスで示されている。典型的には、注目領域の規定は、マウス８０等のユーザ入力装置を用いて実行される。
【００３１】
本発明の別の実施形態では、画像リポジトリからの画像は、複数のセグメントのセットに分割される。画像処理システムは、画像リポジトリに記憶された複数のセグメントのセットを解析して、各セグメントのセットの特性を表す特徴データを抽出する。この解析の結果は、画像と関連付けられて記憶される。
【００３２】
その後、ユーザは、第１の画像から、例えば注目特徴に合致するセグメントのセットを選択することができる。システムは、この選択されたセグメントにいくつかの点で合致するセグメントのセットを、画像リポジトリの画像から検索する。図１１はこの例を示す。図１１は、複数のセグメントに分割された第１の画像１１１１を簡略して示す図である（図示されるセグメントの数は、３×３のグリッドに対応して９個であるが、これは単に例示であり、実際には、第１の画像は４×４のグリッドの場合に１６個、又は５×５のグリッドの場合に２５個等、他の数のセグメントに分割されてもよいことは理解されるであろう）。さらに、図１１には、セグメントのすべての可能な組み合わせが示されているわけではないことが理解されるであろう。上述の選択方法に従ってユーザにより選択されたセグメントのセット１１１２が、破線で示される。ユーザがセグメントのセットを選択すると、システムは、選択されたセグメントに合致する記憶セグメントのセットを、画像リポジトリに記憶された画像から検索する。図１１では、画像リポジトリからの画像を表す複数の画像１１１３〜１１２６が示されている。複数の画像１１１３〜１１２６はセグメント及びセグメントのセットに分割され、それらのうちいくつかは、ユーザが選択したセグメントのセットに対応する。複数の画像１１１３〜１１２６において検索された画像は、濃色のセグメントによって示される。複数の画像１１１３、１１１４、１１１５、１１１６、１１１７、１１１８からなる第１のグループの検索されたセグメントのセットは、ユーザが選択したセグメントのセットの形状、サイズ及び向きに対応する。複数の画像１１１９、１１２０、１１２１、１１２２、１１２３からなる第２のグループの検索されたセグメントのセットは、ユーザが選択したセグメントのセットの形状及びサイズに対応する。複数の画像１１２４、１１２５、１１２６からなる第３のグループの検索されたセグメントのセットは、ユーザが選択したセグメントのセットの形状に対応する。
【００３３】
注目特徴を含む領域が選択された後、画像リポジトリ内の検索が続行される。検索を実行するために、第１の画像（又はその選択された部分）が処理される必要がある。
【００３４】
［画像処理］
検索を開始するために、いくつかの実施形態では、システムは画像に対して色解像度低減処理を実行する。当然のことながら、画像の各画素は、典型的には、「Ｒ」、「Ｇ」及び「Ｂ」値（それぞれ、赤成分、緑成分及び青成分を定義する）等の画素の色成分値を表すデータ、又は「Ｙ」、「ＣＢ」及び「ＣＲ」等（それぞれ、「輝度」及び「彩度」値を定義する）の色成分値を提供する色符号化方式を表すデータによって定義される。このような値は、各画素の色を決定する。画素の色を提供するために用いられ得る色の数は、画素の色成分値を表すために用いられたビット数によって決定される。典型的には、この色の数は１６００万色であるが、これに限られない。色解像度低減処理は、典型的には、各色成分値に対する「ダウンサンプリング」又はデシメーション処理を含む。この結果、画素の存在し得る色の総数が低減される。色解像度低減処理が画像に適用されると、画像における色数が低減される。色解像度低減処理の適用後の効果として、多くの画像は、同じ色を有する複数の領域にセグメント化される。この効果により、画像が「ブロック状の」外観になることが明らかになる。図４は、この効果の例を簡略化して示した図である。
【００３５】
図４は、図３に示す画像の選択された領域に適用された色解像度低減処理の結果を示す。図４において、画像は、同じ色を有する画像要素４１、４２、４３、４４にセグメント化される。簡潔にするために、図示される色の数は４色に減らしてあるが、典型的には、色数はこれよりも多いことは理解されるであろう。いくつかの実施形態では、色解像度低減処理を受けた後の画像における色数は６７色であるが、これに限られず、元の画像の色数よりも少ない任意の色数が想定される。
【００３６】
色解像度低減処理により画像が複数の同じ色を有する領域にセグメント化された後、画像はさらに、それぞれ一色の画像要素のみを有する複数の色平面に分割され。したがって、色平面の数は、色解像度低減処理後の画像における色の総数と同じになる。図５Ａ〜図５Ｄは、画像を、各色の色成分を有する色平面に分割する様子を示した図である。
【００３７】
その後、１つ又は複数の画像要素に含まれる特性に対応する特徴ベクトル等の特徴データを抽出するために、各平面が解析される。この特性は、簡単にはその画像要素のサイズ若しくは色、又は形状等のより複雑な要件等、画像要素の１つ又は多数の側面に関するものであり得る。さらに、当然のことながら、特徴ベクトルは、画像要素の特性の抽象的な測度の一例である。その他、この特性は、例えば絶対差の和であってもよい。いくつかの実施形態では、１つ又は複数の色平面についての特徴ベクトルは、まず各画像要素についてエッジ画素を検出し、その後、色平面における各画像要素の外周の画素の画素値を算出することにより生成される。エッジ画素の検出は以下でさらに説明するが、ブロブ解析等の周知の技術を用いてもよい。その後、この外周の値の平均が算出され、各色平面について１つのスカラー値が生成される。この処理が各色平面について繰り返される。各色平面について、算出された平均スカラー値が取得され、ヒストグラムが生成される。図６は、このヒストグラムを簡略化して示した図である。
【００３８】
このヒストグラムは、画像リポジトリからの各画像について、このヒストグラムと同様に生成されたヒストグラムと比較される。
【００３９】
第１の画像から抽出されたヒストグラムと、画像リポジトリからの同様に抽出されたヒストグラムとを比較するための技術として、多くのものがある。非常に簡単な例では、２つのヒストグラムの対応するビンを位置合わせすることで、ヒストグラム間の絶対差を算出してもよい。この減算の結果を、さらなるヒストグラムとして表現してもよい。このようにして得られたヒストグラムのビンが合計され、１つの値が生成される。この値がゼロに近いほど、両ヒストグラムは類似している。この合計されたデータが閾値未満であるとき、リポジトリ内の類似した画像が特定される。ヒストグラムを比較するための簡単な技術だけを説明したが、より洗練された技術が存在することを当業者は理解するであろう。
【００４０】
典型的には、ヒストグラムの比較の結果により、画像リポジトリからの類似の画像に対応する複数の「ヒット」が生成される。これらの類似の画像は、表示画面上でユーザに提示することができる。当然のことながら、検索結果として返される画像の数は、いくつかのパラメータを指定することによって制御することができる。例えば、システムは、第１の画像のヒストグラムに最も合致するヒストグラムを有する上位１０個の画像を返すように構成されてもよい。或いは、システムは、上述のように、第１の画像から抽出されたヒストグラムとの類似度が一定の閾値レベルを満たすヒストグラムを有するすべての画像を返すように構成されてもよい。ユーザを支援するために、ユーザが選択したセグメントのセットに対応する「ヒット」画像中のセグメントのセットが、「ヒット」画像中においてアウトラインで強調される。
【００４１】
いくつかの実施形態では、各色平面について特徴ベクトルを提供するために、各画像要素の外周の画素の総数がカウントされる。エッジ画素を検出するための当該技術分野において周知の方法は、典型的には、計算量が多く、画素毎の解析を必要とする。これにより、高解像度画像のリアルタイムのエッジ検出は非常に困難となることが多い。システムのいくつかの実施形態では、画像処理方法において、以下のエッジ検出技術が用いられる。他の実施形態では、別のエッジ検出技術が用いられてもよいことは理解されたい。
【００４２】
［エッジ検出］
この技術は、処理する画像を、エッジ画素毎に８回複製することを含む。各複製は、存在し得る８つの方向（すなわち、ｘ＋１，ｙ＋０；ｘ−１，ｙ＋０；ｘ＋０，ｙ＋１；ｘ＋０，ｙ−１；ｘ＋１，ｙ＋１；ｘ＋１，ｙ−１；ｘ−１，ｙ−１；ｘ−１，ｙ＋１）に、１画素ずつシフトされる（すなわち、空間的に変換される）。その後、ＸＯＲ関数が、８個の変換された複製画像のすべての対応する画素に適用される。このＸＯＲ関数の結果は、エッジ画素を表す「１」と、非エッジ画素を表す「０」を有するバイナリ行列である。図７、図８及び図９は、この技術を簡略化して示した図である。
【００４３】
図７は、画像７３上の点７２に対応する、簡略化され、拡大された領域７１を示す。簡略化され、拡大された領域７１を用いて、画像７３の小さい領域を処理する技術を説明する。当然のことながら、以下は例示に過ぎず、実際には、この技術を画像７３のすべての部分に適用してもよい。上述のように、この技術によれば、システムは、全体画像７３を８回複製して、各複製を存在し得る８つの方向（すなわち、上、右上、右、右下、下、左下、左、左上）に１画素ずつシフトさせるように構成される。１画素に関しての相対的な動きが、簡略化され、拡大された領域７１上で、矢印７６によって示される。変換された複製が生成されると、ＸＯＲ関数が、各複製された画像及びテストされている画素からの対応する画素についての色データに適用される。これは図８及び図９に図示されている。図をさらに簡略化するために、図８は、図７において破線７５で囲まれて示された領域７１の部分のみを示す。図示のように、破線で囲まれた領域７５の中心の画素７６がエッジ画素である。図８に示すように、この領域は８回複製され、各複製８１、８２、８３、８４、８５、８６、８７、８８は各考え得る方向に１画素ずつシフトされる。処理されている画素７６の色データ並びにそれらの複製及び変換された画像８１、８２、８３、８４、８５、８６、８７、８８からの対応する画素（図８において破線で囲まれたボックス８９により示される）にＸＯＲ関数が適用される。図７の拡大部分で示される例では、２色しか存在しないため、色データは、「１」又は「０」のいずれかであると考えられる。これは、画像リポジトリの検索においてエッジ検出を用いる実施形態でも同様である。しかし、当然のことであるが、この特定の技術はこれに限定されず、３つ以上の色が存在してもよい。図８を参照すると、処理されている画素７６について生じるＸＯＲ関数は以下の通りである。
１ＸＯＲ１ＸＯＲ０ＸＯＲ０ＸＯＲ０ＸＯＲ１ＸＯＲ１＝１
【００４４】
したがって、処理されている画素７６はエッジ画素として示される。
【００４５】
図９は、非エッジ画素の例、すなわち中心画素９１が同じ色を有する画素に囲まれた例を示す。図９において、処理されている画素９１について生じるＸＯＲ関数は以下の通りである。
１ＸＯＲ１ＸＯＲ１ＸＯＲ１ＸＯＲ１ＸＯＲ１ＸＯＲ１＝０
【００４６】
したがって、処理されている画素９１は非エッジ画素として示される。
【００４７】
上述のように、領域７１内の各画素についてＸＯＲ関数が実行されると、エッジ画素を表す「１」及び非エッジ画素を表す「０」を有するバイナリ行列が生成される。これは図１０に示される。当然のことながら、画素からのデータは、ＸＯＲ論理関数のみで処理されなければいけないわけではなく、ＮＡＮＤ関数、ＯＲ関数又は任意の論理関数との組み合わせ等、他の論理関数との組み合わせで処理してもよい。画像を１画素ずつシフトすることは計算コストが低いため、エッジ画素を検出するためのこの特定の技術は有用である。さらに、シフトされた画像に論理関数を適用することも、従来技術に比べて計算コストが少ない。したがって、このエッジ検出技術によりリアルタイムのエッジ検出が可能になる。さらに、検索技術を図７、図８及び図９において説明した検出技術と共に用いると、実質的にリアルタイムでリポジトリに記憶されたビデオ画像を検索することができる。
【００４８】
先に述べたように、上記の処理は第１の画像（又はその選択された部分）に関して説明されたが、実施形態では、同じ処理又は類似の処理を、リポジトリに記憶された１つ又は複数の画像に対して実行してもよい。これにより、「事前解析された」画像を生成してもよく、又はこれを「オンザフライ」で実行してもよい。
【００４９】
他の実施形態を、画像の復元、例えば、元々フィルムに記録されていたものを取り込んでデジタル形式にした画像マテリアルのデジタル表現における傷の検出等において用いてもよい。本発明の実施形態の他の用途は、一般的なビデオ処理に関する。例えば、オブジェクトは画像から分離され、処理された後、画像に複製されてもよい。処理は例えば、色補正であってもよく、又は他の特殊効果であってもよい。他の用途は、画像内のオブジェクトに、ターゲットのハイパーリンクを正確にタギング又はマーキングすることであってもよい。写真内の顔に手動でタギングするためのシステムは、ユーザが長方形を用いて顔を認識することを可能にするものが多いが、長方形は他の顔に重なってしまうことが多く、ユーザがハイパーリンクをクリックすることによる混乱が生じる。本発明の実施形態は、ハイパーリンクを割り当てる領域をより正確に認識するのを支援することができる。
【００５０】
上記の処理は、全体画像に対して行われる色解像度低減処理について説明したが、この処理は代わりに、画像の選択された部分に対してのみ実行されることが想定される。これによりシステムの処理負荷が低減される。
【００５１】
上記のいくつかの実施形態は、セグメントの特徴データを探索すること（すなわち、前景成分及び背景成分が比較的等しく扱われる）に関して説明されたが、いくつかの実施形態では、画像又は画像の一部（例えば、セグメント）内の前景オブジェクトの特徴データ及び背景の特徴データを探索することが可能である。実施形態では、これを用いて、前景オブジェクトの特徴データが生成される。さらに、セグメント内の背景の一部又はすべての特徴データが生成される。生成された前景オブジェクト及び背景の双方の特徴データは、その後、リポジトリに記憶された画像における類似の前景特徴データ及び背景特徴データの組み合わせと比較される。この比較の結果として、実施形態では、関連度を示すインジケータを生成することが可能である。このインジケータは、順序付きのリストを生成するために用いることができる。実施形態において、最も関連度の高い記憶された画像は、ユーザによって最初に閲覧される。これにより、前景オブジェクトが背景中で閲覧されるため、より関連性の高い結果がユーザに返される。例えば、処理されているセグメントが、くちばしの画像及び森林の背景からなる場合、森林の背景内にある同様のくちばしは、砂漠にある同様のくちばしよりも関連性が高い。したがって、この実施形態ではより関連性の高い画像が返される。
【００５２】
いくつかの実施形態では、処理される画像は、空間的に８回複製されるのではなく（したがって、想定し得る１つのピクセルの変位毎に空間的な変換が適用されずに）、画像は８回よりも少ない回数複製され、空間的に変換されてもよい。これにより、エッジ画素の存在についての解析は不完全なものとなるが、生成された情報は、いくつかの実施形態では、有用なエッジ画素に関する十分な情報を提供するために十分である。当然のことながら、本発明の発明の概念から逸脱することなく、種々の変更を行うことができる。例えば、本発明の実施形態は、個別のコンピュータ装置を参照して説明されたが、本発明の実施形態は、複数の接続されたコンピュータにわたって動作する、より分散的なシステムにおいて実行してもよい。例えば、サーバが、画像リポジトリからの画像を記憶し、検索を実行してもよく、一方、ネットワーク接続を介してサーバに接続されたリモートコンピュータが、検索基準を指定してもよい。これは、システムの部分、例えばグラフィカルユーザインタフェースを、ウェブブラウザの「プラグイン」に組み込むことによって達成される。
【００５３】
本明細書において、本発明の例示的な実施形態を、添付の図面を参照して詳細に説明したが、本発明はこれらの厳密な実施形態に限定されず、当業者は、添付の特許請求の範囲において規定される本発明の範囲及び精神を逸脱することなく、種々の変更及び変形を行うことができることを理解されたい。
【図面の簡単な説明】
【００５４】
【図１Ａ】本発明の一実施形態を実施するためのシステムの図である。
【図１Ｂ】本発明の一実施形態と組み合わせて用いるためのグラフィカルユーザインタフェースの図である。
【図２】図２Ａは、セグメント化された画像の図であり、図２Ｂは、画像のセグメント化可能な領域の図である。
【図３】選択された対象領域を有する画像の図である。
【図４】色解像度低減を実行した後の画像の図である。
【図５】画像を色平面に分割した図である。
【図６】ヒストグラムの図である。
【図７】エッジ画素のテストの対象である画像の拡大された領域の図である。
【図８】複製され変形された画素の処理の図である。
【図９】複製され変形された画素の処理の図である。
【図１０】エッジ画素を示すマトリクスの図である。
【図１１】セグメントのセットに分割された複数の画像の図である。
【図１Ａ】
2009110525.tif 000003
【図１Ｂ】
2009110525.tif 000004
【図４】
2009110525.tif 000005
【図５】
2009110525.tif 000006
【図６】
2009110525.tif 000007
【図７】
2009110525.tif 000008
【図８】
2009110525.tif 000009
【図９】
2009110525.tif 000010
【図１０】
2009110525.tif 000011
【図１１】
2009110525.tif 000012
【図２】
2009110525.tif 000013
【図３】
2009110525.tif 000014