(57)【要約】【課題】  画像の索引づけおよび検索のためのシステムおよび方法を提供すること。【解決手段】  本システムおよび方法は、画像を分析して、画像のテクスチャモーメントを決定する。画像のピクセルは、グレースケールに変換される。ピクセルのテクスチャ属性が決定される。テクスチャ属性は、ピクセルの局所的なテクスチャに関連づけられ、ピクセルに関連づけられた離散フーリエ変換の係数から導出される。ピクセルのテクスチャ属性に関連づけられた統計値が計算される。画像のテクスチャモーメントは、統計値から決定される。【選択図】  図１
2005141744.tif 000002
【特許請求の範囲】
【請求項１】
画像を分析する、コンピュータによって実施される方法であって、
前記画像をグレースケール形式に変換するステップと、
前記画像のテクスチャ属性を決定するステップと、
前記画像の前記テクスチャ属性の少なくとも１つに関連づけられた、少なくとも１つの統計値を計算するステップと、
前記統計値から前記画像のテクスチャモーメントを決定するステップと
を含むことを特徴とする方法。
【請求項２】
前記テクスチャ属性の少なくとも１つは、前記画像の、少なくとも１つのピクセルに関連づけられた離散フーリエ変換の係数から導出されることを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項３】
前記テクスチャ属性の少なくとも１つは、絶対値演算を用いて決定されることを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項４】
前記少なくとも１つの統計値を計算するステップは、前記画像中のピクセルに関連づけられた前記テクスチャ属性のうち少なくとも１つの属性の平均を計算するステップを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項５】
前記少なくとも１つの統計値を計算するステップは、前記画像中のピクセルに関連づけられた前記テクスチャ属性のうち少なくとも１つの属性の分散を計算するステップを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項６】
前記少なくとも１つの統計値を計算するステップは、前記画像中の各ピクセルに関連づけられた各テクスチャ属性の平均および分散を計算するステップを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項７】
前記テクスチャ属性を決定するステップは、前記画像のピクセルに関連づけられた離散フーリエ変換の係数に関連づけられた７個のテクスチャ属性を決定するステップを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項８】
前記決定されたテクスチャモーメントに類似したテクスチャモーメントを有する画像を求めて、データストアを検索するステップをさらに含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項９】
前記決定されたテクスチャモーメントに基づいて、前記画像を索引づけするステップをさらに含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項１０】
請求項１に記載のコンピュータによって実施される方法を実施するための、プロセッサによって実行可能なコンピュータプログラムを含むことを特徴とする１つまたは複数のコンピュータ可読メモリ。
【請求項１１】
ピクセルによって表される画像の視覚特徴を決定する、コンピュータによって実施される方法であって、
各ピクセルのグレーレベルを決定するステップと、
各ピクセルのテクスチャ属性を決定するステップであって、前記テクスチャ属性は、前記ピクセルに関連づけられた離散フーリエ変換の係数から導出されるステップと、
各ピクセルの各テクスチャ属性に対する平均値を決定するステップと、
各ピクセルの各テクスチャ属性に対する分散値を決定するステップと、
前記平均値および前記分散値から前記画像のテクスチャモーメントを決定するステップとを含むことを特徴とする方法。
【請求項１２】
各ピクセルの前記グレーレベルを決定するステップは、
Ｐ＝（Ｒ＋Ｇ＋Ｂ）／３
という式を用いて前記ピクセルの前記グレーレベルを計算するステップを含み、上式で、Ｒ、Ｇ、およびＢは、前記ピクセルの赤、緑、および青のレベルをそれぞれ表し、Ｐは、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１３】
各ピクセルの前記グレーレベルを決定するステップは、
Ｐ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ
という式を用いて前記ピクセルの前記グレーレベルを計算するステップを含み、上式で、Ｒ、Ｇ、およびＢは、前記ピクセルの赤、緑、および青のレベルをそれぞれ表し、Ｐは、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１４】
各ピクセルのテクスチャ属性を決定するステップは、
Ａ（ｘ，ｙ）＝｜Ｐ（ｘ，ｙ−１）＋Ｐ（ｘ，ｙ＋１）＋Ｐ（ｘ−１，ｙ）＋Ｐ（ｘ＋１，ｙ）−Ｐ（ｘ−１，ｙ−１）−Ｐ（ｘ＋１，ｙ−１）−Ｐ（ｘ−１，ｙ＋１）−Ｐ（ｘ＋１，ｙ＋１）｜
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１５】
各ピクセルのテクスチャ属性を決定するステップは、
【数１】
2005141744.tif 000007
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１６】
各ピクセルのテクスチャ属性を決定するステップは、
【数２】
2005141744.tif 000008
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１７】
各ピクセルのテクスチャ属性を決定するステップは、
【数３】
2005141744.tif 000009
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１８】
各ピクセルのテクスチャ属性を決定するステップは、
【数４】
2005141744.tif 000010
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項１９】
各ピクセルのテクスチャ属性を決定するステップは、
【数５】
2005141744.tif 000011
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項２０】
各ピクセルのテクスチャ属性を決定するステップは、
【数６】
2005141744.tif 000012
という式を用いて前記テクスチャ属性の少なくとも１つを計算するステップを含み、上式で、Ａ（ｘ，ｙ）は、前記画像中のｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｐ（ｘ，ｙ）は、前記ピクセルの前記グレーレベルを表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項２１】
各テクスチャ属性に対する前記平均値を決定するステップは、
【数７】
2005141744.tif 000013
という式を用いて少なくとも１つの平均値を計算するステップを含み、上式で、μは、前記平均値を表し、Ａ（ｘ，ｙ）は、ｘおよびｙの位置にある前記ピクセルの前記属性を表し、Ｎは、前記式によって合計される値の総数を表し、Ｈは、前記画像の高さを表し、Ｗは、前記画像の幅を表すことを特徴とする請求項１１に記載のコンピュータによって実施される方法。
【請求項２２】
各テクスチャ属性に対する前記分散値を決定するステップは、
【数８】
2005141744.tif 000014
という式を用いて少なくとも１つの分散値を計算するステップを含み、上式で、σは、前記分散値を表すことを特徴とする請求項２１に記載のコンピュータによって実施される方法。
【請求項２３】
請求項１１に記載のコンピュータによって実施される方法を実施するための、プロセッサによって実行可能なコンピュータプログラムを含むことを特徴とする１つまたは複数のコンピュータ可読メモリ。
【請求項２４】
画像のピクセルをグレースケールに変換する手段と、
前記ピクセルの局所的なテクスチャに基づいて、前記ピクセルのテクスチャ属性を決定する手段と、
前記画像中の前記ピクセルに対して、前記テクスチャ属性に関連づけられた統計値を計算する手段と、
前記統計値から前記画像のテクスチャモーメントを決定する手段とを備えることを特徴とする機器。
【請求項２５】
前記決定されたテクスチャモーメントに類似したテクスチャモーメントを有する画像を求めて、データストアを検索する手段をさらに備えることを特徴とする請求項２４に記載の機器。
【請求項２６】
前記決定されたテクスチャモーメントを用いて、前記画像を索引づけする手段をさらに備えることを特徴とする請求項２４に記載の機器。
【請求項２７】
画像を含むデータストアと、
前記データストアにアクセスするように構成された画像マネージャとを含むメモリを備えるコンピュータであって、前記画像マネージャは、第１の画像に関連づけられたテクスチャモーメントを決定するとともに、前記データストアから、前記第１の画像のテクスチャモーメントに相当するテクスチャモーメントを有する他の画像を検索するようにさらに構成されることを特徴とするコンピュータ。
【請求項２８】
前記画像マネージャは、前記第１の画像中の各ピクセルの前記局所的なテクスチャに関連づけられたテクスチャ属性から、前記テクスチャモーメントを決定するようにさらに構成されることを特徴とする請求項２７に記載のコンピュータ。
【請求項２９】
前記テクスチャ属性は、局所的な離散フーリエ変換の係数から導出されることを特徴とする請求項２８に記載のコンピュータ。
【請求項３０】
前記画像マネージャは、第２の画像に関連づけられたテクスチャモーメントを決定するとともに、前記関連づけられたテクスチャモーメントを用いて前記第２の画像を索引づけするようにさらに構成されることを特徴とする請求項２７に記載のコンピュータ。
【請求項３１】
コンピュータネットワークと接続するように構成されたネットワークインターフェイスをさらに備え、前記画像マネージャは、前記ネットワークインターフェイスを介して、リモートデータストアから画像を検索するようにさらに構成されることを特徴とする請求項２７に記載のコンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に記述するシステムおよび方法は、画像の索引づけおよび検索に関する。
【背景技術】
【０００２】
デジタル画像は、デジタル画像処理技術が向上し、インターネットにより容易に使用できるようになったことにより、急速に普及しつつある。より多くのデジタル画像が、日ごとに利用可能になっている。
【０００３】
自動画像検索システムは、増えつつある使用可能な画像をユーザがナビゲートするための効率的な方法を提供する。一部の既存の従来の画像検索システムは、人間が選んだ１つまたは複数のキーワードに各画像を関連づけることによって、画像をカタログする。こうしたキーワードに基づく画像管理システムに伴う問題の１つは、人間が、特定の画像固有の複雑さを的確に記述することは困難であり、または不可能でさえあり得ることである。その結果、記述されることができない、または曖昧に記述されることしかできない画像はうまく検索されないので、検索の正確さが厳しく制限され得る。キーワードに基づく画像管理システムに伴う別の問題は、各画像が、手作業で検査され念入りに注釈をつけられなければならないことである。こうしたステップは、多数の画像を有するデータベースにとっては特に、非常に手間がかかり、極端にコストが高い。
【０００４】
最近では、内容に基づく画像検索（ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｉｍａｇｅ  ｒｅｔｒｉｅｖａｌ：ＣＢＩＲ）を用いる一部の画像管理システムが出現し始めている。一般に、ＣＢＩＲシステムは、参照画像の視覚的な（すなわち意味的でない）特徴を識別し、そうした類似の特徴を有する他の画像を見つけることができる。こうした視覚特徴は、色のコレログラム（ｃｏｒｒｅｌｏｇｒａｍ）、色のヒストグラム、およびウェーブレットという特徴を含む。画像のこうした視覚特徴を入手するためには、有意義で有用な結果を得るのにかなりの計算能力が必要とされる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、計算するのが容易であり、正確な画像検索結果をもたらすことができる視覚特徴を利用するＣＢＩＲシステムが必要である。
【課題を解決するための手段】
【０００６】
本明細書に記述するシステムおよび方法は、画像の索引づけおよび検索を対象とする。一態様では、本システムおよび方法は、画像を分析して、画像のテクスチャモーメント（ｔｅｘｔｕｒｅ  ｍｏｍｅｎｔ）を決定する。画像のピクセルは、グレースケール形式に変換される。ピクセルのテクスチャ属性が決定される。テクスチャ属性は、ピクセルの局所的なテクスチャに関連づけられ、離散フーリエ変換の係数から導出される。ピクセルのテクスチャ属性に関連づけられた統計値が計算される。画像のテクスチャモーメントは、統計値から決定される。
【０００７】
別の態様では、テクスチャモーメントは、指定された視覚特徴を有する画像を求めてデータストアを検索するために使用される。さらに別の態様では、テクスチャモーメントは、データストア中の画像を索引づけするために使用される。
【発明を実施するための最良の形態】
【０００８】
内容に基づく画像検索（ＣＢＩＲ）システムは概して、指定された特定の視覚特徴を有する画像を検索するように構成される。こうした視覚特徴は一般に、画像の色に関連する。画像に対する、色に関連する視覚特徴の計算はしばしば、時間がかかり、計算量が多い。また、黒と白による画像、ならびに最低限の色の変化しかもたない画像は一般に、色に関連する視覚特徴を用いて効率的に検索されることができない。
【０００９】
したがって、本明細書において述べるシステムおよび方法は、テクスチャモーメントを用いた画像の索引づけおよび検索を実現する。こうしたシステムおよび方法は、ＣＢＩＲシステムが、索引づけおよび検索のために、画像に対するテクスチャモーメントを効率的に計算することを可能にする。テクスチャモーメントは、色に依存せず、テクスチャモーメントが他の視覚特徴より少ない次元で実現される場合であっても、他の視覚特徴より優れた結果をもたらすことができる。テクスチャモーメントは、画像の局所的なテクスチャ属性を要約するパラメータであり、計算するのも比較的容易である。
【００１０】
図１は、画像を索引づけし検索するシステムおよび方法が、完全にまたは部分的に実装されることができる、内容に基づく画像検索（ＣＢＩＲ）システム１００のグラフィック表現である。図１に示すように、ＣＢＩＲシステム１００は、画像マネージャ１１０および画像データストア１５０を含む。画像マネージャ１１０は、画像データストア１５０から画像を検索するとともに、テクスチャモーメントを用いて画像データストア１５０中の画像を編成するように構成された、コンピュータ実行可能なコンポーネントである。画像マネージャ１１０は、より正確な画像検索を達成するために、他の視覚特徴とともにテクスチャモーメントを使用することができる。
【００１１】
ユーザまたはアプリケーションは、画像マネージャ１１０と対話して、特定のテクスチャモーメントを有する１つまたは複数の画像を検索しまたは格納することができる。画像マネージャ１１０は、ユーザと対話するユーザインターフェイス１２０を含むことができる。アプリケーションプログラムインターフェイス１２５は、画像マネージャ１１０と対話するためのアプリケーション用に提供されることができる。
【００１２】
画像マネージャ１１０は、ユーザまたはアプリケーションから画像を検索するために用いられるテクスチャモーメントを受け取るように構成される。画像マネージャ１１０は、画像１３０などの参照画像の形でテクスチャモーメントを受け取るとともに、参照画像に類似した、画像データストア１５０中の画像を検索するように構成されることができる。画像マネージャ１１０は、参照画像のテクスチャモーメントを決定するように構成されたアナライザ１１５を含むことができる。画像に対するテクスチャモーメントを決定する処理の一例は、図４、５、および６に関連して説明される。簡潔に説明すると、画像がグレースケール形式に変換され、画像のピクセルに関連づけられたテクスチャ属性からテクスチャモーメントが決定される。画像マネージャ１１０は、参照画像を使わずに、テクスチャモーメントを直接受け取るように構成されることもできる。
【００１３】
画像マネージャ１１０は、参照画像のテクスチャモーメントまたは受け取ったテクスチャモーメントに類似したテクスチャモーメントをもつ画像を求めて、画像データストア１５０を検索するように構成される。画像マネージャ１１０は、参照画像との類似度の、指定された閾値を超える、画像データストア１５０中の画像のみを検索するよう命令されることができる。一実施形態では、画像データストア１５０中の画像は、テクスチャモーメントを含むメタデータに関連づけられることができる。画像マネージャ１１０は、メタデータを用いて画像データストア１５０中の画像のテクスチャモーメントを参照画像のテクスチャモーメントと比較し、一致を見つけるように構成されることができる。別の実施形態では、画像データストア１５０中の画像は、メタデータに関連づけられず、画像マネージャ１１０は、比較のためにデータストア１５０中の画像のテクスチャモーメントを計算するように構成される。
【００１４】
画像マネージャ１１０は、テクスチャモーメントを用いて画像データストア１５０中の画像を編成するように構成されることもできる。具体的には、画像マネージャ１１０は、画像１３０などの画像を受け取り、その画像をデータストア１５０に格納することができる。画像１３０のテクスチャモーメントが決定され、メタデータ１５５として画像に関連づけられる。画像マネージャ１１０は、メタデータ１５５を使ってデータストア１５０中の画像を索引づけする。
【００１５】
図２Ａは、図１に示す画像１３０の、より詳細なグラフィック表現である。画像１３０は、ピクセルによって表されるデジタル画像である。画像１３０は、色によるものでも、グレースケールによるものでもよい。画像１３０は、元のデジタル画像でも、デジタル化されている別のタイプの画像でもよい。図２Ａに示すように、画像１３０は、高さが「Ｈ」ユニット、および幅が「Ｗ」ユニットの次元を有する。
【００１６】
図２Ｂは、図１に示す画像１３０中のピクセルに対するラベルづけ変換（ｌａｂｅｌｉｎｇ  ｃｏｎｖｅｒｓｉｏｎ）のグラフィック表現である。ラベルづけ変換は、テクスチャモーメントの決定に関連するこれ以降の説明のために示される。ラベルづけ変換は、ピクセルグリッド２１０によって例示される。問題とするピクセルは、ピクセル（ｘ，ｙ）であり、このピクセルは、ピクセルグリッド２１０の中心ボックスによって表される。１２時の位置から始めて時計回りに進むと、ピクセル（ｘ，ｙ）を取り囲む８個のピクセルは、それぞれピクセル（ｘ，ｙ＋１）、ピクセル（ｘ＋１，ｙ＋１）、ピクセル（ｘ＋１，ｙ）、ピクセル（ｘ＋１，ｙ−１）、ピクセル（ｘ，ｙ−１）、ピクセル（ｘ−１，ｙ−１）、ピクセル（ｘ−１，ｙ）、およびピクセル（ｘ−１，ｙ＋１）である。
【００１７】
テクスチャモーメントを計算するために、画像１３０は、グレースケールに変換される。画像１３０中の各ピクセルに対するグレーレベルは、ピクセルの赤／緑／青（ＲＧＢ）レベルから決定される。ピクセルに対するグレーレベルは、異なる多くのやり方で決定されることができる。たとえば、ピクセルのグレーレベルは、ピクセルに関連づけられた赤、緑、および青のレベルの平均をとることによって決定されることができる。単純な平均化方法、たとえば
Ｐ＝（Ｒ＋Ｇ＋Ｂ）／３
が使われることができ、上式で、Ｒ、Ｇ、およびＢは、それぞれ、ピクセルの赤、緑、および青のレベルであり、Ｐは、ピクセルのグレーレベルである。ピクセルのグレーレベルは、他の平均化方法、たとえば
Ｐ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ
から決定されることもできる。
【００１８】
画像１３０のテクスチャモーメントの決定は、画像１３０中のピクセルに関連づけられたテクスチャ属性の計算を伴う。各ピクセルに対するテクスチャ属性の計算は通常、図２Ｂでグラフィック表現によって示した８個の周辺ピクセルを考慮に入れる。計算を簡単にするために、画像１３０の縁部にある外側ピクセルは、８個未満の周辺ピクセルを有するので、スキップされることができる。したがって、画像１３０に対して、（Ｈ−２）＊（Ｗ−２）個の内側ピクセルがある。
【００１９】
各内側ピクセルのテクスチャ属性は、画像１３０中のそのピクセルの位置にある局所的なテクスチャに関連づけられる。ピクセルに対する局所的なテクスチャは、周波数空間における、そのピクセルの離散フーリエ変換に関連するので、ピクセルのテクスチャ属性は、そのピクセルに関連づけられた離散フーリエ変換の係数から導出される。「ｘ」および「ｙ」の位置にあるピクセルに対する離散フーリエ変換は、次の式によって表されることができる。
【００２０】
【数１】
2005141744.tif 000003
【００２１】
上式で、ｋは、０から７の値でよく、反時計回りの順序で、ｘおよびｙの位置にあるピクセルを取り囲む隣接ピクセルからの離散フーリエ変換によって計算される８個の複素数値を表し、Ｉは、元の画像を表す関数である。
【００２２】
多くのテクスチャ属性は、離散フーリエ変換の係数から導出されることができる。一実施形態では、７個のテクスチャ属性が、
（１＜ｘ＜Ｗ−２，１＜ｙ＜Ｈ−２）であるピクセル（ｘ，ｙ）
によって表される内側ピクセルに対して計算される。
【００２３】
画像１３０中の各ピクセルに対する７個の属性は、次の式によって計算されることができる。
【００２４】
【数２】
2005141744.tif 000004
【００２５】
上式で、Ｐ（ｘ，ｙ）は、画像１３０中の「ｘ」および「ｙ」の位置にあるピクセルのグレーレベルを表し、Ａｉ（ｘ，ｙ）は、ピクセルの、ｉのテクスチャ属性を表す。図３は、７個のテクスチャ属性をグラフィック表現によって表す７個のテンプレート３０１〜３０７を示す。こうした７個のテクスチャ属性は、計算を簡単にするために、絶対値演算を用いて決定される。こうした７個のテクスチャ属性に類似した他のテクスチャ属性は、離散フーリエ変換の係数から導出されることもできる。
【００２６】
個々の各ピクセルのテクスチャ属性を、画像全体を表す使用可能な因子に統合するために、統計的なパラメータが使われることができる。一実施形態では、７個のテクスチャ属性それぞれの平均および分散が、内側ピクセルに対して計算される。各属性の平均は、次の式によって計算されることができる。
【００２７】
【数３】
2005141744.tif 000005
【００２８】
ただし、
ｉ＝１，．．．，７
上式で、μｉは、ｉのテクスチャ属性に対する平均であり、Ｎは、式によって合計される値の総数である。各テクスチャ属性の分散は、次の式によって計算されることができる。
【００２９】
【数４】
2005141744.tif 000006
【００３０】
ただし、
ｉ＝１，．．．，７
上式で、σｉは、ｉのテクスチャ属性に対する分散である。
【００３１】
こうした７個のテクスチャ属性の平均および分散は、画像のテクスチャモーメントを表す１４次元ベクトルを構成する。
【００３２】
図４は、画像のテクスチャモーメントを決定する処理４００の一例を示す動作フロー図である。処理４００は、画像検索処理または画像索引づけ処理の一部として、画像マネージャによって実施されることができる。開始ブロックから始まり、処理４００は、ブロック４０５に進み、ここで、分析のために画像が受け取られる。画像は、画像検索用の参照画像でも、索引づけられるべき画像でもよい。
【００３３】
判断ブロック４１０で、画像がグレースケール画像であるか、判定が行われる。グレースケール画像である場合、処理４００は、ブロック４２０に移る。画像がグレースケール画像でない場合、処理は、ブロック４１５に移り、ここで、画像はグレースケール画像に変換される。画像は、画像中の各ピクセルのグレーレベルを決定することによって、グレースケールに変換される。一実施形態では、ピクセルに対するグレーレベルは、ピクセルに関連づけられた赤、緑、および青のレベルの平均をとることによって決定される。処理４００は次いで、ブロック４２０に続く。
【００３４】
ブロック４２０で、画像中のピクセルに関連づけられたテクスチャ属性が計算される。ある特定のピクセルのテクスチャ属性は、画像中のそのピクセルの位置の局所的なテクスチャに関連し、ピクセルに関連づけられた離散フーリエ変換の係数から導出される。テクスチャ属性は、問題となっている特定のピクセルを取り囲む他のピクセルを考慮に入れる。画像の外側の縁部にあるピクセルは、すべての側において他のピクセルに取り囲まれているわけではないので、外側ピクセルのテクスチャ属性は、処理４００から除外されることができる。
【００３５】
ブロック４２５で、テクスチャ属性それぞれに対する平均が決定される。ブロック４３０で、各テクスチャ属性に対する分散が決定される。平均および分散は、各内側ピクセルのテクスチャ属性を構成する。平均および分散は、画像のテクスチャモーメントを表すベクトルを形成する。次いで、処理４００は終了する。
【００３６】
図５は、データストア中の画像を索引づけする処理５００の一例を示す動作フロー図である。処理５００は、画像を管理し画像の検索を容易にする、内容に基づく画像検索システムによって実施されることができる。データストアは、データベース、ファイルディレクトリ、または他の論理データ記憶コンポーネントでよい。開始ブロックから始まり、処理５００は、ブロック５０５に進み、ここで、データストアに格納するために画像が受け取られる。画像は、元のデジタル画像でも、デジタル化されたバージョンの、別のタイプの画像でもよい。
【００３７】
ブロック５１０で、画像のテクスチャモーメントが決定される。テクスチャモーメントは、画像中のピクセルの局所的なテクスチャに関連づけられ、図４に関連して論じた処理４００から決定されることができる。ブロック５１５で、画像はデータストアに格納される。ブロック５２０で、画像は、編成のためにテクスチャモーメントで索引づけられる。画像のテクスチャモーメントで画像を索引づけすることは、ユーザまたはアプリケーションによる画像の検索を容易にする。画像は、テクスチャモーメントに画像を関連づけるどの方法でも索引づけられることができる。
【００３８】
図６は、データストアから画像を検索する処理６００の一例を示す動作フロー図である。処理６００は、内容に基づく画像検索システムによって実施されることができる。データストア中の画像は、索引づけされても、されなくてもよい。開始ブロックから始まり、処理６００は、ブロック６０５に移り、ここで、画像を検索するようにとの要求が受け取られる。要求は、アプリケーションによって開始されることも、ユーザによって直接開始されることもできる。通常、要求は、検索されるべき画像の所望の視覚特徴を含む。
【００３９】
判断ブロック６１０で、テクスチャモーメントが所望の視覚特徴の一部として与えられるか、判定が行われる。与えられる場合、処理６００は、ブロック６２５に移る。テクスチャモーメントが与えられない場合、処理６００は、ブロック６１５に続き、ここで、参照画像が受け取られる。参照画像は、処理６００が、参照画像の視覚特徴と類似した視覚特徴を有する画像を見つけることを可能にする。ブロック６２０で、参照画像のテクスチャモーメントが決定される。テクスチャモーメントは、図４に関連して論じた処理４００から決定されることができる。処理６００は、ブロック６２５に続く。
【００４０】
ブロック６２５で、データストアが、所望の視覚特徴を有する画像を求めて検索される。具体的には、与えられたテクスチャモーメントまたは参照画像から決定されたテクスチャモーメントに相当するテクスチャモーメントを有する画像が検索される。画像検索のために、他の視覚特徴が、検索の正確さを向上させるためにテクスチャモーメントとともに使われることができる。データストア中の画像は、検索を容易にするために、画像のテクスチャモーメントおよび他の視覚特徴によって索引づけられることができる。しかし、データストア中の画像がそのように索引づけられない場合、処理６００は、一致を検索するために画像のテクスチャモーメントおよび他の視覚特徴を決定することができるが、これは、より複雑であり時間がかかる。ブロック６３０で、一致する画像が返され、処理は終わる。
【００４１】
図７は、画像を索引づけし検索するシステムおよび方法が、完全にまたは部分的に実装されることができるコンピュータ７００の一例を示す。コンピュータ７００は、計算機システムの一例に過ぎず、本発明の使用または機能の範囲に関するどのような制限を示唆することも意図されない。
【００４２】
コンピュータ７００は、他の多数の汎用または専用計算機システム環境とも構成とも実装されることができる。使用に適し得る公知の計算機システム、環境、および／または構成の例は、パーソナルコンピュータ、サーバコンピュータ、小型軽量クライアント、大型クライアント、携帯型またはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、ゲーム用コンソール、上記のシステムまたは装置のいずれをも含む分散型計算機環境などを含むが、それに限定されない。
【００４３】
コンピュータ７００のコンポーネントは、プロセッサ７０２（たとえば、マイクロプロセッサ、コントローラなどのいずれも）、システムメモリ７０４、入力装置７０６、出力装置７０８、およびネットワーク装置７１０を含むことができるが、これに限定されない。
【００４４】
コンピュータ７００は通常、様々なコンピュータ可読媒体を含む。このような媒体は、コンピュータ７００によってアクセス可能であるとともに揮発性媒体および不揮発性媒体両方、取外し可能媒体および固定型媒体を含む、利用可能などの媒体でもよい。システムメモリ７０４は、コンピュータ可読媒体を、ＲＡＭ（ランダムアクセスメモリ）などの揮発性メモリの形、および／またはＲＯＭ（読出し専用メモリ）などの不揮発性メモリの形で含む。ＢＩＯＳ（基本入出力システム）は、たとえば起動中にコンピュータ７００内部の要素間で情報を転送するのを助ける基本ルーチンを含み、システムメモリ７０４に格納される。システムメモリ７０４は一般に、プロセッサ７０２に対してただちにアクセス可能な、かつ／またはプロセッサ７０２によって現在操作されているデータおよび／またはプログラムモジュールを含む。
【００４５】
システムメモリ７０４は、他の取外し可能／固定型、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。例として、ハードディスクドライブが、固定型の不揮発性磁気媒体からの読出しまたはそこへの書込みを行うために含まれることができ、磁気ディスクドライブが、取外し可能な不揮発性磁気ディスク（たとえば「フロッピー（登録商標）ディスク」）からの読出しまたはそこへの書込みを行うために含まれることができ、光ディスクドライブが、取外し可能な不揮発性光ディスク、たとえばＣＤ−ＲＯＭ、ＤＶＤ、または他のどのタイプの光学媒体からの読出しまたはそこへの書込みも行うために含まれることができる。
【００４６】
ディスクドライブおよびそれに関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ７００のための他のデータの不揮発性記憶を実現する。コンピュータ７００によってアクセス可能なデータを格納することができる他のタイプのコンピュータ可読媒体、たとえば磁気カセットまたは他の磁気記憶装置、フラッシュメモリカード、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル多用途ディスク）または他の光学記憶装置、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去書込み可能読出し専用メモリ）なども、例示的なコンピュータ７００を実現するのに使用されることができることを理解されたい。
【００４７】
プログラムモジュール、たとえばオペレーティングシステム７２０、アプリケーションプログラム７２８、およびデータ７３２はいくつでも、システムメモリ７０４に格納されることができる。図に示すように、アプリケーションプログラム７２８は、画像マネージャ１０５を有する、内容に基づく画像検索システム１００と、他のアプリケーションプログラム７３０とを含み、データ７３２は、画像マネージャ１０５によってアクセス可能な画像データストア１５０を含む。画像マネージャ１０５は、ネットワーク装置７１０を介して他のリモート画像データストアにアクセスするように構成されることができる。
【００４８】
コンピュータ７００は、通信媒体として識別される様々なコンピュータ可読媒体を含むことができる。通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、変調データ信号、たとえば搬送波や他の移送機構として具体化し、どの情報配信媒体も含む。「変調データ信号」という用語は、信号中の情報を符号化するようなやり方で設定されまたは変更される信号特性の１つまたは複数を有する信号を指す。限定ではなく例として、通信媒体は、有線ネットワークや直接有線接続などの有線媒体、ならびに音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体を含む。上記のどの組合せも、やはりコンピュータ可読媒体の範囲に含まれる。
【００４９】
ユーザは、キーボードおよび指示装置（たとえば「マウス」）などの入力装置を介して、コマンドおよび情報をコンピュータ７００に入力することができる。他の入力装置７０６は、マイクロホン、ジョイスティック、ゲーム用パッド、コントローラ、衛星パラボラアンテナ、シリアルポート、スキャナ、タッチスクリーン、タッチパッド、キーパッドなどを含み得る。出力装置７０８は、ＣＲＴモニタ、ＬＣＤスクリーン、スピーカ、プリンタなどを含むことができる。
【００５０】
コンピュータ７００は、たとえばＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）などのコンピュータネットワークと接続するネットワーク装置７１０を含むことができる。
【００５１】
上記の説明は、構造上の特徴および／または方法における動作に特有の言葉を使用したが、添付の特許請求の範囲において定義される本発明は、説明した特定の特徴にも動作にも限定されないことを理解されたい。そうではなく、こうした特定の特徴および動作は、本発明を実施する例示的な形として開示されるものである。
【図面の簡単な説明】
【００５２】
【図１】画像を索引づけし検索するシステムおよび方法が、完全にまたは部分的に実装されることができる、内容に基づく画像検索システムのグラフィック表現を示す図である。
【図２Ａ】図１に示す画像の、より詳細なグラフィック表現を示す図である。
【図２Ｂ】図１に示す画像中のピクセルに対するラベルづけ変換のグラフィック表現を示す図である。
【図３】７個のテクスチャ属性をグラフィック表現によって表す７個のテンプレートを示す図である。
【図４】画像のテクスチャモーメントを決定する処理の一例を示す動作フロー図である。
【図５】データストア中の画像を索引づけする処理の一例を示す動作フロー図である。
【図６】データストアから画像を検索する処理の一例を示す動作フロー図である。
【図７】テクスチャモーメントを用いて画像を索引づけし検索するシステムおよび方法が、完全にまたは部分的に実装されることができるコンピュータの一例を示す図である。
【符号の説明】
【００５３】
１００    内容に基づく画像検索システム
１１０    画像マネージャ
１１５    アナライザ
１２０    ユーザインターフェイス
１２５    アプリケーションプログラムインターフェイス
１５０    画像データストア
１５５    メタデータ
【図１】
2005141744.tif 000015
【図２Ａ】
2005141744.tif 000016
【図２Ｂ】
2005141744.tif 000017
【図３】
2005141744.tif 000018
【図４】
2005141744.tif 000019
【図５】
2005141744.tif 000020
【図６】
2005141744.tif 000021
【図７】
2005141744.tif 000022