(57)【要約】      （修正有）【課題】グラニュロメトリを含む画像処理を短時間で行う画像処理方法および装置を実現する。【解決手段】質問画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを質問画像のシグネチャとし（３０９，３１１）、対象画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを対象画像のシグネチャとし、質問画像のシグネチャに一致するシグネチャを持つ対象画像を抽出する。【選択図】      図１５
2004213173.tif 000002
【特許請求の範囲】
【請求項１】
ディジタルデータで表された画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求め、
パターンスペクトラムのモーメントを画像のシグネチャとする、
ことを特徴とする画像処理方法。
【請求項２】
質問画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを質問画像のシグネチャとし、
対象画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを対象画像のシグネチャとし、
質問画像のシグネチャに一致するシグネチャを持つ対象画像を抽出する、
ことを特徴とする画像処理方法。
【請求項３】
質問画像のモーメント・インバリアントを質問画像のシグネチャとして追加し、
対象画像のモーメント・インバリアントを対象画像のシグネチャとして追加する、
ことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
質問画像のシグネチャにおけるモーメント・インバリアント一致するモーメント・インバリアントをシグネチャに持つ対象画像を優先的に抽出し、そのような対象画像がないときは質問画像のシグネチャにおけるモーメント一致するモーメントをシグネチャに持つ対象画像を抽出する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項５】
前記モーメントは、１次、２次および３次のモーメントである、
ことを特徴とする請求項１ないし請求項４のうちのいずれか１つに記載の画像処理方法。
【請求項６】
ディジタルデータで表された画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めるスペクトラム生成手段と、
パターンスペクトラムのモーメントを画像のシグネチャとするシグネチャ生成手段と、
を具備することを特徴とする画像処理装置。
【請求項７】
質問画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを質問画像のシグネチャとする第１のシグネチャ生成手段と、
対象画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを対象画像のシグネチャとする第２のシグネチャ生成手段と、
質問画像のシグネチャに一致するシグネチャを持つ対象画像を抽出する抽出手段と、
を具備することを特徴とする画像処理装置。
【請求項８】
前記第１のシグネチャ生成手段は、質問画像のモーメント・インバリアントを質問画像のシグネチャとして追加し、
前記第２のシグネチャ生成手段は、対象画像のモーメント・インバリアントを対象画像のシグネチャとして追加する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記抽出手段は、質問画像のシグネチャにおけるモーメント・インバリアント一致するモーメント・インバリアントをシグネチャに持つ対象画像を優先的に抽出し、そのような対象画像がないときは質問画像のシグネチャにおけるモーメント一致するモーメントをシグネチャに持つ対象画像を抽出する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記モーメントは、１次、２次および３次のモーメントである、
ことを特徴とする請求項６ないし請求項９のうちのいずれか１つに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、とくに、グラニュロメトリ（ｇｒａｎｕｌｏｍｅｔｒｙ）を含む画像処理を行う方法および装置に関する。
【０００２】
【従来の技術】
従来、ディジタルデータ（ｄｉｇｉｔａｌ  ｄａｔａ）で表された画像について、モルフォロジカル・オペレーション（ｍｏｒｐｈｏｌｏｇｉｃａｌ  ｏｐｅｒａｔｉｏｎ）の一技法であるグラニュロメトリを用いて、画像のパターンスペクトラム（ｐａｔｔｅｒｎ  ｓｐｅｃｔｒｕｍ）を求めることが行われる（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】
マラゴス（Ｍａｒａｇｏｓ）、パターン  スペクトラム  アンド  マルチスケール  シェイプ  レプレゼンテーション（Ｐａｔｔｅｒｎ  Ｓｐｅｃｔｒｕｍ  ａｎｄ  Ｍｕｌｔｉｓｃａｌｅ  Ｓｈａｐｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）、「アイ・イー・イー・イー  トランザクション  パッテン  アナル  マシン  インテル（ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｎ  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．）」、（米国）、１９８９年、第１１巻、第７号、ｐ．７０１−７１６
【０００４】
【発明が解決しようとする課題】
グラニュロメトリは、画像のオープニング（ｏｐｅｎｉｎｇ）によって行われ、オープニングはエロージョン（ｅｒｏｓｉｏｎ）とダイレーション（ｄｉｌａｔｉｏｎ）の組み合わせによって行われるので、グラニュロメトリが組み込まれた各種の画像処理は、所要時間が長いものとなる。
【０００５】
そこで、本発明の課題は、グラニュロメトリを含む画像処理を短時間で行う画像処理方法および装置を実現することである。
【０００６】
【課題を解決するための手段】
（１）上記の課題を解決するためのひとつの観点での発明は、ディジタルデータで表された画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求め、パターンスペクトラムのモーメントを画像のシグネチャとする、ことを特徴とする画像処理方法である。
【０００７】
（２）上記の課題を解決するための他の観点での発明は、ディジタルデータで表された画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めるスペクトラム生成手段と、パターンスペクトラムのモーメントを画像のシグネチャとするシグネチャ生成手段と、を具備することを特徴とする画像処理装置である。
【０００８】
（１）および（２）に記載の各観点での発明では、リニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めるので、グラニュロメトリが高速化され、画像のシグネチャを得るまでの時間が短縮される。
【０００９】
（３）上記の課題を解決するための他の観点での発明は、質問画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを質問画像のシグネチャとし、対象画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを対象画像のシグネチャとし、質問画像のシグネチャに一致するシグネチャを持つ対象画像を抽出する、ことを特徴とする画像処理方法である。
【００１０】
（４）上記の課題を解決するための他の観点での発明は、質問画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを質問画像のシグネチャとする第１のシグネチャ生成手段と、対象画像についてリニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めてそのモーメントを対象画像のシグネチャとする第２のシグネチャ生成手段と、質問画像のシグネチャに一致するシグネチャを持つ対象画像を抽出する抽出手段と、を具備することを特徴とする画像処理装置である。
【００１１】
（３）および（４）に記載の各観点での発明では、質問画像および対象画像について、それぞれ、リニア・グラニュロメトリによりリニア・ストラクチャリングエレメントに基づくパターンスペクトラムを求めて、それらパターンスペクトラムのモーメントを、それぞれ、質問画像および対象画像のシグネチャとするので、質問画像および対象画像のシグネチャを得るまでの時間が短縮され、これによって、質問画像と同じ内容と持つ対象画像を抽出する時間が短縮される。
【００１２】
質問画像のモーメント・インバリアントを質問画像のシグネチャとして追加し、対象画像のモーメント・インバリアントを対象画像のシグネチャとして追加することが、シグネチャの内容を充実する点で好ましい。
【００１３】
質問画像のシグネチャにおけるモーメント・インバリアント一致するモーメント・インバリアントをシグネチャに持つ対象画像を優先的に抽出し、そのような対象画像がないときは質問画像のシグネチャにおけるモーメント一致するモーメントをシグネチャに持つ対象画像を抽出することが、類似画像を能率良く抽出する点で好ましい。
【００１４】
前記モーメントは、１次、２次および３次のモーメントであることが、適切なシグネチャを得る点で好ましい。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図１に画像処理装置のブロック（ｂｌｏｃｋ）図を示す。本装置は本発明の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００１６】
図１に示すように、本装置は、コンピュータ（ｃｏｍｐｕｔｅｒ）１００を有する。コンピュータ１００には処理すべき画像が入力される。画像は、図示しない外部のデータベース（ｄａｔａ  ｂａｓｅ）等から入力される。入力画像は、例えばＸ線ＣＴ装置やＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）装置等で撮影された医用画像である。なお、入力画像は医用画像に限るものではない。
【００１７】
コンピュータ１００は記憶部１０２を有する。記憶部１０２は入力された画像を記憶する。また、コンピュータ１００のための各種のデータ（ｄａｔａ）やプログラム（ｐｒｏｇｒａｍ）等を記憶する。コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより、画像処理に関わる各種のデータ処理が行われる。
【００１８】
コンピュータ１００は、また、表示部１０４および操作部１０６を有する。表示部１０４は、コンピュータ１００から出力される画像やその他の情報を表示する。操作部１０６は、使用者によって操作され、各種の指示や情報等をコンピュータ１００に入力する。使用者は表示部１０４および操作部１０６を使用してインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）に本装置を操作する。
【００１９】
本装置による画像処理について説明する。本装置は２種類の画像処理を行う。ひとつは画像解析であり、他は画像検索である。まず、画像解析について説明する。
【００２０】
図２に、画像解析を行うときの本装置の動作のフロー（ｆｌｏｗ）図を示す。本装置の動作は、コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより遂行される。以下、同様である。
【００２１】
同図に示すように、ステップ（ｓｔｅｐ）２０１で、画像読込が行われる。これによって、例えば図３に示すような画像が外部のデータベース等から読み込まれて記憶部１０２に記憶される。
【００２２】
画像のマトリクスサイズ（ｍａｔｒｉｘ  ｓｉｚｅ）は（Ｎ＋１）×（Ｍ＋１）である。具体的には、例えば５１２×５１２である。画像は中間調画像であり、画素値Ｗ（ｘ，ｙ）は階調性を有する。画素値Ｗ（ｘ，ｙ）をｘ，ｙ軸に垂直なＷ軸上の値とすると、Ｗ（ｘ，ｙ）の分布は、例えば図４に示すようになる。
【００２３】
このような画素値分布のプロファイル（ｐｒｏｆｉｌｅ）は、図５に示すようになる。同図において、Ｐａはｘ軸に平行なプロファイルである。これはホリゾンタル・プロファイル（ｈｏｒｉｚｏｎｔａｌ  ｐｒｏｆｉｌｅ）とも呼ばれる。このプロファイルのｙ軸上の位置はＹ１である。Ｐｂはｙ軸に平行なプロファイルである。これはバーティカル・プロファイル（ｖｅｒｔｉｃａｌ  ｐｒｏｆｉｌｅ）とも呼ばれる。そのｘ軸上の位置はＸ１である。
【００２４】
なお、プロファイルは図６に示すように、対角線方向のプロファイルＰｃ，Ｐｄであってよい。これらはダイヤゴナル・プロファイル（ｄｉａｇｏｎａｌ  ｐｒｏｆｉｌｅ）とも呼ばれる。
【００２５】
図７に、プロファイルＰａを示す。画素値Ｗ（ｘ，ｙ）はディジタルデータであるから、プロファイルＰａは図８に示すように、離散的な値Ｗ１，Ｗ２，Ｗ３，・・・で表される。これら離散値の大小関係はＷ１が最大で、以下Ｗ１＞Ｗ２＞Ｗ３＞・・・である。Ｗ１，Ｗ２，Ｗ３，・・・の階差は１ディジット（ｄｉｇｉｔ）である。プロファイルＰｂ〜Ｐｄも同様な性質を持つ。
【００２６】
次に、ステップ２０３で、内部カウンタ（ｃｏｕｎｔｅｒ）の計数値ｉが０に初期化される。計数値ｉはプロファイルの番号を表す。プロファイルＰａについては、プロファイ番号はｙ軸上の位置に相当する。プロファイルＰｂについては、プロファイル番号はｘ軸上の位置に相当する。
【００２７】
次に、ステップ２０５で、最大値抽出が行われる。最大値抽出は、プロファイルＰａ〜Ｐｄのうちのいずれかについて行われる。どのプルファイルにするかは、予め使用者によって指定される。以下、プロファイルＰａを用いる場合について説明するが、他のプロファイルを用いる場合も同様になる。最大値抽出によって、図８に示したプロファイルにおける最大値Ｗ１が抽出される。
【００２８】
次に、ステップ２０７で、エリア（ａｒｅａ）切取が行われる。ここで、エリアとは、プロファイルにおいて最大値を持つ領域のことである。この領域のｘ方向の大きさはｘ１であり、Ｗ方向の大きさは１ディジットである。したがって、エリアの大きさはｘ１×１ディジット＝ｘ１である。
【００２９】
次に、ステップ２０９で、エリアをスペクトラム・カウンタ（ｓｐｅｃｔｒｕｍ  ｃｏｕｎｔｅｒ）でカウントすることが行われる。これによって、エリアの大きさｘ１がスペクトラム・カウンタにカウントされる。スペクトラム・カウンタはコンピュータ１００の内部カウンタのひとつである。
【００３０】
次に、ステップ２１１で、プロファイにおける最大値の有無が判定される。エリア切取により、プロファイルは図９に示すようになっており、Ｗ２がプロファイルの最大値となるので判定はＹｅｓとなる。Ｙｅｓの場合はステップ２０５に戻る。
【００３１】
以下、ステップ２０５，２０７，２０９で、上記と同様にして、最大値抽出、エリア切取、および、エリアのカウントが順次に行われ、ステップ２１１で、プロファイにおける最大値の有無が判定される。
【００３２】
エリア切取により、プロファイルは図１０に示すようになっており、Ｗ３がプロファイルの最大値となるので判定はＹｅｓとなる。このようなプロファイルについて、ステップ２１１で、最大値の有無が判定され、判定がＹｅｓであることにより、ステップ２０５〜２０９の処理が行われる。判定がＹｅｓの間はこれが繰り返される。
【００３３】
このようにして、プロファイルについて、最大値側から順次に、エリアの切取および切取エリアのカウントが行われる。エリアのカウントは画素値Ｗｉ（ｉ＝１，２，３，・・・）ごとに別々に行われる。なお、エリアの切り取りは、上記とは逆に、最小値側から行うようにしてもよい。最終的に得られる結果は同一である。
【００３４】
エリアの切り取りは、モルフォロジカル・オペレーションにおけるオープニングに相当するので、上記の処理はグラニュロメトリとなる。ただし、オープニング・オペレータ（ｏｐｅｎｉｎｇ  ｏｐｅｒａｔｏｒ）すなわちストラクチャチリング・エレメント（ｓｔｒｕｃｔｕｒｉｎｇ  ｅｌｅｍｅｎｔ）は、通常と異なり直線状のエリアとなる。
【００３５】
本書では、このようなストラクチャチリング・エレメントをリニア・ストラクチャチリングエレメントという。また、リニア・ストラクチャリングエレメントを用いるグラニュロメトリを、リニア・グラニュロメトリ（ｌｉｎｅａｒ  ｇｒａｎｕｌｏｍｅｔｒｙ）という。
【００３６】
リニア・グラニュロメトリによりひとつのプロファイルの全てのエリアを切り取ったとき、そのプロファイルのパターンスペクトラムが、スペクトラム・カウンタの計数値として得られる。また、このとき、そのプロファイルにおいて最大値が無くなり、ステップ２１１での判定がＮｏとなる。
【００３７】
次に、ステップ２１３で、他のプロファイルが無いか否かが判定される。そして、判定がＮｏすなわち他のプロファイルがある場合は、ステップ２１５で内部カウンタの計数値ｉを１つ増やし、ステップ２０５〜２１１の処理に戻る。これによって、隣のプロファイルが指定され、そのプロファイルについて、上記と同様な処理が行われにしてパターンスペクトラムが求められる。その際、エリアのカウントはＷｉごとに累積される。
【００３８】
このような処理が、他のプロファイルが無くなるまで繰り返される。他のプロフィルが無くなったとき、読込画像のパターンスペクトラムが、スペクトラム・カウンタの計数値として得られる。このパターンスペクトラムについて、ステップ２１７で正規化が行われる。これによって、正規化されたパターンスペクトラムが得られる。
【００３９】
以上のように、リニア・ストラクチャリングエレメントを用いたリニア・グラニュロメトリでは、オープニングがエリアの切り取りにより直接的に行われ、従来のようなエロージョンとダイレーションの組み合わせが用いられないので、処理時間を短縮することができ、それによってパターンスペクトラムを高速に求めることができる。処理の高速化は従来の３００倍程度に達する。
【００４０】
次に、ステップ２１９で、シグネチャ（ｓｉｇｎａｔｕｒｅ）生成が行われる。シグネチャは、パターンスペクトラムのモーメント（ｍｏｍｅｎｔ）として生成される。パターンスペクトラムのモーメントのうち、例えば、１次、２次および３次のモーメントがシグネチャとされる。１次、２次および３次のモーメントは、ミーン（ｍｅａｎ）、バリアンス（ｖａｒｉａｎｃｅ）およびスキュー（ｓｋｅｗ）とも呼ばれ、それぞれ、次式で与えられる。
【００４１】
【数１】
2004213173.tif 000003
【００４２】
【数２】
2004213173.tif 000004
【００４３】
【数３】
2004213173.tif 000005
【００４４】
これらの各モーメントは、画像の内容（コンテンツ：ｃｏｎｔｅｎｔ）に対応した固有の値を持つので、画像の内容を表す情報すなわちシグネチャとすることができる。なお、シグネチャは、３つのモーメントの全てではなく、いずれか２つまたは１つであってよい。
【００４５】
シグネチャの計算に用いられるパターンスペクトラムが、リニア・グラニュロメトリにより高速に得られるので、画像を読み込んでから短時間でシグネチャを得ることができる。
【００４６】
以上は、画像解析を画像全体について行って、シグネチャを求める例であるが、画像解析を画像の各部分ごとに行い、それぞれのシグネチャを求めるようにしてもよい。
【００４７】
図１１に、そのような場合の本装置の動作のフロー図を示す。同図に示すように、ステップ２２１で画像読込が行われ、次にステップ２２３で画像分解が行われる。画像分解とは、画像の各ピクセル（ｐｉｘｅｌ）ごとに、それを中心とする所定のマトリクスサイズの画像に分解する処理である。マトリクスサイズは例えば２１×２１である。
【００４８】
次に、ステップ２２５で、各分解画像についてリニア・グラニュロメトリを実行することが行われる。リニア・グラニュロメトリは図２のフロー図のステップ２０３〜２１７と同様の処理によって行われる。これによって、各分解画像ごとのパターンスペクトラムが得られる。
【００４９】
次に、ステップ２２７で、各分解画像ごとにシグネチャを生成することが行われる。シグネチャの生成は各パターンスペクトラムごとに行われる。シグネチャの生成は、図２のフロー図のステップ２１９と同様の処理によって行われる。
【００５０】
このようにして、画像の各部分の内容に応じたシグネチャをそれぞれ得ることができる。そして、その処理も、リニア・グラニュロメトリを利用するので高速に行うことができる。
【００５１】
図１２に、画像解析の観点での本装置の機能ブロック図を示す。同図に示すように、本装置はパターンスペクトラム生成部２２２およびシグネチャ生成部２２４からなる。パターンスペクトラム生成部２２２は、本発明におけるスペクトラム生成手段の実施の形態の一例である。シグネチャ生成部２２４は、本発明におけるシグネチャ生成手段の実施の形態の一例である。
【００５２】
パターンスペクトラム生成部２２２は、図２のフロー図におけるステップ２０１〜２１７の機能または図１１のフロー図におけるステップ２２３，２２５の機能に相当し、入力画像ＩＮのパターンスペクトラムを生成してシグネチャ生成部２２４に入力する。シグネチャ生成部２２４は、図２のフロー図におけるステップ２１９の機能または図１１のフロー図におけるステップ２２７の機能に相当し、パターンスペクトラムに基づいてシグネチャを生成して出力する。
【００５３】
次に、画像検索について説明する。図１３および図１４に、画像検索を行うときの本装置の動作のフロー図を示す。図１３および図１４は、それぞれフロー図の前半および後半を示す。
【００５４】
同図に示すように、ステップ３０１で、閾値ＴＨｍを設定することが行われる。閾値ＴＨｍは、後述のモーメント・インバリアント（ｍｏｍｅｎｔ  ｉｎｖａｒｉａｎｔ）に関する閾値である。閾値ＴＨｍの設定は、使用者により表示部１０４および操作部１０６を用いて行われる。
【００５５】
次に、ステップ３０３で、閾値ＴＨｇを設定することが行われる。閾値ＴＨｇは、後述のパターンスペクトラムのモーメントに関する閾値である。その設定も、使用者により表示部１０４および操作部１０６を用いて行われる。
【００５６】
次に、ステップ３０５で、質問画像読込が行われる。質問画像の読込は、操作部１０６を通じての使用者の指令に基づいて行われる。これによって、所望の画像が質問画像として読み込まれる。読み込まれた画像は確認等のために表示部１０４に表示される。
【００５７】
次に、ステップ３０７で、質問画像のモーメント・インバリアントを求めることが行われる。モーメント・インバリアントも、画像の内容に対応した固有の値を持つので、シグネチャとして利用することが可能である。モーメント・インバリアントは次式によって与えられる。
【００５８】
【数４】
2004213173.tif 000006
【００５９】
ここで、
【００６０】
【数５】
2004213173.tif 000007
【００６１】
【数６】
2004213173.tif 000008
【００６２】
【数７】
2004213173.tif 000009
【００６３】
【数８】
2004213173.tif 000010
【００６４】
次に、ステップ３０９で、リニア・グラニュロメトリにより質問画像のパターンスペクトラムを求めることが行われる。この処理は、図２に示したフロー図におけるステップ２０３〜２１７の処理と同様である。次に、ステップ３１１で、パターンスペクトラムのモーメントを求めることが行われる。この処理は、図２に示したフロー図におけるステップ２１９の処理と同様である。ここまでの処理によって、質問画像について、モーメント・インバリアントおよびパターンスペクトラムのモーメントが得られる。これらは、質問画像のシグネチャとなる。
【００６５】
次に、ステップ３１３で、未読込の対象画像の有無の判定が行われる。対象画像とは、データベース等に保存された画像であり、画像検索の対象となる複数の画像の集まりである。
【００６６】
未読込の対象画像がある場合は、ステップ３１５で、対象画像読込が行われる。これによって、データベース等から対象画像が１つ読み出される。次に、ステップ３１７で、対象画像のモーメント・インバリアントを求めることが行われる。対象画像のモーメント・インバリアントの計算は（４）式を用いて行われる。これは、質問画像のシグネチャとなる。
【００６７】
次に、ステップ３１９で、質問画像と対象画像間のモーメント・インバリアントの相違を求めることが行われる。相違はモーメント・インバリアントの差の絶対値として求められる。次に、ステップ３２１で、相違が閾値ＴＨｍより小さいか否かが判定される。
【００６８】
判定がＹｅｓの場合は、ステップ３３１で、対象画像を表示することが行われる。これによって、表示部１０４に対象画像が表示される。この画像は、質問画像に対してモーメント・インバリアントの相違が閾値ＴＨｍより小さいので、質問画像と内容が一致あるいは類似する画像となる。
【００６９】
このようにして、質問画像と同一あるいは類似の内容を持つ画像が対象画像から抽出される。モーメント・インバリアントを利用することにより、質問画像と対象画像の尺度の相違に影響されない画像検索を行うことができる。
【００７０】
判定がＮｏの場合は、ステップ３２３で、リニア・グラニュロメトリにより対象画像のパターンスペクトラムを求めることが行われる。この処理は、図２に示したフロー図におけるステップ２０３〜２１７の処理と同様である。次に、ステップ３２５で、パターンスペクトラムのモーメントを求めることが行われる。この処理は、図２に示したフロー図におけるステップ２１９の処理と同様である。パターンスペクトラムのモーメントは、質問画像のシグネチャとなる。
【００７１】
次に、ステップ３２７で、質問画像と対象画像間のモーメントの相違を求めることが行われる。相違は次式によって求められる。
【００７２】
【数９】
2004213173.tif 000011
【００７３】
ここで、Ｍ１ｑ，Ｍ２ｑおよびＭ３ｑは、それぞれ、質問画像の１次、２次および３次のモーメントであり、Ｍ１ｒ，Ｍ２ｒおよびＭ３ｒは、それぞれ、対象画像の１次、２次および３次のモーメントである。この式は、３つのモーメントを全て用いる場合であるが、いずれか２つまたは１つだけを用いる場合にも適用可能である。上式によって求められた相違は、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）とも呼ばれる。
【００７４】
次に、ステップ３２９で、相違が閾値ＴＨｇより小さいか否かが判定される。判定がＹｅｓの場合は、ステップ３３１で、対象画像を表示することが行われる。これによって、表示部１０４に対象画像が表示される。この画像は、質問画像に対してモーメント・インバリアントの相違が閾値ＴＨｍより大きいものの、モーメントの相違が閾値ＴＨｇより小さいので、質問画像と内容が一致あるいは類似する画像である。
【００７５】
このようにして、質問画像と同一あるいは類似の内容を持つ画像が対象画像の中から抽出される。パターンスペクトラムのモーメントを利用することにより、質問画像と対象画像の相対的な位置ずれや傾き相違に影響されない画像検索を行うことができる。
【００７６】
また、パターンスペクトラムのモーメントを利用する画像検索に優先させて、モーメント・インバリアントによる画像検索を行うので、モーメント・インバリアントによって抽出された画像については、パターンスペクトラムのモーメントによる検索が省略される。したがって、能率の良い検索を行うことができる。
【００７７】
次に、ステップ３１３に戻って、未読込の対象画像の有無が判定される。なお、対象画像の内容が質問画像と不一致あるいは非類似の場合、すなわち、ステップ３２９における判定がＮｏの場合も、ステップ３１３に戻って、未読込の対象画像の有無が判定される。
【００７８】
未読込の対象画像があるときは、ステップ３１５〜３３１で、上記と同様な動作を行い、新たな対象画像について質問画像との内容の一致性ないし類似性が判定され、一致または類似する画像があるときは、それが表示部１０４に表示される。
【００７９】
このような動作が未読込の対象画像が無くなるまで行われる。その過程で、条件に合致する画像が逐次抽出されて表示される。このような画像検索において、質問画像および対象画像のパターンスペクトラムはリニア・グラニュロメトリによって求められるので、処理時間が短縮され、高速の画像検索を行うことができる。
【００８０】
なお、質問画像および対象画像のモーメントは、画像全体について求める代わりに、図１１に示した要領で部分画像について求め、それらを画像検索の条件とするようにしてもよい。これにより、質問画像の一部分と同じあるいは類似する内容を含む画像を対象画像の中から抽出することができる。
【００８１】
質問画像と対象画像の尺度が同じあるいは相違が小さい場合は、モーメント・インバリアントを利用せずに、パターンスペクトラムのモーメントだけをシグネチャとして利用するようにしてもよい。
【００８２】
そのようにした場合のフロー図を、図１５および図１６に示す。図１５および図１６は、それぞれフロー図の前半および後半を示す。このフロー図は、図１３および図１４に示したフロー図から、ステップ３０１，３０７，３１７〜３２１を除いたものに相当する。
【００８３】
図１７に、画像検索の観点での本装置の機能ブロック図を示す。同図に示すように、本装置は画像抽出部３４２およびシグネチャ生成部３４４，３４６からなる。画像抽出部３４２は、本発明における抽出手段の実施の形態の一例である。シグネチャ生成部３４４は、本発明における第１のシグネチャ生成手段の実施の形態の一例である。シグネチャ生成部３４６は、本発明における第２のシグネチャ生成手段の実施の形態の一例である。
【００８４】
シグネチャ生成部３４４は、図１３または図１５のフロー図におけるステップ３０５〜３１１の機能に相当し、質問画像ＩＮ１のシグネチャを生成して画像抽出部３４２に入力する。
【００８５】
シグネチャ生成部３４６は、図１４のフロー図におけるステップ３１５，３１７，３２３，３２５の機能、または、図１６のフロー図におけるステップ３１５〜３２５の機能に相当し、対象画像ＩＮ２のシグネチャを生成して画像抽出部３４２に入力する。
【００８６】
画像抽出部３４２は、図１４のフロー図におけるステップ３１９，３２１，３２７，３２９，３３１の機能、または、図１６のフロー図におけるステップ３２７〜３３１の機能に相当し、対象画像ＩＮ２のうち条件に合致するものを抽出して出力する。
【００８７】
【発明の効果】
以上詳細に説明したように、本発明によれば、グラニュロメトリを含む画像処理を短時間で行う画像処理方法および装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例の装置のブロック図である。
【図２】本発明の実施の形態の一例の装置の動作のフロー図である。
【図３】画像を示す図である。
【図４】画像を示す図である。
【図５】画像のプロファイルを示す図である。
【図６】画像のプロファイルを示す図である。
【図７】画像のプロファイルを示す図である。
【図８】画像のプロファイルの一部を示す図である。
【図９】画像のプロファイルの一部を示す図である。
【図１０】画像のプロファイルの一部を示す図である。
【図１１】本発明の実施の形態の一例の装置の動作のフロー図である。
【図１２】本発明の実施の形態の一例の装置の機能ブロック図である。
【図１３】本発明の実施の形態の一例の装置の動作のフロー図である。
【図１４】本発明の実施の形態の一例の装置の動作のフロー図である。
【図１５】本発明の実施の形態の一例の装置の動作のフロー図である。
【図１６】本発明の実施の形態の一例の装置の動作のフロー図である。
【図１７】本発明の実施の形態の一例の装置の機能ブロック図である。
【符号の説明】
１００  コンピュータ
１０２  記憶部
１０４  表示部
１０６  操作部
２２２  パターンスペクトラム生成部
２２４，３４４，３４６  シグネチャ生成部
３４２  画像検索部
【図１】
2004213173.tif 000012
【図２】
2004213173.tif 000013
【図３】
2004213173.tif 000014
【図４】
2004213173.tif 000015
【図５】
2004213173.tif 000016
【図６】
2004213173.tif 000017
【図７】
2004213173.tif 000018
【図８】
2004213173.tif 000019
【図９】
2004213173.tif 000020
【図１０】
2004213173.tif 000021
【図１１】
2004213173.tif 000022
【図１２】
2004213173.tif 000023
【図１３】
2004213173.tif 000024
【図１４】
2004213173.tif 000025
【図１５】
2004213173.tif 000026
【図１６】
2004213173.tif 000027
【図１７】
2004213173.tif 000028