(57)【要約】  この方法は、1台のコンピュータまたは複数台の連結コンピュータが、ａ）分類すべき第１の画像を画素の集合の形で、その集合の中の各画素を光の強さの少なくとも1チャネル内の画像情報に関連付けて、デジタル記憶媒体上に記憶するステップと、ｂ）画像の第１の分類を各画素の画像情報に基づいて行い、またこの分類により各画素をクラスの第１の集合内の或るクラスに関連付け、これらの関連を第１のデータベース内に記憶するステップと、ｃ）画素毎にまたクラスの第１の集合内の複数のクラス毎に、問題の画素と、データベース内の問題のクラスに関連付けた最も近い画素との間の画像内の最短距離を計算し、各画素とその画素について計算した最短距離との間の関連を、距離を計算したクラス毎に第２のデータベース内に記憶するステップと、ｄ）第２のデータベース内のデータの第２の分類を、画素毎にそれぞれのクラスまでの最短距離に基づいて行って、各画素とクラスの第２の集合内の或るクラスとを関連付けるステップと、ｅ）分類した画像を画素の集合の形でデジタル記憶媒体上に記憶し、各画素はその画素とクラスの第２の集合内の或るクラスとの関連に関するデータを含み、また分類した画像は第１の画像と同じ次元を有するステップと、を含むことを特徴とする。
2012520503.tif 000002
【特許請求の範囲】
【請求項１】
画像を分類する方法であって、1台のコンピュータまたは複数台の連結コンピュータが、
ａ）分類すべき第１の画像を画素の集合の形で、その集合の中の各画素を光の強さの少なくとも1チャネル内の画像情報に関連付けて、デジタル記憶媒体上に記憶するステップと、
ｂ）前記画像の第１の分類を各画素の画像情報に基づいて行い、またこの分類により各画素をクラスの第１の集合内の或るクラスに関連付け、これらの関連を第１のデータベース内に記憶するステップと、
ｃ）画素毎にまたクラスの前記第１の集合内の複数のクラス毎に、問題の前記画素と、前記データベース内の問題の前記クラスに関連付けた最も近い画素との間の画像内の最短距離を計算し、各画素と前記画素について計算した前記最短距離との間の関連を、距離を計算したクラス毎に第２のデータベース内に記憶するステップと、
ｄ）前記第２のデータベース内のデータの第２の分類を、画素毎にそれぞれのクラスまでの最短距離に基づいて行って、各画素とクラスの第２の集合内の或るクラスとを関連付けるステップと、
ｅ）前記分類した画像を画素の集合の形でデジタル記憶媒体上に記憶し、各画素は前記画素とクラスの前記第２の集合内の前記或るクラスとの関連に関するデータを含み、また前記分類した画像は前記第１の画像と同じ次元を有するステップと、
を含むことを特徴とする、画像を分類する方法。
【請求項２】
ステップｃ）において、前記最短距離は各画素と、クラスの前記第１の集合内の全てのクラスとの間で計算することを特徴とする、請求項１記載の画像を分類する方法。
【請求項３】
前記第１の分類はＫ平均法分類とその後の最尤分類を含み、前記Ｋ平均法分類の結果を起点として用いることを特徴とする、請求項２記載の画像を分類する方法。
【請求項４】
前記第２の分類はＫ平均法分類を含むことを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項５】
クラスの前記第１の集合内の前記クラス数は前記分類のＡｋａｉｋｅ情報基準を最大にする数にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項６】
クラスの前記第１の集合内の前記クラス数を２０から１００の間にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項７】
クラスの前記第２の集合内の前記クラス数は前記分類のＡｋａｉｋｅ情報基準を最大にする数にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項８】
クラスの前記第２の集合内の前記クラス数を５から２０の間にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項９】
ステップｃ）における前記コンピュータまたは前記連結コンピュータは、前記第２のデータベース内に記憶する前に、それぞれの計算による最短距離の重み調整を行い、前記重み付けは、ステップｄ）の前記第２の分類において計算による最短距離の短い方が計算による最短距離の長い方よりも比較的強い影響を与えるようにして行うことを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項１０】
前記第１の画像は二次元の写真画像であり、また各画素はそれぞれが或る波長スペクトルの光の強さを含む少なくとも３チャネルに画像情報を含むことを特徴とする、請求項１−９のいずれか一項記載の画像を分類する方法。
【請求項１１】
前記第１の画像は衛星画像であることを特徴とする、請求項１０記載の画像を分類する方法。
【請求項１２】
前記第１の画像は三次元の対象の三次元の画像であり、また各画素は、問題の前記画素に対応する前記対象内の位置での１つの材料特性の値を与える１チャネルの画像情報を含むことを特徴とする、請求項１−９のいずれか一項記載の画像を分類する方法。
【請求項１３】
前記コンピュータまたは前記連結コンピュータは、予め計算した情報、または前記第１および／または第２の分類において前記第１の画像内の画素毎に、色の強さに加えて計算した情報を、１つまたは複数の追加のチャネルとして、色の強さのデータを含む前記チャネルまたはそれらのチャネルと共に用いることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項１４】
前記コンピュータまたは前記連結コンピュータは、予め計算した情報、または前記第１および／または第２の分類において前記第１の画像内の画素毎に、色の強さに加えて計算した情報を用いて、問題の前記分類を開始する前に、前記追加のデータの形の或る初期条件を満たす画素を或るクラスに関連付け、次に問題の前記分類を前記画素の残りについてだけ行うことを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項１５】
前記第１の画像は衛星画像であり、前記追加のデータは土地の傾斜・沈降・隆起・分布、人口密度、または土地所有などの予め与えられる少なくともいくつかの変数、または局所的環境内の組織について前記組織を計算した画素までの計算値を含むことを特徴とする、請求項１３または１４記載の画像を分類する方法。
【請求項１６】
前記最短距離は画像内の最小ユークリッド距離であるとを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像情報の自動的分類に関するものである。
【背景技術】
【０００２】
現在多くの技術分野で、二次元または三次元での種々の画像技術が中心になっている。例えば、衛星画像は、地図の作成、人口統計や経済や環境の分析、更には地域社会計画において、原図としてまたは加工された形で用いられている。三次元の画像は、例えば、種々の医療画像技術により作成され、手術中の外科医を支援して人体を解析するのに用いられ、また例えば、ナノ技術分野でも、用いられている。収集された画像データは、宇宙を航行し、対象を選択しまた処理し、また他の技術や人と対話する目的で、ロボットや他の設備の挙動を制御するのに多くの応用で解析されまた用いられている。更に、二次元の画像技術は顕微鏡技術で用いられている。
【０００３】
一般に、かかる画像内に含まれる情報は使用前に解釈する必要がある。かかる解釈の目的は、一般に、画像内の構造的構成要素を識別することで、例えば、背景と対比した対象や、一つ一つの境界が定まった種々のフィールド、または大量の異なる色の強さや構造や他の方法で互いに比較すると明らかに異なるものや、逸脱した要素などである。例を挙げると、道路や家屋や森や農地などを衛星画像から識別すること、人々を写した写真の中の顔を区別すること、人の三次元のＮＭＲ画像内の種々のタイプの組織を分離すること、および製品の細部の写真に基づいて材料の偏りを識別することなどである。
【０００４】
コストの面から、画像を自動的に解釈したいことが多い。かかる解釈を実行する1つの方法は、多数の個々の画素から構築された二次元以上のデジタル画像から出発する。そして、各画素を、或る画素のタイプを表すよう設計された多数のクラスから選択された1つの或る画素のクラスに関連付ける。全ての画素をそれぞれのクラスに関連付けると、或るタイプの画素が画像内のどこに起こるかの集合的な像が得られるように、各クラスの目録を作ることができる。ここでは、かかる方法を「分類」と呼ぶ。かかるクラスは、例えば、「道路」、「筋肉組織」、または「材料欠陥」などを表す。
一般に、分類技術は、画像内の直線や曲線やフィールドなどの対象および境界を探すのに用いられる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｋａｕｓ，Ｍｉｃｈａｅｌ  Ｒ．他、「脳腫瘍のＭＲ画像の自動的分割（Ａｕｔｏｍａｔｅｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ＭＲ  Ｉｍａｇｅｓ  ｏｆ  Ｂｒａｉｎ  Ｔｕｍｏｒｓ）」、Ｒａｄｉｏｌｏｇｙ  ２００１；２１８：５８６-５９１。
【非特許文献２】Ａｋａｉｋｅ  Ｈ．、「統計的モデル同定の新しい知見（Ａ  ｎｅｗ  ｌｏｏｋ  ａｔ  ｔｈｅ  ｓｔａｔｉｓｔｉｃａｌ  ｍｏｄｅｌ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｔｏｍａｔ．Ｃoｎｔｒ．ＡＣ−１９：７１６−２３、１９７４。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
分類の開始前に画像の内容の知識が限られている場合に、種々の有用な画像の分類を自動的に行う方法を求めてすでにいくつかの試みが行われている。
例えば、提案されている１つの方法は、動く「窓」を画像の上に走らせて、窓の中心にある画素の周りの画素を調べて統計的方法（カーネル・ベースの分割（ｋｅｒｎｅｌ−ｂａｓｅｄ  ｓｅｇｍｅｎｔａｔｉｏｎ））を用いることにより、中心の画素を或るクラスに分類しようとするものである。画像のタイプによってはこの方法は効果的であるが、クラスの中に画像の多くの異なる部分からの画素が含まれる場合は、分類の結果がばらつくことが多い。その結果、大量の手作業を加えなければ、その分類から有用な情報を得ることは困難である。
【０００７】
画像の自動的分類法として、反復により全ての画素を並列に処理する方法も提案されている（窓に依存しない分類）。かかる方法で用いられるアルゴリズムの一例はＫ平均法（Ｋ−ｍｅａｎｓ）タイプのクラスタ分析である。かかる方法でも、デジタルで記憶された画像を分類するのに用いるとばらついた分類になることが多い。
【０００８】
Ｋａｕｓ，Ｍｉｃｈａｅｌ  Ｒ．他の論文「脳腫瘍のＭＲ画像の自動的分割（Ａｕｔｏｍａｔｅｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ＭＲ  Ｉｍａｇｅｓ  ｏｆ  Ｂｒａｉｎ  Ｔｕｍｏｒｓ）」、Ｒａｄｉｏｌｏｇｙ  ２００１；２１８：５８６-５９１には、人の頭蓋骨の三次元のＭＲ複写の反復分類が開示されている。分類は反復的に行われ、とりわけ、局所的分割方式と、或るボクセル（３Ｄ画素）と或るクラスとの間の距離を計算する距離変換とを用い、また複写の一部を取ったボクセルのグレースケール強さに関する情報に基づいている。
【０００９】
十分な信頼性を持った最終の分類結果を得るためには、かかる方法を構成するステップの大部分を手作業で行わなければならない。更に、分類の開始前に、例えば「基準の事例」などを示す比較画像の形の、対象のかなり確かな知識が必要である。本発明は上述の諸問題を解決する。
【課題を解決するための手段】
【００１０】
本発明は画像を分類する方法に関するものであり、その特徴としてこの方法は、1台のコンピュータまたは複数台の連結コンピュータが、ａ）分類する第１の画像を画素の集合の形で、その集合の中の各画素を光の強さの少なくとも1チャネル内の画像情報に関連付けて、デジタル記憶媒体上に記憶するステップと、ｂ）画像の第１の分類を各画素の画像情報に基づいて行い、またこの分類により各画素をクラスの第１の集合内の或るクラスに関連付けて、これらの関連を第１のデータベース内に記憶するステップと、ｃ）画素毎にまたクラスの第１の集合内の複数のクラス毎に、問題の画素と、データベース内の問題のクラスに関連付けた最も近い画素との間の画像内の最短距離を計算し、各画素とその画素について計算した最短距離との間の関連を、距離を計算したクラス毎に第２のデータベース内に記憶するステップと、ｄ）第２のデータベース内のデータの第２の分類を、画素毎にそれぞれのクラスまでの最短距離に基づいて行って、各画素とクラスの第２の集合内の或るクラスとを関連付けるステップと、ｅ）分類した画像を画素の集合の形でデジタル記憶媒体上に記憶し、各画素はその画素とクラスの第２の集合内の或るクラスとの関連に関するデータを含み、また分類した画像は第１の画像と同じ次元を有するステップと、を含む。
【図面の簡単な説明】
【００１１】
以下に、本発明の例示の実施の形態と添付の図面とを参照して、本発明を詳細に説明する。
【図１】部分的に開発された地域の、写真によるデジタル衛星グレースケール画像である。
【図２】図１に示す衛星画像の、５クラスにわたる、従来のカーネル・ベースの分割を示す。
【図３】図１に示す衛星画像の、２９クラスにわたる、従来の窓に依存しない分類を示す。
【図４】図３に示す各画素からクラスの１つまでの最短距離の分布のグラフ表示である。
【図５】図１に示す衛星画像の、１０クラスにわたる、本発明に係る分類を示す。
【図６】本発明に係る方法を示す流れ図である。
【発明を実施するための形態】
【００１２】
図１は部分的に開発された地域にわたる、１０ｘ１０ｍの画素解像度を持つ衛星写真画像である。「写真画像」という表現は、ここでは光が当たり、画像センサが捕らえて解釈したものという意味で用いる。言い換えると、画像は１つまたは複数の波長間隔で光を読んで形成したものでよい。図１の画像は３つの異なるスペクトル帯に基づくいわゆる合成画像を、後で従来の方法でグレースケールに変換したものである。画像は画素の集合の形で適当な記憶媒体上にデジタル形式で記憶され、各画素は光の強さの少なくとも１チャネル内の画像情報に関連付けられる。図１は二次元の画像を示し、画素は二次元の座標系に配置され、各画素は光の強さの単一チャネルに関連付けられる（グレーニュアンス）。しかし、理解されるように、本発明では、三次元以上を有しまた２チャネル以上にまたがる光の強さ（例えば、ＲＧＢ標準に従って記憶される光の強さ情報）を持つ画像を用いてよい。
【００１３】
道路、家屋、森、耕作地、公園などの、画像内の種々のタイプの特徴を、簡単に高精度で区別するため、かかる画像の自動的分類を行うことが望ましい。
【００１４】
図２に示す画像は図１に示す画像と同じであるが、従来のカーネル・ベースの分割により画像を処理したものである。５ｘ５画素の窓を画像上に走らせ、画素毎に、問題の画素の光の強さに関して標準偏差を計算した。次に、これらのメトリックを用いて、しきい値に基づいて従来の方法でクラスに配分し、図に示す分類を得た。その結果を図２に示す。図２では、異なるクラスは異なるグレーの陰を用いて示している。図から明らかなように、この方法は種々のクラスを見つけることと、画素毎に、その画素と特定のクラスとの関連付けを行うことに成功している。更に、図１に示す画像内の種々のタイプの地勢（例えば、「道路」など）を構成する画素の多くがグループ化される。なぜなら、それらは全く同じクラスに関連付けられるからである。逆に、分類した画像内には比較的大きな雑音がある。非常に多くの画像が、元の画像内の同じタイプの土地を構成する多くの画像とは異なる別のクラスに関連付けられている。したがって、かかる分類に基づいて、例えば自動的マッピングを行うことは困難である。
【００１５】
図３は図２と同様に図１に示す画像の分類を示すが、異なるのは、図３の分類は２９クラスにわたってＫ平均法タイプの、従来の窓に依存しない（ｗｉｎｄｏｗ  ｉｎｄｅｐｅｎｄｅｎｔ）クラスタ分析を行ったことである。図３から明らかなように、この分類は図２と同じタイプの問題を含んでいる。
【００１６】
図６は本発明に係る方法を示す流れ図を示す。
本発明の第１のステップ１０１で、１台のコンピュータまたは複数台の連結コンピュータが、画像をデジタルで画素の集合の形でデジタル記憶媒体上に記憶する。各画素は光の強さの少なくとも１チャネル内の画像情報に関係付けられる。
【００１７】
第２ステップ１０２で、その後１台または複数台のコンピュータはデジタルで記憶した画像の第１の分類を行い、この分類の結果を第１のデータベース内に記憶する。この例示の実施の形態では、図３に示す分類を第１のデータベース内に記憶する。ここでは、この分類の結果を「第１の分類」と呼ぶ。データベースは動作中のコンピュータの内部メモリ、ハードディスク上のファイル、または別のタイプの内部または外部のデータベースでよい。重要なことは、元の画像内の画素毎に、第１の分類に用いたクラスの集合（クラスの第１の集合）内の或る特定のクラスへの関係付けを第１のデータベース内に記憶することである。
【００１８】
第１の分類は、この分類がそれぞれの画素毎に記憶した画像情報に基づく限り、Ｋ平均法タイプのクラスタ分析でも、任意の適当なカーネル・ベースの分類、または窓に依存しない分類でもよい。第１の分類は、予め定めた不変のクラスに、または予め定めた数の可変のクラスに基づいてよく、またはクラスおよびその定義は分類の実行中にその最終の形をとってよい。
【００１９】
第１の分類は管理された分類でも管理されない分類でもよい。管理された分類は２つのステップを含む。第１のステップで、代表的な画像内の代表的な地域を識別して、この代表的な地域の特性の数値的記述を得る。第２のステップで、代表的な地域の数値的記述を画像の最終分類におけるクラスとして用いる。管理されない分類では或る画像内の各画素を或るクラスに関連付けるが、全てのクラスの特性はプロセスの実行中に決定する。すなわち、発生する画像領域のタイプに関する事前の知識なしに決定する。本発明では管理されない分類を用いるのが好ましい。なぜなら、種々の画像の一層広いスペクトルにわたって特有の適応を行わずに機能することができるからである。
【００２０】
有用な管理された分類の例として「平均までの最短距離分類法（ｍｉｎｉｍｕｍ−ｄｉｓｔａｎｃｅ−ｔｏ−ｍｅａｎｓ  ｃｌａｓｓｉｆｉｅｒ）」、「平行六面体分類法」、「ガウス最尤分類法」、「Ｋ最近傍」、および「最尤分類」がある。
有用な管理されない分類の例として、種々の階層的クラスタリング法、分割クラスタリング法、「Ｋ平均法」クラスタリング、および「自己組織化地図」がある。
【００２１】
この最初の分類の後、本発明の第３のステップ１０３で、１台または複数台のコンピュータは元の画像内の画素毎に、問題の画素と、第１の分類においてこの第１の分類の実行中に用いたクラス内の或る特定のクラスに関連付けた最も近い画素との間の、画像内の最短距離（好ましくは最短ユークリッド距離）を計算する。この計算による距離をそれぞれの画素と関連付け、この関連を第２のデータベース内に記憶する。第２のデータベースは第１のデータベースと同じでもよいし、第２のものでもよい。後者の場合、この第２のデータベースは第１のデータベースに関して上に述べたタイプのものでよい。
【００２２】
かかる最短距離は元の画像内のそれぞれの画素毎に、また第１の分類内の複数のクラス毎に計算する。
図４は、図３に示す各画素とクラスの１つとの間の計算による最短距離をグラフで示す。それぞれの画素と問題のクラスとの間の最短距離はグレーの陰を用いて示す。画素の色が暗いほど、問題のクラスに関連付けられた最も近い画素までの距離は長い。
【００２３】
次に、本発明の第４のステップ１０４で、１台または複数台のコンピュータは第２の分類を行う。今回は、第２のデータベース内に記憶したデータに基づき、また好ましくは元の画像内の全ての画素について全ての画素に基づいて行う。本発明では、この第２の分類に関連するメトリックは、画素毎に、ステップ１０３で計算したクラスまでの最短距離である。かかる計算による最短距離は画素当たり１つまたは複数の測定値でよい。なぜなら、第２の分類の一部として、例えば、多次元のクラスタ分析を行う必要があるかも知れないからである。
【００２４】
第２の分類に適した分類のタイプは第１の分類に適していると上に述べたものであり、第２の分類は第１の分類と同じタイプでも別のタイプでもよい。しかし好ましくは、第２の分類は管理されないタイプである。更に、好ましくは、第１の分類が管理されたタイプか管理されないタイプかに関わらず、第２の分類は管理されないタイプである。かかる方法により、種々の元の画像の広い範囲にわたって自動的で正確な分類を行うことができる。
【００２５】
したがって、この第２の分類の結果は元の画像内のそれぞれの画素と、予め定義された、または第２の分類の実行中に定義された、クラスの第２の集合内の或る特定のクラスとの間の関連である。
【００２６】
次に本発明の第５ステップ１０５で、このコンピュータまたは連結コンピュータはそれぞれの画素毎のこの関連をデジタル記憶媒体上に記憶する。このデジタル記憶媒体は元の画像を記憶したものと同じものでも異なるものでもよく、また記憶方法は元の画像に関して上に述べたものでよい。重要なことは、それぞれが或る特定のクラスに関連付けられた画素の集合を、分類された画像としてこの情報を表すことができるように記憶することである。分類された画像内の各画素の位置は元の画像内の画素の位置に対応し、それぞれの画素の値（１つまたは複数のチャネル内の色の強さなど）は問題の画素が関連付けられたクラスに対応する。その結果、分類された画像は画素の数に関して元の画像と同じ次元を有する。その後のステップで、分類された画像の分解能をもちろん調整してよい。
【００２７】
図５は、図１に示す元の画像に基づいて最終的に分類した画像を示し、異なるクラスはグレーの異なる陰で表されている。このように図５に示す分類は、元の画像内の画素毎の、第１の分類から得られまた図３に示すクラスの１つまでの最短ユークリッド距離に基づいている。
第１の分類の後に１つまたは複数のクラスまでの最短距離を計算し、次にこれらの計算による最短距離に基づいて第２の分類を行うというこの方法は、上に述べた問題を解決する。
【００２８】
或るクラスまでの最短距離を第２の分類に用いるので、近くの画素が同じ最終クラスに関連付けられる確率が比較的高い。同様に、最終の分類で或るクラスに含まれてはいるが画像内の他の画素から距離的に離れている１つの画素が（画素のグループも同様だが）、同じクラスに入る確率は小さいであろう。言い換えると、本発明に係る方法は近くの画素を同じクラス内にグループ化する傾向が強いので、全く同じクラスに関連する接続された画素の領域を作ることができる。これらの効果により、最終的に分類された画像のばらつきは小さくなる。
【００２９】
他方で、第１の分類内のクラスの組成が画像の或る地域内で局所的に急に変化する場合は、或るクラスまでの最短距離の計算結果が近くの画素の間で急に変化するであろう。このため、本発明に係る方法が作成する最終の分類では、最終のクラスの間の境界は元の画像内の関連する境界および移行を比較的正確に表す。
【００３０】
第１の分類からの結果はそれ自体必ずしも有用ではない。クラスの中には、元の画像の実際の組成を反映するように画素をグループ化するものもある。他方で、上に述べたように多くの場合、画素をグループ化したときに少なくとも１つのクラスは雑音が多くてしばしば解釈が困難である。しかし、この状況は第２の分類の後の最終結果には影響しない。この第２の分類が第１の分類からの全てのクラスを同じように用いてもそうである。
要約すると、上に述べた方法は、自動的に、また或る画像の内容について予め十分な知識がなくても、ばらつきの少ない関連のある分類を得るのに用いることができる。
【００３１】
或る好ましい実施の形態では、ステップ１０３で、画素毎に、第１の分類中に用いた全てのクラスの１つ１つまでの最短距離を計算し、第１の分類中の全てのクラスをこの場合は第２の分類にも用いる。これにより、元の画像内に含まれる情報を最大に用いることができる。
【００３２】
或る好ましい実施の形態では、第１の分類はＫ平均法クラスタ分析を用いた後に、最尤クラスタ分析を用いた分類を行うことを含む。この場合、Ｋ平均法分類からの結果を起点として用いる。別の好ましい実施の形態では、第２の分類はＫ平均法クラスタ分析を含む。本発明者は、かかる方法が良い最終結果を生むことを発見した。
【００３３】
更に、本発明者が良い結果を得たのは、第１の分類でのクラスの数を予め２０から１００の間に設定した場合か、または第１の分類に可変数のクラスを用い、この場合の分類を調整して結果的にクラスの数を２０から１００の間になるようにした場合である。特に好ましい実施の形態では、いわゆるＡｋａｉｋｅ情報基準を用いて、モデルの複雑さを各クラス内の変動に釣り合わせることにより、第１の分類での最適なクラス数を決定する。言い換えると、このクラス数の選択では、分類のためのＡｋａｉｋｅ情報基準が最大になるようにクラスの数を選択する。Ａｋａｉｋｅ  Ｈ．「統計的モデル同定の新しい知見（Ａ  ｎｅｗ  ｌｏｏｋ  ａｔ  ｔｈｅ  ｓｔａｔｉｓｔｉｃａｌ  ｍｏｄｅｌ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｔｏｍａｔ．Ｃｏｎｔｒ．ＡＣ−１９：７１６−２３、１９７４［統計数理研究所、東京都港区（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｔｈｅｍａｔｉｃｓ，  Ｍｉｎａｔｏ−ｋｕ、Ｔｏｋｙｏ，Ｊａｐａｎ）］を参照のこと。
【００３４】
これに対応して、特に第１の分類におけるクラス数が２０から１００の間であるとき、第２の分類における適当なクラス数は５から２０の間であることが分った。詳細な応用によるが、かかるクラス数を用いると最終的に分類される画像の個々の画素は適切に分類され、また多くのクラスで雑音が制限される。第２の分類においてクラス数をどのように選択するかは、一方では本発明に係る方法からの望ましい結果のタイプにより決まり、他方では、得られた分類を後のステップで更に処理するかどうかにより決まる。特に好ましいのは、第２の分類でクラス数を決定するときにも、上に述べた方法に対応した方法でＡｋａｉｋｅ基準を用いることである。
【００３５】
１つの好ましい実施の形態では、第２のデータベース内に記憶する前に、１つの画素と或るクラスとの間の各計算による最短距離に重みを付ける。かかる重み付けにより、第２の分類において或るクラスまでの計算による最短距離の差に一層大きな影響を与えることができる。これに関して言えば、重み付けを行うときは、計算による最短距離の短い方が計算による最短距離の長い方よりも第２の分類に比較的大きく影響するようにすることが好ましい。このためには、例えば全ての計算による最短距離を変換するのに凸関数を用いるとよい。かかる変換の一例は
【数１】
2012520503.tif 000003
である。但し、ｘｉｊは、画素ｉと、クラスｊと関係付けた最も近い画素との間で計算した最短距離であり、ｄｉｊは、第２のデータベース内に実際に記憶する、画素ｉとクラスｊとの間の最短距離の値である。
かかる重み付けを行うと、画素の最終の分類の関連性が高まる。
【００３６】
或る画素と或るクラスとの間の最短距離を計算するとき、その画素を第１のデータベース内で関連付けたクラスと、最短距離を計算するクラスとが同じである（言い換えると、上の式でｉ＝ｊ）場合は、何をその画素とそのクラスとの間の最短距離とみなすかに関して２つの選択肢がある。最短距離を０に設定してもよいし（これは、問題の画素とそれ自身との間の距離が０であることを表す）、または距離を、その画素と、その画素と同じクラスに関係付けられる最も近い別の画素との間の最短距離に設定してもよい。どちらの選択肢も応用が異なれば有用であろうが、一般に、ｉ＝ｊの場合は最短距離を０に設定することが好ましい。
【００３７】
上に述べたように、本発明に係る方法は二次元の画像、特に写真画像の適切な分類を自動的に行うのに適している。１チャネル内に画像情報を含むかかる写真画像（グレースケールの光の強さなど）の分類は高品質の結果を得ることが分った。本発明に係る方法は３チャネル以上の画像情報を持つ写真画像の場合にも非常に有用である。例えば、ＲＧＢまたはＮＣＳなどの３チャネルを用いる従来の色システムに従う色の強さの情報、または複数の種々のチャネルが種々の波長間隔にわたって色の強さを表す表現などの場合である。後者のタイプの色情報モデルは例えば衛星画像に用いられ、その場合は種々の波長の４チャネル以上を用いることができる。
【００３８】
かかる二次元の衛星写真画像から出発して、本発明に係る方法を、例えば、地図の作成、人口統計または地理の調査、環境の分析などのための自動ツールとして用いることができる。他のタイプの二次元の写真画像の場合は、本発明に係る方法を、例えばコンピュータビジョン、製品の細部または中間製品または原料材料の目視検索、自動的に種々の物体を識別しおよび／または適当な焦点を見つけるための写真の支援システム、デジタル画像処理、遠隔測定、顕微鏡法、デジタル画像分析および処理など、のシステムの一部として用いることができる。
【００３９】
更に、本発明に係る方法は三次元の画像（特に、上に述べたように、医療および獣医学の分野において人や動物の組織構造を表す三次元の画像の場合）を自動的に分類するのに有用であることが理解される。かかる三次元の画像は実際に、各画素が問題の画素に対応する対象内の位置での１つまたは複数の材料特性の値に関する画像情報を含む、三次元の対象の三次元の描写であることが多い。材料特性は、例えば、材料の密度および／またはマーカ物質の存在などである。普通は、かかる画像はその画像情報を１チャネル内に有しているだけである。自動的に分割された三次元の描写を用いると、手術中の外科医を支援して人体を解析しまたマイクロ技術およびナノ技術の分野での三次元の描写を分析するのに有用である。
【００４０】
第１の分類の有用性を高めるため、好ましい実施の形態では、前記第１の分類を行う前に１台または数台のコンピュータは元の画像にカーネル・ベースの操作を行い、その結果を、元の画像の画像情報と共に、第１の分類の基礎として用いる。その一例を挙げると、問題の画素の周りの制限された区域（例えば、問題の画素を中心とする９ｘ９マトリクス）にわたる組織について画素毎の値を計算し、次にこの計算した値を問題の画素の既存の画像情報内に追加の情報チャネルとして挿入した後、第１の分類を行う。このようにすれば、周囲の画素からの或る情報は、第１のデータベース内の或る画素に関連付けられた全てのクラスに影響を与える。これにより、応用によっては最終の分類の精度を高めることができる。
【００４１】
１つの好ましい実施の形態では、第１の分類を行う前に、各画素への１つまたは複数の追加のチャネルとして、予め知られている追加の情報を色の強さ情報に加える。分類する画像が衛星画像の場合のかかる追加の情報の例として、土地の傾斜・沈降・隆起・分布などの地理的データの局所的測定値や、人口密度や土地所有などの人口統計的データがある。この追加情報は、組織データについて上に述べたものに対応する方法で、後に第１の分類に用いる。
【００４２】
別の好ましい実施の形態では、追加のデータは集めるが、この追加のデータは色の強さのデータと同じように第１の分類で用いるのではなく、分類のための初期条件として用いる。その一例として、最初のステップで、人口密集地の地理的延長などの或る値を、或る条件（例えば、「この画素は人口密集地の境界の外にあるか」など）を満たす画素を区別するのに用いる。次に第２の分類をこの区別した画素にだけ行い、区別しなかった画素（すなわち、前の例で、人口密集地に位置しない元の画像内の画素）は、第１の分類内で用いるクラスとは別のクラス内に置いてよい。
【００４３】
分類に関して追加のデータを用いることについてここに述べたことは、第２の分類に関しても有用である。かかる選択は実際の応用によるし、また分類の精度を更に高めるためにどんなデータが使えるかによる。
【００４４】
これまで、好ましい実施の形態について述べた。しかし当業者に明らかなように、本発明の考えから逸れることなく多くの修正を上に述べた実施の形態に加えることができる。
【００４５】
例えば、本発明の方法を反復的に行ってよい。言い換えると、第１の分類、クラスまでの最短距離の計算、および第２の分類の後に、第２の分類から得られる１つまたは複数のクラスまでの最小ユークリッド距離の追加の計算を行ってよく、その後で、これらの計算による最短距離に基づいて追加の分類を行ってよい。後者の最短距離の計算および分類は、かかる計算および第２の分類について上に述べた範囲内で変更してよい。実施の形態によっては、かかる分類を複数の反復的ステップで行えば更に良い結果が得られることがある。
したがって、本発明はここに説明した実施の形態に限定されるものではなく、添付のクレームの範囲内で変更してよい。
【図１】
2012520503.tif 000004
【図２】
2012520503.tif 000005
【図３】
2012520503.tif 000006
【図４】
2012520503.tif 000007
【図５】
2012520503.tif 000008
【図６】
2012520503.tif 000009
【手続補正書】
【提出日】平成22年12月3日(2010.12.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を分類する方法であって、1台のコンピュータまたは複数台の連結コンピュータが、
ａ）分類すべき第１の画像を画素の集合の形で、その集合の中の各画素を光の強さの少なくとも1チャネル内の画像情報に関連付けて、デジタル記憶媒体上に記憶するステップと、
ｂ）前記画像の第１の分類を各画素の画像情報に基づいて行い、またこの分類により各画素をクラスの第１の集合内の或るクラスに関連付け、これらの関連を第１のデータベース内に記憶するステップと、
ｃ）画素毎にまたクラスの前記第１の集合内の複数のクラス毎に、問題の前記画素と、前記データベース内の問題の前記クラスに関連付けた最も近い画素との間の画像内の最短距離を計算し、各画素と前記画素について計算した前記最短距離との間の関連を、距離を計算したクラス毎に第２のデータベース内に記憶するステップと、
ｄ）前記第２のデータベース内のデータの第２の分類を、画素毎にそれぞれのクラスまでの最短距離に基づいて行って、各画素とクラスの第２の集合内の或るクラスとを関連付け、前記第２の集合は前記計算された最短距離に基づくステップと、
ｅ）前記分類した画像を画素の集合の形でデジタル記憶媒体上に記憶し、各画素は前記画素とクラスの前記第２の集合内の前記或るクラスとの関連に関するデータを含み、また前記分類した画像は前記第１の画像と同じ次元を有するステップと、
を含むことを特徴とする、画像を分類する方法。
【請求項２】
ステップｃ）において、前記最短距離は各画素と、クラスの前記第１の集合内の全てのクラスとの間で計算することを特徴とする、請求項１記載の画像を分類する方法。
【請求項３】
前記第１の分類はＫ平均法分類とその後の最尤分類を含み、前記Ｋ平均法分類の結果を起点として用いることを特徴とする、請求項２記載の画像を分類する方法。
【請求項４】
前記第２の分類はＫ平均法分類を含むことを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項５】
クラスの前記第１の集合内の前記クラス数は前記分類のＡｋａｉｋｅ情報基準を最大にする数にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項６】
クラスの前記第１の集合内の前記クラス数を２０から１００の間にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項７】
クラスの前記第２の集合内の前記クラス数は前記分類のＡｋａｉｋｅ情報基準を最大にする数にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項８】
クラスの前記第２の集合内の前記クラス数を５から２０の間にすることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項９】
ステップｃ）における前記コンピュータまたは前記連結コンピュータは、前記第２のデータベース内に記憶する前に、それぞれの計算による最短距離の重み調整を行い、前記重み付けは、ステップｄ）の前記第２の分類において計算による最短距離の短い方が計算による最短距離の長い方よりも比較的強い影響を与えるようにして行うことを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項１０】
前記第１の画像は二次元の写真画像であり、また各画素はそれぞれが或る波長スペクトルの光の強さを含む少なくとも３チャネルに画像情報を含むことを特徴とする、請求項１−９のいずれか一項記載の画像を分類する方法。
【請求項１１】
前記第１の画像は衛星画像であることを特徴とする、請求項１０記載の画像を分類する方法。
【請求項１２】
前記第１の画像は三次元の対象の三次元の画像であり、また各画素は、問題の前記画素に対応する前記対象内の位置での１つの材料特性の値を与える１チャネルの画像情報を含むことを特徴とする、請求項１−９のいずれか一項記載の画像を分類する方法。
【請求項１３】
前記コンピュータまたは前記連結コンピュータは、予め計算した情報、または前記第１および／または第２の分類において前記第１の画像内の画素毎に、色の強さに加えて計算した情報を、１つまたは複数の追加のチャネルとして、色の強さのデータを含む前記チャネルまたはそれらのチャネルと共に用いることを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項１４】
前記コンピュータまたは前記連結コンピュータは、予め計算した情報、または前記第１および／または第２の分類において前記第１の画像内の画素毎に、色の強さに加えて計算した情報を用いて、問題の前記分類を開始する前に、前記追加のデータの形の或る初期条件を満たす画素を或るクラスに関連付け、次に問題の前記分類を前記画素の残りについてだけ行うことを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【請求項１５】
前記第１の画像は衛星画像であり、前記追加のデータは土地の傾斜・沈降・隆起・分布、人口密度、または土地所有などの予め与えられる少なくともいくつかの変数、または局所的環境内の組織について前記組織を計算した画素までの計算値を含むことを特徴とする、請求項１３または１４記載の画像を分類する方法。
【請求項１６】
前記最短距離は画像内の最小ユークリッド距離であるとを特徴とする、先行請求項のいずれか一項記載の画像を分類する方法。
【国際調査報告】
2012520503.tif 000010
2012520503.tif 000011
2012520503.tif 000012
2012520503.tif 000013