(57)【特許請求の範囲】
【請求項１】
３次元画像中のオブジェクトを認識するための画像処理システムにおいて、
少なくとも１つがマスキング値を有する複数のボクセルを含んだ、複数の面を有する３次元画像からなる少なくとも１つのマスクを生成する、マスク・ジェネレータと、
少なくとも１つの３次元画像における、少なくとも１種類の予め定められたオブジェクトに類似した少なくとも１種類のキャンディデート・オブジェクトを探査するために、前記３次元画像における前景画像と背景画像とのうちの前景画像に対して前記マスクを適用するキャンディデート・サーチャーであって、前記マスクを、前記前景画像における前記キャンディデート・オブジェクトが含まれることが疑われるものとして予め定められた領域に対して重ね合わせ、前記マスクのボクセルと前記予め定められた領域との交差数を検知し、当該交差数が２未満であるときには、当該マスク内に少なくとも１つのキャンディデート・オブジェクトが存在するものと判定する
ことを特徴とする画像処理システム。
【請求項２】
請求項１記載の画像処理システムにおいて、
前記３次元画像を撮像する画像撮像装置と、
前記３次元画像を所定の分割ルールに従って分割する画像分割モジュールと、
前記キャンディデート・サーチャーによって発見されたキャンディデートのリストを出力する出力モジュールと
を、さらに備えたことを特徴とする画像処理システム。
【請求項３】
請求項２記載の画像処理システムにおいて、
前記画像分割モジュールが、前記３次元画像を前記前景画像と前記背景画像とに分割する
ことを特徴とする画像処理システム。
【請求項４】
請求項３記載の画像処理システムにおいて、
前記キャンディデート・サーチャーが、前記前景画像のみに対して選択的に機能する
ことを特徴とする画像処理システム。
【請求項５】
請求項１記載の画像処理システムにおいて、
前記３次元画像が、体積画像である
ことを特徴とする画像処理システム。
【請求項６】
請求項１記載の画像処理システムにおいて、
前記３次元画像が、医療画像であり、
前記オブジェクトが、生体の一部である
ことを特徴とする画像処理システム。
【請求項７】
請求項１記載の画像処理システムにおいて、
前記マスクは、立体状を呈するものである
ことを特徴とする画像処理システム。
【請求項８】
請求項１記載の画像処理システムにおいて、
前記マスクの各面は、平行四辺形を呈するものである
ことを特徴とする画像処理システム。
【請求項９】
３次元画像中のオブジェクトを検出する画像処理方法において、
画像撮像装置を用いて、３次元画像を撮像する画像撮像ステップと、
前記３次元画像を前景画像と背景画像とに分割する画像分割ステップと、
少なくとも１つがマスキング値を有する複数のボクセルを含んで構成された、複数の面を有する３次元画像からなる、少なくとも１つのマスクを生成する、マスク生成ステップと、
少なくとも１つの３次元画像における、少なくとも１種類の予め定められたオブジェクトに類似した少なくとも１種類のキャンディデート・オブジェクトを探査するために、前記３次元画像における前景画像と背景画像とのうちの前景画像に対して前記マスクを適用するキャンディデート・サーチステップであって、前記マスクを、前記前景画像における前記キャンディデート・オブジェクトが含まれることが疑われるものとして予め定められた領域に対して重ね合わせ、前記マスクのボクセルと前記予め定められた領域との交差数を検知し、当該交差数が２未満であるときには、当該マスク内に少なくとも１つのキャンディデート・オブジェクトが存在するものと判定するキャンディデート・サーチステップと
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、一部を形成するものとして引用する、２００３年８月１４日付米国仮出願第６０/４９５，３０６号に基づく優先権を主張する。
【技術分野】
【０００２】
本発明は画像処理の分野に係り、特に、２値画像またはラベル付き画像中の３次元オブジェクトの検出に係わる。
【背景技術】
【０００３】
画像処理の分野は画像を撮像し、これに基本的な画像変形を施すという基本的な機能を超えて進歩している。一般に、２次元画像の処理は３次元（３Ｄ）画像の処理よりは単純である。３Ｄ画像における面、形状及びサイズの検出には、３Ｄ形状を認識できるようになるまでに多数のパラメータを処理する必要があるから、３Ｄ画像の認識は複雑なプロセスである。
【０００４】
画像体積中の３次元（３Ｄ）オブジェクトの検出は複雑なタスクである。しかし、認識速度が重視される場合、３Ｄ認識の問題はさらに複雑化する。例えば、緊急処置室または救急病院における医療撮像装置は、医師または外科医が認識された画像に基づいて迅速な診断及び決断を下せるように、撮像した画像を極めて迅速に分析しなければならない。
【０００５】
画像処理の観点から、理想的な３Ｄオブジェクト認識システムはそれぞれの画像エレメント、即ち、画像の各ボクセル（ボリューム・エレメント）を徹底的に検討しなければならない。従って、後処理の段階において最適化された基準を使用して徹底的に検討すべき少数のボクセルを選択するシステム及び迅速な方法の実現が求められる。
【０００６】
医療画像処理は重要なタイプの画像処理応用分野である。医療画像分析においては、腫瘍、嚢胞、等のような医療上有意義なターゲット・オブジェクトを認識することに重点が置かれる。通常、検出すべきオブジェクトはそのボリュームが比較的小さい。例えば、ＣＴ（コンピュータ断層撮影）肺走査において自動的に肺小結節を検出するのは困難なプロセスである。しかし、肺小結節を早期に診断できれば、肺癌の検出及び治療を助けることができる。コンピュータ援用小結節検出システムの迅速性、高精度、高特異度が望まれる。
【０００７】
既存のアプローチは小結節を識別するために、球形度や曲率のような画像オブジェクトの幾何学的特徴を利用することが多い。但し、このような特徴の計算は多大な時間を必要とする。通常、医療診断プロセスの時間的制約上、３Ｄ医療画像の各ボクセルを徹底的に検討することは非能率的な技術とされている。従って、画像中の特異な構造及び/またはオブジェクトを検出するための医療画像処理システムによって利用される迅速なアルゴリズムの実現が望まれる。
【発明の概要】
【０００８】
３次元画像中から構造/オブジェクトを検出するシステムは３次元体積画像に対して作用する。画像は問題部位である前景領域と背景領域とに分割される。マスク・ジェネレータは３次元マスクを生成する。キャンディデート・ジェネレータとも呼称されるキャンディデート・サーチャーは３次元画像中に存在する探査すべきオブジェクトに似た疑わしい構造/オブジェクトを探査する。キャンディデート・サーチャーは選択された前景領域にマスクを重ねることにより、画像中に探査している構造/オブジェクトが存在することを確認する。
【０００９】
３次元画像中のキャンディデートの存在を判定するために、交差数のテクニックが利用される。マスクが、前景領域に重ね合わされる。マスクと選択された前景領域との間の交差数がカウントされる。交差数がゼロまたは１だけなら、キャンディデートが存在していると推論することができる。このことは、小結節がマスクによって完全にカバーされるか、さもなければ壁または血管に付着していることを示している。しかし、もし交差数が１よりも大きいならば、この画像部分はキャンディデートではない。
【００１０】
実施例では、３次元画像は、ヒトまたはその他の生体から撮像された画像である。ここに云うところのキャンディデートとは、肺小結節、腫瘍等のような、探査すべき対象の構造物を指す。マスクは、典型的には単一の小結節（またはその他の構造/オブジェクト）をカバーする形状およびサイズを有する立方体形状のマスクである。前景画像領域のボクセルだけを検討し、画像全体の全てのボクセルまで検討する必要がなくなるから、探査すべき対象の小結節を迅速に検出することができる。また、交差数のカウントは、従来技術の場合のような３次元画像中の全てのボクセルの表面特性を検討することに比べると、計算作業として簡単な作業である。
【実施例】
【００１１】
本発明の好ましい実施例を添付図面に沿って以下に説明する。
【００１２】
図１はマスク例と共に肺小結節を示す説明図である。固化した状態のものなら、本発明の少なくとも１つの実施例を利用することによって肺小結節を検出することができる。但し、肺小結節を例に取るのは飽くまでも説明の便宜を考えてのことであり、体積画像において既知の幾何学的形状を有するなら如何なる構造でも検出することができる。例えば、腫瘍、嚢胞、等を検出することができる。また、添付の図面は説明の便宜上２次元の図面であるが、本発明の実施例は３次元画像に対して作用する。
【００１３】
医療用撮像装置によって撮像される典型的な画像は体積画像である。図示の体積画像の断面１０は肺スキャンの一部である。図１では、３つの小結節１２、１４及び１６が対応のマスク１８−２２と共に示されている。入力される画像の断面１０は、多くの場合、２つの領域に分割された体積画像である。一方は問題領域（前景）、他方は非問題領域（背景）である。
【００１４】
入力画像について以下に説明する。背景領域を構成するすべての画素は独自の値を有し、前景領域を構成する画素は互いに共通の値を有する。このような場合、ボリュームは“２値ボリューム”と呼称される。但し、前景領域を構成するそれぞれの部位または構造が独自の値を有する場合、ボリュームは“ラベル”または“ラベル付きボリューム”と呼称される。画像の以後の処理について、以下に説明する。
【００１５】
入力画像を、それぞれのボクセルがマーク付きの前景または背景であるような画像に変形する。この画像を以後の画像処理のための入力として使用する。背景に属する画像のすべての画素を０値に設定し、前景に属する画像のすべての画素を非０値に設定することによって画像の前景領域と背景領域とを区別する。
【００１６】
画像を処理することによって小結節を検出する。特定のサイズ及び方向性のマスクまたは参照図形を選択することによって、所要の幾何学的性質の存在を確認する。ここでは少なくとも１つの実施例として肺小結節について説明する。従って、境界を示すボックスをマスクまたは参照図形として使用する。境界ボックス以外のマスクを使用することも可能であり、これについては後述する。当業者が熟知のように、境界ボックスは肺小結節の幾何学的形状によく適合するマスク例である。
【００１７】
２次元においては、マスクは小さい領域であり、表面ポイントはすべて１に設定され、その他の非表面ポイントはすべて０に設定される。３次元においては、マスクは小さいボリュームであり、全ての表面ポイントは１に設定され、全ての非表面ポイントは０に設定される。そして、マスクは、画像全体に亘って移動させられる。前景に属するそれぞれの画素にマスクの中点が重ね合わされる。前景ポイントと交差するマスクの画素数がカウントされる。その後、画像中の小結節と参照マスクとが交差するエッジの数（３次元における面の数）についての判定が行われる。
【００１８】
交差数は種々の方法で判定することができる。例えば、マスクを、入力画像のうちの前景画像における判定の対象となる部分に重ね合わせたときに、その入力画像に重ねられたマスクの特定画素（非０値を有するもの）を、その入力画像中の対応する画素と比較する。このようにして、マスクを入力画像に重ね合わせることを入力画像全体に亘って行った後に、マスクの非０値の画素のいずれかが入力画像中の非０値の画素と一致したときには、そこに交差が存在していると判定することができる。
【００１９】
この実施例において例示の小結節は、孤立しているものか、肺内の血管または壁に付着しているものかの、いずれかであると考えられる。孤立している小結節の場合には、マスクとの交差は存在しない。例えば、小結節１６は孤立小結節であり、マスク２２の中に完全に収まるから、交差は存在しない。これとは対照的に、血管または壁に付着している小結節もあり、この場合には、交差は１つだけである。もしも交差（交差数）が皆無（０）かまたは１つ（１）だけという判定基準が満たされないときには、マスクを重ね合わせる工程（ステップとも言う。以下同様）を、異なるサイズおよび異なる方向性で繰返す。以上に述べた小結節検出プロセスの結果によって、疑わしいとされる小結節部位のリストが作成される。
【００２０】
他のアプローチでは、異なるアルゴリズムによって生成されるキャンディデートの数を減少させるために利用することができる。分割された体積画像と既に検出された位置のリストとが、一緒に処理される。いま、マスクを既に検出された位置に直接重ね合わせたとすると、交差数が判定された後、必要な場合には、位置リストが削減される。上記のプロセスは、３次元画像の探査または検出済み位置リストの探査を目的とする作業においても同様であるが、以下に詳しく説明する。
【００２１】
図２は、構造/オブジェクト検出のための画像処理工程を示すフローチャートである。フローチャート２４は、撮像装置から体積画像を提供する工程２６でスタートする。工程２８において、体積画像を分割画像に変換する。次いで、工程３０および３２において、あらゆるサイズおよび方向性のマスクを作成する。多様なサイズおよび方向性のマスクを利用することによって、画像から種々の小結節およびその他の構造/オブジェクトを検出することができる。工程３４において、マスクを利用して小結節（またはその他の構造/オブジェクト）のキャンディデートを探査する。次いで、工程３６において、キャンディデートのリストを出力する。
【００２２】
図３は、交差を含んだ画像の処理を示すフローチャートである。フローチャート３８は、入力体積画像中のすべてのボクセルが処理されるまで反復プロセスが起動される工程４０でスタートする。画像処理は前景画素に対してだけ行われる。工程４２において、もし画素またはボクセルが前景タイプのものであれば、工程４４において、交差数をカウントする。工程４６において、交差数が１より大きいか、または１未満（即ち０または１）かを判定する。
【００２３】
交差数が０であるということは、小結節またはその他の構造/オブジェクトが完全にマスクの内側に収まることを示し、交差数が１であるということは、小結節またはその他の構造/オブジェクトが壁または血管に付着していることを示す。交差数が１よりも大きい場合、工程５０への枝分れが示すように、他のボクセルに関して反復プロセスを繰返す。入力画像中のすべてのボクセルが処理されるまで、工程５０から工程４０へのプロセスが繰返される。全てのボクセルが処理されると、小結節またはその他の構造/オブジェクトのキャンディデートのリストが、工程５２に戻される。
【００２４】
図４は、交差検出プロセスを示すフローチャートである。工程５４においてマスクが生成される。２つの典型的なマスクが、工程５４には示されている。マスクは格子状構造（２次元で観察した場合）を有しており、この構造において、幾つかの画素が０値を有し、かつ幾つかの画素が非０値を有することによって、マスクの形を成している。工程５６に、マスクの３Ｄ的な特質を説明した。３Ｄマスクはその６つの面を形成する６つのサイドを有する。変数ｄｘ、ｄｙ、ｄｚは、マスク上の点とマスクの中心点との間の距離を示す。
【００２５】
マスクの各ボクセルを処理するために、反復プロセスが利用される。マスクが機能すると、マスク（ｄｘ、ｄｙ、ｄｚ）は非０となり、工程６２において、（マスクの）サイドの検索が行われる。工程６４において、画像体積中の対応ボクセルの値（ｘ+ｄｘ、ｙ+ｄｙ、ｚ+ｄｚ）が０ならば、次のボクセルを処理するプロセスを繰返す。しかし、画像体積中の対応ボクセルの値（ｘ+ｄｘ、ｙ+ｄｙ、ｚ+ｄｚ）が非０ならば、工程６６において、交差[ｆ]は真であると設定される。処理し残したマスクのボクセルがあるならば、反復プロセスを繰り返し行うべく再び工程５８からスタートする。
【００２６】
上記の技術は、マスクのボックスの面だけに対する交差のみをカウントするから、小結節またはその他の構造/オブジェクトを認識する速度を高めることができる。ボックス内のボクセルを考慮する必要はない。必要となるのは、それぞれの（一定のサイズおよび向きを有する）ボックスについて、面の座標のみを１回計算するだけである。検出工程においては、ボクセルの位置を、それらの座標と比較する。
【００２７】
図５Ａ-５Ｄは種々のタイプのマスクを示す。図５Ａは菱形（平行四辺形）のマスクを示し；図５Ｂは正方形のマスクを示し；図５Ｃはサイズの小さい菱形（平行四辺形）のマスクを示し；図５Ｄはサイズの大きい菱形のマスクを示す。マスクはサイズまたは方向性が一様であるとは限らない。以下の説明では、便宜上、マスクの２次元面を考察するが、マスク自体は上述したように多数の面を有する３次元マスクである。
【００２８】
先ず、マスクの方向性のバリエーションについて考察する。ここでは、菱形（平行四辺形）と正方形とを、２つの典型的な方向性の例として挙げて考察する。菱形マスク（図５Ａ）は、小結節（強調するために＊で示す）と１箇所（１つの面、または１つのエッジ；以下同様）だけで交差し、小結節の残り部分はマスクの内側に収まる。ところが、正方形マスク（図５Ｂ）は、２箇所（２つの面、または２つのエッジ；以下同様）で小結節と交差する。このように、マスクの方向性と小結節の幾何学的構造とが、最適な交差検出を決定付けることとなる。
【００２９】
マスクのサイズは、交差検出プロセスに影響を及ぼすもう一つのファクターである。図５Ｃは、画像中の小結節と１箇所だけで交差する、サイズの小さい菱形マスクを示す。ところが、サイズの大きい菱形マスクは、１箇所よりも多い箇所で交差する。このように、最適のマスク・サイズおよびマスク方向性を選択することが、交差検出プロセスの効率を決定付けることとなる。
【００３０】
図６は３次元画像中からキャンディデートを発見するのに利用されるシステムの実施例を示す。少なくとも１つの実施例において、画像処理システム７０は画像撮像装置７２を含む。画像分割モジュール７４は、問題部位である前景部分と背景とを有する画像を生成する。画像処理システム７０は内蔵装置、外部装置またはソフトウエア・アーキテクチャーの一部として実施することができる。画像処理システムは上述した画像処理アルゴリズムの一部または全部を実行することができる。
【００３１】
画像特徴探査システム７６は、既に詳細に説明したマスクを生成するための、マスク生成モジュール７８を含む。キャンディデート探査モジュール８０は、マスク生成モジュール７８が生成したマスクを使用して、マスクと画像分割モジュール７４が生成した分割画像との交差を発見する。その交差に基づいて、キャンディデート探査モジュール８０は、探査すべき構造/オブジェクトと一致する画素を発見する。発見されたキャンディデートのリストを、後処理のため、出力モジュール８２からモジュール８４へと出力する。例えば、後処理としては、各キャンディデートの徹底分析や、医師によって医学的問題の診断に用いられるディスプレイにキャンディデートを表示する作業等が含まれ得る。
【００３２】
図６に示すシステムは本発明の少なくとも１つの実施例を実施するのに利用できる電子システムの例である。尚、本発明は種々の形態のハードウエア、ソフトウエア、ファームウエア、専用プロセッサ、またはこれらの組み合わせとして実施することができる。少なくとも１つの実施例として、本発明をプログラム記憶装置に記憶させたアプリケーション・プログラムのようなソフトウエアとして実施することができる。このアプリケーション・プログラムを、計算可能な、且つ適切な構造を有するマシーンにアップロードし、実行させればよい。
【００３３】
次に、走査された肺の画像の一例について説明する。肺の走査画像において小結節探査が行われる。肺全体が前景領域であり、その肺の領域全体に亘って隈なくマスクが走査されて重ね合わされる。所与のマスクと小結節画像との交差数が０（ゼロ）ならば、その小結節はマスク内に収まっているから、その小結節は存在する。交差数が１であっても、その小結節は壁または血管に付着している可能性があるから、小結節の存在を推論することができる。
【００３４】
前景領域における特定の部分だけを探査することによって、医療画像の形態で存在するキャンディデート画像（例えば肺小結節のような）の迅速な探査が可能になる。画像中のすべてのボクセルを探査するという、他の方法では、多大の時間を要するから、特定の部位だけを探査する方が、より迅速である。交差数だけをカウントすることは、探査スペースを狭めて、交差数の計算を比較的迅速なものにするから、探査速度が改善される。
【００３５】
図７に１例として示す本発明を実施するためのコンピュータ・システム１０１は、特に、中央処理装置（ＣＰＵ）１０２、メモリ１０３及び入/出力（Ｉ/Ｏ）インターフェース１０４を含む。コンピュータ・システム１０１は一般にＩ/Ｏインターフェース１０４を介してディスプレイ１０５及び種々の入力装置１０６、例えば、マウスやキーボードと接続する。サポート回路としては、キャッシュ回路、電源回路、クロック回路、コミュニケーションバス等が考えられる。メモリ１０３としては、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ディスク・ドライブ、テープ・ドライブ、等、またはこれらの組み合わせが考えられる。本発明はメモリ１０３に記憶させ、ＣＰＵ１０２によって実行することによって信号源１０８からの信号を処理するルーチン１０７として実施することができる。即ち、コンピュータ・システム１０１は、本発明のルーチン１０７を実行する時には専用コンピュータ・システムとなる汎用コンピュータ・システムである。
【００３６】
コンピュータ・プラットホーム１０１はオペレーション・システム及びマイクロ命令コードをも含む。ここに述べる種々のプロセス及び機能はオペレーション・システムによって実行されるマイクロ命令コードの一部またはアプリケーション・プログラムの一部（または両者の組合わせの一部）であると考えることができる。さらに、補助データ・メモリやプリンタのような種々の周辺機器をコンピュータ・プラットホームに接続することも可能である。
【００３７】
尚、添付の図面に示すシステム・コンポーネント及び方法工程の幾つかはソフトウエアの形態で実施することができるから、システム・コンポーネント（またはプロセス工程）間の実際の接続は、本発明がどのようにプログラムされるかに応じて異なる。当業者ならば、本発明の教示内容に基づいて本発明の上述した通りの、及びそれに類似の実施態様または構成を案出することができるであろう。
【００３８】
本発明をその実施例に基づいて図解し、説明したが、添付の請求項によって定義される本発明の思想と範囲を逸脱することなく、実施の形態及び細部に種々の変更を加え得ることは当業者のよく理解するところである。
【００３９】
本発明の好ましい実施例を添付図面に沿って以下に説明する。
【図面の簡単な説明】
【００４０】
【図１】マスク例と共に肺小結節を示す説明図である。
【図２】キャンディデートを生成するための画像処理工程を示すフローチャートである。
【図３】交差を含む画像の処理を示すフローチャートである。
【図４】交差検出プロセスを示すフローチャートである。
【図５Ａ】菱形マスクを示す説明図である。
【図５Ｂ】正方形マスクを示す説明図である。
【図５Ｃ】小さいサイズの菱形（平行四辺形）マスクを示す説明図である。
【図５Ｄ】大きいサイズの菱形（平行四辺形）マスクを示す説明図である。
【図６】３次元画像からキャンディデートを発見するために使用されるシステム例を示す説明図である。
【図７】本発明の実施に使用されるコンピュータ・システムを示す説明図である。
【図１】
0004726787.tif 000002
【図２】
0004726787.tif 000003
【図３】
0004726787.tif 000004
【図４】
0004726787.tif 000005
【図５Ａ】
0004726787.tif 000006
【図５Ｂ】
0004726787.tif 000007
【図５Ｃ】
0004726787.tif 000008
【図５Ｄ】
0004726787.tif 000009
【図６】
0004726787.tif 000010
【図７】
0004726787.tif 000011