(57)【要約】  ３次元画像のうち、医療画像となり得る画像特徴を認識するための画像処理システムは、３次元画像からキャンディデート画像を探査するキャンディデート・サーチャー（８０）によって使用されるマスクを生成するマスク・ジェネレータ（７８）を利用する。キャンディデータ・サーチャー（８０）は画像の前景領域の一部にマスクを重ね、マスクと前景領域の前記部分との間の交点数をカウントすることによって構造/オブジェクトの存在を断定する。
2007502471.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像中のオブジェクトを認識するための画像処理システムにおいて、
少なくとも１つのマスクを生成するマスク・ジェネレータ；及び
マスクを利用することによって、少なくとも１つの３次元画像から、少なくとも１つの所定オブジェクトに類似する少なくとも１つのキャンディデート・オブジェクトを探査するキャンディデート・サーチャーを含むことを特徴とする前記画像処理システム。
【請求項２】
前記システムが
３次元画像を撮像する画像補足モジュール；
撮像した３次元画像を分割する画像分割モジュール；及び
キャンディデート・サーチャーによって発見されたキャンディデートのリストを出力する出力モジュールをも含むことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
画像分割モジュールが３次元画像を前景画像と背景画像とに分割することを特徴とする請求項１に記載の画像処理システム。
【請求項４】
キャンディデート画像サーチャーが前記前景画像に対して作用することを特徴とする請求項３に記載の画像処理システム。
【請求項５】
３次元画像が体積画像であることを特徴とする請求項１に記載の画像処理システム。
【請求項６】
３次元画像が医療画像であり、所定オブジェクトが生体の一部であることを特徴とする請求項１に記載の画像処理システム。
【請求項７】
マスクが
少なくとも１つがマスキング値を有する複数のボクセルを含み、且つ複数の面を有する3次元画像から成ることを特徴とする請求項１に記載の画像処理システム。
【請求項８】
マスクが立方形を呈することを特徴とする請求項７に記載の画像処理システム。
【請求項９】
マスクの面が平行四辺形を呈することを特徴とする請求項７に記載の画像処理システム。
【請求項１０】
キャンディデート・サーチャーが３次元画像の前景画像部分にマスクを適用することを特徴とする請求項７に記載の画像処理システム。
【請求項１１】
キャンディデート・サーチャーが前景画像部分の所定部位にマスクを重ね、マスクのボクセルと前記所定部位との間の交点カウントを測定することを特徴とする請求項１０に記載の画像処理システム。
【請求項１２】
交点カウントが２未満であれば、キャンディデート・サーチャーが少なくとも１つのキャンディデートが存在すると判断することを特徴とする請求項１１に記載の画像処理システム。
【請求項１３】
医療オブジェクトの存在を認識するための画像処理システムにおいて、
生体の一部の３次元画像を撮像する画像撮像装置；及び
３次元画像を前景画像と背景画像とに分割し、前景画像の所定部位に少なくとも１つのマスクを重ね、マスクと前記所定部位との間の交点の数をカウントすることによって少なくとも１つの医療オブジェクトの存在を確認する画像処理システムを含むことを特徴とする前記画像処理システム。
【請求項１４】
交点のカウントが２未満ならば、画像処理システムが医療オブジェクトの存在を陽性と判定することを特徴とする請求項１３に記載のシステム。
【請求項１５】
画像処理システムが
３次元マスクを生成するマスク・ジェネレータをも含む
ことを特徴とする請求項１３に記載のシステム。
【請求項１６】
マスクが立方形を呈することを特徴とする請求項１５に記載のシステム。
【請求項１７】
３次元画像からオブジェクトを検出する方法において、
少なくとも１つの３次元マスクを生成し；
３次元マスクを利用することによって３次元画像からキャンディデートを探査するステップを含むことを特徴とする前記方法。
【請求項１８】
前記方法が
画像補足装置を利用して３次元画像を撮像し;
この３次元画像を前景領域と背景領域とに分割するステップをも含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
探査ステップが
３次元画像の前景領域からキャンディデートを探査するステップをも含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
探査ステップが
３次元画像の前景領域の所定部分にマスクを重ね；
マスクと前景領域の所定部分との間の交点の数をカウントし；
交点の数が２未満なら、被探査オブジェクトの存在を断定するステップをも含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
機械によって実行可能な命令プログラムを実行することによって１組のオブジェクトからキャンディデートを探査する方法ステップを実施する機械可読プログラム記憶装置において、前記方法ステップが
少なくとも１つのマスクを生成し；
１組のオブジェクトのうちのそれぞれのオブジェクトにマスクを重ね、マスクとオブジェクトとの間の交点の数をカウントすることにより、１組のオブジェクトのうち、所定のオブジェクトに類似のキャンディデートを探査する
ステップを含むことを特徴とする前記機械可読プログラム記憶装置。
【請求項２２】
前記方法が交点数のカウントが２未満なら、所定オブジェクトの存在を陽性と断定するステップをも含むことを特徴とする請求項２１に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、一部を形成するものとして引用する、２００３年８月１４日付米国仮出願第６０/４９５，３０６号に基づく優先権を主張する。
【技術分野】
【０００２】
本発明は画像処理の分野に係り、特に、２値画像またはラベル付き画像中の３次元オブジェクトの検出に係わる。
【背景技術】
【０００３】
画像処理の分野は画像を撮像し、これに基本的な画像変形を施すという基本的な機能を超えて進歩している。一般に、２次元画像の処理は３次元（３Ｄ）画像の処理よりは単純である。３Ｄ画像における面、形状及びサイズの検出には、３Ｄ形状を認識できるようになるまでに多数のパラメータを処理する必要があるから、３Ｄ画像の認識は複雑なプロセスである。
【０００４】
画像体積中の３次元（３Ｄ）オブジェクトの検出は複雑なタスクである。しかし、認識速度が重視される場合、３Ｄ認識の問題はさらに複雑化する。例えば、緊急処置室または救急病院における医療撮像装置は、医師または外科医が認識された画像に基づいて迅速な診断及び決断を下せるように、撮像した画像を極めて迅速に分析しなければならない。
【０００５】
画像処理の観点から、理想的な３Ｄオブジェクト認識システムはそれぞれの画像エレメント、即ち、画像の各ボクセル（ボリューム・エレメント）を徹底的に検討しなければならない。従って、後処理の段階において最適化された基準を使用して徹底的に検討すべき少数のボクセルを選択するシステム及び迅速な方法の実現が求められる。
【０００６】
医療画像処理は重要なタイプの画像処理応用分野である。医療画像分析においては、腫瘍、嚢胞、等のような医療上有意義なターゲット・オブジェクトを認識することに重点が置かれる。通常、検出すべきオブジェクトはそのボリュームが比較的小さい。例えば、ＣＴ（コンピュータ断層撮影）肺走査において自動的に肺小結節を検出するのは困難なプロセスである。しかし、肺小結節を早期に診断できれば、肺癌の検出及び治療を助けることができる。コンピュータ援用小結節検出システムの迅速性、高精度、高特異度が望まれる。
【０００７】
既存のアプローチは小結節を識別するために、球形度や曲率のような画像オブジェクトの幾何学的特徴を利用することが多い。但し、このような特徴の計算は多大な時間を必要とする。通常、医療診断プロセスの時間的制約上、３Ｄ医療画像の各ボクセルを徹底的に検討することは非能率的な技術とされている。従って、画像中の特異な構造及び/またはオブジェクトを検出するための医療画像処理システムによって利用される迅速なアルゴリズムの実現が望まれる。
【発明の概要】
【０００８】
３次元画像中から構造/オブジェクトを検出するシステムは３次元体積画像に対して作用する。画像は問題部位である前景領域と背景領域とに分割される。マスク・ジェネレータは３次元マスクを生成する。キャンディデート・ジェネレータとも呼称されるキャンディデート・サーチャーは３次元画像中に存在する探査すべきオブジェクトに似た疑わしい構造/オブジェクトを探査する。キャンディデート・サーチャーは選択された前景領域にマスクを重ねることにより、画像中に探査している構造/オブジェクトが存在することを確認する。
【０００９】
３次元画像中のキャンディデートの存在を確認するのに交点カウント技術が利用される。選択した前景領域にマスクを重ねる。マスクと選択された前景領域との間の交点数をカウントする。交点がゼロまたは１つだけなら、キャンディデートが存在すると推測することができる。このことは小結節がマスクによって完全にカバーされるか、さもなければ壁または導管に付着していることを示唆する。しかし、もし交点数が複数なら、この画像部分はキャンディデートではない。
【００１０】
実施例では、３次元画像がヒトまたはその他の生体から撮像された画像である。ここにいうキャンディデートとは肺小結節、腫瘍、等のような探査すべき構造を指す。マスクは典型的には単一の小結節（またはその他の構造/オブジェクト）をカバーする形状及びサイズの立方形マスクである。前景画像領域のボクセルだけを検討し、画像全体のボクセルを検討する必要がないから、小結節を迅速に検出することができる。また、交点数カウントは画像中のすべてのボクセルの表面特性を検討することに比較すると、計算作業としては簡単な作業である。
【実施例】
【００１１】
本発明の好ましい実施例を添付図面に沿って以下に説明する。
【００１２】
図１はマスク例と共に肺小結節を示す説明図である。固化した状態のものなら、本発明の少なくとも１つの実施例を利用することによって肺小結節を検出することができる。但し、肺小結節を例に取るのは飽くまでも説明の便宜を考えてのことであり、体積画像において既知の幾何学的形状を有するなら如何なる構造でも検出することができる。例えば、腫瘍、嚢胞、等を検出することができる。また、添付の図面は説明の便宜上２次元の図面であるが、本発明の実施例は３次元画像に対して作用する。
【００１３】
医療用撮像装置によって撮像される典型的な画像は体積画像である。図示の体積画像の断面１０は肺スキャンの一部である。図１では、３つの小結節１２、１４及び１６が対応のマスク１８−２２と共に示されている。入力される画像の断面１０は、多くの場合、２つの領域に分割された体積画像である。一方は問題領域（前景）、他方は非問題領域（背景）である。
【００１４】
入力画像について以下に説明する。背景領域を構成するすべての画素は独自の値を有し、前景領域を構成する画素は互いに共通の値を有する。このような場合、ボリュームは“２値ボリューム”と呼称される。但し、前景領域を構成するそれぞれの部位または構造が独自の値を有する場合、ボリュームは“ラベル”または“ラベル付きボリューム”と呼称される。画像の以後の処理について、以下に説明する。
【００１５】
入力画像を、それぞれのボクセルがマーク付きの前景または背景であるような画像に変形する。この画像を以後の画像処理のための入力として使用する。背景に属する画像のすべての画素を０値に設定し、前景に属する画像のすべての画素を非０値に設定することによって画像の前景領域と背景領域とを区別する。
【００１６】
画像を処理することによって小結節を検出する。特定のサイズ及び方向性のマスクまたは参照図形を選択することによって、所要の幾何学的性質の存在を確認する。ここでは少なくとも１つの実施例として肺小結節について説明する。従って、境界を示すボックスをマスクまたは参照図形として使用する。境界ボックス以外のマスクを使用することも可能であり、これについては後述する。当業者が熟知のように、境界ボックスは肺小結節の幾何学的形状によく適合するマスク例である。
【００１７】
２次元スペースにおいて、マスクは小さい領域であり、表面ポイントはすべて１に設定され、その他の非表面ポイントはすべて０に設定される。３次元スペースにおいて、マスクは小さいボリュームであり、表面ポイントはすべて１に設定され、非表面ポイントはすべて０に設定される。次いで、マスクを画像全体に亘って移動させる。前景に属するそれぞれの画素にマスクの中点を重ねる。前景ポイントと交差するマスクの画素数をカウントする。次に、画像中で参照マスクと交差する小結節のエッジ数（３Ｄにおける面の数）をカウントする。
【００１８】
交点数は種々の方法でカウントすることができる。例えば、入力画像に重ねられたマスクの特定（非０値）画素を、マスクが入力画像のうちの前景画像を画定する部分に重なった時の入力画像中の対応画素と比較する。即ち、マスクを入力画像に重ね、入力画像全体に亘って移動させる処理を行う過程で、マスクの非０値画素のいずれかが入力画像中の非0値画素と一致すれば、交点が存在すると判断することができる。
【００１９】
この例においては、図示の小結節が孤立しているものか、肺の導管または壁に付着しているものかを考察する。孤立している小結節の場合には、マスクとの交点は存在しない。例えば、小結節１６は孤立小結節であり、マスク２２の中に完全に収まるから、交点は存在しない。これに反して、導管または壁に付着している小結節もあり、この場合、交点は１つだけである。但し、交点が皆無かまたは1つだけという判定基準が満たされなければ、マスクを重ねる工程を、異なるサイズ、異なる方向性との関連で繰返す。以上に述べた小結節検出プロセスに結果から疑わしいとされる小結節部位のリストが作成される。
【００２０】
他のアプローチでは、異なるアルゴリズムによって生成されるキャンディデートの数を減少させるのに利用することができる。分割された体積画像及び既に検出された位置のリストを一緒に処理する。ここでマスクをすでに検出された位置に直接重ねる。交点数をカウントした後に、必要なら位置リストを削除する。３次元画像の探査または検出済み位置リストの探査を目的とする作業においても同様の上記プロセスを以下に詳しく説明する。
【００２１】
図２は構造/オブジェクト検出のための画像処理工程を示すフローチャートである。フローチャート２４は撮像装置から体積画像を提供する工程２６でスタートする。工程２８において体積画像を分割画像に変換する。次いで、工程３０及び３２において、あらゆるサイズ及び方向性のマスクを作成する。多重的なサイズ及び方向性のマスクを利用することによって、画像から種々の小結節及びその他の構造/オブジェクトを検出することができる。工程３４において、マスクを利用して小結節（またはその他の構造/オブジェクト）のキャンディデートを探査する。次いで、工程３６において、キャンディデートのリストを出力する。
【００２２】
図３は交点を含む画像の処理を示すフローチャートである。フローチャート３８は、入力体積画像中のすべてのボクセルが処理されるまで反復プロセスが起動される工程４０でスタートする。画像処理は前景画素に対してだけ行われる。工程４２において、もし画素またはボクセルが前景タイプのものであれば、工程４４において、交点をカウントする。工程４６において、交点数が１より大きいか、または１未満（即ち、０または１）かを判断する。
【００２３】
交点数が０なら、小結節またはその他の構造/オブジェクトが完全にマスクの内側に収まることになり、交点数が１なら、小結節またはその他の構造/オブジェクトが壁または導管に付着していることを示唆する。交点数が１よりも大きい場合、工程５０への枝分かれが示すように他のボクセルに関して反復プロセスを繰返す。入力画像中のすべてのボクセルが処理されるまで、工程５０から工程４０へのプロセスが繰返す。すべてのボクセルが処理されると、小結節またはその他の構造/オブジェクトのキャンディデートのリストが工程５２に戻される。
【００２４】
図４は交点検出プロセスを示すフローチャートである。工程５４においてマスクが生成される。マスクは（２次元で観察した場合）格子状構造を有し、この構造において、幾つかの画素が０値を有し、幾つかの画素が非０値を有することによってマスクを形成する。工程５６において、マスクの３Ｄ性を説明した。３Ｄマスクは６つの面を形成する６つのサイドを有する。変数ｄｘ、ｄｙ及びｄｚはマスク上の点とマスクの中心との間の距離を示す。
【００２５】
マスクの各ボクセルを処理するのに反復プロセスが利用される。マスクが機能すると、マスク（ｄｘ、ｄｙ、ｄｚ）は非０であり、工程６２において、（マスクの）サイドの検索が行われる。工程６４において、画像体積中の対応ボクセルの値（ｘ+ｄｘ、ｙ+ｄｙ、ｚ+ｄｚ）が０なら、次のボクセルを処理するためにプロセスを繰返す。しかし、画像体積中の対応ボクセルの値（ｘ+ｄｘ、ｙ+ｄｙ、ｚ+ｄｚ）が非０なら、工程６６において、交点[ｆ]を真であると設定する。処理し残したマスクのボクセルがあるなら、反復プロセスを繰返して再び工程５８からスタートする。
【００２６】
上記の技術はボックスだけの面との交点だけをカウントするから、小結節またはその他の構造/オブジェクトを認識する速度を高めることができる。ボックス内のボクセルを考慮する必要はない。（一定のサイズ及び回転を有する）それぞれのボックスについて、面の座標だけを１回計算する。検出工程において、ボクセル位置をこれらの座標と比較する。
【００２７】
図５Ａ-５Ｄは種々のタイプのマスクを示す。図５Ａは菱形（平行四辺形）のマスクを示し；図５Ｂは正方形のマスクを示し；図５Ｃはサイズの小さい菱形（平行四辺形）のマスクを示し；図５Ｄはサイズの大きい菱形のマスクを示す。マスクはサイズまたは方向性が一様であるとは限らない。以下の説明では、便宜上、マスクの２次元面を考察するが、マスク自体は上述したように多数の面を有する３次元マスクである。
【００２８】
先ず、マスクの方向性の差異を考察する。ここでは菱形（平行四辺形）と正方形とを例に取って方向性を考察する。菱形マスク（図５Ａ）は（強調するため、＊で示す）小結節と１箇所だけで交差し、小結節の残り部分はマスクの内側に収まる。ところが、正方形マスク（図５Ｂ）は２箇所で小結節と交差する。従って、マスクの方向性と小結節の幾何学的構造とによって最適な交点検出が決定される。
【００２９】
マスクのサイズは交点検出プロセスに影響を及ぼす他のファクターである。図５Ｃは画像中の小結節と１箇所だけで交差するサイズの小さい菱形マスクを示す。これに反して、サイズの大きい菱形マスク複数の箇所で交差する。従って、最適のマスク・サイズ及びマスク方向性を選択することが交点検出プロセスの有効性を決定する。
【００３０】
図６は３次元画像中からキャンディデートを発見するのに利用されるシステムの実施例を示す。少なくとも１つの実施例において、画像処理システム７０は画像撮像装置７２を含む。画像分割モジュール７４は、問題部位である前景部分と背景とを有する画像を生成する。画像処理システム７０は内蔵装置、外部装置またはソフトウエア・アーキテクチャーの一部として実施することができる。画像処理システムは上述した画像処理アルゴリズムの一部または全部を実行することができる。
【００３１】
画像特徴探査システム７６は既に詳細に説明したマスクを生成するマスク生成モジュール７８を含む。キャンディデート探査モジュール８０はマスク生成モジュール７８が生成したマスクを使用することによって、マスクと、画像分割モジュール７４が生成した分割画像との交点を発見する。交点の数に基づいて、キャンディデート探査モジュール８０は探査すべき構造/オブジェクトと一致する画素を求める。発見されたキャンディデートのリストを、後処理のため出力モジュール８２からモジュール８４へ出力する。例えば、後処理として、各キャンディデートの徹底分析や、病状診断のため医師のディスプレイにキャンディデートを表示する作業等がある。
【００３２】
図６に示すシステムは本発明の少なくとも１つの実施例を実施するのに利用できる電子システムの例である。尚、本発明は種々の形態のハードウエア、ソフトウエア、ファームウエア、専用プロセッサ、またはこれらの組み合わせとして実施することができる。少なくとも１つの実施例として、本発明をプログラム記憶装置に記憶させたアプリケーション・プログラムのようなソフトウエアとして実施することができる。このアプリケーション・プログラムを、計算可能な、且つ適切な構造を有するマシーンにアップロードし、実行させればよい。
【００３３】
次に、走査された肺の画像について説明する。肺の走査画像からの小結節探査を行う。肺全体が前景領域であり、肺の個々の部位にマスクを重ねる。所与のマスクと小結節画像との交点がゼロなら、マスクの内側に収まっているから、小結節は存在する。交点が１つであっても、小結節が壁または導管に付着している可能性があるから、小結節の存在を推測することができる。
【００３４】
前景領域の特定部分だけを探査することによって、（例えば、肺小結節のような）医療画像特徴の形態のキャンディデート画像の迅速な探査が可能になる。画像中のすべてのボクセルを探査するという方法は多大の時間を要するから、特定の部位だけを探査する方が迅速である。探査スペースが狭くなり、交点数の計算が比較的迅速になるから、交点だけをカウントすることで探査速度が改善される。
【００３５】
図７に１例として示す本発明を実施するためのコンピュータ・システム１０１は、特に、中央処理装置（ＣＰＵ）１０２、メモリ１０３及び入/出力（Ｉ/Ｏ）インターフェース１０４を含む。コンピュータ・システム１０１は一般にＩ/Ｏインターフェース１０４を介してディスプレイ１０５及び種々の入力装置１０６、例えば、マウスやキーボードと接続する。サポート回路としては、キャッシュ回路、電源回路、クロック回路、コミュニケーションバス等が考えられる。メモリ１０３としては、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ディスク・ドライブ、テープ・ドライブ、等、またはこれらの組み合わせが考えられる。本発明はメモリ１０３に記憶させ、ＣＰＵ１０２によって実行することによって信号源１０８からの信号を処理するルーチン１０７として実施することができる。即ち、コンピュータ・システム１０１は、本発明のルーチン１０７を実行する時には専用コンピュータ・システムとなる汎用コンピュータ・システムである。
【００３６】
コンピュータ・プラットホーム１０１はオペレーション・システム及びマイクロ命令コードをも含む。ここに述べる種々のプロセス及び機能はオペレーション・システムによって実行されるマイクロ命令コードの一部またはアプリケーション・プログラムの一部（または両者の組合わせの一部）であると考えることができる。さらに、補助データ・メモリやプリンタのような種々の周辺機器をコンピュータ・プラットホームに接続することも可能である。
【００３７】
尚、添付の図面に示すシステム・コンポーネント及び方法工程の幾つかはソフトウエアの形態で実施することができるから、システム・コンポーネント（またはプロセス工程）間の実際の接続は、本発明がどのようにプログラムされるかに応じて異なる。当業者ならば、本発明の教示内容に基づいて本発明の上述した通りの、及びそれに類似の実施態様または構成を案出することができるであろう。
【００３８】
本発明をその実施例に基づいて図解し、説明したが、添付の請求項によって定義される本発明の思想と範囲を逸脱することなく、実施の形態及び細部に種々の変更を加え得ることは当業者のよく理解するところである。
【００３９】
本発明の好ましい実施例を添付図面に沿って以下に説明する。
【図面の簡単な説明】
【００４０】
【図１】マスク例と共に肺小結節を示す説明図である。
【図２】キャンディデートを生成するための画像処理ステップを示すフローチャートである。
【図３】交点を含む画像の処理を示すフローチャートである。
【図４】交点検出プロセスを示すフローチャートである。
【図５Ａ】菱形マスクを示す説明図である。
【図５Ｂ】正方形マスクを示す説明図である。
【図５Ｃ】小さいサイズの菱形（平行四辺形）マスクを示す説明図である。
【図５Ｄ】大きいサイズの菱形（平行四辺形）マスクを示す説明図である。
【図６】３次元画像からキャンディデートを発見するのに使用されるシステム例を示す説明図である。
【図７】本発明の実施に使用されるコンピュータ・システムを示す説明図である。
【図１】
2007502471.tif 000003
【図２】
2007502471.tif 000004
【図３】
2007502471.tif 000005
【図４】
2007502471.tif 000006
【図５Ａ】
2007502471.tif 000007
【図５Ｂ】
2007502471.tif 000008
【図５Ｃ】
2007502471.tif 000009
【図５Ｄ】
2007502471.tif 000010
【図６】
2007502471.tif 000011
【図７】
2007502471.tif 000012
【国際調査報告】
2007502471.tif 000013
2007502471.tif 000014
2007502471.tif 000015