(57)【要約】乳房組織画像データを処理する方法は、画像データを処理し、画像スライスのセットを生成し、患者の乳房を集合的に描写することと、画像スライス毎に複数のマルチレベル特徴モジュールと関連する１つ以上のフィルタを適用することであって、それぞれ、高次元オブジェクトの割り当てられた特性または特徴を表し、認識するよう構成される、ことと、各マルチレベル特徴モジュールにて割り当てられた特徴を有する画像スライスの領域を描写する特徴マップを生成することと、複数のマルチレベル特徴モジュールから生成された特徴マップを高次元オブジェクトが画像スライスの特定の場所に存在する確率を示す組み合わせ画像オブジェクトマップに組み合わせることと、少なくとも部分的に複数の画像スライスに関して生成されたオブジェクトマップに基づき１つ以上の高次元オブジェクトを識別する２Ｄ合成画像を作成することとを含む。
2020512130.tif 000002
【特許請求の範囲】
【請求項１】
乳房組織画像データを処理するための方法であって、
患者の乳房組織の画像データを処理し、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することと、
複数のマルチレベル特徴モジュールと関連付けられた１つ以上のフィルタを前記セットの各画像スライスに適用することであって、前記マルチレベル特徴モジュールは、前記患者の乳房組織内に存在し得る高次元オブジェクトの少なくとも１つの割り当てられた特徴を認識するように構成される、ことと、
前記複数のうちの各マルチレベル特徴モジュールにおいて、前記少なくとも１つの割り当てられた特徴を有する個別の画像スライス内の領域を描写する特徴マップを生成することと、
前記生成された特徴マップを個別の高次元オブジェクトの可能性として考えられる場所を示すオブジェクトマップに組み合わせることと
を含む、方法。
【請求項２】
少なくとも部分的に、複数の前記画像スライスに関して生成されたオブジェクトマップに基づいて、１つ以上の高次元オブジェクトを識別することを含む、前記患者の乳房組織の２次元の合成された画像を作成することをさらに含む、請求項１に記載の方法。
【請求項３】
学習ライブラリベースのコンバイナが、前記生成された特徴マップをオブジェクトマップに組み合わせるために使用される、請求項１または２に記載の方法。
【請求項４】
投票ベースのコンバイナが、前記生成された特徴マップをオブジェクトマップに組み合わせるために使用される、請求項１または２に記載の方法。
【請求項５】
前記マルチレベル特徴モジュールは、高次元画像オブジェクトの個別の少なくとも１つの割り当てられた特徴を表すように構成される、請求項１−４のいずれかに記載の方法。
【請求項６】
前記高次元オブジェクトの少なくとも１つの特徴は、低レベル特徴を含む、請求項１−５のいずれかに記載の方法。
【請求項７】
前記低レベル特徴は、縁フィルタ、線フィルタ、および勾配フィルタを含む群から選択される一般的画像フィルタに基づく、請求項６に記載の方法。
【請求項８】
前記高次元オブジェクトの少なくとも１つの特徴は、中レベル特徴を含む、請求項１−７のいずれかに記載の方法。
【請求項９】
前記中レベル特徴は、アルゴリズムまたはアルゴリズムモデルに基づき、前記アルゴリズムまたはアルゴリズムモデルは、単純幾何学的形状および／または画像パターンを表し、それを認識する、請求項８に記載の方法。
【請求項１０】
前記単純幾何学的形状および／または画像パターンは、円形形状、分葉形状、および高密度オブジェクトを備える、請求項９に記載の方法。
【請求項１１】
前記高次元オブジェクトの少なくとも１つの特徴は、高レベル特徴を含む、請求項１−１０のいずれかに記載の方法。
【請求項１２】
前記高レベル特徴は、アルゴリズムまたはアルゴリズムモデルに基づき、前記アルゴリズムまたはアルゴリズムモデルは、複雑な幾何学的形状および／または画像パターンを表し、それを認識する、請求項１１に記載の方法。
【請求項１３】
前記複雑な幾何学的形状および／または画像パターンは、乳房病変および乳房構造のタイプを備える、請求項１２に記載の方法。
【請求項１４】
前記高次元画像オブジェクトは、具体的乳房病変または乳房構造のタイプを表すように画定される、請求項５に記載の方法。
【請求項１５】
前記高次元画像オブジェクトは、３次元画像オブジェクトを備える、請求項５に記載の方法。
【請求項１６】
前記高次元画像オブジェクトの具体的特性を表すように設計される複数のマルチレベル特徴によって、個別の高次元画像オブジェクトを分解し、表すことをさらに含む、請求項１−１５のいずれかに記載の方法。
【請求項１７】
複数の画像スライスに関して作成された個別のオブジェクトマップに基づいて、３次元立体オブジェクトマップを生成することをさらに含む、請求項１−４のいずれかに記載の方法。
【請求項１８】
前記３次元立体オブジェクトマップを抽象化し、異なる属性を有する抽象的３次元画像オブジェクトのセットを備える３次元立体オブジェクトグリッドを生成することをさらに含む、請求項１７に記載の方法。
【請求項１９】
前記３次元立体オブジェクトグリッドは、個々のグリッドボクセルに関するオブジェクト確率値を備え、前記異なる属性は、場所、サイズ、および形状のうちの１つ以上のものを含む、請求項１７に記載の方法。
【請求項２０】
複数の画像スライスから導出される前記オブジェクトマップは、前記高次元オブジェクトの場所、サイズ、形状、および形態のうちの１つ以上のものを決定するために使用される、請求項１−５のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の発明は、概して、トモシンセシス等の乳房撮像技法に関し、より具体的には、乳房撮像データセットまたはそのサブセットを取得、処理、合成、記憶、および表示するためのシステムおよび方法に関する。特に、本開示は、オブジェクトを識別し、１つ以上の合成された画像内に表示するために、高次元データをより低い次元のデータに分解することによって、高次元グリッドを作成するステップに関する。
【背景技術】
【０００２】
マンモグラフィは、長い間、乳癌および他の異常をスクリーニングするために使用されている。従来、マンモグラムは、Ｘ線フィルム上に形成されていた。より最近では、フラットパネルデジタル撮像機が、マンモグラムをデジタル形態において取得し、それによって、取得された画像データの分析および記憶を促進し、また、他の利点を提供するように導入されている。さらに、著しい注目および技術的発展が、胸部トモシンセシス等の方法を使用して、胸部の３次元画像を取得することに向けられている。旧来のマンモグラフィシステムによって生成される２Ｄ画像とは対照的に、胸部トモシンセシスシステムは、一連の２Ｄ投影画像から３Ｄ画像ボリュームを構成し、各投影画像は、Ｘ線源が検出器にわたって走査されるにつれて、画像検出器に対してＸ線源の異なる角変位で取得される。構成された３Ｄ画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、スライスは、典型的には、撮像検出器と平行な平面上に数学的に再構成される。再構成されたトモシンセシススライスは、ユーザ（例えば、放射線技師または他の医療従事者）が、画像スライスを通してスクロールし、そのスライス内の構造のみを視認することを可能にすることによって、単一スライスの２次元マンモグラフィ撮像に存在する組織重複および構造雑音によって生じる問題を低減または排除する。
【０００３】
トモシンセシスシステム等の撮像システムは、最近、乳癌スクリーニングおよび診断のために開発された。特に、Ｈｏｌｏｇｉｃ，Ｉｎｃ．（ｗｗｗ．ｈｏｌｏｇｉｃ．ｃｏｍ）は、胸部が固定されたままである間または胸部の異なる圧縮下にある間のいずれかにおいて、マンモグラムおよびトモシンセシス画像の一方または両方のタイプを取得する、融合型マルチモードマンモグラフィ／トモシンセシスシステムを開発している。他の企業は、トモシンセシス撮像を含む、システムを導入している。例えば、同一圧縮下でマンモグラムを取得する能力も含むものではない。
【０００４】
随意に、トモシンセシス技術への移行を促進するために、既存の医療専門知識を活用する、システムおよび方法の実施例は、米国特許第７，７６０，９２４号（参照することによってその全体として本明細書に組み込まれる）に説明されている。特に、米国特許第７，７６０，９２４号は、スクリーニングおよび診断を補助するために、随意に、トモシンセシス投影または再構成画像とともに表示され得る、合成２Ｄ画像を生成する方法を説明している。
【０００５】
２Ｄの合成された画像は、異常病変および正常乳房構造等の任意の臨床上重要かつ有意義な情報を含む、３Ｄ再構成スライスの簡潔な表現を提供する一方、関連部分では、従来の２Ｄ画像を表すように設計される。多くの異なるタイプの病変および乳房構造が存在し、これは、異なる特性を有する、異なるタイプの画像オブジェクトとして画定され得る。３Ｄボリュームデータ内で可視の任意の所与の画像オブジェクトに関して、２Ｄの合成された画像上に可能な限り多くの画像特性（例えば、微細石灰化、構造的歪曲等）を維持し、増強させることが重要である。標的画像オブジェクトの増強を達成するために、３Ｄトモシンセシスデータ内に存在する画像オブジェクトを正確に識別し、表すことが不可欠である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７，７６０，９２４号明細書
【発明の概要】
【課題を解決するための手段】
【０００７】
開示される発明の一実施形態では、乳房組織画像データを処理するための方法は、患者の乳房組織の画像データを取得し、画像データを処理し、患者の乳房組織を集合的に描写する、画像スライスのセットを生成するステップを含む。複数のマルチレベル特徴モジュールと関連付けられた１つ以上のフィルタが、次いで、各画像スライスに適用され、マルチレベル特徴モジュールは、患者の乳房組織内に存在し得る、高次元オブジェクトの少なくとも１つの割り当てられた特徴を認識するように構成され、本方法はさらに、各マルチレベル特徴モジュールにおいて、少なくとも１つの割り当てられた特徴を有する個別の画像スライスの領域（該当する場合）を描写する、特徴マップを生成するステップを含む。生成された特徴マップは、次いで、好ましくは、学習ライブラリベースのコンバイナを使用することによって、オブジェクトマップに組み合わせられ、オブジェクトマップは、個別の高次元オブジェクトが画像スライスの特定の場所に存在する確率を示す。本方法はさらに、少なくとも部分的に、複数の画像スライスに関して生成されたオブジェクトマップに基づいて、１つ以上の高次元オブジェクトを識別する、２Ｄの合成された画像を作成するステップを含んでもよい。
【０００８】
本開示の発明のこれらおよび他の側面および実施形態は、付随の図と併せて、以下により詳細に説明される。
【図面の簡単な説明】
【０００９】
図面は、本開示の発明の実施形態の設計および有用性を図示するものであって、類似要素は、共通参照番号によって参照される。これらの図面は、必ずしも、正確な縮尺で描かれていない。前述および他の利点および目的がどのように得られたかをより理解するために、付随の図面に図示される実施形態のより具体的説明が、与えられる。これらの図面は、本開示の発明の典型的実施形態のみを描写し、したがって、その範囲を限定するものと見なされるものではない。
【００１０】
【図１】図１は、本開示の発明の実施形態による、例示的乳房画像入手および処理システムを通したデータのフローを図示する、ブロック図である。
【００１１】
【図２】図２は、本開示の発明の実施形態による、階層式マルチレベル特徴シンセサイザを通したデータのフローを図示する、ブロック図である。
【００１２】
【図３】図３は、複数のトモシンセシス画像上の高次元オブジェクトと関連付けられた３つのマルチレベル特徴モジュールを起動させ、特徴マップのセットを生成するステップの一実施形態を図示する。
【００１３】
【図４】図４は、３つのマルチレベル特徴モジュールと関連付けられたフィルタを図３の複数のトモシンセシス画像の１つのトモシンセシス画像上で適用し、３つの特徴マップを生成するステップの一実施形態を図示する。
【００１４】
【図５】図５は、学習ライブラリを使用して、特徴マップを単一オブジェクトマップに組み合わせるステップの一実施形態を図示する。
【００１５】
【図６】図６Ａおよび６Ｂは、特徴をオブジェクトマップ上に表示するステップの例示的実施形態を図示する。
【００１６】
【図７Ａ】図７Ａおよび７Ｂは、データを組み合わせ、オブジェクトマップを形成するための例示的組み合わせ技法を図示する。
【図７Ｂ】図７Ａおよび７Ｂは、データを組み合わせ、オブジェクトマップを形成するための例示的組み合わせ技法を図示する。
【００１７】
【図８】図８は、高次元グリッドを使用して、１つ以上の合成された２Ｄ画像を生成するための種々のステップを描写する、例示的フロー図を図示する。
【発明を実施するための形態】
【００１８】
全ての数値は、本明細書では、明示的に示されるかどうかにかかわらず、用語「約」または「およそ」によって修飾されるものと仮定され、用語「約」および「およそ」は、概して、当業者が列挙される値と均等物である（すなわち、同一機能または結果を有する）と見なすであろう、数の範囲を指す。いくつかの事例では、用語「約」および「およそ」は、最近傍有効数字に丸められる数を含んでもよい。端点による数値範囲の列挙は、その範囲内の全数字を含む（例えば、１〜５は、１、１．５、２、２．７５、３、３．８０、４、および５を含む）。
【００１９】
本明細書および添付の請求項において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に文脈によって明確に示されない限り、複数参照も含む。本明細書および添付の請求項に使用されるように、用語「ｏｒ（または）」は、概して、別様に文脈によって明確に示されない限り、「ａｎｄ／ｏｒ（および／または）」を含む意味で採用される。付随の図において図示される本開示の発明の描写される実施形態を説明する際、具体的専門用語が、説明の明確化および容易化のために採用される。しかしながら、本特許明細書の開示は、そのように選択される具体的専門用語に限定されることを意図せず、各具体的要素は、同様に動作する全ての技術的均等物を含むことを理解されたい。さらに、異なる例証的実施形態の種々の要素および／または特徴は、本開示の範囲および添付の請求項内で可能である場合、相互に組み合わせる、および／または相互に代用され得ることを理解されたい。
【００２０】
本開示の発明の種々の実施形態は、図を参照して以下に説明される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。また、図は、実施形態の説明を促進するためだけに意図されることに留意されたい。それらは、本発明の包括的説明または本開示の発明の範囲の限定として意図されるものではなく、添付の請求項およびその均等物によってのみ定義される。加えて、本開示の発明の図示される実施形態は、示される全側面または利点を有する必要はない。例えば、本開示の発明の特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、図示されない場合でも、任意の他の実施形態において実践されることができる。
【００２１】
以下に定義される用語および略語に関して、これらの定義は、異なる定義が請求項または本明細書のいずれかに与えられない限り、本特許明細書および付随の請求項全体を通して適用されるものとする。
【００２２】
「入手画像」は、患者の組織を可視化する際に生成された画像を指す。取得画像は、従来のマンモグラムにおけるように、患者の組織の両側に配置される放射線検出器に衝突する、放射線源からの放射線によって生成されることができる。
【００２３】
「再構成画像」は、複数の取得画像から導出されたデータから生成される画像を指す。再構成画像は、複数の取得画像内に含まれない取得画像をシミュレートする。
【００２４】
「合成画像」は、複数の取得および／または再構成画像から導出されたデータから生成される人工的画像を指す。合成画像は、取得および／または再構成画像からの要素（例えば、オブジェクトおよび領域）を含むが、必ずしも、可視化の間に取得され得る画像に対応しない。合成画像は、構成された分析ツールである。
【００２５】
「Ｍｐ」画像は、胸部の２次元（２Ｄ）投影画像であって、フラットパネル検出器または別の撮像デバイスによって取得されるようなデジタル画像と、表示（例えば、医療従事者に）、記憶（例えば、病院のＰＡＣＳシステムに）、および／または他の使用のためにそれを準備するための従来の処理後の画像との両方を包含する、従来のマンモグラムまたは造影増強マンモグラムである。
【００２６】
「Ｔｐ」画像は、同様に、２次元（２Ｄ）であるが、胸部と撮像Ｘ線の原点（典型的には、Ｘ線管の焦点）との間の個別のトモシンセシス角度において取得され、取得されたままの画像と、表示、記憶、および／または他の使用のために処理された後の画像データを包含する、画像である。
【００２７】
「Ｔｒ」画像は、例えば、米国特許第７，５７７，２８２号、第７，６０６，８０１号、第７，７６０，９２４号、および第８，５７１，２８９号（それらの開示は、参照することによって全体として本明細書に完全に組み込まれる）のうちの１つ以上のものに説明される様式において、トモシンセシス投影画像Ｔｐから再構成される再構成画像のタイプ（またはサブセット）であって、Ｔｒ画像は、ＴｐまたはＭｐ画像を取得するために使用される角度においてのみのではなく、任意の所望の角度における、スライスの投影Ｘ線画像に現れるであろうような胸部のスライスを表す。
【００２８】
「Ｍｓ」画像は、合成画像のタイプ（またはサブセット）であって、特に、頭尾方向（ＣＣ）または内外斜位方向（ＭＬＯ）画像等のマンモグラフィ画像をシミュレートする、合成２Ｄ投影画像を指し、トモシンセシス投影画像Ｔｐ、トモシンセシス再構成画像Ｔｒ、またはそれらの組み合わせを使用して構成される。Ｍｓ画像は、医療従事者への表示のために、または病院または別の施設のＰＡＣＳシステムにおける記憶のために提供されてもよい。Ｍｓ画像を生成するために使用され得る方法の実施例は、上記に組み込まれる米国特許第７，７６０，９２４号および第８，５７１，２８９号に説明されている。
【００２９】
Ｔｐ、Ｔｒ、Ｍｓ、およびＭｐ画像データは、表示、さらなる処理、または記憶のために、個別の画像を記述するために十分な何らかの形態における情報を包含することを理解されたい。個別のＭｐ、Ｍｓ、Ｔｐ、およびＴｒ画像は、典型的には、表示に先立って、デジタル形態で提供され、各画像は、画素の２次元アレイにおいて各画素の特性を識別する情報によって定義される。画素値は、典型的には、胸部内の対応するボリュームのＸ線に対する個別の測定、推定、または計算された応答、すなわち、組織のボクセルまたはカラムに関する。好ましい実施形態では、トモシンセシス画像（ＴｒおよびＴｐ）およびマンモグラフィ画像（ＭｓおよびＭｐ）の幾何学形状は、米国特許第７，７０２，１４２号（本開示は、参照することによって全体として本明細書に組み込まれる）に説明されるように、共通座標系に整合される。別様に規定されない限り、そのような座標系整合は、本特許明細書の続く詳細な説明において説明される実施形態に関して実装されると仮定される。
【００３０】
用語「画像の生成」および「画像の伝送」とはそれぞれ、表示のための画像を説明するために十分な情報を生成および伝送することを指す。生成および伝送される情報は、典型的には、デジタル情報である。
【００３１】
エンドユーザに表示される合成された２Ｄ画像（例えば、Ｍｓ画像）が、最も臨床上関連する情報を含むことを確実にするために、乳房組織内の悪性乳房塊状物、腫瘍等の３次元（３Ｄ）オブジェクトを検出および識別することが必要である。本情報は、合成された２Ｄ画像内の最も重要な特徴のより正確かつ増強されたレンダリングを作成することに役立つ、高次元グリッド、例えば、３Ｄグリッドを作成するために使用されてもよい。本開示は、高次元オブジェクト（すなわち、３Ｄまたはより高い）をより低い次元画像パターン（２Ｄ画像）に分解することによって３Ｄグリッドを作成するための１つのアプローチを説明する。これらの２Ｄ画像パターンが、画像のトモシンセシススタック内で検出されると、それらは、患者の乳房組織内の対応する３Ｄオブジェクトの場所および形態を決定する、学習ライブラリを使用して組み合わせられてもよい。個別の３Ｄオブジェクトの存在に関する本情報は、システムが、より正確な合成された２Ｄ画像をエンドユーザにレンダリングすることを可能にする。
【００３２】
図１は、合成された画像生成、オブジェクト識別、およびディスプレイ技術のそれぞれを組み込む、例示的画像生成およびディスプレイシステム１００内のデータのフローを図示する。図１は、特定の連続順序で、または並行して生じる、あるプロセスを伴う、フロー図の特定の実施形態を図示するが、請求項および本明細書に説明される種々の他の実施形態は、そのように規定されない限り、任意の特定の順序における画像処理ステップの実施に限定されないことを理解されたい。
【００３３】
より具体的には、画像生成およびディスプレイシステム１００は、現在利用可能なシステムのいずれかの個別の３次元および／またはトモシンセシス入手方法を使用して、患者の乳房のＴｐ画像を生成するためのトモシンセシス画像データを入手する、画像入手システム１０１を含む。入手システムが、組み合わせられたトモシンセシス／マンモグラフィシステムである場合、Ｍｐ画像もまた、生成されてもよい。いくつかの専用トモシンセシスシステムまたは組み合わせられたトモシンセシス／マンモグラフィシステムは、旧来のマンモグラム画像（図１では、破線および凡例「Ｍｐｌｅｇａｃｙ」によって示される）を受け取り、好ましくは、ＤＩＣＯＭ準拠写真アーカイブおよび通信システム（ＰＡＣＳ）記憶デバイスである、記憶デバイス１０２内に記憶するように適合されてもよい。入手に続いて、トモシンセシス投影画像Ｔｐもまた、記憶デバイス１０２に伝送されてもよい（図１に示されるように）。記憶デバイス１０２はさらに、エンドユーザに対して有意な３Ｄ画像パターンを識別するために使用され得る、既知の３Ｄオブジェクトのライブラリを記憶してもよい。他の実施形態では、別個の専用記憶デバイス（図示せず）が、３Ｄ画像パターンまたはオブジェクトを識別する、既知の３Ｄオブジェクトのライブラリを記憶するために使用されてもよい。
【００３４】
Ｔｐ画像は、上記に組み込まれる特許および出願に開示されるように、入手システム１０１または記憶デバイス１０２のいずれかまたは両方から、Ｔｐ画像を、選択された厚さの選択された配向における、乳房スライスを表す、再構成された画像「スライス」Ｔｒに再構成する、再構成エンジン１０３として構成される、コンピュータシステムに伝送される。
【００３５】
モードフィルタ１０７が、画像入手と画像ディスプレイとの間に配置される。フィルタ１０７は、加えて、個別の画像タイプのある側面を識別およびハイライトするように配列される、画像のタイプ（すなわち、Ｔｐ、Ｍｐ、およびＴｒ画像）毎に、カスタマイズされたフィルタを含んでもよい。このように、各撮像モードは、具体的目的のために、最適方法において調整または構成されることができる。例えば、種々の２Ｄ画像スライスを横断してオブジェクトを認識するためにプログラムされるフィルタが、特定の高次元オブジェクトに属し得る画像パターンを検出するために、適用されてもよい。調整または構成は、画像のタイプに基づいて、自動であってもよい、または、例えば、ディスプレイに結合されるユーザインターフェースを通して、手動入力によって定義されてもよい。図１の図示される実施形態では、モードフィルタ１０７は、個別の撮像モードで最良に表示される、画像の特定の特性をハイライトするように選択される、例えば、オブジェクトを識別する、塊状物または石灰化をハイライトする、３Ｄオブジェクトに構成され得る、ある画像パターンを識別する、または２Ｄの合成された画像（下記に説明される）を作成するために適合される。図１は、１つのみのモードフィルタ１０７を図示するが、任意の数のモードフィルタが、乳房組織内の着目構造を識別するために利用されてもよいことを理解されたい。
【００３６】
撮像およびディスプレイシステム１００はさらに、１つ以上のＴｐ、Ｍｐ、および／またはＴｒ画像の組み合わせを使用して、２Ｄの合成された画像を生成するための再構成エンジン１０３と実質的に並行して動作する、階層式マルチレベル特徴２Ｄシンセサイザ１０４を含む。階層式マルチレベル特徴２Ｄシンセサイザ１０４は、入力画像（例えば、Ｍｐ、Ｔｒ、および／またはＴｐ画像）のセットを取り込み、最も関連する特徴のセットを入力画像のそれぞれから決定し、１つ以上の合成された２Ｄ画像を出力する。合成された２Ｄ画像は、種々のスライスの有意な部分を１つの画像上に集約する、統合され、合成された画像を表す。これは、エンドユーザ（例えば、医療人員、放射線科医等）に、最も臨床上関連する画像データを効率的様式で提供し、有意なデータを有していない場合がある、他の画像上で費やされる時間を短縮する。
【００３７】
合成された２Ｄ画像内でハイライトするための関連画像データのあるタイプは、１つ以上のＭｐ、Ｔｒ、および／またはＴｐ画像を横断して見出される、関連オブジェクトであろう。単に、２Ｄ画像スライスのそれぞれ内の着目画像パターンを査定するのではなく、着目２Ｄ画像パターンのいずれかがより大きい高次元構造に属するかどうかを決定し、該当する場合、識別された２Ｄ画像パターンをより高い次元構造に組み合わせることが有用であり得る。本アプローチは、いくつかの利点を有するが、特に、乳房組織の種々のスライス／深度を横断して高次元構造を識別することによって、エンドユーザは、乳房の種々の２Ｄスライス内で容易に可視ではない場合がある、潜在的に有意な構造の存在に関してより詳しく知らされ得る。
【００３８】
さらに、２つの２Ｄスライス内の類似画像パターン（おそらく、相互に隣接する）を識別し、２Ｄスライスの一方または両方からの画像データをハイライトするかどうかを決定する代わりに、同一高次元構造に属するものとして画像パターンの両方を識別することは、システムが、構造の性質に関するより正確な査定を行い、その結果、有意により貴重である情報をエンドユーザに提供することを可能にし得る。また、高次元構造を識別することによって、構造は、合成された２Ｄ画像上でより正確に描写されることができる。乳房組織の種々の捕捉された２Ｄスライス内の高次元構造を識別するさらに別の利点は、識別されたより高い次元の構造の可能性として考えられるサイズ／範囲を識別するステップに関する。例えば、いったん構造が識別されると、高次元構造に幾分近接する、以前に顕著ではなかった画像パターンが、今度は、同一構造に属するものとして識別され得る。これは、エンドユーザに、高次元構造のサイズ／範囲が増加したことのインジケーションを提供し得る。
【００３９】
この目的を達成するために、階層式マルチレベル特徴２Ｄシンセサイザ１０４は、画像スライスのスタックに関して、３Ｄオブジェクトの可能性として考えられる場所を示す、オブジェクトマップのスタックを作成する。言い換えると、オブジェクトマップのスタックは、可能性として高次元オブジェクトを含有する、１つ以上の確率領域を描写する。いくつかの実施形態では、オブジェクトマップのセットは、乳房組織内に存在する、１つ以上の高次元構造（３Ｄオブジェクト）を備える、高次元オブジェクトグリッド（例えば、３Ｄオブジェクトグリッド）を作成するために使用されてもよい。オブジェクトマップのスタックは、患者の乳房組織を表す３Ｄボリュームを表し、識別された３Ｄオブジェクトを可能性として保持する、場所を識別する。
【００４０】
しかしながら、既知の高次元オブジェクトの存在と関連付けられた確率を識別する、オブジェクトマップを作成することは、構造が独立構造であるかどうか、または高次元構造に属するかどうかを確認することが困難であり得るため、困難である。また、複雑なアルゴリズムを起動し、種々の画像スライス内に含有される複雑な画像パターンを識別し、ある画像パターンを既知のオブジェクトに属するものとして識別することは、算出上困難かつ高価であり得る。この目的を達成するために、高次元オブジェクトは、より低い次元画像パターンに分解されてもよい。
【００４１】
これは、高次元オブジェクトをより単純な低レベルパターンに分解する、複数の階層式マルチレベル特徴モジュールを通して達成されてもよい。言い換えると、高レベルオブジェクト表現を構成する画像パターンは、下記にさらに詳細に説明されるであろうように、密度、形状、形態、辺縁、縁、線等の複数の特徴に分解されることができる。これらの分解された表現は、オリジナルの高レベル画像パターンを処理するより算出上容易であり得、より低いレベル画像パターンをより高い次元のオブジェクトに属するものとして関連付けることに役立ち得る。より複雑なオブジェクトをより単純な画像パターンに分解することによって、システムは、低レベル特徴を検出する一方、同時に、低レベル特徴と高次元オブジェクトを関連付けることが算出上より容易であり得るため、複雑なオブジェクトのより容易な検出を可能にする。
【００４２】
高次元オブジェクトは、少なくとも３以上の次元（例えば、３Ｄまたはより高次元のオブジェクト、３Ｄオブジェクトおよび時間次元等）を備える、任意のオブジェクトを指し得る。画像オブジェクトは、画像データ内に存在する、あるタイプの画像パターンとして画定されてもよい。オブジェクトは、３Ｄ空間内の単純丸形オブジェクトおよび２Ｄ空間内の対応する平坦丸形オブジェクトであってもよい。これは、複雑なパターンおよび複雑な形状を伴うオブジェクトであることができ、任意のサイズまたは次元であることができる。オブジェクトの概念は、局所的に境界された幾何学的オブジェクトを超えて拡張し得る。むしろ、画像オブジェクトは、任意の次元形状内に存在し得る、抽象的パターンまたは構造を指し得る。本開示は、３Ｄオブジェクトおよび／または構造に限定されず、さらにより高い次元の構造も参照し得ることを理解されたい。しかしながら、便宜上、残りの開示は、より高い次元のオブジェクトを３Ｄグリッド内にポピュレートされる３Ｄオブジェクトとして参照するであろう。
【００４３】
マルチレベル特徴モジュールは、高レベル特徴モジュール１１４を含み、より高い次元のオブジェクトを検出および識別する。例えば、高レベル特徴モジュール１１４は、有棘塊状物等の複雑な構造を識別するように構成される。しかしながら、高レベル特徴モジュールは、最も算出リソースを要求し得、多数のフィルタまたはより算出上複雑なフィルタとともにプログラムされる、より複雑なアルゴリズムを要求し得ることを理解されたい。したがって、直接、高レベル特徴モジュールを利用して、複雑な構造を認識することに加え、３Ｄオブジェクトは、中レベルおよび低レベル特徴の範囲に分解されてもよい。本目的を達成するために、マルチレベル特徴モジュールはまた、有棘塊状物の中心領域等の中複雑性の画像パターンを検出するように構成される、中レベル特徴モジュール１１２と、有棘塊状物の中心から放射状に広がる線形パターン等のさらにより単純な画像パターンを検出するように構成される、低レベル特徴モジュール１１０とを含む。
【００４４】
マルチレベル特徴モジュール（１１０、１１２、および１１４）はそれぞれ、マルチレベル特徴モジュールのそれぞれが、個別の画像パターンを識別することを可能にする、モデル、テンプレート、およびフィルタを備える、個別のフィルタに対応してもよい。これらのマルチレベル特徴モジュールは、その対応するフィルタとともに、入力画像（例えば、Ｔｐ、Ｔｒ、Ｍｐ等）上で起動され、割り当てられた高レベル、中レベル、および／または低レベル特徴を識別する。各階層式マルチレベル特徴モジュール（例えば、１１０、１１２、および１１４）は、その特定の特徴を備える個別の画像スライスの面積を識別する、特徴マップの群を出力する。例えば、低レベル特徴モジュール１１０は、線を含有する、画像スライスの面積を識別してもよい。中レベル特徴モジュール１１２は、円形形状を含有する、画像スライスの面積を識別してもよく、高レベル特徴モジュール１１４は、有棘塊状物全体を含有する、面積を識別してもよい。
【００４５】
個別の特徴モジュールによって出力されたこれらの特徴マップはコンバイナ１２０を使用して、組み合わせられてもよい。コンバイナ１２０は、任意の種類の好適なコンバイナ、例えば、図７Ａに示されるような単純投票ベースのコンバイナまたは図１および７Ｂに示されるようなより複雑な学習ライブラリベースのコンバイナ１２２であってもよい。特に、学習ライブラリベースのコンバイナ１２０／１２２は、各画像スライスに対応する、一連のオブジェクトマップ１２４を生成し、一連のオブジェクトマップは、患者の乳房組織の３Ｄボリュームを表し、３Ｄオブジェクトを含有する、可能性として考えられる面積を識別する。いくつかの実施形態では、オブジェクトマップのスタックは、３Ｄ座標空間内のオブジェクトを識別する、３Ｄグリッドを作成するために利用されてもよい。
【００４６】
学習ライブラリベースのコンバイナ１２０／１２２は、既知の形状／画像パターンのセットを記憶し、特徴マップを使用して、特定の形状が３Ｄ場所に存在するかどうかの確率を決定する。各オブジェクトマップ１２４は、特徴モジュールを通して導出される種々の特徴マップを組み合わせることに基づいて形成される。形成されるオブジェクトマップ１２４は、複数の異なるオブジェクトに対応する確率を識別してもよい、または単に、単一オブジェクトに対応する確率を識別してもよいことを理解されたい。言い換えると、特定の画像スライスに対応する単一オブジェクトマップ１２４は、２つの異なるオブジェクトに関する可能性として考えられる場所を識別し得る。または、単一オブジェクトマップ１２４は、同一オブジェクトに関する２つの可能性として考えられる場所を識別し得る。したがって、１つ以上の高次元オブジェクトに属する複数の特徴マップは、単一オブジェクトマップに組み合わせられてもよい。階層式マルチレベル特徴シンセサイザ１０４は、下記にさらに詳細に議論されるであろうように、１つ以上の合成された２Ｄ画像を作成するために、入力画像（例えば、Ｔｒ、Ｔｐ、Ｍｐ等）に加え、オブジェクトマップ１２４のスタックを利用する。
【００４７】
合成された２Ｄ画像は、ディスプレイシステム１０５において視認されてもよい。再構成エンジン１０３および２Ｄシンセサイザ１０４は、好ましくは、高速伝送リンクを介して、ディスプレイシステム１０５に接続される。ディスプレイシステム１０５は、標準的入手ワークステーション（例えば、入手システム１０１）または入手システム１０１から物理的に遠隔の標準的（マルチディスプレイ）精査ステーション（図示せず）の一部であってもよい。いくつかの実施形態では、通信ネットワークを介して接続されるディスプレイ、例えば、パーソナルコンピュータ、または、いわゆるタブレット、スマートフォン、もしく他のハンドヘルドデバイスのディスプレイが、使用されてもよい。いずれの場合も、システムのディスプレイ１０５は、好ましくは、並行して、例えば、精査ワークステーションの別個の隣り合わせのモニタ内に個別のＭｓ、Ｍｐ、Ｔｒ、および／またはＴｐ画像を表示可能であるが、本発明は、依然として、画像間をトグルすることによって、単一ディスプレイモニタとともに実装されてもよい。
【００４８】
したがって、限定ではなく、例証目的のために説明される、撮像およびディスプレイシステム１００は、トモシンセシス投影画像Ｔｐ、トモシンセシス再構成画像Ｔｒ、合成されたマンモグラム画像Ｍｓ、および／またはマンモグラム（コントラストマンモグラムを含む）画像Ｍｐ、またはこれらの画像タイプの任意の１つまたは副次的組み合わせを受信し、選択的に表示することが可能である。システム１００は、トモシンセシス画像Ｔｐを画像Ｔｒに変換する（すなわち、再構成する）ためのソフトウェアと、マンモグラム画像Ｍｓを合成するためのソフトウェアと、３Ｄオブジェクトを分解するためのソフトウェアと、特徴マップおよびオブジェクトマップを作成するためのソフトウェアとを採用する。ソース画像内の着目オブジェクトまたは特徴は、１つ以上のアルゴリズムおよび／またはヒューリスティックとともに、オブジェクトマップの適用に基づく、２Ｄの合成された画像内への含有のための「最も関連する」特徴と見なされ得、アルゴリズムは、数値、加重、または閾値を、個別の領域内または特徴間の識別された／検出された着目オブジェクトおよび特徴に基づいて、個別のソース画像のピクセルまたは領域に割り当てる。着目オブジェクトおよび特徴は、例えば、有棘病変、石灰化、および同等物を含んでもよい。
【００４９】
図２は、階層式マルチレベル特徴シンセサイザ１０４をさらに詳細に図示する。上記に議論されるように、トモシンセシスデータセット（または「スタック」）２０２（例えば、患者の乳房組織のフィルタ処理および／またはフィルタ未処理Ｍｐ、Ｔｒ、および／またはＴｐ画像）の種々の画像スライス２１８が、階層式マルチレベル特徴シンセサイザ１０４に指向され、これは、次いで、処理され、ディスプレイ１０５上に表示されるであろう合成された２Ｄ画像内でハイライトするための画像の部分を決定する。画像スライス２１８は、患者の乳房組織の連続して捕捉された断面であってもよい。または、画像スライス２１８は、既知の間隔で捕捉された患者の乳房組織の断面画像であってもよい。画像スライス２１８を備える、トモシンセシス画像スタック２０２は、階層式マルチレベル特徴シンセサイザ１０４に転送されてもよく、これは、（１）１つ以上の２Ｄの合成された画像内への可能性として考えられる含有のために、画像データセット（Ｔｒ）内で識別され得る、高次元オブジェクト２２２を識別し、および／または（２）識別されたオブジェクト２２２を含有する、画像内の個別のピクセル領域を識別するために、ソース画像のそれぞれを評価する。
【００５０】
図示される実施形態に示されるように、トモシンセシススタック２０２は、患者の乳房組織の種々の深度／断面で撮影された複数の画像２１８を備える。トモシンセシススタック２０２内の画像２１８のいくつかは、２Ｄ画像パターンを備える。したがって、トモシンセシススタック２０２は、スタックの画像内に種々の画像パターンを含有する、多数の入力画像を備える。例えば、トモシンセシススタック２０２は、患者の乳房組織の種々の深度／断面で捕捉された１００枚の画像２１８を備えてもよい。画像２１８の数枚のみが、有意性の任意の情報を備え得る。また、トモシンセシススタック２０２は、単に、種々の画像スライス２１８における２Ｄ画像パターンを含有するが、種々の断面画像に基づいて、３Ｄ構造を決定することは困難であり得ることに留意されたい。しかしながら、トモシンセシススタック２０２が、オブジェクトマップ１２４のスタックを備える３Ｄ乳房ボリューム２０４（下記により詳細に説明されるように、図２における参照番号２２０ａおよび２２０ｂによって示される）を作成するために利用されてもよい。
【００５１】
３Ｄ乳房ボリューム２０４は、患者の乳房塊状物を表す、３Ｄ座標空間と見なされ得る。種々の画像スライスにおける２Ｄ画像パターンを描写するのではなく、３Ｄ乳房ボリューム２０４は、オブジェクトマップ１２４（２２０ａ、２２０ｂ）を通して、患者の乳房組織を表す塊状物全体（またはその一部）内の識別された３Ｄオブジェクトの可能性として考えられる場所を描写する。オブジェクトマップ２１４（２２０ａ、２２０ｂ）は、画像スライス２１８毎に、特定のオブジェクト（または複数のオブジェクト）２２２がその特定の座標場所に存在する確率を描写する。単なるディスプレイ画像パターンではなく、オブジェクトマップのスタックは、乳房ボリューム２０４内の特定のオブジェクトを明確に識別する。これは、着目する画像パターン（オブジェクトに関連する場合とそうではない場合がある）を単にハイライトするのではなく、オブジェクト２２２の場所を描写し得る、２Ｄの合成された画像２０６のより正確なレンダリングを可能にする。画像パターンが特定のオブジェクト２２２に属することを把握することは、合成された２Ｄ画像２０６を精査するとき、エンドユーザに、より多くの洞察を提供する。
【００５２】
オブジェクトマップ１２４（２２０ａ、２２０ｂ）は、オブジェクトがその場所に存在する確率を描写する、いくつかの面積を備えてもよい。例えば、図示される実施形態では、２つのオブジェクトマップ２２０ａおよび２２０ｂが、２つの異なる場所におけるオブジェクトに関する確率を描写するように示される。これらは、上記に議論されるように、単一オブジェクトまたは複数のオブジェクトを指し得る。
【００５３】
オブジェクトマップ２２０ａおよび２２０ｂは、画像スライス２１８を種々の階層式マルチレベル特徴モジュール（例えば、モジュール１１０、１１２、および１１４）を通して通過させ、特徴マップを生産することによって作成され、これは、次いで、学習ライブラリベースのコンバイナ１２０／１２２と相談の上、ともに組み合わせられ、個別の３Ｄオブジェクトの可能性として考えられる場所を決定する。各３Ｄオブジェクトは、個別の高レベル、中レベル、および低レベル特徴モジュールに対応し得ることを理解されたい。マルチレベル特徴モジュールはそれぞれ、画像スライス内の特定の特徴を識別する、特徴マップを出力する。複数の特徴マップは、学習ライブラリベースのコンバイナ１２０／１２２を使用して、組み合わせられ、特定の画像スライス２１８に関するオブジェクトマップ２２０ａ、２２０ｂを生成し得る。
【００５４】
例えば、図示される実施形態では、オブジェクトマップ２２０ａおよび２２０ｂは、２つの別個のオブジェクトに関する確率を描写し得る。表示されるオブジェクトマップ２２０ａ、２２０ｂ自体は、これらのオブジェクトマップ２２０ａおよび２２０ｂが、トモシンセシススタック２０２全体に関して全体として視認されるとき、必ずしも、可視ではないが、種々のオブジェクトの形状／サイズおよび次元は、３Ｄ乳房ボリューム２０４内で明白となるであろう。したがって、２つのオブジェクト２２２が、３Ｄ乳房ボリューム２０４内で識別されるため、２Ｄの合成された画像２０６は、その場所を識別する。しかしながら、これらの２つの識別されたオブジェクト２２２は、同一オブジェクトであり得る、または複数のオブジェクトであり得ることを理解されたい。特に、これらのオブジェクト２２２は、システムが識別するために訓練されている、事前決定されたオブジェクトであり得ることを理解されたい。しかしながら、必ずしも、任意の疑わしいオブジェクトまたは構造を備えていない、健康な乳房組織においてさえ、３Ｄ乳房ボリューム２０４が、乳房背景オブジェクトを表示してもよい。例えば、全ての乳房線形組織および密度組織構造が、乳房背景オブジェクトとして表示されることができる。例えば、３Ｄオブジェクトグリッド２０４は、３Ｄグリッド全体を通して、「乳房背景」パターンを表示してもよく、１つ以上のオブジェクトが、乳房背景の種々の面積に位置してもよい。他の実施形態では、球状形状、卵形形状等の「健康な」オブジェクトが、単に、３Ｄオブジェクトグリッド２０４を通して識別されてもよい。これらの識別された３Ｄオブジェクトは、次いで、２Ｄの合成された画像２０６上に表示されてもよい。当然ながら、下記にさらに詳細に議論されるであろうように、個別のオブジェクトを２Ｄの合成された画像上に表示するとき、全ての識別された２Ｄオブジェクトから、より臨床上有意なオブジェクトが、優先または別様に増強されてもよい。
【００５５】
１つ以上の実施形態では、階層式マルチレベル特徴シンセサイザ１０４は、関連特徴を単一の２Ｄの合成された画像２０６に集約するために、トモシンセシス画像スタック２０２と、オブジェクトマップ２２０のスタックを含有する作成された３Ｄ乳房ボリューム２０４との両方を利用する。図示される実施形態に示されるように、２Ｄの合成された画像２０６は、単一２Ｄの合成された画像２０６上の複数の画像スライスからの重要な詳細を提供する。単に、旧来の技法をトモシンセシス画像スタック２０２上で利用することは、識別されたオブジェクトの両方についての詳細を提供する場合と必ずしもそうではない場合がある。説明するために、２つの重要な画像パターンのｚ方向に重複が存在する場合、２つの画像パターンは、本質的に、２Ｄの合成された画像内でハイライトするために、相互に競合している。２つの画像パターンが２つの別個のオブジェクトに属することが決定されない場合、両オブジェクトの重要な側面が、折衷されてもよい。代替として、２つの構造のうちの１つのみのが、２Ｄの合成された画像２０６内で全て強調されてもよい。または、さらに別のシナリオでは、２Ｄの合成された画像は、重要な構造がエンドユーザによって完全に検出されないように、両構造を１つの無定形構造として描写してもよい。
【００５６】
したがって、オブジェクトマップ２２０ａ、２２０ｂのスタックを通してオブジェクトを識別することは、システムが、構造を２Ｄの合成された画像２０６内でより正確に描写することを可能にし、種々のオブジェクトの重複が座標空間内に存在する場合でも、種々のオブジェクトが同時に描写されることを可能にする。したがって、オブジェクトマップ２２０ａ、２２０ｂのスタックを含有する３Ｄ乳房ボリューム２０４を利用することは、より正確な２Ｄの合成された画像２０６を生産する際、多くの利点を有する。
【００５７】
１つ以上の実施形態では、トモシンセシス画像スタック２０２は、上記に議論されるように、３Ｄ乳房ボリューム２０４を構成するために使用されてもよい。トモシンセシス画像スタック２０２の種々の画像は、マルチレベル特徴モジュール（例えば、モジュール１１０、１１２、および１１４）を通して通過されてもよい。より具体的には、トモシンセシス画像スタック２０２は、複雑な構造を識別するように構成される、高レベルモジュール１１４を通して通過されてもよい。例えば、３Ｄ有棘塊状物に対応する高レベルモジュール１１４は、有棘病変全体または有棘病変の複雑な下位部分を識別するように構成されてもよい。高レベルモジュール１１４は、高レベル特徴モジュール１１４が、割り当てられた特徴を検出することを可能にする、モデル、テンプレート、およびフィルタを備える、高レベルフィルタ２１２と関連付けられてもよい。図示される実施形態は、単一高レベル、中レベルおよび低レベル特徴のみを描写するが、オブジェクトあたりより多くのマルチレベル特徴モジュールが存在してもよいことを理解されたい。例えば、２Ｄの合成された画像２０６に描写される２つのオブジェクト毎に、別個の高レベル、中レベル、および低レベルモジュールが存在してもよい。
【００５８】
トモシンセシス画像スタック２０２はまた、中レベル特徴を識別するように構成され得る、中レベル特徴モジュール１１２を通して通過されてもよい。例えば、３Ｄ有棘塊状物に対応する、中レベル特徴モジュール１１２は、有棘病変の中心を表す、円形構造を検出してもよい。中レベル特徴モジュール１１２は、中レベルモジュール１１２が、割り当てられた特徴を検出することを可能にする、モデル、テンプレート、およびフィルタを備える、中レベルフィルタ２１０と関連付けられてもよい。
【００５９】
同様に、トモシンセシス画像スタック２０２はまた、はるかに単純な低レベル特徴を識別するように構成され得る、低レベル特徴モジュール１１０を通して通過されてもよい。例えば、３Ｄ有棘塊状物に対応する低レベル特徴モジュール１１０は、有棘病変の中心から放射状に広がる、線形パターンを表す線を検出してもよい。低レベル特徴モジュール１１０は、低レベルモジュール１１０が、割り当てられた特徴を検出することを可能にする、モデル、テンプレート、およびフィルタを備える、低レベルフィルタ２０８と関連付けられてもよい。
【００６０】
下記にさらに詳細に説明されるであろうように、マルチレベル特徴モジュールはそれぞれ、特定の特徴を画像スライス上に含有する面積を示す、特徴マップを出力する。これらの画像スライス２１８毎に出力された特徴マップは、学習ライブラリベースのコンバイナ１２０／１２２を使用して組み合わせられてもよい。学習ライブラリベースのコンバイナ１２０／１２２は、複数の既知のオブジェクトを記憶してもよく、出力された特徴マップに基づいて、特定のオブジェクトが画像スライス２１８上に位置する確率を決定してもよい。学習ライブラリ１２２は、より高い正確度を経時的に達成し、個別のオブジェクト２２２の場所と範囲および識別の両方を識別する際、ますますより正確な結果を生産し得ることを理解されたい。
【００６１】
学習ライブラリベースのコンバイナ１２０／１２２は、階層式マルチレベル特徴モジュールのそれぞれによって出力された種々の特徴マップを通して得られた情報を合成し、特徴マップをオブジェクトマップ２２０ａ、２２０ｂに組み合わせる。上記に議論されるように、一連のオブジェクトマップ２２０ａおよび２２０ｂは、３Ｄ乳房ボリューム２０４を形成する。
【００６２】
ここで図３を参照すると、種々の階層式マルチレベル特徴モジュールをＴｒスライスの例示的セット上で起動する例示的アプローチが、図示される。図示される実施形態では、低レベル特徴モジュール３１０、中レベル特徴モジュール３１２、および高レベル特徴モジュール３１４が、Ｔｒスライス３００ａ−３００ｅのセット上で起動される。上記の実施例に従って、低レベル特徴モジュール３１０は、有棘塊状物／病変と関連付けられた線形構造を識別するように構成される。中レベル特徴モジュール３１２は、有棘病変と関連付けられた円形構造／弧を識別するように構成され、高レベル特徴モジュール３１４は、直接、有棘病変、すなわち、球状中心および中心から発出する線形パターンを有する構造の全てまたはほぼ全てを識別するように構成される。
【００６３】
マルチレベル特徴モジュール（例えば、３１０、３１２、および３１４）が、Ｔｒスライス３００ａ−３００ｅのスタック上で起動されると、特徴マップ３２０ａ−３２０ｅのセットが、生成される。１つ以上の実施形態では、少なくとも３つの特徴マップの群（３つのモジュール毎に）が、Ｔｒ画像スライス毎に生成される。より具体的には、特徴マップ３２０ａを参照すると、特徴マップ４１０ａは、低レベル特徴モジュール３１０（線形パターンを識別する）をＴｒスライス３００ａ上で起動することに基づいて生成される。同様に、特徴マップ４１２ａは、中レベル特徴モジュール３１２（円形パターンを識別する）をＴｒスライス３００ａ上で起動することに基づいて生成され、特徴マップ４１４ａは、高レベル特徴モジュール３１４（有棘病変を識別する）をＴｒスライス３００ａ上で起動することに基づいて生成される。
【００６４】
同様に、特徴マップ３２０ｂ（４１０ｂ、４１２ｂ、および４１４ｂを備える）は、マルチレベル特徴モジュール３１０、３１２、および３１４をＴｒスライス３００ｂ上で起動することによって生成され、特徴マップ３２０ｃ（４１０ｃ、４１２ｃ、および４１４ｃを備える）は、マルチレベル特徴モジュール３１０、３１２、および３１４をＴｒスライス３００ｃ上で起動することによって生成され、特徴マップ３２０ｄ（４１０ｄ、４１２ｄ、および４１４ｄを備える）は、マルチレベル特徴モジュール３１０、３１２、および３１４をＴｒスライス３００ｄ上で起動することによって生成され、特徴マップ３２０ｅ（４１０ｅ、４１２ｅ、および４１４ｅを備える）は、マルチレベル特徴モジュール３１０、３１２、および３１４をＴｒスライス３００ｅ上で起動することによって生成される。正確な縮尺で描かれていないが、特徴マップはそれぞれ、割り当てられた特徴を含有する画像スライスの領域を識別する、個別の座標系を表す。
【００６５】
例えば、特徴マップ４１０ａを参照すると、ハイライトされる領域４３０は、線形構造がＴｒスライス３００ａのその座標場所に存在する可能性を指す。同様に、特徴マップ４１２ａのハイライトされる領域は、Ｔｒスライス３００ａ内の円形構造を含有する面積を示し、特徴マップ４１４ａのハイライトされる領域は、可能性としてＴｒスライス３００ａ内に存在する有棘病変全体を含有する、面積を示す。特徴マップの範囲から分かるように、いくつかのハイライトされる領域は、他のハイライトされる領域より密度が高い。例えば、特徴マップ４１４ｃは、有棘病変が検出される高い可能性を示す、ハイライトされる領域を示す。同様に、他の特徴マップ（例えば、４１０ｂ、４１０ｃ、４１０ｄ等）は、種々の場所におけるいくつかの検出された特徴を示す、複数の領域を図示する。特徴が、特定のＴｒ画像スライスにおいて検出されない場合、個別の特徴マップは、ハイライトされる領域（例えば、４１２ｅおよび４１４ｅ）を示し得ない。
【００６６】
図４は、マルチレベル特徴モジュールのそれぞれと関連付けられたフィルタを起動し、個別の特徴マップを生成する、例示的技法を図示する。具体的には、図４は、それぞれ、Ｔｒスライス３００ｃ上で起動されている、低レベル特徴モジュール３１０、中レベル特徴モジュール３１２、および高レベル特徴モジュール３１４を図示する。前述のように、特徴モジュールはそれぞれ、特定の特徴モジュールと関連付けされたアルゴリズムが、特徴モジュールと関連付けられた個別の形状および／または他の特性を検出することを可能にする、１つ以上のフィルタ、テンプレート、および／またはモデルと関連付けられる。図示される実施形態では、低レベル特徴モジュール３１０は、低レベルフィルタ２０８に対応してもよい。図４は、いくつかのフィルタのみを説明するが、任意の数のフィルタが、同様に使用されてもよいことを理解されたい。典型的には、低レベルフィルタ２０８は、起動が算出上あまり複雑ではあり得ず、中レベルまたは高レベル特徴モジュールと比較して、より少ないフィルタおよび／またはあまり複雑ではないフィルタを使用してもよい。
【００６７】
例えば、縁フィルタが、画像スライス内の縁を検出するために使用されてもよい。同様に、縁フィルタ、線フィルタ、および形状フィルタが、画像スライス３００ｃ内の線形パターンを検出するために使用されてもよい。低レベルモジュール３１０は、単に、線形パターンを検出するように構成されるため、これらの単純フィルタは、十分であり得る。これらのフィルタが、画像スライス３００ｃ上で起動されるとき、特徴マップは、線の座標場所を示す、１つ以上の領域を記録し得る。特徴マップ４１０ｃは、低レベル特徴（例えば、線）を備える、Ｔｒスライス３００ｃの多数の領域を示す。
【００６８】
同様に、中レベル特徴モジュール３１２は、中レベルフィルタ２１０に対応する。縁フィルタ、勾配フィルタ、線フィルタ、および形状フィルタに加え（またはその代わりに）、中レベルフィルタバンク２１０もまた、単純幾何学的形状を認識するように構成される、フィルタを備えてもよい。例えば、中レベルフィルタ２１０は、単純円形形状を認識するように構成されてもよい。別の実施形態では、直交方向フィルタが、システムが、縁のセットの直交方向が単一中心点で収束するかどうかを決定することを可能にするように構成されてもよい。フィルタのそのような組み合わせは、円形形状に対応する領域を決定するために使用されてもよい。特徴マップ４１２ｃは、画像スライス３００ｃ内に存在する円形形状を備える、領域をハイライトする。
【００６９】
高レベル特徴モジュール３１４は、高レベルフィルタ２１２に対応する。低レベルフィルタバンク２０８および中レベルフィルタバンク２１０に関して説明されるフィルタに加え（またはその代わりに）、高レベルフィルタ２１２は、複雑な構造を検出するように具体的に訓練される、フィルタを備えてもよい。これらは、有棘塊状物に最も類似する形状を検出することに役立つ、単純フィルタまたはより高度な画像認識アルゴリズムの組み合わせであってもよい。これらのフィルタ／アルゴリズムは、低レベルおよび中レベルフィルタバンク内のフィルタ（例えば、それぞれ、２０８および２１０）と比較して、算出上より複雑であり得ることを理解されたい。例えば、図示される実施形態では、高レベルフィルタ２０８は、円形形状の周囲の放射状に広がる線等の複雑な幾何学的形状を検出するように構成されてもよい。図示される実施形態では、特徴マップ４１４ｃは、高レベル特徴を含有する、画像スライス３００ｃの領域を描写する。上記に議論されるように、マルチレベル特徴モジュール（１１０、１１２、および１１４）のそれぞれに対応する特徴マップが画像スライス毎に組み合わせられ、特定のオブジェクトが画像スライスの特定の場所に存在する確率を描写する、オブジェクトマップを形成する。オブジェクトマップは、上記に議論されるように、学習ライブラリベースのコンバイナ１２０／１２２を使用して作成される。
【００７０】
図５は、本組み合わせプロセスをさらに詳細に図示する。特に、図５は、画像スライス３００ｃに関して図示される、種々の階層式マルチレベル特徴モジュールを通して検出された特徴を組み合わせるための例示的アプローチを図示する。図示される実施形態に示されるように、特徴マップ４１０ｃ、４１２ｃ、および４１４ｃは、画像スライス３００ｃに関して、マルチレベル特徴モジュール（３１０、３１２、および３１４）のそれぞれを通して作成されている。図５には図示されないが、類似特徴マップが、図３の他の画像スライス３００ａ、３００ｂ、３００ｄ、および３００ｅに関して生成されてもよい。画像スライス３００ｃに関する特徴マップ３２０ｃは、学習ライブラリベースのコンバイナ１２０／１２２を使用して組み合わせられる。１つ以上の実施形態では、学習ライブラリ１２２は、機械学習技法を使用して、特徴マップを通して検出された３Ｄ形状の正確度を改良する。種々の機械学習アルゴリズムは、種々のマルチレベル特徴モジュールから導出される情報および特徴マップを組み合わせ、３Ｄオブジェクトの可能性として考えられる場所を識別する、オブジェクトマップを正確に生成するために利用されてもよい。
【００７１】
学習ライブラリベースのコンバイナ１２０／１２２は、入力を有棘塊状物の存在に関する３つのレベルの特徴マップから受信してもよい。本情報のパターンは、オブジェクトマップ４２０ｃ内の確率領域５０２を識別するオブジェクトマップを作成することに役立ち得る。本明細書に説明される技法は、例証目的のために簡略化され、いくつかの複雑な機械学習アルゴリズムが、３Ｄオブジェクトの可能性として考えられる場所および寸法を正確に算出するために使用されてもよいことを理解されたい。また、学習ライブラリ１２２の一部として採用される機械学習アルゴリズムは、システムがより経時的に「学習」するにつれて、システムが、非常にわずかな情報を使用して３Ｄオブジェクトを検出および識別することを可能にし得ることを理解されたい。したがって、学習ライブラリ１２２は、経時的により効率的かつ正確に成長することが想定される。例えば、１つ以上の実施形態では、システムが、特定の特徴モジュールが与えられるべき加重の量を計測するために、加重が、種々の特徴モジュールを通して導出される特徴マップに割り当てられてもよい。システムが、より「学習」するにつれて、ある特徴に割り当てられた加重は、変化してもよい。
【００７２】
上記に議論されるように、学習ライブラリベースのコンバイナ１２０／１２２は、特定の３Ｄオブジェクトの確率領域５０２を描写するオブジェクトマップ４２０ｃを生産するために、種々の特徴マップからの情報を組み合わせる。例えば、確率領域５０２は、Ｔｒ画像スライス３００ｃ内に存在し得る、有棘塊状物の場所、サイズ、および範囲に関連してもよい。同様に、学習ライブラリベースのコンバイナ１２０／１２２は、他の画像スライス３００ａ、３００ｂ、３００ｄ、および３００ｅ（図示せず）に関する他のオブジェクトマップを出力してもよい。本オブジェクトマップのスタックは、３Ｄ乳房ボリューム（図２に示される２０４等）を作成するために使用されてもよく、これは、患者の乳房組織の種々３Ｄ場所に存在する１つ以上のオブジェクトを識別することに役立つ。
【００７３】
図６Ａおよび６Ｂは、情報をオブジェクトマップ上で描写する、個別の例示的実施形態を図示する。図６Ａは、単に、単純インジケータ６０２を通して、特定の着目オブジェクト／特徴のコアを図示する一方、図６Ｂは、特定のオブジェクトの場所を描写するだけではなく、また、オブジェクトはどのくらいの大きさであり得るかの確率を描写する、インジケータ６０４を通して、検出されたオブジェクトの等高線を示すことによって、オブジェクトマップを通して、より多くの情報を提供してもよい。例えば、オブジェクトがインジケータ６０４の中心にある確率は、最高であり得、インジケータ７０４の最大円形は、より低い（但し、依然として、有意である）確率の領域を示し得る。
【００７４】
図７Ａは、代替実施形態が、より簡略化された投票ベースのコンバイナ７０８を使用して、最終オブジェクトマップ７０４内の３Ｄオブジェクトに対応する確率領域を決定する方法の例示的実施形態を図示する。特に、投票ベースのコンバイナ７０８が、システムが、オブジェクトマップ７０２ａおよび７０２ｂに示される、第１の確率領域７２０ａ、オブジェクトマップ７０２ｅに示される、第２の確率領域７２０ｂ、または確率領域７２０ａおよび７２０ｂの両方に「投票」するように、オブジェクトマップ７０２ａ−７０２ｅ上で利用されてもよい。図示される実施形態では、投票ベースの組み合わせは、確率領域７２０ａおよび７２０ｂの両方が最終オブジェクトマップ７０４内でハイライトされる結果をもたらし得る。
【００７５】
対照的に、図７Ｂは、最終オブジェクトマップ７０６を作成するための学習ライブラリベースのコンバイナ７１０の例示的実施形態を図示する。図示される実施形態では、確率オブジェクトマップ７０２ａ−７０２ｅが、異なる確率領域７２０ａおよび７２０ｂ（図７Ａに示される実施形態に類似する）をハイライトする場合でも、コンバイナ７１０によって採用される機械学習組み合わせアルゴリズムは、ニューラルネットワークを使用して、２つの確率領域７２０ａのうちの１つのみを最終オブジェクトマップ７０６内に表示されるように選択する。上記に議論されるように、ニューラルネットワークを使用すると、システムは、種々の特徴マップから決定されたパターンを「学習」し、より正確なオブジェクトマップを構成することによって、経時的により高度化し得る。
【００７６】
図８は、本開示の発明の一実施形態による、階層式マルチレベル特徴画像シンセサイザを通して作成された複数のオブジェクトマップを使用して、２Ｄの合成された画像を作成するために実施され得る、例示的プロセスを図示するために提供される、フロー図８００である。ステップ８０２では、画像データセットが、入手される。画像データセットは、トモシンセシス入手システム、組み合わせトモシンセシス／マンモグラフィシステムによって、または画像ディスプレイデバイスに対してローカルまたは遠隔で位置するかどうかにかかわらず、記憶デバイスから既存の画像データを読み出すことによって、入手されてもよい。ステップ８０４では、２Ｄ画像スライス（例えば、Ｔｒ画像スライス）毎に、特定の３Ｄオブジェクトに対応する、種々の階層式マルチレベル特徴（例えば、高レベル特徴モジュール、中レベル特徴モジュール、および低レベル特徴モジュール）と関連付けられたフィルタが、適用される。
【００７７】
例えば、高レベル特徴モジュール、中レベル特徴モジュール、および低レベル特徴モジュールと関連付けられたフィルタが、Ｔｒスタックの各画像に適用されてもよい。ステップ８０６では、特徴マップが、各階層式マルチレベル特徴モジュールによって生成される（例えば、３つの特徴マップが、特定の３Ｄオブジェクトと関連付けられた３つのマルチレベル特徴モジュールが存在すると仮定して出力される）。ステップ８０８では、高レベル特徴モジュール、中レベル特徴モジュール、および低レベル特徴モジュールによって生成された特徴マップが、学習ライブラリを使用することによって、組み合わせられ、オブジェクトマップを形成する。学習ライブラリは、生成された特徴マップを利用して、特定の３ＤオブジェクトがＴｒ画像スライスの特定の場所に位置する確率を決定する。ステップ８１０では、複数のＴｒ画像スライスに対応する複数のオブジェクトマップが、スタックされ、３Ｄ乳房ボリュームを作成する。ステップ８１２では、合成された２Ｄ画像が、３Ｄ乳房ボリューム内の複数のオブジェクトマップを使用して作成される。ステップ８１４では、合成された２Ｄ画像が、エンドユーザに表示される。
【００７８】
例示的実施形態が説明されたが、前述され、付随の図に描写される実施例は、例証にすぎず、他の実施形態および実施例もまた、添付の請求項の範囲内に包含されることを理解されたい。例えば、付随の図に提供される流れ図は、例示的ステップの例証であるが、全体的画像マージプロセスは、当技術分野において公知の他のデータマージ方法を使用して、種々の様式で達成されてもよい。システムブロック図も同様に、機能的境界を図示する、代表にすぎず、本開示の発明の要件の限定として見なされるものではない。また、種々の変更および修正が、以下の請求項およびその均等物によってのみ定義されるものとする、本開示の発明の範囲から逸脱することなく、描写および／または説明される実施形態（例えば、種々の部品の次元）に行われてもよいことが、当業者に理解されるであろう。故に、明細書および図面は、制限的意味ではなく、例証として見なされるものとする。
【図１】
2020512130.tif 000003
【図２】
2020512130.tif 000004
【図３】
2020512130.tif 000005
【図４】
2020512130.tif 000006
【図５】
2020512130.tif 000007
【図６Ａ】
2020512130.tif 000008
【図６Ｂ】
2020512130.tif 000009
【図７Ａ】
2020512130.tif 000010
【図７Ｂ】
2020512130.tif 000011
【図８】
2020512130.tif 000012
【国際調査報告】
2020512130.tif 000013
2020512130.tif 000014