(57)【要約】  本発明は、ａ×ｂ×ｎのディメンションの、すなわち各々がａ×ｂのディメンションのｎ個の異なる２Ｄ画像から構成される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法に関する。前記方法は、３つのプロセスステップ、すなわち：ａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのサブ画像（１から９）を前記医用画像から抽出する、すなわち、９つの部分的にオーバーラップするａ／２  ×  ｂ／２のサブ画像を各２Ｄ画像から抽出することにある第１のステップ；９つの畳み込みニューラルネットワーク（ＣＮＮ）が、各２Ｄ画像のこれら９つのサブ画像（１から９）の各々を解析し、セグメント化することにある第２のステップ；ｎ個の異なる２Ｄ画像の９つの解析およびセグメンテーションの結果を、したがってａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、ａ×ｂ×ｎのディメンションを有する単一の画像に結合することにある第３のステップを主に含むことを特徴とする。
2021511575.tif 000002
【特許請求の範囲】
【請求項１】
ａ×ｂ×ｎのディメンションの、すなわち各々がａ×ｂのディメンションのｎ個の異なる２Ｄ画像から構成される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法であって、方法が、３つのプロセスステップ、すなわち、
ａ／２  ×  ｂ／２  ×  ｎのディメンションの９つのサブ画像（１から９）を前記医用画像から抽出する、すなわち、９つの部分的にオーバーラップするａ／２  ×  ｂ／２のサブ画像を各２Ｄ画像から抽出することにある第１のステップ、
９つの畳み込みニューラルネットワーク（ＣＮＮ）が、各２Ｄ画像のこれら９つのサブ画像（１から９）の各々を解析し、セグメント化することにある第２のステップ、
ｎ個の異なる２Ｄ画像の９つの解析およびセグメンテーションの結果を、したがってａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、ａ×ｂ×ｎのディメンションを有する単一の画像に結合することにある第３のステップ
を主に含むことを特徴とする、自動セグメンテーション方法。
【請求項２】
各々ａ／２  ×  ｂ／２のディメンションの９つのサブ画像（１から９）が、ａ×ｂのディメンションの２Ｄ画像から以下のように、すなわち、
−  ２Ｄ画像を、２対の対向する辺の仲介により、４つのサブ画像（１から４）に対称的に区分すること、
−  ２Ｄ画像の２つの方向の各々に従って、１つの辺を間に共有し、前記画像の垂直な辺に向かって中心に配置された２つのサブ画像（５、６および７、８）を形成すること、
−  ２Ｄ画像に向かって中心に配置され、前記画像の辺に平行な辺を有するサブ画像（９）を形成すること
により抽出されることを特徴とする、請求項１に記載の自動セグメンテーション方法。
【請求項３】
９つのサブ画像（１から９）のオーバーラップが、考慮される最初の２Ｄ画像の全面を共にカバーする、各々ａ／４  ×  ｂ／４のディメンションの１６個の断片的な相補的領域（ＡからＰ）を生成するように構成されることを特徴とする、請求項２に記載の自動セグメンテーション方法。
【請求項４】
自動セグメンテーション方法が、
−  ａ×ｂ×Ｎ（ｉ）のディメンションのＫ個のセグメント化された医用画像から知識データベースを構築すること、
−  ａ／２  ×  ｂ／２  ×  Ｎ（ｉ）のディメンションの画像の９つのサブセットを知識データベースの各画像から作成すること、
−  ａ／２  ×  ｂ／２  ×  Ｎ（ｉ）のディメンションの９つのサブ画像のセグメンテーション、および９つのサブ画像からの各サブセットの画像作成を可能とし、次いでこの選択をＸおよびＹ方向に１からＴボクセル分シフトさせ、したがって、各々が同じディメンションを有する４から（Ｔ＋１）２個の画像の９つのサブセットを提供すること
にあり、Ｎ（ｉ）は画像ｉのＺに沿ったスライスの数であり、ｉは１からＫまで変化することを特徴とする、請求項１から３のいずれか一項に記載の自動セグメンテーション方法。
【請求項５】
自動セグメンテーション方法が、９つの２Ｄ  ＣＮＮを用いて、
−  １つの専用の２Ｄ  ＣＮＮを用いて、およびａ／２  ×  ｂ／２のディメンションを有するｎ個のスライスを順次セグメント化することにより、９つのサブ画像（１から９）の各々を解析することと、次いで、
−  全ての９つのＣＮＮにより提供された結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にあることを特徴とする、請求項１から４のいずれか一項に記載の自動セグメンテーション方法。
【請求項６】
自動セグメンテーション方法が、９つの３Ｄ  ＣＮＮを用いて、
−  １つの専用の３Ｄ  ＣＮＮを用いて、およびａ／２  ×  ｂ／２のディメンションを有するＬ個の連続するスライスの全てのサブセットを順次セグメント化することにより、９つのサブ画像の各々を解析することと、次いで、
−  全ての９つのＣＮＮにより提供された解析結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にあり、Ｌは２からｎまでの範囲を取り、ａ／２  ×  ｂ／２のディメンションを有する３Ｄサブ画像のサブセットの数は１とｎ−Ｌ＋１の間で変化することを特徴とする、請求項１から４のいずれか一項に記載の自動セグメンテーション方法。
【請求項７】
請求項１から６のいずれか一項に記載の方法を実行することにより医用画像の自動セグメンテーションを行うためのシステムであって、知識データベースからの情報を用いることにより医用画像の少なくとも一部のセグメンテーションを行うように適合された９つの畳み込みニューラルネットワーク（ＣＮＮ）の協調動作をホストし、可能とする、少なくとも１つのコンピュータデバイスを含み、前記少なくとも１つのコンピュータデバイスはまた、医用画像の区分と、異なるＣＮＮにより提供された部分的セグメンテーション結果のマージとを実施するプログラムをホストし、走らせることを特徴とする、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理の分野、より詳細には画像の処理および解析、特に医用画像のセグメンテーションに関連し、３Ｄ医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した、１つまたはいくつかのニューラルネットワークによる３Ｄ医用画像の自動セグメンテーションプロセスに関する。
【背景技術】
【０００２】
スキャナ、ＭＲＩ、超音波、ＣＴまたはＳＰＥＣタイプの画像のような医用イメージングデバイスから作られる３次元画像は、３Ｄ画像の基本単位であるボクセルのセットから構成される。ボクセルは、２Ｄ画像の基本単位であるピクセルを３Ｄに拡張したものである。各ボクセルは、２Ｄ関数Ｆ（ｘ，ｙ）または３Ｄ関数Ｆ（ｘ，ｙ，ｚ）の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでｘ、ｙおよびｚは空間座標を表す（図１参照）。
【０００３】
図２の図は、横断面図による３Ｄ医用画像セグメンテーションの定義を示す。
【０００４】
典型的には、２Ｄまたは３Ｄの医用画像は、臨床医が状態を評価するため、ならびに治療戦略を確定し計画するために、描出する必要のある解剖学的および病理学的な構造物（器官、骨、組織、・・・）または人工的な要素（ステント、インプラント、・・・）のセットを含む。この点において、器官および病変が画像内で識別される必要があり、これは、２Ｄ画像の各ピクセルまたは３Ｄ画像の各ボクセルをラベル付けすることを意味する。このプロセスはセグメンテーションと呼ばれる。
【０００５】
臨床ルーチンにおいて取得されるＣＴおよびＭＲＩ画像の場合、それらは、（Ｘ軸およびＹ軸に沿って）ａ×ｂのディメンションを有する（Ｚ軸に沿った）ｎ個の矩形または正方形の、一連の２Ｄ画像とみなされ得る。一般に、それらは、５１２×５１２ピクセルに等しい、Ｘ軸およびＹ軸に沿った標準的なディメンションであり、これは横断面のディメンションが通常ａ＝ｂ＝５１２であることを意味する。次いで対照的に、スライスの数ｎ（Ｚ軸に沿ったディメンション）は非常に可変的であり、観察された領域のディメンションに依存する。
【０００６】
したがって、横断面を全体として解析すること、またはより小さな、例えば４つの２５６×２５６のサブ画像に分割すること、それゆえ、解析を別々により高速に行うことが考えられ得る。作成されたこれら４つのサブ画像は、最初の画像の全ボクセルをカバーし、それらのディメンションはａ／２  ×  ｂ／２  ×  ｎである。
【０００７】
図３Ａは、ヒト被験体の医用画像を取得する場合に考えるべき３つの主要な面を示し、図３Ｂは、医用画像の横断面に沿ったスライスの、４つの２５６×２５６のサブ画像への分割を示す。
【０００８】
セグメンテーションを行うための方法は多数存在する。これらの方法の中でも、ニューラルネットワークは、人工知能アルゴリズム専用のカテゴリの一部であり、自動であるという利点を有する。
【０００９】
これらのアルゴリズムのバリエーションは多数存在するが、それらは依然として、医用イメージングに特定されない、特にそのコンテンツに特定されない、標準的なアーキテクチャベースに限定されたままであることが多い。
【００１０】
しかし、医用イメージングにおける画像のコンテンツは、特にＣＴおよびＭＲＩ画像において、再出現性が非常に高い。画像の中央において、手術台（ｏｐｅｒａｔｉｎｇ  ｔａｂｌｅ）（イメージングプロシージャの間、通常その上に患者が横たわっている）がある患者の下部を除き、空気に囲まれた患者をシステマティックに有する。
【００１１】
よって、写真１枚ごとに環境が変化する写真画像とは異なり、医用画像は、パスポート用ＩＤ写真と同様に、構造化および形式化されている；環境および位置が常に同じで人物の顔の細部のみが変化する。
【００１２】
胸部の医用画像の場合、例えば常に肋骨が、背部では脊柱に、前部では胸骨に繋がっており、両肺を取り囲み、その間に心臓がある。もちろん、肺の位置の反転または肺の欠損などの変異が存在する場合もあるが、これらの例は通常の解剖学的変異と比較して非常に発生頻度が低い。他のエリア（頭部、腹部、骨盤、上肢または下肢）に関しても、同じ観察がなされ得、同じ原理が適用され得る。
【００１３】
図４の画像は、３つの例として、様々な解剖学的エリア（胸部、腹部および骨盤）が相対的な器官の局在の規則的な分布を示す様子を示す。
【００１４】
これらの発見に基づき、本発明者らは、この関連において前述のサブ画像分割が、他のサブ画像では見られない構造物を、この分割を用いてサブ画像内で定位することが可能であるという理由により、異なる意義を呈することを認識するに至った。
【００１５】
例えば、図５に見られ得るように、サブ画像分割（ここでは腹部の５１２×５１２の横断面画像の２５６×２５６のサブ画像）は、非常に規則的な解剖学的構造物を含み、これは、関連付けられるネットワークがよりロバストでより効率的およびより特殊化されて開発されることを、可能にする。
【００１６】
図５は、腹部の同じ横断面画像による様々な区分およびサブ画像抽出が、同じ領域において再出現する解剖学的構造物をシステマティックに定位することを可能とする様子を示す。
【００１７】
例として図５の第１の画像において、胆嚢は左上のサブ画像に、右腎臓は左下のサブ画像に、左腎臓は右下のサブ画像に見出されることが非常に多い。脊柱は、画像２に認められるサブ画像にシステマティックに属する。肝臓はシステマティックに画像１または３の左側のサブ画像の一部になり、一方で脾臓は右側のサブ画像中にある。最後に、大動脈および大静脈は共に画像４のサブ画像中にあるが、画像３のサブ画像では、大静脈が左側のサブ画像、大動脈が右側のサブ画像と分かれている。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
よって、本発明の基本概念は、器官の特定の局在情報を活用する畳み込みニューラルネットワーク（ＣＮＮ）を用いた医用画像の新規な解析プロシージャを開発するべく、いくつかの特定のサブ画像分割を利用して、同じ領域において再出現する解剖学的構造物をシステマティックに定位するとともに、これらのサブ画像の別々の解析から収集される情報を活用および結合することを可能とすることにある。
【課題を解決するための手段】
【００１９】
したがって、本発明は、その主たる目的として、ａ×ｂ×ｎのディメンションの、すなわち各々がａ×ｂのディメンションのｎ個の異なる２Ｄ画像から構成される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法に関し、
方法は、以下の３つのプロセスステップ、すなわち：
ａ／２  ×  ｂ／２  ×  ｎのディメンションの９つのサブ画像を前記医用画像から抽出する、すなわち、９つの部分的にオーバーラップするａ／２  ×  ｂ／２のサブ画像を各２Ｄ画像から抽出することにある第１のステップ；
９つの畳み込みニューラルネットワークが、各２Ｄ画像のこれら９つのサブ画像の各々を解析し、セグメント化することにある第２のステップ；
ｎ個の異なる２Ｄ画像の９つの解析およびセグメンテーションの結果を、したがってａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、ａ×ｂ×ｎのディメンションを有する単一の画像に結合することにある第３のステップ
を主に含むことを特徴とする。
【００２０】
より正確には、本発明は、３つのステップから構成されるアルゴリズムを介して、ａ×ｂ×ｎのディメンションを有する３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を知識データベースが学習した後の、自動セグメンテーションプロセスを提案する。第１のステップは、ａ／２  ×  ｂ／２  ×  ｎのディメンションの９つのサブ画像を抽出することにあり、第２のステップは、９つの畳み込みニューラルネットワーク（ＣＮＮ）がこれら９つのサブ画像のうちの１つを解析することにあり、第３のステップは、９つの解析の結果を、したがってａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのセグメント化されたサブ画像の結果を、ａ×ｂ×ｎのディメンションを有する単一の画像に結合することにある。出力は、最初の画像の単一のセグメンテーションである。この全体的アーキテクチャと、ＣＮＮに基づく９つのサブ画像解析におけるＣＮＮに基づく元画像解析の区分とに、主な独自性がある。
【図面の簡単な説明】
【００２１】
【図１】スキャナ、ＭＲＩ、超音波、ＣＴまたはＳＰＥＣタイプの画像のような医用イメージングデバイスから作られる３次元画像は、３Ｄ画像の基本単位であるボクセルのセットから構成され、ボクセルは、２Ｄ画像の基本単位であるピクセルを３Ｄに拡張したものであり、各ボクセルは、２Ｄ関数Ｆ（ｘ，ｙ）または３Ｄ関数Ｆ（ｘ，ｙ，ｚ）の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでｘ、ｙおよびｚは空間座標を表す、ことを示す図である。
【図２】横断面図による３Ｄ医用画像セグメンテーションの定義を示す図である。
【図３Ａ】ヒト被験体の医用画像を取得する場合に考えるべき３つの主要な面を示す図である。
【図３Ｂ】医用画像の横断面に沿ったスライスの、４つの２５６×２５６のサブ画像への分割を示す図である。
【図４】３つの例として、様々な解剖学的エリア（胸部、腹部および骨盤）が相対的な器官の局在の規則的な分布を示す様子を示す図である。
【図５】サブ画像分割（ここでは腹部の５１２×５１２の横断面画像の２５６×２５６のサブ画像）は、非常に規則的な解剖学的構造物を含み、これは、関連付けられるネットワークがよりロバストでより効率的およびより特殊化されて開発されることを可能にすることを示す図である。
【図６】本発明の方法の処理ステップ、すなわち：最初のａ×ｂの医用画像からの９つの（１から９の番号が付された）サブ画像の抽出をもたらす特定の画像分割と；専用のＣＮＮ（図６における丸い点の行）による各サブ画像の解析およびセグメンテーションと；最初の画像区分からの９つのサブ画像の複数の部分的オーバーラップおよびＣＮＮの解析結果のマージとを、１６個の相補的な断片的領域（ＡからＰで示す）の定義およびグループ分けと共に図示する概略図である。
【図７】３つの可能な方向への１ピクセル（または１ボクセル）のシフト（平行移動）を用いて、図６に示された例の第１のサブ画像（図６において番号１が付されたサブ画像）から生成された４つの異なる画像のサブセットを、例として示す図である。
【図８】１または２ピクセル（またはボクセル）のシフト（平行移動）を用いて、図７と同じサブ画像から生成された９つの異なる画像のサブセットを、例として示す図である。
【図９】最初の画像から抽出された９つのサブ画像（１から９）のうちの１つのセグメンテーションに各々専用化された９つの協調するＣＮＮのグループによる、１つの２Ｄ画像（３Ｄ画像の１スライス）の処理（セグメンテーション）に伴うステップを図示する概略図であり、全てのサブ画像の個々のセグメンテーション結果は、単一の最初の画像のセグメンテーションに結合またはマージされることを示す。
【図１０】図９と同様に、単一の画像セグメンテーションをもたらす、ｎ（ここではｎ＝５）個の２Ｄ画像のセット（３Ｄ画像のｎ個のスライスのセット）の処理（セグメンテーション）に伴うステップを図示する概略図である。
【発明を実施するための形態】
【００２２】
非限定的な例として示され、添付の図面を参照して説明される、少なくとも１つの好適な実施形態に関する下記の説明を用いて、本発明がよりよく理解されるであろう。
【００２３】
−  図６は、本発明の方法の処理ステップ、すなわち：最初のａ×ｂの医用画像からの９つの（１から９の番号が付された）サブ画像の抽出をもたらす特定の画像分割と；専用のＣＮＮ（図６における丸い点の行）による各サブ画像の解析およびセグメンテーションと；最初の画像区分からの９つのサブ画像の複数の部分的オーバーラップおよびＣＮＮの解析結果のマージとを、１６個の相補的な断片的領域（ＡからＰで示す）の定義およびグループ分けと共に図示する概略図である。
【００２４】
−  図７は、３つの可能な方向への１ピクセル（または１ボクセル）のシフト（平行移動）を用いて、図６に示された例の第１のサブ画像（図６において番号１が付されたサブ画像）から生成された４つの異なる画像のサブセットを、例として示す。
【００２５】
−  図８は、１または２ピクセル（またはボクセル）のシフト（平行移動）を用いて、図７と同じサブ画像から生成された９つの異なる画像のサブセットを、例として示す。
【００２６】
−  図９は、最初の画像から抽出された９つのサブ画像（１から９）のうちの１つのセグメンテーションに各々専用化された９つの協調するＣＮＮのグループによる、１つの２Ｄ画像（３Ｄ画像の１スライス）の処理（セグメンテーション）に伴うステップを図示する概略図であり、全てのサブ画像の個々のセグメンテーション結果は、単一の最初の画像のセグメンテーションに結合またはマージされる。
【００２７】
−  図１０は、図９と同様に、単一の画像セグメンテーションをもたらす、ｎ（ここではｎ＝５）個の２Ｄ画像のセット（３Ｄ画像のｎ個のスライスのセット）の処理（セグメンテーション）に伴うステップを図示する概略図である。
【００２８】
特に図６、９および１０に模式的に示すように、本発明は、ａ×ｂ×ｎのディメンションの、すなわち各々がａ×ｂのディメンションのｎ個の異なる２Ｄ画像から構成される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法に関し、
方法は、３つのプロセスステップ、すなわち：
ａ／２  ×  ｂ／２  ×  ｎのディメンションの９つのサブ画像（１から９）を前記医用画像から抽出する、すなわち、９つの部分的にオーバーラップするａ／２  ×  ｂ／２のサブ画像を各２Ｄ画像から抽出することにある第１のステップ；
９つの畳み込みニューラルネットワーク（ＣＮＮ）が、各２Ｄ画像のこれら９つのサブ画像（１から９）の各々を解析し、セグメント化することにある第２のステップ；
ｎ個の異なる２Ｄ画像の９つの解析およびセグメンテーションの結果を、したがってａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、ａ×ｂ×ｎのディメンションを有する単一の画像に結合することにある第３のステップ
を主に含むことを特徴とする。
【００２９】
器官、組織、物体および可能性のある類似の内部的特徴の特定の局在情報を活用する、専用化されたＣＮＮの適合されたアーキテクチャを用いた並列処理と組み合わされた、処理される医用画像の特定の区分を提供することにより、本発明は、より高速でより正確でより効率的な医用画像のセグメンテーションを可能とする。
【００３０】
典型的には、本発明の方法およびシステムにおいて用いられ得る、知られているＣＮＮアルゴリズムとして、「Ｕ−Ｎｅｔ」がある（例えば：「Ｕ−Ｎｅｔ：  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｏ．  Ｒｏｎｎｅｂｅｒｇｅｒら；ＭＩＣＣＡＩ  ２０１５、Ｐａｒｔ  ＩＩＩ、ＬＮＣＳ  ３９５１、ｐｐ  ２３４−‘’２４１、Ｓｐｒｉｎｇｅｒ  ＩＰＳを参照）。
【００３１】
「Ｕ−Ｎｅｔ」は、「ＲｅｓＮｅｔ」または「ＤｅｎｓｅＮｅｔ」などの他の知られているアーキテクチャと共に実現されてよい。
【００３２】
ＣＮＮにより（特に、サブ画像のオーバーラップ領域における２つまたは３つの異なるＣＮＮにより）提供される結果を結合するまたはマージするステップは、分類器の（加重）合計、乗算（積）または当業者に知られている類似の適合された予測アンサンブリングオペレーション（ａｄａｐｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｅｎｓｅｍｂｌｉｎｇ  ｏｐｅｒａｔｉｏｎ）により行われ得る。
【００３３】
図６、９および１０において明確で明瞭に示されている本発明の重要な特徴によれば、各々ａ／２  ×  ｂ／２のディメンションの９つのサブ画像１から９が、ａ×ｂのディメンションの２Ｄ画像から以下のように抽出される：
−  ２Ｄ画像を、２対の対向する辺の仲介により、４つのサブ画像１から４に対称的に区分する；
−  ２Ｄ画像の２つの方向の各々に従って、１つの辺を間に共有し、前記画像の垂直な辺に向かって中心に配置された２つのサブ画像５、６および７、８を形成する；
−  ２Ｄ画像に向かって中心に配置され、前記画像の辺に平行な辺を有するサブ画像９を形成する。
【００３４】
上述の図６、９および１０においても示しているように、９つのサブ画像１から９のオーバーラップは、考慮される最初の２Ｄ画像の全面を共にカバーする、各々ａ／４  ×  ｂ／４のディメンションの１６個の断片的な相補的領域ＡからＰを生成するように構成される。
【００３５】
医用画像の構造化状態およびコンテンツを利用することにより、知識データベースの学習スピードを増大させるべく、本発明の方法は：
−  ａ×ｂ×Ｎ（ｉ）のディメンションのＫ個のセグメント化された医用画像から知識データベースを構築すること、
−  ａ／２  ×  ｂ／２  ×  Ｎ（ｉ）のディメンションの画像の９つのサブセットを知識データベースの各画像から作成すること、
−  ａ／２  ×  ｂ／２  ×  Ｎ（ｉ）のディメンションの９つのサブ画像のセグメンテーション、および９つのサブ画像からの各サブセットの画像作成を可能とし、次いでこの選択をＸおよびＹ方向に１からＴボクセル分シフトさせ、したがって、各々が同じディメンションを有する、４から（Ｔ＋１）２個の画像の９つのサブセットを提供すること
であってもよく、Ｎ（ｉ）は画像ｉのＺに沿ったスライスの数であり、ｉは１からＫまで変化する。
【００３６】
図９に示す本発明の第１の実施形態によれば、自動セグメンテーション方法は、９つの２Ｄ  ＣＮＮを用いて、
−  １つの専用の２Ｄ  ＣＮＮを用いて、およびａ／２  ×  ｂ／２のディメンションを有するｎ個のスライスを順次セグメント化することにより、９つのサブ画像１から９の各々を解析することと、次いで、
−  全ての９つのＣＮＮにより提供された結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にある。
【００３７】
図１０に示す本発明の第２の実施形態によれば、自動セグメンテーション方法は、９つの３Ｄ  ＣＮＮを用いて、
−  １つの専用の３Ｄ  ＣＮＮを用いて、およびａ／２  ×  ｂ／２のディメンションを有するＬ個の連続するスライスの全てのサブセットを順次セグメント化することにより、９つのサブ画像の各々を解析することと、次いで、
−  全ての９つのＣＮＮにより提供された解析結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にあり、Ｌは２からｎまでの範囲を取り、ａ／２  ×  ｂ／２のディメンションを有する３Ｄサブ画像のサブセットの数は１とｎ−Ｌ＋１の間で変化する。
【００３８】
本発明はまた、請求項１から６のいずれか一項に記載の方法を実行することにより医用画像の自動セグメンテーションを行うためのシステムであって、知識データベースからの情報を用いることにより医用画像の少なくとも一部のセグメンテーションを行うように適合された９つの畳み込みニューラルネットワーク（ＣＮＮ）の協調動作をホストし、可能とする、少なくとも１つのコンピュータデバイスを含み、前記少なくとも１つのコンピュータデバイスはまた、医用画像の区分と、異なるＣＮＮにより提供された部分的セグメンテーション結果のマージとを実施するプログラムをホストし、走らせることを特徴とする、システムを包含する。
【００３９】
もちろん、本発明は、添付の図面において説明および表現されている２つの実施形態に限定されるものではない。本発明の保護範囲を超えることなく、特に様々な要素の構成の観点からの、または技術的均等物の置き換えによる変形が、依然可能である。
【図１】
2021511575.tif 000003
【図２】
2021511575.tif 000004
【図３Ａ】
2021511575.tif 000005
【図３Ｂ】
2021511575.tif 000006
【図４】
2021511575.tif 000007
【図５】
2021511575.tif 000008
【図６】
2021511575.tif 000009
【図７】
2021511575.tif 000010
【図８】
2021511575.tif 000011
【図９】
2021511575.tif 000012
【図１０】
2021511575.tif 000013
【手続補正書】
【提出日】令和2年2月4日(2020.2.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ａ×ｂ×ｎのディメンションの、すなわち各々がａ×ｂのディメンションのｎ個の異なる２Ｄ画像から構成される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法であって、方法が、３つのプロセスステップ、すなわち、
ａ／２  ×  ｂ／２  ×  ｎのディメンションの９つのサブ画像（１から９）を前記医用画像から抽出する、すなわち、９つの部分的にオーバーラップするａ／２  ×  ｂ／２のサブ画像を各２Ｄ画像から抽出することにある第１のステップ、
９つの畳み込みニューラルネットワーク（ＣＮＮ）が、各２Ｄ画像のこれら９つのサブ画像（１から９）の各々を解析し、セグメント化することにある第２のステップ、
ｎ個の異なる２Ｄ画像の９つの解析およびセグメンテーションの結果を、したがってａ／２  ×  ｂ／２  ×  ｎのディメンションを有する９つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、ａ×ｂ×ｎのディメンションを有する単一の画像に結合することにある第３のステップ
を主に含み、
各々ａ／２  ×  ｂ／２のディメンションの９つのサブ画像（１から９）が、ａ×ｂのディメンションの２Ｄ画像から以下のように、すなわち、
−  ２Ｄ画像を、２対の対向する辺の仲介により、４つのサブ画像（１から４）に対称的に区分すること、
−  ２Ｄ画像の２つの方向の各々に従って、１つの辺を間に共有し、前記画像の垂直な辺に向かって中心に配置された２つのサブ画像（５、６および７、８）を形成すること、
−  ２Ｄ画像に向かって中心に配置され、前記画像の辺に平行な辺を有するサブ画像（９）を形成すること
により抽出されることを特徴とする、自動セグメンテーション方法。
【請求項２】
９つのサブ画像（１から９）のオーバーラップが、考慮される最初の２Ｄ画像の全面を共にカバーする、各々ａ／４  ×  ｂ／４のディメンションの１６個の断片的な相補的領域（ＡからＰ）を生成するように構成されることを特徴とする、請求項１に記載の自動セグメンテーション方法。
【請求項３】
自動セグメンテーション方法が、
−  ａ×ｂ×Ｎ（ｉ）のディメンションのＫ個のセグメント化された医用画像から知識データベースを構築すること、
−  ａ／２  ×  ｂ／２  ×  Ｎ（ｉ）のディメンションの画像の９つのサブセットを、知識データベースの各画像から作成すること、
−  ａ／２  ×  ｂ／２  ×  Ｎ（ｉ）のディメンションの９つのサブ画像のセグメンテーション、および９つのサブ画像からの各サブセットの画像作成を可能とし、次いでこの選択をＸおよびＹ方向に１からＴボクセル分シフトさせ、したがって、各々が同じディメンションを有する４から（Ｔ＋１）２個の画像の９つのサブセットを提供すること
にあり、Ｎ（ｉ）は画像ｉのＺに沿ったスライスの数であり、ｉは１からＫまで変化することを特徴とする、請求項１または２に記載の自動セグメンテーション方法。
【請求項４】
自動セグメンテーション方法が、９つの２Ｄ  ＣＮＮを用いて、
−  １つの専用の２Ｄ  ＣＮＮを用いて、およびａ／２  ×  ｂ／２のディメンションを有するｎ個のスライスを順次セグメント化することにより、９つのサブ画像（１から９）の各々を解析することと、次いで、
−  全ての９つのＣＮＮにより提供された結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にあることを特徴とする、請求項１から３のいずれか一項に記載の自動セグメンテーション方法。
【請求項５】
自動セグメンテーション方法が、９つの３Ｄ  ＣＮＮを用いて、
−  １つの専用の３Ｄ  ＣＮＮを用いて、およびａ／２  ×  ｂ／２のディメンションを有するＬ個の連続するスライスの全てのサブセットを順次セグメント化することにより、９つのサブ画像の各々を解析することと、次いで、
−  全ての９つのＣＮＮにより提供された解析結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にあり、Ｌは２からｎまでの範囲を取り、ａ／２  ×  ｂ／２のディメンションを有する３Ｄサブ画像のサブセットの数は、１とｎ−Ｌ＋１の間で変化することを特徴とする、請求項１から３のいずれか一項に記載の自動セグメンテーション方法。
【請求項６】
請求項１から５のいずれか一項に記載の方法を実行することにより医用画像の自動セグメンテーションを行うためのシステムであって、知識データベースからの情報を用いることにより、医用画像の少なくとも一部のセグメンテーションを行うように適合された９つの畳み込みニューラルネットワーク（ＣＮＮ）の協調動作をホストし、可能とする、少なくとも１つのコンピュータデバイスを含み、前記少なくとも１つのコンピュータデバイスはまた、医用画像の区分と、異なるＣＮＮにより提供された部分的セグメンテーション結果のマージとを実施するプログラムをホストし、走らせることを特徴とする、システム。
【国際調査報告】
2021511575.tif 000014
2021511575.tif 000015
2021511575.tif 000016