(57)【要約】  本発明は、画像内のオブジェクトをセグメント化するためのセグメンテーションシステムに関する。セグメンテーションシステムは、画像内に表面要素を含む表面モデルを配置し、各表面要素について、画像のそれぞれのサブボリューム６を決定し、決定されたサブボリュームに基づいて、ニューラルネットワーク５１を用いて、表面要素と画像内のオブジェクトの境界との間のそれぞれの距離を決定するように構成される。次に、オブジェクトをセグメント化するために、表面モデルが、決定された距離に従って適合される。画像のサブボリューム及びニューラルネットワークに基づくこのセグメンテーションは、例えば、それぞれの表面要素に直交する線に沿った候補点のサンプリング、及び候補点がオブジェクトの境界を示す尤度の決定に依拠する既知の技法と比較して改善される。
2021504830.tif 000002
【特許請求の範囲】
【請求項１】
画像内のオブジェクトをセグメント化するためのセグメンテーションシステムであって、前記セグメンテーションシステムは、
オブジェクトの画像を提供するための画像提供ユニットであって、前記画像は画像ボリュームを表す、画像提供ユニットと、
前記オブジェクトの表面に適合されるように変形可能な表面モデルを提供するためのモデル提供ユニットであって、前記表面モデルは、メッシュ表面のそれぞれの部分を定義する表面要素を含む、モデル提供ユニットと、
前記画像内に前記表面モデルを配置し、前記表面モデルの各表面要素について、前記画像のそれぞれのサブボリュームがそれぞれの表面要素と重なるように前記それぞれのサブボリュームを決定するためのサブボリューム決定ユニットと、
前記決定されたサブボリュームに基づいて、前記表面モデルの表面要素と、前記画像内の前記オブジェクトの境界との間の距離を決定する畳み込みニューラルネットワークを提供するためのニューラルネットワーク提供ユニットと、
前記決定されたサブボリュームに基づいて、前記提供されたニューラルネットワークを用いることによって、前記提供され配置された表面モデルの前記表面要素と、前記提供された画像内の前記オブジェクトの前記境界との間のそれぞれの距離を決定するための距離決定ユニットと、
前記決定された距離に従って、前記表面モデルを、前記画像内の前記オブジェクトに適合させるためのモデル適合ユニットと、
を備える、セグメンテーションシステム。
【請求項２】
前記ニューラルネットワーク提供ユニットは、前記サブボリュームに基づいて前記表面モデルの表面要素のための信頼値を決定する更なる畳み込みニューラルネットワークを提供し、それぞれの表面要素の信頼値は、前記それぞれの表面要素について決定された前記距離と、前記それぞれの表面要素の前記画像内の前記オブジェクトの前記境界に対する実際の距離とのずれの推定を示し、前記セグメンテーションシステムは、前記決定されたサブボリュームに基づいて、前記提供された更なる畳み込みニューラルネットワークを用いることによって、前記表面モデルの前記表面要素のための信頼値を決定するための信頼値決定ユニットを更に備える、請求項１に記載のセグメンテーションシステム。
【請求項３】
前記モデル適合ユニットは、前記決定された距離に従って、前記それぞれの表面要素について決定された前記それぞれの信頼値に基づいて、前記表面モデルを適合させる、請求項２に記載のセグメンテーションシステム。
【請求項４】
前記モデル提供ユニットは、各表面要素が、前記それぞれの表面要素の法線と位置合わせされた方向を含むように前記表面モデルを提供し、前記距離決定ユニットは、前記それぞれの表面要素の前記方向における前記それぞれの距離を決定する、請求項１に記載のセグメンテーションシステム。
【請求項５】
前記モデル提供ユニットは、各表面要素が、前記それぞれの表面要素の法線と位置合わせされた方向を含むように前記表面モデルを提供し、前記サブボリューム決定ユニットは、前記サブボリュームが前記それぞれの表面要素の方向において細長くなるように前記サブボリュームを決定する、請求項１に記載のセグメンテーションシステム。
【請求項６】
前記サブボリューム決定ユニットは、前記サブボリュームが互いに同じ寸法及び同じ形状を有するように前記サブボリュームを決定する、請求項１に記載のセグメンテーションシステム。
【請求項７】
前記画像提供ユニットは、各画像要素が２つ以上の画像値を含むように前記画像を提供し、前記２つ以上の画像値は、異なる撮像様式から、又は同じ撮像様式の異なる画像取得プロトコルから取得される、請求項１に記載のセグメンテーションシステム。
【請求項８】
前記サブボリューム決定ユニットは、円筒形状のサブボリュームを決定する、請求項１に記載のセグメンテーションシステム。
【請求項９】
前記サブボリューム決定ユニットは、前記画像をサンプリングすることによって前記サブボリュームを決定し、前記画像は、サンプリングの度合いが、前記それぞれのサブボリュームの中心からの距離に依存するようにサンプリングされる、請求項１に記載のセグメンテーションシステム。
【請求項１０】
ニューラルネットワークをトレーニングするためのトレーニングシステムであって、前記トレーニングシステムは、
畳み込みニューラルネットワークを提供するためのニューラルネットワーク提供ユニットと、
トレーニングオブジェクトを示すトレーニング画像を提供し、メッシュ表面のそれぞれの部分を定義する表面要素を含む変形可能なトレーニング表面モデルを提供するためのトレーニングデータ提供ユニットであって、前記表面モデルは前記トレーニングオブジェクトに適合されている、トレーニングデータ提供ユニットと、
前記提供されたニューラルネットワークをトレーニングするためのトレーニングユニットであって、前記トレーニングユニットは、
ａ）前記適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定し、
ｂ）前記変更されたトレーニング表面モデルの前記表面要素のための前記トレーニング画像のサブボリュームを決定し、それぞれの表面要素について、前記それぞれの表面要素に重なるサブボリュームが決定され、
ｃ）前記変更されたトレーニング表面モデルの前記表面要素の実際の距離を決定し、それぞれの表面要素について、前記トレーニング画像内の前記トレーニングオブジェクトに適合された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定され、
ｄ）前記決定されたサブボリューム及び前記決定された実際の距離に基づいて、前記提供された畳み込みニューラルネットワークをトレーニングする、前記トレーニングユニットと、
を備える、トレーニングシステム。
【請求項１１】
前記トレーニングユニットは、
前記決定された対応するサブボリューム及び前記トレーニングされた畳み込みニューラルネットワークに基づいて、前記変更されたトレーニング表面モデルの前記表面要素のためのシミュレートされた距離を決定し、
前記変更されたトレーニング表面モデルの前記表面要素の信頼値を決定し、それぞれの表面要素について、前記それぞれのシミュレートされた距離と前記それぞれの実際の距離とのずれに基づいてそれぞれの信頼値が決定され、
前記ニューラルネットワーク提供ユニットは、前記サブボリュームに基づいてオブジェクトの表面モデルの表面要素の信頼値を決定するための更なる畳み込みニューラルネットワークを提供し、前記トレーニングユニットは、前記トレーニング表面モデルの前記表面要素について決定された前記トレーニング画像の前記信頼値及び前記サブボリュームに基づいて、前記更なる畳み込みニューラルネットワークをトレーニングする、請求項１０に記載のトレーニングシステム。
【請求項１２】
画像内のオブジェクトをセグメント化するためのセグメンテーション方法であって、前記セグメンテーション方法は、
画像提供ユニットによって、オブジェクトの画像を提供するステップであって、前記画像は画像ボリュームを表す、ステップと、
モデル提供ユニットによって、前記オブジェクトの表面に適合されるように変形可能な表面モデルを提供するステップであって、前記表面モデルは、メッシュ表面のそれぞれの部分を定義する表面要素を含む、ステップと、
サブボリューム決定ユニットによって、前記画像内に前記表面モデルを配置し、前記表面モデルの各表面要素について、前記画像のそれぞれのサブボリュームが前記それぞれの表面要素と重なるように前記それぞれのサブボリュームを決定するステップと、
ニューラルネットワーク提供ユニットによって、前記決定されたサブボリュームに基づいて、前記表面モデルの表面要素と、前記画像内の前記オブジェクトの境界との間の距離を決定する畳み込みニューラルネットワークを提供するステップと、
距離決定ユニットによって、前記決定されたサブボリュームに基づいて、前記提供されたニューラルネットワークを用いることによって、前記提供され配置された表面モデルの前記表面要素と、前記提供された画像内の前記オブジェクトの前記境界との間のそれぞれの距離を決定するステップと、
モデル適合ユニットによって、前記決定された距離に従って前記画像内の前記オブジェクトに対し前記表面モデルを適合させるステップと、
を有する、セグメンテーション方法。
【請求項１３】
ニューラルネットワークをトレーニングするためのトレーニング方法であって、前記トレーニング方法は、
ニューラルネットワーク提供ユニットによって畳み込みニューラルネットワークを提供するステップと、
トレーニングデータ提供ユニットによって、トレーニングオブジェクトを示すトレーニング画像を提供し、メッシュ表面のそれぞれの部分を定義する表面要素を含む変形可能なトレーニング表面モデルを提供するステップであって、前記表面モデルは前記トレーニングオブジェクトに適合されている、ステップと、
トレーニングユニットによって、前記提供されたニューラルネットワークをトレーニングするステップと、
を有し、前記トレーニングは、
ａ）前記適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定するステップと、
ｂ）前記変更されたトレーニング表面モデルの前記表面要素のための前記トレーニング画像のサブボリュームを決定するステップであって、それぞれの表面要素について、前記それぞれの表面要素に重なるサブボリュームが決定される、ステップと
ｃ）前記変更されたトレーニング表面モデルの前記表面要素の実際の距離を決定するステップであって、それぞれの表面要素について、前記トレーニング画像内の前記トレーニングオブジェクトに適合された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定される、ステップと
ｄ）前記決定されたサブボリューム及び前記決定された実際の距離に基づいて、前記提供された畳み込みニューラルネットワークをトレーニングするステップと、
を有する、トレーニング方法。
【請求項１４】
画像内のオブジェクトをセグメント化するためのセグメンテーションコンピュータプログラムであって、前記セグメンテーションコンピュータプログラムは、前記セグメンテーションコンピュータプログラムが請求項１に記載のセグメンテーションシステムを制御するコンピュータ上で実行されると、前記セグメンテーションシステムに、請求項１２に記載のセグメンテーション方法のステップを実行させるためのプログラムコード手段を備える、セグメンテーションコンピュータプログラム。
【請求項１５】
ニューラルネットワークをトレーニングするためのトレーニングコンピュータプログラムであって、前記トレーニングコンピュータプログラムは、前記トレーニングコンピュータプログラムが請求項１０に記載のトレーニングシステムを制御するコンピュータ上で実行されると、前記トレーニングシステムに、請求項１３に記載のトレーニング方法のステップを実行させるためのプログラムコード手段を備える、トレーニングコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内のオブジェクトをセグメント化するためのセグメンテーションシステム、方法及びコンピュータプログラムに関する。本発明は更に、ニューラルネットワークをトレーニングするためのトレーニングシステム、方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
Ｏ．  Ｅｃａｂｅｒｔ他による論文「Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｔｈｅ  ｈｅａｒｔ  ａｎｄ  ｇｒｅａｔ  ｖｅｓｓｅｌｓ  ｉｎ  ＣＴ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ａ  ｍｏｄｅｌ−ｂａｓｅｄ  ａｄａｐｔａｔｉｏｎ  ｆｒａｍｅｗｏｒｋ」Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ，  ｖｏｌｕｍｅ  １５，８６３〜８７６頁（２０１１）は、画像内の心臓をセグメント化するためのモデルベースのセグメンテーション技法を開示している。モデルベースのセグメンテーションは、画像内に心臓の表面モデルを配置することを含む。表面モデルは三角形の表面要素を含む。表面要素ごとに、それぞれの表面要素に垂直な線に沿って候補点がサンプリングされ、これらの候補点の各々について、その候補点が心臓の境界に対応する尤度が求められ、次に、最も高い尤度を有する候補点が選択され、それに応じてそれぞれの表面要素の位置が適合される。最も高い尤度を有する候補点の選択のために、Ｊ．  Ｐｅｔｅｒｓ他による論文「Ｏｐｔｉｍｉｚｉｎｇ  ｂｏｕｎｄａｒｙ  ｄｅｔｅｃｔｉｏｎ  ｖｉａ  Ｓｉｍｕｌａｔｅｄ  Ｓｅａｒｃｈ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｍｕｌｔｉ−ｍｏｄａｌ  ｈｅａｒｔ  ｓｅｇｍｅｎｔａｔｉｏｎ」Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ，  ｖｏｌｕｍｅ  １４，７０〜８４頁（２０１０）に開示されている基準のような三角形に固有の受け入れ基準を用いることができる。このモデルベースのセグメンテーションは、必ずしも常に良好なセグメンテーション結果をもたらすとは限らない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、画像内のオブジェクトの改善されたセグメンテーションを可能にするセグメンテーションシステム、方法及びコンピュータプログラムを提供することである。本発明の更なる目的は、改善されたセグメンテーションを提供するために用いることができる、ニューラルネットワークをトレーニングするためのトレーニングシステム、方法及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【０００４】
本発明の第１の態様において、画像内のオブジェクトをセグメント化するためのセグメンテーションシステムが提示され、セグメンテーションシステムは、
−  オブジェクトの画像を提供するための画像提供ユニットであって、画像は画像ボリュームを表す、画像提供ユニットと、
−オブジェクトの表面に適合されるように変形可能な表面モデルを提供するためのモデル提供ユニットであって、表面モデルは、メッシュ表面のそれぞれの部分を定義する表面要素を含む、モデル提供ユニットと、
−  画像内に表面モデルを配置し、表面モデルの各表面要素について、画像のそれぞれのサブボリュームがそれぞれの表面要素と重なるようにそれぞれのサブボリュームを決定するためのサブボリューム決定ユニットと、
−  決定されたサブボリュームに基づいて、表面モデルの表面要素と、画像内のオブジェクトの境界との間の距離を決定するように適合された畳み込みニューラルネットワークを提供するためのニューラルネットワーク提供ユニットと、
−決定されたサブボリュームに基づいて、提供されたニューラルネットワークを用いることによって、提供され配置された表面モデルの表面要素と、提供された画像内のオブジェクトの境界との間のそれぞれの距離を決定するための距離決定ユニットと、
−決定された距離に従って、表面モデルを、画像内のオブジェクトに適合させるためのモデル適合ユニットと、
を備える。
【０００５】
それぞれの表面要素について、それぞれのサブボリュームを決定することにより、表面要素と画像内のオブジェクトの境界との間の距離を決定するためにサブボリュームを畳み込みニューラルネットワークと共に用いることにより、そして次にこれらの距離を用いて表面モデルを適合させることにより、画像内のオブジェクトのセグメンテーションは、例えば、それぞれの表面要素に直交する線に沿った候補点のサンプリング、及び候補点がオブジェクトの境界を示す尤度の決定に依拠する既知の技法と比較して改善される。
【０００６】
画像提供ユニットは、オブジェクトの画像が記憶され、そこから画像を取り出して提供することができる記憶ユニットとすることができる。画像提供ユニットは、オブジェクトの画像を受信し、受信した画像を提供するための受信ユニットとすることもできる。更に、画像提供ユニットは、オブジェクトの未加工データに基づいて画像を決定するように適合された画像生成ユニットとすることができる。画像提供ユニットは、未加工データを取得し、未加工データに基づいて画像を決定する、特に再構成するように適合された撮像システム全体とすることもできる。
【０００７】
実施形態において、ニューラルネットワーク提供ユニットは、サブボリュームに基づいて表面モデルの表面要素のための信頼値を決定するように適合された更なる畳み込みニューラルネットワークを提供するように適合され、それぞれの表面要素の信頼値は、それぞれの表面要素について決定された距離と、それぞれの表面要素の画像内のオブジェクトの境界に対する実際の距離とのずれの推定を示し、セグメンテーションシステムは、決定されたサブボリュームに基づいて、提供された更なるニューラルネットワークを用いることによって、表面モデルの表面要素のための信頼値を決定するための信頼値決定ユニットを更に備える。特に、モデル適合ユニットは、決定された距離に従って、それぞれの表面要素について決定されたそれぞれの信頼値に基づいて、表面モデルを適合させるように適合される。例えば、モデル適合ユニットは、比較的大きな信頼値が決定されたそれぞれの表面要素について決定された距離が、比較的小さな信頼値が決定されたそれぞれの表面要素について決定された距離よりも強力に適合プロセスに寄与することを可能にするように適合され得る。したがって、それぞれの表面要素について決定された距離の適合プロセスへの寄与度合いは、それぞれの表面要素について決定された信頼値に依存する。これは、画像内のオブジェクトの更に改善されたセグメンテーションにつながり得る。
【０００８】
実施形態において、ニューラルネットワーク提供ユニットは、異なる種類のオブジェクトを表す異なる表面モデルのために、及び／又は同じ表面モデルの表面要素の異なるグループのために用いられるように適合された、いくつかの畳み込みニューラルネットワークを含み、ニューラルネットワーク提供ユニットは、オブジェクトを表す表面モデルの全ての表面要素について又はオブジェクトを表す表面モデルの表面要素のグループについて距離を決定するために、対応するニューラルネットワークを提供するように適合される。このため、同じオブジェクトの異なる部分について、オブジェクトをセグメント化するために異なるニューラルネットワークが用いられ得る。更に、それぞれのオブジェクトをセグメント化するために、セグメント化されるオブジェクトが属するオブジェクトのクラスに特に適合されたニューラルネットワークが用いられ得る。これは、それぞれの表面要素と、画像内のオブジェクトの境界との間の距離の更に改善された決定につながり、このため最終的には、画像内のオブジェクトの更に改善されたセグメンテーションにつながり得る。
【０００９】
モデル提供ユニットは、好ましくは（ｐｒｅｆｅｒｅｎｔｉａｌｌｙ）、各表面要素が方向を含むように表面モデルを提供するように適合され、距離決定ユニットは、それぞれの表面要素の方向においてそれぞれの距離を決定するように適合される。更に、好ましくは、モデル提供ユニットは、三角形メッシュを表面モデルとして提供するように適合され、表面要素は三角形である。しかしながら、表面モデルは別のメッシュとすることもでき、表面要素は、三角形でない別の形状を有することができる。オブジェクトは、好ましくは、ヒト又は動物の臓器又は別の部分のような解剖学的オブジェクトである。しかしながら、オブジェクトは技術的オブジェクトとすることもできる。
【００１０】
特に、モデル提供ユニットは、各表面要素について、それぞれの３次元直交座標系が定義されるように表面モデルを提供し、座標系の１つの軸は、それぞれの表面要素の法線と一致する。法線と位置合わせされた軸の方向は、任意に定義され得、それぞれの表面要素の方向を定義する。例えば、表面要素が第１の頂点、第２の頂点及び第３の頂点を有する三角形である場合、軸の方向、すなわち向きは、ａ）第２の頂点に向くベクトルから第１の頂点に向くベクトルを減算したものと、ｂ）第３の頂点に向くベクトルから第１の頂点に向くベクトルを減算したものとのクロス積によって定義され得る。
【００１１】
表面要素は、好ましくは平坦であり、２つの更なる軸が、好ましくはそれぞれの表面要素のそれぞれの平面内に位置する。例えば、座標系の中心は、それぞれの表面要素の中心と一致することができ、第１の軸は法線と位置合わせされ、第２の軸はそれぞれの表面要素の平面内にあり、中心から表面要素の１つの頂点に向き、第３の軸は第１の軸及び第２の軸に対し直交することができる。
【００１２】
サブボリューム決定ユニットは、好ましくは、それぞれの表面要素の座標系に対し定義されるようにサブボリュームを決定するように適合される。例えば、それぞれのサブボリュームは、３つの軸を有する矩形とすることができ、これらの軸のうちの１つは、それぞれの表面要素の法線と位置合わせされたそれぞれの表面要素の座標系の第１の軸と一致することができる。又は、別の例では、それぞれのサブボリュームは円筒形とすることができ、円筒形サブボリュームの長手方向軸は、それぞれの表面要素の座標系の第１の軸と一致することができる。それぞれのサブボリュームは、好ましくは、それぞれの表面要素の座標系に対し定義されるため、サブボリュームは、好ましくは、画像内のオブジェクトの姿勢及び位置と無関係である。これに応じて、ニューラルネットワークに対する入力も、好ましくは画像内のオブジェクトの姿勢及び位置と無関係であり、それによって、画像内のオブジェクトのニューラルネットワークベースのセグメンテーションが単純化される。
【００１３】
距離決定ユニットは、好ましくは、符号付き距離を決定するように適合され、符号は、それぞれの表面要素の法線と位置合わせされた、それぞれの表面要素の座標系の軸に対する符号である。符号は、提供された画像内で表面要素に対するオブジェクトの境界がどの方向に存在するか、すなわち、例えば、境界がそれぞれの表面要素の「上」にあるか若しくは「下」にあるか、又は換言すれば、提供された画像内でオブジェクトの境界に表面モデルを適合させるために、それぞれの表面要素がモデル適合ユニットによってどの方向に動かされる必要があるかを定義する。例えば、それぞれの符号が正である場合、それぞれの表面要素は、それぞれの表面要素に対し垂直な座標系の軸の方向に動かされる必要があり、それぞれの符号が負である場合、それぞれの表面要素は、それぞれの表面要素に対し垂直な座標系の軸の方向と反対の方向に動かされる必要があることを定義することができる。
【００１４】
実施形態において、サブボリューム決定ユニットは、サブボリュームが細長くなるようにサブボリュームを決定するように適合される。更に、モデル提供ユニットは、上記で説明したように、各表面要素が方向を含むように表面モデルを提供するように適合され得、サブボリューム決定ユニットは、サブボリュームがそれぞれの表面要素の方向において細長くなるようにサブボリュームを決定するように適合される。特に、対応する伸長方向は、好ましくは、法線と位置合わせされたそれぞれの表面要素の座標系の第１の軸と位置合わせされる。しかしながら、別の実施形態では、サブボリュームは非細長の形状でなくてもよい。例えば、それらは立方体又は球体であり得る。更に、サブボリューム決定ユニットは、サブボリュームが同じ寸法及び同じ形状を有するようにサブボリュームを決定するように適合されることが好ましい。同じ寸法及び同じ形状を用いることによって、計算労力を低減することができる。
【００１５】
実施形態において、ニューラルネットワーク提供ユニットは、畳み込みニューラルネットワークが画像のサブボリュームに基づいてオブジェクトの画像に関連する更なる量を更に決定するように適合されるように、畳み込みニューラルネットワークを提供するように適合され、距離決定ユニットも、決定されたサブボリュームに基づいて、提供されたニューラルネットワークを用いることによって、更なる量を決定するように適合される。特に、ニューラルネットワーク提供ユニット及び距離決定ユニットは、更なる量が、画像内のオブジェクトの境界の法線を含むように適合され得る。
【００１６】
モデル適合ユニットは、決定された距離、及び任意選択で、画像内のオブジェクトの境界の法線を考慮することによって表面モデルを適合させるように適合される。特に、モデル適合ユニットは、そのコスト関数において、決定された距離によって定義されたそれぞれの標的点へそれぞれの表面要素を引き付け（attract）ようとする項を有する適合アルゴリズムを用いるように適合され得る。例えば、それぞれの標的点は、それぞれの距離、及びそれぞれの表面要素の法線と位置合わせされた座標系のそれぞれの軸によって定義することができ、標的点は、それぞれの表面要素に対するそれぞれの距離を有する、それぞれの軸上の点である。更なる実施形態において、モデル適合ユニットは、それぞれの表面要素を標的点に引き付けるのではなく、接平面を近似する標的平面に引き付けようとする項を有するコスト関数を用いるように適合され、標的平面は、好ましくは、オブジェクトの境界の対応する法線（すなわち、法線は標的平面に対し垂直である）及びそれぞれの距離によって定義される。標的点ではなく標的表面へのこの引き付けにより、それぞれの表面要素がオブジェクトの境界上に「スライド」することが可能になり、これにより、画像内のオブジェクトへの表面モデルの改善された適合につながり得る。一般的に、モデル適合ユニットは、好ましくは、異なる項を有するコスト関数を用いるように適合され、適合プロセスは、コスト関数を最小限にすることによって実行される。コスト関数は、決定された距離に依存する項を含み、この項は、表面要素と境界との間の距離が低減される場合に低減される。この項は、例えば、それぞれの表面要素を、それぞれの決定された距離によって定義される標的点、又はそれぞれの定義された距離及び法線によって定義される標的平面に引き付けようとする。更に、モデル適合ユニットは、コスト関数において、それぞれの表面要素が接平面を近似する標的平面に平行となるようにそれぞれの表面要素を向けようとする項を有する適合アルゴリズムを用いるように適合され得る。コスト関数は、表面モデルの特定の形状を保持しようとする項のような更なる項を含むことができる。コスト関数の項は、「エネルギー」ともみなされ得、すなわち、これらの項のうちの１つは、内部エネルギーであるものとみなされ得、これらの項のうちの別のものは、外部エネルギーであるものとみなされ得る。表面モデルの適合に関する更なる詳細について、上述したＯ．  Ｅｃａｂｅｒｔ他及びＪ．  Ｐｅｔｅｒｓ他による論文において開示されているアルゴリズムのような既知の適合アルゴリズムが参照される。
【００１７】
実施形態において、ニューラルネットワーク提供ユニットは、表面モデルの全ての表面要素についてオブジェクトの境界に対する距離を決定するように適合された単一の畳み込みニューラルネットワークを提供するように適合され、距離決定ユニットは、決定されたサブボリュームに基づいて、提供された単一のニューラルネットワークを用いることによって、表面モデルの表面要素と画像内のオブジェクトの境界との間のそれぞれの距離を決定するように適合される。更に、実施形態において、画像提供ユニットは、各画像要素が２つ以上の画像値を含むように画像を提供するように適合される。特に、画像提供ユニットは、同じ画像要素の画像値が、異なる撮像様式、又は同じ撮像様式の異なる用いられる画像取得プロトコルに対応するよう画像を提供するように適合され得る。単一の画像要素、すなわち、例えば単一のボクセルが、２つ以上の画像値を含む場合、各画像要素の情報は、単一の画像要素について単一の画像値のみを有することと比較して増大する。画像によって提供されるこの増大した情報は、特に、同じ画像要素の異なる画像値が、同じオブジェクトの異なる態様を多くの場合に強調する異なる撮像様式に対応する場合、表面モデルの表面要素と、画像内のオブジェクトの境界との間の距離の更に改善された決定につながり得る。画像を提供し、単一の画像要素がいくつかの画像値を有する場合、ニューラルネットワークは、好ましくは、単一の画像要素内にいくつかの画像値を有する画像も用いてトレーニングされている。
【００１８】
サブボリューム決定ユニットは、好ましくは、画像をサンプリングすることによってサブボリュームを決定するように適合される。実施形態において、画像は、サンプリングの度合いが、それぞれのサブボリュームの中心からの距離に依存するようにサンプリングされる。特に、画像は、サンプリングの度合いが、それぞれのサブボリュームの中心からの距離の増大と共に減少するようにサンプリングされる。例えば、サブボリュームが矩形である場合、画像は、サンプリングの度合いが、それぞれの表面要素に平行な方向においてそれぞれのサブボリュームの中心におけるそれぞれの表面要素の法線からの距離の増大と共に減少するようにサンプリングされ得る。
【００１９】
サブボリュームは、好ましくは矩形である。しかしながら、実施形態において、サブボリュームは円筒形状であり得る。特に、サブボリューム決定ユニットは、円筒のリング形状部に沿ったサンプリングの度合いがリングの半径に依存するように画像をサンプリングすることによってサブボリュームを決定するように適合され得る。例えば、サンプリングレートは、それぞれの表面要素の中心に対する距離の増大と共に低減され得、結果として得られる低減された全体サンプリングレートは、画像内のオブジェクトをセグメント化するのに必要な計算労力の低減につながり得る。サンプリングレートの低減は、サンプル間のギャップの増大に対応する。実施形態において、直径が増大すると共に、自然にサンプル間のギャップも増大するように、固定数のサンプルが全てのリングについて用いられ、ここで、ギャップの増大は、円筒の中心線からのサンプルの距離に直接関係する。代替的に、サブボリュームが矩形である場合、常に同じ量のサンプル点をサンプリングしながら、それぞれの表面要素に対し垂直な平面においてサイズが増大する矩形、特に正方形が用いられ得る。好ましくは、異なる表面要素について、異なるサブボリュームを決定するために同じサンプリングパターンが用いられ、このサンプリングパターンは、六角形パターン又は別のパターンであり得る。サブボリュームが円筒形である場合、サンプリングパターンは、２つ以上のリングによって定義され得、近傍リング上のサンプルは、半径に直交する方向において互いにシフトされる。
【００２０】
実施形態において、セグメンテーションシステムは、トレーニングオブジェクトを示すトレーニング画像を提供し、いくつかの表面要素を含み、トレーニングオブジェクトに適合された、変形可能なトレーニング表面モデルを提供するためのトレーニングデータ提供ユニットと、トレーニングユニットであって、ａ）適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定し、ｂ）変更されたトレーニング表面モデルの表面要素のためのトレーニング画像のサブボリュームを決定し、それぞれの表面要素について、それぞれの表面要素に重なるサブボリュームが決定され、ｃ）変更されたトレーニング表面モデルの表面要素の距離を決定し、それぞれの表面要素について、トレーニング画像内のトレーニングオブジェクトに適合された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定され、ｄ）決定されたサブボリューム及び決定された距離に基づいて、提供された畳み込みニューラルネットワークをトレーニングする、トレーニングユニットとを更に備える。このため、セグメンテーションシステムは、オブジェクトをセグメント化するように適合され得るのみでなく、セグメンテーション手順のために新たな又は既にトレーニングされた畳み込みニューラルネットワークをトレーニングするように適合され得る。
【００２１】
本発明の更なる態様において、ニューラルネットワークをトレーニングするためのトレーニングシステムが提示され、トレーニングシステムは、
−  畳み込みニューラルネットワークを提供するためのニューラルネットワーク提供ユニットと、
−  トレーニングオブジェクトを示すトレーニング画像を提供し、いくつかの表面要素を含み、トレーニングオブジェクトに適合された、変形可能なトレーニング表面モデルを提供するためのトレーニングデータ提供ユニットと、
−  提供されたニューラルネットワークをトレーニングするためのトレーニングユニットであって、トレーニングユニットは、
ａ）適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定し、
ｂ）変更されたトレーニング表面モデルの表面要素のためのトレーニング画像のサブボリュームを決定し、それぞれの表面要素について、それぞれの表面要素に重なるサブボリュームが決定され、
ｃ）変更されたトレーニング表面モデルの表面要素の実際の距離を決定し、それぞれの表面要素について、トレーニング画像内のトレーニングオブジェクトに適合された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定され、
ｄ）決定されたサブボリューム及び決定された実際の距離に基づいて、提供された畳み込みニューラルネットワークをトレーニングする、トレーニングユニットと、
を備える。
【００２２】
トレーニングデータ提供ユニットは、好ましくは、トレーニング画像及び適合されたトレーニング表面モデルが記憶され、そこからトレーニング画像及び適合されたトレーニング表面モデルを提供するために取り出すことができる記憶ユニットである。しかしながら、トレーニングデータ提供ユニットは、別のユニットからトレーニング画像及び適合されたトレーニング表面モデルを受信し、受信したトレーニング画像及び適合されたトレーニング表面モデルを提供するための受信ユニットとすることもできる。
【００２３】
好ましくは、トレーニングユニットは、表面要素を変更するために、表面要素を変位し、かつ／又は傾けるように適合される。このようにして、トレーニングのために用いることができるいくつかの変更されたトレーニング表面モデルを比較的単純な方式で決定することができる。特に、所望に応じた広さでニューラルネットワークをトレーニングするために、トレーニングオブジェクトの境界に対する既知の距離を有する、無制限の量の変更されたトレーニング表面モデルが、トレーニング手順のためにグランドトゥルースとして生成され得る。これは、このニューラルネットワークが画像内のオブジェクトのセグメンテーションのために用いられる場合、非常に良好にトレーニングされたニューラルネットワークを導き、よって、非常に厳密なセグメンテーションにつながり得る。
【００２４】
実施形態において、トレーニングユニットは、ａ）決定された対応するサブボリューム及びトレーニングされた畳み込みニューラルネットワークに基づいて、変更されたトレーニング表面モデルの表面要素のためのシミュレートされた距離を決定し、ｂ）変更されたトレーニング表面モデルの表面要素のずれ値を決定するように適合され、それぞれの表面要素について、それぞれのシミュレートされた距離とそれぞれの実際の距離とのずれを示す、それぞれのずれ値が決定され、ニューラルネットワーク提供ユニットは、それぞれのずれ値がしきい値よりも高い表面要素のために、更なる畳み込みニューラルネットワークを提供するように適合され、トレーニングユニットは、サブボリュームと、それぞれのずれ値がしきい値よりも大きい表面要素について決定された実際の距離とに基づいて、提供された更なる畳み込みニューラルネットワークをトレーニングするように適合される。このため、同じオブジェクトの異なる部分について、異なるニューラルネットワークをトレーニングすることができ、それぞれのニューラルネットワークは、オブジェクトのそれぞれの部分について最適化される。それに応じてトレーニングされたニューラルネットワークが画像内のオブジェクトのセグメンテーションのために用いられる場合、セグメンテーションは更に改善することができる。
【００２５】
実施形態において、トレーニングユニットは、ａ）決定された対応するサブボリューム及びトレーニングされた畳み込みニューラルネットワークに基づいて、変更されたトレーニング表面モデルの表面要素のためのシミュレートされた距離を決定し、ｂ）変更されたトレーニング表面モデルの表面要素の信頼値を決定するように適合され、それぞれの表面要素について、それぞれのシミュレートされた距離とそれぞれの実際の距離とのずれに基づいて、それぞれの信頼値が決定され、ニューラルネットワーク提供ユニットは、サブボリュームに基づいて、オブジェクトの表面モデルの表面要素のための信頼値を決定するための更なる畳み込みニューラルネットワークを提供するように適合され、トレーニングユニットは、信頼値と、トレーニング表面モデルの表面要素について決定されたトレーニング画像のサブボリュームとに基づいて、更なる畳み込みニューラルネットワークをトレーニングするように適合される。このため、トレーニングの結果として、セグメンテーションプロセス中の信頼値を提供する信頼ニューラルネットワークを得ることもでき、これらの信頼値を用いて、画像内のオブジェクトに対するモデル表面の適合を更に改善することができ、このため、更に改善されたセグメンテーションにつながり得る。信頼値は、好ましくは、ずれが大きいほど信頼値が小さくなるように、ずれに依存する。
【００２６】
本発明の別の態様において、画像内のオブジェクトをセグメント化するためのセグメンテーション方法が提示される。セグメンテーション方法は、
−  画像提供ユニットによって、オブジェクトの画像を提供するステップであって、画像は画像ボリュームを表すことと、
−  モデル提供ユニットによって、オブジェクトの表面に適合されるように変形可能な表面モデルを提供することであって、表面モデルはいくつかの表面要素を含むことと、
−  サブボリューム決定ユニットによって、画像内に表面モデルを配置し、各表面要素について、画像のそれぞれのサブボリュームがそれぞれの表面要素と重なるように、それぞれのサブボリュームを決定することと、
−  ニューラルネットワーク提供ユニットによって、決定されたサブボリュームに基づいて、表面モデルの表面要素と、画像内のオブジェクトの境界との間の距離を決定するように適合された畳み込みニューラルネットワークを提供することと、
−  距離決定ユニットによって、決定されたサブボリュームに基づいて、提供されたニューラルネットワークを用いることによって、提供され配置された表面モデルの表面要素と、提供された画像内のオブジェクトの境界との間のそれぞれの距離を決定することと、
−  モデル適合ユニットによって、決定された距離に従って表面モデルを適合させることと、
を有する。
【００２７】
本発明の更なる態様において、ニューラルネットワークをトレーニングするためのトレーニング方法が提示され、トレーニング方法は、
−  ニューラルネットワーク提供ユニットによって畳み込みニューラルネットワークを提供することと、
−  トレーニングデータ提供ユニットによって、トレーニングオブジェクトを示すトレーニング画像を提供し、いくつかの表面要素を含み、トレーニングオブジェクトに適合された、変形可能なトレーニング表面モデルを提供することと、
−  トレーニングユニットによって、提供されたニューラルネットワークをトレーニングすることであって、トレーニングは、
ａ）適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定することと、
ｂ）変更されたトレーニング表面モデルの表面要素のためのトレーニング画像のサブボリュームを決定することであって、それぞれの表面要素について、それぞれの表面要素に重なるサブボリュームが決定されることと、
ｃ）変更されたトレーニング表面モデルの表面要素の実際の距離を決定することであって、それぞれの表面要素について、トレーニング画像内のトレーニングオブジェクトに適合された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定されることと
ｄ）決定されたサブボリューム及び決定された実際の距離に基づいて、提供された畳み込みニューラルネットワークをトレーニングすることと、
を有することと、
を有する。
【００２８】
本発明の更なる態様において、画像内のオブジェクトをセグメント化するためのセグメンテーションコンピュータプログラムが提示され、コンピュータプログラムは、コンピュータプログラムが請求項１に記載のセグメンテーションシステムを制御するコンピュータ上で実行されると、セグメンテーションシステムに、請求項１２に記載のセグメンテーション方法のステップを実行させるためのプログラムコード手段を備える。
【００２９】
本発明の別の態様において、ニューラルネットワークをトレーニングするためのトレーニングコンピュータプログラムが提示され、コンピュータプログラムは、コンピュータプログラムが請求項１０に記載のトレーニングシステムを制御するコンピュータ上で実行されると、トレーニングシステムに、請求項１３に記載のトレーニング方法のステップを実行させるためのプログラムコード手段を備える。
【００３０】
請求項１に記載のセグメンテーション、請求項１０に記載のトレーニングシステム、請求項１２に記載のセグメンテーション方法、請求項１３に記載のトレーニング方法、請求項１４に記載のセグメンテーションコンピュータプログラム、及び請求項１５に記載のトレーニングコンピュータプログラムは、特に、従属請求項において定義されるような、類似の及び／又は同一の好ましい実施形態を有することが理解されよう。
【００３１】
本発明の好ましい実施形態は、従属請求項又は上記の実施形態とそれぞれの独立請求項との任意の組合せとすることもできることが理解されよう。
【００３２】
本発明のこれらの態様及び他の態様は、以下で説明する実施形態から明らかとなり、それらを参照して解明されよう。
【図面の簡単な説明】
【００３３】
【図１】画像内のオブジェクトをセグメント化するためのセグメンテーションシステムの実施形態を概略的かつ例示的に示す。
【図２】画像内のオブジェクトのセグメンテーションを示す。
【図３】三角形表面要素、対応するサブボリューム、及び画像内で検出されるオブジェクトの境界に対する距離を概略的かつ例示的に示す。
【図４】セグメンテーションシステムによって用いられるニューラルネットワークの態様を示す。
【図５】ニューラルネットワークをトレーニングするためのトレーニングシステムを概略的かつ例示的に示す。
【図６】変更されたトレーニング表面モデルの生成を概略的かつ例示的に示す。
【図７】変更されたトレーニング表面モデルの生成を概略的かつ例示的に示す。
【図８】画像内のオブジェクトをセグメント化するためのセグメンテーション方法の実施形態を例示的に示すフローチャートを示す。
【図９】ニューラルネットワークをトレーニングするためのトレーニング方法の実施形態を例示的に示すフローチャートを示す。
【発明を実施するための形態】
【００３４】
図１は、画像内のオブジェクトをセグメント化するためのセグメンテーションシステムの実施形態を概略的かつ例示的に示す。この実施形態において、オブジェクトはヒトの頭部の大脳皮質であり、画像は磁気共鳴（ＭＲ）画像である。セグメンテーションシステムは、オブジェクトの画像を提供するための画像提供ユニット２を備え、この実施形態において、画像提供ユニット２は、大脳皮質のＭＲ画像が記憶され、記憶されたＭＲ画像を提供するように適合された記憶ユニットである。セグメンテーションシステム１は、大脳皮質の表面に適合されるように変形可能な表面モデル（「適合可能表面モデル」とも呼ばれる）を提供するためのモデル提供ユニット４を更に備え、表面モデルは、いくつかの表面要素を含む。この実施形態において、表面モデルは、三角形のメッシュであり、表面要素はメッシュの三角形である。セグメンテーションシステム１は、最初にＭＲ画像内にメッシュを配置し、メッシュの三角形ごとに、ＭＲ画像のそれぞれのサブボリュームがそれぞれの三角形と重なるようにそれぞれのサブボリュームを決定するためのサブボリューム決定ユニット５も備える。そのような初期配置は、例えば、画像内に、例えばデフォルト位置又は画像内のオブジェクトの位置に、変形可能な表面モデルを位置決めすることを含む。いくつかの実施形態では、そのような初期配置は、画像内のオブジェクトに対し、変形可能な表面モデルを大域的にスケーリングすることも伴う。いくつかの実施形態では、初期配置は、変形可能な表面モデルを、画像内のオブジェクトに対しグローバルレジストレーションすることを伴う。そのような初期配置は、通常、表面モデルを、画像内のオブジェクトにより良好にフィットするようにローカルで変形することを伴わない。これは通常、後続のステップであり、本明細書及び画像セグメンテーションの分野では、変形可能な表面モデルの「適合」又は「フィッティング」とも呼ばれる。
【００３５】
この実施形態では、各表面要素、すなわち、各三角形は、それぞれの表面要素の法線によって定義された方向を有し、サブボリュームは細長く、それぞれの表面要素の方向において細長くなるように決定される。
【００３６】
更に、サブボリューム決定ユニット５は、サブボリュームが全て同じ寸法及び同じ形状を有するようにサブボリュームを決定するように適合される。更に、サブボリューム決定ユニット５は、好ましくは、それぞれのサブボリュームの中心がそれぞれの表面要素の中心と一致するように適合される。図２の左上部分には、表面モデル３に対し、すなわちメッシュに対し、サブボリューム６のうちのいくつかが概略的かつ例示的に示されている。
【００３７】
セグメンテーションシステム１は、決定されたサブボリューム６に基づいて、表面モデルの表面要素と、画像内のオブジェクトの境界との間の距離を決定するように適合された畳み込みニューラルネットワークを提供するためのニューラルネットワーク提供ユニット７を更に備える。これについては図３に示されている。図３では、三角形８について決定されたサブボリューム６が示され、三角形８の中心と、三角形８の中心を横切る法線１２が、提供された画像内で大脳皮質の境界１９と交わる位置との間の距離ｄが決定される。図３では、サブボリューム６の底面は三角形８のエリアよりも小さいが、別の実施形態では、サブボリュームは、三角形のエリアよりも大きな底面を有する場合もあり、この場合、それぞれのサブボリュームとそれぞれの三角形との交差エリアは、三角形となり、図３に示すように矩形ではない。
【００３８】
更に、セグメンテーションシステム１は、決定されたサブボリューム６に基づいて、提供されたニューラルネットワークを用いることによって、表面モデル３の表面要素８と、画像内のオブジェクトの境界１９との間のそれぞれの距離を決定するための距離決定ユニット９を備える。このため、サブボリューム６はニューラルネットワークに対する入力として用いられ、その後、ニューラルネットワークは表面要素ごとにそれぞれの距離ｄを与える。特に、距離決定ユニット９は、多次元アレイ５０内の全てのサブボリューム６を集約する、すなわち、多次元アレイ５０内の全てのプロファイル６を集約するように適合され、ここで、提供された畳み込みニューラルネットワーク５１は、完全畳み込みニューラルネットワークであり、すなわち、ニューラルネットワークの全ての層が畳み込み層であり、この完全畳み込みニューラルネットワーク５１が、距離ｄを決定するために多次元アレイ５０に適用される。これは、以下において、図２を参照してより詳細に説明される。
【００３９】
図２において、左側に、単純化のために図が２次元で与えられている。抽出されたサブボリューム６は、単に２次元の矩形として描かれているが、実際は３次元であることを意味する。図２において、右側に、実際のアーキテクチャに関する更なる詳細が示され、また、３次元アレイのそれぞれの次元、及びこれらの次元が、各値がそれぞれの三角形の距離値に対応する単一の一次元列を得るために、いくつかの畳み込み層の適用を通じてどのように縮約される（ｃｏｌｌａｐｓｅｄ）かが示される。
【００４０】
図２において、参照符号５９は、サブボリュームのスライスあたりのボクセル数を示す。このコンテキストにおける「スライス」という用語は、三角形の法線に直交する平面内にあるサブボリュームの全てのボクセルを指す。すなわち、この例では、表面要素は三角形である。立方体状のサブボリュームの場合、スライスは矩形であり、円筒形サブボリュームの場合、スライスは円盤形となる。更に、図２において、参照符号５４は、表面モデルの三角形の数、すなわち表面要素の数を示し、参照符号５５は、サブボリュームあたりのスライスの数を指す。
【００４１】
多くの３次元サブボリュームのボクセル強度を集約する自然な方式は、１つの４次元アレイにおけるものであり、ここで、アレイの第１の次元は、三角形のインデックスであり、他の３つの次元は、３次元サブボリュームの３つの次元である。しかしながら、この例において、三角形の法線と位置合わせされたサブボリュームの次元のみが特殊な関心対象であるため、１つの次元は、１つのスライスの全てのボクセルを１次元ベクトルに集約することにより削除される。例えば、４０×５×５サブボリュームのボクセル値は、５×５のスライスの全てのボクセルを、２５個のベクトル要素を有する１次元ベクトルに再構成することによって、４０×２５のサブボリュームに再構成することができる。このため、例えば６０００個の三角形からなるメッシュ、すなわち表面モデルの場合、寸法４０×５×５を有する対応する６０００個の３次元サブボリュームの強度値を、寸法６０００×５０×２５を有する１つの３次元アレイに集約することができ、ここで、第１の次元はそれぞれの三角形をインデックス付けし、第２の次元は、３次元サブボリューム内のスライスをインデックス付けし、最後の次元は、特定のスライスの全てのボクセルを含む。これは、例えば、図２の右上部分に示される３次元アレイ５０によって表される。スライス内の全てのボクセルをシリアル化することによって、スライス内の異なるサンプリング方式に対する一般化の利点が加わる。例えば、スライス内の点は、距離が増大する同心リング上にサンプリングすることができ、次に、全てのサンプル点を１次元ベクトルに集約することができる。
【００４２】
好ましくは、三角形ごとの特徴が抽出され、特徴は、畳み込みニューラルネットワークの一部として学習され、ここで、ネットワークの各畳み込み層は、トレーニング可能な特徴抽出器としての役割を果たす。ネットワークアーキテクチャの例は、以下において、図４を参照して示される。
【００４３】
この例において、メッシュ、すなわち表面モデルは、５８４０個の三角形からなり、三角形ごとに、寸法４０×５×５のサブボリュームが抽出されることが想定される。次に、ボクセル強度が５８４０×４０×２５アレイに集約され、これはこの例において、ニューラルネットワークへの入力である。ネットワークは、異なるカーネルサイズを有する、畳み込み、バッチ正規化及び正規化線形ユニット（ＲｅＬＵ）層のブロックに分割され、図４において、ボックスはニューラルネットワーク層の動作を表し、ラベル「ＣＢＲ」を有する各ボックスにおいて、畳み込み、バッチ正規化及びＲｅＬＵ層の動作は、図を簡略化するように組み合わされている。更に、図４において、ラベル「Ｃ」を有するボックス８５は、畳み込み層のみの動作を表す。第１の３つの層８０、８１、８２は、それぞれ、１×７×２５、１×７×３２及び１×７×３２のカーネルを用いた畳み込みを計算する。有効な畳み込みが用いられるため、３次元アレイのサイズは５８４０×４０×２５から５８４０×２２×３２に低減される。更に、用いられるカーネルの第１の次元は１であるため、畳み込みのシーケンスは、３次元アレイの第１の次元のサイズを変更しない。このため、途中でいくつかの三角形を失うことなく、各三角形の応答が計算される。第１の３つの畳み込みの後、３次元アレイの全ての次元が依然として１よりも大きく、第２の次元における要素数が低減されている。これは、図２において、ボックス５６及び５７によって示されている。第１の３つの畳み込み層８０、８１、８２の後に、第２の次元がその入力の第２の次元に等しいカーネルを用いた畳み込み層８３が続く。結果として、入力の三角形の法線に沿った次元は１まで縮約される。結果として、３次元ボリュームの有効次元性は２のみであり、これは図２において、３次元空間内の平坦なボックス５８によって示される。同様に、最後の畳み込み層８５は、アレイの最後の次元を縮約し、三角形あたり単一の値、すなわちそれぞれの三角形の、オブジェクトの境界に対する予測距離のみを含む、図２において参照符号５９によって示される５８４０×１×１の次元のアレイを生成する。ボックス８４は、カーネルサイズ１×１×３２を用いた別の畳み込み層の動作を表す。この層は、チャネル軸以外のいかなる軸上にも畳み込みを行わないため、三角形ごとの追加の緻密層とみなすこともでき、通常の緻密層が分類／回帰ネットワークにおいて果たすのと同じ目的を果たす。すなわち、この層はネットワークの非線形性を増大させ、ネットワークが、ネットワークの入力と出力との間のより複雑な依存性を学習することを可能にする。それ以外に、（データレイアウトの変更も行う層の動作を表すボックス８３及び８５と異なり、）ボックス８４によって表される層の動作には特別なものはない。
【００４４】
距離を推定するのに用いられる特徴は、畳み込みカーネルによって定義され、これらはトレーニング手順中に自動的に学習され、好ましくは、入力様式及びターゲットオブジェクトの特定の組合せについて調節される。特徴は、学習された畳み込みカーネルによって定義され、入力様式及びターゲット境界のタイプに依存する。ネットワークが第１の層においてエッジ状の特徴を学習することが理にかなっているが、この挙動はハードコーティングされておらず、入力様式及びターゲット境界のタイプに依存して変動する可能性がある。
【００４５】
畳み込みの計算は特徴抽出ステップとみなされるため、畳み込み層の結果は、特徴応答であるものとみなされる。ここで、特徴の概念はむしろ抽象的である。畳み込みカーネルは、特徴検出器とみなされる。ここで、例示的に説明されるネットワークアーキテクチャにおいて、全ての特徴検出器の応答が、最後の次元において集約される。ボックス５６又はボックス５７におけるロケーション（ｉ，ｊ，ｋ）の値は、三角形ｉについて距離ｊにおいてそれぞれの層の特徴ｋがどの程度強く応答したかを定義する。これらの特徴は、エッジを特定の三角形の特定のロケーションにおいて観測することができる場合に、そのロケーションにおいて応答する単純なエッジ特徴とすることができる。これらは、特徴抽出パイプラインにおいて非常に早期に有用である特徴であるため、低レベル特徴であるものとみなすことができる。ボックス５８は、異なる変位候補についての特徴応答を含まず、異なる三角形の異なるフィルタの特徴応答のみを含む。これらの特徴は、必然的に、第１の層の単純なエッジ特徴よりもはるかに抽象的となる。したがって、これらは高レベル特徴であるものとみなすことができる。低レベル特徴に依存した高レベル特徴の決定は、統合であるものとみなすことができ、統合手順は、ニューラルネットワークによって学習され、各高レベル特徴は、異なる変位候補の低レベル特徴の組合せである。これらの特徴がどのように組み合わされるかは、トレーニング中に学習される畳み込みカーネルによって定義される。
【００４６】
この例において説明される概念は、変位軸の縮約によりネットワークが異なる変位候補を統合するように学習することが強制される、変位候補の統合に類似している。同様に、最後の層は特徴次元を縮約し、これは、ネットワークが三角形ごとの多くの特徴を単一の応答に統合するように学習することを強制する。この応答は、三角形と境界との間の距離の予測値と既知の距離との差を最小限にする目的でトレーニングされるため、ネットワークは、オブジェクト距離を学習するように強制され、特に、最後の層は、特徴を距離推定値に統合するように学習することを強制される。
【００４７】
このアーキテクチャにおいて、明示的に距離を計算する概念は存在しないことに留意されたい。ニューラルネットワークが最終的に異なる複数の三角形ｓについて距離ｄを出力する（図２における曲線６０を参照）理由は、ネットワークが距離を予測するようにトレーニングされたためである。すなわち、ネットワークの出力は、ネットワークの実際のアーキテクチャではなく、用いられるオブジェクト関数に、より大きく依存する。最終的に決定された距離６０も、図２の左下部分にサブボリュームの入力アレイの上に重ねて概略的に示され、そこで参照符号「５２」によって示されている。
【００４８】
セグメンテーションシステム１は、決定された距離ｄに従って表面モデル３を適合させるためのモデル適合ユニット１０を更に備える。この適合プロセスのために、上述したＯ．  Ｅｃａｂｅｒｔ他及びＪ．  Ｐｅｔｅｒｓ他による論文において開示されている適合アルゴリズムのような既知の適合アルゴリズムを用いることができる。これらのアルゴリズム又は他の既知の適合アルゴリズムは、特に、三角形のメッシュが、決定された距離及び三角形法線によって定義される標的点に適合されるように、三角形のメッシュを変更するために用いることができる。
【００４９】
この実施形態において、ニューラルネットワーク提供ユニット７は、表面モデルの全ての表面要素の距離を決定するために、単一の畳み込みニューラルネットワークを提供するように適合され、距離決定ユニット９は、決定されたサブボリュームに基づいて、提供された単一のニューラルネットワークを用いることによって、表面モデル３の表面要素８と画像内のオブジェクトの境界１９との間のそれぞれの距離を決定するように適合される。しかしながら、ニューラルネットワーク提供ユニット７は、同じ表面モデル３の表面要素の異なるグループについていくつかのニューラルネットワークを提供するように適合することもでき、次に、距離決定ユニット９は、それぞれのサブボリュームのそれぞれの多次元アレイ５０を決定するために、ニューラルネットワークごとに、表面要素のそれぞれのグループの表面要素について決定されたサブボリュームを集約するように適合され、これは次に、それぞれのニューラルネットワークによって、それぞれのグループの表面要素の距離を決定するために用いられる。ニューラルネットワーク提供ユニット７は、異なる種類のオブジェクトを表す異なる表面モデルのために用いられるように適合された、いくつかの畳み込みニューラルネットワークも含むことができ、ニューラルネットワーク提供ユニット７は、画像内でセグメント化される実際のオブジェクトの種類に対応する、それぞれのニューラルネットワークを提供するように適合され得る。
【００５０】
ニューラルネットワーク提供ユニット７は、サブボリューム６に基づいて表面モデル３の表面要素８のための信頼値を決定するように適合された更なる畳み込みニューラルネットワークを提供するように適合させることもでき、それぞれの表面要素８の信頼値は、画像内のオブジェクトの境界１９に対する、それぞれの表面要素８について決定された距離と、それぞれの表面要素８の実際の距離とのずれの推定を示し、信頼値は、推定されるずれが小さいほど大きくなる。この際、セグメンテーションシステム１は、決定されたサブボリューム６に基づいて、提供された更なるニューラルネットワークを用いることによって、表面モデル３の表面要素８のための信頼値を決定するための信頼値決定ユニット１１を更に備える。次に、モデル適合ユニット１０は、適合中に、それぞれの表面要素８について決定されたそれぞれの距離の検討度合いが、それぞれの表面要素８について決定されたそれぞれの信頼値に依存するように、決定された距離ｄに従って表面モデル３を適合させるように適合され得る。例えば、決定された距離に基づいてオブジェクトに対し表面モデルを適合させる、上述したＯ．  Ｅｃａｂｅｒｔ他及びＪ．  Ｐｅｔｅｒｓ他による論文において開示されているアルゴリズムのような既知のモデル適合アルゴリズムを用いる間、それぞれの表面要素について、それぞれの決定された距離によって定義された標的点へのこの表面要素の引き付けが、この表面要素について信頼値が低すぎる場合、すなわち、例えば所定のしきい値よりも小さい場合に、無効にされ得る。また、それぞれの信頼値に依存した適合アルゴリズムのこの引き付け部分の重み付けが用いられ得る。
【００５１】
ニューラルネットワーク提供ユニット７は、畳み込みニューラルネットワークが画像のサブボリュームに基づいてオブジェクトの画像に関連した更なる量を更に決定するよう適合されるように、畳み込みニューラルネットワークを提供するように適合される。距離決定ユニット９は、決定されたサブボリュームに基づいて、提供されたニューラルネットワークを用いることによって、更なる量も決定するように適合することができる。特に、ニューラルネットワーク提供ユニット７及び距離決定ユニット９は、更なる量が画像内のオブジェクトの境界の法線を含むように適合され得る。更に、距離を決定するために用いられるニューラルネットワークも、信頼スコアを提供するように適合され得る。この信頼スコアも、それぞれの決定された距離について、検出された境界の信頼性であるものとみなされ得る。
【００５２】
実施形態において、セグメンテーションシステムの距離決定ユニット又は別のユニットは、それぞれセグメンテーション全体又はセグメンテーションの一部の信頼性を測定するために、全ての表面要素について又は表面要素の一部について決定された信頼スコアを集約させるように適合される。セグメンテーションの信頼性が十分でない場合、ユーザはそれに応じて通知され得る。セグメンテーションシステムの距離決定ユニット又は別のユニットは、適合に、及びこのためセグメンテーションに十分信頼性がない表面モデルの領域を特定するために、決定された信頼スコアを用いるように適合させることもできる。例えば、領域についてセグメンテーションに十分信頼性があったか否かを判断するために、この領域の表面要素の信頼スコアの平均をとることができ、結果として得られる平均信頼スコアを所定のしきい値と比較することができる。結果を出力することができる。例えば、セグメンテーションに十分信頼性がなかった領域を、ディスプレイ１６上の適合された表面モデルの視覚化において強調表示することができる。
【００５３】
セグメンテーションシステム１は、トレーニングオブジェクトを示すトレーニング画像を提供し、変形可能なトレーニング表面モデルを提供するためのトレーニングデータ提供ユニット１３を更に備え、変形可能なトレーニング表面モデルは、いくつかの表面要素を含み、トレーニングオブジェクトに適合されている。更に、セグメンテーションユニットは、以下を行うためのトレーニングユニット１４を備えることができる。ａ）適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定し、ｂ）変更されたトレーニング表面モデルの表面要素のためのトレーニング画像のサブボリュームを決定し、それぞれの表面要素について、それぞれの表面要素に重なるサブボリュームが決定され、ｃ）変更されたトレーニング表面モデルの表面要素の距離を決定し、それぞれの表面要素について、トレーニング画像内のトレーニングオブジェクトに適合された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定され、ｄ）決定されたサブボリューム及び決定された距離に基づいて、提供された畳み込みニューラルネットワークをトレーニングする。このため、セグメンテーションシステムは、新たな畳み込みニューラルネットワークをトレーニングするか、又は既にトレーニングされた畳み込みニューラルネットワークを更にトレーニングするように適合させることもできる。しかしながら、ニューラルネットワークのトレーニングは、以下で更に説明される専用トレーニングシステムによって実行することもできる。トレーニングの詳細は以下でも更に説明される。
【００５４】
セグメンテーションシステム１は、キーボード、コンピュータマウス、タッチパッド等のような入力ユニット１５、及び例えば画像内のオブジェクトに適合された表面モデルを示すためのディスプレイ１６も備える。
【００５５】
図５は、ニューラルネットワークをトレーニングするためのトレーニングシステムの実施形態を概略的かつ例示的に示す。トレーニングシステム３０は、畳み込みニューラルネットワークを提供するためのニューラルネットワーク提供ユニット３７を備え、この実施形態では、ニューラルネットワーク提供ユニット３７は、ニューラルネットワークが記憶され、記憶された畳み込みニューラルネットワークを提供するように適合された記憶ユニットである。提供された畳み込みニューラルネットワークは、トレーニングされていないニューラルネットワーク、又は既にトレーニングされ、更にトレーニングされるべきであるニューラルネットワークとすることができる。
【００５６】
トレーニングシステム３０は、トレーニングオブジェクトを示すトレーニング画像を提供し、いくつかの表面要素を含み、トレーニングオブジェクトに適合された、適合されたトレーニング表面モデルを提供するためのトレーニングデータ提供ユニット１３を更に備える。更に、トレーニングシステム３０は、提供されたニューラルネットワークをトレーニングするためのトレーニングユニット１４を備え、トレーニングユニット１４は、適合されたトレーニング表面モデルの表面要素を変更することによって、いくつかの変更されたトレーニング表面モデルを決定し、変更されたトレーニング表面モデルの表面要素のためのトレーニング画像のサブボリュームを決定するように適合され、それぞれの表面要素について、それぞれの表面要素と重なるそれぞれのサブボリュームが決定される。この表面要素の変更及びこのサブボリュームの決定は、図５及び図６に概略的かつ例示的に示されている。
【００５７】
図６及び図７は、トレーニングオブジェクトの例としてヒトの頭部３９の大脳皮質３３を示し、図６において、法線方向３２から変位された、決定されたサブボリューム３６がトレーニング表面モデルの表面要素について決定される。図７において、表面要素、及びこのため、対応する決定されたサブボリューム３６も、トレーニング表面モデルのそれぞれの表面要素を傾けることによって変更することができることが示されている。
【００５８】
トレーニングユニット１４は、変更されたトレーニング表面モデルの表面要素、すなわち、変位されかつ／又は傾けられた表面要素の実際の距離を決定するように更に適合され、それぞれの表面要素について、トレーニング画像内のトレーニングオブジェクトに適合され、トレーニングデータ提供ユニット１３によって提供された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定される。更に、トレーニングユニット１４は、決定されたサブボリューム３６及び決定された実際の距離に基づいて、ニューラルネットワーク提供ユニット３７によって提供された畳み込みニューラルネットワークをトレーニングするように適合される。このため、提供された畳み込みニューラルネットワークは、決定されたサブボリュームを与えられると、決定された実際の距離と、畳み込みニューラルネットワークによって出力された距離との間のずれが最小限になるようにトレーニングすることができる。このトレーニングは、反復的に実行することができ、各反復ステップにおいて、畳み込みニューラルネットワークは、それぞれの変更されたトレーニング表面モデルの変更された表面要素に基づいて決定されたサブボリューム３６の別のセットを用いてトレーニングされる。換言すれば、各反復ステップにおいて、別の変更されたトレーニング表面モデルがトレーニングのために用いられ得る。
【００５９】
トレーニングユニット１４は、決定された対応するサブボリューム３６及びトレーニングされた畳み込みニューラルネットワークに基づいて、変更されたトレーニング表面モデルの表面要素のためのシミュレートされた距離を決定し、変更されたトレーニング表面モデルの表面要素のためのずれ値を決定するように更に適合することができ、それぞれの表面要素について、それぞれのシミュレートされた距離とそれぞれの実際の距離とのずれを示すそれぞれのずれ値が求められ、ニューラルネットワーク提供ユニット３７は、それぞれのずれ値がしきい値よりも大きい表面要素について、更なる畳み込みニューラルネットワークを提供するように適合され、トレーニングユニット１４は、それぞれのずれ値がしきい値よりも大きい表面要素について決定されたサブボリューム及び実際の距離に基づいて、提供された更なる畳み込みニューラルネットワークをトレーニングするように適合される。このため、トレーニング表面モデルの異なる部分について、後に、すなわち実際のオブジェクトセグメンテーション手順中に、画像内でセグメント化されることになるオブジェクトの異なる部分について異なる畳み込みニューラルネットワークを上記で説明したように用いることができるように、異なるニューラルネットワークをトレーニングすることができる。
【００６０】
トレーニングユニット１４は、決定された対応するサブボリューム３６及びトレーニングされた畳み込みニューラルネットワークに基づいて、変更されたトレーニング表面モデルの表面要素のシミュレートされた距離を決定し、変更されたトレーニング表面モデルの表面要素の信頼値を決定するように適合することもでき、それぞれの表面要素について、それぞれのシミュレートされた距離とそれぞれの実際の距離とのずれに基づいてそれぞれの信頼値が決定される。次に、ニューラルネットワーク提供ユニット３７が、サブボリュームに基づいてオブジェクトの表面モデルの表面要素の信頼値を決定するための更なる畳み込みニューラルネットワークを提供するように適合され、トレーニングユニット１４は、トレーニング表面モデルの表面要素について決定されたトレーニング画像の信頼値及びサブボリュームに基づいて、更なる畳み込みニューラルネットワークをトレーニングするように適合される。信頼畳み込みニューラルネットワークであるものとみなされ得るこの更なる畳み込みニューラルネットワークは、上記で説明したように、画像内のオブジェクトのセグメンテーション中に用いることができる。
【００６１】
以下において、図８に示すフローチャートを参照して、画像内のオブジェクトをセグメント化するためのセグメンテーション方法の実施形態が例示的に説明される。
【００６２】
ステップ１０１において、画像提供ユニット２によってオブジェクトの画像が提供される。例えば、大脳皮質のＭＲ画像が画像として提供される。ステップ１０２において、オブジェクトの表面に適合されるように変形可能な表面モデルがモデル提供ユニット４によって提供され、表面モデルはいくつかの表面要素を含む。例えば、大脳皮質の変形可能な三角形メッシュは、モデル提供ユニット４によって提供される。更に、ステップ１０３において、提供される画像のサブボリュームに基づいて、表面モデルの表面要素と画像内のオブジェクトの境界との間の距離を決定するように適合される、畳み込みニューラルネットワークが提供され、ニューラルネットワーク提供ユニット７はこの畳み込みニューラルネットワークを提供する。提供される畳み込みニューラルネットワークは、トレーニングシステム３０によってトレーニングされている。
【００６３】
ステップ１０４において、提供される表面モデルが、提供される画像内に配置され、表面モデルの表面要素ごとに、画像のそれぞれのサブボリュームがそれぞれの表面要素と重なるようにそれぞれのサブボリュームが決定され、この構成及びこの決定は、サブボリューム決定ユニット５によって行われる。ステップ１０５において、距離決定ユニット９は、決定されたサブボリュームに基づいて、提供されたニューラルネットワークを用いることによって、表面モデルの表面要素と、画像内のオブジェクトの境界との間のそれぞれの距離を決定し、ステップ１０６において、提供された表面モデルは、画像内のオブジェクトをセグメント化するために、モデル適合ユニット１０によって、決定された距離に従って適合される。
【００６４】
以下において、ニューラルネットワークをトレーニングするためのトレーニング方法の実施形態が、図９に示すフローチャートを参照して例示的に説明される。
【００６５】
ステップ２０１において、畳み込みニューラルネットワークが、ニューラルネットワーク提供ユニット３７によって提供され、ステップ２０２において、トレーニングオブジェクトを示すトレーニング画像及び変形可能なトレーニング表面モデルがトレーニングデータ提供ユニット１３によって提供され、提供されたトレーニング表面モデルは、いくつかの表面要素を含み、トレーニングオブジェクトに適合されている。ステップ２０３において、トレーニングユニット１４によって、適合されたトレーニング表面モデルの表面要素を変更することにより、変更されたトレーニング表面モデルが決定される。特に、適合されたトレーニング表面モデルの表面要素は、変更されたトレーニング表面モデルを決定するために、ランダムに、又は既知の量だけ変位され、かつ／又は傾けられる。ステップ２０４において、トレーニング画像のサブボリュームが、変更されたトレーニング表面モデルの表面要素についてトレーニングユニット１４によって決定され、それぞれの表面要素について、それぞれの表面要素と重なるサブボリュームが決定される。特に、各変更された表面要素について、細長いサブボリュームが決定され、それぞれのサブボリュームの伸長方向が、それぞれの表面要素の法線と位置合わせされ、全ての決定されたサブボリュームが、同じ形状及び同じ寸法を有する。ステップ２０５において、変更されたトレーニング表面モデルの表面要素について実際の距離が決定され、それぞれの表面要素について、トレーニング画像内のトレーニングオブジェクトに適合され、ステップ２０２においてトレーニングデータ提供ユニット１３によって提供された、変更されていないトレーニング表面モデルに対するそれぞれの距離が決定される。この決定は、ステップ２０２において提供された変更されていないトレーニング表面モデルの変更されていない表面要素の位置及び向きと、変更されたトレーニング表面モデルのそれぞれの変更された表面要素の位置及び向きとを比較することによって行うことができる。しかしながら、実際の距離のこの決定は、表面要素がステップ２０３において既知の量だけ変位されかつ／又は傾けられている場合、それらの表面要素の変位及び／又は傾きを単に用いることとすることができる。ステップ２０６において、提供された畳み込みニューラルネットワークは、決定されたサブボリューム及び決定された実際の距離に基づいてトレーニングされる。
【００６６】
ステップ２０７において、中断基準が満たされているか否かがチェックされる。例えば、畳み込みニューラルネットワークが所望の数の変更されたトレーニング表面モデルによってトレーニングされたか否かがチェックされる。この基準が満たされている場合、方法はステップ２０８において終了する。そうでない場合、方法はステップ２０３に続き、ステップ２０２において提供された、適合されたトレーニング表面モデルの表面要素を変更することによって、又は既に変更されたトレーニング表面モデルの表面要素を変更することによって、更に変更されたトレーニング表面モデルが決定される。
【００６７】
同様に境界検出手法であるものとみなされ得る既知のモデルセグメンテーション手順において、モデル適合のコンテキストにおいて、タスクは通常、２つのステップ、すなわち、三角形のようなメッシュ要素に直交する線に沿った候補点のサンプリング、及び、例えば上述したＪ．  Ｐｅｔｅｒｓ他による論文において開示されているシミュレートされた探索（Ｓｉｍｕｌａｔｅｄ  Ｓｅａｒｃｈ）により選択された分類器を用いた、線上の最も適切な候補点の選択に分割される。この２ステップ手法は、良好なセグメンテーション結果をもたらすことができるが、境界検出の信頼性及び精度は、探索ステップ及び分類ステップが統合され、画像内のオブジェクトの所望の境界に対する距離が、メッシュ三角形を取り囲む画像値、特にグレー値から学習手法、特にエンドツーエンド学習手法を用いて直接推定される場合に増大させることができる。境界検出のこの増大した信頼性及び正確度は、モデル適合、及びこのため、画像内のオブジェクトのセグメンテーションの改善された信頼性及び正確度に直接結びつく。このため、もはやサンプル点は関与せず、連続値を有する距離を上述したセグメンテーションシステム及び方法によって推定することができ、実施形態において、好ましくは、それぞれのメッシュ表面において、すなわちそれぞれの表面要素において中心合わせされ、それぞれのメッシュ内で符号化されたローカル座標系に従って向きを付けられた、向きを付けられたサブボリュームが、畳み込みニューラルネットワークを用いることによってスカラー距離値にマッピングされる。
【００６８】
ニューラルネットワーク提供ユニットは、好ましくは、実数値の結果を提供するニューラルネットワークを提供するように適合される。このため、提供されるニューラルネットワークは、好ましくは、分類結果を提供する分類ニューラルネットワークではない。それに応じて、提供されるニューラルネットワークは、好ましくは、最後の層としてソフトマックス層を含まず、好ましくは、確率分布を出力するようにトレーニングされない。提供されるニューラルネットワークは、連続値を出力するようにトレーニングすることができ、分類のために適合されるのと対象的に、回帰のために適合されるものとみなされ得る。
【００６９】
したがって、セグメンテーションシステム及び方法は、モデル表面上の画像サブボリュームを抽出するように適合され、例えば、三角形メッシュの場合、各三角形について、サブボリュームの向きがそれぞれの三角形のそれぞれの座標系から導出される。セグメンテーションシステム及び方法は、１つ又はいくつかのトレーニングされた畳み込みニューラルネットワークを用いて、それぞれのサブボリューム中心、すなわち、例えばサブボリュームが中心合わせされるメッシュ点の、所望のモデル表面、すなわち、画像内のオブジェクトの境界に対する変位を推定するように更に適合され得る。その後、推定変位情報を用いて、表面モデルが画像内のオブジェクトに適合される。
【００７０】
トレーニングユニットは、好ましくは、ディープラーニング、特にディープエンドツーエンドラーニングを用いることによって１つ又はいくつかの畳み込みニューラルネットワークをトレーニングするように適合され、グランドトゥルースセグメンテーションがトレーニング画像のために用いられるか、又はいくつかのグランドトゥルースセグメンテーションがいくつかのトレーニング画像のために用いられる。表面部分、すなわち表面要素は、好ましくは変位されかつ／又は傾けられ、サブボリュームが抽出され、好ましくは、ディープラーニングを用いてグランドトゥルースセグメンテーションからの変位、すなわち距離が学習される。
【００７１】
上記で説明した実施形態において、表面モデルは三角形メッシュであるが、他の実施形態では、表面モデルは、非三角形メッシュ、すなわち、表面要素が三角形でないメッシュとすることもできる。
【００７２】
好ましくは細長い画像サブボリュームが、実際の表面モデルの、好ましくは全ての表面要素について、特に全ての三角形について抽出され、好ましくは全てのサブボリュームが同じ寸法及び同じ形状を有し、サブボリュームの座標系は、好ましくはそれぞれの三角形のそれぞれの座標系により定義される。特に、それぞれの画像サブボリュームの伸長軸は、それぞれの三角形の法線に平行である。好ましくは、全てのサブボリュームが多次元アレイ内で集約され、完全畳み込みニューラルネットワークを用いて、各サブボリュームの、すなわち各表面要素の、画像内のオブジェクトの所望の境界に対する変位が推定される。
【００７３】
トレーニングシステム及び方法は、例えば、変更されたトレーニング表面モデルを生成するために既知の量だけ表面要素を変位しかつ／若しくは傾けるように適合され得るか、又は各トレーニング反復中にランダムに変位されかつ／若しくは傾けられ得、畳み込みニューラルネットワークのトレーニングは、好ましくは、後方伝播を用いて、シミュレートされた変位及び／又は傾きに基づいて畳み込みニューラルネットワークの重みを更新することに関する。
【００７４】
好ましくは、シミュレートされた変位と予測変位との間の平均二乗平均平方根距離がトレーニング基準として用いられ、すなわち、畳み込みニューラルネットワークは、この平均二乗平均平方根距離、又は畳み込みニューラルネットワークの出力、すなわちシミュレート若しくは推定された距離と、変位、すなわち実際の距離との間のずれの別の尺度が最小限にされるようにトレーニングされる。
【００７５】
上記で説明したように、トレーニングシステム、及びこのためトレーニング方法も、表面モデルの全ての表面要素、特に三角形のために用いられる１つのグローバル畳み込みニューラルネットワークをトレーニングする代わりに、別個の畳み込みニューラルネットワークをトレーニングして、オブジェクトの異なる部分及び画像内のその外観をより詳細に特徴付けるように適合される。オブジェクトは、好ましくは解剖学的オブジェクトであり、画像は好ましくは医用画像である。例えば、放射線治療計画の分野において、膀胱及び骨は、ＭＲ又はコンピュータ断層撮影（ＣＴ）画像の場合と基本的に異なる外観を有し、境界検出のために２つの異なるニューラルネットワークを用いることから利益を受け得る。別個のニューラルネットワークの数及びそれらの特定のメッシュ三角形、すなわち特定の表面要素との関連付けは、異なる臓器若しくは臓器構造について、所定の、すなわち、例えば異なるネットワークとすることができるか、又はトレーニング中に学習することができる。特に、初期トレーニング後の高い境界検出誤差に関連付けられた三角形のサブセットが選択され、これらの三角形について境界検出を更に改善するために、第２のニューラルネットワークをトレーニングするのに用いられる。更に、ニューラルネットワークのトレーニング中又はトレーニング後に観察されたシミュレートされた誤差から、追加のニューラルネットワークが、検出された境界に関連付けられた外部エネルギー、すなわち「画像力（ｉｍａｇｅ  ｆｏｒｃｅ）」を増減させるのに用いることができる信頼スコア、すなわち信頼値を提供するようにトレーニングされる。
【００７６】
上記の実施形態において、画像は画像要素を含み、各画像要素がそれぞれの単一の画像値を含むが、他の実施形態では、それぞれの画像要素は、２つ以上の画像値を含むことができる。このため、例えば、画像は、各画像要素に関連付けられた２つ以上の強度値を有するマルチプロトコル又はマルチチャネル画像である。したがって、畳み込みニューラルネットワークは、好ましくはボクセルである各画像要素について強度値のｎタプルを含むサブボリュームにおいてトレーニングされる。マルチプロトコル画像は、異なるプロトコルを用いて取得されたいくつかの画像の組合せであり、画像内のそれぞれの位置に対し、いくつかの画像の対応する画像値が割り当てられる。異なるプロトコルは、異なる撮像様式を参照することができ、すなわち、例えば、第１の画像は、コンピュータ断層撮影画像とすることができ、第２の画像は磁気共鳴画像とすることができる。異なるプロトコルは、異なる画像を生成するための同じ撮像様式の異なる画像取得パラメータも指すことができる。ネットワークへの入力アレイの生成は、好ましくはユニチャネル又はユニプロトコルの場合に類似しており、すなわち、各ボクセルに対し単一のボクセル値のみが割り当てられる場合に類似している。例えば、各プロトコルについて、各三角形のサブボリュームを抽出する、すなわち決定することができる。各サブボリュームについて、１つのスライスの全てのボクセルを１次元ベクトルにシリアル化することができ、複数のプロトコルからのデータを集約するために、これらの１次元ベクトルは、特定の三角形の全ての画像の全ての強度値を含む１つのベクトルを得るように連結することができ、このベクトルは、全てのサブボリュームの対応する他のベクトルと共に、ニューラルネットワークのための入力として用いることができ、ニューラルネットワークは次に、距離を決定する。例えば、５０００個の三角形を有するメッシュが用いられ、５×５×４０のサブボリュームサイズ、及び２つの入力方式（例えば、Ｔ１強調及びＴ２強調磁気共鳴撮像）が検討される場合、ニューラルネットワークへの入力は、５０００×４０×（５＊５＊２）、すなわち５０００×４０×５０のアレイであり得る。
【００７７】
好ましくは、サブボリュームは、規則的な格子上にサンプリングされる。しかしながら、処理される必要があるサンプル数を低減するために、サブボリュームは、中心線、すなわち、表面要素に直交し、表面要素の中心を通る線の周りのリングにおいてサンプリングされ、より離れたリングはよりまばらにサンプリングされる。このため、サブボリュームは、円筒形状とすることができる。
【００７８】
提供される画像は、２次元画像、３次元画像又は４次元画像とすることができ、すなわち、時間にも依存し得る。
【００７９】
上述した実施形態において、画像はＣＴ画像又はＭＲ画像であるが、超音波画像のような別の撮像様式の画像とすることもできる。
【００８０】
上述した実施形態において、全ての表面要素の全てのサブボリュームが、距離を決定し、かつ／又はネットワークをトレーニングするための、ニューラルネットワークのための入力として用いられるが、他の実施形態では、単一のサブボリュームをニューラルネットワークのための入力として用いることができ、ニューラルネットワークは、単一のサブボリュームのための単一の距離、及び場合によっては、画像内のオブジェクトの境界の法線のような、単一のサブボリュームのための更なるパラメータを提供するためにトレーニングすることができる。しかしながら、全てのサブボリュームを入力として用いることは、より良好なセグメンテーション結果につながり得るため、好ましい。例えば、これにより、ニューラルネットワークが、トレーニング中に共有重みを学習すること、すなわち、全ての三角形について重みの同じセットが境界の予測のために学習されることを強制することが可能になる。
【００８１】
セグメンテーションシステム及び／又はトレーニングシステムは、ワークステーション、撮像装置若しくはモバイルデバイス等の単一のデバイス若しくは装置として、又はこれらの中で具現化される。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを備える。ソフトウェアは、ダウンロードされ、かつ／又は対応するメモリ、例えば、ＲＡＭ等の揮発性メモリ、又はフラッシュ等の不揮発性メモリに記憶されている。代替的に、システムの機能ユニットは、プログラマブルロジックの形態のデバイス又は装置において、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実施される。概して、システムの各機能ユニットは回路の形態で実施される。各システムは、例えば、異なるデバイス又は装置を伴う、分散的な様式でも実施されることに留意されたい。例えば、分散は、例えば、サーバ及びシンクライアントを用いる、クライアントサーバモデルによるものである。
【００８２】
ここで、及び他の箇所で、画像提供ユニット、モデル提供ユニット、ニューラルネットワーク提供ユニット又はトレーニングデータ提供ユニット等の任意の「提供ユニット」は、それぞれのデータにアクセスするための入力インタフェースとして具現化することができる。入力インタフェースは、ローカルエリアネットワーク（ＬＡＮ）、又はインターネット等の広域ネットワーク（ＷＡＮ）へのネットワークインタフェース、内部又は外部データストレージ、例えば揮発性又は不揮発性メモリ、ハードディスク、ソリッドステートストレージ等へのストレージインタフェース等の様々な形式をとる。このため、画像提供ユニットは、画像入力インタフェースとして具現化される。このため、モデル提供ユニットは、モデルデータ入力インタフェースとして具現化される。このため、ニューラルネットワーク提供ユニットは、ニューラルネットワークデータ入力インタフェースとして具現化される。このため、トレーニングデータ提供ユニットは、トレーニングデータ入力インタフェースとして具現化される。そのような「提供ユニット」のうちの２つ以上が単一の入力インタフェースとして具現化される。
【００８３】
サブボリューム決定ユニット、ニューラルネットワーク提供ユニット、距離決定ユニット及びモデル適合ユニット等のユニットは、説明された機能を実行するための適切なソフトウェアによって構成されるプロセッサ、又はプロセッサのシステムによって実施される。例えば、セグメンテーションシステムは、入力インタフェースと内部で通信するように構成されたプロセッサ、及びプロセッサによってアクセス可能なメモリを備える。メモリは、サブボリューム決定ユニット、ニューラルネットワーク提供ユニット、距離決定ユニット及び／又はモデル適合ユニットに関係して他の箇所で記載した機能をプロセッサに実行させる命令を記憶する。
【００８４】
同様に、トレーニングシステムにおいて、トレーニングユニット等のユニットは、説明された機能を実行するための適切なソフトウェアによって構成されるプロセッサ、又はプロセッサのシステムによって実施される。例えば、トレーニングシステムは、プロセッサによってアクセス可能な入力インタフェース及びメモリと内部で通信するように構成されたプロセッサを備える。メモリは、トレーニングユニットに関係して他の箇所で記載した機能をプロセッサに実行させる命令を記憶する。
【００８５】
本明細書に記載の各方法は、コンピュータ実施方法として、専用ハードウェアとして、又はそれらの組合せとして、コンピュータ上で実施される。コンピュータのための命令、例えば実行可能コードは、例えば、一連の機械可読物理マークの形態で、及び／又は異なる電気的、例えば磁気的、若しくは光学的特性若しくは値を有する一連の要素として、コンピュータ可読媒体上に記憶される。実行可能コードは、一時的又は非一時的に記憶される。コンピュータ可読媒体の例には、メモリデバイス、光学ストレージデバイス、集積回路、サーバ、オンラインソフトウェア等が含まれる。
【００８６】
請求項に記載した発明を実施する際、当業者は、図面、本開示、及び添付の特許請求の範囲を研究して、開示した実施形態の他のバリエーションを理解して実施することができるであろう。
【００８７】
請求項において、「含む、備える、有する」という用語は他の要素やステップを排除するものではなく、単数形は複数ある場合を排除するものではない。
【００８８】
単一のユニット又はデバイスが請求項に記載したいくつかのアイテムの機能を満たすこともできる。相異なる従属項に特定の手段が記載されているからといって、その手段を組み合わせて有利に使用することができないということではない。
【００８９】
１つ又はいくつかのユニット又はデバイスによって行われる、画像の提供、変形可能な表面モデルの提供、畳み込みニューラルネットワークの提供、サブボリュームの決定、距離の決定、モデルの適合等の手順は、任意の他の数のユニット又はデバイスによって実行することができる。セグメンテーション方法に従ったセグメンテーションシステムのこれらの手順及び／若しくは制御、並びに／又はトレーニング方法に従ったトレーニングシステムの制御は、コンピュータプログラムのプログラムコード手段として、及び／又は専用ハードウェアとして実施することができる。
【００９０】
コンピュータプログラムは、他のハードウェア又はその一部と共に供給される、光学ストレージ媒体又はソリッドステート媒体等の適切な媒体上に記憶／配信されてもよいが、インターネット又は他の有線若しくは無線電気通信システムを介する等の他の形式で配信されてもよい。
【００９１】
特許請求の範囲におけるいかなる参照符号も、範囲を限定するものと解釈されるべきでない。
【００９２】
本発明は、画像内のオブジェクトをセグメント化するためのセグメンテーションシステムに関する。セグメンテーションシステムは、画像内に表面要素を含む表面モデルを配置し、各表面要素について、画像のそれぞれのサブボリュームを決定し、決定されたサブボリュームに基づいて、ニューラルネットワークを用いて、表面要素と画像内のオブジェクトの境界との間のそれぞれの距離を決定するように構成される。次に、オブジェクトをセグメント化するために、表面モデルが、決定された距離に従って適合される。画像のサブボリューム及びニューラルネットワークに基づくこのセグメンテーションは、例えば、それぞれの表面要素に直交する線に沿った候補点のサンプリング、及び候補点がオブジェクトの境界を示す尤度の決定に依拠する既知の技法と比較して改善される。
【図１】
2021504830.tif 000003
【図２】
2021504830.tif 000004
【図３】
2021504830.tif 000005
【図４】
2021504830.tif 000006
【図５】
2021504830.tif 000007
【図６】
2021504830.tif 000008
【図７】
2021504830.tif 000009
【図８】
2021504830.tif 000010
【図９】
2021504830.tif 000011
【国際調査報告】
2021504830.tif 000012
2021504830.tif 000013
2021504830.tif 000014