(57)【要約】  脊椎分析セグメンテーションのための他の方法が開示される。一例では、当該方法は、完全畳み込みネットワークと残差ニューラルネットワークとを結合することを含む。当該方法はまた、残差ニューラルネットワークと共に結合された完全畳み込みネットワークを端から端まで訓練することを含む。当該方法はまた、脊椎分析の少なくとも1つの医用画像を受信することを含む。当該方法はまた、残差ニューラルネットワークと共に完全畳み込みネットワークを少なくとも1つの医用画像に適用し、脊椎分析の少なくとも1つの医用画像から少なくとも1つの椎体をセグメンテーションすることを含む。
2021500113.tif 000002
【特許請求の範囲】
【請求項１】
脊椎分析セグメンテーションのための方法であって、
完全畳み込みネットワークと残差ニューラルネットワークとを結合するステップと、
前記残差ニューラルネットワークと共に前記結合された完全畳み込みネットワークを端から端まで訓練するステップと、
脊椎分析の少なくとも1つの医用画像を受信するステップと、
前記残差ニューラルネットワークと共に前記完全畳み込みネットワークを前記受信した少なくとも1つの医用画像に適用し、前記脊椎分析の前記少なくとも1つの医用画像から少なくとも1つの椎体をセグメンテーションするステップと
を含む方法。
【請求項２】
前記残差ニューラルネットワークは、ダウンサンプリング及びアップサンプリングプロセスを含む、請求項１に記載の方法。
【請求項３】
前記残差ニューラルネットワークと共に前記結合された完全畳み込みネットワークは、勾配降下最適化アルゴリズムを含む、請求項１に記載の方法。
【請求項４】
前記残差ニューラルネットワークの出力に対して三次元の完全に接続された条件付き確率場を適用するステップを更に含む、請求項１に記載の方法。
【請求項５】
ユーザから入力を受信するステップであり、前記入力は、前記セグメンテーションされた少なくとも1つの医用画像に対する椎骨レベルの識別を含む、ステップと、
前記受信した入力に基づいて、三次元接続成分抽出アルゴリズムに従って1つ以上の椎骨レベルを決定するステップと
を更に含む、請求項１に記載の方法。
【請求項６】
ユーザから、1つ以上の決定された椎骨レベルの選択を含む第2の入力を受信するステップと、
前記受信した第2の入力に基づいて、前記選択に対応する前記セグメンテーションされた少なくとも1つの医用画像から1つ以上の三次元椎骨面を抽出するステップと、
前記抽出された1つ以上の三次元椎骨面に基づいて、椎間板メッシュをモデリングするステップと
を更に含む、請求項５に記載の方法。
【請求項７】
前記セグメンテーションされた少なくとも1つの医用画像から1つ以上の三次元椎骨面を抽出するステップと、
前記抽出された1つ以上の三次元椎骨面に基づいて、椎間板メッシュをモデリングするステップと
を更に含む、請求項１に記載の方法。
【請求項８】
前記医用画像は、磁気共鳴画像である、請求項１に記載の方法。
【請求項９】
前記抽出された1つ以上の三次元椎骨面は、第1の面及び第2の面を含み、前記第1の面は、上部椎骨の下位終板に対応し、前記第2の面は、下部椎骨の上位終板に対応し、前記下部椎骨は前記上部椎骨に隣接する、請求項６に記載の方法。
【請求項１０】
前記抽出された1つ以上の三次元椎骨面は、第1の面及び第2の面を含み、前記第1の面は、上部椎骨の下位終板に対応し、前記第2の面は、下部椎骨の上位終板に対応し、前記下部椎骨は前記上部椎骨に隣接する、請求項７に記載の方法。
【請求項１１】
前記第1の面及び前記第2の面に沿って1つ以上の点における法線ベクトルを決定するステップと、
前記法線ベクトルに関連する値に対応する所定の閾値に従って、前記第1の面及び前記第2の面をクリッピングするステップと、
前記クリッピングされた第1の面及び前記クリッピングされた第2の面を含む面再構成に基づいて、前記椎間板メッシュをモデリングするステップと
を更に含む、請求項６に記載の方法。
【請求項１２】
脊椎分析セグメンテーションのための方法であって、
完全畳み込みネットワークと残差ニューラルネットワークとを結合するステップと、
前記残差ニューラルネットワークと共に前記結合された完全畳み込みネットワークを端から端まで訓練するステップと、
脊椎分析の少なくとも1つの磁気共鳴画像を受信するステップと、
前記残差ニューラルネットワークと共に前記完全畳み込みネットワークを前記受信した少なくとも1つの磁気共鳴画像に適用し、前記脊椎分析の前記少なくとも1つの磁気共鳴画像から少なくとも1つの椎体をセグメンテーションするステップと、
前記セグメンテーションされた少なくとも1つの磁気共鳴画像から、(i)上部椎骨に対応する第1の三次元椎骨面及び(ii)下部椎骨に対応する第2の三次元椎骨面を抽出するステップであり、前記下部椎骨は前記上部椎骨に隣接する、ステップと、
前記第1の三次元椎骨面及び前記第2の三次元椎骨面を含む面再構成に基づいて、椎間板メッシュをモデリングするステップと
を含む方法。
【発明の詳細な説明】
【背景技術】
【０００１】
［関連出願への相互参照］
この出願は非仮出願であり、2017年10月20日に出願された米国仮出願第62/575,260号に対する優先権を主張し、その全開示を参照により援用する。
【０００２】
［背景技術］
この開示は、椎間板(intervertebral  disc)をモデリングする方法に関する。医用画像からの椎骨(vertebrae)の正確なセグメンテーションは、画像支援脊椎手術における重要な準備作業である。椎骨の詳細な形状を記述することは、多数の脊椎疾患の早期診断、手術計画及び経過観察の評価にかなり役立つ可能性がある。近年、磁気共鳴画像法(MRI,  magnetic  resonance  imaging)は、椎骨解析のための価値ある非侵襲的ツールになっている。コンピュータ断層撮影法(CT,  computed  tomography)とは異なり、MRIは放射線被曝に関連するリスクを引き起こさない。しかし、磁気共鳴画像解析は、異なるスキャンにわたる解像度及び強度範囲における変動のような、セグメンテーションのためのいくつかの課題に直面する。
【発明の概要】
【０００３】
上記のニーズは、他のニーズと共に、この開示に記載されるように椎間板をモデリングするための方法の実施形態により対処される。
【０００４】
脊椎分析(脊椎解剖学)セグメンテーションのための方法が開示される。当該方法は、完全畳み込みネットワーク(fully  convolutional  network)と残差ニューラルネットワーク(residual  neural  network)とを結合することを含む。当該方法はまた、残差ニューラルネットワークと共に結合された完全畳み込みネットワークを端から端まで訓練することを含む。当該方法はまた、脊椎分析の少なくとも1つの医用画像を受信することを含む。当該方法はまた、残差ニューラルネットワークと共に完全畳み込みネットワークを少なくとも1つの医用画像に適用し、脊椎分析の少なくとも1つの医用画像から少なくとも1つの椎体(vertebral  body)をセグメンテーションすることを含む。
【０００５】
脊椎分析セグメンテーションのための他の方法が開示される。当該方法は、完全畳み込みネットワークと残差ニューラルネットワークとを結合することを含む。当該方法はまた、残差ニューラルネットワークと共に結合された完全畳み込みネットワークを端から端まで訓練することを含む。当該方法はまた、脊椎分析の少なくとも1つの磁気共鳴画像を受信することを含む。当該方法はまた、残差ニューラルネットワークと共に完全畳み込みネットワークを受信した少なくとも1つの磁気共鳴画像に適用し、脊椎分析の少なくとも1つの磁気共鳴画像から少なくとも1つの椎体をセグメンテーションすることを含む。当該方法はまた、セグメンテーションされた少なくとも1つの磁気共鳴画像から、(i)上部椎骨に対応する第1の三次元椎骨面及び(ii)下部椎骨に対応する第2の三次元椎骨面を抽出することを含み、下部椎骨は上部椎骨に隣接する。当該方法はまた、第1の三次元椎骨面及び第2の三次元椎骨面を含む面再構成に基づいて、椎間板メッシュをモデリングすることを含む。
【図面の簡単な説明】
【０００６】
【図１】本開示の実施形態による椎間板モデリングのための例示的な方法を示す。
【図２】本開示の実施形態による残差ニューラルネットワークの例示的なアーキテクチャを示す。
【図３】本開示の実施形態による例示的な板面のモデリングフレームワークの例を示す。
【図４】本開示の実施形態による椎間板モデリングのための他の例示的な方法を示す。
【発明を実施するための形態】
【０００７】
本発明の原理の理解を促進する目的で、図面に例示されており以下に記載の明細書に記載されている実施形態を参照する。これによって本発明の範囲に対する限定が意図されるものではないことが更に理解される。本発明は、例示の実施形態に対するいずれかの変更及び修正を含み、本発明が関係する技術分野の当業者に通常思い浮かぶ本発明の原理の更なる適用を含むことが更に理解される。
【０００８】
ここに開示される方法は、磁気共鳴画像の訓練セットから椎体及び椎弓根(pedicle)の外観を学習するタンデム畳み込みニューラルネットワークに基づく自動椎体セグメンテーション方法の改良を提供する。一例では、セグメンテーションが実行されると、椎骨レベルが自動的に識別される。他の例では、セグメンテーションが実行されると、椎骨レベルは、接続成分に基づくアルゴリズムにより画像から抽出される。他の例では、椎間板メッシュは、モデリングされる椎間板に隣接する椎体の終板(endplate)に基づいてモデリングされる。
【０００９】
次に、図面を参照すると、図１は、ここに記載される少なくとも1つの実施形態による椎間板モデリングのための例示的な方法のフロー図である。各図におけるブロックは順番に図示されているが、いくつかの例では、ブロックは、並列に及び/又はここに記載されているものとは異なる順番で実行されてもよい。また、様々なブロックは、所望の実装に基づいて、より少ないブロックに結合されてもよく、更なるブロックに分割されてもよく、及び/又は、除去されてもよい。
【００１０】
ブロック102により示すように、方法100は、完全畳み込みネットワーク(FCN)と残差ニューラルネットワーク(ResNet)とを結合することを含む。一例では、様々な画像スキャナにより取得された画像データセットは、対象物によって異なるデータ分布をもたらす可能性がある。これは、ネットワークを訓練する際に困難を生じる可能性がある。この課題を克服するために、完全畳み込みネットワークを設計する前に、バイアスフィールド(bias  field)補正と等方性ボクセル(isotropic  voxel)への再サンプリングが画像データセットに対して実行される。例示的な実施形態によれば、画像を平滑化するために三次元異方性拡散フィルタが適用される。さらに、完全畳み込みネットワークは、全ての入力画像の強度分布を互いに類似させるように設計される。
【００１１】
ブロック104により示すように、方法100はまた、残差ニューラルネットワークと共に結合された完全畳み込みネットワークを端から端まで訓練することを含む。一例では、残差ニューラルネットワークは、サイズ512×512の二次元スライスに基づいて、画素毎の予測確率値を示す512×512の出力を生成する。一実施形態では、残差ニューラルネットワークは、図２に示すようなダウンサンプリング及びアップサンプリングプロセスを含む。この実施形態では、残差ニューラルネットワークアーキテクチャのダウンサンプリングプロセスは、3のカーネルサイズ、2つの単純ブロック(simple  block)及び3つの基本ブロック(basic  block)を有する畳み込み層を含む。これらの層の後に、層間のボトルネック(bottleneck)が続く。アップサンプリングプロセスの後に、1×1の畳み込み分類器(classifier)が続く。
【００１２】
一例では、ネットワークは、勾配降下最適化アルゴリズムを使用して訓練される。例えば、ネットワークは、減衰を0.001に設定したRMSprop勾配降下最適化アルゴリズムを使用して訓練される。この例では、初期学習速度は0.001に設定され、200エポックの後に0.0001まで低下する。一例では、残差ニューラルネットワークのセグメンテーション結果を更に洗練するために、三次元の完全に接続された条件付き確率場(conditional  random  field)が残差ニューラルネットワーク出力に適用される。それにより、設計された完全畳み込みネットワーク及び残りのニューラルネットワークは、端から端まで訓練される。
【００１３】
ブロック106により示すように、方法100はまた、脊椎分析の少なくとも1つの医用画像を受信することを含む。一例では、医用画像は、外科的処置の前の関連する分析の撮影された磁気共鳴画像である。
【００１４】
ブロック108により示すように、方法100はまた、残差ニューラルネットワークと共に完全畳み込みネットワークを受信した少なくとも1つの医用画像に適用し、脊椎分析の少なくとも1つの医用画像から少なくとも1つの椎体をセグメンテーションすることを含む。一例では、セグメンテーションされた椎体が与えられた場合、椎骨レベルは半自動的にラベル付けされる。例えば、ユーザは、セグメンテーションされた磁気共鳴画像においてL5椎骨のレベルを示す。この例では、三次元接続成分抽出アルゴリズム(three-dimensional  connected  component  extraction  algorithm)が、異なる椎骨領域をラベル付けするために適用される。一例では、所定の閾値よりも小さい隔離成分が除去される。この例では、離散マーチングキューブアルゴリズム(discrete  marching  cube  algorithm)が各成分に対して適用され、続いて、周波数領域において適用されるウィンドウサンプリング関数を使用するメッシュ平滑化プロセスが適用される。これは、各ボクセルに対して実行される補間カーネルとして実装される。さらに、どのレベルがユーザにより最下部の椎骨として定義されたかに依存して、残りの椎骨が順番にラベル付けされる。
【００１５】
一実施形態では、三次元椎骨面がセグメンテーションされた椎体から抽出されると、椎間板メッシュは、下部(lower)及び上位(superior)の椎骨の終板に基づいてモデリングされる。一例として、上部(top)椎骨の下位(inferior)終板と、隣接する下部椎骨の上位終板とが与えられた場合、メッシュの各点における法線が計算され、これは、多角形メッシュの法線を生成する。一例では、上部椎骨の下位終板は、所定の閾値未満の法線値を有する点を選択することによってクリッピングされる。この例では、下部椎骨の上位終板は、同じ所定の閾値よりも大きい法線値を有する点を選択することによってクリッピングされる。一例として、これは、隣接する面をクリッピングし、続いて、小さい隔離領域がメッシュのより大きい接続成分をフィルタ除去することにより除去される。1つのシナリオでは、異方性曲率フィルタリング技術を使用してガウス曲率が計算され、これは、2つのプレートから外れ値の曲率値を除去するのに役立つ。このシナリオでは、終板の不規則性を除去するために、15回の反復及び所定の弛緩係数を有するラプラシアンメッシュ平滑化が上部椎骨及び下部椎骨に適用される。さらに、結果の平滑化された終板は、ポアソン面再構成アルゴリズム(Poisson  surface  reconstruction  algorithm)を使用して接続される。
【００１６】
図１のフロー図は、本実施形態の1つの可能な実装の機能及び動作を示す。これに関して、各ブロックは、プロセス内の特定の論理機能又はステップを実装するためにプロセッサにより実行可能な1つ以上の命令を含むモジュール、セグメント又はプログラムコードの一部を表してもよい。プログラムコードは、例えば、ディスク又はハードドライブを含む記憶デバイスのようないずれかの種類のコンピュータ読み取り可能媒体に記憶されてもよい。コンピュータ読み取り可能媒体は、レジスタメモリ、プロセッサキャッシュ又はランダムアクセスメモリ(RAM,  Random  Access  Memory)のような短期間用のデータを記憶する非一時的なコンピュータ読み取り可能媒体、及び/又は、例えば、読み取り専用メモリ(ROM,  read  only  memory)、光若しくは磁気ディスク又はコンパクトディスク読み取り専用メモリ(CD-ROM,  compact-disc  read  only  memory)のような永続的な長期ストレージを含んでもよい。コンピュータ読み取り可能媒体は、いずれかの他の揮発性又は不揮発性記憶システムを含むことができてもよく或いは含んでもよい。コンピュータ読み取り可能媒体は、例えば、コンピュータ読取可能記憶媒体、有形の記憶デバイス又は他の製造物と考えられてもよい。
【００１７】
或いは、図１における各ブロックは、プロセス内の特定の論理機能を実行するように配線された回路を表してもよい。図１に示すような例示的な方法は、全体として或いは部分的に、クラウド内の1つ又は複数のコンポーネントにより実行されてもよい。しかし、例示的な方法は、本発明の範囲から逸脱することなく、代わりに他のエンティティ又はエンティティの組み合わせ(すなわち、他のコンピュータデバイス及び/又はコンピュータデバイスの組み合わせ)により実行されてもよいことが理解されるべきである。例えば、図１の方法の機能は、コンピュータデバイス(又は1つ以上のプロセッサのようなコンピュータデバイスのコンポーネント)により完全に実行されてもよく、或いは、コンピュータデバイスの複数のコンポーネントにわたって、複数のコンピュータデバイスにわたって、及び/又はサーバにわたって、分散されてもよい。
【００１８】
図３は、本開示の実施形態による板面のモデリングフレームワークの例示的な説明図である。図３に示すように、画像Aは、例示的な上部椎骨モデルを示す。画像Bは、どのようにファセット(facet)の法線が計算されるかの例を示す。画像Cは、クリッピングされた終板及び計算されたガウス曲率の例示的な図である。画像Dは、最終的にクリッピングされた終板を示す。画像Eは、上部のクリッピングされた終板と下部のクリッピングされた終板との間の板面の再構成を示す。
【００１９】
図４は、ここに記載される少なくとも1つの実施形態による椎間板モデリングのための例示的な方法のフロー図である。各図におけるブロックは順番に図示されているが、いくつかの例では、ブロックは、並列に及び/又はここに記載されているものとは異なる順番で実行されてもよい。また、様々なブロックは、所望の実装に基づいて、より少ないブロックに結合されてもよく、更なるブロックに分割されてもよく、及び/又は、除去されてもよい。
【００２０】
ブロック402により示すように、方法400は、完全畳み込みネットワーク(FCN)と残差ニューラルネットワーク(ResNet)とを結合することを含む。
【００２１】
ブロック404により示すように、方法400はまた、残差ニューラルネットワークと共に結合された完全畳み込みネットワークを端から端まで訓練することを含む。
【００２２】
ブロック406により示すように、方法400はまた、脊椎分析の少なくとも1つの磁気共鳴画像を受信することを含む。
【００２３】
ブロック408により示すように、方法400はまた、脊椎分析の少なくとも1つの磁気共鳴画像を受信し、残差ニューラルネットワークと共に完全畳み込みネットワークを受信した少なくとも1つの時期共鳴画像に適用し、脊椎分析の少なくとも1つの磁気共鳴画像から少なくとも1つの椎体をセグメンテーションすることを含む。
【００２４】
ブロック410により示すように、方法400はまた、セグメンテーションされた少なくとも1つの磁気共鳴画像から、(i)上部椎骨に対応する第1の三次元椎骨面及び(ii)下部椎骨に対応する第2の三次元椎骨面を抽出することを含み、下部椎骨は上部椎骨に隣接する。
【００２５】
ブロック412により示すように、方法400はまた、第1の三次元椎骨面及び第2の三次元椎骨面を含む面再構成に基づいて、椎間板メッシュをモデリングすることを含む。
【００２６】
［例1］
一例では、ここに記載された手法の性能は、2つの公に利用可能なデータセットに対して実行された。第1のデータセットは、下部椎骨のT2-wターボスピンエコー(turbo  spin-echo)三次元磁気共鳴画像を有する23個の対象物を含む。画像は、1.5T  Siemensスキャナで取得され、2×1.25×1.25mm^3のボクセルサイズに再サンプリングされた。T11からL5までの各椎体について、グラウンドトルース手動セグメンテーションが利用可能であった。異なるスキャナからの画像に対する設計された自動セグメンテーション方法の性能をテストするために、SpineWebからの下部脊椎の第2の公開データセットも使用された。第2のデータセットは、異なる寸法、ボクセル間隔及び強度範囲を有する20個の場合について、T2-w  MRI及びCTスキャンを含む。双方のデータセットについて、椎体及び椎弓根の手動アノテーションが実行された。
【００２７】
データセットのサイズを増加させるために、訓練データセットは、ランダムフリッピング(水平及び垂直)、シアーリング(0.41の最大範囲)、回転(10の最大範囲)、ランダムクロッピング(256×256)及びスプラインワーピングを使用して補強された。脊椎の反りは、粗い3×3の格子に対するランダム変位ベクトルを使用して生成された。変位は、20ピクセルの標準偏差のガウス分布からサンプリングされた。次いで、ピクセル当たりの変位は、バイキュービック補間を使用して計算された。
【００２８】
椎体セグメンテーション評価は、2DCNNと3DCNNと標準ResNetとの間で比較され、データセットを5倍の交差検証に分割した。個別の検証セットを作成するために、データ量の20%が除外された。タンデムディープニューラルネットワークを実装するために、Keras及びTheanoライブラリが使用された。性能検証のために、データセットに対して利用可能な手動セグメンテーションが、グラウンドトルースとして考えられた。さらに、提案した方法からの結果がグラウンドトルースアノテーションにどれだけ近いかについて推定が実行された。自動でセグメンテーションされた構造と対応する手動でアノテーションされた構造との間の重複量を示すDice係数も計算された。さらに、等高線平均距離(CMD,  contour  mean  distance)及びHausdorff距離(HD,  Hausdorff  distance)が、それぞれグラウンドトルースと自動セグメンテーションとの間の平均及び最大距離として計算された。
【００２９】
最後に、MRI自動セグメンテーション結果をCTグラウンドトルースセグメンテーションと比較するために、提案した出力は、利用可能なCT/MRIを有する20人の患者に対する対応するCT画像空間にレジストレーションされた。いくつかの場合、MRIスキャンはCTに比べてより多くの椎骨レベルを含み、したがって、ResNetの出力から余分なラベルが削除された。
【００３０】
ここに記載された発明の特徴は、目的を達成するための好ましい実施形態に関して記載されているが、本発明の真意又は範囲から逸脱することなく、これらの教示を考慮してバリエーションが達成され得ることは、当業者により認識される。
【図１】
2021500113.tif 000003
【図２】
2021500113.tif 000004
【図３ａ）】
2021500113.tif 000005
【図３ｂ）】
2021500113.tif 000006
【図３ｃ）】
2021500113.tif 000007
【図３ｄ）】
2021500113.tif 000008
【図３ｅ）】
2021500113.tif 000009
【図４】
2021500113.tif 000010
【国際調査報告】
2021500113.tif 000011
2021500113.tif 000012