(57)【要約】  金属影響X線データのボクセル表現の補正のためのコンピュータ実装方法が説明され、金属影響X線データは、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされたX線データ内のアーティファクトを表し、方法は、第1の3Dディープニューラルネットワークが、その入力において金属影響X線データの初期ボクセル表現を受け取り、その出力においてボクセルマップを生成することであって、ボクセルマップが、金属によって影響を受けるボクセルの領域に属する初期ボクセル表現のボクセルを識別すること、および第2の3Dディープニューラルネットワークが、その入力において、第1の3Dディープニューラルネットワークによって生成された初期ボクセル表現およびボクセルマップを受け取り、補正後ボクセル表現を生成することであって、補正後ボクセル表現が、ボクセルマップによって金属影響領域の部分であると識別されるボクセルについてのボクセル推定を含み、第1の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいてトレーニングされることを含む。
2021521962.tif 000002
【特許請求の範囲】
【請求項１】
金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現の補正のためのコンピュータ実装方法であって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされた前記X線データ内のアーティファクトを表し、前記方法が、
第1の3Dディープニューラルネットワークが、その入力において金属影響X線データの初期ボクセル表現を受け取り、その出力においてボクセルマップを生成するステップであって、前記ボクセルマップが、金属によって影響を受けるボクセルの領域に属する前記初期ボクセル表現のボクセルを識別する、ステップと、
第2の3Dディープニューラルネットワークが、その入力において、前記第1の3Dディープニューラルネットワークによって生成された前記初期ボクセル表現および前記ボクセルマップを受け取り、補正後ボクセル表現を生成するステップであって、前記補正後ボクセル表現が、前記ボクセルマップによって金属影響領域の部分であると識別されるボクセルについてのボクセル推定を含み、前記第1の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいてトレーニングされる、ステップと
を含む方法。
【請求項２】
前記第1の3Dディープニューラルネットワークが識別情報を決定するステップが、
前記第1の3Dディープニューラルネットワークが前記ボクセルマップを生成するステップであって、前記ボクセルマップの各ボクセルが、金属影響X線データの前記初期ボクセル表現のボクセルと、1つまたは複数の確率測度とに関連付けられ、前記1つまたは複数の確率測度のうちの第1の確率測度が、前記ボクセルが金属領域の部分である確率を表し、第2の確率測度が、前記ボクセルが金属影響領域の部分である確率を表す、ステップ
を含む請求項1に記載の方法。
【請求項３】
前記第1および第2の確率測度と、1つまたは複数のしきい値とに基づいて、前記初期ボクセル表現内のボクセルを、金属領域に属するボクセルと、金属影響領域に属するボクセルとに分類するステップ
をさらに含む請求項2に記載の方法。
【請求項４】
前記第1の確率測度および1つまたは複数の金属しきい値を使用して、各ボクセルについて、複数の金属クラスから選択された金属クラスを決定するステップであって、好ましくは前記複数の金属クラスが、非金属材料に関連付けられる第1の金属クラスと、金属または金属材料に関連付けられるボクセルの第2のクラスとを含む、ステップ
をさらに含む請求項2または3に記載の方法。
【請求項５】
前記第1の3Dディープニューラルネットワークおよび/または前記第2の3Dディープニューラルネットワークが、少なくとも3D畳込み層の第1のセット、好ましくは3D CNN特徴層の第1のセットを含む少なくとも第1のデータ処理経路と、前記第1の経路に平行な少なくとも第2のデータ処理経路とを備え、前記第2の経路が、3D畳込み層の第2のセット、好ましくは3D CNN特徴層の第2のセットを含み、3D畳込み層の前記第2のセットが、3D畳込み層の前記第1のセットの入力に供給されるボクセルのブロックに関連するコンテキスト情報を決定するように構成される請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記トレーニングデータが、前記患者の前記身体部分の金属ベースの治療前の前記身体部分の臨床X線データのボクセル表現と、前記患者の前記身体部分の金属ベースの治療後の前記身体部分の臨床X線データのボクセル表現とを含み、前記基準データが、前記身体部分の金属ベースの治療に関連する金属領域が識別される、前記金属ベースの治療前の前記患者の前記身体部分の臨床X線データのボクセル表現を含む請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記第2の3Dディープニューラルネットワークが、前記初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされ、トレーニング中に、前記3Dディープニューラルネットワークが、前記トレーニングデータの1つまたは複数の特性および前記基準データの1つまたは複数の特性に従う関係に基づいて補正後ボクセル表現を最適化するように選択された第1の重みおよび偏りでパラメータ化される請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記第1のおよび/または第2の3Dディープニューラルネットワークが、3D畳込みニューラルネットワーク、3D敵対的生成ニューラルネットワーク、または3Dリカレントディープニューラルネットワークを含み、かつ/またはその部分である請求項1から7のいずれか一項に記載の方法。
【請求項９】
金属影響X線データのボクセル表現を補正するようにディープニューラルネットワークシステムをトレーニングするためのコンピュータ実装方法であって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされる前記X線データ内のアーティファクトを表し、前記方法が、
コンピュータがトレーニングデータおよび基準データを受け取るステップであって、前記トレーニングデータが、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現と、金属ベースの治療後の前記患者の前記身体部分の臨床X線データのボクセル表現とを含み、前記基準データが、前記金属ベースの治療に関連する金属領域が識別される、前記金属ベースの治療前の前記患者の前記身体部分の臨床X線データのボクセル表現を含む、ステップと、
前記コンピュータが、金属ベースの治療後の前記患者の前記身体部分の臨床X線データの前記ボクセル表現に関連する1つまたは複数のボクセルマップを受け取るステップであって、ボクセルマップが、金属ベースの治療後の前記患者の前記身体部分の臨床X線データのボクセル表現内の金属影響ボクセルを識別する、ステップと、
前記コンピュータが、前記トレーニングデータおよび前記基準データを使用して、前記3Dディープニューラルネットワークをトレーニングし、金属影響領域に属するボクセルと前記ボクセルマップによって分類されるボクセルについてのボクセル予測を生成し、前記ボクセル予測に基づいて金属影響X線データのボクセル表現内の前記金属影響ボクセルを補正するステップと
を含む方法。
【請求項１０】
金属影響X線データのボクセル表現を処理するようにニューラルネットワークをトレーニングするための方法であって、
トレーニングデータを生成するステップであって、前記トレーニングデータが、金属ベースの治療前の患者の身体部分のX線データの1つまたは複数のボクセル表現、前記患者の前記身体部分の金属ベースの治療後の金属影響X線データの1つまたは複数のボクセル表現、および1つまたは複数のボクセルマップを含み、前記1つまたは複数のボクセルマップのそれぞれが、前記金属影響X線データのボクセル表現内のボクセルが金属領域および/または金属影響領域に属するかどうかを識別する、ステップと、
基準データを生成するステップであって、前記基準データが、前記金属ベースの治療前の前記患者の前記身体部分のX線データのボクセル表現を含む、ステップと、
前記トレーニングデータの1つまたは複数の特性および前記基準データの1つまたは複数の特性に従う第1の重みおよび偏りによってパラメータ化されるジェネレータニューラルネットワーク、好ましくはジェネレータ3Dディープニューラルネットワークをトレーニングするステップであって、前記ジェネレータニューラルネットワークが、その入力において金属影響X線データの初期ボクセル表現を受け取り、その出力において補正後ボクセル表現を生成するようにトレーニングされ、前記補正後ボクセル表現が、ボクセルマップによって金属影響領域の部分であると識別される前記初期ボクセル表現のボクセルについてのボクセル推定を含み、前記ジェネレータ3Dディープニューラルネットワークの前記トレーニングが、前記第1の重みおよび偏りのうちの1つまたは複数を修正して、前記トレーニングデータの前記1つまたは複数の特性および前記基準データの前記1つまたは複数の特性に従う関係に基づいて前記補正後ボクセル表現を最適化することを含む、ステップと、
金属影響領域の部分であるボクセルについてのボクセル推定を含む前記補正後ボクセル表現の1つまたは複数の特性と、前記基準データの1つまたは複数の特性とに従う第2の重みおよび偏りによってパラメータ化されるディスクリミネータニューラルネットワーク、好ましくはディスクリミネータ3Dディープニューラルネットワークをトレーニングするステップであって、前記ディスクリミネータ3Dディープニューラルネットワークが、前記ジェネレータニューラルネットワークによって生成された金属領域および補正後ボクセル表現を含む、患者の身体部分、好ましくは患者の歯顎顔面構造を表すX線データのボクセル表現間を弁別するようにトレーニングされる、ステップと、
前記ジェネレータニューラルネットワークの前記トレーニング中に前記ディスクリミネータニューラルネットワークから得られる情報を利用するステップと
を含む方法。
【請求項１１】
金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現の補正の方法であって、
金属影響X線データを表す初期ボクセル表現を受け取るステップであって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされた前記X線データ内のアーティファクトを表す、ステップと、
ジェネレータ3Dディープニューラルネットワークを使用して前記初期ボクセル表現に基づいて補正後ボクセル表現を生成するステップであって、前記ジェネレータ3Dディープニューラルネットワークが、トレーニングデータおよび基準データに基づいて、前記初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされ、前記トレーニングデータおよび基準データが、患者の所定の身体部分の臨床X線データのボクセル表現を含む、ステップと
を含み、
前記トレーニング中に、前記ジェネレータ3Dディープニューラルネットワークが、前記トレーニングデータの1つまたは複数の特性および前記基準データの1つまたは複数の特性に従う関係に基づいて、かつ前記ジェネレータ3Dディープニューラルネットワークの前記トレーニング中にディスクリミネータ3Dディープニューラルネットワークから得られる情報に基づいて前記補正後ボクセル表現を最適化するように選択された第1の重みおよび偏りによってパラメータ化され、前記ディスクリミネータ3Dディープニューラルネットワークが、前記ジェネレータ3Dディープニューラルネットワークによって生成された金属領域および補正後ボクセル表現を含む、患者の身体部分、好ましくは患者の歯顎顔面構造を表すX線データのボクセル表現間を弁別するようにトレーニングされる、方法。
【請求項１２】
前記ジェネレータ3Dディープニューラルネットワークおよび/または前記ディスクリミネータ3Dディープニューラルネットワークが、3D畳込みニューラルネットワークおよび/または3Dディープリカレントニューラルネットワークとして構成される請求項10または11に記載の方法。
【請求項１３】
金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現を補正するように適合されたコンピュータシステムであって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされた前記X線データ内のアーティファクトを表し、前記システムが、
それと共に実施されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、前記プログラムコードが、前処理アルゴリズム、および少なくとも、トレーニングされた第1の3Dディープニューラルネットワーク、前記コンピュータ可読プログラムコードを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサであって、前記第1のコンピュータ可読プログラムコードを実行することに応答して、
第1の3Dディープニューラルネットワークの入力に金属影響X線データの初期ボクセル表現を提供することであって、前記第1の3Dディープニューラルネットワークが、その出力においてボクセルマップを生成するようにトレーニングされ、前記ボクセルマップが、金属によって影響を受けるボクセルの領域に属する前記初期ボクセル表現のボクセルを識別すること、
前記初期ボクセル表現および前記第1の3Dディープニューラルネットワークによって生成された前記ボクセルマップを第2の3Dディープニューラルネットワークの入力に提供することであって、前記第2の3Dディープニューラルネットワークが、補正後ボクセル表現を生成するようにトレーニングされ、前記補正後ボクセル表現が、金属影響領域の部分であると前記ボクセルマップによって識別されるボクセルについてのボクセル推定を含み、前記第1の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいてトレーニングされること
を含む実行可能な動作を実施するように構成されるプロセッサと
を備えるシステム。
【請求項１４】
コンピュータのメモリ内で実行されるとき、請求項1から12のいずれか一項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディープラーニング技法を使用するX線データの金属影響ボクセル表現の自動補正に関し、詳細には、限定はしないが、ディープラーニング技法を使用するX線データの金属影響ボクセル表現の補正のための方法およびシステム、金属影響X線のボクセル表現を補正するようにディープニューラルネットワークシステムをトレーニングするための方法、およびそのような方法を実行するためのコンピュータプログラム製品に関する。
【背景技術】
【０００２】
CT走査中に、組織の異なるエリアが、所定の強度のX線放射ビームによって異なる角度で露出されると共に、センサのアレイが、組織を通って移動したX線ビームの強度を測定する。センサによって測定された、減衰した放射ビームに基づいて、組織内の異なるエリアにおけるX線放射の吸収が測定され得る。走査中に取得されたデータは、一般にサイノグラムと呼ばれる、異なる振幅および位相を有する正弦波信号のセットの形態を取る。再構成アルゴリズムが、サイノグラムを使用して、走査した組織の2Dまたは3D画像を再構成し得る。そのような再構成アルゴリズムは一般に逆投影と呼ばれる。
【０００３】
組織が、生物材料の吸収係数から強く逸脱する高い吸収係数を有する材料を含むとき、逆投影を使用して画像を再構成しようと試みるときに問題が生じ得る。たとえば、歯科の分野では、より高い吸収係数を有する比較的高密度の金属材料(たとえば、アマルガム、金、銀、パラジウム、チタンなど)から通常は作成される金属インプラントおよび/または歯科充填材が、構成された画像に、走査される実際の組織または他の構造密度値を表さない矛盾、たとえば一見すると欠落しているデータ点または不正確なデータ点を導入し得る。高密度材料によって引き起こされるこれらの矛盾は、一般に金属アーティファクト、または略してアーティファクトと呼ばれることがある(文献では「アーティファクト」の代わりに「アーチファクト」という用語がしばしば使用される)。
【０００４】
アーティファクトは、診断プロセス、たとえば専門医または自動コンピュータベース診断システムによって実行される診断プロセスに干渉し得るので、深刻な問題をもたらし得る。アーティファクトの問題は、短波長電離放射の使用が潜在的な健康被害についての懸念を引き起こすことによる、CT検診での線量削減の一般的傾向によって高まる。線量削減の欠点は、再構成されたCT画像内のノイズの増大である。さらに、口腔外科、歯内療法、歯科矯正などの医学分野では、コーンビームCT(CBCT)スキャナなどの小型CTスキャナがますます使用されている。CBCTスキャナはコンパクトな低線量スキャナであり、X線ビームがコーンの形状を有する。CBCT技法は従来型CT走査技法と多くの類似性を共有するが、大きな違いもある。たとえば、CBCTは2Dアレイのセンサおよびコーンビーム形状のX線ビームを使用するので、コーンビーム再構成アルゴリズムは、従来型CTスキャナの典型的な再構成アルゴリズムとは異なる。さらに、CBCT走査では、走査における異なるエリアが、走査中の器官内のその相対位置に応じて、異なるグレイスケール値と共に出現するので、ハウンスフィールド単位(HU)で測定された無線密度は一貫していない。CBCTスキャナと医療用CTスキャナの両方を用いて同一の解剖学的エリアから測定されたHUは同一ではなく、したがって部位特有の、放射線画像で識別された測定密度の決定のためには信頼できない。この違いのために、高密度材料の有害な効果が、スキャナおよび逆投影技法のタイプに応じて画像内に様々に現れる。
【０００５】
一般的な「タイプ」のアーティファクトの概要が、たとえばSchultze他による論文Artefacts in CBCT: a review, Dentomaxillofacial Radiology、2011年7月、40(5): 265〜273頁において説明されており、その記事では、吸光アーティファクト、ビーム硬化アーティファクト、指数関数的エッジ勾配効果(EEGE)、リングアーティファクト、エイリアシングアーティファクト、およびモーションアーティファクトを含む様々なタイプのアーティファクトが識別され、そのうちの最初の3つが特に重要である。吸光アーティファクトは「欠落値」アーティファクトと見なされ得る。そのようなアーティファクトは、走査される物体が高吸収材料、たとえば金冠を含むときに現れる。そのケースでは、高密度金属がその真後ろにある材料を「隠す」。これらのエリアは放射ビームによって適切にアクセスすることができず、高吸収材料の隣に「ブラックエリア」が生じる。ビーム硬化アーティファクトは主に、高密度材料および/または高原子番号とX線源の低波長光子との間の反比例関係によって引き起こされる。高密度材料による光子の吸収のために、金属物体の後ろの経路において相対的に多くの吸収が記録され、誤差がボリューム内に逆投影され、その結果、画像内にブラックストリークが生じる。さらに、2つの隣接する構造が密度および/または原子番号において高いコントラストを有するとき、指数関数的エッジ勾配効果(EEGE)が現れる。逆投影アルゴリズムは、記録されたビームにわたって、測定された強度を平均するので、金属の隣にX線投影方向のストリークを引き起こす。
【０００６】
したがって、複数の発生源が、サイノグラムに基づいて再構成されるCT画像内のアーティファクトの出現に寄与し得る。高密度材料に関する特徴(厚さ、密度、原子番号など)、ならびにスキャナ、走査方法(たとえば、スキャナタイプ、センサタイプ、センサ幾何形状、センサ品質、X線源の波長など)、および再構成方法に関する特徴が、再構成された画像内にこれらのアーティファクトが出現する深刻さおよび方式に寄与し得る。これらの要素は、CTデータからのアーティファクトの除去を難しい問題にする。
【０００７】
CT画像内のアーティファクトを削減すると共に、画像内の重要な細部を保持するためのいくつかの方法が提案されている。これらの方法は金属アーティファクト削減(MAR)方法と呼ばれる。一般的なMAR方法には、線形補間、ビーム硬化補正方法、および正規化金属アーティファクト削減方法が含まれる。Meyer他の論文Normalized metal artifact reduction NMAR in computed tomography、Medical Physics、Vol. 37、No.10、2010年10月、5482〜5493頁において説明されているように、一般的なMAR方法は、サイノグラム領域において、すなわちサイノグラムをピクセルまたはボクセルベースの画像に変換する前に実行される。これらの方法は、金属によって影響を受ける投影データの部分を欠落データとして扱う。画像内の1つまたは複数の金属物体を決定するために閾値処理方法が使用され、金属によって影響を受けるサイノグラム内の信号を決定するために、金属のみの画像の順投影が使用され得る。次いで、補間および順投影技法がサイノグラムに適用され、影響を受けるデータが代理データで置き換えられる。そのようなMAR技法は、サイノグラムデータへのアクセスと、サイノグラムが生成されたときに使用される走査および逆投影方法の知識とを必要とする。さらに、技法は、かなりの計算資源を必要とする、複数の順投影および逆投影計算ならびに画像閾値処理を使用する。したがって、改善にも関わらず、現在のMAR技法は、効率的かつ確実にX線データ内のアーティファクトを自動的に除去することができ、または少なくとも削減することのできる汎用的な解決策を提供しない。
【０００８】
近頃、MARプロセスにおいてニューラルネットワークが使用されている。Zhang他(2017年)は、その論文「Convolutional Neural Network based Metal Artifact Reduction in X-ray Computed Tomography」において、畳込みニューラルネットワーク(CNN)がアーティファクト削減のための有用な情報を学習することを可能にするために、従来型MAR方法に基づいて処理された画像に基づいてトレーニングされた2D CNNによるCT画像のアーティファクトの削減を説明している。金属アーティファクトが計算でシミュレートされた。CNNは先に画像を生成し、その後で画像が、元の未補正データおよび金属トレースデータと共にサイノグラム領域において処理され、補正後サイノグラムが形成される。補正後サイノグラムが補正後画像に変換された。アーティファクトの削減が達成されたが、残っているアーティファクトは依然としてかなりのものであった。Gjetseby他による研究「Deep learning methods for CT image-domain metal artefact reduction」、SPIE、Vol. 10391、25-9-2017では、最新技術のサイノグラム領域NMAR技法と2D-CNNの組合せが適用され、特に2D画像上の金属ストリークが削減される。画像がまずNMAR技法によって再構成され、その結果、再構成後画像にかなりの金属ストリークアーティファクトが残る。次いで、金属ストリーキングが削減された再構成後CT画像を決定するために、再構成後画像が2D CNN CNNの入力に供給される。
【０００９】
多くの現実的な状況では、(たとえばDICOMフォーマットの)CTデータのボクセル(またはピクセル)表現にアクセスできるだけであり、CTデータを生成したシステムについての技術的知識が全く、またはほとんどない。Zhang他(2018)は、U-Netと呼ばれるタイプの畳込みニューラルネットワークを、シミュレートされた汚染された(いくつかの画像ひずみによって影響を受けた)画像および基準画像に適用し、残留画像、すなわちこれらの汚染された画像と基準画像との間の不一致を予測するために使用される(U-netによってトレーニングされた)演算子を得、したがって基準画像を模倣することを目指す。データは、腹部の汚染されていないCT画像内に仮想金属を挿入することによって数値的にシミュレートされる。シミュレートされたデータに関するその結果は有望に見えるが、その2D CT画像基準データセットを作成するために使用される通常のMAR方法のために、現実世界画像への適用は従来の方法に勝るものではない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】欧州特許出願第17179185.8号
【非特許文献】
【００１１】
【非特許文献１】Schultze他、Artefacts in CBCT: a review, Dentomaxillofacial Radiology、2011年7月、40(5): 265〜273頁
【非特許文献２】Meyer他、Normalized metal artifact reduction NMAR in computed tomography、Medical Physics、Vol. 37、No.10、2010年10月、5482〜5493頁
【非特許文献３】Zhang他(2017年)、Convolutional Neural Network based Metal Artifact Reduction in X-ray Computed Tomography
【非特許文献４】Gjetseby他、Deep learning methods for CT image-domain metal artefact reduction、SPIE、Vol. 10391、25-9-2017
【発明の概要】
【発明が解決しようとする課題】
【００１２】
したがって、上記より、アーティファクトによって影響を受ける、ボクセルなどの3Dデータの自動再構成のための改良型の方法およびシステムが当技術分野において求められている。具体的には、((CB)CTスキャナのセンサデータに基づいて生成された)組織のボクセル表現内の高密度材料によって引き起こされたアーティファクトがそのような改良型の方法およびシステムによって自動的に識別され、アーティファクトが存在しないボクセル値の正確な推定を与えるボクセルで置き換えられると共に、たとえばチタンインプラント、複合充填材などの高密度材料のボクセルをそのままに保つことが望まれる。
【課題を解決するための手段】
【００１３】
当業者は理解するであろうが、本発明の態様は、システム、方法、またはコンピュータプログラム製品として実施され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェア態様とハードウェア態様を組み合わせる実施形態の形態を取り得、それらは、本明細書においてすべて全般的に「回路」、「モジュール」、または「システム」と呼ばれ得る。本開示において説明する機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装され得る。さらに、本発明の態様は、その上で実施された、たとえば記憶されたコンピュータ可読プログラムコードを有する、1つまたは複数のコンピュータ可読媒体内で実施されたコンピュータプログラム製品の形態を取り得る。
【００１４】
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、たとえば、限定はしないが、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、あるいは上記の任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)には、1つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読取り専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組合せが含まれる。本文書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用、またはそれらと一緒の使用のためのプログラムを含み、または記憶し得る任意の有形媒体であり得る。
【００１５】
コンピュータ可読信号媒体は、たとえばベースバンド内で、または搬送波の部分として、その中で実施されたコンピュータ可読プログラムコードを伴う伝播データ信号を含み得る。そのような伝播信号は、限定はしないが、電磁的、光学的、またはそれらの任意の適切な組合せを含む、様々な形態のいずれかを取り得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、命令実行システム、装置、もしくはデバイスによる使用、またはそれらと一緒の使用のためのプログラムを通信、伝播、または移送し得る任意のコンピュータ可読媒体であり得る。
【００１６】
コンピュータ可読媒体上で実施されたプログラムコードは、限定はしないが、ワイヤレス、ワイヤーライン、光ファイバ、ケーブル、RFなど、または上記の任意の適切な組合せを含む任意の適切な媒体を使用して送信され得る。本発明の態様のための動作を実施するためのコンピュータプログラムコードは、Java(商標)、Scala、C++、Pythonなどの関数型またはオブジェクト指向プログラミング言語、および「C」プログラミング言語や類似のプログラミング言語などの従来の手続型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組合せで書かれ得る。プログラムコードは、完全にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、かつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータ、サーバ、もしくは仮想化サーバ上で実行し得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され得、または(たとえば、インターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータに接続が行われ得る。
【００１７】
本発明の態様が、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照しながら以下で説明される。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図中のブロックの組合せがコンピュータプログラム命令によって実装され得ることを理解されよう。これらのコンピュータプログラム命令が、プロセッサ、具体的には汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のマイクロプロセッサもしくは中央演算処理装置(CPU)、またはグラフィックス処理装置(GPU)に与えられ、マシンが生成され得、それによって、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスのプロセッサを介して実行する命令が、フローチャートおよび/またはブロック図のブロックにおいて指定される機能/動作を実装するための手段を生み出す。
【００１８】
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定の方式で機能するように指示し得るコンピュータ可読媒体内に記憶され得、それによって、コンピュータ可読媒体内に記憶された命令は、フローチャートおよび/またはブロック図のブロックにおいて指定される機能/動作を実装する命令を含む製造品を生み出す。
【００１９】
コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実施させ、コンピュータ実装プロセスが生成され得、それによって、コンピュータまたは他のプログラマブル装置上で実行する命令は、フローチャートおよび/またはブロック図のブロックにおいて指定される機能/動作を実装するためのプロセスを提供する。
【００２０】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点で、フローチャートまたはブロック図中の各ブロックは、指定の論理的機能を実装するための1つまたは複数の実行可能命令を含む、コードのモジュール、セグメント、または部分を表し得る。代替実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で行われ得ることに留意されよう。たとえば、連続して示される2つのブロックは、実際にはほぼ同時に実行され得、またはブロックは、関係する機能に応じて、時には逆の順序で実行され得る。ブロック図および/またはフローチャート図の各ブロックと、ブロック図および/またはフローチャート図中のブロックの組合せが、指定の機能もしくは動作を実施する専用のハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組合せによって実装され得ることにも留意されよう。
【００２１】
本開示での実施形態の目的は、ディープラーニング技法を使用してX線データの金属影響ボクセル表現を自動的に補正することである。好ましくは、X線データが、3D画像を形成するボクセルとして表現され、コーンビームCT(CBCT)スキャナなどの低線量CTスキャナを使用して生成される。3D画像は通常、生物学的組織、たとえば身体の歯顎顔面領域、または胸郭領域などの他の領域を表す。ここで、金属影響X線データ、たとえばボクセルは、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされたX線データ内のアーティファクトを表し得る。
【００２２】
一態様では、本発明は、金属影響X線データのボクセル表現の補正のためのコンピュータ実装方法であって、第1の3Dディープニューラルネットワークが、その入力において金属影響X線データの初期ボクセル表現を受け取り、その出力においてボクセル識別情報を生成することであって、ボクセル識別情報が、金属によって影響を受けるボクセルの領域に属する初期ボクセル表現の少なくともボクセルを識別すること、および第2の3Dディープニューラルネットワークが、その入力において、第1の3Dディープニューラルネットワークによって生成された初期ボクセル表現およびボクセル識別情報を受け取り、その出力において補正後ボクセル表現を生成することであって、補正後ボクセル表現が、ボクセルマップによって金属影響領域の部分であると識別されるボクセルについてのボクセル推定を含み、第1の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいてトレーニングされる、生成することを含む、方法に関する。一実施形態では、X線データは3D(CB)CTデータであり得る。
【００２３】
したがって、第1のニューラルネットワークが、金属影響X線データ(アーティファクト)に関連するボクセル表現のボクセルと、アーティファクトに属さないボクセル、すなわち走査される身体部分の組織を表すボクセルとを自動的に区別するようにトレーニングされる。この情報は、第1のニューラルネットワークの出力においてボクセル識別情報の形で生成され得る。情報は、アーティファクトに属する金属影響X線データのボクセル表現のボクセル値を、臨床トレーニングデータに基づいて第2のニューラルネットワークによって推定されるボクセル値で置き換えるために、第2のニューラルネットワークによって使用され得る。このようにして、方法は、X線画像装置(画像装置はスキャナについての別の用語と見なされる)、または画像を生成するために使用された逆投影方法の特定の知識を必要とせずに、X線画像である3D(CB)CT画像データからアーティファクトを除去する効果的な方式を提供し得る。さらに、方法は、サイノグラム領域の投影データを処理する必要がない。
【００２４】
一実施形態では、第1の3Dディープニューラルネットワークが識別情報を決定することは、第1の3Dディープニューラルネットワークがボクセルマップを生成することを含み、ボクセルマップの各ボクセルが、金属影響X線データの初期ボクセル表現のボクセルと、1つまたは複数の確率測度とに関連付けられ、1つまたは複数の確率測度のうちの第1の確率測度が、ボクセルが金属領域の部分である確率を表し、第2の確率測度が、ボクセルが金属影響領域の部分である確率を表す。この点で、「ボクセルマップ」は、ボクセル識別情報(のサブセットおよび/または部分)と見なされ得る。この点での領域は、ボクセルのセットが、第1の測度のケースにおいてそれぞれ金属(または金属製)である現実世界3Dボリュームの部分であり、ボクセルのセットが、第2の測度のケースにおいて現実世界の状況内に存在する金属によって影響を受けるために初期ボクセル表現において決定された不正確な値を有すると見なされるべきである。
【００２５】
一実施形態では、方法は、第1および第2の確率測度と、1つまたは複数のしきい値とに基づいて、初期ボクセル表現内のボクセルを、金属領域に属するボクセルと、金属影響領域に属するボクセルとに分類することをさらに含み得る。
【００２６】
一実施形態では、方法は、第1の確率測度および1つまたは複数の金属しきい値を使用して、各ボクセルについて、複数の金属クラスから選択された金属クラスを決定することをさらに含み得、好ましくは複数の金属クラスが、非金属材料に関連付けられる第1の金属クラスと、金属または金属材料に関連付けられるボクセルの第2のクラスとを含む。
【００２７】
一実施形態では、第1の3Dディープニューラルネットワークおよび/または第2の3Dディープニューラルネットワークは、少なくとも3D畳込み層の第1のセット、好ましくは3D CNN特徴層の第1のセットを含む少なくとも第1のデータ処理経路と、第1の経路に平行な少なくとも第2のデータ処理経路とを含み、第2の経路が、3D畳込み層の第2のセット、好ましくは3D CNN特徴層の第2のセットを含み、3D畳込み層の第2のセットが、3D畳込み層の第1のセットの入力に供給されるボクセルのブロックに関連するコンテキスト情報を決定するように構成される。
【００２８】
一実施形態では、トレーニングデータは、患者の身体部分の金属ベースの治療前の身体部分の臨床X線データのボクセル表現と、患者の身体部分の金属ベースの治療後の身体部分の臨床X線データのボクセル表現とを含み得、基準データは、身体部分の金属ベースの治療に関連する金属領域がそのように識別される、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現を含む。そのような基準データ(のサブセットおよび/または処理済みバージョン)は、前述のように、ボクセルマップ、実際にはボクセル識別情報の正確な生成に向けて最適化するために利用され得る。
【００２９】
一実施形態では、第2の3Dディープニューラルネットワークは、初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされ得、トレーニング中に、3Dディープニューラルネットワークが、トレーニングデータの1つまたは複数の特性および基準データセットの1つまたは複数の特性に従う関係に基づいて補正後ボクセル表現を最適化するように選択された第1の重みおよび偏りによってパラメータ化される。
【００３０】
一実施形態では、第1および/または第2の3Dディープニューラルネットワークは、3D畳込みニューラルネットワーク、3D敵対的生成ニューラルネットワーク、または3Dリカレントディープニューラルネットワークを含み、かつ/またはその部分であり得る。
【００３１】
一態様では、本発明は、金属影響X線データのボクセル表現を補正するようにディープニューラルネットワークシステムをトレーニングするためのコンピュータ実装方法であって、コンピュータがトレーニングデータおよび基準データを受け取ることであって、トレーニングデータが、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現と、金属ベースの治療後の患者の身体部分の臨床X線データのボクセル表現とを含み、基準データが、金属ベースの治療に関連する金属領域がそのように識別される、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現を含むこと、コンピュータが、金属ベースの治療後の患者の身体部分の臨床X線データのボクセル表現に関連するボクセルマップを受け取ることであって、ボクセルマップが、金属ベースの治療後の患者の身体部分の臨床X線データのボクセル表現内の金属影響ボクセルを識別すること、およびコンピュータが、トレーニングデータおよび基準データを使用して、3Dディープニューラルネットワークをトレーニングし、金属影響領域に属するボクセルとボクセルマップによって分類されるボクセルについてのボクセル予測を生成し、ボクセル予測に基づいて金属影響X線データのボクセル表現内の金属影響ボクセルを補正することを含む、方法に関する。
【００３２】
別の態様では、本発明は、金属影響X線データのボクセル表現を処理するようにニューラルネットワークをトレーニングして、トレーニングデータセットおよび基準データセットを使用して金属影響領域の部分であるボクセルについてのボクセル推定を生成するための方法であって、金属ベースの治療前の患者の身体部分のX線データのボクセル表現、金属ベースの治療後の患者の身体部分の金属影響X線データのボクセル表現、およびボクセルマップを含むトレーニングデータのセットを生成することであって、金属影響X線データのボクセル表現内のボクセルが金属領域および/または金属影響領域に属するかどうかを識別すること、金属ベースの治療前の患者の身体部分のX線データのボクセル表現を含む基準データセットを生成すること、トレーニングデータの1つまたは複数の特性および基準データセットの少なくとも1区間の1つまたは複数の特性に従う第1の重みおよび偏りによってパラメータ化されるジェネレータニューラルネットワーク、好ましくはジェネレータ3Dディープニューラルネットワークをトレーニングすることであって、ジェネレータニューラルネットワークが補正後ボクセル表現を生成するようにトレーニングされ、補正後ボクセル表現が、ボクセルマップによって金属影響領域の部分であると識別されるボクセルについてのボクセル推定を含み、ジェネレータ3Dディープニューラルネットワークのトレーニングが、第1の重みおよび偏りのうちの1つまたは複数を修正して、トレーニングデータの1つまたは複数の特性および基準データセットの1つまたは複数の特性に従う関係に基づいて補正後ボクセル表現を最適化することを含むこと、ならびに金属影響領域の部分であるボクセルについてのボクセル推定を含む補正後ボクセル表現の1つまたは複数の特性と、基準データセットの少なくとも1区間の1つまたは複数の特性とに従う第2の重みおよび偏りによってパラメータ化されるディスクリミネータニューラルネットワーク、好ましくはディスクリミネータ3Dディープニューラルネットワークをトレーニングすることであって、ディスクリミネータ3Dディープニューラルネットワークが、処理済みボクセル表現から金属影響X線データのボクセル表現を弁別するようにトレーニングされることを含む方法に関する。ディスクリミネータ3Dディープニューラルネットワークから得られる情報が、ジェネレータ3Dディープニューラルネットワークの最適化中に利用され得る。
【００３３】
さらに別の態様では、本発明は、金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現の補正の方法であって、金属影響X線データを表す初期ボクセル表現を受け取ること、初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされたジェネレータ3Dディープニューラルネットワークを使用することによって、初期ボクセル表現から補正後ボクセル表現を生成することであって、ジェネレータ3Dディープニューラルネットワークが、トレーニングデータの1つまたは複数の特性および基準データセットの1つまたは複数の特性に従う関係に基づいて処理済みボクセル表現を最適化するように選択された第1の重みおよび偏りによってパラメータ化され、前記ジェネレータ3Dディープニューラルネットワークの前記最適化およびトレーニング中に、ディスクリミネータ3Dディープニューラルネットワークから得られる情報が利用されることを含む方法に関する。
【００３４】
一実施形態では、ジェネレータ3Dディープニューラルネットワークおよび/またはディスクリミネータ3Dディープニューラルネットワークは、3D畳込みニューラルネットワークおよび/または3Dディープリカレントニューラルネットワークとして構成され得る。
【００３５】
別の態様では、本発明は、金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現を補正するように適合されたコンピュータシステムであって、それと共に実施されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、プログラムコードが、前処理アルゴリズム、および少なくとも、トレーニングされた第1の3Dディープニューラルネットワーク、コンピュータ可読プログラムコードを含む、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサであって、第1のコンピュータ可読プログラムコードを実行することに応答して、第1の3Dディープニューラルネットワークの出力においてボクセル識別情報を受け取る第1の3Dディープニューラルネットワークの入力に金属影響X線データの第1のボクセル表現を提供することであって、ボクセル識別情報が、金属によって影響を受けるボクセルの領域に属する第1のボクセル表現の少なくともボクセルを識別すること、第1の3Dディープニューラルネットワークによって生成された第1のボクセル表現およびボクセル識別情報をその入力において受け取る第2の3Dディープニューラルネットワークを提供し、ボクセル識別情報によって識別される第1のボクセル表現の各ボクセルについて、その出力において予測ボクセル値を生成することであって、第2の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいて予測ボクセル値を予測すること、およびボクセルマップによって識別されるボクセル位置での予測ボクセル値を含む補正後の第1のボクセル表現を決定することを含む実行可能な動作を実施するように構成されるプロセッサとを備えるコンピュータシステムに関係し得る。
【００３６】
本発明はまた、コンピュータのメモリ内で実行されるとき、前述のプロセスステップのいずれかによる方法ステップを実行するように構成されたソフトウェアコード部分を含むコンピュータプログラム製品に関係し得る。
【００３７】
本発明による実施形態を概略的に示す添付の図面を参照しながら、本発明がさらに示される。本発明はいかなる形でもこれらの特定の実施形態に制限されないことを理解されよう。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するためのシステムの高レベルの概観を示す図である。
【図２】本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するように構成されたシステムを示す図である。
【図３】本発明の一実施形態による、ボクセル表現内の金属影響領域を決定するためのシステムを示す図である。
【図４】本発明の一実施形態による、金属影響X線データのボクセル表現を分類するように3Dディープニューラルネットワークをトレーニングする方法を示す図である。
【図５Ａ】本発明の一実施形態による、金属影響X線データのボクセル表現を分類するための3Dディープニューラルネットワークアーキテクチャの例を示す図である。
【図５Ｂ】本発明の一実施形態による、金属影響X線データのボクセル表現を分類するための3Dディープニューラルネットワークアーキテクチャの例を示す図である。
【図６】本発明の一実施形態による、金属影響X線データのボクセル表現を補正するためのシステムを示す図である。
【図７Ａ】本発明の一実施形態による、金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングする方法を示す図である。
【図７Ｂ】本発明の一実施形態による、金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングする方法を示す図である。
【図８Ａ】本願における実施形態において利用され得るボクセル表現の例を示す図である。
【図８Ｂ】本願における実施形態において利用され得るボクセル表現の例を示す図である。
【図９Ａ】本開示における実施形態によって利用または生成され得るボクセル表現を示す図である。
【図９Ｂ】本開示における実施形態によって利用または生成され得るボクセル表現を示す図である。
【図９Ｃ】本開示における実施形態によって利用または生成され得るボクセル表現を示す図である。
【図１０】本発明の一実施形態による、敵対的生成ネットワークに基づいて金属影響X線データのボクセル表現を補正するためのシステムの概要を示す図である。
【図１１】本発明の一実施形態による、敵対的生成ネットワークのディスクリミネータ部の概要を示す図である。
【図１２】本発明の一実施形態による、リカレントニューラルネットワークの概要を示す図である。
【図１３】本開示において説明する実施形態と共に使用され得る例示的データ処理システムを示すブロック図である。
【発明を実施するための形態】
【００３９】
図1は、本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するように構成されたシステムの高レベルの概観を示す。図1に示されるように、システムは、1つまたは複数のアーティファクトを含むX線データのボクセル表現104を受け取る入力を備える3Dディープニューラルネットワークシステム102を含む。X線データのボクセル表現は、CT画像装置やCBCT画像装置などの様々なX線画像装置によって生成され得る。アーティファクトは、X線画像装置によって撮像される組織のボリューム内に存在する金属または金属製物体、たとえば歯科の分野ではインプラントまたは歯科充填材によって引き起こされる。X線データのボクセル表現が逆投影プロセスに基づいて生成されるとき、一定のボクセルのボクセル値が金属または金属製物体によって影響を受ける。金属影響ボクセル値は、X線データのボクセル表現内のアーティファクトを表し得、アーティファクトは画像の品質を大幅に低下させ得る。3Dディープニューラルネットワークシステム102は、アーティファクトを自動的に検出し、アーティファクトが除去され、または少なくとも大幅に削減される、X線データの補正後ボクセル表現106を生成するように構成される。具体的には、3Dディープニューラルネットワークシステム102は、チタンインプラントや複合充填材などの金属物体についての重要な情報をそのままに保ちながら、ユーザが相異なる組織および対応する形状をはっきりと知覚できることをアーティファクトが妨げないような範囲まで金属アーティファクトの存在を削減するように構成される。
【００４０】
図2は、本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するように構成されたシステムを示す。この図に示されるように、システム202は、X線データのボクセル表現204内の金属影響ボクセルの識別のための第1の3Dディープニューラルネットワーク212を含む第1のシステム構成要素208を含み得る。金属影響ボクセルは、ボクセル表現内に金属影響領域(アーティファクト)を形成し得る。第1のシステム構成要素208は、第2の3Dディープニューラルネットワークを備える第2のシステム構成要素210のためのプリプロセッサとして機能し得る。第1の3Dディープニューラルネットワークは、入力データ、すなわち金属影響X線データのボクセル表現を処理し、出力データを生成し得、出力データは、金属影響領域の部分であるボクセル値を補正するように構成される第2の3Dディープニューラルネットワークを備える第2のシステム構成要素に入力される。第1の3Dディープニューラルネットワークは、第1のボクセル表現のボクセルのボクセル値の少なくとも部分が金属影響領域(アーティファクト)および/または金属もしくは金属製領域(たとえば、インプラントまたは歯充填材)の部分であるかどうかを識別するための識別情報を生成するようにトレーニングされる。
【００４１】
一実施形態では、識別情報は3Dボクセルマップを含み得、3Dボクセルマップは、第1の3Dディープニューラルネットワークの入力において提示された金属影響X線データのボクセル表現に合致する寸法を有するボクセル表現の形態を有し得る。このようにして、ボクセルマップ内の各ボクセルは、X線データのボクセル表現内の対応するボクセルを有し得る。ボクセルマップの各ボクセルは、1つまたは複数の確率測度に関連付けられ得、確率測度は、第1のボクセル表現内の対応するボクセルのボクセル値が金属影響領域または金属領域の部分であるかどうかを判定するために使用され得る。1つまたは複数の確率測度が一定のしきい値より上であり、または一定の範囲内にある場合、システムは、ボクセルが金属領域または金属影響領域に属すると判定し得る。ボクセルが金属影響領域に属する場合、システムは、ボクセル値が補正されるべきであると判定し得る。
【００４２】
したがって、第1の3Dディープニューラルネットワークは、たとえば、金属影響領域または金属領域に属するX線データのボクセル表現内の当該のボリュームを局所化する3Dマップオブジェクトの形態の識別情報を生成するように構成される。さらに、第1の3Dディープニューラルネットワークは、金属または金属材料を含むボクセル表現内のボリュームを認識し、ボリュームに「材料クラス」、たとえばチタン、金、アマルガム、複合体などを割り当てるようにトレーニングされ得る。図2に示されるように、第2の3Dディープニューラルネットワークは、その入力において、識別情報および金属影響X線データのボクセル表現を受け取り、アーティファクトが除去され、または少なくとも大幅に削減される、X線データの補正後ボクセル表現を生成する。
【００４３】
図3は、本発明の一実施形態による、ボクセル表現内の金属影響領域を決定するためのシステムを示す。システムは、金属影響X線データのボクセル表現304を受け取り、ボクセル表現内の金属および/または金属影響領域を決定するように構成されるトレーニング済み3Dディープニューラルネットワークを使用してボクセル表現内の金属影響領域を決定するように構成されたコンピュータシステム302として実装され得る。金属影響X線データのボクセル表現304は、身体部分の組織構造、たとえば歯顎顔面構造内の顎骨構造、歯構造、および神経構造を含み、身体部分の構造内に存在する金属または金属製構造(たとえば、歯科充填材および/または歯科インプラント(の部分))を含む歯顎顔面構造の3D画像データスタックを含み得る。X線データのボクセル表現は、(少なくとも)放射強度または無線密度値を表すボクセル値、たとえばグレイスケール値またはカラー値に関連付けられるボクセル、すなわち3D空間要素を含み得る。そのような無線密度値はハウンスフィールド単位(HU)で測定され得る。ボクセル表現は、ボクセル空間、すなわち一定の寸法を有するボクセルのボリュームを定義し得る。ボクセル表現は、所定のフォーマット、たとえばDICOMフォーマットまたはその派生物の(CB)CT X線データを表す3D画像データスタックを含み得る。走査中に、生物学的組織内の金属の存在が、X線データ、およびX線画像装置のセンサによるX線データの検知に影響を及ぼす。したがって、X線データから導出されるボクセル値が、金属構造の影響を受け得る。したがって、金属影響X線データのボクセル表現304は、1つまたは複数のアーティファクトを形成する金属影響ボクセルを含み、アーティファクトは画像データの品質を大幅に低下させ得る。これは、X線撮像、特にCBCT X線走査などの低線量X線撮像において大きな問題である。
【００４４】
図3のシステムは、図2を参照して説明したシステム内のシステム構成要素として実装され得る(プリプロセッサと見なされ得る)。システムは、トレーニングモードおよび推論モードを有する。トレーニングモードでは、トレーニング済みニューラルネットワークが金属影響X線データのボクセル表現のボクセルを異なるクラスのボクセル(たとえば、異なる金属、金属影響領域などに関連付けられるボクセル)に正確に分類することができるように、3Dディープニューラルネットワーク316が所定のトレーニングスキームに従ってトレーニングされ得る。ディープニューラルネットワークは、金属および/または金属影響領域の分類後ボクセルを含むボクセルマップ318を出力として生成するようにトレーニングされる。金属影響X線データのボクセル表現は、トレーニングセットを決定するために使用され得る。推論モードでは、金属影響X線データの新しいボクセル表現が、トレーニング済み3Dディープニューラルネットワークの入力に供給され得、それに応答して、ニューラルネットワークは、入力データ内の金属および金属影響領域のボクセルを識別するボクセルマップを生成する。
【００４５】
3Dトレーニングデータは、金属影響X線データのラベル付きボクセル表現を含み得る。さらに、金属影響X線データのボクセル表現が、金属領域のボクセル表現および金属影響領域のボクセル表現314にセグメント化され得る(312)。これらのデータは、手動セグメント化プロセスに基づいて、またはたとえばトレーニング済みニューラルネットワークを使用する自動セグメント化プロセスに基づいて生成され得る。X線データのボクセル表現をセグメント化するための自動セグメント化システムが、参照により本願に組み込まれる、「classification and 3D modelling of 3D dento-maxillofacial structures using deep learning networks」という名称の、同一の出願人の関連する欧州特許出願第17179185.8号において説明されている。
【００４６】
CBCT走査では、走査における相異なるエリアが、走査中の器官内の相対位置に応じて相異なるグレイスケール値で現れるので、ハウンスフィールド単位(HU)で測定された無線密度は不正確である。CBCTと医療用CTスキャナの両方で同一の解剖学的エリアから測定されたHUは同一ではなく、したがって部位特有の、放射線画像で識別された骨密度の決定のためには信頼できない。さらに、CBCTシステムは、再構成後密度値を表すグレイレベルをスケーリングするために標準化されたシステムを利用しない。したがって、これらの値は任意であり、骨質の評価を可能にしない。そのような標準化がないと、グレイレベルを解釈することが難しく、さらには相異なるマシンから得られた値を比較することは不可能である。たとえば、歯顎顔面構造のCBCTボクセル表現では、歯および顎骨構造は類似の密度を有し、したがってコンピュータが、歯に属するボクセルと、顎骨に属するボクセルとを区別することは難しい。さらに、CBCTシステムはビーム硬化と呼ばれるアーティファクトに対して非常に敏感であり、ビーム硬化は、周囲の明るいストリークと共に、2つの高減衰物体(金属や骨など)間に暗いストリークを生み出す。
【００４７】
たとえば現在のCBCT型ボクセル表現に存在する変動性に対して3Dディープニューラルネットワークを堅固にするために、一実施形態では、3Dトレーニングデータは、金属影響X線データのボクセル表現304内に出現し得る金属物体または非金属物体の(高解像度)3Dモデルをも含み得る。3Dモデルは、X線データ内の金属物体の3D表面メッシュおよび/または身体部分(骨組織または歯)などの非金属物体の3D表面メッシュを含み得る。そのような3D表面メッシュは、たとえば歯の3Dメッシュを生成するための周知の光学(レーザ)スキャナまたは口腔内光学スキャナによって生成され得る。いくつかのケースでは、関連する構造を分離するために3D表面メッシュをセグメント化する必要がある。セグメント化モジュール324は、3D表面メッシュ(たとえば、歯の口腔内走査)を個々にセグメント化された物体、たとえば複数の3D表面メッシュにセグメント化し得、各表面メッシュは歯を表す。3D表面メッシュを個々の3D表面メッシュにセグメント化することは、当技術分野では周知の技法である。別のステップ(図示せず)では、セグメント化された表面メッシュが、セグメント化されたボクセル表現と位置合せされ得る。次いで(位置合せ後の)セグメント化表面メッシュが、ボクセル表現、たとえば2進ボクセル表現に変換され得(326)、物体、たとえば歯の表面を表すボクセル、および物体内に配置されたボクセルのボクセル値が、第1の値、たとえば1に設定され、物体の外部のボクセルが第2の値、たとえば0に設定される。3Dモデルのそのように得られたボクセル表現328が、金属影響X線データのボクセル表現内の正確に決定された金属領域および金属影響領域に対してディープニューラルネットワークをトレーニングするために追加のトレーニングデータとして使用され得る。
【００４８】
図4は、本発明の一実施形態による、金属影響X線データのボクセル表現を分類するように3Dディープニューラルネットワークをトレーニングする方法を示す。具体的には、図4は、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現402を分類するための3Dディープニューラルネットワークのトレーニングを示す。この図に示されるように、第1の3Dディープニューラルネットワークは、ラベル付き金属影響ボクセル表現、たとえば金属影響(CB)CTデータのボクセル表現402、ならびに金属物体(たとえばインプラントおよび充填材)を表す金属影響ボクセル表現404と、金属影響領域(アーティファクト)406とから導出される(セグメント化される)ラベル付きボクセル表現に基づいてトレーニングされ得る。さらに、いくつかの実施形態では、3Dディープニューラルネットワークはまた、非金属物体とラベル付けされる非金属物体408(歯および骨構造)に基づいてトレーニングされ得る。
【００４９】
これらのボクセル表現のボクセルは、ボクセルが属する材料のクラスに関してラベル付けされる。一実施形態では、材料のクラスは、金属、非金属、金属影響(アーティファクト)、および非金属(非アーティファクト)を含み得る。さらに、すべてのこれらのボクセル表現のボクセル空間は、第1の3Dディープニューラルネットワークの入力のボクセル空間と同一である。ターゲットトレーニングデータは3Dボクセルマップのセットを表し、金属影響(CB)CTデータのボクセル表現当たり1つのボクセルマップである。3Dボクセルマップは、ニューラルネットワークの入力に供給されるボクセル表現と同一の寸法のボクセル空間を有し、その結果、3Dボクセルマップの各ボクセルは、3Dディープニューラルネットワークの入力に供給されるボクセル表現のボクセルに対応する。3Dボクセルマップ内の各ボクセルは、第1の3Dディープニューラルネットワークの入力でのボクセル表現の対応するボクセルが金属物体および/または金属影響物体の部分であるかどうかを示すボクセル情報に関連付けられる。
【００５０】
一実施形態では、第1の3Dディープニューラルネットワークをトレーニングするために追加の3Dデータが使用され得る。図3を参照して既に説明したように、3Dディープニューラルネットワークは、たとえば現在のCBCT型ボクセル表現に存在する変動性に対して堅固にされ得る。これは、金属物体または非金属物体の(高解像度)3Dモデルから導出された3Dトレーニングデータによって実現され得る。一実施形態では、歯顎顔面コンプレックスの(CB)CTデータ内の金属物体、たとえば冠および/またはインプラントの高解像度3D表面メッシュ412が、たとえば3D光学スキャナを使用して生成され、その後で金属物体のボクセル表現418に変換され得る。ボクセル表現のボクセルは、あるクラスの金属を表すボクセルを識別するためにラベル付けされ得る。同様に、歯顎顔面コンプレックスの(CB)CTデータの非金属物体、たとえば歯および/または顎骨のラベル付きボクセル表現420が、3D表面メッシュ414に基づいて生成され得る。
【００５１】
いくつかの実施形態では、金属または非金属物体の3D表面メッシュの一部が、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現402に示されるのと同一の物体であり得る。そのケースでは、セグメント化3D表面メッシュ、たとえば所定の歯が、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現内の同一の歯のセグメント化ボクセル表現408に位置合せされ(重ねられ)得る(416)。3D表面メッシュから導出された金属および非金属物体のラベル付きボクセル表現が、金属影響領域および/または金属領域を分類するように第1の3Dディープニューラルネットワークをトレーニングするためのトレーニングデータとして使用され得る。そのような位置合せは、別々の3Dディープニューラルネットワークによって実施され得る。
【００５２】
このようにして、3Dディープニューラルネットワークは、金属領域および金属影響領域内のボクセル表現のボクセルを分類し、ボクセル表現内の各ボクセルの分類を示す3Dボクセルマップを生成するようにトレーニングされる。各ボクセルについて、3Dディープニューラルネットワークはボクセル情報を生成し得る。一実施形態では、ボクセル情報は、1つまたは複数の確率測度を含むベクトルを含み得る。確率測度は、あるクラス、たとえば金属クラスにボクセルが属する機会についての情報を提供する。金属材料クラスは、いくつかの異なる金属、たとえばチタン、金、アマルガムなどを定義し得る。トレーニング中に、ディープニューラルネットワークは、顎骨/骨/歯の中で発見され得る金属製物体を表すボクセルが金属と分類されるべきであることを学習し得る。これらの金属製物体は、元の画像(スタック)の部分であり、したがってそのままに保たれるべきである。さらに、ニューラルネットワークは、金属と分類され、金属または金属製物体を表すボクセルの「外部」(すなわち、金属物体の境界の外側)に位置するボクセルが金属影響ボクセル(すなわち、アーティファクトの部分であるボクセル)と分類されるべきであることを学習する。
【００５３】
たとえば、画像装置によって決定されたボクセル値が、金属に関係付けられる値であるケースがあり得る。しかしながら、ボクセルは、利用可能な情報から金属と正確に分類されることが知られているボクセルのボリュームの外側に配置され得る。そのケースでは、トレーニング済み3Dディープニューラルネットワークは、ボクセル値、たとえばハウンスフィールド単位(HU)で測定された無線密度がボクセルの近隣に位置する金属または金属製物体によって影響を受ける値であると決定し得る。第1の3Dディープニューラルネットワークは、そのケースにおいて、(図2において説明したように)ボクセルが第2の3Dディープニューラルネットワークによって補正する必要のある金属影響ボクセルと分類されるべきであると決定し得る。
【００５４】
図5Aおよび図5Bは、本発明の一実施形態による、金属影響X線データのボクセル表現を分類するための3Dディープニューラルネットワークアーキテクチャの例を示す。図5Aに示されるように、ネットワークは、3D畳込みニューラルネットワーク(3D CNN)を使用して実装され得る。畳込み層は活動化関数を使用し得る。複数の3D畳込み層が使用され得、層の数およびその定義パラメータの小さな変動、たとえば異なる活動化関数、カーネル量、およびサイズ、ならびにドロップアウト層などの追加の機能層が、3Dディープニューラルネットワークの設計の本質を失うことなく実装において使用され得る。
【００５５】
図5Aに示されるように、ネットワークは複数の畳込み経路を含み得る。たとえば、一実施形態では、ネットワークは、少なくとも、3D畳込み層の第1のセット504に関連付けられる第1の畳込み経路と、3D畳込み層の第2のセット506に関連付けられる第2の畳込み経路と、3D畳込み層の第3のセット508に関連付けられる第3の畳込み経路とを含み得る。畳込み経路の出力がマージされ得、クラス当たりボクセル当たりの確率を出力するように構成される完全結合層510によって結果が処理され得る。金属影響X線データ502、3D CT画像データのボクセル表現が、第1、第2、および第3の畳込み経路のいずれの入力にも供給され得る。
【００５６】
相異なる畳込み経路のそれぞれの機能が、図5Bにより詳細に示されている。この図に示されるように、3D画像データを表すボクセルが、ニューラルネットワークの入力に供給される。これらのボクセルは、画像ボリューム521と呼ばれることのある所定のボリュームを定義し得る。画像ボリュームは、第1のブロックのセット5201内に分割され得、第1の経路5221の3D畳込み層のそれぞれが、3D画像データのボクセル5011の第1のブロックに対する3D畳込み動作を実施し得る。処理の間、層のセット524について、3D畳込み層の出力は後続の3D畳込み層の入力である。このようにして、各3D畳込み層が、入力に供給される3D画像データの部分を表す3D特徴マップを生成し得る。したがって、そのような特徴マップを生成するように構成される3D畳込み層は、3D CNN特徴層と呼ばれることがある。
【００５７】
図5Bに示されるように、第2の経路5222の畳込み層が、3D画像データのボクセルの第2のブロックのセット5202を処理するように構成され得、ボクセルの第2のブロックが、ボクセルの関連する第1のブロックのダウンサンプリングバージョンを表し、ボクセルの第1および第2のブロックは同一の中心原点を有する。ダウンサンプリング因子は任意の適切な値であり得、好ましくはダウンサンプリング因子は2から4の間で選択され、好ましくは3である。
【００５８】
第1の経路5221は、3D CNN特徴層の第1のセット(たとえば、5〜20層)524を定義し得、第1のセット524は、ターゲット(すなわち、分類される画像ボリュームのボクセル)のボクセル解像度において入力データ(たとえば、画像ボリューム内の所定の位置のボクセルの第1のブロック)を処理するように構成される。第2の経路は、3D CNN特徴層の第2のセット(5〜20層)526を定義し得、第2のセット526は、ボクセルの第2のブロックを処理するように構成され、ボクセルの第2のブロック5202の各ブロックは、ボクセルの第1のブロック5201からの関連するブロックと同一の中心点を有する。しかしながら、これらのボクセルは、5201の解像度よりも低い解像度において処理される。したがって、ボクセルの第2のブロックは、第1のブロックよりも現実世界寸法において大きいボリュームを表す。第2の3D CNN特徴層は、第1の3D CNN特徴層によって処理される関連するボクセルのすぐ近隣についての情報を含む3D特徴マップを生成するためにボクセルを処理する。このようにして、第2の経路は、ニューラルネットワークがコンテキスト情報、すなわちニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(たとえば、その周囲)についての情報を決定することを可能にする。入力データ5203のさらに大きいコンテキスト部分およびさらに高いダウンサンプリング部分を表す、3D畳込み層のセット528を有する第3の経路5223が利用され得る。この場合も、このダウンサンプリングサンプリング因子が、元の入力解像度から、5から15の間で選択された適切な値、好ましくは9に設定され得る。
【００５９】
図5Bは3つの畳込み経路5221-3を含むネットワークを示すが、さらに多くの畳込み経路を含む他の実施形態も想定される。3つの経路またはより多くの畳込み経路を使用することによって、3D画像データ(入力データ)と3D画像データのボクセルについてのコンテキスト情報の両方が、並列に処理され得る。コンテキスト情報は、より広いコンテキスト領域なしに区別するのが難しい、密接に詰め込まれた、かつ/または類似の歯構造を通常含む歯顎顔面構造などの複雑なボクセル表現を分類するために重要である。
【００６０】
複数の3D CNN特徴層が、その特定の入力から決定され得る最適に有用な情報を導出し、渡すように(その学習可能パラメータを通じて)トレーニングされ得、完全結合層532は、3つの前の経路からの情報を組み合わせて分類後ボクセル534の最適な確率を提供すべき方式を決定するパラメータを符号化し得る。その後で、確率536が、入力の画像空間の寸法を有し得る出力の画像空間538内で提示され得る。したがって、3Dディープニューラルネットワークの出力は、入力でのボクセルの画像空間に対応する画像空間内のボクセル当たりの分類確率である。
【００６１】
最適化方法が、3Dディープニューラルネットワークの出力とターゲットデータ(すなわち、分類後ボクセルデータ)との間の偏差を表す損失関数を最小限に抑えることによって、所定の入力に対する所望の出力を表す、3Dディープニューラルネットワークのネットワークパラメータの最適値を学習するために使用され得る。損失関数の最小化が一定の値に収束するとき、トレーニングプロセスは適用に適していると見なされ得る。個々の層についての活動化関数は異なり得、たとえば線形、S字形、tanh、および/またはReLuとして設定され得る。
【００６２】
図6は、本発明の一実施形態による、金属影響X線データのボクセル表現を補正するためのシステムを示す。具体的には、この図は、ボクセル表現内の金属影響領域を補正するようにトレーニングされる3Dディープニューラルネットワーク612を使用して金属影響X線データのボクセル表現を補正するためのコンピュータシステム602を示す。システムは、トレーニングモードおよび推論モードを有する。トレーニングモードでは、トレーニング済みニューラルネットワークが金属によって影響を受けるボクセル表現内のボクセルのボクセル値を正確に予測することができるように、3Dディープニューラルネットワーク612が所定のトレーニングスキームに従ってトレーニングされ得る。金属影響領域が補正される、X線データのボクセル表現638を生成するように、ディープニューラルネットワークがトレーニングされる。推論モードでは、金属影響X線データの新しいボクセル表現が、トレーニング済み3Dディープニューラルネットワークの入力に供給され得、それに応答して、ニューラルネットワークは、金属影響ボクセルが補正されることを例外として、入力でのボクセル表現と同様のボクセル表現を生成する。したがって、3Dディープニューラルネットワークは、金属が誘発したアーティファクトのない、元の3D画像の正確な近似を出力が提供するようにトレーニングされる。
【００６３】
3Dトレーニングデータは、治療、具体的には、たとえば歯科の分野では、金属ベースの治療(たとえば、インプラント埋入、歯復元、歯科矯正装置、ブリッジ埋入、根管充填材、根管ポスト、骨接合プレートおよびねじ)の前および後の、患者のラベル付きボクセル表現を含み得る。言い換えれば、3Dトレーニングデータは、治療前(すなわち、金属物体が患者の身体部分内に植え込まれる前)の患者の部分の第1のラベル付きボクセル表現603と、治療後(すなわち、金属物体が患者の身体部分内に植え込まれた後)の同一の患者の同一部分の第2のラベル付きボクセル表現604とを含む。さらに、一実施形態では、トレーニングデータはまた、第1のディープニューラルネットワークによって生成された金属および金属影響領域を含むX線データのボクセル表現604のボクセルマップ614をも含み得る。ボクセルマップは、補正する必要がある金属影響領域(アーティファクト)にどのボクセルが関係するかを認識するように第2の3Dディープニューラルネットワーク612をトレーニングするために利用される。
【００６４】
一実施形態では、3Dディープニューラルネットワークの入力に供給される前に、位置合せプロセス611が、トレーニングデータ、すなわちラベル付きボクセル表現603、604、および適用可能ならボクセルマップ614に適用され得る。この位置合せプロセスでは、ボクセル表現内の構造が互いに対して位置合せされ得る。これは手動で、または自動的に実施され得る。画像登録の分野では、キーポイント検出に基づく方法、強度ベースの方法などの、自動位置合せを考慮する様々な方法が知られている。
【００６５】
トレーニングデータは、患者の部分のX線データのターゲットボクセル表現を含むターゲットデータをさらに含み得、ボクセル表現は(金属ベースの治療による)金属物体を含むが、金属影響領域が欠けている。そのようなターゲットボクセル表現は、治療前および治療後のX線データのボクセル表現と、金属領域および金属影響領域を識別するボクセルマップとに基づいて構成され得る。具体的には、ボクセルマップは、治療後のボクセル表現内の金属領域のボクセルを識別するために使用され得る。これらのボクセルは、治療前のボクセル表現内に適切に表され(挿入され)得、それによって、臨床データに基づいて現実的グラウンドトルースが生成される。そのようなターゲットデータを生成する一例が、図7Aを参照しながらより詳細に説明される。
【００６６】
患者ごとに、前述の入力およびターゲットデータを含むトレーニングデータのセットが生成される。次いで、トレーニングデータは、ボクセルマップによって識別される金属影響領域を補正するように3Dディープニューラルネットワークをトレーニングするために使用される。3Dディープニューラルネットワークをトレーニングする例が、図7〜図10を参照しながらより詳細に以下で説明される。
【００６７】
トレーニング中に、3Dディープニューラルネットワークは、臨床トレーニングデータに基づいて学習し、金属によって影響を受けるボクセル表現内のボクセルについての現実的ボクセル予測を生成する。3Dディープニューラルネットワークは、金属影響ボクセルがボクセル予測によって置き換えられる、金属影響X線データのボクセル表現を生成するようにさらに学習する。このようにして、金属影響領域に関連するボクセルが3Dディープニューラルネットワークによって生成されたボクセル予測に基づいて補正される、金属影響X線データのボクセル表現が生成される。
【００６８】
図7Aおよび図7Bは、本発明の一実施形態による、金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングする方法を示す。具体的には、図7Aは、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現を分類するように3Dディープニューラルネットワークをトレーニングする概要を示す。この図に示されるように、第1の3Dディープニューラルネットワークが、患者702の歯顎顔面コンプレックスデータ、すなわち金属領域および金属影響領域を含む歯顎顔面構造を表すX線データのラベル付きボクセル表現712と、金属領域および金属影響領域のない歯顎顔面構造を表すX線データのボクセル表現714と、ボクセル表現712内の金属および/または金属影響領域のボクセルを識別するボクセルマップ715とを含む患者の治療前706および治療後704のX線画像から導出されるトレーニングデータに基づいてトレーニングされ得る。いくつかの実施形態では、3Dディープニューラルネットワークはまた、患者の治療中に使用された金属製物体のボクセル表現710に基づいてトレーニングされ得る。そのような金属製物体の3D表面メッシュ708が、3D光学スキャナを使用して生成され、3Dメッシュのそれぞれからボクセル表現を導出し得、ボクセル表現は、トレーニングデータとして使用される他のボクセル表現と同一の寸法を有する。
【００６９】
適用可能なとき、ボクセル表現および/または表面メッシュなどの3Dデータの様々な表現が、同一のボクセル空間内で適切に一致するようにやはり位置合せされ得る。これは、手動で、または自動的に行われ得る(7111,2,3)。
【００７０】
さらに、正確で現実的なターゲットデータが、治療前および治療後のX線データの画像(スタック)と、ボクセルマップとに基づいて生成され得る。このプロセスが図7Bにより詳細に示されている。この図に示されるように、患者の治療またはおよび治療後の位置合せされた(7211,2)ボクセル表現と、ボクセルマップからターゲットボクセル表現が導出され得る。ボクセルマップ720は、金属領域に属する金属影響X線データのボクセル表現722内のボクセルを識別するために使用され得る。金属影響X線データのボクセル表現と同一の寸法を有し得る金属領域のボクセル表現728を生成するために金属抽出器モジュール726が使用され得る。このボクセル表現が、治療前の患者のX線データのボクセル表現と共に、金属領域を含むが、金属影響ボクセル領域(アーティファクト)732を除外する歯顎顔面構造を表すX線データのターゲットボクセル表現としてマージされ得る(730)。
【００７１】
臨床トレーニングデータに基づいて3Dディープニューラルネットワークをトレーニングする結果、金属によって影響を受けるボクセル表現内のボクセルについての現実的ボクセル予測を生成することのできるトレーニング済み3Dディープニューラルネットワークが得られる。
【００７２】
図8Aおよび図8Bは、本願における実施形態において利用され得るボクセル表現の例を示す。具体的には、図8Aは、歯顎顔面構造(このケースでは、歯のセット)の3Dメッシュ802と、3Dメッシュの部分の金属処理された歯の部分のボクセル表現804(DICOM 3Dデータセット)の概観を示し、ボクセルの部分が金属影響X線データに関連付けられる。この図では、ボクセル表現が属する3Dメッシュの部分とボクセル表現が一致するように、ボクセル表現が3Dメッシュ内に配置される。図8Bは、同一のボクセル表現808と、ボクセル表現808が属する歯の3Dメッシュ806の拡大部分を示す。図は、本開示において説明するニューラルネットワークをトレーニングするために使用され得るサンプルサイズ(この特定の例では、幅、長さ、および高さ64ボクセル)を示すボクセル表現の寸法をはっきりと示す。
【００７３】
図9A〜図9Cは、本開示における実施形態によって利用または生成され得るボクセル表現を示す。ボクセル表現は、図8Aおよび図8Bに示される歯顎顔面構造の同一の部分に関係し得る。具体的には、図9Aは、金属影響X線データのボクセル表現を自動的に補正するためのシステムへの入力データとして使用され得る金属領域および金属影響領域を含むボクセル表現を示す。図では、ボクセル表現「内」を見ることができるように、ボクセルのブロックが除去される。図9Aでは、白色領域9061が金属領域を表し、(白色)金属領域の周りのいくつかの黒色領域9062が金属影響領域を表す。
【００７４】
図9Bは、やはりボクセルのブロックが除去されたボクセル表現808を示す。ボクセルのこのブロックでは、図3を参照して説明したように、ボクセルマップが3Dディープニューラルネットワークによって生成されている。ボクセルマップが図9Bに示されており、別の3Dディープニューラルネットワークによる補正を必要とする、金属領域9101の分類後ボクセルおよび  金属影響領域9102のボクセルを含む。最後に、図9Cは、金属影響領域が補正される(9142)と共に金属領域9141が保持される、患者の金属影響X線データのボクセル表現を示す。補正は、図6を参照して説明したように、金属影響領域を補正するようにトレーニングされる3Dディープニューラルネットワークによって実現される。
【００７５】
様々なニューラルネットワークアーキテクチャが本開示での実施形態において使用され得る。図10は、本発明の一実施形態による、敵対的生成ニューラルネットワークに基づいて金属影響X線データのボクセル表現を補正するためのシステムの概要を示す。この図に示されるように、金属影響領域のボクセルを補正するようにトレーニングする必要のある3Dディープニューラルネットワーク1006が、ジェネレータネットワークと呼ばれる。トレーニング中に、ジェネレータネットワークは、金属影響X線データのボクセル表現1002および関連するボクセルマップを受け取る(恐らくは、ボクセル表現内の金属および/または金属影響領域を決定するように構成される3Dディープニューラルネットワーク1004によって生成される)。さらに、ジェネレータネットワークは、ディスクリミネータネットワーク1012からフィードバック1010を受け取り得、ディスクリミネータネットワーク1012は、金属領域を含む歯顎顔面構造を表すX線データのターゲットトレーニングボクセル表現、すなわち「現実の」状況に従う画像(スタック)を受け取り、その後で、ターゲットトレーニングボクセル表現は、「ターゲットボクセル表現」732、1014と同一と見なされ得る。これが第2の3Dディープニューラルネットワークにターゲットトレーニングデータとして供給され、または第2の3Dディープニューラルネットワークは、ジェネレータネットワークによって生成されたボクセル表現1008、すなわち金属影響領域が補正されるボクセル表現を受け取る。ディスクリミネータネットワークの主な作業は、ディスクリミネータネットワークが入力として受け取るボクセル表現がジェネレータネットワークの補正後出力ボクセル表現であるか、それともターゲットボクセル表現732、1014であるかを区別することである。ディスクリミネータが与えた出力が正しかった場合、すなわちディスクリミネータが示したようにボクセル表現が実際に「補正され」、または「現実」であった場合、ディスクリミネータはフィードバックを受け取る。ジェネレータとディスクリミネータがどちらも、与えられたフィードバックから学習するので、この情報は、ジェネレータネットワークが金属影響ボクセルをそれらのエリアについての現実的ボクセル予測に効果的に置き換えることを学習する助けとなる。
【００７６】
図11は、ディスクリミネータネットワークをより詳細に示す。ここでは、ディスクリミネータネットワーク1100が、ターゲットボクセル表現と、金属影響領域のボクセルが補正されるボクセル表現とを区別するように構成される。したがってトレーニング中に、ディスクリミネータネットワークが、ターゲットボクセル表現またはジェネレータネットワークの出力ボクセル表現1008のどちらかと共に(ランダムに)提示され得る。それに応答して、ディスクリミネータネットワークは、ディスクリミネータの入力でのボクセル表現が、ジェネレータネットワークによって作成された「実際の」ターゲットボクセル表現または補正後ボクセル表現であるかどうかの表示を生成する。次いで、ディスクリミネータネットワークは、提示されたボクセル表現が実際のものであり、または補正されるかどうかを示す「スコア」を生成する。たとえば一実施形態では、ディスクリミネータは2進出力1106を有し得、「1」は、ボクセル表現がターゲット表現1102であることを示し得、「0」は、ボクセル表現が補正後ボクセル表現1104であることを示し得る。トレーニング中に、ディスクリミネータがターゲットボクセル表現から区別し得る補正後ボクセル表現をジェネレータネットワークが生成する場合、これは、そのような補正後ボクセル表現が十分には「現実的」でないという、システムに対する信号となる。したがって、このようにして、ジェネレータネットワークは、トレーニングセット、たとえば図7Aおよび図7Bを参照して説明したような臨床トレーニングデータのターゲットボクセル表現に関して類似している補正後ボクセル表現を生成するように刺激を受ける。
【００７７】
ジェネレータネットワークによって生成されるボクセル予測が現実的であるほど、ディスクリミネータが両者を区別することがより難しくなる。したがって、ディスクリミネータが両者を区別する能力は、ジェネレータによって生成されるボクセル補正の品質の尺度である。この情報が、逆伝播を通じてディスクリミネータ1100ならびにジェネレータネットワーク1110にフィードバック1108され得る。このようにして、ジェネレータは、金属影響領域のボクセルについての正確なボクセル予測を生成するようにトレーニングされる。GANのジェネレータネットワークを表すディープニューラルネットワーク1102は、(ディープ)畳込みニューラルネットワークまたはリカレントニューラルネットワークを含む、任意のタイプの3Dディープニューラルネットワークであり得る。
【００７８】
図12Aおよび図12Bは、本発明の一実施形態による、3Dディープリカレントニューラルネットワークの概要を示す。リカレントニューラルネットワークは、画像内のピクセル間、または(ビデオまたは3Dデータスタックの)画像のシーケンス間の遠距離依存関係に基づいてピクセル値を予測するのに特に適しているネットワークのクラスである。同じことが3Dのケースに当てはまり、ボクセル表現内のボクセル間の遠距離依存関係がボクセルを予測するために使用され得る。
【００７９】
図12Aは、ボクセル入力1202と、重みおよび偏りによってパラメータ化される1つまたは複数の内部隠れ状態を含む3Dディープニューラルネットワーク、たとえば3D畳込みニューラルネットワークと、出力1206とを含むディープリカレントニューラルネットワークを示し、重みおよび偏りと、1つまたは複数の前の状態の出力(の部分)とを考慮に入れる層が追加される。前の状態の数と、対応する重みおよび偏りが、後続の状態の出力を計算するために考慮に入れられ、層の数に関するリカレントニューラルネットワークの深さを示し得、たとえば図12Bに示されるディープリカレントニューラルネットワークは3つの層からなる。ディープリカレントニューラルネットワークスキームが図12Bにより詳細に示されている。図12Bに示されるように、入力xi-1、たとえばボクセル値予測を必要とするボクセルの周囲の入力ボクセルの第1のブロック、たとえば補正を必要とする金属影響領域は、リカレントニューラルネットワークに対する入力であり、リカレントニューラルネットワークは、現状態の重みおよび偏りと、初期状態12101の重みおよび偏りとに基づいて出力xi-1(第1のボクセル値予測、たとえばハウンスフィールド単位の値)を決定する。次の入力xi(予測する必要のある次のボクセルの周囲の入力ボクセルの第2のブロック)が、ボクセル値予測を必要とする第2のボクセルを含む出力ボクセルの第2のブロックを生成するために、前の状態の重みおよび偏り12102と、出力ボクセルの第1のブロック12121とに基づいてニューラルネットワークによって処理され得る。その後で、次の入力xi+1(入力ボクセルの第3のブロック)が、出力ボクセルの第3のブロックを生成するために、前の状態の重みおよび偏り12103と、出力ボクセル12122の第2のブロックとに基づいてニューラルネットワークによって処理され、以下同様である。
【００８０】
図13は、本開示において説明する実施形態において使用され得る例示的データ処理システムを示すブロック図である。データ処理システム1300は、システムバス1306を通じてメモリ要素1304に結合された少なくとも1つのプロセッサ1302を含み得る。したがって、データ処理システムは、メモリ要素1304内にプログラムコードを記憶し得る。さらに、プロセッサ1302は、システムバス1306を介してメモリ要素1304からアクセスしたプログラムコードを実行し得る。一態様では、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装され得る。しかしながら、データ処理システム1300が、本明細書内で説明する機能を実施することのできる、プロセッサおよびメモリを含む任意のシステムの形態で実装され得ることを理解されたい。
【００８１】
メモリ要素1304は、たとえばローカルメモリ1308や1つまたは複数のバルク記憶デバイス1310などの1つまたは複数の物理メモリデバイスを含み得る。ローカルメモリは、プログラムコードの実際の実行中に一般に使用されるランダムアクセスメモリまたは他の非永続的メモリデバイスを指すことがある。バルク記憶デバイスは、ハードドライブまたは他の永続的データ記憶デバイスとして実装され得る。処理システム1300はまた、実行中にバルク記憶デバイス1310からプログラムコードを取り出さなければならない回数を削減するために少なくとも一部のプログラムコードの一時的記憶を実現する1つまたは複数のキャッシュメモリ(図示せず)をも含み得る。
【００８２】
任意選択で、入力デバイス1312および出力デバイス1314として示される入力/出力(I/O)デバイスが、データ処理システムに結合され得る。入力デバイスの例には、限定はしないが、たとえばキーボード、マウスなどのポインティングデバイスなどが含まれ得る。出力デバイスの例には、限定はしないが、たとえばモニタまたはディスプレイ、スピーカなどが含まれ得る。入力デバイスおよび/または出力デバイスは、直接的に、または介在するI/Oコントローラを通じてデータ処理システムに結合され得る。介在するプライベートまたは公衆ネットワークを通じてデータ処理システムが他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに結合されることを可能にするために、ネットワークアダプタ1316もデータ処理システムに結合され得る。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによって前記データに送信されるデータを受信するためのデータ受信機と、前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備え得る。モデム、ケーブルモデム、およびイーサネットカードは、データ処理システム1300と共に使用され得る様々なタイプのネットワークアダプタの例である。
【００８３】
図13に示されるように、メモリ要素1304はアプリケーション1318を記憶し得る。データ処理システム1300はアプリケーションの実行を容易にし得るオペレーティングシステム(図示せず)をさらに実行し得ることを理解されたい。アプリケーションは、実行可能プログラムコードの形態で実装され、データ処理システム1300によって、たとえばプロセッサ1302によって実行され得る。アプリケーションを実行することに応答して、データ処理システムは、本明細書においてさらに詳細に説明されるように1つまたは複数の動作を実施するように構成され得る。
【００８４】
一態様では、たとえば、データ処理システム1300はクライアントデータ処理システムを表し得る。そのケースでは、アプリケーション1318は、実行されるとき、「クライアント」を参照して本明細書において説明した様々な機能を実施するようにデータ処理システム1300を構成するクライアントアプリケーションを表し得る。クライアントの例には、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などが含まれ得る。
【００８５】
別の態様では、データ処理システムはサーバを表し得る。たとえば、データ処理システムは(HTTP)サーバを表し得、そのケースでは、アプリケーション1318は、実行されるとき、(HTTP)サーバ動作を実施するようにデータ処理システムを構成し得る。別の態様では、データ処理システムは、本明細書において参照されるモジュール、ユニット、または機能を表し得る。
【００８６】
本明細書において使用される用語は、特定の実施形態を説明するためのものに過ぎず、本発明を限定するものではない。本明細書では、文脈が単数形「a」、「an」、および「the」は、文脈が別段に明記していない限り、複数形も含むものとする。「備える」および/または「含む」という用語は、本明細書において使用されるとき、記載の特徴、完全体、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、完全体、ステップ、動作、要素、構成要素、および/またはそのグループの存在または追加を除外するものはないことをさらに理解されよう。
【００８７】
以下の特許請求の範囲のすべての手段またはステップおよび機能要素の対応する構造、材料、動作、および均等物は、具体的に特許請求される、他の特許請求される要素と組み合わせて機能を実施するための任意の構造、材料、または動作を含むものとする。例示および説明のために本発明の説明が提示されたが、本発明の説明は、網羅的なものではなく、開示された形態の発明に限定されるものではない。本発明の範囲および精神から逸脱することなく、多くの修正形態および変形形態が当業者には明らかであろう。本発明の原理および実際の応用を最良に説明し、企図される特定の用途に適する様々な修正を伴う様々な実施形態について本発明を当業者が理解することを可能にするために、実施形態が選ばれ、説明された。
【符号の説明】
【００８８】
102 3Dディープニューラルネットワークシステム
104  X線データのボクセル表現
106  X線データの補正後ボクセル表現
202  システム
204  X線データのボクセル表現
208  第1のシステム構成要素
210  第2のシステム構成要素
212  第1の3Dディープニューラルネットワーク
302  コンピュータシステム
304  金属影響X線データのボクセル表現
314  金属領域のボクセル表現および金属影響領域のボクセル表現
316  3Dディープニューラルネットワーク
318  ボクセルマップ
324  セグメント化モジュール
328  ボクセル表現
402  金属影響(CB)CTデータのボクセル表現
404  金属影響ボクセル表現
406  金属影響領域(アーティファクト)
408  非金属物体
412  金属物体の高解像度3D表面メッシュ
414  3D表面メッシュ
418  金属物体のボクセル表現
420  非金属物体のラベル付きボクセル表現
5011  3D画像データのボクセル
502  金属影響X線データ
504  3D畳込み層の第1のセット
506  3D畳込み層の第2のセット
508  3D畳込み層の第3のセット
510  完全結合層
5201  第1のブロックのセット
5202  第2のブロックのセット
5203  入力データ
521  画像ボリューム
5221  第1の経路
5222  第2の経路
5223  第3の経路
524  3D CNN特徴層の第1のセット
526  3D CNN特徴層の第2のセット
528  3D畳込み層のセット
532  完全結合層
534  分類後ボクセル
536  確率
538  画像空間
602  コンピュータシステム
603  第1のラベル付きボクセル表現
604  第2のラベル付きボクセル表現
612 3Dディープニューラルネットワーク
614  ボクセルマップ
638  X線データのボクセル表現
702  患者
708 3D表面メッシュ
710  金属製物体のボクセル表現
712  金属領域および金属影響領域を含む歯顎顔面構造を表すX線データのラベル付きボクセル表現
714  金属領域および金属影響領域のない歯顎顔面構造を表すX線データのボクセル表現
715  ボクセルマップ
720  ボクセルマップ
722  金属領域に属する金属影響X線データのボクセル表現
726  金属抽出器モジュール
728  金属領域のボクセル表現
732  金属影響ボクセル領域(アーティファクト)
802  3Dメッシュ
804  ボクセル表現
806  歯の3Dメッシュ
808  ボクセル表現
9061  白色領域
9062  黒色領域
9101  金属領域
9102  金属影響領域
9141  金属領域
1002  X線データのボクセル表現
1004 3Dディープニューラルネットワーク
1006 3Dディープニューラルネットワーク
1008  ジェネレータネットワークのボクセル表現
1010  フィードバック
1012  ディスクリミネータネットワーク
1014  ターゲットボクセル表現
1100  ディスクリミネータネットワーク
1102  ターゲット表現
1104  補正後ボクセル表現
1106  2進出力
1108  フィードバック
1110  ジェネレータネットワーク
1202  ボクセル入力
1206  出力
12101  初期状態
1210  重みおよび偏り
1212  出力ボクセル
1300  データ処理システム
1302  プロセッサ
1304  メモリ要素
1306  システムバス
1308  ローカルメモリ
1310  バルク記憶デバイス
1312  入力デバイス
1314  出力デバイス
1316  ネットワークアダプタ
1318  アプリケーション
【図１】
2021521962.tif 000003
【図２】
2021521962.tif 000004
【図３】
2021521962.tif 000005
【図４】
2021521962.tif 000006
【図５Ａ】
2021521962.tif 000007
【図５Ｂ】
2021521962.tif 000008
【図６】
2021521962.tif 000009
【図７Ａ】
2021521962.tif 000010
【図７Ｂ】
2021521962.tif 000011
【図８Ａ−８Ｂ】
2021521962.tif 000012
【図９Ａ】
2021521962.tif 000013
【図９Ｂ】
2021521962.tif 000014
【図９Ｃ】
2021521962.tif 000015
【図１０】
2021521962.tif 000016
【図１１】
2021521962.tif 000017
【図１２Ａ】
2021521962.tif 000018
【図１２Ｂ】
2021521962.tif 000019
【図１３】
2021521962.tif 000020
【国際調査報告】
2021521962.tif 000021
2021521962.tif 000022
2021521962.tif 000023
2021521962.tif 000024