(57)【要約】  縦断的画像データセットおよび現在の画像データセット、ならびに/またはマルチモーダル画像データセットにおける癌の存在/不在の確率的予測と、癌の位置とを生成するための方法およびシステムについて説明する。方法およびシステムは、深層学習モデルのアンサンブルを使用する。アンサンブルは、グローバルベースで、癌の存在を示すデータセットにおける特徴を抽出する、3D畳み込みニューラルネットワーク(CNN)の形態におけるグローバルモデルを含む。アンサンブルはまた、癌検出候補(癌であり得る候補を含んでいる、データセットにおける3Dデータの異なるクロップされたボリューム)を識別する、第1段階または検出モデルと、縦断的データセット(または、マルチモーダルデータセットにおけるマルチモーダル画像)、およびグローバルモデルからの抽出された特徴を組み込み、癌検出候補の各々に癌確率pを割り当てる、第2段階または確率モデルとを含む、2段階予測モデルを含む。癌の確率の全体的予測が、たとえば、Noisy-OR手法を使用して、第2段階モデルによって割り当てられた確率から取得される。
2021528751.tif 000002
【特許請求の範囲】
【請求項１】
患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための方法であって、
a)グローバルベースで、前記データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記データセットを供給するステップと、
b)2段階予測モデルに前記データセットを供給するステップであって、前記2段階予測モデルが、
1)前記データセット内の1つまたは複数の3次元癌候補の位置を検出する、第1段階検出モデルと、
2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)(1)前記グローバル予測的モデルの前記予測と、前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた前記癌確率pとの両方を使用する、前記データセットにおける癌の確率の全体的予測、および(2)前記データセットにおける癌の位置を表す、データを生成するステップであって、前記癌の位置が、前記グローバル予測的モデルまたは前記2段階予測モデルのいずれかによって決定される、ステップと
を含む、方法。
【請求項２】
前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項1に記載の方法。
【請求項３】
前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項2に記載の方法。
【請求項４】
ステップc)において、全体的確率が、前記グローバルモデルによって生成されたグローバルな確率と、前記複数の第2段階確率モデルの各々によって算出された前記候補の各々のための全確率との平均を備える、請求項2または3に記載の方法。
【請求項５】
前記グローバル予測的モデルが、前記データセットにおける前記癌の存在の確率に加えて、
a)癌の転帰、
b)2次元における少なくとも20mmのサイズの結節の存在、
c)5年以内の死亡確率、
d)2年以内の肺癌の診断
のうちの少なくとも1つを予測するようにトレーニングされる、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記グローバルモデルが、前記データセットにおける肺癌の存在を識別するために、基本特徴抽出器を使用し、前記第1段階検出モデルが、前記基本特徴抽出器を使用する、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記第1段階検出モデルおよび前記第2段階確率モデルが、深層畳み込みニューラルネットワークを備える、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記第1段階検出モデルが、前記データセットの全ボリュームにおいて動作する、請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記グローバル予測的モデルが、前記データセットにおける前記癌の存在の確率の予測が前記識別された肺組織内のみでグローバルに動作するように、前記データセット内の肺組織を識別する肺セグメンテーション特徴をさらに備える、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項10に記載の方法。
【請求項１２】
前記複数の第2段階モデルが、特徴マップに関連付けられた中間畳み込み層を各々が有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記データセットにおける前記癌の確率の前記全体的予測が、(1)前記第2段階モデルからの前記特徴マップを、前記グローバルモデルの前記中間畳み込み層の前記特徴マップにアペンドし、前記グローバルモデルからの前記予測を生成すること、または(2)前記グローバルモデルからの前記特徴マップを、前記第2段階モデルの前記中間畳み込み層の前記特徴マップにアペンドし、前記第2段階モデルの出力から前記予測を生成することのいずれかによって取得される、請求項1に記載の方法。
【請求項１３】
患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するためのコンピュータ実施システムであって、
a)グローバルベースで、前記データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルと、
b)2段階予測モデルであって、
1)前記データセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、2段階予測モデルと、
c)(1)前記グローバル予測的モデルの前記予測と、前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた前記癌確率pとを使用する、前記データセットにおける癌の確率の全体的予測、および(2)前記データセットにおける癌の位置を表す、データを生成するためのコンピュータシステム実行コードと
を組み合わせて備える、コンピュータ実施システム。
【請求項１４】
前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをさらに備え、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項13に記載のシステム。
【請求項１５】
前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、および4)トレーニング中のデータ拡大の結果としての異なるパラメータからなる、パラメータのグループから選択される、請求項14に記載のシステム。
【請求項１６】
全体的確率が、前記グローバルモデルによって生成されたグローバルな確率と、前記複数の第2段階確率モデルの各々によって算出された前記候補の各々のための全確率との平均を備える、請求項13から15のいずれか一項に記載のシステム。
【請求項１７】
前記グローバル予測的モデルが、前記データセットにおける前記癌の存在の確率に加えて、
a)癌の転帰、
b)2次元における少なくとも20mmのサイズの結節の存在、
c)5年以内の死亡確率、
d)2年以内の肺癌の診断
のうちの少なくとも1つを予測するようにトレーニングされる、請求項13から16のいずれか一項に記載のシステム。
【請求項１８】
前記グローバルモデルが、前記データセットにおける肺癌の存在を識別するために、基本特徴抽出器を使用し、前記第1段階検出モデルが、前記基本特徴抽出器を使用する、請求項13から17のいずれか一項に記載のシステム。
【請求項１９】
前記第1段階検出モデルおよび前記第2段階確率モデルが、深層畳み込みニューラルネットワークを備える、請求項13から18のいずれか一項に記載のシステム。
【請求項２０】
前記コンピュータシステムが、前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるためのコードをさらに実行する、請求項13から19のいずれか一項に記載のシステム。
【請求項２１】
コンピュータ断層撮影データセットの肺癌スクリーニングの特異度を高めるための深層学習システムを生成するための方法であって、
a)コンピュータ断層撮影データセットにおける肺組織における癌の存在の確率を少なくとも予測するように、3次元深層畳み込みニューラルネットワークの形態におけるグローバル予測的モデルをトレーニングするステップであって、前記トレーニングが、癌の存在または不在を示すグランドトゥルースアノテーションをもつ多数のコンピュータ断層撮影データセットに対して実行される、ステップと、
b)前記コンピュータ断層撮影データセット内の1つまたは複数の3次元癌候補を検出するための、第1段階検出モデルをトレーニングするステップと、
c)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをトレーニングするステップであって、前記複数の第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、ステップと、
d)CTスキャンデータセットにおける癌の確率のアンサンブル予測を生成するために、前記グローバル予測的モデルおよび前記第2段階確率モデルの前記予測をアンサンブル方式で結合するためのアルゴリズムを定義するステップとを含み、
前記グローバルモデルまたは前記2段階モデルのいずれかが、前記CTスキャンデータセットにおける癌の位置を識別するようにさらにトレーニングされる、方法。
【請求項２２】
前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、および4)トレーニング中のデータ拡大の結果としての異なるパラメータからなる、パラメータのグループから選択される、請求項21に記載の方法。
【請求項２３】
前記アルゴリズムが平均計算である、請求項21または22に記載の方法。
【請求項２４】
前記グローバル予測的モデルが、コンピュータ断層撮影データセットにおける前記癌の存在の確率に加えて、
a)癌の転帰、
b)2次元における少なくとも30mmのサイズの結節の存在、
c)5年以内の死亡確率、
d)2年以内の肺癌の診断
のうちの少なくとも1つを予測するようにトレーニングされる、請求項21から23のいずれか一項に記載の方法。
【請求項２５】
前記グローバル予測的モデルが、前記肺組織における前記癌の確率の予測を生成するより前に、コンピュータ断層撮影データセットにおいて非肺組織から肺組織をセグメント化する、肺セグメンテーション手順を組み込む、請求項21から24のいずれか一項に記載の方法。
【請求項２６】
前記グローバルモデルまたは前記第2段階確率モデルのいずれかが、アテンション機構を含む、請求項1から12のいずれか一項に記載の方法。
【請求項２７】
前記アテンション機構が統合勾配を備える、請求項26に記載の方法。
【請求項２８】
前記グローバルモデルまたは前記第2段階確率モデルのいずれかが、アテンション機構を含む、請求項13から20のいずれか一項に記載のシステム。
【請求項２９】
前記アテンション機構が統合勾配を備える、請求項28に記載のシステム。
【請求項３０】
前記グローバルモデルまたは前記第2段階確率モデルのいずれかが、アテンション機構を含む、請求項21から25のいずれか一項に記載の方法。
【請求項３１】
前記アテンション機構が統合勾配を備える、請求項30に記載の方法。
【請求項３２】
複数のバケットの形態におけるリスク層別化スキーマを定義するステップであって、前記データセットにおける前記癌の確率の全体的予測が、前記リスク層別化スキーマにおける前記バケットのうちの1つに入れられる、ステップをさらに含む、請求項21から25のいずれか一項に記載の方法。
【請求項３３】
前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項32に記載の方法。
【請求項３４】
最近の医用画像ベースのデータセットおよび縦断的医用画像ベースのデータセットからの医用画像ベースの癌検出のための方法であって、
a)癌の存在を示す前記データセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記最近のデータセット、および場合によっては前記縦断的データセットを供給するステップと、
b)2段階予測モデルに、前記最近のデータセットおよび前記縦断的データセットを供給するステップであって、前記2段階予測モデルが、
1)前記最近のデータセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記縦断的データセット、および前記グローバルモデルからの前記抽出された特徴を組み込み、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた癌確率pから、前記データセットにおける癌の確率の全体的予測を生成するステップと
を含む、方法。
【請求項３５】
前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項34に記載の方法。
【請求項３６】
前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項35に記載の方法。
【請求項３７】
前記最近の医用画像ベースのデータセットおよび前記縦断的医用画像ベースのデータセットが、3Dコンピュータ断層撮影(CT)画像データセットを備える、請求項34から36のいずれか一項に記載の方法。
【請求項３８】
前記最近の医用画像ベースのデータセットおよび前記縦断的医用画像ベースのデータセットが、3D磁気共鳴イメージング(MRI)画像データセットを備える、請求項34から36のいずれか一項に記載の方法。
【請求項３９】
前記最近の医用画像ベースのデータセットおよび前記縦断的医用画像ベースのデータセットが、3D陽電子放射断層撮影(PET)画像データセットを備える、請求項34から36のいずれか一項に記載の方法。
【請求項４０】
前記第1段階検出モデルが、前記最近のデータセットの全ボリュームにおいて動作する、請求項33から39のいずれか一項に記載の方法。
【請求項４１】
前記グローバル予測的モデルが、前記特徴の抽出が前記識別された肺組織内のみで発生するように、前記最近のデータセットおよび前記縦断的データセット内の肺組織を識別する肺セグメンテーション特徴をさらに備える、請求項34から40のいずれか一項に記載の方法。
【請求項４２】
前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項34から41のいずれか一項に記載の方法。
【請求項４３】
前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項42に記載の方法。
【請求項４４】
前記第2段階確率モデルが、特徴マップに関連付けられた中間畳み込み層を有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記データセットにおける前記癌の確率の前記全体的予測が、前記グローバルモデルからの前記特徴マップを、前記第2段階確率モデルの前記中間畳み込み層の前記特徴マップに連結し、前記第2段階確率モデルの出力から前記予測を生成することによって取得される、請求項34に記載の方法。
【請求項４５】
マルチモーダル画像ベースのデータセットからの医用画像ベースの癌検出のための方法であって、
a)癌の存在を示す前記データセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記マルチモーダルデータセットにおける前記画像のうちの少なくとも1つを供給するステップと、
b)2段階予測モデルに前記マルチモーダルデータセットを供給するステップであって、前記2段階予測モデルが、
1)前記マルチモーダルデータセットにおける前記画像のうちの1つの中の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補、および前記マルチモーダルデータセットにおける他の画像、および前記グローバルモデルからの前記抽出された特徴において動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた癌確率pから、前記データセットにおける癌の確率の全体的予測を生成するステップと
を含む、方法。
【請求項４６】
前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項45に記載の方法。
【請求項４７】
前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項45に記載の方法。
【請求項４８】
前記マルチモーダル画像ベースのデータセットが、3Dコンピュータ断層撮影(CT)画像データセット、3D磁気共鳴イメージング(MRI)画像データセット、および3D陽電子放射断層撮影(PET)画像データセットのうちの2つ以上の組合せを備える、請求項45から47のいずれか一項に記載の方法。
【請求項４９】
前記マルチモーダルデータセットが、マルチモーダルMRI画像データセットを備える、請求項45から47のいずれか一項に記載の方法。
【請求項５０】
前記データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項45から47のいずれか一項に記載の方法。
【請求項５１】
前記第2段階確率モデルが、特徴マップに関連付けられた中間畳み込み層を有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記データセットにおける前記癌の確率の前記全体的予測が、前記グローバルモデルからの前記特徴マップを、前記第2段階確率モデルの前記中間畳み込み層の前記特徴マップに連結し、前記第2段階確率モデルの出力から前記予測を生成することによって取得される、請求項45に記載の方法。
【請求項５２】
前記最近のデータセットおよび前記縦断的データセットを登録するステップをさらに含む、請求項34から44のいずれか一項に記載の方法。
【請求項５３】
前記マルチモーダルデータセットにおける前記画像を登録するステップをさらに含む、請求項45から51のいずれか一項に記載の方法。
【請求項５４】
患者が加齢関連脳疾患を発症するリスクがあるか否かを予測するための方法であって、前記方法が、同じ暦年齢グループに属する認知障害のある被験者および正常な被験者の3D画像のデータセットから、領域知識なしに開発された、脳年齢のための予測的モデルを利用し、前記方法が、
a)前記患者から1つまたは複数の3D画像を取得し、前記予測的モデルに、前記1つまたは複数の3D画像を供給するステップと、
b)前記予測的モデルを用いて、前記被験者のための脳年齢予測を生成するステップと、
c)前記脳年齢予測を、前記患者の実年齢と比較するステップとを含み、
前記脳年齢予測が、前記患者の前記実年齢のものよりも実質的に大きい場合、前記患者が、加齢関連脳疾患を発症するリスクが高いとして識別される、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権
本出願は、2018年6月18日に出願した米国仮出願第62/686,541号、および2018年8月31日に出願した米国仮出願第62/726,178号の優先権の利益を主張するものである。
【０００２】
本開示は、癌検出およびスクリーニングを改善するための方法およびシステムに関する。方法は、たとえば、コンピュータ断層撮影(CT)からの肺癌検出のためのCTデータセット、および前立腺癌検出のためのマルチモーダル磁気共鳴イメージング(MRI)を含む、様々なイメージングデータセットとともに使用するために好適である。本開示の特徴は、低線量胸部CT(LDCT)データセット、ならびに診断用胸部CTデータセットからの一般的な肺癌検出との関連で適用され得る。方法およびシステムは、深層学習方法を使用して実装され得る。
【背景技術】
【０００３】
縦断的(longitudinal)およびマルチモーダルイメージング技法は、癌スクリーニング診断の改善に役立つ。「縦断的イメージング」は、癌の検出および診断の際に現在または直近の画像との比較のために利用可能である、前の患者画像を指す。「マルチモーダルMRI」は、単一の磁気共鳴イメージング(MRI)検査の間に取られた複数のパルスシーケンスを指すために使用される。「マルチモーダルイメージング」という用語はまた、MRI、CTスキャン、および陽電子放射断層撮影(PET)など、被験者の異なるタイプの画像を取得することを指すために使用され、そのような画像は、同時に取得されてもそうでなくてもよい。
【０００４】
典型的には、イメージングデータセットの解釈は、放射線科医が複数の時点またはモダリティにわたって画像の同じ領域を比較することによって、手動または半自動的に実行される。深層学習を使用する自動化された手法は、癌を識別および分類するために、複数の画像にわたって微妙な手掛かりを識別するための能力を提供することができる。我々は、癌検出および分類のために、縦断的またはマルチモーダルイメージングを組み込むための一般的な手法を提示する。
【０００５】
以下の説明では、LDCT画像からの肺癌スクリーニングのトピックを提示する。しかしながら、説明する手法は、たとえば、前立腺癌検出および分類のためのマルチモーダルMRIなど、他の癌のトピックに一般化することができる。
【０００６】
背景技術として、低線量スクリーニングCTは、55〜80歳の現在および前の喫煙者のための肺癌の早期検出のための推奨されるガイドラインの一部である。患者が、CTまたはX線を使用して、癌に関して年に1回スクリーニングされた、National Lung Cancer Screening Trial(NLST)の結果として、CTグループにおける患者が、X線グループにおける患者と比較して低い死亡率を有することが実証された。米国放射線学会(ACR)は、肺結節の存在および不在、結節サイズおよび密度、結節形態、ならびに腫瘍の二次的兆候(たとえば、リンパ節症)を含む、様々な発見物に基づいて画像の評価を行う、低線量肺癌スクリーニングCT症例の解釈および管理のためのLung CT Screening Reporting & Data System(Lung-RADS)(商標)ガイドラインを発表している。一般にCTスキャンからの肺癌検出との関連で、Fleischner Societyガイドラインは、癌性である場合もそうでない場合もある、肺疾患の結節の識別および特性化のための基準について記載している。Lung-RADSガイドラインおよびFleischnerガイドラインのような手動で設計されたガイドラインは、より高い一貫性、標準化、および典型的には全体的性能の改善を含む、イメージング検査の主観評価に勝る様々な利点を提供する。しかしながら、これらのシステムは、それらのシステムを定義する基準によって本質的に制限され、より複雑な解析システムが潜在的に感度と特異度の両方において性能をさらに改善するための機会を残している。
【０００７】
様々なソフトウェアデバイスが、肺CT画像における肺結節の高度な検出(スクリーニング、診断、またはそうでないもの)のために、アメリカ食品医薬品局(FDA)によって認可または承認されている。これらのシステムは、一般に、特異度のコストを最小限にしながら、放射線科医の読影者が結節を発見するための感度を改善するために最適化され、それによって、コンピュータ支援検出、またはCADeのカテゴリーに入る。検出器は、一般に、他の場合には見逃されることがある小さい結節(1cm未満であることが多い)を強調し、通常、結節を含んでいる可能性のある複数のエリアを強調し、臨床決定を放射線科医に委ねる。近年、診断を推進するより深い評価のために利用される、コンピュータ支援診断、またはCADxが、肺癌においてはまだであるが、放射線学の他の分野において、より大きい関心および最初の臨床的承認さえ得ている。特に、深層学習プラットフォームは、臨床的に検証されたエンドポイントに基づいて、新しいアルゴリズムを迅速に開発し、これらのシステムが臨床的結論へのそれら自体の独立した経路を決定し、高度な性能および潜在的に新しい臨床的洞察を与えることを可能にすることが期待できる。深層学習手法は、詳細評価の自動化、他の場合には報告されない微妙なホリスティックなイメージング発見物に気付くこと、ならびにCTスキャンを格付けおよび評価するための方法を統一することを行う可能性を提供する。
【０００８】
いくつかの論文が、深層学習を使用するCTスキャンからの肺結節検出および診断を対象としており、これらの論文には、Xiaojie Huang他、Lung Nodule Detection in CT Using 3D Convolutional Neural Networks、The 2017 IEEE International Symposium on Biomedical Imaging、2017年4月、Francesco Ciompi他、Towards automatic pulmonary nodule management in lung cancer screening with deep learning、Scientific Reports 7、article no. 46479、2017年4月17日、Wenqing Sun他、Computer Aided lung cancer diagnosis with deep learning、Medical Imaging 2016、Proc. of SPIE vol. 9785(2016年3月)、Albert Chon他、Deep Convolutional Neural Networks for Lung Cancer Detection、Stanford University Reports(2017)、www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf、およびWafaa Alakwaa他、Lung Cancer Detection and Classification with 3D Convolutional Neural Network (3D-CNN)、International Journal of Advanced Computer Science and Applications、vol. 8 no. 8. 409〜417ページ(2017)が含まれる。当技術分野はまた、結節がすでに検出されたと仮定しており、悪性腫瘍のリスクの予測が生成される状況についても記載している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願第14/839,452号
【非特許文献】
【００１０】
【非特許文献１】Xiaojie Huang他、Lung Nodule Detection in CT Using 3D Convolutional Neural Networks、The 2017 IEEE International Symposium on Biomedical Imaging、2017年4月
【非特許文献２】Francesco Ciompi他、Towards automatic pulmonary nodule management in lung cancer screening with deep learning、Scientific Reports 7、article no. 46479、2017年4月17日
【非特許文献３】Wenqing Sun他、Computer Aided lung cancer diagnosis with deep learning、Medical Imaging 2016、Proc. of SPIE vol. 9785(2016年3月)
【非特許文献４】Albert Chon他、Deep Convolutional Neural Networks for Lung Cancer Detection、Stanford University Reports(2017)、www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf
【非特許文献５】Wafaa Alakwaa他、Lung Cancer Detection and Classification with 3D Convolutional Neural Network (3D-CNN)、International Journal of Advanced Computer Science and Applications、vol. 8 no. 8. 409〜417ページ(2017)
【非特許文献６】アメリカ国立衛生研究所(NIH)Cancer Data Access System[https://biometry.nci.nih.gov/cdas/learn/nlst/images/]
【非特許文献７】Joao Carreira他、Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset、arXiv:1705.07750[cs.CV](2017)
【非特許文献８】C. Szegedy他、Going Deeper with Convolutions、arXiv:1409.4842[cs.CV](2014年9月)
【非特許文献９】C. Szegedy他、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567[cs.CV](2015年12月)
【非特許文献１０】M. Sundararajan他の論文、Axiomatic Attribution for Deep Networks、arXiv:1703.01365[cs.LG](2017年6月)
【非特許文献１１】D. Bahdanau他の学会発表、Neural Machine Translation by Jointly Learning to Align and Translate、2014年1月(arXiv:1409.0473[cs.CL])
【非特許文献１２】Choi他、GRAM:Graph-based attention model for Healthcare Representation Learning、arXiv:1611.07012v3[cs.LG]2017年4月
【非特許文献１３】Choi他、RETAIN:an Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism、arXiv:1608.05745v3[cs.GL]2017年2月
【非特許文献１４】Tsung-Yo Lin他、Focal Loss for Dense Object Detection、arXiv:1708.02002[cs.CV](2017年8月)
【非特許文献１５】J. H. Cole他、「Predicting brain age with deep learning from raw imaging data results in a reliable and heritable biomarker」、NeuroImage、vol. 163、115〜124ページ、2017
【非特許文献１６】J. H. Cole他、「Brain age predicts mortality」、Molecular Psychiatry、2017
【非特許文献１７】P. Sturmfels他、「A domain guided CNN architecture for predicting age from structural brain images」、arXiv preprint arXiv:1808.04362、2018
【非特許文献１８】http://adni.loni.usc.edu/
【非特許文献１９】J. CarreiraおよびA. Zisserman、2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)における、「Quo vadis, action recognition? a new model and the kinetics dataset」、IEEE 2017、4724〜4733ページ
【発明の概要】
【課題を解決するための手段】
【００１１】
一態様では、我々は、深層学習モデルなどのモデルのアンサンブルを使用して、CTデータセットにおける肺癌の存在/不在の確率的予測、および癌の位置を生成するための方法およびシステムについて説明する。モデルのアンサンブルは、グローバルベースで(すなわち、CTボリューム全体にわたって)、CTデータセットにおける肺組織における癌の存在の確率および位置を予測するようにトレーニングされる、3D畳み込みニューラルネットワーク(CNN)の形態における、グローバル予測的モデルを含む。したがって、グローバルモデルは、入力としてCTボリューム全体をとり、CTボリュームにおいて表された関心エリアにおける癌の存在のグローバル予測を出力し得る。このグローバルモデルのこの出力は、CTボリューム全体にわたる単一のモデルにおける癌のエンドツーエンド予測を表す。場合によっては、このグローバルモデルは、胸部CTデータセットにおいて非肺組織から肺組織を分離するための特徴を含み、肺組織のみにおける癌の存在の確率および位置を予測する。
【００１２】
アンサンブルはまた、癌検出候補(癌性である場合もそうでない場合もある、単なる結節ではなく、癌であり得る候補を含んでいる、CTデータセットにおける3Dデータの異なるクロップされたボリューム)を識別する、第1段階または検出モデルと、癌検出候補の各々に癌確率pを割り当てる、第2段階または確率モデルとを含む、2段階予測モデルを含む。2段階予測モデルのうちの検出モデルおよび確率モデルは、同じく畳み込みニューラルネットワークに基づき得る。したがって、検出モデルは、CTデータセットを処理して、イメージングされた関心領域の部分を表すCTデータセットの候補ボリュームを生成し得、確率モデルは、CTデータセットの候補ボリュームを処理して、候補ボリュームが、癌を有する患者を示すイメージングされた関心領域の部分、たとえば、1つまたは複数の癌細胞を含む部分を表す確率を決定し得る。
【００１３】
実際には、3つまたは5つなど、2つ以上の異なる第2段階確率モデル、たとえば、モデルA、B、C、Dなどがあり得、各々がそれ自体のパラメータのセットをもち、各々が検出候補の各々における癌の確率の予測を作成する。そのような第2段階モデルを定義するパラメータにおける可能な違いには、1)異なるパッチサイズ(すなわち、異なるスケールで癌を検出するために、データセットにおけるクロップされた3Dデータの様々なサイズのボリューム)、2)学習率など、学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の複数の時点でモデルをとること(各モデルがわずかに異なる予測を有するようになるように、トレーニングの過程にわたって重みが変化する)、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定が含まれる。具体的には、一実装形態では、モデルをより大きいばらつきに触れさせるために、トレーニングデータが、トレーニング中に追加のトレーニングデータを生成するように修正され得る。たとえば、小さいランダム回転が、入力ボリュームに適用されて、追加のトレーニングボリュームが生成され得る。このデータ拡大は、アンサンブルのメンバーの間で変動し得るパラメータ、たとえば、ランダム回転の量を有する。
【００１４】
次いで、グローバルモデルおよび第2段階確率モデルの各々によって生成された予測確率が、たとえば、何らかの定義関数f、またはアルゴリズムに従って結合されて、CTデータセットにおける癌/癌なしの全体的または最終確率予測(たとえば、典型的には0から100までのパーセンテージを単位として提示される「悪性尤度スコア(malignancy likelihood score)」)、および癌の可能性がある位置が生成される。1つの構成では、これらの確率はまた、既存のスコアリングスキーマに近似するために、または新しいものを定義することによってのいずれかで、新規のスコアリング方法においても使用され得る。定義関数fは、グローバルモデルの予測された確率と、第2段階モデルの各々の、すなわち、すべての癌検出候補にわたって、または加重平均の形式において計算される、各最終または全確率との平均化からなり得る。
【００１５】
したがって、一態様では、患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための方法が提供される。方法は、a)グローバルベースで、データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、データセットを供給するステップと、b)2段階予測モデルにデータセットを供給するステップであって、2段階予測モデルが、1)データセット内の1つまたは複数の3次元癌候補の位置を検出する、第1段階検出モデルと、2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作し、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルとを備える、ステップと、c)(1)グローバル予測的モデルの予測と、第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pとの両方を使用する、データセットにおける癌の確率の全体的予測、および(2)データセットにおける癌の位置を表す、データを生成するステップであって、癌の位置が、グローバル予測的モデルまたは2段階予測モデルのいずれかによって決定される、ステップとを含む。
【００１６】
別の態様では、患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するためのコンピュータ実施システムが開示される。システムは、a)グローバルベースで、データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルと、b)2段階予測モデルであって、1)データセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作し、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルとを備える、2段階予測モデルと、c)(1)グローバル予測的モデルの予測と、第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pとを使用する、データセットにおける癌の確率の全体的予測、および(2)データセットにおける癌の位置を表す、データを生成するためのコンピュータシステム実行コードとを含む。癌の位置は、グローバル予測的モデルまたは2段階予測モデルのいずれかによって決定される。
【００１７】
1つの構成では、特徴マップに関連付けられた中間畳み込み層(intermediate convolutional layer)を各々が有する、深層畳み込みニューラルネットワークの形態をとる、複数の第2段階モデルがある。グローバル予測的モデルは、特徴マップに関連付けられた中間畳み込み層を含む。ステップc)において、データセットにおける癌の確率の全体的予測が、(1)第2段階モデルからの特徴マップを、グローバルモデルの中間畳み込み層の特徴マップにアペンドし、グローバルモデルからの予測を生成すること、または(2)グローバルモデルからの特徴マップを、第2段階モデルの中間畳み込み層の特徴マップにアペンドし、第2段階モデルの出力から予測を生成することのいずれかによって取得される。
【００１８】
一態様では、患者について取得されたコンピュータ断層撮影データセットから、患者の関心領域における癌の存在の確率を決定するための方法について説明する。方法は、
a)コンピュータ断層撮影データセットから、患者が癌を有するグローバルな確率を生成するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、予測的モデル(グローバル予測的モデル)を使用して、コンピュータ断層撮影データセットを処理するステップと、
b)2段階予測モデルを使用して、コンピュータ断層撮影データセットを処理するステップであって、前記処理が、
1)1つまたは複数の癌細胞を表す候補関心領域として、データセットにおける1つまたは複数の3次元候補ボリュームを生成するために、検出モデルを使用して、コンピュータ断層撮影データセットを処理するステップと、
2)3次元候補ボリュームの各々のための確率を生成するために、検出モデルによって生成された1つまたは複数の3次元候補ボリュームを処理するステップであって、3次元ボリュームの各々のための確率が、3次元ボリュームが1つまたは複数の癌細胞を表す確率を示す、ステップと
を含む、ステップと、
c)患者が癌を有するグローバルな確率と、3次元候補ボリュームの各々のための確率の両方を使用して、患者が癌を有する確率を生成するステップと
を含む。
【００１９】
各態様は、場合によっては、以下の特徴のうちの1つまたは複数を含み得る。1つまたは複数の3次元癌候補が、第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、第2段階確率モデルの各々が、3次元癌候補の各々に癌確率pを割り当て、複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる。異なるモデルパラメータが、1)データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される。ステップc)において、全体的確率は、グローバルモデルによって生成されたグローバルな確率と、複数の第2段階確率モデルの各々によって算出された候補の各々のための全確率との平均を備える。グローバル予測的モデルが、データセットにおける癌の存在の確率に加えて、以下のもの、すなわち、a)癌の転帰、b)2次元における少なくとも20mmのサイズの結節の存在、c)5年以内の死亡確率、d)2年以内の癌の診断のうちの少なくとも1つを予測するようにトレーニングされる。グローバルモデルは、データセットにおける癌の存在を識別するために、基本特徴抽出器(base feature extractor)を使用し、第1段階検出モデルが、基本特徴抽出器を使用する。第1段階検出モデルおよび第2段階確率モデルは、深層畳み込みニューラルネットワークを備える。第1段階検出モデルは、データセットにおける癌の存在の確率の予測が識別された肺組織内のみでグローバルに動作するように、データセットの全ボリュームにおいて動作する。グローバル予測的モデルは、データセット内の組織を識別する肺セグメンテーション特徴(lung segmentation feature)をさらに備える。1つの構成では、方法は、データセットにおける癌の確率の全体的予測を、リスク層別化スキーマのバケットに入れる。リスク層別化スキーマは、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する。
【００２０】
別の態様では、コンピュータ断層撮影データセットの肺癌スクリーニングの特異度を高めるための深層学習システムを生成するための方法について説明する。方法は、
a)グローバルに、コンピュータ断層撮影データセットにおける肺組織における癌の存在の確率を少なくとも予測するように、3次元深層畳み込みニューラルネットワークの形態におけるグローバル予測的モデルをトレーニングするステップであって、トレーニングが、癌の存在または不在を示すグランドトゥルースアノテーションをもつ多数のコンピュータ断層撮影データセットに対して実行される、ステップと、
b)コンピュータ断層撮影データセット内の1つまたは複数の3次元癌候補を検出するための、第1段階検出モデルをトレーニングするステップと、
c)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをトレーニングするステップであって、第2段階確率モデルの各々が、3次元癌候補の各々に癌確率pを割り当て、複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、ステップと、
d)CTスキャンデータセットにおける癌の確率のアンサンブルまたは全体的予測を生成するために、グローバル予測的モデルおよび第2段階確率モデルの予測をアンサンブル方式で結合するためのアルゴリズムまたは関数を定義するステップと
を含む。
【００２１】
各態様は、以下の特徴のうちの1つまたは複数を含み得る。異なるモデルパラメータが、1)データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される。アルゴリズムは平均計算である。グローバル予測的モデルが、コンピュータ断層撮影データセットにおける癌の存在の確率に加えて、以下のもの、すなわち、a)癌の転帰、b)2次元における少なくとも30mmのサイズの結節の存在、c)5年以内の死亡確率、d)2年以内の肺癌の診断のうちの少なくとも1つを予測するようにトレーニングされる。グローバル予測的モデルが、コンピュータ断層撮影データセットにおいて非肺組織から肺組織をセグメント化するように、さらにトレーニングされる。1つの構成では、グローバルモデルは、統合勾配(integrated gradient)などのアテンション機構を含む。1つの構成では、方法は、複数のバケットの形態におけるリスク層別化スキーマを含み、データセットにおける癌の確率の全体的予測が、リスク層別化スキーマにおけるバケットのうちの1つに入れられる。リスク層別化スキーマは、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する。
【００２２】
態様が任意の好都合な形態で実装され得ることは諒解されよう。たとえば、態様は、有形のキャリア媒体(たとえば、ディスク)、または無形のキャリア媒体(たとえば、通信信号)であり得る、適切なキャリア媒体上で搬送され得る、適切なコンピュータプログラムによって実装され得る。態様はまた、本発明を実装するように配置されたコンピュータプログラムを実行するプログラマブルコンピュータの形態をとり得る、好適な装置を使用して実装され得る。
【００２３】
ある態様との関連で説明される特徴が、別の態様との関連で実装され得るように、態様が結合され得ることは諒解されよう。
【００２４】
これらの技法について、概して肺癌との関連で説明するが、これらの技法が肺癌以外の癌に適用され得ることは諒解されよう。
【００２５】
加えて、我々は、高度な癌検出および診断のための新規の深層学習フレームワークへの、縦断的およびマルチモーダルイメージングの組込みについて、本明細書で説明する。部分的または完全な自動化によって、幅広い利用可能性を促進するための、画像ベースのスクリーニングのスケーリングが容易になる。以下の説明から諒解されるように、本開示のシステムおよび方法は、CTスキャンデータセットなど、所与のイメージングモダリティの、3Dボリュメトリックデータセットなどの縦断的画像のセットがあるときに使用され得る。システムおよび方法はまた、被験者の縦断的(前の)イメージングデータセットを含む場合も含まない場合もある、マルチモーダルデータセットのセットがある場合にも使用され得る。方法およびシステムはまた、所与の被験者について利用可能な縦断的イメージングデータセットとマルチモーダルイメージングデータセットの両方があり、癌検出および診断の精度を高めるために、以下で説明する深層学習フレームワークにおいて、それらのデータセットがすべて結合され得る状況にも拡張され得る。
【００２６】
一態様では、我々は、深層学習モデルのアンサンブルを使用して、最近の(たとえば、現在の)画像データセットおよび縦断的(前の)画像データセットからなる、医用画像ベースのデータセットにおける肺癌の存在/不在の確率的予測、および癌の位置を生成するための方法およびシステムについて説明する。方法は、
a)癌の存在を示すデータセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、最近のデータセット、および場合によっては縦断的データセットを供給するステップと、
b)2段階予測モデルに、最近のデータセットおよび縦断的データセットを供給するステップであって、2段階予測モデルが、
1)現在のデータセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補に対して動作し、縦断的データセット、およびグローバルモデルからの抽出された特徴を組み込み、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pから、データセットにおける癌の確率の全体的予測を生成するステップと
を含む。
【００２７】
各態様は、場合によっては、以下の特徴のうちの1つまたは複数を含み得る。1つの構成では、最近のデータセットおよび縦断的データセットが、2段階モデルにおける検出モデルによって検出される癌候補について、ローカルに登録される。別の可能な構成では、最近のデータセットおよび縦断的データセットが、予測を生成するステップより前に、グローバルに登録される。一実施形態では、データセットは、癌スクリーニングのために得られた低線量肺CTイメージングからなる。別の実施形態では、肺CT画像が、診断検査の一部として得られる。別の実施形態では、データセットは、癌スクリーニングのために得られた磁気共鳴イメージング(MRI)データセット、または最近のPET画像データセットおよび縦断的PET画像データセットの形態である。
【００２８】
以下は、方法の追加の随意の特徴である。1つまたは複数の3次元癌候補が、複数の第2段階確率モデルに提供される。第2段階確率モデルの各々は、3次元癌候補の各々に癌確率pを割り当てる。1つの可能な構成では、複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる。しかしながら、単一の第2段階モデルでは、1つまたは複数の候補を処理する際に、共有重みが使用される。異なるモデルパラメータが、1)データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される。ステップc)において、全体的確率は、複数の第2段階確率モデルの各々によって算出された候補の各々のための確率の平均を備える。1つの構成では、第1段階検出モデルおよび第2段階確率モデルは、深層畳み込みニューラルネットワークを備える。第1段階検出モデルは、データセットの全ボリュームにおいて動作する。1つの可能な構成では、グローバルモデルは、癌を示す特徴の抽出が識別された肺組織内のみで動作するように、データセット内の組織を識別する肺セグメンテーション特徴を含む。1つの構成では、方法は、データセットにおける癌の確率の全体的予測を、リスク層別化スキーマのバケットに入れる。リスク層別化スキーマは、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する。
【００２９】
方法は、さらには、患者の他のタイプの画像データセット、および特にマルチモーダル画像に適用可能である。特に、別の態様では、マルチモーダル画像ベースのデータセットからの医用画像ベースの癌スクリーニングおよび検出のための方法について説明する。方法は、
a)癌の存在を示すデータセットにおける特徴を抽出する、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、マルチモーダルデータセットを供給するステップと、
b)2段階予測モデルにマルチモーダルデータセットを供給するステップであって、2段階予測モデルが、
1)マルチモーダルデータセット(たとえば、3D CT画像データセット)における画像のうちの1つの中の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)第1段階検出モデルによって検出された1つまたは複数の3次元癌候補、およびマルチモーダルデータセットにおける他の画像(PET画像およびMRI画像など)、およびグローバルモデルからの抽出された特徴において動作し、3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)第2段階確率モデルによって3次元癌候補の各々に割り当てられた癌確率pから、データセットにおける癌の確率の全体的予測を生成するステップと
を含む。
【００３０】
ある態様との関連で説明される特徴が、別の態様との関連で実装され得るように、態様が結合され得ることは諒解されよう。
【００３１】
これらの技法について、概して肺癌との関連で説明するが、これらの技法が、前立腺または乳癌など、肺癌以外の癌に適用され得ることは諒解されよう。
【００３２】
本開示の別の態様では、患者が加齢関連脳疾患を発症するリスクがあるか否かを予測するための方法についてさらに説明する。方法は、同じ暦年齢グループに属する認知障害のある被験者および正常な被験者の3D画像(たとえば、構造的磁気共鳴イメージング(SMRI:structural magnetic resonance imaging)またはCT)のデータセットから、領域知識なしに開発された、脳年齢のための予測的モデルを利用する。方法は、
a)患者から1つまたは複数の3D画像を取得し、予測的モデルに、1つまたは複数の3D画像を供給するステップと、
b)予測的モデルを用いて、被験者のための脳年齢予測を生成するステップと、
c)脳年齢予測を、患者の実年齢と比較するステップとを含み、脳年齢予測が、患者の実年齢のものよりも実質的に大きい場合、患者が、加齢関連脳疾患を発症するリスクが高いとして識別される。
【図面の簡単な説明】
【００３３】
【図１】グローバル予測的モデルと、第1段階検出モデルと、1つまたは複数の第2段階確率モデルとを含む、深層学習を使用して、コンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための、我々のシステムおよび方法の図であって、図1のシステムは、グローバル予測的モデルおよび2段階予測的モデルがリモートで実装され、癌の尤度を示す最終確率スコア、およびデータセットにおける癌の位置を、CTデータセットが取得されるクリニックまたはオフィスに返す、クラウド環境において展開され得る。代替的に、図1のシステムは、ローカルに実装され得、すなわち、コンピューティングリソースおよび深層学習モデルが、オフィスまたはクリニックのローカルに位置する、図である。
【図２】図1の第2段階確率モデルによる癌確率予測、および単一の第2段階モデルによる候補1、2、3のセットのための全体的な癌予測の生成の図であって、システムが2つ以上の第2段階モデルを含む場合、図2の手順が第2段階モデルの各々について繰り返される、図である。
【図３】所与の入力癌候補3Dボリュームのための予測をインスタンスごとに生成する、マルチスケール特徴抽出方法の図であって、インスタンスごとの予測が、ある関数に基づいて、最終予測に結合され得、その例については、以下で説明しており、追加として、我々は、特徴のプリロジットレベル(pre-logit level)連結、特徴マップのプーリング前連結などを含む、深層学習モデルの異なるレベルにおいてインスタンスを扱うことができる、図である。
【図４】NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、図1のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。
【図５】医用画像ベースのデータセットの検出および分類を実行するために、縦断的画像を組み込むための深層学習システムの図である。
【図６】医用画像ベースのデータセットの検出および分類を実行するために、縦断的画像またはマルチモーダル画像を組み込むための、一般化された深層学習システムの図である。
【図７Ａ】NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットあり、および縦断的画像データセットなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。
【図７Ｂ】NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットあり、および縦断的画像データセットなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。
【図７Ｃ】NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットあり、および縦断的画像データセットなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。
【図８Ａ】そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図である。
【図８Ｂ】そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図である。
【図８Ｃ】そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図である。
【図９Ａ】そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図であって、結節の周りより大きいコンテキストが、第2段階モデルのために利用可能であることに留意されたい、図である。
【図９Ｂ】そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図であって、結節の周りより大きいコンテキストが、第2段階モデルのために利用可能であることに留意されたい、図である。
【図９Ｃ】そのための癌確率が予測される、2段階モデルによって検出された関心領域を示すボックスを伴う、患者のCTスキャン画像の図であって、結節の周りより大きいコンテキストが、第2段階モデルのために利用可能であることに留意されたい、図である。
【図１０Ａ】前のCTスキャン画像におけるROIの登録を示す図である。
【図１０Ｂ】現在のCTスキャン画像におけるROIの登録を示す図である。
【図１１Ａ】第2段階確率モデルから導出されたアトリビューション領域の結果を示す図である。
【図１１Ｂ】第2段階確率モデルから導出されたアトリビューション領域の結果を示す図である。
【図１１Ｃ】第2段階確率モデルから導出されたアトリビューション領域の結果を示す図である。
【図１２】いかなる領域知識も必要とすることなく、脳の3D構造的磁気共鳴イメージング(SMRI)画像から脳年齢を予測するための、深層学習モデルを示す図であって、2つの異なる方法において、すなわち、1)リグレッサを使用して、および2)バケット化分類器を使用して脳年齢を予測した、図12のモデルの2つの変形形態について、以下で説明している、図である。
【図１３Ａ】回帰モデルのためのチューニングデータセットにおける、認知機能が正常な被験者の本当の年齢に対する予測年齢の散布プロットである。
【図１３Ｂ】バケット化分類モデルのためのチューニングデータセットにおける、認知機能が正常な被験者の本当の年齢に対する予測年齢の散布プロットである。
【図１４Ａ】同じ予測年齢グループにおける、認知障害のない被験者および認知障害のある被験者のための本当の年齢の分布のボックスプロットであって、この図は、同じ年齢グループに入ると予測されたとき、認知障害のある被験者の本当の年齢の分布が、認知障害のない被験者の本当の年齢の分布よりも一貫して低い平均値を有することを示し、我々は、本当の年齢が60歳未満および90歳を超える被験者を除外しており、その理由は、テストデータセットにおいて十分なサンプルがなかったからであり、加えて、認知障害のある被験者の予測年齢は、回帰手法およびバケット化分類手法において、それぞれ、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高かった、ボックスプロットである。
【図１４Ｂ】同じ予測年齢グループにおける、認知障害のない被験者および認知障害のある被験者のための本当の年齢の分布のボックスプロットであって、この図は、同じ年齢グループに入ると予測されたとき、認知障害のある被験者の本当の年齢の分布が、認知障害のない被験者の本当の年齢の分布よりも一貫して低い平均値を有することを示し、我々は、本当の年齢が60歳未満および90歳を超える被験者を除外しており、その理由は、テストデータセットにおいて十分なサンプルがなかったからであり、加えて、認知障害のある被験者の予測年齢は、回帰手法およびバケット化分類手法において、それぞれ、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高かった、ボックスプロットである。
【発明を実施するための形態】
【００３４】
本明細書は、データセットに基づく患者における癌の存在/不在の確率の予測、および存在する場合、CTデータセットにおける癌の位置の生成を目標とする、患者から取得された肺癌スクリーニングCTデータセットの評価のための深層学習方法の開発および実装形態について説明する。本開示の方法は、CTデータセットにおける肺癌検出の特異度および感度を改善する。1つの可能な実施形態では、システムは、トレーニングされた放射線科医による癌患者の診断および治療管理を助けることができる、コンピュータベースの深層学習肺癌検出およびスクリーニングツールとして構成され得る。
【００３５】
図1〜図4、セクションIの以下の説明では、我々は、我々の深層学習モデルの全体的な概観、および縦断的イメージングデータセットまたはマルチモーダルイメージングデータセットを含まない、イメージングデータセットを用いたその使用について説明する。その概観および説明を念頭に置いて、次いで、本開示はセクションIIに進み、図5〜図11とともに、最近の画像データセットおよび縦断的画像データセット、またはマルチモーダルデータセットを使用する、深層学習モデルのアンサンブルの使用について説明する。
【００３６】
図1および図5のグローバルモデルの開発の、SMRI脳画像への拡張、ならびに脳年齢予測的モデルの開発、および年齢関連脳疾患のリスクが高いとして患者を識別するためのその使用が、本明細書のセクションIIIに記載される。
【００３７】
I.概観、モデルのアンサンブル、および縦断的画像データセットまたはマルチモーダル画像データセットなしのその使用(図1〜図4)
本開示で説明するモデルの開発およびトレーニングのために、我々は、14,863名の患者からの42,943件のCT検査を含み、そのうちの620名が生検で確認された癌を発症した、National Lung Screening Trial(NLST)データセットを解析した。データセットにおける症例に関する追加の詳細は、アメリカ国立衛生研究所(NIH)Cancer Data Access System[https://biometry.nci.nih.gov/cdas/learn/nlst/images/]を通して入手可能であり、手短に言えば、症例は、複数の機関から低線量で得られたものであり、スライス厚は1.25mmから2.5mmまで変動し(NLSTデータセットからのより大きいスライス厚データは、検討から除去された)、スキャナベンダーは現場によって変動した。症例は、3つのグループ化されたセット、すなわち、トレーニング(70%)、チューニング(15%)、およびテスト(15%)に分割された。癌症例がすべての3つのグループ化されたセットにおいて現れることを保証するためのステップが実行されたので、症例の分割は完全にランダムであるとは限らなかった。癌の存在についてのグランドトゥルースは、患者がスクリーニング年の間に生検または手術で確認された肺癌と診断された(すなわち、真陽性)か否かの決定によって定義された。「陰性」は、NLST結果による癌の不在によって定義された(試験における患者は、6.5年の経過観察の中央値を有した)。データセットは、以下で説明するように、グローバルモデルにおける癌/癌なしに加えて、異なる二項分類を開発するために使用された、CTデータセットに関連付けられた患者のための臨床データを含む。
【００３８】
我々の方法は、0〜100%ベースの「悪性尤度スコア」(または、以下のアンサンブル確率PE)を割り当てるように設計されている。次いで、この確率予測が、しきい値処理を介して、1および2対3/4Aおよび4Bのグループ化されたLung-RADSカテゴリー、または他の知られている代替リスク層別化バケットに変換され得る。代替的な、および潜在的に完全に新しいリスクカテゴリー化バケットが、以下でさらに詳細に説明するように、我々のアンサンブル予測から定義され得る。
【００３９】
高いレベルで、CTデータセットから癌確率予測を生成するための我々の手法は、従来技術を改善するものであり、その理由は、我々の手法が、グローバルベースで(すなわち、CTボリューム全体にわたって)、CTデータセットにおける肺組織における癌の存在の確率を予測するようにトレーニングされる、グローバルモデルを含むからである。場合によっては、CTボリュームにおける癌の位置が、グローバルモデルによって、たとえば、以下で説明するようなアテンション機構の使用を通して決定され得る。このグローバルモデルは、3D癌候補1、2、3、...(データセットにおいてクロップされた3Dボリューム)を識別する第1段階または「検出」モデルと、第1段階モデルによって識別された癌候補のための癌確率p1、p2、p3、...を生成する第2段階または「確率」モデルとを含む、2段階予測モデルを含む、モデルのアンサンブルの一部である。次いで、CTデータセットにおける癌の最終スコアまたは確率が、たとえば、グローバルモデルの確率と、癌検出候補にわたる第2段階確率モデルからの全体的または全確率とを平均化することによって、グローバルモデルからの結果と、第2段階予測モデルによって生成された癌確率pとを結合することによって、取得される。上述のように、好ましくは、検出候補の各々のための癌予測を個々に生成している、複数の第2段階確率モデルがあり、たとえば、以下で説明するように、そのような第2段階確率モデルのうちの4つまたは5つが、異なるパラメータを各々が有する。システムおよび方法は、CTデータセットにおける癌の全体的または最終予測確率と位置とを表すデータを生成する。
【００４０】
図1は、深層学習を使用して、肺癌スクリーニングコンピュータ断層撮影データセットの特異度を改善するための、我々の方法を実施するためのシステム100の図である。患者102が、従来のCTスキャナ104に挿入され、スキャナは、従来のように3D CTデータセット106を生成する。次いで、このCTデータセット106が、グローバル予測的モデル110に供給される。グローバル予測的モデル110は、好ましくは、本質的にパターン認識器として作用し、肺組織におけるCTスキャンデータにおいて癌を認識するようにトレーニングされる、3次元深層畳み込みニューラルネットワークの形態をとる。そのようなネットワークについては、文献、たとえば、Joao Carreira他、Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset、arXiv:1705.07750[cs.CV](2017)、以前に引用したHuang他の論文の380ページにおいて記載されている。Carreira他およびHuang他の論文は、参照により本明細書に組み込まれる。
【００４１】
このモデルは、グランドトゥルースアノテーション付きの多数のCTスキャンデータセットから、癌を認識するようにトレーニングされる。この場合には、National Lung Screening Trial(NLST)データセットがトレーニングのために使用された。しかしながら、トレーニングのための他のデータセットが文献において言及されており、それらを使用することができ、たとえば、Huang他の論文において言及された、Lung Image Database Consortium(LIDC)データセット、およびStanfordグループの論文において言及された、KaggleのData Science Bowl 2017 challengeにおいて使用されたCTスキャンデータセットである。一実施形態では、グラフィックス処理ユニット(gpu)メモリの効率的な使用のために、グローバルモデル110のための3D膨張(inflated)Inception V1が使用される。Inception深層畳み込みニューラルネットワークアーキテクチャについては、科学文献において記載されている。その内容が参照により本明細書に組み込まれる、以下の参考文献を参照されたい。すなわち、C. Szegedy他、Going Deeper with Convolutions、arXiv:1409.4842[cs.CV](2014年9月)、C. Szegedy他、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567[cs.CV](2015年12月)、また、2015年8月28日に出願されたC. Szegedy他の「Processing Images Using Deep Neural Networks」という米国特許出願第14/839,452号も参照されたい。
【００４２】
このグローバルモデル110は、グローバルベースで、データセット106における肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされる。一実施形態では、このグローバルモデル110は、CTデータセットにおいて、非肺組織から肺組織を分離するために、肺セグメンテーション特徴を含む。グローバルモデルは、肺組織における癌存在の確率のみを予測する。一実施形態では、マスクR-CNNベースの肺セグメンテーションモデルが、非肺組織を取り除くために、どこでデータセットをセンタークロップするかを判断するために使用され、肺組織における癌検出のためにトレーニングされたモデルのみが、全ボリュームCTスキャンデータの代わりに使用される。この手順は、我々の予測的モデルが、肺癌(すなわち、肺組織における癌)のためのグランドトゥルースアノテーション付きデータセットにおいてのみトレーニングされたとき、非肺組織における癌の潜在的な検出の異常な可能性を除去するものである。
【００４３】
グローバルモデル110は、いくつかの二項ヘッド(binary head)または分類器(すなわち、トレーニングデータに基づいて行われることになる予測)、すなわち、NLSTにおけるスクリーニング結果、癌の転帰、および20mmよりも大きい結節の存在を用いてトレーニングされた。たとえば、グローバルモデルは、5年以内の死亡確率、および2年以内の肺癌の診断を予測するようにトレーニングされ得る。グローバルモデルはまた、すべての軸に沿ったランダムフリッピングおよびランダムシフトを含む、3Dデータ拡大を用いてトレーニングされる。
【００４４】
追加として、グローバルモデル110、ならびに2段階モデルの第2段階は、モデル予測に最も寄与するデータセットのそれらの部分/領域、すなわち、位置を基本的に識別する、統合勾配などのアトリビューション機構を含み得る。次いで、CTデータセットのこれらの部分が、画像内にアテンション機構から識別された癌領域を囲むバウンディングボックスを追加することによって強調され、それによって、CTボリュームにおける癌の可視化のためのツールをユーザに与え、モデルのアンサンブルによって生成された最終予測が信頼できるという確信をユーザに与えることができる。統合勾配アルゴリズムについては、M. Sundararajan他の論文、Axiomatic Attribution for Deep Networks、arXiv:1703.01365[cs.LG](2017年6月)において記載されており、その内容全体が参照により組み込まれる。この方法について、全体的な画像の分類における、画像における個々のピクセルのアトリビューションの関連で概念的に説明する。基本的には、画像における各ピクセルiのための統合勾配スコアIGi(または、アトリビューション重みもしくは値)が、ベースライン(ゼロ情報、あらゆるピクセル黒、α=0)から、入力画像における全情報(α=1)までの、入力画像情報内容(この例では、輝度のスペクトル)の均等スケーリング(α)を介して算出され、ただし、IGi(各ピクセルのためのスコア)が式(1)によって与えられる。
(1) IGi(image)=imagei*∫0-1▽Fi(α*image)dα
ただし、Fは、ラベルのための予測関数であり、
imageiは、i番目のピクセルの値であり、
IGi(image)は、i番目のピクセルに関する統合勾配、すなわち、i番目のピクセルのためのアトリビューションであり、
▽は、imageiに対する勾配演算子である。
【００４５】
Sundararajan他の論文のセクション3は、アルゴリズムについてさらに説明しており、その説明が参照により組み込まれる。CTスキャンの場合のような3Dボリュームへのその技法の適応は、当業者の能力内で考えられる。
【００４６】
深層学習ニューラルネットワークにおけるアテンション機構の使用については、D. Bahdanau他の学会発表、Neural Machine Translation by Jointly Learning to Align and Translate、2014年1月(arXiv:1409.0473[cs.CL])において記載されている。ヘルスケアとの関連でのアテンション機構のさらなる説明には、Choi他、GRAM:Graph-based attention model for Healthcare Representation Learning、arXiv:1611.07012v3[cs.LG]2017年4月、およびChoi他、RETAIN:an Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism、arXiv:1608.05745v3[cs.GL]2017年2月が含まれる。
【００４７】
以前に説明したように、グローバル予測的モデル110は、グローバルベースでCTデータセットにおける肺組織における癌の存在の確率を反映する、予測Pgを生成する。癌の可能性がある位置もまた、たとえば、統合勾配などのアテンション機構の使用を通して識別される。この癌確率112および位置を反映するデータは、図1の方法を実施するコンピュータシステム122のメモリ120など、メモリ内に記憶される。
【００４８】
CTデータセット106はまた、第1段階検出モデル130および第2段階確率モデル132からなる、2段階予測モデルにも提供される。第1段階検出モデル130は、同じく3D深層CNNの形態をとり得るものであり、1つまたは複数の癌検出候補134(そのうちの3つが図1に示されている)を識別し、候補の各々のためのクロップされた3Dボリューム、たとえば、癌の可能性があるものを囲む、45mm3または90mm3ボリュームを生成する。クロップされた3Dボリュームもまた、統合勾配などのアテンション機構の代替物として、検出された癌の位置を強調するために使用され得る。我々の検出モデルは、以下の論文、すなわち、Tsung-Yo Lin他、Focal Loss for Dense Object Detection、arXiv:1708.02002[cs.CV](2017年8月)において記載されている検出モデルアーキテクチャに基づくが、3次元に一般化されるものである。このモデルは、フォーカルロス(focal loss)1段階検出器をもつRetinaNetと同様であるが、完全に3D畳み込みであり、ターゲット割当てを伴う。このモデルをトレーニングするために、NLSTデータセットにおけるすべての癌陽性およびそれらの前のもののためのバウンディングボックスが収集される。このモデルのパッチベースのトレーニングが使用されるが、検出候補を生成するために全ボリューム推論である。検出モデルは、グローバルモデル110と同じ基本特徴抽出器を使用する。一実施形態では、検出モデルはまた、異なるデータセット(LIDC)における結節検出タスクにおいて事前トレーニングされるが、結節のみがそのセットにおいてラベル付けされ、結節が癌であるか否かは分からない。
【００４９】
次いで、図1のこれらの検出候補134が、一実施形態では、同じく3次元に一般化された深層CNNの形態をとる、第2段階確率モデル132に供給され、次いで、第2段階確率モデル132が、候補の各々のための癌確率予測pを生成する。このモデルもまた、フォーカルロスを用いてトレーニングされる(上記で引用したLin他の論文を参照)。検出候補は、検出確率に基づいて、トレーニング時間にランダムにサンプリングされる。90mm3パッチでは、様々な特徴層における予測が別個に作成され、それらが別個の検出候補であるかのように結合される(図3および以下の説明を参照)。このモデルはまた、検出モデル130の重みからトレーニングを開始する。
【００５０】
たとえば、再び図1を参照すると、3つの候補134(1、2、3)がある場合、第2段階モデル132は、各候補につき1つずつ、確率のセット[p1,p2,p3]を生成する。
【００５１】
以前に上述したように、システムは、場合によっては、および好ましくは、複数の第2段階モデル、132A、132B、132C...を含む。各第2段階モデル132A、132B、132Cなどは、検出候補のための確率予測pを作成するためのパラメータの異なるセットを使用する。パラメータにおける可能な違いには、1)検出モデルによって生成された異なるパッチサイズ(すなわち、データセットにおけるクロップされた3Dデータの異なるボリューム)、たとえば、45mm3ボリュームおよび90mm3ボリューム、2)学習率など、学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の複数の時点でモデルをとること(各モデルがわずかに異なる予測を有するようになるように、トレーニングの過程にわたって重みが変化する)、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定が含まれる。4)の一例として、一実装形態では、モデルをより大きいばらつきに触れさせるために、トレーニングデータが、第2段階確率モデル132のトレーニング中にランダムに改変される。たとえば、一実施形態では、入力ボリュームの小さいランダム回転が生成される。このデータ拡大は、アンサンブルのメンバー(132A、132B...)の間で変動し得るパラメータ、たとえば、ランダム回転の量を有する。5)の一例として、異なる第2段階確率モデルは、各深層畳み込みニューラルネットワークであるが、各々は、異なるモデルアーキテクチャを有し、たとえば、モデルは、深度、カーネルサイズ、および/または畳み込みの数について変動する。
【００５２】
そのため、実際には、3つのそのような第2段階確率モデル132が図1に示されているが、実際に使用され得るそのようなモデルの数は、変動することがあり、たとえば、2、4、5、6、10またはそれ以上であり得、各々のためのモデルパラメータは、先行する段落における説明に従って変動する。
【００５３】
図2は、図1の第2段階確率モデルによる癌確率予測、および単一の確率モデル132による候補1、2、3のセットのための全体的な癌予測の生成の図である。システムが2つ以上の第2段階モデルを含む場合、図2の手順が第2段階モデルの各々について繰り返される。クロップされた3Dボリュームの形態における候補1が、第2段階確率モデル132に適用され、癌確率予測p1が生成される。同様に、クロップされた3Dボリュームの形態における候補2が、第2段階確率モデル132に適用され、癌確率予測p2が生成される。このプロセスが、候補の各々について繰り返され、そのうちの3つが、図1の例において示されている。癌なしのための確率P(no cancer)が、式2に従って計算される。
(2) P(no cancer)=(1-p1)×(1-p2)×(1-p3)
【００５４】
次いで、モデルからの全体的な癌予測が、式3によって与えられる。
(3) P(cancer)=1-P(no cancer)。
システム内に存在する場合、第2段階モデル132B、132Cなどの各々について、同じ計算が行われる。
【００５５】
再び図1を参照すると、次いで、CTデータセット106における癌の存在の全体的またはアンサンブル予測であるアンサンブル予測PEが、グローバル予測的モデルの予測PG、および第2段階モデル132A、132Bなどによって生じた予測のセット[p1,p2,p3]A、[p1,p2,p3]Bなどの関数fとして計算される。一実施形態では、予測のセット[p1,p2,p3]A、[p1,p2,p3]B...が、式(2)および式(3)によってP(cancer)に変換され、PA、PB、...として書くことができ、次いで、fが平均化計算である。たとえば、3つの第2段階モデルがある場合、PEが式(4)によって与えられる。
(4) PE=(PG+PA+PB+PC)/4
ただし、PGは、たとえば、0〜100のパーセンテージスケールにおける、グローバルモデル確率予測である。
【００５６】
アンサンブル確率PEに達するための様々なモデルの寄与についての実験は、1つまたは複数の第2段階モデルに異なる重みを提供することによって、または第2段階モデルの予測PA、PB、...と同じよりも多いかまたは少ないように、グローバルモデル予測PGに重み付けすることなどによって、平均化計算に加えて、他の可能な解決策を決めることがある。別の例として、第2段階モデル予測PA、PB、...の平均化が実行され得、次いで、この平均が、(直接または重み付けありのいずれかで)グローバルな確率PGと平均化される。異なる関数fについて図4に示されるものなど、受信者動作特性(ROC)AUCプロットの調査が、グローバルモデル予測および第2段階モデル予測を結合するために最適な関数fを決定するために使用され得る。
【００５７】
追加として、グローバルモデルがニューラルネットワーク、たとえば、多数の異なる層(たとえば、畳み込み層、完全接続層、アテンション機構など)をもつ深層ニューラルネットワークである構成では、癌予測確率を生成する最終ステップは、最後の層(ただ1つの出力をもつ)である。中間畳み込み層(たとえば、最後から2番目の層)は、ただ1つの数である最終予測よりも多い場合が多い、極めて豊富な情報を含んでいる傾向がある。これらの隠れた中間ユニットまたは層は、出力(「特徴マップ」と呼ばれ、すなわち、特徴およびそれらの位置)を生じ、グローバルモデルにおける改善された最終層/分類器をトレーニングするために、この出力に第2段階モデル(同じく深層畳み込みニューラルネットワーク)の中間層の特徴マップがアペンドされ得る。これは、癌の最終またはアンサンブル確率予測を生成するために、第2段階モデルをグローバルモデルと結合する、さらに別の方法を表す。
【００５８】
追加として、反対方向に特徴マップをアペンドすることが可能である。すなわち、図5に示されるように、グローバルモデルにおける中間層からの特徴マップが、第2段階モデルにおける中間層の特徴マップに連結され得、最終予測が第2段階モデルから生成される。したがって、いずれの方向において特徴マップをアペンドすることも可能であり、また、両方の方向も可能であり、すなわち、グローバルモデルにおける中間層からの特徴マップが、第2段階モデルにおける中間層における特徴マップに連結され、第2段階モデルにおける中間層からの特徴マップが、グローバルモデルの中間層における特徴マップに連結される。たとえば、グローバルモデルおよび第2段階モデルの開発において、第2段階モデルおよびその層を微調整し続けるが、グローバルモデル特徴をフリーズさせることができる。他の方向が可能であり、その場合、第2段階モデルがフリーズされ、第2段階モデルからグローバルモデルに特徴マップをアペンドすることで、グローバルモデルを微調整し続けることができる。モデルが完全に開発およびフリーズされると、次いで、上記で説明したように、アンサンブル確率を生成するために、いずれかの方向で、または両方の方向で、特徴マップのアペンドを実行することができる。
【００５９】
次いで、上記で説明したようなモデルのアンサンブルの確率予測に基づいて、既存のLung-RADS(商標)リスク層別化バケットの代替物を提案することが可能である。たとえば、CTスキャン癌予測をリスクバケットに入れるために、この最終確率においてカットオフを設定することができる。一例として、仮定の確率カットオフを使用すると、0<PE<0.1である場合、それが第1のリスクバケットになる。0.1<PE<0.2である場合、それが第2のバケットになる、などである。我々の確率予測のための適切なカットオフを決定することによって、今日のLung-RADS(商標)において存在するリスクバケットと同様であるバケットを作成することが可能である。そのようなカットオフは、所与のデータセット(たとえば、NLSTデータセット)に、遡及的にアンサンブル確率を生成する方法を適用すること、ならびに、提案されたカットオフスキーマの各グループ化における患者に関連付けられた臨床データを検査すること、およびグループ化における患者における臨床データが、Lung-RADS(商標)などの既存の知られているグループ化、または設計され得る任意の新しいグループ化スキーマに一致または近似するまで、カットオフを調整することによって、確認され得る。我々は、Lung-RADS 3+、Lung-RADS 4A+、およびLung-RADS 4B/XのPPVを推定するために、以前から存在している手法を複製することを提案する。次いで、我々は、3つの既存のリスクバケットと比較するために、我々のチューンセットにおいてこれらのPPV値に一致した動作点を選定した。これらの動作点は、同じLung-RADSスコアをもつ悪性腫瘍陽性のためのLung-RADSカットオフと相関するように設計された、3+、4a+、および4b/xの「gRADS」スコアとして知られている。
【００６０】
図3は、単一の第2段階モデル132によって、所与の入力癌候補3Dボリューム134のための特徴マップ、および次いで予測p1、p2、p3を生成する、マルチスケール特徴抽出方法の図である。モデル132は、層200、202、204を含む、3D Inception深層畳み込みニューラルネットワークからなる。平均プール層は、入力の矩形領域を平均化することによってダウンサンプリングする。平均プールは、予測p1の形態における分類を生成する高密度分類層(dense classification layer)206に提供される、分類のための多数の特徴(576個の特徴など)のベクトルを生成する。3D Inceptionモデルにおける他の層202および204は、追加のボリュームおよびそれぞれの分類特徴を生成し、高密度分類層は、分類予測p2およびp3を生成する。したがって、この例では、第2段階モデルに供給された単一の癌検出候補が、3つの異なる癌確率予測、p1、p2およびp3を生じる。
【００６１】
図4は、受信者動作特性(ROC)AUC曲線としての、我々のアンサンブル方法の性能のプロットを示す。図4は、提案する方法の感度および特異度をプロットする。高特異度の動作点が、前のものなしでLung-RADS(商標)を使用する人間の読影者との比較とともに示される。深層学習モデルの受信者動作曲線下の面積は、94.2%(95%信頼区間(CI)91.0, 96.9)であった。テストセットにおいてLung-RADS(商標)を使用する放射線科医と比較すると、トレーニングされたモデルは、統計的に有意な絶対9.2%(95% CI 8.4, 10.1)高い特異度を達成し、3.4%(95% CI -5.2, 12.6)高い感度(統計的に有意ではない)を示した。放射線科医は、モデルとLung-RADS(商標)との間の不一致を定性的に検討した。予備解析は、モデルが傷と早期悪性腫瘍を区別することにおいて優れている可能性があることを示唆している。
【００６２】
したがって、本開示は、肺癌検出およびスクリーニングのための改善された深層学習手法を提示する。モデルのアンサンブルは、放射線科医によるCTスキャンデータセットにおける偽陽性の回避を助けることによって、不要な侵襲的手順(たとえば、生検、手術)の低減に潜在的に役立つことができる。
【００６３】
II.現在の画像データセットおよび縦断的画像データセット、ならびに/またはマルチモーダル画像データセットを伴う、深層学習モデルのアンサンブル
本明細書の背景技術のセクションにおいて上述したように、縦断的画像データセット(すなわち、現在または直近の画像データセットとの比較のために利用可能な前の患者画像データセット)、およびマルチモーダル画像データセットは、診断画像における癌スクリーニング診断または癌検出の改善に役立つことができる。多くの場合、そのようなデータセットの解釈は、放射線科医が複数の時間にわたって画像の同じ領域を比較することによって、手動または半自動的に実行される。深層学習を使用する自動化された手法は、癌を識別および分類するために、複数の画像にわたって微妙な手掛かりを識別するための能力を提供することができる。我々は、本明細書のこのセクションにおいて、深層学習モデルのアンサンブルを使用する癌検出および分類のために、縦断的またはマルチモーダルイメージングを組み込むための一般的な手法を提示する。
【００６４】
以下の説明では、例として、現在の画像データセットおよび前の画像データセットを含む、低線量(LD)胸部コンピュータ断層撮影(CT)画像からの肺癌スクリーニングのトピックを提示する。しかしながら、説明する手法は、たとえば、前立腺癌検出および分類のための縦断的磁気共鳴イメージング(MRI)データセットなど、他の癌のトピックおよび放射線学イメージングモダリティに一般化することができる。
【００６５】
深層学習モデルのアンサンブルは、たとえば、グローバルベースで癌の存在を示すデータセットにおける特徴を抽出する、3D Inceptionアーキテクチャを使用する、3D畳み込みニューラルネットワーク(CNN)の形態におけるグローバルモデルを含む。このグローバルモデルは、グローバルベースで(たとえば、医用画像データセットが3Dボリュメトリック画像データセットからなる場合、CTボリューム全体にわたって)、医用画像ベースのデータセットにおける癌の存在の確率および位置を予測し、この予測に関連付けられる特徴を識別または抽出するようにトレーニングされ得る。グローバル予測的モデルは、入力として、最近の画像データセット、および場合によっては縦断的画像データセットを使用する。したがって、グローバルモデルは、入力として、ボリュームデータセット全体(たとえば、最近のもの、および場合によっては縦断的データセット)をとることがあり、癌の存在を示す特徴を抽出する。場合によっては、肺癌のためのCTデータセットの一例では、このグローバルモデルは、胸部CTデータセットにおいて非肺組織から肺組織を分離するための特徴を含み、肺組織のみにおける癌の存在を示す特徴のセットを抽出する。
【００６６】
深層学習モデルのアンサンブルはまた、入力として最近の画像データセットおよび縦断的画像データセットを受信する、2段階予測モデルを含む。この2段階予測モデルは、第1段階または検出モデルと、第2段階または確率モデルとを含む。検出モデルは、現在のCTデータセットのフルボリュームにおいて動作し、癌検出候補(たとえば、CTデータセットにおいて、癌性である場合もそうでない場合もある、単なる結節ではなく、癌であり得る候補を含んでいる、CTデータセットにおける3Dデータの異なるクロップされたボリューム)を識別する。次いで、癌検出候補ボリュームは、登録または相対ランドマーク位置決め(relative landmark positioning)手順を介して、前のフルボリュームデータセットにおいて位置特定される。癌検出候補ボリュームの各々は、3D特徴抽出器、たとえば、グローバルモデルにおいて使用されるような、3D Inceptionアーキテクチャなどの深層畳み込みニューラルネットワークを含む、第2段階モデルを通過させられる。
【００６７】
癌検出候補の各々のための特徴抽出器からの特徴のすべて(本明細書では「特徴マップ」)が、平均プーリングおよび/または畳み込み層における演算後に連結される。これらの特徴はまた、グローバルモデルから抽出された特徴(特徴マップ)と連結される。そのような連結後、第2段階または確率モデルは、癌検出候補の各々に癌確率pを割り当てる、分類動作を(たとえば、ニューラルネットワークアーキテクチャにおける1つまたは複数の完全接続層の動作によって)実行する。言い換えれば、グローバルモデルから抽出される特徴が、第2段階モデルからの各癌検出候補パッチのための特徴と連結されるので、すべての予測が、(2段階モデルのうちの第1段階からの)結節レベルの位置情報、ならびにグローバルモデルからのグローバルコンテキストの両方に依拠するようになる。各癌検出候補のための予測が、たとえば、以下で説明するようなnoisy-or手法に基づいて計算される、イメージングデータセットのための単一の悪性度スコアに結合され得る。手短に言えば、各癌検出候補からの予測が、その候補のための悪性腫瘍の確率として解釈され、(ボリューム全体における)最終予測は、以下で説明するように、これらのROIのうちの少なくとも1つが悪性である確率である。この最終確率予測は、以下で「悪性度スコア」と呼ばれる。
【００６８】
悪性度スコアが与えられると、癌のあり得る位置であるボリュームにおける領域または位置が、最高スコアを引き起こした、2段階モデルのうちの第1段階または検出モデルからのサブボリュームを取ることによって、強調され得る。サブボリューム内で、統合勾配など、当技術分野で「アテンション機構」としても知られるアトリビューション方法が、より正確に位置を識別するために使用され得る。追加として、グローバルモデルにおけるアトリビューション方法が、癌予測につながる画像における複数の領域を識別するために使用され得る。これは、異常なリンパ節、または癌性の結節の周囲の血管組織さえも含み得る。
【００６９】
1つの可能な構成では、3つ、5つ、または10個もなど、2つ以上の異なる第2段階確率モデル、たとえば、モデルA、B、C、Dなどがあり得、各々がそれ自体のパラメータのセットをもち、各々が、最近の画像データセットおよび前の画像データセットと、グローバルモデルおよび検出モデルから抽出された特徴の両方を使用して、検出候補の各々における癌の確率の予測を作成する。そのような第2段階モデルを定義するパラメータにおける可能な違いには、1)異なるパッチサイズ(すなわち、異なるスケールで癌を検出するために、データセットにおけるクロップされた3Dデータの様々なサイズのボリューム)、2)学習率など、学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の複数の時点でモデルをとること(各モデルがわずかに異なる予測を有するようになるように、トレーニングの過程にわたって重みが変化する)、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定が含まれる。具体的には、一実装形態では、モデルをより大きいばらつきに触れさせるために、トレーニングデータが、トレーニング中に追加のトレーニングデータを生成するように修正され得る。たとえば、小さいランダム回転が、入力ボリュームに適用されて、追加のトレーニングボリュームが生成され得る。このデータ拡大は、アンサンブルのメンバーの間で変動し得るパラメータ、たとえば、ランダム回転の量を有する。
【００７０】
第2段階確率モデルによって生成された予測確率が、たとえば、何らかの定義関数f、またはアルゴリズムに従って結合されて、医用画像ベースのデータセットにおける癌/癌なしの全体的または最終確率予測(たとえば、典型的には0から100までのパーセンテージを単位として提示される「悪性度スコア」)、および癌の可能性がある位置が生成され得る。1つの構成では、これらの確率はまた、既存のスコアリングスキーマに近似するために、または新しいものを定義することによってのいずれかで、新規のスコアリング方法においても使用され得る。定義関数fは、第2段階モデルの各々の、すなわち、すべての癌検出候補にわたって、または加重平均の形式において計算される、予測された確率の平均化からなり得る。
【００７１】
図5は、縦断的イメージングを用いる癌の深層学習ベースの分類のための我々のシステムおよび方法を示す。読者は、図1において上記で説明したシステムとの全体的な類似性に気付くであろうが、少しの違いがあり、図5は、入力として縦断的画像データセットを使用するための追加の能力を含み、グローバルモデルが、本質的に予測のために使用されず、むしろ、癌の存在を示すデータセットにおける特徴(すなわち、特徴マップ)を抽出するために使用され、そのような特徴が、第2段階確率モデルの抽出された特徴にアペンドまたは連結されて、1つまたは複数の検出された癌候補における癌の確率の予測が生成される。
【００７２】
我々の手法は、高レベルで、現在のCTボリューム520および縦断的または前のCTボリューム522を含む、3D CTパッチにおける癌性の結節検出のための第1段階または検出モデル502Aと、後続の、第2段階または確率モデル502Bによる、トップの検出された関心領域(ROI)における悪性腫瘍予測とを含む、2段階モデル502からなる。加えて、システムは、グローバルベースで、癌を示すデータセットにおける特徴を抽出するために、現在のCTボリューム504、および場合によっては前のCTボリューム506をそれぞれ使用して、ボリューム全体において動作するエンドツーエンドグローバル畳み込みモデル500を含む。前のCTボリューム506の使用は、モデルの性能におけるわずかな改善を与えることがあり、随意であり、必要ではないものと見なされる。グローバルモデルからの特徴が、第2段階モデルから抽出された特徴にアペンドされるので、(538で示された分類器によって生成された)すべての予測が、結節レベルのローカル情報、ならびにグローバルコンテキストの両方に依拠するようになる。出力540は、以下で説明するNoisy-or手法などのアルゴリズムまたは関数を使用する、現在のCT画像データセットおよび前のCT画像データセットが与えられた、患者のための癌の確率予測である。
【００７３】
現在の画像および縦断的画像の随意に再サンプリングされたフルボリュームが、グローバルモデル500の3D特徴抽出器(508)、たとえば、3D Inception深層CNNを通過させられて、グローバルコンテキストが取り込まれる。特徴は、1,024個の特徴チャネルをもつ、8×8×8のより小さいボリューム(510)として表される。これらの特徴が、図5の上側部分において示されるように、チャネル次元において連結され、514で示されるように、512個の特徴の畳み込み層および平均プールにおいて結合される。次いで、特徴マップが、536で示されるように、第2段階確率モデルからの特徴マップと連結される。
【００７４】
2段階モデル502は、入力として、フルボリュームの現在の高解像度CTデータセット520、および前のフルボリュームの高解像度CTデータセット522を受信し、2段階モデルは、単に本質的に結節ではなく、癌候補を検出するようにトレーニングされる、結節検出器524の形態において、第1段階または検出モデル502Aを含む。これらの癌候補(サブボリューム)のうちの1つが、528に示される。登録または相対ランドマーク位置決め手順を使用して、このより小さいサブボリュームまたはROIはまた、前のフルボリュームCTデータセット522においても識別され、526で示される。代替的に、結節検出器524は、対応するROI526を識別するために、前のフルボリュームCTデータセットにおいて動作することができる。各サブボリュームまたはROI526、528は、3D特徴抽出器(530)、たとえば、3D Inception深層畳み込みニューラルネットワークを含む、第2段階確率モデルに移動する。3D特徴抽出器530は、共有重み、すなわち、特徴をどのように処理するかを示す重みを使用し、これらの重みは、グローバルモデルの3D特徴抽出器508の重みと同じである必要はない。小さいボリューム532は、1,024個の特徴チャネルの圧縮ボリューム(1×2×2)を表す。これらのボリュームが、図5に示されるように、チャネル次元において連結され、534で示されるような平均プーリングおよび/または畳み込み層を受けて、512個の特徴が生じる。534から生じるこの特徴マップが、536で、グローバルモデルからの512個の特徴の特徴マップと連結され、次いで、結合された1,024個の特徴が、538で示されるような分類動作を受ける(たとえば、第2段階確率モデル502Bにおける完全接続層の出力)。この分類ステップは、第1段階モデルの結節検出524によって識別されたROIの各々のための確率予測の生成である。出力540として、単一の悪性度スコアが、noisy-or手法に基づいて計算される。サブボリュームまたはROIの数は、適用例および要件に応じて変動し得ることに留意されたい。また、前のイメージングが利用可能ではない場合には、空白画像が、ネットワークを通して供給され得る。これは、モデルが空白画像を受け入れるようにトレーニングされる限り、可能である。
【００７５】
各ROIからの予測が、noisy-or手法を使用して、ボリューム全体における出力ステップ(540)において、単一の悪性度スコアに結合され、各ROIからの予測が、そのROIのための悪性腫瘍の確率として解釈され、(ボリューム全体における)最終予測は、これらのROIのうちの少なくとも1つが悪性である確率である。
【００７６】
【数１】
2021528751.tif 000003
【００７７】
ただし、P[ROI悪性腫瘍]は、所与のROIのために分類プロセス(538)によって生成された予測である。これは、上記で説明したような図1における、前のものなしのシステムのための確率予測の生成についての説明と同様である。
【００７８】
図5において上記で説明したシステムは、前の画像データセットまたは縦断的画像データセット、および現在の画像データセットを有する、MRI、PET、またはCTスキャンなど、異なるタイプの3Dボリュメトリックデータセットに適用可能であることは諒解されよう。また、図5のシステムは、現在のデータセットおよび縦断的データセットの代わりに、マルチモーダルデータセットを有する状況にも適用可能であり、マルチモーダルデータセットにおいては、「前の」ボリューム、たとえば、図5におけるCTボリューム522の代わりに、たとえば、入力として、CTおよびMRIデータセット対、またはCTおよびPETデータセット対、またはMRI、CT、およびPETデータセットトリプレット、または、たとえば、たとえば当技術分野でマルチモーダルMRI画像データセットとして知られていることがある、異なるタイプのMRI画像を取得するようにスキャナの設定を制御することによって、単一のMRIスキャニング動作において取得されるMRI画像のセットなど、異なるタイプの3Dボリュームデータセットを有することも諒解されよう。
【００７９】
前のモダリティ画像データセットまたは他のモダリティ画像データセットを考慮に入れる深層学習システムの一般化された図が、図6に示されている。562および560に示されるように、好ましくは、画像が重複するか、または登録内にあるように、すべての画像データセットを共通の3D座標系に持ち込むように実行される、初期融合または登録ステップがある。登録または融合の精度の度合いは、特に重大ではない。
【００８０】
次いで、グローバルモデル500は、グローバルベースで、フルボリュームにおける癌の存在を示す特徴を抽出するために、特徴抽出器508(たとえば、3D Inceptionアーキテクチャ深層畳み込みニューラルネットワーク)を用いて、フルボリューム画像データセットにおける動作を進める。これらの特徴が、チャネル次元において連結され、514で、畳み込み層および平均プーリングを受ける。グローバルモデルにおける前のモダリティ画像または他のモダリティ画像(506)の使用は、やはり随意であり、必須ではないと見なされ、前のモダリティ画像または他のモダリティ画像の使用は、全体的モデル性能をわずかに改善し得る。
【００８１】
同時に、フルボリュームデータセット520、522のうちの一方が、癌検出候補528であるサブボリューム(サブボリューム1)を識別する3D検出モデル524を受け、早期融合プロセスの結果を使用して、対応するサブボリュームまたはROI526が、他方のボリューム522において識別される。この例では、検出モデル524によって識別されたn個の癌検出候補があり、ただし、nは、1以上の何らかの整数、典型的には、たとえば、2、3、または5である。したがって、n個のROIがある。n個のサブボリュームまたはROIの各々は、チャネル次元において1,024個の特徴をもつ圧縮ボリュームを生成する3D特徴抽出器530(3D Inceptionなどの深層畳み込みニューラルネットワーク)を受ける。
【００８２】
これらのn個のROIの各々について、これらのボリュームがチャネル次元において連結される。追加の畳み込み層および平均プーリング(534)による処理後、次いで、各インスタンスが、グローバルモデルからの特徴マップによって連結され、次いで、538で示されるような分類動作を受けて、n個のROIの各々のための確率予測が生じる。次いで、これらの確率予測が、上記で説明したNoisy-Or手法を使用して結合される。
【００８３】
図5および図6の説明が、単一の第2段階確率モデル502Bを使用していることは諒解されよう。しかしながら、セクション1の説明において説明したように、複数の第2段階確率モデルを使用することが可能であり、その場合、第2段階確率モデルの各々がわずかに異なるモデルパラメータを有し、次いで、第2段階確率モデルの結果が、何らかの関数fに従って結合されるか、またはすべてのモデルの間で平均化され、次いで、平均化の後、Noisy-Or手法に従って、最終確率が生成される。
【００８４】
図7A〜図7Cは、NLSTデータセットとの、トレーニングを受けた読影者によるLung-RADS(商標)基準の遡及的比較に関する、現在の画像データセットおよび縦断的画像データセットありおよびなしの、図5のシステムの性能を示す、受信者動作特性曲線下面積(AUC)プロットである。
【００８５】
図8A〜図8Cは、2段階モデルのうちの第1段階または検出モデルによって、潜在的に癌性であるとして識別された関心領域を定義する、バウンディングボックス800を伴う、患者の縦断的CTスキャン画像である。
【００８６】
図9A〜図9Cは、2段階モデルのうちの第1段階または検出モデルによって、潜在的に癌性であるとして識別された関心領域を示すボックス902を伴う、患者の3つの異なるCTスキャン画像の別の例である。より大きいバウンディングボックス900は、第2段階モデルの予測モジュールが癌の確率の予測を作成するため、および周囲のコンテキスト情報を提供するために利用可能である。
【００８７】
図10Aおよび図10Bは、識別されたROIの中心に基づく、前のCTスキャン画像および現在のCTスキャン画像の登録の一例を示す。
【００８８】
図11A〜図11Cは、第2段階モデルにおける、統合勾配などのアテンション機構の使用の一例を示す。図11Aでは、癌性の可能性が高いと予測された関心領域を示す、CTスキャン画像1100の部分が示されている。図11Bは、図11Aの画像1100へのアテンション機構の適用の結果、すなわち、癌の可能性が高い予測に最も寄与した、画像1100の特定の領域を示すために、対比色で示される小さい領域1102を示す。図11Cでは、画像1100が再びレンダリングされているが、図11Bのアテンション機構結果1102が重ね合わせられている。簡単に言えば、図11Cの画像を調査している放射線科医が、アテンション機構の使用の結果として、癌の予測の最大の原因である画像の部分(1102)に向けられる。
【００８９】
さらなる留意事項
図1のシステムは、クラウド環境において展開され得、クラウド環境では、グローバル予測的モデルおよび2段階予測的モデルが、リモートで(たとえば、モデルをトレーニングおよび開発したサービスプロバイダによって、たとえば、クラウドにおいて)実装される。この構成では、CTスキャンデータセットが、コンピュータネットワーク(たとえば、インターネット)上で送られ、サービスプロバイダは、CTデータセットが取得されるクリニックまたはオフィスに最終確率スコアおよび位置を返し、そこで、放射線科医がCTスキャンを検討中であるか、またはそこで、医師が、患者から取得されたCTスキャンに関して患者と協議し、さらなる治療を計画中であり得る。代替的に、図1のシステムは、ローカルに実装され得、すなわち、コンピューティングリソースおよび深層学習モデルは、CTデータセットが取得されるか、または、たとえば、放射線科医もしくはかかりつけ医によってワークステーション上で閲覧される、オフィス、クリニック、または病院のローカルに位置する。
【００９０】
III.構造的ニューロイメージングおよび深層学習を使用する脳年齢の予測
このセクションは、構造的磁気共鳴イメージングデータセットからの脳年齢予測のための提案する深層学習モデルの使用について説明する。
【００９１】
年齢関連疾患および障害によって、社会にかかる負担が増大している。加齢の影響は被験者特有のものであるので、年齢関連の身体障害および認知障害のリスクが高い人々を識別するために、原因となる生物学的加齢プロセスのマーカーが必要とされる。構造的MRI画像は、脳における年齢関連変化を測定する際に極めて有用である。したがって、この研究の目標は、SMRI画像に基づいて、脳年齢予測アルゴリズムを開発すること、および脳における加齢関連疾患のバイオマーカーとして、予測脳年齢を調査することである。
【００９２】
加齢関連疾患の早期検出には、原因となる生物学的加齢プロセスのモデルが必要である。このセクションでは、我々は、構造的磁気共鳴イメージング(SMRI)および深層学習を使用することによる脳年齢予測器について説明し、脳の加齢のマーカーとして、予測脳年齢を評価する。我々の手法は、転移学習パラダイムを使用し、高齢の被験者から収集された実際のSMRIデータにおいてトレーニングおよび検証されている点において、領域知識を必要としない。我々は、SMRI画像から脳年齢を予測するために、回帰およびバケット分類とともに、提案する畳み込みニューラルネットワーク(CNN)に基づいて、2つの異なる予測的モデルを開発した。回帰ベースのモデルおよび分類ベースのモデルは、認知機能が正常な被験者の脳年齢の予測において、それぞれ、5.54および6.44(歳)の2乗平均平方根誤差(RMSE)を達成した。さらなる解析は、同じ暦年齢グループ内の認知障害のある被験者の予測脳年齢と正常な被験者の予測脳年齢との間に実質的な差があることを示した。
【００９３】
このセクションで説明するモデルは、概して、図1の「グローバルモデル」110および図5のグローバルモデル500に対応し、以下で説明する作業では、我々は、図1および図5の2段階モデルを使用しなかった。
【００９４】
この主題における我々の手法と以前の取り組みとの間の大きな違いは、1)我々が、領域知識を必要とすることなく、生のSMRI画像から関連する特徴を学習するために、深層学習を使用すること、および2)我々が、主な加齢関連疾患であるアルツハイマー病を発症するリスクがある被験者から収集されたデータを用いて、提案する手法を検証することである。以前の研究は、SMRI画像から脳年齢を予測するために、ガウス過程回帰を使用する、機械学習ベースの手法を提案している。J. H. Cole他、「Predicting brain age with deep learning from raw imaging data results in a reliable and heritable biomarker」、NeuroImage、vol. 163、115〜124ページ、2017、J. H. Cole他、「Brain age predicts mortality」、Molecular Psychiatry、2017を参照されたい。しかしながら、それらの手法は、人間の脳の構造の領域知識から導出された特徴に依拠している。一方、P. Sturmfels他、「A domain guided CNN architecture for predicting age from structural brain images」、arXiv preprint arXiv:1808.04362、2018は、脳年齢を予測するために最小限の領域情報を使用する、CNNベースのアーキテクチャを提案した。しかしながら、その研究は、子供から収集されたSMRIイメージングデータを使用して実行されたものであり、高齢の患者の加齢関連疾患リスクを予測することができるか否かは不明である。
【００９５】
我々は、事前トレーニングされた3D Inception-V1特徴抽出器に基づく転移学習手法を採用し、回帰および分類問題として、SMRI画像から脳年齢を予測するように再トレーニングした。このモデルは、本明細書の以前のセクションで説明した「グローバルモデル」に類似しており、いかなる領域知識も必要とせず、1)リグレッサを使用する、および2)バケット化分類器(以下で説明する)を使用する、2つの異なる方法で、脳年齢を予測した。我々は、Alzheimer's disease neuroimaging initiative(ADNI)データセットを使用して、我々の手法を評価した。回帰方法およびバケット化分類器方法は、認知機能が正常な被験者の脳年齢の予測において、それぞれ、5.54および6.44(歳)の2乗平均平方根誤差(RMSE)を達成した。加えて、さらなる解析は、回帰手法およびバケット化分類手法がそれぞれ利用されるとき、認知障害のある被験者の予測脳年齢が、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高いことを示した。本質的に、我々の手法は、いかなる領域知識も使用せずに、SMRI画像に基づいて脳年齢を予測するためのCNNベースのモデルを利用し、我々の手法を使用することによって予測された脳年齢が、加齢関連疾患リスクを識別するために使用され得ることを実証する。
【００９６】
方法
我々の手法の全体的な流れが、図12に示されている。図12のこのモデルは、図5の上側部分のグローバルモデルにおいて示されている。同じ物理的寸法の3D SMRI画像が、入力としてパイプラインに供給された。3D特徴抽出器が、入力画像から特徴マップを抽出するために利用された。次いで、回帰タスクまたはバケット化分類タスクとして、年齢予測を作成するために、完全接続層が利用された。
【００９７】
データおよび前処理:我々は、我々の手法を検証するために、Alzheimer's disease neuroimaging initiative (ADNI)研究において収集されたデータを利用した。詳細については、http://adni.loni.usc.edu/を参照されたい。ADNIは、認知症、主にアルツハイマー病(AD)を発症するリスクがある高齢の被験者から、イメージングおよび血液バイオマーカーを定期的に収集する、進行中の縦断的研究である。ADNIの主要目的は、軽度認知障害(MCI)および早期アルツハイマー病の進行を測定するために、連続的な磁気共鳴イメージング(MRI)、陽電子放射断層撮影(PET)、他の生物学的マーカー、ならびに臨床的および神経心理学的評価が結合され得るか否かをテストすることになっている。我々は、1484名の一意の参加者の12,988個のSMRI画像を解析し、彼らについて、データセットから、彼らのADの臨床病期および暦年齢についてのグランドトゥルース情報が利用可能であった。ADの臨床病期は、認知機能正常(CN)、軽度認知障害(MCI)、およびアルツハイマー型認知症(AD)からなり、年齢は、50と100との間の実数である。データセットは、異なる時点において撮影された複数のSMRI画像と、患者の一部についての対応するグランドトゥルース情報とを含むものであった。このデータセットにおける3D SMRI画像は、MPRAGEシーケンスを使用して取得された。モデルトレーニングを実行する前に、我々は、生のSMRI画像を同じ物理的寸法(ボクセルサイズ)にサイズ変更し、それらのヒストグラムを均等化し、中心の周りで256×256×256(ボクセル)の形状にクロップした。
【００９８】
モデル説明(図12):J. CarreiraおよびA. Zisserman、2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)における、「Quo vadis, action recognition? a new model and the kinetics dataset」、IEEE 2017、4724〜4733ページにおいて記載されているような、ImageNetデータセットにおいて事前トレーニングされたInception-V1ネットワークに基づく3D特徴抽出器が、入力画像から特徴マップを抽出するために利用された。1つの完全接続層が、年齢予測を生成するために使用された。我々は、リグレッサおよびバケット化分類器を使用して、脳年齢を予測した。バケット化分類手法では、被験者の本当の年齢が離散範囲にビニングされ、SMRI画像が属するビンを予測するために、ニューラルネットワークが使用された。我々の手法では、我々は、年齢を5つのバケット、50〜60、60〜70、70〜80、80〜90、および90〜100にビニングし、それらのバケットに{1,2,3,4,5}におけるクラスラベルを割り当てた。これらのクラスラベルが、モデルトレーニング中に使用された。
【００９９】
評価:モデルトレーニング中に、我々は、入力データセットの50%のトレーニング小部分、25%のチューニング小部分、および25%のテスト小部分とともに、5分割相互検証(fivefold cross-validation)および患者ベースの層別化を利用した。患者ベースの層別化は、同じ患者のSMRI画像が3つのデータセットのうちの2つ以上において決して現れないことを保証するために利用された。さらに、CNNベースのモデルが、認知機能が正常な被験者のみのSMRI画像を使用してトレーニングされ、すなわち、トレーニングおよびチューニングセットは、認知障害のない被験者のみを含むものであった。我々は、健康的な加齢下でのベースライン年齢予測器を開発するために、この手法を取った。次いで、トレーニングされたモデルが、認知障害のある被験者および障害のない被験者の混合の脳年齢を予測するために使用された。回帰モデルは、実数の年齢を予測したが、バケット化分類手法は、離散値、すなわち、{55,65,75,85,95}のうちの1つを予測した。我々は、不偏テストサンプルを維持するために、テストセット中に何人かの認知障害のない被験者を含めた。第1に、我々は、チューニングセットにおいて達成された平均2乗誤差の平方根(RMSE)メトリックを使用して、モデル適合度を評価した。第2に、我々は、テストセットにおける認知障害のない被験者と障害のある被験者との間の脳年齢予測における差を評価した。我々は、テストデータセットにおける被験者のみを使用して、その解析を実行し、MCIおよびAD臨床病期にある被験者が、認知障害があると見なされた。我々は、予測年齢グループ(図14Aを参照)を見つけ出すために、バケット化分類のために使用された同じ範囲に基づいて、回帰モデルの実数化された予測年齢をグループ化した。
【０１００】
結果
図13aおよび図13bは、それぞれ、回帰モデルおよびバケット化分類モデルのためのチューニングデータセットにおける、認知機能が正常な被験者の本当の年齢に対する予測年齢の散布プロットである。回帰モデルは、5.54のRMSEを達成したが、バケット化分類モデルは、6.44のRMSEを達成した。図14aおよび図14bは、同じ予測年齢グループにおける、認知障害のない被験者および障害のある被験者のための本当の年齢の分布のボックスプロットを示す。これらの図は、同じ年齢グループに入ると予測されたとき、認知障害のある被験者の本当の年齢の分布が、認知障害のない被験者の本当の年齢の分布よりも一貫して低い平均値を有することを示す。我々は、本当の年齢が60歳未満および90歳を超える被験者を除外しており、その理由は、テストデータセットにおいて十分なサンプルがなかったからである。加えて、認知障害のある被験者の予測年齢は、回帰手法およびバケット化分類手法において、それぞれ、彼らの暦年齢よりも平均で3.24±2.12歳および2.67±2.35歳高かった。
【０１０１】
結論
我々は、SMRI画像から脳年齢を予測するために、転移学習パラダイムに基づいて、2つの異なる畳み込みニューラルネットワーク(CNN)ベースの手法を開発した。我々の2つのモデルは、認知障害のない被験者の脳年齢の予測において、5.54および6.44(歳)のRMSEを達成した。さらなる解析は、同じ暦年齢グループに属する、認知障害のある被験者の予測脳年齢と正常な被験者の予測脳年齢との間に実質的な差があることを示した。したがって、我々は、予測脳年齢が、人生の早期にアルツハイマー病などの加齢関連脳疾患を発症するリスクがより高い個人を、彼らの人生の早期に識別することにおいて、臨床的に有用であることが判明し得ると考える。将来の作業において、我々は、発見したものを検証するために追加のデータを取得し、予測性能を改善するために、モデル最適化を実行するつもりである。
【０１０２】
この作業の1つの可能な実施形態では、患者または被験者が加齢関連脳疾患を発症するリスクがより高いか否かを予測するためのテストが実行され得る。テストは、同じ暦年齢グループに属する、認知障害のある被験者および正常な被験者の3D画像のデータセットから、領域知識なしに開発された、脳年齢のための予測的モデルを利用する。この方法は、a)患者から1つまたは複数の3D画像を取得し、予測的モデルに、1つまたは複数の3D画像を供給するステップと、b)予測的モデルを用いて、被験者のための脳年齢予測を生成するステップと、c)脳年齢予測を、患者の実年齢と比較するステップとを含む。脳年齢予測が、患者の実年齢のものよりも実質的に大きい(たとえば、3歳、5歳、または10歳など、カスタマイズまたは調整され得るパラメータ)場合、患者は、認知障害またはアルツハイマー病などの年齢関連脳疾患を発症するリスクが高いとして識別される。「実質的に大きい」ための基準は、ユーザによって指定することができ、可能な例は、7歳または10歳である。この基準は、モデル予測の誤差の範囲よりも大きい値になると予想されるであろう。
【０１０３】
説明した実施形態は、モデル生成および予測のためにSMRI画像を使用するが、この方法はまた、たとえば、CTスキャン画像など、脳の他の3Dボリュメトリック画像データセットにも適用可能である。
【符号の説明】
【０１０４】
100  システム
102  患者
104  従来のCTスキャナ
106  3D CTデータセット、CTデータセット、データセット
110  グローバル予測的モデル、グローバルモデル
112  癌確率
120  メモリ
122  コンピュータシステム
130  第1段階検出モデル、検出モデル
132  第2段階確率モデル、第2段階モデル、単一の確率モデル、単一の第2段階モデル、モデル
132A、132B、132C  第2段階モデル
134  癌検出候補、検出候補、候補、所与の入力癌候補3Dボリューム
200、202、204  層
206  高密度分類層
500  エンドツーエンドグローバル畳み込みモデル、グローバルモデル
502  2段階モデル
502A  第1段階または検出モデル
502B  第2段階または確率モデル、第2段階確率モデル
504  現在のCTボリューム
506  前のCTボリューム、前のモダリティ画像または他のモダリティ画像
508  3D特徴抽出器、特徴抽出器
510  8×8×8のより小さいボリューム
520  現在のCTボリューム、フルボリュームの現在の高解像度CTデータセット、フルボリュームデータセット
522  縦断的または前のCTボリューム、前のフルボリュームの高解像度CTデータセット、前のフルボリュームCTデータセット、CTボリューム、フルボリュームデータセット、他方のボリューム
524  結節検出器、第1段階モデルの結節検出、3D検出モデル、検出モデル
526  対応するROI、サブボリュームまたはROI、対応するサブボリュームまたはROI
528  癌候補(サブボリューム)、サブボリュームまたはROI、癌検出候補
530  3D特徴抽出器
532  小さいボリューム
534  平均プーリングおよび/または畳み込み層、追加の畳み込み層および平均プーリング
538  分類器、分類動作、分類プロセス
540  出力、出力ステップ
800  バウンディングボックス
900  より大きいバウンディングボックス
902  ボックス
1100  CTスキャン画像、画像
1102  小さい領域、アテンション機構結果、画像の部分
【図１】
2021528751.tif 000004
【図２】
2021528751.tif 000005
【図３】
2021528751.tif 000006
【図４】
2021528751.tif 000007
【図５】
2021528751.tif 000008
【図６】
2021528751.tif 000009
【図７Ａ】
2021528751.tif 000010
【図７Ｂ】
2021528751.tif 000011
【図７Ｃ】
2021528751.tif 000012
【図８Ａ】
2021528751.tif 000013
【図８Ｂ】
2021528751.tif 000014
【図８Ｃ】
2021528751.tif 000015
【図９Ａ】
2021528751.tif 000016
【図９Ｂ】
2021528751.tif 000017
【図９Ｃ】
2021528751.tif 000018
【図１０Ａ】
2021528751.tif 000019
【図１０Ｂ】
2021528751.tif 000020
【図１１Ａ】
2021528751.tif 000021
【図１１Ｂ】
2021528751.tif 000022
【図１１Ｃ】
2021528751.tif 000023
【図１２】
2021528751.tif 000024
【図１３Ａ】
2021528751.tif 000025
【図１３Ｂ】
2021528751.tif 000026
【図１４Ａ】
2021528751.tif 000027
【図１４Ｂ】
2021528751.tif 000028
【手続補正書】
【提出日】令和3年1月18日(2021.1.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するための方法であって、
a)グローバルベースで、前記コンピュータ断層撮影データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルに、前記コンピュータ断層撮影データセットを供給するステップと、
b)2段階予測モデルに前記コンピュータ断層撮影データセットを供給するステップであって、前記2段階予測モデルが、
1)前記コンピュータ断層撮影データセット内の1つまたは複数の3次元癌候補の位置を検出する、第1段階検出モデルと、
2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、ステップと、
c)(1)前記グローバル予測的モデルの前記予測と、前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた前記癌確率pとの両方を使用する、前記コンピュータ断層撮影データセットにおける癌の確率の全体的予測、および(2)前記コンピュータ断層撮影データセットにおける癌の位置を表す、データを生成するステップであって、前記癌の位置が、前記グローバル予測的モデルまたは前記2段階予測モデルのいずれかによって決定される、ステップと
を含む、方法。
【請求項２】
前記1つまたは複数の3次元癌候補が、前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルに提供され、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項1に記載の方法。
【請求項３】
前記複数の第2段階確率モデルの前記異なるモデルパラメータが、1)前記コンピュータ断層撮影データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、4)トレーニング中のデータ拡大の結果としての異なるパラメータ、ならびに5)各モデルのための深度、カーネルサイズ、および畳み込みの数など、異なるモデルアーキテクチャ設定からなる、パラメータのグループから選択される、請求項2に記載の方法。
【請求項４】
ステップc)において、全体的確率が、前記グローバル予測的モデルによって生成されたグローバルな確率と、前記複数の第2段階確率モデルの各々によって算出された前記3次元癌候補の各々のための全確率との平均を備える、請求項2または3に記載の方法。
【請求項５】
前記グローバル予測的モデルが、前記コンピュータ断層撮影データセットにおける前記癌の存在の確率に加えて、
a)癌の転帰、
b)2次元における少なくとも20mmのサイズの結節の存在、
c)5年以内の死亡確率、
d)2年以内の肺癌の診断
のうちの少なくとも1つを予測するようにトレーニングされる、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記グローバル予測的モデルが、前記コンピュータ断層撮影データセットにおける肺癌の存在を識別するために、基本特徴抽出器を使用し、前記第1段階検出モデルが、前記基本特徴抽出器を使用する、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記第1段階検出モデルおよび前記第2段階確率モデルが、深層畳み込みニューラルネットワークを備える、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記第1段階検出モデルが、前記コンピュータ断層撮影データセットの全ボリュームにおいて動作する、請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記グローバル予測的モデルが、前記コンピュータ断層撮影データセットにおける前記癌の存在の確率の予測が前記識別された肺組織内のみでグローバルに動作するように、前記コンピュータ断層撮影データセット内の肺組織を識別する肺セグメンテーション特徴をさらに備える、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記コンピュータ断層撮影データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるステップをさらに含む、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記リスク層別化スキーマが、Lung-RADS(商標)などの既存のリスク層別化スキーマに近似する、請求項10に記載の方法。
【請求項１２】
前記複数の第2段階モデルが、特徴マップに関連付けられた中間畳み込み層を各々が有する、深層畳み込みニューラルネットワークを備え、前記グローバル予測的モデルが、特徴マップに関連付けられた中間畳み込み層を含み、ステップc)において、前記コンピュータ断層撮影データセットにおける前記癌の確率の前記全体的予測が、(1)前記第2段階モデルからの前記特徴マップを、前記グローバル予測的モデルの前記中間畳み込み層の前記特徴マップにアペンドし、前記グローバル予測的モデルからの前記予測を生成すること、または(2)前記グローバル予測的モデルからの前記特徴マップを、前記第2段階モデルの前記中間畳み込み層の前記特徴マップにアペンドし、前記第2段階モデルの出力から前記予測を生成することのいずれかによって取得される、請求項1に記載の方法。
【請求項１３】
患者について取得されたコンピュータ断層撮影データセットからの肺癌スクリーニングおよび検出を改善するためのコンピュータ実施システムであって、
a)グローバルベースで、前記コンピュータ断層撮影データセットにおける肺組織における癌の存在の確率を少なくとも予測するようにトレーニングされた、3次元深層畳み込みニューラルネットワークを備える、グローバル予測的モデルと、
b)2段階予測モデルであって、
1)前記コンピュータ断層撮影データセット内の1つまたは複数の3次元癌候補を検出する、第1段階検出モデルと、
2)前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作し、前記3次元癌候補の各々に癌確率pを割り当てる、第2段階確率モデルと
を備える、2段階予測モデルと、
c)(1)前記グローバル予測的モデルの前記予測と、前記第2段階確率モデルによって前記3次元癌候補の各々に割り当てられた前記癌確率pとを使用する、前記コンピュータ断層撮影データセットにおける癌の確率の全体的予測、および(2)前記コンピュータ断層撮影データセットにおける癌の位置を表す、データを生成するためのコンピュータシステム実行コードと
を組み合わせて備える、コンピュータ実施システム。
【請求項１４】
前記第1段階検出モデルによって検出された前記1つまたは複数の3次元癌候補に対して動作する、複数の第2段階確率モデルをさらに備え、前記第2段階確率モデルの各々が、前記3次元癌候補の各々に癌確率pを割り当て、前記複数の第2段階確率モデルの各々が、異なるモデルパラメータによって特徴付けられる、請求項13に記載のシステム。
【請求項１５】
前記異なるモデルパラメータが、1)前記コンピュータ断層撮影データセットにおけるクロップされた3Dデータの異なるボリューム、2)学習中に使用される異なる最適化パラメータ、3)トレーニングの過程の間の異なる時点でモデルをとること、および4)トレーニング中のデータ拡大の結果としての異なるパラメータからなる、パラメータのグループから選択される、請求項14に記載のシステム。
【請求項１６】
全体的確率が、前記グローバル予測的モデルによって生成されたグローバルな確率と、前記複数の第2段階確率モデルの各々によって算出された前記3次元癌候補の各々のための全確率との平均を備える、請求項13から15のいずれか一項に記載のシステム。
【請求項１７】
前記グローバル予測的モデルが、前記コンピュータ断層撮影データセットにおける前記癌の存在の確率に加えて、
a)癌の転帰、
b)2次元における少なくとも20mmのサイズの結節の存在、
c)5年以内の死亡確率、
d)2年以内の肺癌の診断
のうちの少なくとも1つを予測するようにトレーニングされる、請求項13から16のいずれか一項に記載のシステム。
【請求項１８】
前記グローバル予測的モデルが、前記コンピュータ断層撮影データセットにおける肺癌の存在を識別するために、基本特徴抽出器を使用し、前記第1段階検出モデルが、前記基本特徴抽出器を使用する、請求項13から17のいずれか一項に記載のシステム。
【請求項１９】
前記第1段階検出モデルおよび前記第2段階確率モデルが、深層畳み込みニューラルネットワークを備える、請求項13から18のいずれか一項に記載のシステム。
【請求項２０】
前記コンピュータ実施システムが、前記コンピュータ断層撮影データセットにおける前記癌の確率の前記全体的予測を、リスク層別化スキーマのバケットに入れるためのコードをさらに実行する、請求項13から19のいずれか一項に記載のシステム。
【国際調査報告】
2021528751.tif 000029
2021528751.tif 000030
2021528751.tif 000031
2021528751.tif 000032