(57)【要約】【課題】血管分析のための深層学習アプローチを提供する。【解決手段】本開示は、グランドトゥルースデータが知られている合成画像データを使用して、血管査定のための１つまたは複数のニューラルネットワークを訓練することに関する。ある特定の実施態様では、合成画像データは、グランドトゥルースデータが知られていないまたは利用可能でない臨床画像データに部分的に基づくか、またはそれから導出され得る。このようにして訓練されたニューラルネットワークを使用して、血管セグメンテーション、脱灰、ハウンズフィールド単位スコアリング、および／または血行動態パラメータの推定の１つまたは複数を行うことができる。【選択図】図５
2020081866.tif 000002
【特許請求の範囲】
【請求項１】
血管画像ボリュームを処理するための方法であって、
撮像システム（１１０）を使用して１つまたは複数の血管画像ボリュームを取得することと、
前記１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）に提供することであって、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、少なくとも１つまたは複数の合成画像を使用して訓練され、
前記血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、
前記血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、
前記セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、または
前記セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出すること
の１つまたは複数を行うことと
を含む、方法。
【請求項２】
前記血管画像ボリュームは、コンピュータ断層撮影血管造影（ＣＴＡ）を含む、請求項１に記載の方法。
【請求項３】
前記１つまたは複数の血管は、前記カルシウムの影響が除去された後にセグメント化される、請求項１に記載の方法。
【請求項４】
前記１つまたは複数の合成画像は、関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する、請求項１に記載の方法。
【請求項５】
コントラストレベルを決定することは、前記セグメント化された血管に沿った１つまたは複数の位置のハウンズフィールド単位推定値を決定することを含む、請求項１に記載の方法。
【請求項６】
前記１つまたは複数の血行動態パラメータは、冠血流予備量比を含む、請求項１に記載の方法。
【請求項７】
プロセッサ実行可能ルーチンをエンコードするメモリ（１３８）と、
前記メモリ（１３８）にアクセスして前記プロセッサ実行可能ルーチンを実行するように構成された処理構成要素（１３０）とを備え、前記ルーチンは、前記処理構成要素（１３０）によって実行されると、前記処理構成要素（１３０）に、
１つまたは複数の血管画像ボリュームを取得させ、
前記１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）に提供させ、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、少なくとも１つまたは複数の合成画像を使用して訓練され、
前記血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、
前記血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、
前記セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、または
前記セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出すること
の１つまたは複数を行う、
撮像システム（１１０）。
【請求項８】
前記撮像システム（１１０）は、コンピュータ断層撮影システムを備える、請求項７に記載の撮像システム（１１０）。
【請求項９】
前記１つまたは複数の血管は、前記カルシウムの影響が除去された後にセグメント化される、請求項７に記載の撮像システム（１１０）。
【請求項１０】
前記１つまたは複数の合成画像は、関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する、請求項７に記載の撮像システム（１１０）。
【請求項１１】
コントラストレベルを決定することは、前記セグメント化された血管に沿った１つまたは複数の位置のハウンズフィールド単位スコアを決定することを含む、請求項７に記載の撮像システム（１１０）。
【請求項１２】
前記１つまたは複数の血行動態パラメータは、冠血流予備量比を含む、請求項７に記載の撮像システム（１１０）。
【請求項１３】
１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）を訓練するための方法であって、
関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する合成画像を含む訓練データセットを生成することであって、前記合成画像の一部またはすべては、関心のある前記パラメータのグランドトゥルース値が不明な臨床画像から導出された単純化された解剖学的モデルまたは血管モデルの少なくとも１つに対応することと、
前記訓練データセットを使用して前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）を訓練することと
を含む、方法。
【請求項１４】
前記訓練データセットを生成することは、
単純化された解剖学的モデルを生成すること、または
関心のある１つまたは複数の特徴またはパラメータのグランドトゥルース値が不明な１つまたは複数の臨床コンピュータ断層撮影（ＣＴ）画像を処理すること、
の１つまたは複数を行うことと、
１つまたは複数のＣＴシミュレーションルーチンの出力として、前記関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する少なくとも１つのそれぞれの合成画像を生成することと
を含む、請求項１３に記載の方法。
【請求項１５】
前記１つまたは複数のＣＴシミュレーションルーチンは、ＣＴスキャナの幾何学的形状、検出器開口、焦点開口、Ｘ線スペクトル、またはＸ線物理学の１つまたは複数でパラメータ化される、請求項１４に記載の方法。
【請求項１６】
前記関心のある１つまたは複数の特徴またはパラメータは、血管セグメンテーション、カルシウムまたはカルシウムを含まない表現、前記血管の長さに沿った真のコントラストレベルの分布、または血行動態情報の１つまたは複数に対応する、請求項１３に記載の方法。
【請求項１７】
血管画像ボリュームを処理するための方法であって、
撮像システム（１１０）を使用して１つまたは複数の血管画像ボリュームを取得することと、
前記１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）に提供することであって、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、少なくとも１つまたは複数の合成画像を使用して訓練され、
前記血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、
前記血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、または
前記セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること
の１つまたは複数を行うことと、
数値流体力学モデルを使用して、セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することと
を含む、方法。
【請求項１８】
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、画像ボリューム内の血管のセグメント化の１つまたは複数を行い、前記画像のすべてまたは一部の前記カルシウムの影響を除去し、前記画像内の血管のセグメントに対応するハウンズフィールド単位スコアを決定し、または前記画像内の前記血管の血行動態パラメータを推定するように訓練される、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示される主題は、血管分析のための深層学習アプローチの使用に関する。
【背景技術】
【０００２】
非侵襲的撮像技術は、患者／物体に侵襲的処置を行うことなく患者／物体の内部構造または特徴の画像を得ることを可能にする。特に、そのような非侵襲的撮像技術は、データを取得し、画像を構築するか、あるいは患者／物体の観察された内部特徴を表すために、様々な物理的原理（ターゲットボリュームを通過するＸ線の差動透過、ボリューム内の音波の反射、ボリューム内の異なる組織および材料の常磁性、体内のターゲット放射性核種の破壊など）に依存している。
【０００３】
非侵襲的撮像を用いることができる臨床的関心のある分野の１つは、血管内の血流の査定である。例えば、それらの画像データは、血流を制限して下流の組織に影響を与え得る（例えば、心筋または脳組織への血流）、慢性閉塞の評価に使用することができる。評価の情報は、そのような状態から生じ得る急性事象である、心臓発作や脳卒中のリスクを査定するのにも有用とすることができる。したがって、画像データを使用してそのような状態を診断することは、こうした急性事象を防止し、慢性的な血流制限のある人々の健康を改善するのに役立ち得る。
【０００４】
現在、多くの処理集約的な手法と同様に、それぞれこのような撮像および血管分析アプローチに基づく三次元解剖学的モデリングと複雑な三次元流体力学モデリング手法の使用と、そのようなアプローチを実装するために必要とされ得る計算時間およびリソースとの間にはトレードオフが存在する。逆に、それほど複雑ではない、または次元が削減されたモデリングアプローチを使用すると、計算量は少なくなるが、精度の低下および／または予測利益の減少をもたらす可能性がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１７／０３２５７７０号明細書
【発明の概要】
【０００６】
本明細書に開示されているある特定の実施形態の概要を、以下に記載する。これらの態様は、単にこれらのある特定の実施形態の簡単な要約を読者に提供するために提示されており、これらの態様は、本開示の範囲を限定することを意図していないことを理解されたい。実際、本開示は、以下に記載されていない可能性がある様々な態様を包含し得る。
【０００７】
一実施形態では、血管画像ボリュームを処理するための方法が提供される。この実施形態によれば、１つまたは複数の血管画像ボリュームは、撮像システムを使用して取得される。１つまたは複数の血管画像ボリュームは、１つまたは複数のニューラルネットワークに提供される。１つまたは複数のニューラルネットワークは、少なくとも１つまたは複数の合成画像を使用して訓練され、血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、またはセグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することの１つまたは複数を行う。
【０００８】
さらなる実施形態では、撮像システムが提供される。この実施形態によれば、撮像システムは、プロセッサ実行可能ルーチンをエンコードするメモリと、メモリにアクセスしてプロセッサ実行可能ルーチンを実行するように構成された処理構成要素とを備える。ルーチンは、処理構成要素によって実行されると、処理構成要素に、１つまたは複数の血管画像ボリュームを取得させ、１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワークに提供させる。１つまたは複数のニューラルネットワークは、少なくとも１つまたは複数の合成画像を使用して訓練され、血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、またはセグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することの１つまたは複数を行う。
【０００９】
追加の実施形態では、１つまたは複数のニューラルネットワークを訓練するための方法が提供される。この実施形態によれば、関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する合成画像を含む訓練データセットが生成される。合成画像の一部またはすべては、関心のあるパラメータのグランドトゥルース値が不明な臨床画像から導出された単純化された解剖学的モデルまたは血管モデルの少なくとも１つに対応する。１つまたは複数のニューラルネットワークは、訓練データセットを使用して訓練される。
【００１０】
さらなる実施形態では、血管画像ボリュームを処理するための方法が提供される。この実施形態によれば、１つまたは複数の血管画像ボリュームは、撮像システムを使用して取得される。１つまたは複数の血管画像ボリュームは、１つまたは複数のニューラルネットワークに提供される。１つまたは複数のニューラルネットワークは、少なくとも１つまたは複数の合成画像を使用して訓練され、血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、またはセグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定することの１つまたは複数を行う。数値流体力学モデルを使用して、セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータが導出される。
【００１１】
本発明のこれらおよび他の特徴、態様、および利点は、添付の図面を参照しながら以下の詳細な説明を読解すればより良好に理解され、添付の図面においては、図面全体を通して同一の符号は同一の部分を表している。
【図面の簡単な説明】
【００１２】
【図１】本開示の態様による、深層学習モデルを訓練するための人工ニューラルネットワークの例を示す図である。
【図２】本開示の態様による、コンピュータ断層撮影（ＣＴ）撮像システムの構成要素を示すブロック図である。
【図３】本開示の態様による、血管画像を処理して関心のある血行動態パラメータを推定するための１つまたは複数のニューラルネットワークの使用のブロック図である。
【図４Ａ】本開示の態様による、単純化された血管モデルのレンダリングを示す図である。
【図４Ｂ】本開示の態様による、臨床データから導出された血管モデルのレンダリングを示す図である。
【図５】本開示の態様による、１つまたは複数のニューラルネットワークを訓練するための血管系および閉塞構造の１つまたは複数を含む、既知のグランドトゥルース値を有する合成画像を生成するためのプロセスを示す図である。
【発明を実施するための形態】
【００１３】
１つまたは複数の具体的な実施形態を、以下に記載する。これらの実施形態の簡潔な説明を提供する努力において、実際の実施態様のすべての特徴が本明細書に記載されているわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないし、また、これらの制約条件は実施態様ごとに異なる可能性があることを理解されたい。さらに、このような開発努力は、複雑で時間がかかるが、それでもなお本開示の利益を有する当業者にとっては、設計、製作、および製造の日常的な仕事であることを理解されたい。
【００１４】
以下の説明の態様は医療撮像の場面で提供されるが、開示される手法の態様は他の場面に適用可能であり得、したがってそのような医療の例に限定されないことを理解されたい。実際に、そのような医療の場面における例および説明の提供は、現実の実施態様および用途の事例を提供することによって説明を容易にすることに過ぎず、したがって、非破壊検査または手荷物／貨物のセキュリティスクリーニングなど、他の適用可能な使用に関して本アプローチの適用可能性を制限するものと解釈されるべきではない。
【００１５】
さらに、ＣＴおよびＣアームの例が本明細書で主に提供されているが、開示される手法は、血管撮像が行われる他の撮像モダリティの場面で使用され得ることを理解されたい。例えば、本明細書に記載のアプローチは、限定はしないが、陽電子放出断層撮影（ＰＥＴ）スキャナ、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）スキャナ、磁気共鳴撮像（ＭＲＩ）スキャナ、および／またはそのようなモダリティの組み合わせた実施態様を含む、他のタイプの断層撮影スキャナによって取得されたデータに用いることもできる。
【００１６】
例として、Ｘ線ＣＴ（例えば、マルチスライスＣＴまたはボリュメトリックＣＴ）およびＸ線Ｃアームシステム（例えば、コーンビームＣＴ）などのいくつかの撮像モダリティは、スキャンされる物体または患者の投影を測定し、投影は、手法に応じて、ラドン変換データ、ファンビーム変換データ、コーンビーム変換データ、または不均一フーリエ変換に対応する。投影は、撮像システムに対する物体または患者の１つまたは複数の角度配向に対応する１つまたは複数の指定された時間間隔中に取得されたデータを示す。他の場面では、スキャンデータは、磁場および無線周波数（ＲＦ）パルスに応じて生成された放出タイプデータ（例えば、ＰＥＴまたはＳＰＥＣＴデータ）または磁気共鳴データ（例えば、ＭＲＩデータ）であり得る。断層撮影再構築アルゴリズムならびに関連する補正および較正アルゴリズムは、生の測定値から有用なボリュメトリック画像および／またはモデルを生成するためにこれらの撮像モダリティと共に用いられる。
【００１７】
これを念頭に置いて、本明細書で説明する手法は、血管撮像の場面で１つまたは複数の機能を実行するために、１つまたは複数の深層学習アルゴリズムで具体化され得るような機械学習アプローチを利用する。本明細書で説明する実施態様の一部では、深層学習アルゴリズムは、臨床の現実の画像または幾何学的構築物とは対照的に、訓練データとして合成（例えば、シミュレートされた）画像を使用して訓練される。
【００１８】
例として、合成画像データで訓練される深層学習アルゴリズムは、以下でより詳細に説明するように、血管をセグメント化し、セグメント化されたもしくはセグメント化されていない血管の長さに沿った真のコントラストレベル（例えば、ハウンズフィールド単位（ＨＵ）スコアリングまたは推定）を決定し（システム解像度の制約条件による小さな血管の見かけのコントラストの不足に対処するためなど）、画像のカルシウムの影響を除去し、かつ／または冠血流予備量比（ＦＦＲ）などの関心のある血管パラメータを決定もしくは推定することができるように訓練される。理解され得るように、これらの機能の一部は、様々な利益を得るためにスタンドアロン方式で行うなど、他の機能なしで行われてもよいが、実際には、これらの機能の一部は、他の機能と組み合わせて行われることから恩恵を受けることができる。例えば、真のまたは正確なコントラストレベルのセグメンテーションおよび決定は、血管分析の場面において、撮像された領域の血流速度を決定するのに有用であり、および／または場合によっては血流の局所推定値を提供してもよい（本明細書で使用する場合、「局所」という用語は、全身推定またはモデリングとは対照的に、臓器、四肢、または他の限られた解剖学的領域内またはその周辺など、撮像された領域または撮像された領域の一部内を意味し得る）。セグメンテーションと管腔コントラストの推定機能の両方は、カルシウムの影響を除去することから恩恵を受けることができ、別個のまたは絡み合った機能のいずれかと見なされ得る。さらに、カルシウムブルーミングは画像特徴（例えば、関心のある血管系に近接する微細構造）の視覚化を妨げる可能性があるため、画像ボリュームからカルシウムの影響を除去することにより、臨床医が視覚的に画像ボリュームを確認する価値を高めることができる。
【００１９】
１つまたは複数の深層学習アルゴリズムを訓練するための合成画像の使用は、本明細書で説明するように、グランドトゥルース状態の推定またはグランドトゥルース状態を表す追加のデータの取得のいずれか、および訓練データを収集するための臨床画像データへの追加のデータの登録を伴い得る、そのような訓練目的での臨床画像の使用とは対照的である。理解され得るように、そのような追加のデータ取得は、侵襲的アプローチを必要とすることがあり（グランドトゥルース血管パラメータを得るためなど）、および／または場合によっては回避されるかもしれないリスクを導入し得る。例えば、血管の内部境界は、光学コンピュータ断層撮影（ＯＣＴ）または血管内超音波（ＩＶＵＳ）を使用して決定することができる。しかしながら、両方の手法は、適切な検知装置を備えたカテーテルを関心のある血管系に挿入する必要があるため、侵襲的である。これらのような侵襲的アプローチは、追加のリスクを患者にもたらす。
【００２０】
前述の序論的なコメントを念頭に置いて、本開示の一般的な場面を示すため、ならびに本明細書に記載のある特定の技術的概念の理解および説明を容易にするためのいくつかの一般化された情報が提供される。
【００２１】
例えば、上記のように、画像データに基づいて処理を改善または実行することに関して、深層学習アプローチを用いてもよい。本明細書で説明する深層学習の態様は、残差ネットワーク、生成的敵対ネットワーク、または他の損失ネットワークに基づくアプローチを含み得る。ある特定の実施態様では、そのような深層学習アプローチは、ニューラルネットワークを利用して画像データを処理したり、またはＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｃアーム、位相コントラスト、およびＭＲ画像などの断層撮影画像を含み得るそのような画像データに基づいて操作を行うことができる。本明細書で説明するニューラルネットワークは、深層ニューラルネットワーク、完全接続ネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、パーセプトロン、オートエンコーダ、リカレントネットワーク、ウェーブレットフィルタバンクベースのニューラルネットワーク、または他のニューラルネットワークアーキテクチャを包含し得る。これらの技術は、本明細書では深層学習手法と呼ばれるが、この専門用語は、特に複数の層を有するニューラルネットワークである深層ニューラルネットワークの使用に関しても使用され得る。
【００２２】
本明細書で説明するように、深層学習手法（深層機械学習、階層型学習、または深層構造学習として知られていてもよい）は、データの数学的表現および学習のための人工ニューラルネットワークを用いる機械学習技術の一分野である。例として、深層学習アプローチは、関心のあるタイプのデータの高レベルの抽象化を抽出またはモデル化するための１つまたは複数のアルゴリズムの使用によって特徴付けることができる。これは、１つまたは複数の処理層を使用して達成することができ、各層は、典型的には、異なる抽象化レベルに対応し、したがって所与の層のプロセスまたはアルゴリズムのターゲットとして先行の層の初期データまたは出力の異なる態様を潜在的に用いるまたは利用する（すなわち、階層または層のカスケード）。画像処理または再構築の場面では、これはデータの異なる特徴レベルまたは解像度に対応する異なる層として特徴付けられることがある。
【００２３】
一般に、１つの表現空間から次のレベルの表現空間への処理を、再構築プロセスの１つの「段階」と見なすことができる。再構築の各段階は、別個のニューラルネットワークによって、または１つのより大きなニューラルネットワークの異なる部分によって行うことができる。例えば、本明細書で説明するように、単一の深層学習ネットワークを使用して、１つまたは複数の局所血管特性を決定する一部としてセグメンテーション、コントラスト査定、脱灰、または他のステップを提供することができる。
【００２４】
本明細書で説明するように、特定の問題を解決するための深層学習プロセスの初期訓練の一部として、既知の初期値（例えば、入力画像、投影データ、放出データ、磁気共鳴データなど）と、深層学習プロセスの最終出力の既知の（すなわち、グランドトゥルース）値とを有する訓練データセットを用いることができる。以下でより詳細に説明するように、本アプローチによれば、合成画像データは、訓練データとして使用され、合成されたデータは、臨床画像データおよび／または単純な幾何学的構築物からシミュレートまたは合成または導出されるが、臨床画像データとは異なる。さらに、その合成性質により、本明細書で説明する合成訓練画像は、そのようなグランドトゥルースを推定したり、または追加の侵襲的操作を行ってそのようなグランドトゥルース特性を導出したりすることなく、既知のグランドトゥルース特性に関連付けられる。このようなグランドトゥルース情報は、血管の幾何学的形状（血管の長さ、血管境界の表現、プラークの位置で狭窄している血管の割合、プラークの長さなど）、管腔コントラストの強調、様々な組成の隣接するプラーク、周囲の組織などの１つまたは複数を含む。
【００２５】
単一の段階の訓練は、１つの表現空間に対応する既知の入力値と、次のレベルの表現空間に対応する既知の出力値とを有することができる。このようにして、深層学習アルゴリズムは、初期データと所望の出力との間の数学的関係が識別されるまで、および／または各層の入力と出力との間の数学的関係が識別されて特徴付けられるまで、既知のデータセットまたは訓練データセットを（教師付きもしくはガイド付きの方法で、または教師なしもしくはガイドなしの方法で）処理することができる。同様に、初期値と所望のターゲット値の両方が既知である別個の検証データセットを用いることができるが、初期値だけが訓練された深層学習アルゴリズムに供給され、次に、前の訓練を検証し、かつ／または過剰訓練を防止するために、出力を深層学習アルゴリズムの出力と比較する。
【００２６】
前述のことを念頭に置いて、図１は、本明細書で説明するように、深層学習モデルとして訓練することができる人工ニューラルネットワーク５０の例を概略的に示す。この例では、ネットワーク５０は多層であり、訓練入力５２（例えば、合成画像データ）、入力層５４と、隠れ層５８Ａ、５８Ｂなどと、出力層６０とを含む複数の層、ならびに訓練ターゲット６４がネットワーク５０に存在する。ある特定の実施態様では、入力層５４は、隠れ層として特徴付けられるか、または隠れ層であると理解されてもよい。各層は、この例では、複数の「ニューロン」またはノード５６で構成される。ニューロン５６の数は、層の間で一定であってもよいし、図示のように、層ごとに異なってもよい。各層のニューロン５６は、次の階層層のニューロン５６への入力として働くそれぞれの出力を生成する。実際には、バイアスを追加した入力の加重和を計算して、正規化線形ユニット（ＲｅＬＵ）、シグモイド関数、双曲線正接関数、または他の方法で指定またはプログラムされた関数などの活性化関数に従って層の各それぞれのニューロンを「励起」または「活性化」する。最終層の出力は、ネットワーク出力６０を構成し、ターゲット画像またはパラメータセット６４と併せて、損失または誤差関数６２によって使用されて誤差信号を生成し、これはネットワークの訓練をガイドするために逆伝播される。
【００２７】
損失または誤差関数６２は、ネットワーク出力と訓練ターゲットとの間の差を測定する。ある特定の実施態様では、損失関数は、ボクセルレベルの値もしくは部分線積分値の平均二乗誤差（ＭＳＥ）であり得、および／または画像勾配もしくは他の画像統計などの他の画像特徴を伴う差を説明し得る。あるいは、損失関数６２は、ソフトマックス関数またはＤＩＣＥ値などの問題の特定のタスクに関連付けられた他のメトリックによって定義することができる（ＤＩＣＥは、比率
【００２８】
【数１】
2020081866.tif 000003
を指し、Ａ∩Ｂは、領域ＡとＢの交差を示し、｜・｜は、領域の面積を示す）。
【００２９】
深層学習手法を使用する本アプローチの説明を容易にするために、本開示は、主にＣＴまたはＣアームシステムの場面でこれらのアプローチを説明する。しかしながら、以下の説明は、限定はしないが、ＰＥＴ、ＳＰＥＣＴ、マルチスペクトルＣＴ、位相コントラスト撮像、およびＭＲＩを含む他の画像モダリティおよびシステム、ならびに断層撮影再構築が画像を再構築するために用いられる非医療的な場面または任意の場面にも適用可能であり得ることを理解されたい。
【００３０】
これを念頭に置いて、撮像システム１１０（すなわち、スキャナ）の例が図２に示される。図示の例では、撮像システム１１０は、患者（または他の被検体もしくは関心のある物体）の周りの様々なビューでスキャンデータ（例えば、Ｘ線減衰データ）を取得するように設計され、断層撮影再構築手法を使用して画像再構築を行うのに適したＣＴ撮像システムである。図２に示す実施形態では、撮像システム１１０は、コリメータ１１４に隣接して位置決めされたＸ線放射源１１２を含む。Ｘ線源１１２は、Ｘ線管、分散型Ｘ線源（固体または熱イオンＸ線源など）、または医療もしくは他の画像の取得に適した他の任意のＸ線放射源であってもよい。逆に、ＰＥＴまたはＳＰＥＣＴの実施形態では、トロイダル放射線検出器を設けることができ、患者に注入される放射性トレーサが放射源として使用される。ＭＲＩの場合、測定値は、フーリエ空間内のサンプルであり、ニューラルネットワークへの入力として直接適用することができるか、または最初にサイノグラム空間内の線積分に変換することができる。
【００３１】
図示の例では、コリメータ１１４は、患者／物体１１８が位置決めされる領域に入るＸ線ビーム１１６を整形または制限する。図示の例では、Ｘ線１１６は、撮像されたボリュームを通過する円錐形のビーム、すなわち、コーンビームになるようにコリメートされる。Ｘ線放射１２０の一部は、患者／物体１１８（または他の関心のある被検体）またはその周囲を通過し、参照番号１２２で一般的に表される検出器アレイに衝突する。アレイの検出器素子は、入射Ｘ線１２０の強度を表す電気信号を発生する。これらの信号が取得され、患者／物体１１８内の特徴の画像を再構築するために処理される。
【００３２】
源１１２は、ＣＴ検査シーケンス用の電力と制御信号の両方を供給するシステムコントローラ１２４によって制御される。図示の実施形態では、システムコントローラ１２４は、システムコントローラ１２４の構成要素であり得るＸ線コントローラ１２６を介して源１１２を制御する。そのような実施形態では、Ｘ線コントローラ１２６は、電力およびタイミング信号をＸ線源１１２に提供するように構成されてもよい。
【００３３】
さらに、検出器１２２は、システムコントローラ１２４に結合され、システムコントローラ１２４は、検出器１２２で生成された信号の取得を制御する。図示の実施形態では、システムコントローラ１２４は、データ取得システム１２８を使用して、検出器によって生成された信号を取得する。データ取得システム１２８は、検出器１２２の読み出し電子回路によって収集されたデータを受け取る。データ取得システム１２８は、検出器１２２からサンプリングされたアナログ信号を受け取り、後述する処理構成要素１３０による後続の処理のためにデータをデジタル信号に変換することができる。あるいは、他の実施形態では、デジタル−アナログ変換は、検出器１２２自体に設けられた回路によって行うことができる。システムコントローラ１２４はまた、ダイナミックレンジの初期調整、デジタルデータのインターリーブなどのために、取得された信号に対して様々な信号処理およびフィルタ処理機能を実行することができる。
【００３４】
図２に示す実施形態では、システムコントローラ１２４は、回転サブシステム１３２および線形位置決めサブシステム１３４に結合される。回転サブシステム１３２は、Ｘ線源１１２、コリメータ１１４および検出器１２２が、主に患者の周りのｘ、ｙ平面内で回転するなど、患者／物体１１８の周りで１回または複数回回転することを可能にする。回転サブシステム１３２は、それぞれのＸ線放出および検出構成要素が配置されるガントリまたはＣアームを含む場合があることに留意されたい。したがって、そのような実施形態では、システムコントローラ１２４を利用してガントリまたはＣアームを操作することができる。
【００３５】
線形位置決めサブシステム１３４は、ガントリの回転に対してｚ方向になど、患者／物体１１８、より具体的には患者を支持するテーブルをＣＴシステム１１０のボア内で変位させることを可能にすることができる。したがって、テーブルは、患者１１８の関心のある特定の領域の画像を生成するためにガントリ内で直線的に（連続的または段階的に）移動されてもよい。図示の実施形態では、システムコントローラ１２４は、モータコントローラ１３６を介して回転サブシステム１３２および／または線形位置決めサブシステム１３４の移動を制御する。
【００３６】
一般に、システムコントローラ１２４は、撮像システム１１０の操作を命令し（上述した源１１２、検出器１２２、および位置決めシステムの操作を介してなど）、検査プロトコルを実行して取得されたデータを処理する。例えば、システムコントローラ１２４は、上記のシステムおよびコントローラを介して、関心のある被検体の周りで源１１２および検出器１２２を支持するガントリを回転させることができ、それによりＸ線減衰データを被検体に対して１つまたは複数の角度位置で得ることができる。本場面では、システムコントローラ１２４はまた、信号処理回路、コンピュータによって実行されるプログラムおよびルーチン（本明細書に記載の血管特性推定手法を行うためのルーチンなど）を記憶するための関連するメモリ回路、ならびに構成パラメータ、画像データなどを含むことができる。
【００３７】
図示の実施形態では、システムコントローラ１２４によって取得および処理された信号は、画像再構築を行うことができる処理構成要素１３０に提供される。処理構成要素１３０は、１つまたは複数の汎用または特定用途向けマイクロプロセッサであってもよい。データ取得システム１２８によって収集されたデータは、直接またはメモリ１３８への記憶後に処理構成要素１３０に送信することができる。データの記憶に適した任意のタイプのメモリは、そのような例示的なシステム１１０によって利用することができる。例えば、メモリ１３８は、１つまたは複数の光学、磁気、および／または固体メモリ記憶構造を含むことができる。さらに、メモリ１３８は、取得システムサイトに位置してもよいし、かつ／または後述するように、データ、処理パラメータ、および／もしくは断層撮影画像再構築のためのルーチンを記憶するための遠隔記憶デバイスを含んでもよい。
【００３８】
処理構成要素１３０は、典型的にはキーボードおよび／または他の入力デバイスを備えたオペレータワークステーション１４０を介してオペレータから命令およびスキャンパラメータを受け取るように構成されてもよい。オペレータは、オペレータワークステーション１４０を介してシステム１１０を制御することができる。したがって、オペレータは、オペレータワークステーション１４０を使用して再構築された画像を観察し、かつ／または他の方法でシステム１１０を操作することができる。例えば、オペレータワークステーション１４０に結合されたディスプレイ１４２を利用して、再構築された画像を観察し、撮像を制御することができる。加えて、画像はまた、オペレータワークステーション１４０に結合され得るプリンタ１４４によって印刷されてもよい。
【００３９】
さらに、処理構成要素１３０およびオペレータワークステーション１４０は、他の出力デバイスに結合することができ、他の出力デバイスは、標準または専用のコンピュータモニタおよび関連する処理回路を含むことができる。１つまたは複数のオペレータワークステーション１４０は、システムパラメータの出力、検査の要求、画像の閲覧などのために、システムにさらにリンクすることができる。一般に、ディスプレイ、プリンタ、ワークステーション、およびシステム内で供給される同様のデバイスは、データ取得構成要素の場所にあってもよいし、あるいは、施設もしくは病院内の他の場所、またはまったく異なる場所など、これらの構成要素から離れた、１つまたは複数の構成可能なネットワーク、例えばインターネット、バーチャルプライベートネットワークなどを介して画像取得システムにリンクされた場所にあってもよい。
【００４０】
オペレータワークステーション１４０はまた、医療用画像管理システム（ＰＡＣＳ）１４６に結合されてもよいことにさらに留意されたい。次いでＰＡＣＳ１４６は、遠隔クライアント１４８、放射線科情報システム（ＲＩＳ）、病院情報システム（ＨＩＳ）または内部もしくは外部のネットワークに結合することができ、そのようにして様々な場所の第三者が生のまたは処理された画像データにアクセスすることができる。
【００４１】
前述の説明は別個に撮像システム１１０の様々な例示的な構成要素を扱ってきたが、これらの様々な構成要素は、共通のプラットフォーム内または相互接続されたプラットフォーム内に設けることができる。例えば、処理構成要素１３０、メモリ１３８、およびオペレータワークステーション１４０は、本開示の態様に従って操作するように構成された汎用または専用のコンピュータまたはワークステーションとして集合的に提供することができる。そのような実施形態では、汎用または専用のコンピュータは、システム１１０のデータ取得構成要素に対して別個の構成要素として提供されてもよく、またはそのような構成要素と共通のプラットフォームに提供されてもよい。同様に、システムコントローラ１２４は、そのようなコンピュータまたはワークステーションの一部として、または画像取得専用の別個のシステムの一部として設けることができる。
【００４２】
図２のシステムは、スキャンデータを使用して撮像された領域の画像を再構築するために、患者の関心のある血管新生領域に関する様々なビューについてのＸ線投影データ（または他のモダリティ用の他のスキャンデータ）を取得するために利用され得る。撮像システム１１０などのシステムによって取得された投影（または他の）データは、断層撮影再構築を行うために本明細書で説明するように再構築することができる。図２のシステムは、Ｘ線源１１２および検出器１２２を物体または被検体の周りで回転させるための回転サブシステム１３２を示しているが、非破壊評価に使用されるＣＴシステムのように、Ｘ線源および検出器が固定され、物体が回転するＣＴシステムも想定されている。
【００４３】
前述の背景および場面の説明を念頭に置いて、本開示は、関心のある１つまたは複数の局所的な血管特性を導出するために非侵襲的に取得された画像を使用することに関する。特に、血管、特に被検体が運動（ストレス）を受けているときの冠状動脈の血流の状態の査定には、かなりの診断力が存在し得る。例えば、この情報を使用して、心臓のコンピュータ断層撮影血管造影法（ＣＴＡ）を使用して達成され得るような、この情報と局所的な解剖学的情報を組み込んだ数値流体力学モデルの患者固有の境界状態を提供し、冠状動脈などの局所的な領域の圧力分布を推定することができる。例えば、閉塞は、血流を制限し、局所的な障害物を考慮して圧力に影響を及ぼし、それによって下流の組織に影響を与え得る（例えば、心筋または脳組織への血流を制限する）。心臓発作および脳卒中は、そのような状態から生じる可能性のある急性事象である。これを念頭に置いて、冠状動脈について得ることができるような患者固有の圧力分布データを使用して、冠血流予備量比（ＦＦＲ）（例えば、病変が疑われる場合の遠位と近位の圧力の比率）または関心のある血管の他の血管パラメータを推定することができる。そのような情報を使用して、冠状動脈の収縮の血行動態の重要性を査定し、血管収縮の重症度を評価するためのシステムの診断精度を向上させ、その後の治療計画の指針として役立てることができる。
【００４４】
そのような情報の取得を容易にするために、本明細書に記載のアプローチは、血管の健康の改善された査定を提供するように多数の課題に対処する。特に、血管査定に対する本アプローチは、深層学習ベースのアプローチ（以下でより詳細に説明する）を使用して、血管機能の定量化を目的として、血管セグメンテーション、脱灰、ハウンズフィールド単位（ＨＵ）スコアリング、および血行動態パラメータ推定（例えば、冠血流予備量比（ＦＦＲ）推定）の一部またはすべてを別個にまたは組み合わせて行う。
【００４５】
理解され得るように、これらの問題の各々は複雑であり、カスタマイズされたアルゴリズムを設計することによって対処することができる。そのようなアルゴリズムは、十分に効果的であるために、良好なパフォーマンスを確保するために調節する必要がある数十または数百のパラメータを必ず含む必要がある。そのようなプロセスは、非常に労働集約的であり、ある特定の状況で偏ったアルゴリズムになる可能性がある。このようなカスタマイズされたアルゴリズムとは対照的に、多層人工ニューラルネットワークで具体化され得るような深層学習ネットワークは、典型的なデータセットで発生するパターンを認識し、これらのパターンの解釈方法を定量化するために使用され得る大量のパラメータを自動的に学習することができる。そのような深層学習アプローチは、良好な訓練データが利用可能であると仮定してアルゴリズム開発を大幅に加速するが、特定のネットワークがどのように操作するかを完全に理解していないという犠牲を払う。すなわち、特定の訓練されたネットワークが機能する理由（各重みまたはフィルタの目的など）の詳細が不明な場合がある。本アプローチは、上記の４つのタスク、すなわち、１）セグメンテーション、２）脱灰、３）ＨＵ強度スコアリング、および４）血行動態パラメータ推定（例えば、ＦＦＲ推定）の一部またはすべてを行うために深層学習ネットワークを用いる。
【００４６】
これを念頭に置いて、血管閉塞の機能的影響を決定することに関して、解剖学的情報と流量情報の両方が必要である。これは、図３に一般化されたレベルで表されている。本明細書で説明するように、ＣＴＡ画像１７０（典型的には、関心のある血管系に導入されるコントラスト（例えば、ヨウ素）ボーラスで撮像することによって取得される）を使用して得ることができるような血管画像データを使用して、画像データ内の血管のセグメンテーションを行うなど、解剖学的情報を導出することができる（１７２）。これを念頭に置いて、本アプローチは、ニューラルネットワーク１７４Ａとして示される深層学習アルゴリズムを訓練および利用して、そのようなセグメンテーション操作を行うことができる。図示の例では、説明を容易にするために、各機能または操作は、別個のまたは異なる訓練されたニューラルネットワーク１７４によって行われるものとして示されている。しかしながら、実際には、説明された操作のいくつかまたはすべては、単一のニューラルネットワーク１７４または開示されたものよりも少ないニューラルネットワークによって行われてもよい。そのようなアプローチでは、示された流量または機能間の出力の相互関係（例えば、セグメンテーション、脱灰、ＨＵスコアリング、血行動態パラメータ推定）は、別個の操作への入力として１つの出力を明示的に提供することなく、ニューラルネットワークの層とニューロンとの間の様々な重み付けおよびリンクによって簡単に調整することができることが理解され得る。
【００４７】
一例では、セマンティックセグメンテーションの深層学習アルゴリズムは、ボリュメトリックＣＴ画像のセットの各ボクセルを管腔または背景に分類し、または別の実施態様では、画像の各ボクセルを管腔、脂肪、カルシウムまたは背景に分類する。すなわち、セグメンテーション操作は、ＣＴボリュメトリック画像の各ボクセルをラベルと関連付け、ラベルの１つは管腔（すなわち血管）の描写に関連付けられている。セグメンテーション結果は、後続の操作のためのセグメンテーション情報１７２として使用することができ、および／またはＦＦＲなどの関心のある血管パラメータを予測するために使用される数値流体力学（ＣＦＤ）モデルを構築もしくはパラメータ化するために使用することができる。あるいは、ボリュメトリックＣＴ画像セットのボクセルの尤度が管腔もしくは背景、または別の実施態様では、管腔、脂肪、カルシウムもしくは背景であることを推定することが可能である。これに関連して、１および０の尤度は、ボクセルがある特定の材料で構成されているかどうかの絶対的な確実性をそれぞれ指す。
【００４８】
当業者には理解され得るように、撮像された領域のカルシウムの存在は、閉塞のサイズまたは範囲を正確に決定することを困難にする可能性がある。例えば、カルシウム沈着物は、しばしば冠状動脈閉塞の視覚化を損なったり、または大きさを誇張することがあるため、特定の閉塞を正確に査定することを困難にし、それによって誤診（閉塞が実際に存在しない場合の分類）が発生し、さらにフォローアップが必要になる。結果として、本アプローチの別の態様は、ニューラルネットワーク１７４Ｂとして示される深層学習アプローチを利用して、画像へのカルシウム沈着物（出力１７８）の寄与（すなわち、脱灰）を除去することができ、これは上記のセグメンテーションステップ（１７４Ａ）などの他の操作の精度を向上させる効果を有し得、したがって画像データ１７０から導出された解剖学的情報を向上させることができる。同様に、画像へのカルシウム寄与１７８の識別は、図３に示すように、流量情報１８０、例えば、ＨＵスコアリングを決定する際に有用であり得る。
【００４９】
流量情報１８０に関して、この情報は、多くの方法で集めることができる。本明細書で説明する１つのアプローチでは、コントラスト強度（例えば、ＨＵ強度またはスコアリング１８０）は、冠状動脈ツリー内の各セグメント化された場所で１回以上推定される。例として、流量は、空間コントラスト強度分布に基づいて決定されてもよく、そのプロセスは、参照によりその全体がすべての目的のために本明細書に組み込まれる、米国特許出願第２０１７／０３２５７６９号に記載されている。この情報を使用して、問題の（例えば、大動脈または左心室の）血管の起源付近の関心領域の測定値から得られた時間密度プロファイル入力の推定値と組み合わせて流量を推定することができる。したがって、流量情報（例えば、ＨＵスコアリング１８０）の計算は、導出された解剖学的情報１７２（例えば、セグメント化された血管）に基づいていてもよい。実際には、これは、ニューラルネットワーク１７４Ｃまたはより包括的に訓練されたニューラルネットワークに訓練される適切な機能性を使用して達成することができる。
【００５０】
さらに、本明細書で説明するように、血圧分布またはＦＦＲ分布１８２の一方または両方は、適切な訓練されたニューラルネットワーク１７４Ｄまたは上記の機能の１つまたは複数を行い、上記の解剖学的セグメンテーション情報１７２および流量情報１８０を任意選択で活用するように訓練されたニューラルネットワークを使用して導出され得る。訓練されたニューラルネットワーク１７４Ｄを使用することによって、数値流体力学（ＣＦＤ）モデルを構築またはパラメータ化することなく、そのような分布を導出することができる。
【００５１】
上記のように、ニューラルネットワークを使用して上述の機能の一部またはすべてを行うための重要な側面は、それぞれのニューラルネットワーク１７４の訓練である。訓練の成功に関連する要因は、１）良好なグランドトゥルースデータへのアクセス、および２）トポロジおよび損失関数などの効果的なネットワーク設計の選択を含む。
【００５２】
良好なグランドトゥルースデータへのアクセスに関しては、「グランドトゥルース」として通用するデータセットにアクセスするための様々な方法が存在するが、これらの多くは、特に有用な深層学習アルゴリズムを訓練するために必要な量に関して、行うのが非常に困難である。例えば、血管査定の場面で関心のあるものとされる上記の４つの問題に関して、グランドトゥルースデータを得る際にいくつかの問題が存在する可能性がある。
【００５３】
脱灰（すなわち、画像からカルシウムの影響を除去する）の場合、組織内のカルシウムを脂肪または同様のコントラストの別の軟組織材料でデジタル的に置き換えることが望ましい場合がある。この方法論により、深層学習ネットワークはカルシウムが最終画像にどのように表されるかを学習することができ、ネットワークが非線形部分体積効果に起因するカルシウムブルーミングなどの関連するアーチファクトについて学習することを可能にする。臨床試験では、何らかの方法でカルシウムを外科的に除去して再撮像し、すべての他の要因が元のスキャンと同じままである（例えば、まったく同じ心臓の位相、患者の位置、コントラスト分布など）ことを保証する必要があるため、そのような画像を生成する実用的な方法は存在しない。これは、小さなデータセット、さらには深層学習アルゴリズムを訓練するのに十分な大きさのデータセットであっても実現可能ではない。
【００５４】
セグメンテーションの場合、グランドトゥルース情報を得るには、冠状動脈（または他の血管）の幾何学的形状を測定するより正確な方法が必要である。前述のように、この情報は、血管内超音波（ＩＶＵＳ）または光学コンピュータ断層撮影（ＯＣＴ）を使用して確認することができるが、ＩＶＵＳ／ＯＣＴデータのボリュメトリックＣＴ画像への登録や、心臓の位相、患者の位置、心拍数、患者のストレスのレベル、または他のそのような要因による幾何学的形状の変化を含む、これらのアプローチに関連付けられる課題が存在する。さらに、ＩＶＵＳおよびＯＣＴは、関心のある冠状動脈血管内に位置決めされたカテーテルを使用して測定値を取得する侵襲的処置である。したがって、深層学習ネットワークの訓練に必要な多数のそのような試験を行うのは費用がかかり、非侵襲的処置にはないリスクを導入する。
【００５５】
ハウンズフィールド単位（ＨＵ）スコアリングの場合、冠状動脈ＣＴ血管造影法（ＣＴＡ）スキャン中の特定の時点での冠状動脈ツリー全体のグランドトゥルースコントラスト（例えば、ヨウ素）密度の独立した正確な測定は、現在の方法では不可能である。臨床シナリオを模倣するファントムを作成することはできるが、多大な労力を必要とし、生じる可能性のある臨床画像の範囲をカバーするために、臨床的に関連する豊富な種類の血管の幾何学的形状および配向、ならびに様々なスキャン設定および心臓の幾何学的形状の変動を必要とする。目標が臨床シナリオを厳密に表すことである場合、非剛体運動も導入される場合がある。そのようなファントムを物理的に作成することは非常に費用のかかるタスクであり、モデル化された血管の幾何学的形状の範囲が制限されることになる。
【００５６】
最後に、冠血流予備量比（ＦＦＲ）推定などの血行動態パラメータ推定の場合、患者から取得したＣＴＡ画像、および所与の患者の侵襲的に測定されたグランドトゥルース血行動態パラメータ値に基づいて、関心のある血行動態パラメータを予測する深層ニューラルネットワークを訓練することが可能であり得る。しかしながら、ニューラルネットワークを訓練するには、多数の患者でこのような情報を収集する必要があり、これは実現可能な取り組みではなく、関心のあるグランドトゥルース値を測定するための侵襲的アプローチを再び想定することになる。対応するグランドトゥルースＦＦＲ情報のないＣＴＡ画像が利用可能かつ豊富であり、そのような画像を使用して、三次元（３Ｄ）数値流体力学（ＣＦＤ）モデルを使用してＦＦＲを予測することができる。臨床画像および予測されたＦＦＲは次に、深層学習アルゴリズムの訓練に使用することができる。しかしながら、予測されたＦＦＲをグランドトゥルースと合理的に見なすことはできない。特に、ＣＴＡ画像からの冠状動脈流量の推定においても、従来の管腔セグメンテーションによって不正確さが導入されている。これらの不正確さは、ＣＦＤモデルを介した予測されたＦＦＲの不正確さにつながり、そのような推定がグランドトゥルース値として有用ではなくなってしまう。
【００５７】
したがって、対処されている問題の各々について、所与のＣＴＡ画像１７０に対応するグランドトゥルース値を有することは一般に実現可能ではない。現在のアプローチに従って、これは２つの方法で対処される。ＣＴスキャナ、検出器開口、焦点開口、Ｘ線スペクトル、Ｘ線物理学などの幾何学的形状をモデル化するＣＴシミュレーションルーチン（すなわち、ソフトウェア）は、すべてのパラメータ化が既知のシミュレーションプロセスの結果である画像のために、グランドトゥルース値が明示的に知られている分析ファントムとデジタルファントム（臨床解剖学的構造を模倣する物体の数学的構築物）の両方で使用される。すなわち、生成された合成画像は、臨床画像とは異なり、表された解剖学的構造（例えば、血管やカルシウムの形態の正確な知識）、コントラストレベル、血流、およびスキャナの幾何学的形状に関する既知のパラメータ化の結果であり、したがって、これらのデータは、既知のグランドトゥルースデータに関連付けることができる。
【００５８】
これらのファントムは、大規模な訓練画像データセットに対応し、様々な血管の幾何学的形状、狭窄率、ＨＵ信号強度、周囲の組織（血管に近接する組織および心腔などの隣接する構造）、ノイズの認識などを表している。このようにして、ＣＴシミュレーションルーチンは、様々な臨床シナリオで生成される画像をシミュレートする。ファントムおよびスキャンパラメータは完全にカスタマイズ可能であるため、例えば、カルシウム沈着物が脂肪に置き換えられた場合など、ＣＴＡ画像がどのようになるかを正確にシミュレートすることが可能である。同様に、血管管腔内のヨウ素密度を完全に制御し、様々な血管の幾何学的形状、プラーク形状、および他の近くの構造をシミュレートすることが可能である。まとめると、これにより、セグメンテーション、脱灰、およびＨＵスコアリングの深層学習用途のために、大規模で多様なグランドトゥルースデータセットを生成することが可能になる。重要なことは、スキャナおよび再構築アルゴリズムの有限解像度によって引き起こされる不鮮明さは、このプロセスで正確に表される。
【００５９】
ＦＦＲ推定のグランドトゥルースの決定に関して、グランドトゥルース管腔幾何学的形状全体の圧力降下は、３Ｄ  ＣＦＤ計算を使用して様々な流量で予測することができる。デジタルファントムの幾何学的形状は正確にわかっているため、予測される圧力降下は、実行可能なグランドトゥルースと見なすことができる。同様に、既知の管腔幾何学的形状および流量に基づいて、他のグランドトゥルース血行動態特性も同様に決定することができる。
【００６０】
一実施態様では、図４Ａおよび図４Ｂに示すように、血管モデルから導出された情報でデータセットが補強され、図４Ａは、単純化された血管モデルを示し、図４Ｂは、臨床データから導出された血管モデルのレンダリングを示す。図４Ａに示す単純化された血管モデルは、管腔１８０およびプラーク１８２を含み、それにより管腔１８０およびプラーク１８２の各々の密度および組成が指定され得る。別の実施態様では、データセットは、実際の生活、すなわち、臨床のデータから導出された情報で補強される。図４Ｂに示すように、臨床データから導出されたモデルは、管腔１８４およびプラーク１８６を含み、それにより管腔１８４およびプラーク１８６の各々の密度および組成が指定され得る。このようにして、様々な異なるスキャンパラメータおよび／または幾何学的形状で撮像された実際の血管系、カルシウム沈着物などの外観に対応するように、シミュレート画像を導出することができる。単純化された血管モデルから導出された情報により、モデルパラメータを簡単に修正し、深層学習ネットワークの訓練に必要な大規模なデータセットの生成が可能である。臨床画像から導出された情報を使用することで訓練データの充実度が向上され、一方、単純化された幾何学的構築物から生成された合成画像は有用ではあるが、実際の血管系への適用性が制限されている（したがって、訓練値も制限されている）。任意選択で、いずれかのモデルは、隣接する構造（例えば、心腔、周囲の肺など）、背景材料の変動性（例えば、脂肪など）、およびヨウ素などの注入された造影剤からの管腔内の可変コントラスト強調の１つまたは複数をさらに含む。代替のアプローチでは、両方のデータ源を使用して、深層学習ネットワークを訓練することができる。加えて、１つまたは複数の単純化された血管モデルまたは臨床データから導出された血管モデルを使用して生成された合成画像は、深層学習ネットワークを訓練するために、グランドトゥルース情報が既知の臨床データ（例えば、カルシウム沈着物がないことがわかっている血管セグメント）と組み合わせることができる。
【００６１】
このアプローチの例は図５に示されており、これは臨床ＣＴＡ画像１７０の使用を示し、ＣＴＡ画像１７０のみの場面では、推定される値のグランドトゥルースデータ（例えば、局所的な流量、局所的な圧力分布、冠血流予備量比など）は利用可能ではない。例として、これらの画像は最初にセグメント化され（ステップ１９６）、真の基礎となる管腔幾何学的形状と各カルシウム沈着物の幾何学的表現を生成する。プラーク成分、隣接する構造など、他の幾何学的特徴のセグメンテーションも想定されている。これらの幾何学的表現は、ボクセル化することができ（各ボクセルが幾何学的表現に対するボクセルの場所に基づいて特定の組織タイプまたは組織タイプの組合せに対応するボリュメトリック表現に変換またはそれによって表現される）、またはポリゴンサーフェス、ＮＵＲＢＳ（非均一有理ｂスプライン）、もしくは任意の数の他の表現によって特徴付けることができる。これらの表現は、真の管腔およびカルシウムの元の形状と正確に一致しない場合があるが、それらを一緒にすると十分に近いため、対応するＣＴＡ画像ボリュームの大きなセットから抽出されたこれらの表現の大規模なシリーズは、臨床診療で一般的に見られる形状のタイプを表している。それらが正確に一致しないという事実は、特にノイズ、解像度の制限、および他の画像の非理想性が存在する場合、セグメンテーションが困難な問題であるという観察に起因する可能性がある。それにもかかわらず、これらの表現（本アプローチに従って明示的に定義される）はグランドトゥルース形状になるので正確に一致する必要はなく、これは次に、臨床ＣＴＡ画像１７０の観測された幾何学的形状に基づいて、かつ臨床画像１７０を取得するために使用されるハードウェアを模倣する１つまたは複数の指定されたシステムおよびプロトコルシミュレーションパラメータ１９４（例えば、ＣＴスキャナの幾何学的形状、検出器開口、焦点開口、Ｘ線管の操作電圧、電子ビーム電流、Ｘ線ビームフィルタ処理、Ｘ線スペクトル、Ｘ線物理学など）に基づいて合成ＣＴＡ画像１９２を構築するＣＴシミュレーションルーチン１９０のセットへの１つの入力として使用される。
【００６２】
ＣＴシミュレーションルーチン１９０への入力および操作はすべて既知であるため、結果として得られる合成ＣＴＡ画像１９２は、関心のあるパラメータに対応する既知のグランドトゥルース値を有する。次いで、臨床ＣＴＡ画像から導出されるが既知のグランドトゥルース値を有する合成ＣＴＡ画像１９２は、本明細書で説明するように、１つまたは複数のニューラルネットワーク１７４（図３）の訓練で使用され得る。さらに、データセットを充実させるために、臨床データから導出された幾何学的モデルを多数の方法で修正することができる。例えば、スケーリング、回転、およびワープを行うことができる。任意のコントラストレベルを使用することができ、これは、形状の導出元である元のＣＴＡ画像のコントラストとは関係なくてもよい。さらに、血管の長さに沿って空間的に変化するコントラストレベルを血管系に対して定義することができる。ノイズレベルおよび他のスキャンパラメータもまた、独立して制御することが可能である。
【００６３】
前述は、上記のように、血管査定のためにニューラルネットワークを訓練する合成画像データの生成および使用に関連しているが、ネットワーク設計もまた要因である。ネットワーク設計の選択に関して、１つの実施態様では、セグメンテーションの深層学習アルゴリズムの畳み込みニューラルネットワーク設計（例えば、ニューラルネットワーク１７４Ａ）の選択は、Ｕ−Ｎｅｔなどのエンコーダ−デコーダアーキテクチャ、またはｄｉｌａｔｅｄ／ａｔｒｏｕｓ畳み込み（ｄｉｌａｔｅｄ／ａｔｒｏｕｓ  ｃｏｎｖｏｌｕｔｉｏｎ）を使用するアーキテクチャの使用を含み、これにより、最初のアーキテクチャのようにプーリング層の使用による空間次元の減少なしに視野を指数関数的に増加させることが可能である。両方の深層学習アーキテクチャは、多くのセマンティックセグメンテーションタスクに効果的であり得る。それぞれのセグメンテーションの損失関数は、クロスエントロピー、ＤＩＣＥ、または平均二乗誤差とすることができる。
【００６４】
深層学習アルゴリズム（例えば、ニューラルネットワーク１７４Ｃ）を使用したＨＵスコアリングに関して、回帰および分類タスクで典型的には使用される収縮パスのみを含む畳み込みニューラルネットワークアーキテクチャを用いてもよい。１つのそのような実施態様では、サンプリングの削減の問題を軽減するために、元の再構築されたボリュームがより高密度の空間サンプリングにアップサンプリングされる。加えて、リサンプリンググリッドの幾何学的形状は、リサンプリング（例えば、アップサンプリング）の出力で血管の中心線がボリュームの中央を通るように、各冠状動脈分岐部の経過をたどるようにワープすることができる。
【００６５】
脱灰に関して、一実施形態では、ニューラルネットワーク（例えば、ニューラルネットワーク１７４Ｂ）への入力は、元のＣＴＡ画像１７０であり、出力１７８は、元の画像１７０と脂肪によるカルシウムの置き換えに基づく予測または推定された画像との間の予測された差である。次に、減算により脂肪予測画像を生成することができる。このアプローチは、Ｕ−ｎｅｔの低解像度スケールで情報が失われる可能性があるため、脂肪予測画像を直接出力するよりも好ましい場合がある。さらに、このアプローチは、完全な画像の背景の詳細を保存するのではなく、（局所的な）カルシウムの影響を推定するタスクのネットワークリソースを保存することが可能である。脱灰の損失関数は、平均二乗誤差または別の同様のメトリックであり得る。
【００６６】
訓練されたニューラルネットワーク１７４Ｄを使用した血行動態パラメータの推定に関して、冠血流予備量比（ＦＦＲ）が推定される一実施態様では、ＦＦＲ予測ニューラルネットワークは、上述の３Ｄ  ＣＦＤモデルからの各流量でのグランドトゥルース圧力降下を入力として利用可能であり得る。１つのそのようなアプローチでは、ＦＦＲ圧力降下の入力画像ボリュームは、ＨＵスコアリングに関して上述したように再フォーマットすることができ、それにより血管はボリュームの中央に位置決めされ、血管の限られたセクション（狭窄の周囲の領域など）を含むようにトリミングすることができる。この縮小または制限された画像ボリュームは、ハーフＵ−ｎｅｔ（ｈａｌｆ−Ｕ−ｎｅｔ）または他の同様のネットワークアーキテクチャへの入力として使用され、出力は、グランドトゥルースが既知の流量の各々で予想される圧力降下である。損失関数は、各流量でのグランドトゥルース圧力降下との不一致を不利にする。グランドトゥルース範囲内の任意の流量で予想される圧力降下は、単純な（例えば、二次）モデルまたは滑らかな補間を使用して推測することができる。別の実施形態では、画像ボリュームは、上述のように制限されない。むしろ、３Ｄ  ＣＦＤモデルを使用して、各流量での総圧力降下を抽出する。総圧力降下を使用する理由は、次のとおりである。静圧の変化は、壁での摩擦損失に加えて、狭窄内および狭窄のすぐ下流など、流れの加速／減速による圧力降下／上昇を含む。画像ボリュームが制限されていない場合、静圧降下は、狭窄による圧力降下を表していない場合がある。一方、総圧力降下は、損失、壁での摩擦損失、ならびに再循環および／または乱流による慣性損失のみを含む。したがって、これは、画像ボリュームが制限されていないときに追跡するのに適した圧力降下である。狭窄による圧力降下は、狭窄内の損失の結果だけでなく、狭窄の下流の損失の結果でもある。下流の損失は、流れの再循環、乱流および壁摩擦の結果である可能性があり得る。これらの損失は、狭窄の下流の血管が正常な場合でも発生する。深層学習を使用してこれらの損失を予測するために、画像ボリュームへの入口での速度プロファイル形状および流量は、画像ボリューム自体に加えて、ハーフＵ−ｎｅｔまたは同様のネットワークアーキテクチャへの入力として提供される。出力は、画像ボリューム全体の総圧力降下、および画像ボリューム出口での速度プロファイル形状である。速度プロファイル形状は、３Ｄプロファイル（すなわち、ｘ、ｙおよびｚ座標の関数としての速度）または形状の１Ｄ数特性（例えば、最大速度／平均速度）の形式にすることができる。次に、訓練されたネットワークは、狭窄を含む血管セグメントに沿った圧力降下を得るために、狭窄の上流から下流まで連続的に適用することができる。追加の実施形態では、深層学習を使用して１Ｄ血流モデルのパラメータを得て、次にこれを使用して圧力分布を予測する。１Ｄ運動量保存方程式は、以下の形式を有する：
【００６７】
【数２】
2020081866.tif 000004
式中、Ｑは、ボリュメトリック流量であり、Ａは、断面積であり、ｐは、圧力であり、αおよびｓ’は、速度プロファイル形状に関連するパラメータである。パラメータｓ’は、壁摩擦損失に関連している。パラメータαは、
【００６８】
【数３】
2020081866.tif 000005
として定義され、式中、ｕｚは、ｚ方向の速度である。
【００６９】
これらのパラメータは、放物線状の速度プロファイルを仮定することによって推定することができるが、この仮定は、１Ｄモデルによって予測される圧力分布の精度に影響を与える可能性がある。精度を向上させるために、代わりにこれらのパラメータは、深層学習を使用して得られてもよい。３Ｄ  ＣＦＤモデルから、このパラメータは、式
【００７０】
【数４】
2020081866.tif 000006
が３Ｄモデルによって予測された壁摩擦損失に一致するように、画像ボリュームの長さに沿った複数の場所で得ることができる。同様に、パラメータαもまた、画像ボリュームの長さに沿った複数の場所で得ることができる。ハーフＵ−ｎｅｔまたは同様のネットワークアーキテクチャは次に、入力として画像ボリューム入口での画像ボリューム、流量および速度プロファイル形状で訓練され、出力は、画像ボリュームの長さに沿った複数の場所でのパラメータαおよびｓ’の値であり、画像ボリューム出口での速度プロファイル形状である。次いで訓練されたネットワークと１Ｄモデルを使用して、圧力分布を予測することができる。
【００７１】
本アプローチから理解され得るように、本明細書に記載のアプローチの１つの可能な用途は、ＦＦＲを定量化することである。患者の冠状動脈に通された圧力ワイヤを使用して冠血流予備量比を直接測定することができるが、代わりに、撮像を使用して非侵襲的な方法でＦＦＲの局所的な推定値を得ることが有益である場合があり、これは本アプローチにより促進される。
【００７２】
本発明の技術的効果は、グランドトゥルースデータが知られている合成画像データを使用して、血管査定のための１つまたは複数のニューラルネットワークを訓練することを含む。ある特定の実施態様では、合成画像データは、グランドトゥルースデータが知られていないまたは利用可能でない臨床画像データに部分的に基づくか、またはそれから導出され得る。このようにして訓練されたニューラルネットワークを使用して、血管セグメンテーション、脱灰、ハウンズフィールド単位スコアリング、および／または血行動態パラメータの推定の１つまたは複数を行うことができる。
【００７３】
本明細書は、最良の様式を含む本発明を開示するため、およびどのような当業者も、任意のデバイスまたはシステムの作製および使用ならびに任意の組み込まれた方法の実行を含む本発明の実践を可能にするために、実施例を使用している。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者であれば想到できる他の実施例も含むことができる。そのような他の実施例は、特許請求の範囲の文言と異ならない構造要素を有する場合、または特許請求の範囲の文言と実質的な差のない等価の構造要素を含む場合、特許請求の範囲内にあることが意図されている。
【符号の説明】
【００７４】
５０  ・・・人工ニューラルネットワーク
５２  ・・・訓練入力
５４  ・・・入力層
５６  ・・・ニューロン、ノード
５８Ａ  ・・・隠れ層
５８Ｂ  ・・・隠れ層
６０  ・・・出力層、ネットワーク出力
６２  ・・・誤差関数、損失関数
６４  ・・・訓練ターゲット、パラメータセット
１１０  ・・・撮像システム
１１２  ・・・Ｘ線放射源
１１４  ・・・コリメータ
１１６  ・・・Ｘ線ビーム
１１８  ・・・患者、物体
１２０  ・・・Ｘ線放射、入射Ｘ線
１２２  ・・・検出器
１２４  ・・・システムコントローラ
１２６  ・・・Ｘ線コントローラ
１２８  ・・・データ取得システム
１３０  ・・・処理構成要素
１３２  ・・・回転サブシステム
１３４  ・・・線形位置決めサブシステム
１３６  ・・・モータコントローラ
１３８  ・・・メモリ
１４０  ・・・オペレータワークステーション
１４２  ・・・ディスプレイ
１４４  ・・・プリンタ
１４６  ・・・医療用画像管理システム（ＰＡＣＳ）
１４８  ・・・遠隔クライアント
１７０  ・・・ＣＴＡ画像
１７２  ・・・解剖学的セグメンテーション情報
１７４Ａ  ・・・訓練された人工ニューラルネットワーク
１７４Ｂ  ・・・訓練された人工ニューラルネットワーク
１７４Ｃ  ・・・訓練された人工ニューラルネットワーク
１７４Ｄ  ・・・訓練された人工ニューラルネットワーク
１７８  ・・・出力、カルシウム寄与
１８０  ・・・流量情報、ＨＵスコアリング、管腔
１８２  ・・・血圧分布、ＦＦＲ分布、プラーク
１８４  ・・・管腔
１８６  ・・・プラーク
１９０  ・・・ＣＴシミュレーションルーチン
１９２  ・・・合成ＣＴＡ画像
１９４  ・・・システム＆プロトコルシミュレーションパラメータ
ｘ  ・・・平面
ｙ  ・・・平面
ｚ  ・・・方向
【図１】
2020081866.tif 000007
【図２】
2020081866.tif 000008
【図３】
2020081866.tif 000009
【図４Ａ】
2020081866.tif 000010
【図４Ｂ】
2020081866.tif 000011
【図５】
2020081866.tif 000012
【外国語明細書】
2020081866000001.pdf