(57)【要約】  磁気共鳴イメージング（ＭＲＩ）システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、非デカルトサンプリングを用いてＭＲ空間周波数データを取得するように磁気システムを制御することと、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、前記取得されたＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含み、第１のニューラルネットワークブロックは、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、ＭＲＩシステム。
2021532875.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークモデルを用いて入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデルと、
画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデルと、を含む、生成することを含む、方法。
【請求項２】
前記生成することは、
前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理して、出力ＭＲ空間周波数データを得ることと、
前記出力ＭＲ空間周波数データを画像ドメインに変換して、入力画像ドメインデータを得ることと、
前記第２のニューラルネットワークサブモデルを用いて前記入力画像ドメインデータを処理して、前記ＭＲ画像を得ることと、を含む、請求項１に記載の方法。
【請求項３】
前記第１のニューラルネットワークサブモデルは、１よりも大きなストライドを有する少なくとも１つの畳み込み層を含む、請求項１または２に記載の方法。
【請求項４】
前記第１のニューラルネットワークサブモデルは、少なくとも１つの転置畳み込み層を含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記第１のニューラルネットワークサブモデルは、少なくとも１つの局所結合層を含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第１のニューラルネットワークサブモデルは、少なくとも１つのデータ一貫性層を含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記第１のニューラルネットワークサブモデルは、少なくとも１つの複素共役対称性層を含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記第１のニューラルネットワークサブモデルは、残留接続を含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記第１のニューラルネットワークサブモデルは、整流線形ユニット活性化層を含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記第１のニューラルネットワークサブモデルは、Ｌｅａｋｙ整流線形ユニット活性化層を含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記第１のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層、局所結合層、および少なくとも１つの転置畳み込み層を含み、
前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理することは、
前記少なくとも１つの畳み込み層を前記入力ＭＲ空間周波数データに適用することと、
前記少なくとも１つの畳み込み層の出力を用いて得られたデータに前記局所結合層を、適用することと、
前記局所結合層の出力を用いて得られたデータに前記少なくとも１つの転置畳み込み層を適用することと、を含む、請求項２〜１０のいずれか一項に記載の方法。
【請求項１２】
前記第１のニューラルネットワークサブモデルは、複素共役対称性層を含み、前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理することは、
前記少なくとも１つの転置畳み込み層の出力を用いて得られたデータに前記複素共役対称性層を適用することを含む、請求項１１に記載の方法。
【請求項１３】
前記第１のニューラルネットワークサブモデルは、データ一貫性層を含み、前記第１のニューラルネットワークサブモデルを用いて前記入力ＭＲ空間周波数データを処理することは、
前記複素共役対称性層の出力を用いて得られたデータに前記データ一貫性層を適用することを含む、請求項１１または１２に記載の方法。
【請求項１４】
前記少なくとも１つの畳み込み層の各畳み込み層は、１よりも大きいストライドを有する、請求項１１〜１３のいずれか一項に記載の方法。
【請求項１５】
前記局所結合層は、前記ＭＲ空間周波数データにおける各データ点に対するそれぞれのパラメータ値のセットを含む、請求項１１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記第１のニューラルネットワークサブモデルは、少なくとも１つの全結合層を含む、請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
前記第１のニューラルネットワークサブモデルは、全結合層を含み、前記方法は、
前記空間周波数ドメインデータの実部に前記全結合層を適用することと、
前記空間周波数ドメインデータの虚部に前記全結合層を適用することと、をさらに含む、請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
前記第１のニューラルネットワークサブモデルは、第１の全結合層および第２の全結合層を含み、前記方法は、
前記空間周波数ドメインデータの実部に前記第１の全結合層を適用することと、
前記空間周波数ドメインデータの虚部に前記第２の全結合層を適用することと、をさらに含む、請求項１〜１７のいずれか一項に記載の方法。
【請求項１９】
前記第１の全結合層および前記第２の全結合層は、少なくともいくつかの重みを共有する、請求項１８に記載の方法。
【請求項２０】
前記方法は、
フーリエ変換を用いて前記第１の全結合層および第２の全結合層の出力を変換して、画像ドメインデータを得ることと、
前記第２のニューラルネットワークサブモデルへの入力として前記画像ドメインデータを提供することと、をさらに含む、請求項１８または１９に記載の方法。
【請求項２１】
前記方法は、
前記フーリエ変換を用いる前に、前記第１の全結合層および前記第２の全結合層の前記出力にバッチ正規化を適用して、画像ドメインデータを得ることをさらに含む、請求項２０に記載の方法。
【請求項２２】
前記空間周波数ドメインデータ内の点は不規則に離間した、請求項１〜２１のいずれか一項に記載の方法。
【請求項２３】
前記空間周波数ドメインデータ内の点は、デカルトグリッド上にない、請求項１〜２２のいずれか一項に記載の方法。
【請求項２４】
前記ＭＲ画像を生成することは、前記空間周波数ドメインデータをグリッドすることなく実行される、請求項１〜２３のいずれか一項に記載の方法。
【請求項２５】
前記第２のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む、請求項１〜２４のいずれか一項に記載の方法。
【請求項２６】
前記第２のニューラルネットワークサブモデルは、ニューラルネットワーク層のそれぞれのセットを含む一連のブロックを含み、前記複数のブロックの各々は、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む、請求項１〜２５のいずれか一項に記載の方法。
【請求項２７】
前記複数のブロックの各々は、フーリエ変換層、データ一貫性層、および逆フーリエ変換層をさらに含む、請求項２６に記載の方法。
【請求項２８】
空間周波数ドメイン損失関数および画像ドメイン損失関数を含む損失関数を用いて前記ニューラルネットワークモデルを訓練することをさらに含む、請求項１〜２７のいずれか一項に記載の方法。
【請求項２９】
前記損失関数は、前記空間周波数ドメイン損失関数と前記画像ドメイン損失関数との加重和である、請求項２８に記載の方法。
【請求項３０】
前記空間周波数ドメイン損失関数は、平均二乗誤差を含む、請求項２９に記載の方法。
【請求項３１】
高磁界画像のセットを用いて前記ニューラルネットワークモデルを訓練して、訓練された第１のニューラルネットワークモデルを得ることと、
低磁界画像のセットを用いて前記第１のニューラルネットワークモデルを適合させることと、をさらに含む、請求項１〜３０のいずれか一項に記載の方法。
【請求項３２】
前記空間周波数ドメインデータは、Ｎｙｑｕｉｓｔ基準に対してアンダーサンプリングされる、請求項１〜３１のいずれか一項に記載の方法。
【請求項３３】
少なくとも１つのコンピュータハードウェアプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、前記プロセッサ実行可能命令は、前記少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに、
ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、
画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することを行わせる、システム。
【請求項３４】
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに、
ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、
画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することを行わせる、非一時的コンピュータ可読記憶媒体。
【請求項３５】
磁気共鳴イメージング（ＭＲＩ）システムであって、
磁気システムであって、
前記ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、
前記ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、
磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、
コントローラであって、
ＭＲ空間周波数データを取得するように前記磁気システムを制御することと、
ニューラルネットワークモデルを用いてＭＲ空間周波数データからＭＲ画像を生成することであって、前記ニューラルネットワークモデルは、
空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、
画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステム。
【請求項３６】
空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含む、方法。
【請求項３７】
少なくとも１つのプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、前記プロセッサ実行可能命令は、実行されるときに、前記少なくとも１つのプロセッサに、
空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、システム。
【請求項３８】
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、実行されるときに、前記少なくとも１つのプロセッサに、
空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、非一時的コンピュータ可読媒体。
【請求項３９】
磁気共鳴イメージング（ＭＲＩ）システムであって、
磁気システムであって、
前記ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、
前記ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、
磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、
コントローラであって、
ＭＲ空間周波数データを取得するように前記磁気システムを制御することと、
空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステム。
【請求項４０】
前記Ｂ０磁石は永久磁石である、請求項３５または３９に記載のＭＲＩシステム。
【請求項４１】
第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含み、
前記第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、方法。
【請求項４２】
前記ニューラルネットワークモデルは、複数のニューラルネットワークブロックを含み、前記複数のニューラルネットワークブロックの各々は、前記不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、請求項４１に記載の方法。
【請求項４３】
前記入力ＭＲ空間周波数データを得ることと、
前記不均一フーリエ変換を用いて前記入力ＭＲ空間周波数データから初期画像を生成することと、
前記第１のニューラルネットワークブロックが、前記不均一フーリエ変換を用いてデータ一貫性処理を実行することを少なくとも部分的に用いることによって、前記ニューラルネットワークモデルを初期画像に適用することと、をさらに含む、請求項４１または４２に記載の方法。
【請求項４４】
前記第１のニューラルネットワークブロックは、グリッディング補間変換、高速フーリエ変換、およびデアポディゼーション変換をデータに適用することによって、前記データに対して前記不均一フーリエ変換を実行することによって、前記不均一フーリエ変換を少なくとも部分的に用いることによって、データ一貫性処理を実行するように構成されている、請求項４１〜４３のいずれか一項に記載の方法。
【請求項４５】
前記グリッディング補間変換を前記データに適用することは、スパースグラフィカル処理ユニット（ＧＰＵ）行列乗算を用いて実行される、請求項４４に記載の方法。
【請求項４６】
前記第１のニューラルネットワークブロックは、
前記データ一貫性処理を実行するように構成されているデータ一貫性ブロックと、
複数の畳み込み層と、を含む請求項４１〜４５のいずれか一項に記載の方法。
【請求項４７】
前記データ一貫性ブロックは、
前記不均一フーリエ変換を、前記データ一貫性ブロックへの入力として提供される第１の画像に適用して、第１のＭＲ空間周波数データを得ることと、
前記第１のＭＲ空間周波数データと前記入力ＭＲ空間周波数データとの差に随伴不均一フーリエ変換を適用することと、行うように構成されている、請求項４６に記載の方法。
【請求項４８】
前記不均一フーリエ変換を前記第１の画像のドメインデータに適用することは、
前記第１の画像のドメインデータに、デアポディゼーション変換と、それに続くフーリエ変換と、それに続くグリッディング補間変換とを適用することを含む、請求項４７に記載の方法。
【請求項４９】
前記複数の畳み込み層は、１つ以上の畳み込み層および１つ以上の転置畳み込み層を含む、請求項４６〜４８のいずれか一項に記載の方法。
【請求項５０】
前記複数の畳み込み層が「Ｕ」構造を有する、請求項４６〜４９のいずれか一項に記載の方法。
【請求項５１】
前記第１のニューラルネットワークブロックを画像ドメインデータに適用することをさらに含み、前記適用することは、
前記データ一貫性ブロックを画像ドメインデータに適用して、第１の出力を得ることと、
前記複数の畳み込み層を画像ドメインデータに適用して、第２の出力を得ることと、
前記第１の出力および前記第２の出力の線形結合を決定することと、を含む、請求項４６〜５０のいずれか一項に記載の方法。
【請求項５２】
前記第１のニューラルネットワークブロックは、複数の畳み込み層を含み、
前記複数の畳み込み層は、入力として、
画像ドメインデータと、
随伴不均一フーリエ変換を前記入力ＭＲ空間周波数データに適用することによって得られる出力と、受信するように構成されている、請求項４１〜５１のいずれか一項に記載の方法。
【請求項５３】
前記複数の畳み込み層は、入力として、
前記不均一フーリエ変換および前記随伴不均一フーリエ変換を前記画像ドメインデータに適用することによって得られる出力を受信するようにさらに構成されている、請求項５２に記載の方法。
【請求項５４】
前記第１のニューラルネットワークブロックを画像ドメインデータに適用することをさらに含み、前記適用することは、
前記画像ドメインデータに、前記不均一フーリエ変換を適用し、それに続いて随伴不均一フーリエ変換を適用して、第１の出力を得ることと、
前記随伴不均一フーリエ変換を前記入力ＭＲ空間周波数データに適用して、第２の出力を得ることと、
前記複数の畳み込み層への入力として、前記画像ドメインデータ、前記第１の出力、および前記第２の出力を提供することと、を含む、請求項４１〜５３のいずれか一項に方法。
【請求項５５】
前記不均一フーリエ変換を前記画像ドメインデータに適用した結果に畳み込みニューラルネットワークを適用して、中間出力を得ることと、
前記随伴不均一フーリエ変換を前記中間出力に適用して、前記第１の出力を得ることと、をさらに含む、請求項５４に記載の方法。
【請求項５６】
前記入力ＭＲ空間周波数データ内の点は、非デカルトサンプリング軌道を用いて得られた、請求項４１〜５５のいずれか一項に記載の方法。
【請求項５７】
前記不均一フーリエ変換は、前記非デカルトサンプリング軌道を少なくとも部分的に用いることによって決定される、請求項５６に記載の方法。
【請求項５８】
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、前記少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、前記方法は、
第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、
前記第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、非一時的コンピュータ可読記憶媒体。
【請求項５９】
少なくとも１つのコンピュータハードウェアプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、前記プロセッサ実行可能命令は、前記少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、前記少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、前記方法は、
第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、
前記第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、システム。
【請求項６０】
磁気共鳴イメージング（ＭＲＩ）システムであって、
磁気システムであって、
前記ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、
前記ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、
磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、
コントローラであって、
非デカルトサンプリング軌道を用いてＭＲ空間周波数データを取得するように前記磁気システムを制御することと、
第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、前記取得されたＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含み、
前記第１のニューラルネットワークブロックは、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、ＭＲＩシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１８年７月３０日に出願された、米国仮出願第６２／７１１，８９５号、代理人整理番号Ｏ０３５４．７００２８ＵＳ００であって、「ＤＥＥＰ  ＬＥＡＲＮＩＮＧ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＭＡＧＮＥＴＩＣ  ＲＥＳＯＮＡＮＣＥ  ＩＭＡＧＥ  ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するもの、２０１８年９月２７日に出願された、米国仮出願第６２／７３７，５２４号、代理人整理番号Ｏ０３５４．７００２８ＵＳ０１であって、「ＤＥＥＰ  ＬＥＡＲＮＩＮＧ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＭＡＧＮＥＴＩＣ  ＲＥＳＯＮＡＮＣＥ  ＩＭＡＧＥ  ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するもの、２０１８年１０月１１日に出願された、米国仮出願第６２／７４４，５２９号、代理人整理番号Ｏ０３５４．７００２８ＵＳ０２であって、「ＤＥＥＰ  ＬＥＡＲＮＩＮＧ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＭＡＧＮＥＴＩＣ  ＲＥＳＯＮＡＮＣＥ  ＩＭＡＧＥ  ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するもの、および２０１９年３月１８日に出願された、米国仮出願第６２／８２０，１１９号、代理人整理番号Ｏ０３５４．７００３９ＵＳ００であって、「ＥＮＤ−ＴＯ−ＥＮＤ  ＬＥＡＲＮＡＢＬＥ  ＭＲ  ＩＭＡＧＥ  ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題するものに対して、３５  Ｕ．Ｓ．Ｃ．  §  １１９（ｅ）に基づく優先権を主張する。
【背景技術】
【０００２】
磁気共鳴イメージング（ＭＲＩ）は、多くの用途に重要なイメージング診断法を提供し、人体の内部の画像を生成するために臨床および研究の現場で広く利用されている。ＭＲＩは、加えられた電磁界から生じる状態変化に応答して原子が放出する電磁波である磁気共鳴（ＭＲ）信号の検出に基づいている。例えば、核磁気共鳴（ＮＭＲ）技術は、画像化される対象物中の原子（例えば、人体の組織中の原子）の核スピンの再整列または緩和の際に、励起された原子の核から放出されるＭＲ信号を検出することを含む。検出されたＭＲ信号は、画像を生成するように処理されてもよく、これは、医学的用途の文脈において、診断、治療および／または研究目的のために、体内の内部構造および／または生物学的プロセスの調査を可能にする。
【０００３】
ＭＲＩは、他の診断法の安全上の懸念なしに（例えば、被験体をＸ線のような電離放射線に被曝させるか、または放射性物質を体内に導入する必要なしに）、比較的高い解像度とコントラストを有する非侵襲的な画像を生成することができるため、生物学的画像化のための魅力的な画像化診断法を提供する。追加的に、ＭＲＩは、軟部組織のコントラストを提供するのに特に適しており、他の画像診断法が十分に画像化できない主題を画像化するために利用することができる。さらに、ＭＲ技術は、他の診断法が獲得できない構造および／または生物学的プロセスに関する情報を捕捉することができる。しかし、従来のＭＲＩ技術には、所与の画像化用途について、機器の比較的高いコスト、利用可能性の制限（例えば、臨床ＭＲＩスキャナへのアクセスを獲得することの困難さおよび費用）、および画像取得プロセスの長さを含み得る多くの欠点がある。
【０００４】
画質を向上させるために、臨床および研究のＭＲＩにおける傾向は、走査時間、画像解像度、および画像コントラストの１つ以上の仕様を改善するためにＭＲＩスキャナの磁界強度を増加させているが、ＭＲＩイメージングのコストを押し上げてしまう。設置されたＭＲＩスキャナの大多数は、少なくとも１．５または３テスラ（Ｔ）で動作し、これは、スキャナの主磁界Ｂ０の磁界強度を表す。臨床のＭＲＩスキャナの概算コストは、１テスラあたり１００万ドルのオーダであり、これは、このようなＭＲＩスキャナを動作させる際に伴う実質的な動作、サービス、および保守のコストにおけるファクタさえも考慮していない。追加的に、従来の高磁界ＭＲＩシステムは、典型的には、被験体（例えば、患者）が画像化される強力で均一な静磁界（Ｂ０）を生成するために、大きな超伝導磁石および関連する電子機器を必要とする。超伝導磁石はさらに、導体を超伝導状態に保つために極低温機器を必要とする。このようなシステムのサイズは、ＭＲＩシステムの磁気構成要素を隔離するために特別にシールドされた部屋を含む、磁気構成要素、電子機器、温度管理システム、および制御コンソールエリアのための複数の部屋を含む、典型的なＭＲＩ装置デバイスではかなり大きい。ＭＲＩシステムのサイズとコストにより、一般に、それらを購入し維持するのに十分なスペースおよびリソースを有する病院や学術研究センターのような施設に使用が制限される。高磁界ＭＲＩシステムはコストが高く、十分なスペースを必要とするため、ＭＲＩスキャナの利用可能性が制限される。このように、ＭＲＩ走査は有益であるが、上述の制限や、以下にさらに説明されるように非実用的であるか、または不可能であるという臨床状況がたびたび存在する。
【発明の概要】
【０００５】
いくつかの実施形態は、ニューラルネットワークモデルを用いて入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することであって、ニューラルネットワークモデルは、空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデルと、画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデルと、を含む、生成することを含む、方法に関する。
【０００６】
いくつかの実施形態は、少なくとも１つのコンピュータハードウェアプロセッサとプロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに、ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、システムに関する。ニューラルネットワークモデルは、空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む。
【０００７】
いくつかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに、ニューラルネットワークモデルを用いて磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、非一時的コンピュータ可読記憶媒体に関する。ニューラルネットワークモデルは、空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む。
【０００８】
いくつかの実施形態は、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含む、方法に関する。
【０００９】
いくつかの実施形態は、少なくとも１つのプロセッサと、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、実行されるときに、少なくとも１つのプロセッサに、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、システムに関する。
【００１０】
プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は、実行されるときに、少なくとも１つのプロセッサに、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを行わせる、非一時的コンピュータ可読媒体。
【００１１】
いくつかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、方法は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、非一時的コンピュータ可読記憶媒体を提供する。
【００１２】
いくつかの実施形態は、磁気共鳴イメージング（ＭＲＩ）システムであって、磁気システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、ＭＲ空間周波数データを取得するように磁気システムを制御することと、ニューラルネットワークモデルを用いてＭＲ空間周波数データからＭＲ画像を生成することであって、ニューラルネットワークモデルは、空間周波数ドメインにおけるデータを処理するように構成されている第１のニューラルネットワーク部分と、画像ドメインにおけるデータを処理するように構成されている第２のニューラルネットワーク部分と、を含む、生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステムを提供する。
【００１３】
いくつかの実施態様は、磁気共鳴イメージング（ＭＲＩ）システムであって、磁気システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、ＭＲ空間周波数データを取得するように磁気システムを制御することと、空間周波数ドメインデータを処理するように構成されており、局所結合ニューラルネットワーク層を有するニューラルネットワークサブモデルを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含む、ＭＲＩシステムを提供する。
【００１４】
いくつかの実施形態は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成することを含み、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、方法を提供する。
【００１５】
いくつかの実施形態は、少なくとも１つのコンピュータハードウェアプロセッサと、プロセッサ実行可能命令を記憶する少なくとも１つの非一時的コンピュータ可読記憶媒体と、を含み、プロセッサ実行可能命令は、少なくとも１つのコンピュータハードウェアプロセッサによって実行されるときに、少なくとも１つのコンピュータハードウェアプロセッサに方法を実行させ、方法は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成することを含み、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、システムを提供する。
【００１６】
いくつかの実施形態は、磁気共鳴イメージング（ＭＲＩ）システムであって、磁気システムであって、ＭＲＩシステムにＢ０磁界を提供するように構成されているＢ０磁石と、ＭＲＩシステムに勾配場を提供するように構成されている勾配コイルと、磁気共鳴（ＭＲ）信号を検出するように構成されている少なくとも１つのＲＦコイルと、を含む磁気システムと、コントローラであって、非デカルトサンプリング軌道を用いてＭＲ空間周波数データを取得するように磁気システムを制御することと、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、取得されたＭＲ空間周波数データからＭＲ画像を生成することと、を行うように構成されているコントローラと、を含み、第１のニューラルネットワークブロックは、不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている、ＭＲＩシステムを提供する。
【００１７】
前述は、添付の特許請求の範囲によって定義される本発明の非限定的な概要である。
【図面の簡単な説明】
【００１８】
開示される技術の様々な態様および実施形態を、以下の図を参照して説明する。
図は必ずしも縮尺通りに描画されているわけではないと理解されたい。
【図１Ａ】本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための例示のニューラルネットワークモデルのアーキテクチャを示す。
【図１Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。
【図１Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データからＭＲ画像を生成するためのさらに別の例示のニューラルネットワークモデルのアーキテクチャを示す。
【図２Ａ】本明細書で説明される技術のいくつかの実施形態に従って、ニューラルネットワークモデルを用いて入力ＭＲ空間周波数データからＭＲ画像を生成するための例示的なプロセス２００のフローチャートである。
【図２Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、例示的なプロセス２００の一部であり得る、空間周波数ドメインにおいてＭＲ空間周波数データを処理して、出力空間周波数データを得るための例示的なプロセスのフローチャートである。
【図２Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、例示的なプロセス２００の一部であり得る、空間周波数ドメインデータを処理して、ＭＲ画像を生成するための例示的なプロセスのフローチャートである。
【図２Ｄ】本明細書で説明される技術のいくつかの実施形態に従って、例示的なプロセス２００の一部であり得る、画像ドメインデータを処理して、ＭＲ画像を生成するための別の例示的なプロセスのフローチャートである。
【図３】本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインにおいてデータを操作するための局所結合層を有するニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成するための本明細書で説明される技術の性能を示す。
【図４】本明細書で説明されるニューラルネットワークモデルの異なる実施形態を用いて、入力ＭＲ空間周波数データからＭＲ画像を生成するための本明細書で説明される技術の性能を示す。
【図５Ａ】本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。
【図５Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。
【図５Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデルのアーキテクチャを示す。
【図６Ａ】本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインデータを処理するように構成されているニューラルネットワークサブモデルにおける全結合ネットワーク層の重みの分布を示す。
【図６Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインデータを処理するように構成されているニューラルネットワークサブモデルにおける全結合ネットワーク層の重みの分布を示す。
【図６Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、空間周波数ドメインデータを処理するように構成されているニューラルネットワークサブモデルにおける全結合ネットワーク層の重みの分布を示す。
【図７】本明細書で説明される技術のいくつかの実施形態に従って、本明細書で説明される技術と、ゼロパッド逆フーリエ変換を用いて、非デカルトサンプリング軌道を用いてサンプリングされたアンダーサンプリング空間周波数ドメインデータからＭＲＩ画像を生成する結果を示す。
【図８】本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルを訓練する態様を示す。
【図９Ａ】本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルを訓練するための合成複素値画像を生成する態様を示す。
【図９Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルを訓練するために使用され得る、空間周波数および画像ドメイン構成要素を有する損失関数を示す。
【図１０】本明細書で説明される技術のいくつかの実施形態に従って、ゼロパッド逆離散フーリエ変換（ＤＦＴ）を用い、かつ転送学習の訓練ありおよびなしで訓練されたニューラルネットワークモデルを用いる再構成されたＭＲ画像を示す。
【図１１】本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能を示す。
【図１２】本明細書で説明される技術のいくつかの実施形態に従って、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能をさらに示す。
【図１３Ａ】本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データからＭＲ画像を生成するための例示のニューラルネットワークモデルの例示的なアーキテクチャの図である。
【図１３Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、図１３Ａのニューラルネットワークモデルのブロックの１つのタイプのアーキテクチャの図である。
【図１３Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、図１３Ｂに示されるブロックの一部であり得る、データ一貫性ブロックの例示的なアーキテクチャの図である。
【図１３Ｄ】本明細書で説明される技術のいくつかの実施形態に従って、図１３Ｂに示されるブロックの一部であり得る、畳み込みニューラルネットワークブロックの例示的なアーキテクチャの図である。
【図１３Ｅ】本明細書で説明される技術のいくつかの実施形態に従って、図１３Ａのニューラルネットワークモデルのブロックの別のタイプのアーキテクチャの図である。
【図１４】本明細書で説明される技術のいくつかの実施形態に従って、非デカルトサンプリングを用いて得られた入力ＭＲ空間周波数データからＭＲ画像を生成するためにニューラルネットワークモデルを使用するための例示的なプロセス１４００のフローチャートである。
【図１５Ａ】本明細書で説明される技術のいくつかの実施形態に従って、従来のニューラルネットワークモデルおよびニューラルネットワークモデルを用いることによって再構成されたＴ１重み付けＭＲＩを示す。
【図１５Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、従来のニューラルネットワークモデルおよびニューラルネットワークモデルを用いることによって再構成されたＴ２重み付けＭＲＩを示す。
【図１５Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、ニューラルネットワークモデルによる処理の異なる段階における再構成されたＭＲ画像を示す。
【図１６】本明細書で説明される技術のいくつかの実施形態に従って、低磁界ＭＲＩシステムの概略図である。
【図１７Ａ】本明細書で説明される技術のいくつかの実施形態に従って、Ｂ０磁石のための双平面永久磁石構成を示す。
【図１７Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、Ｂ０磁石のための双平面永久磁石構成を示す。
【図１８Ａ】本明細書で説明される技術のいくつかの実施形態に従って、ポータブルＭＲＩシステムの図を示す。
【図１８Ｂ】本明細書で説明される技術のいくつかの実施形態に従って、ポータブルＭＲＩシステムの図を示す。
【図１８Ｃ】本明細書で説明される技術のいくつかの実施形態に従って、頭部の走査を実行するポータブルＭＲＩシステムを示す。
【図１８Ｄ】本明細書で説明される技術のいくつかの実施形態に従って、膝の走査を実行するポータブルＭＲＩシステムを示す。
【図１９】本明細書で説明される実施形態が実施され得る例示的なコンピュータシステムの図である。
【発明を実施するための形態】
【００１９】
従来の磁気共鳴イメージング技術は、患者の解剖学的構造の高解像度断面画像を得るために、狭いチャンバー内で患者に対して時間のかかるＭＲＩ走査を必要とする。長い走査持続時間は、ＭＲスキャナで走査できる患者数を制限し、患者に不快感を与え、走査のコストを増加させる。本発明者らは、より短い持続時間のＭＲＩ走査から医学的に関連のある臨床的に受け入れられるＭＲＩ画像を生成するための技術を開発し、それによって従来のＭＲＩ技術を改善した。
【００２０】
ＭＲＩスキャンの持続時間は空間周波数ドメイン（「ｋ空間（ｋ−ｓｐａｃｅ）」と呼ばれることもある）において取得されたデータ点の数に比例する。したがって、スキャンの持続時間を低減する１つの方法は、より少ないデータ点を取得することである。例えば、より少ないサンプルが、周波数符号化方向、位相符号化方向、または周波数と位相符号化方向の両方で取得されてもよい。しかし、空間ナイキスト基準によって要求されるものよりも少ないデータ点が得られる（これは「アンダーサンプリング」ｋ空間と呼ばれることが多い）ときに、逆フーリエ変換によって収集されたデータ点から生成されたＭＲ画像にはエイリアシングによるアーチファクトを含有する。その結果、スキャン時間が空間周波数ドメインにおいてアンダーサンプリングによって低減されても、得られるＭＲＩ画像は、画質が悪く、使用できないことがある。これは、導入されたアーチファクトが、画質、忠実度、および解釈可能性を著しく劣化させることがあるためである。
【００２１】
アンダーサンプリングｋ空間データからＭＲ画像を再構成するための従来の技術にも欠点がある。例えば、非コヒーレントエイリアシングを生成するランダム化ｋ空間アンダーサンプリング軌道を用いて、アンダーサンプリング空間周波数データからＭＲ画像を生成する問題に圧縮検知技術が適用されており、エイリアシングは、反復画像再構成プロセスを用いて除去される。しかし、反復再構成技術は、大量の計算資源を必要とし、広範な経験的パラメータ調整なしではうまく動作せず、詳細を失ったより低い解像度のＭＲ画像をもたらすことが多い。
【００２２】
深層学習技術が、アンダーサンプリングｋ空間データからＭＲ画像を再構成するためにも使用されている。このような技術の基礎をなすニューラルネットワークパラメータは、フルサンプリングされたデータ（ナイキスト基準に違反しないように空間周波数空間をサンプリングすることによって収集されたデータ）を用いて推定されてもよく、そのようなモデルを訓練することは時間がかかることがあるが、画像再構成に対するニューラルネットワークベースのアプローチは、圧縮検知コンテキストにおいて利用される反復再構成技術よりも著しく計算的に効率的であるため、訓練されたモデルは、取得中にリアルタイムで適用されてもよい。
【００２３】
本発明者らは、従来の深層学習ＭＲ画像再構成技術を改良することができることを認識した。例えば、従来の深層学習ＭＲ画像再構成技術は、画像ドメインまたは空間周波数ドメインのいずれかにおいて純粋に動作し、そのため、空間周波数ドメインおよび画像ドメインの両方における相関構造を考慮に入れていない。別の例として、従来の深層学習ＭＲＩ画像再構成技術（または上述の圧縮検知技術）はいずれも、ＭＲＩ取得を加速するために一般的に使用され、また被験者による運動に対してロバストである、非デカルト（例えば、ラジアル、スパイラル、ロゼッタ、可変密度、リサジュなど）サンプリング軌道を用いて動作しない。対照的に、本発明者らは、（１）空間周波数ドメインおよび画像ドメインの両方で動作し、および（２）非デカルトサンプリング軌道からＭＲ画像の再構成を可能にする、アンダーサンプリング空間周波数データから高品質のＭＲ画像を生成するための新規な深層学習技術を開発した。本明細書で説明されるように、本発明者らによって開発された深層学習技術は、従来のＭＲ画像再構成技術（圧縮検知技術および深層学習技術の両方を含む）を改良し、高品質のＭＲ画像を生成しながらスキャンの持続時間を短縮することによってＭＲスキャン技術を改良する。
【００２４】
本明細書で説明されるいくつかの実施形態は、本発明者らが、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するために従来の技術で認識した上述の問題のすべてに対処する。しかし、以下で説明されるすべての実施形態がこれらの問題のすべてに対処しているわけではなく、いくつかの実施形態は、いずれも扱っていないことがある。したがって、本明細書で説明される技術の実施形態は、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するために上述の技術の問題のすべてまたはいずれかに対処することに限定されないと理解されたい。
【００２５】
したがって、いくつかの実施形態は、アンダーサンプリング空間周波数ドメインデータから磁気共鳴（ＭＲ）画像を生成する方法を提供し、この方法は、（１）空間周波数領域ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデルと、（２）画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデルと、を含むニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することを含む。このようにして、本明細書で説明される技術は、空間周波数および画像ドメインの両方において動作する。
【００２６】
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、第２のニューラルネットワークサブモデルの前に適用される。このようにして、空間周波数ドメインデータを画像ドメインに変換する前に、空間周波数ドメインデータの相関構造を利用するために、ニューラルネットワークが空間周波数ドメインデータに適用される。したがって、いくつかの実施形態では、ＭＲ画像を生成することは、（１）第１のニューラルネットワークサブモデルを用いて入力ＭＲ空間周波数データを処理して、出力ＭＲ空間周波数データを得ること、（２）出力ＭＲ空間周波数データを画像ドメインに変換して、入力画像ドメインデータを得ることと、（３）入力画像ドメインデータを第２のニューラルネットワークサブモデルを用いて処理して、ＭＲ画像を得ること、とを含んでもよい。
【００２７】
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、１つ以上の畳み込み層を含んでもよい。いくつかの実施形態では、畳み込み層の１つ以上（例えば、すべて）は、空間周波数データのダウンサンプリングを提供し得る１より大きいストライドを有してもよい。いくつかの実施形態において、第１のニューラルネットワークサブモデルは、空間周波数データのアップサンプリングを提供し得る１つ以上の転置畳み込み層を含んでもよい。追加的または代替的に、第１のニューラルネットワークサブモデルは、少なくとも１つの局所結合層、少なくとも１つのデータ一貫性層、および／または少なくとも１つの複素共役対称性層を含んでもよい。いくつかの実施形態において、局所結合層は、ＭＲ空間周波数データ内の各データ点に対するパラメータ値のそれぞれのセットを含んでもよい。
【００２８】
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層、局所結合層、および少なくとも１つの転置畳み込み層を含み、第１のニューラルネットワークサブモデルを用いて入力ＭＲ空間周波数データを処理することは、（１）少なくとも１つの畳み込み層を入力ＭＲ空間周波数データに適用することと、（２）少なくとも１つの畳み込み層の出力を用いて得られたデータに局所結合層を適用することと、（３）局所結合層の出力を用いて得られたデータに少なくとも１つの転置畳み込み層を適用すること、とを含んでもよい。このような実施形態では、第１のニューラルネットワークサブモデルは、ダウンサンプリング経路（「Ｕ」の左アーム、１つ以上が１よりも大きなストライドを有する一連の畳み込み層を用いて実装される）、局所結合層（「Ｕ」の底部）、およびアップサンプリング経路（「Ｕ」の右アーム、一連の転置畳み込み層を用いて実装される）からなる「Ｕ」構造を有すると考えられてもよい。
【００２９】
いくつかの実施形態では、転置畳み込み層（分数スライディング畳み込み層またはデコンボリューション層と呼ばれることもある）を使用すると、アップサンプリング出力においてチェッカーボードのアーチファクトをもたらすことがある。この問題に対処するために、いくつかの実施形態では、アップサンプリングは、カーネルサイズが「サブピクセル」畳み込み層と考えられ得るストライド長で割ることができる畳み込み層によって実行されてもよい。代替的には、他の実施形態では、より高い解像度へのアップサンプリングは、そうするために純粋に畳み込み層に依存することなく実行されてもよい。例えば、アップサンプリングは、（例えば、双線形補間または近接補間のような補間を用いて）入力画像のサイズ変更と、それに続く畳み込み層によるこの動作によって実行されてもよい。このようなアプローチは、転置畳み込み層の代わりに、および／または、転置畳み込み層と共に、本明細書で説明される実施形態のいずれにおいても使用され得ると理解されたい。
【００３０】
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、さらに、複素共役対称性層を含むことによって、空間周波数データの複素共役対称性を考慮に入れる。いくつかのそのような実施形態では、複素共役対称性層は、第１のニューラルネットワークサブモデルを用いて入力ＭＲ空間周波数データを処理することが、少なくとも１つの転置畳み込み層の出力を用いて得られたデータに複素共役対称性層を適用することを含むように、転置畳み込み層の出力に適用されてもよい。
【００３１】
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、空間周波数データへの第１のニューラルネットワークサブモデルの適用が、ＭＲスキャナによって得られた空間周波数データの値を変更しないことを保証するために、データ一貫性層をさらに含む。このようにして、データ一貫性層は、第１のニューラルネットワークサブモデルに、アンダーサンプリング空間周波数データ自体を摂動させることなく、アンダーサンプリング空間周波数データからの欠落データを補間することを強制する。いくつかの実施形態において、データ一貫性層は、複素共役対称性層の出力に適用されてもよい。
【００３２】
いくつかの実施形態では、第１のニューラルネットワークサブモデルは、残差結合を含む。いくつかの実施形態において、第１のニューラルネットワークサブモデルは、１つ以上の非線形活性化層を含む。いくつかの実施形態では、第１のニューラルネットワークサブモデルは、整流線形ユニット活性化層を含む。いくつかの実施形態では、第１のニューラルネットワークサブモデルは、Ｌｅａｋｙ  整流線形ユニット活性化層を含む。
【００３３】
本発明者らはまた、改良されたＭＲ画像再構成は、従来のＭＲ画像再構成技術でしばしば行われるように、空間周波数データをグリッドすることなく、空間周波数データサンプルから直接ＭＲ画像を生成することによって達成され得ることを認識した。グリッドでは、得られた空間周波数データ点を二次元（２Ｄ）デカルトグリッド（例えば、各グリッド点における値は閾値距離内のデータ点から補間される）にマッピングし、２Ｄ離散フーリエ変換（ＤＦＴ）を使用してグリッド値から画像を再構成する。しかし、このような局所補間は再構成誤差を導入する。
【００３４】
本発明者らは、非デカルトサンプリング軌道を用いて得られたデータからＭＲ画像を再構成するために複数の深層学習技術を開発した。いくつかの技術は、ＭＲＩシステムによって得られた（非グリッド）空間周波数データとのデータ整合性を促進するために、ニューラルネットワークモデルの複数ブロック部分の各々において不均一フーリエ変換（例えば、不均一高速フーリエ変換−ＮｕＦＦＴ）を使用することを伴う。そのようなデータ一貫性処理は、多数の異なる方法で実行されてもよいが、各々は、不均一フーリエ変換（例えば、本明細書で説明される順方向演算子Ａによって表される）および入力ＭＲ空間周波数データｙを利用してもよい。例えば、いくつかの実施形態では、不均一フーリエ変換をニューラルネットワークモデルブロックにおいて使用して、ブロックにおけるＭＲ再構成を表す画像ドメインデータを空間周波数データに変換して、ブロックにおけるＭＲ再構成をＭＲＩシステムによって得られた空間周波数データと比較され得るようにする。このアプローチを実装するニューラルネットワークモデルは、不均一変分ネットワーク（ＮＶＮ：ｎｏｎ−ｕｎｉｆｏｒｍ  ｖａｒｉａｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）と称されてもよく、図１３Ａ〜１３Ｄを参照することを含めて、本明細書で説明される。
【００３５】
別の例として、いくつかの実施形態では、不均一フーリエ変換を空間周波数データに適用することができ、その結果は、空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルの１つ以上のニューラルネットワークブロックの各々への入力として提供されてもよい。これらの革新は、非デカルトサンプリング軌道を用いて得られた空間周波数データからＭＲ画像を再構成するための最先端の深層学習技術を提供する。このアプローチを実装するニューラルネットワークモデルは、一般化された不均一変分ネットワーク（ＧＮＶＮ：ｇｅｎｅｒａｉｌｉｚｅｄ  ｎｏｎ−ｕｎｉｆｏｒｍ  ｖａｒｉａｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）と称されてもよく、図１３Ａ、１３Ｄ、および１３Ｅを参照することを含めて、本明細書で説明される。
【００３６】
したがって、いくつかの実施形態は、第１のニューラルネットワークブロックを含む１つ以上のニューラルネットワークブロックを含むニューラルネットワークモデルを用いて、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成する方法を提供し、第１のニューラルネットワークブロックは、画像ドメインデータを空間周波数ドメインデータに変換するために、不均一フーリエ変換（例えば、不均一高速フーリエ変換−ＮｕＦＦＴ）を用いて、データ一貫性処理を実行するように構成されている。ＭＲ空間周波数データは、非デカルトサンプリング軌道を用いて得られてもよく、非デカルトサンプリング軌道の例は、本明細書で提供する。いくつかの実施形態では、ニューラルネットワークモデルは、各々が不均一フーリエ変換を用いてデータ一貫性処理を実行するように構成されている複数のブロックを含んでもよい。
【００３７】
いくつかの実施形態では、入力ＭＲ空間周波数データからＭＲ画像を生成する方法は、入力ＭＲ空間周波数データを取得することと、不均一フーリエ変換を用いて入力ＭＲ空間周波数データから初期画像を生成することと、第１のニューラルネットワークブロックを用いて、不均一フーリエ変換を用いてデータ一貫性処理を実行することによって、ニューラルネットワークモデルを初期画像に少なくとも部分的に適用することとを含む。
【００３８】
いくつかの実施形態では、データ一貫性処理は、データにデータ一貫性ブロックを適用することを含んでもよく、これは、データに不均一フーリエ変換を適用して、それを画像ドメインから空間周波数ドメインに変換し、それを入力ＭＲ空間周波数データと比較してもよい。他の実施形態では、データ一貫性処理は、随伴不均一フーリエ変換を入力ＭＲ空間周波数データに適用することと、結果を１つ以上のニューラルネットワークブロックの各々に入力として（例えば、ニューラルネットワークブロック全体のうちの１つ以上の畳み込みニューラルネットワークブロック部の各々への入力として）提供することとを伴ってもよい。
【００３９】
いくつかの実施形態では、第１のニューラルネットワークブロックは、グリッディング補間変換、高速フーリエ変換、およびデアポディゼーション変換をデータに適用することによって、データに対して不均一フーリエ変換を実行することによって、不均一フーリエ変換を用いて少なくとも部分的に用いてデータ一貫性処理を実行するように構成されている。このように、不均一フーリエ変換Ａは、グリッディング補間変換Ｇ、高速フーリエ変換Ｆｓ、およびデアポディゼーション変換Ｄの３つの変換の組み合わせとして表され、Ａ＝Ｇ  Ｆｓ  Ｄとなるようにし、Ａをデータに適用することは、変換Ｄ、Ｆｓ、およびＧをその順序でデータに適用することによって、実行されてもよい（例えば、図１３Ｃに示されるように）。グリッディング補間変換は、初期ＭＲ入力データを得るために使用される非デカルトサンプリング軌道に基づいて決定されてもよい。いくつかの実施形態において、グリッディング補間変換をデータに適用することは、スパースグラフィカル処理ユニット（ＧＰＵ）行列乗算を用いて実行されてもよい。これらの構成する変換の例示の実現が本明細書において説明される。
【００４０】
いくつかの実施形態では、空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルは、複数のニューラルネットワークブロックを含んでもよく、その各ブロックは、（１）データ一貫性処理を実行するように構成されているデータ一貫性ブロック、および（２）１つ以上の畳み込み層（例えば、１つ以上の畳み込み層および／または転置畳み込み層を有する、Ｕ−ｎｅｔ構造を有するなど）を含む畳み込みニューラルネットワークブロックを含んでもよい。このようなニューラルネットワークモデルは、本明細書では、不均一変分ネットワーク（ＮＶＮ）と称されることがある。
【００４１】
いくつかの実施形態では、データ一貫性ブロックは、データ一貫性ブロックへの入力として提供される第１の画像に不均一フーリエ変換を適用して、第１のＭＲ空間周波数データを得て、第１のＭＲ空間周波数データと入力ＭＲ空間周波数データとの間の差に随伴不均一フーリエ変換を適用するように構成されている。いくつかの実施形態では、不均一フーリエ変換を第１の画像ドメインデータに適用することは、第１の画像ドメインデータに、デアポディゼーション変換を適用し、それに続いてフーリエ変換を適用し、それに続いてグリッディング補間変換を適用することを含む。
【００４２】
いくつかの実施形態では、第１のニューラルネットワークブロックを画像ドメインデータに適用することは、データ一貫性ブロックを画像ドメインデータに適用して、第１の出力を得ることと、複数の畳み込み層を画像ドメインデータに適用して第２の出力を得ることと、第１および第２の出力の線形結合を決定することと、を含む。
【００４３】
いくつかの実施形態では、空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルは、複数のニューラルネットワークブロックを含んでもよく、その各ブロックは、（１）画像ドメインデータ（例えば、ＭＲデータのネットワークの現在の再構成を表す）、および（２）入力ＭＲ空間周波数データに随伴不均一フーリエ変換を適用することによって得られた出力を、入力として受信するように構成された複数の畳み込み層を含む。このようなニューラルネットワークモデルは、本明細書では不均一変分ネットワーク（ＧＮＶＮ）と称されてもよい。いくつかの実施形態では、複数の畳み込み層は、不均一フーリエ変換および随伴不均一フーリエ変換を画像ドメインデータに適用することによって得られる出力を入力として受信するようにさらに構成されている。
【００４４】
入力ＭＲ空間周波数データからＭＲ画像を再構成するために本発明者らによって開発された別のアプローチは、グリッディングを使用せずに、空間周波数ドメインにおいて少なくとも１つの全結合層を使用することである。したがって、いくつかの実施形態では、第１のニューラルネットワークサブモデルは、スキャナによって得られた空間周波数データポイントに直接適用される少なくとも１つの全結合層を含んでもよい。データ点は、少なくとも１つの全結合層の適用前に（グリッディングおよび／または他の任意のタイプの局所補間を通して）グリッドにマッピングされない。いくつかの実施形態において、データ点は、少なくとも１つの全結合層の適用前に不規則に間隔を空けてもよい。
【００４５】
第１のニューラルネットワークサブモデルが全結合層を含む実施形態のいくつかでは、全結合層が空間周波数ドメインデータの実部に適用され、同じ全結合層が空間周波数ドメインデータの虚部に適用される。言い換えると、データはチャネル化され、同じ全結合層が実データチャネルと虚データチャネルの両方に適用される。
【００４６】
代替的には、第１のニューラルネットワークサブモデルが全結合層を含むいくつかの実施形態では、第１のニューラルネットワークサブモデルは、空間周波数ドメインデータの実部に適用するための第１の全結合層と、空間周波数ドメインデータの虚部に適用するための第２の全結合層を含む。いくつかの実施形態では、第１および第２の全結合層は、少なくともいくつかのパラメータ値（例えば、重み）を共有する。いくつかの実施形態では、第１および第２の全結合層の出力は、フーリエ変換（例えば、二次元逆離散フーリエ変換）を用いて変換されて、画像ドメインデータを得る。次に、画像ドメインデータは、第２のニューラルネットワークサブモデルへの入力として提供されてもよい。
【００４７】
前述のパラグラフにおける２Ｄフーリエ変換の言及は、本明細書で説明される技術が２次元データ（例えば、空間周波数ドメインおよび／または脳「スライス」の２Ｄ  ＭＲ画像に対応する画像ドメインデータ）上で動作することに限定されることを示唆するものと解釈されるべきではない。いくつかの実施形態において、本明細書で説明される技術は、３Ｄデータ（例えば、異なるそれぞれの脳スライスの２Ｄ  ＭＲ画像のスタックに対応する空間周波数ドメインおよび／または画像ドメインデータ）に適用されてもよい。
【００４８】
いくつかの実施形態において、バッチ正規化は、フーリエ変換を使用する前に、全結合層の出力に適用されて、画像ドメインデータを得てもよい。
【００４９】
いくつかの実施形態では、第２のニューラルネットワークサブモデルは、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む。いくつかの実施形態では、第２のニューラルネットワークサブモデルは、ニューラルネットワーク層のそれぞれのセットを含む一連のブロックを含み、複数のブロックの各々は、少なくとも１つの畳み込み層および少なくとも１つの転置畳み込み層を含む。いくつかの実施形態では、複数のブロックの各々は、フーリエ変換層、データ一貫性層、および逆フーリエ変換層をさらに含む。
【００５０】
いくつかの実施形態では、アンダーサンプリング空間周波数データからＭＲ画像を生成するために使用されるニューラルネットワークモデルは、空間周波数ドメイン損失関数および画像ドメイン損失関数を含む損失関数を使用して用いて訓練されてもよい。いくつかの実施形態では、損失関数は、空間周波数ドメイン損失関数および画像ドメイン損失関数の加重和である。いくつかの実施形態では、空間周波数ドメイン損失関数は、平均二乗誤差を含む。
【００５１】
いくつかの実施形態では、本明細書で説明される技術は、アンダーサンプリング空間周波数データからＭＲＩ画像を生成するために使用されてもよく、本明細書で説明されるもの、およびその全体が参照により本明細書に組み込まれる米国特許出願公開第２０１８／０１６４３９０号であって、「ＥＬＥＣＴＲＯＭＡＧＮＥＴＩＣ  ＳＨＩＥＬＤＩＮＧ  ＦＯＲ  ＭＡＧＮＥＴＩＣ  ＲＥＳＯＮＡＮＣＥ  ＩＭＡＧＩＮＧ  ＭＥＴＨＯＤＳ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ」と題する低磁界ＭＲシステムのいずれか、これらに限定されない例を含め、低磁界ＭＲＩシステムを用いて収集される空間周波数データへの適用に適合されてもよい。
【００５２】
本明細書で使用される「高磁界」とは、一般に、現在、臨床現場で使用されているＭＲＩシステム、より具体的には、主磁界（すなわち、Ｂ０磁界）が１．５Ｔ以上で動作するＭＲＩシステムを指すが、０．５Ｔ〜１．５Ｔで動作する臨床システムも、「高磁界」として特徴付けられることも多い。代替０．２Ｔ〜０．５Ｔの磁界強度は、「中間磁界」として特徴付けられ、高磁界レジームの磁界強度が増加し続けているため、０．５Ｔ〜１Ｔの範囲の磁界強度も中間磁界として特徴付けられる。対照的に、「低磁界」とは、一般に、Ｂ０磁界が約０．２Ｔ以下で動作するＭＲＩシステムを指すが、高磁界レジームの増加した磁界強度の結果として、Ｂ０磁界が０．２Ｔ〜約０．３Ｔであるシステムが、低磁界として特徴付けられることもある。低磁界レジーム内では、Ｂ０磁界が０．１Ｔ未満で動作する低磁界ＭＲＩシステムは、本明細書では「非常低磁界」と称され、Ｂ０磁界が１０ｍＴ未満で動作する低磁界ＭＲＩシステムは、本明細書では「超低磁界」と称される。
【００５３】
低磁界ＭＲＩシステムによって得られた（例えば、アンダーサンプリング）空間周波数データからＭＲ画像を生成するように、本明細書で説明されるニューラルネットワークモデルを訓練するためには、低磁界ＭＲＩシステムを用いて得られた訓練データが必要である。しかし、市販の低磁界ＭＲＩスキャナはほとんどなく、このようなニューラルネットワークモデルの訓練に利用できる低磁界ＭＲＩデータはほとんどない。この制限に対処するために、本発明者らは、低磁界ＭＲＩシステムによって得られた空間周波数データからＭＲＩ画像を生成するためのニューラルネットワークモデルを訓練するために新しい二段階訓練技術を開発した。第１の段階では、ニューラルネットワークモデル（例えば、第１および第２のニューラルネットワークサブモデルを有する本明細書で説明されるニューラルネットワークモデルのいずれか）は、「高磁界」または「中磁界」ＭＲシステムを用いて得られた画像のセットを用いて訓練され、その後、低磁界ＭＲＩシステムを用いて得られた画像のセットを用いて適合される。
【００５４】
以下は、空間周波数ドメインデータからＭＲ画像を生成する方法および装置に関連する様々な概念およびその実施形態のより詳細な説明である。本明細書で説明される様々な態様は、種々の方法のいずれかで実装され得ると理解されたい。具体的な実装の例が、例示的な目的のためだけに本明細書で提供される。追加的に、以下の実施形態で説明される様々な態様は、単独でまたは任意の組み合わせで使用されてもよく、本明細書に明示的に説明される組み合わせに限定されない。
【００５５】
図１Ａは、本明細書で説明される技術のいくつかの実施形態に従って、入力ＭＲ空間周波数データから磁気共鳴（ＭＲ）画像を生成するための例示のニューラルネットワークモデルのアーキテクチャを示す。図１Ａに示すように、ニューラルネットワークモデル１００は、空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデル１０２、空間周波数ドメインデータを画像ドメインデータに変換するように構成されている逆高速フーリエ変換（ＩＦＦＴ）層１１２、および画像ドメインデータを処理するように構成されている第２のニューラルネットワークサブモデル１２０を含む。初期空間周波数ＭＲデータがＭＲスキャナを用いて（例えば、本明細書で説明される任意の低磁界ＭＲスキャナまたは他の任意の適切なタイプのＭＲスキャナを用いて）取得された後、初期空間周波数ＭＲデータは、第１のニューラルネットワークサブモデル１０２を用いて処理されて、出力ＭＲ空間周波数データ１１１を得てもよい。次いで、ＭＲ空間周波数データ１１１は、ＩＦＦＴ層１１２によって変換されて、入力画像ドメインデータ１１３を得て、これは、第２のニューラルネットワークサブモデル１２０によって処理されて、ＭＲ画像１２７を得る。
【００５６】
図１Ａに示すように、第１のニューラルネットワークサブモデル１０２は、１つ以上の畳み込み層１０４と、局所結合層１０６と、１つ以上の転置畳み込み層１０８と、残差結合１０９と、複素共役対称性層１０５と、データ一貫性層１１０とを含む。
【００５７】
第１のニューラルネットワークサブモデル１０２が初期ＭＲ空間周波数データに適用されるときに、初期ＭＲ空間周波数データは、最初に１つ以上の畳み込み層１０４によって処理されて、次に、局所結合層１０６によって処理され、次に、転置畳み込み層１０８によって処理される。いくつかの実施形態では、畳み込み層１０４を用いて、データをダウンサンプリングし、転置畳み込み層を用いて、データをアップサンプリングしてもよい。このような実施形態では、これらの３つの処理ステップは、畳み込み層１０４がダウンサンプリング経路を提供し（「Ｕ」の左アーム）、局所結合層１０６が「Ｕ」の底部にあり、転置畳み込み層１０８がアップサンプリング経路を提供する（「Ｕ」の右アーム）Ｕ字形ニューラルネットワークアーキテクチャを提供すると考えられてもよい。
【００５８】
図１Ａの図示された実施形態では、畳み込み層１０４は、ｍ０畳み込み層を含む。いくつかの実施形態では、ｍ０は、１、２、３、４、５、または１〜２０の任意の数の層であり得る。いくつかの実施形態では、１つ以上のｍ０畳み込み層は、１以上のストライドを有してもよい。いくつかの実施形態では、ｍ０畳み込み層のうちの１つ以上は、１よりも大きなストライドを有し、これは、そのような層による処理を通してデータをダウンサンプリングまたはプーリングすることを提供する。
【００５９】
図１Ａの図示された実施形態では、転置畳み込み層１０８は、ｍ０転置畳み込み層を含む。図１Ａの図示された実施形態では、畳み込み層１０４の数および転置畳み込み層１０８の数は同じであるが、畳み込み層および転置畳み込み層の数は、他の実施形態では異なってもよい。
【００６０】
いくつかの実施態様では、局所結合層１０６は、Ｋ空間との局所的な相関を活用するために提供される。いくつかの実施形態では、局所結合層１０６は、畳み込み層ではなく（データの異なる部分にわたって同じ重みのセットが適用される）、代わりに、空間周波数ドメインデータにおいて各データ点についてのそれぞれの重みのセットを有する。図１Ａの図示された実施形態では、局所結合層は、「Ｕ」構造の底部においてダウンサンプリング経路とアップサンプリング経路との間に位置付けられ、より少ないパラメータを有するようにされ（データの解像度がこの時点で最も低いため）、これにより、訓練中に学習すべきパラメータの数を低減する。
【００６１】
いくつかの実施形態において、局所結合層は、空間周波数ドメインにおけるエネルギー密度の変化を説明してもよい（例えば、空間周波数ドメインにおける中央領域は、周辺領域よりも高いエネルギー密度を有する）。図１Ａの例示的な実施形態では、局所結合層１０６は、空間周波数ドメインにおいて動作し、空間周波数ドメインでの欠落データ（アンダーサンプリングによる）を直接補間するように動作する。実際には、局所結合層は、全結合層よりはるかに少ないパラメータしか有さないが、畳み込み層よりはるかに多いパラメータを有し、空間周波数ドメインデータの局所的文脈相関を用いて、欠落データ点を補間するための訓練時間と能力との間の良好なバランスを提供する。
【００６２】
空間周波数ドメインにおけるエネルギー密度の変化を説明するために局所結合層を使用することは、本発明者らによって開発された新規なアプローチであると理解されたい。以前のアプローチでは、空間周波数ドメインを３つの正方領域に分割し、３つの領域の各々におけるデータは、畳み込み層のスタック（したがって、３つの異なる正方領域に対する３つの別個のモデル）からなる別個のモデルに入力されていた。対照的に、局所結合層を使用することは、ｋ空間を３つの正方領域に分割することを伴わず、代わりに、各符号画素に独立した重みを割り当てることを伴い、これは、従来のアプローチよりも一般的かつ柔軟な方法で、様々なエネルギー密度を説明し、性能の改善をもたらす。
【００６３】
図３は、局所結合層を有するニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成することによって得られる性能改善を示す。図３の真ん中の列に見られるように、局所結合層を有する畳み込み層モデルから生成されたＭＲ画像は、画質を劣化させるアーチファクト（人工ストリーク）を生成する。対照的に、図３の右側の列に示すように、局所結合層（例えば、局所結合層１０６）を有するサブモデルを有するニューラルネットワークモデルを使用すると、そのようなアーチファクトが除去され、平均二乗誤差の観点からオリジナル画像（図３の左側の列）により近い画像が生成される。
【００６４】
図１Ａに戻ると、データが層１０４、１０６、および１０８によって処理された後、データは、ｋ空間対称性層とも称される複素共役対称性層１０５に提供され、その出力は、データ一貫性層１１０への入力として提供される。データ一貫性層１１０の出力は、第１のニューラルネットワークサブモデルの出力でもあり、次いで、ＩＦＦＴ層１１２への入力として提供される。
【００６５】
いくつかの実施形態では、複素共役対称性層１０５は、空間周波数ドメインにおける複素共役対称性に基づいて補間を行う（これにより、Ｓ（ｘ，  ｙ）＝Ｓ’（−ｘ，  −ｙ）となり、ここで、（ｘ，ｙ）は、データ点の座標であり、Ｓ’は、Ｓの複素共役を表す）。いくつかの実施形態では、複素共役対称性層１０５を空間周波数ドメインデータに適用することは、既存のサンプルからの欠落点を対称的にマッピングすることを伴う。例えば、点（ｘ，ｙ）については値が得られたが、点（−ｘ，−ｙ）については対応する値が得られなかった場合、複素共役対称性層を使用して、点（ｘ，ｙ）について得られた値の複素共役として点（−ｘ，−ｙ）についての値を提供してもよい。複素共役対称性層１０５を使用することにより、ニューラルネットワークモデルの訓練の収束が加速され、図４の右側のパネルに示されているように、ニューラルネットワークモデルによって生成される画像の品質が改善される。実際、図４の右側のパネルに示すように、複素共役対称性層を使用することによって、ニューラルネットワークモデルを訓練するときに、より少ない訓練エポックを使用することを可能にしつつ、モデル性能を向上させている。モデル性能は、この例示的な例では、モデル再構成画像とフルサンプリング画像との間の画像の中央領域における相対的なピクセル強度の変化によって測定される。
【００６６】
いくつかの実施形態において、データ一貫性層１１０は、空間周波数データへの第１のニューラルネットワークサブモデルの適用が、ＭＲスキャナによって得られた空間周波数データの値を変更しないことを保証するために使用されてもよい。そのような値が、第１のニューラルネットワークサブモデル内の他の層（例えば、畳み込み層１０４、局所結合層１０６、および転置畳み込み層１０８）によって修正された範囲において、修正された値は、オリジナル値によって置き換えられる。このようにして、データ一貫性層は、第１のニューラルネットワークサブモデルに、アンダーサンプリング空間周波数データ自体を摂動させることなく、アンダーサンプリング空間周波数データからの欠落データを補間するように強制する。
【００６７】
いくつかの実施形態において、ニューラルネットワーク層のいずれかは、非線形であり得る活性化関数を含んでもよい。いくつかの実施形態において、活性化機能は、整流線形ユニット（ＲｅＬＵ）活性化機能、Ｌｅａｋｙ  ＲｅＬＵ活性化機能、双曲線正接、シグモイド、または他の任意の適切な活性化機能であってもよく、明細書で説明された技術の態様はこの点において限定されない。例えば、畳み込み層１０４のうちの１つ以上は、活性化関数を含んでもよい。
【００６８】
空間周波数データがデータ一貫性層１１０によって処理された後、データはＩＦＦＴ層１１２に入力として提供され、ＩＦＦＴ層１１２は空間周波数データを画像ドメインに変換する。この出力は初期画像ドメインデータ１１３である。変換は、いくつかの実施形態において、高速フーリエ変換を用いて実装され得る離散フーリエ変換を用いて実行されてもよい。ＩＦＦＴ層１１２によって出力された初期画像ドメインデータ１１３は、第２のニューラルサブモデル１２０への入力として提供される。
【００６９】
図１Ａに示すように、第２のニューラルネットワークサブモデル１２０は、複数の畳み込みブロック１２２、１２４、および１２６を含む。畳み込みブロック１２２は、１つ以上の畳み込み層１２８、ＦＦＴ層１３０、複素共役対称性層１０５、データ一貫性層、ＩＦＦＴ層１３４、および残差結合を含んでもよい。ブロック１２２、１２４、および１２６の各々は、同じニューラルネットワークアーキテクチャを有してもよい（例えば、これらのブロックは、同じシーケンスで配置された同じタイプの層を有してもよい）。ただし、層に対する様々なパラメータ値は、変化することがある（例えば、ブロック１２２における畳み込み層の重みは、ブロック１２４の重みとは異なることがある）。図１Ａの例示的な実施形態では、第２のニューラルネットワークサブモデル１２０は、３つの畳み込みブロックを含むが、これは例であり、他の実施形態のように、第２のニューラルネットワークサブモデル１２０は、任意の適切な数の畳み込みブロック（例えば、１、２、４、５、６、７、８、９、１０、１１、１２、１３、１４、または１５）を含んでもよく、本明細書で説明される技術の態様がこの点において限定されない。
【００７０】
第２のニューラルネットワークサブモデル１２０が、ＩＦＦＴブロック１１２の出力において得られた初期画像ドメインデータ１１３に適用されるときに、畳み込みブロック１２２、１２４、１２６は、その順序で初期画像ドメインデータ１１３に適用される。次に、畳み込みブロック１２２の適用について説明し、畳み込みブロック１２４および１２６は、それらに入力として提供される画像ドメインデータと同様の方法で適用され得ると理解されたい。
【００７１】
図１Ａに示すように、畳み込みブロック１２２は、少なくとも１つの畳み込み層１２８と、それに続くＦＦＴ層１３０と、複素共役対称性層１０５と、データ一貫性層１３２と、ＩＦＦＴ層１３４とを含む。
【００７２】
いくつかの実施形態では、畳み込みブロック１２８は、画像をダウンサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の畳み込み層と、それに続いて、画像をオリジナルサイズにアップサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の転置畳み込み層と、を有する。ダウンサンプリングとそれに続くアップサンプリングのこの構造は、異なる解像度で動作が実行されることを可能にし、ニューラルネットワークモデルが局所およびグローバルの両方の特徴を捕捉するのに役立つ。次に、これは、空間周波数領域ドメインにおけるアンダーサンプリングから生じ得る画像アーチファクトを除去するのに役立つ。この例示的な実施形態では、畳み込み層は、かなりの量のメモリを消費することがあるスキップ結合を含まない。例えば、いくつかの実施形態では、畳み込みブロック１２８は、フィルタの数がそれぞれ１６、３２、６４、３２および２である５つの層を有する。いくつかの実施形態において、フィルタの各々は、Ｌｅａｋｙ  ＲｅＬＵ活性化を有する３×３フィルタであってもよいが、他の実施形態においては、異なるサイズのフィルタおよび／または異なる活性化関数を使用してもよい。
【００７３】
可変解像度層の影響は、図４の左パネルに示されている。実際に、図４の左パネルに示すように、可変解像度層を使用することによって、ニューラルネットワークモデルを訓練するときに、より少ない訓練エポックを使用することを可能にしつつ、モデル性能を向上させている。モデル性能は、この例示的な例では、モデル再構成画像とフルサンプリング画像との間の画像の中央領域における相対的な画素強度の変化によって測定される。
【００７４】
図１Ａの例示的な実施形態に示すように、畳み込みブロック１２２の畳み込み層が適用された後、データは空間周波数ドメインに変換されてもよく、複素共役対称性およびデータ一貫性ブロックが適用され、その後、データが変換されて画像ドメインに戻され、１つ以上の他の畳み込みブロックが適用され得るようにする。
【００７５】
図１Ａに示されている実施形態では、畳み込みブロック１２２、１２４、および１２６の各々は、複素共役対称性およびデータ一貫性ブロックを含む。しかし、他の実施形態では、第２のニューラルネットワークサブモデル１２０の畳み込みブロック部の１つ以上（またはすべて）は、これらのブロックのいずれか１つまたは両方を有さなくてもよく、本明細書で説明される技術の態様がこの点において限定されない。
【００７６】
図１Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、入力ＭＲ空間周波数データからＭＲ画像を生成するための別の例示的なニューラルネットワークモデル１４０のアーキテクチャを示す。ニューラルネットワークモデル１４０は、局所結合層の代わりに畳み込み層１４６を有する第１のニューラルネットワークサブモデル１４２を有する（例えば、局所結合層１０６を有するモデル１００の第１のニューラルネットワークサブモデル１０２とは対照的である）。このような実施形態は、畳み込み層１４２が、局所結合層１０６よりも訓練中に学習するパラメータが少ないため、有利であり得る。他の点では、ニューラルネットワークモデル１４０および１００は同じである。
【００７７】
図１Ｃは、本明細書で説明される技術のいくつかの実施形態に従った、入力ＭＲ空間周波数データからＭＲ画像を生成するための、さらに別の例のニューラルネットワークモデル１５０のアーキテクチャを示す。ニューラルネットワークモデル１５０は、第１のニューラルネットワークサブモデル１５２を有し、畳み込みブロック１５４および転置畳み込みブロック１５８を有する。しかし、ニューラルネットワークモデル１００の対応する畳み込みブロック１０４および転置畳み込みブロック１０８とは異なり、畳み込みブロック１５４および１５８は、１のストライドを用いた畳み込み（および転置畳み込み）層を含有する。その結果、第１のニューラルネットワークサブモデル１５２は、アップサンプリングまたはダウンサンプリングを実施しない。このようなアーキテクチャは、大量の訓練データが利用可能な場合に有利となることがある。
【００７８】
図２Ａは、本明細書で説明される技術のいくつかの実施形態に従った、ニューラルネットワークモデルを用いて、入力ＭＲ空間周波数データからＭＲ画像を生成するための例示的なプロセス２００のフローチャートである。プロセス２００は、図１Ａ〜１Ｃおよび５Ａ〜５Ｃに関連して説明されたニューラルネットワークアーキテクチャのうちのいずれかを含め、本明細書で説明される任意の適切なニューラルネットワークアーキテクチャを用いて実装されてもよい。
プロセス２００は、任意の適切な計算デバイスを用いて実行されてもよく、本明細書で説明される技術の態様がこの点に関して限定されない。例えば、いくつかの実施形態において、プロセス２００は、ＭＲ撮像システムに通信可能に結合された、またはその一部の計算デバイスによって実行されてもよい。
【００７９】
プロセス２００は、アクト２０２で開始し、ここで、空間周波数ドメインデータが得られる。いくつかの実施形態において、空間周波数ドメインデータは、本明細書で説明される任意のＭＲスキャナを含むＭＲスキャナを使用することによって得ることができる。他の実施形態では、空間周波数ドメインデータは、プロセス２００の実行より前にＭＲスキャナによって取得され、記憶され、記憶されたデータは、アクト２０２の間にアクセスされてもよい。
【００８０】
いくつかの実施形態において、空間周波数ドメインデータは、ナイキストサンプリング基準に対してアンダーサンプリングであり得る。例えば、いくつかの実施形態では、空間周波数ドメインデータは、ナイキスト基準によって必要とされるデータサンプル数の９０％未満（、８０％未満、７５％未満、７０％未満、６５％未満、６０％未満、５５％未満、５０％未満、４０％未満、３５％未満、または２５％〜１００％までの任意のパーセンテージ）を含んでもよい。
【００８１】
アクト２０２において得られた空間周波数ドメインデータは、任意の適切なパルスシーケンスおよびサンプリングスキームを用いてＭＲスキャナによって得られてもよい（または得られていてもよい）。例えば、いくつかの実施形態において、空間周波数ドメインデータは、デカルトサンプリングスキームを用いて集められてもよい。他の実施形態では、空間周波数ドメインデータは、非デカルトサンプリングスキーム（例えば、ラジアル、スパイラル、ロゼッタ、リサジュなど）を用いて集められてもよい。
【００８２】
次に、プロセス２００は、アクト２０４に進み、ここでは、アクト２０２において得られたＭＲ空間周波数データは、第１のニューラルネットワークサブモデル（例えば、図１Ａを参照して説明したサブモデル１０２、図１Ｂを参照して説明したサブモデル１４２、図１Ｃを参照して説明したサブモデル１５２、図５Ａを参照して説明したサブモデル５０２、図５Ｂを参照して説明したサブモデル５２２、図５Ｃを参照して説明したサブモデル５３２）を用いて処理される。どのようにしてアクト２０４が実装され得るかの例示的な例は、図２Ｂおよび２Ｃを参照して説明される。
【００８３】
次に、プロセス２００は、アクト２０６に進み、ここでは、動作２０４の完了において得られた空間周波数ドメインデータが、（例えば、フーリエ変換を用いて）変換されて初期画像ドメインデータを得る。
【００８４】
次に、プロセス２００は、アクト２０８に進み、ここでは、アクト２０６の完了において得られた画像ドメインデータが、第２のニューラルネットワークサブモデル（例えば、図１Ａを参照して説明したサブモデル１２０、図５Ａを参照して説明したサブモデル５１０）を用いて処理される。どのようにしてアクト２０８が実装され得るかの例示的な例が、図２Ｄを参照して説明される。
【００８５】
図２Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、例示的なプロセス２００の一部であり得る、空間周波数ドメインにおけるＭＲ空間周波数データを処理して、出力空間周波数データを得るための例示的なプロセスのフローチャートである。特に、図２Ｂは、プロセス２００のアクト２０４を実装するための例示的な実施形態を示す。
【００８６】
図２Ｂに示すように、アクト２０４は、アクト２１２〜２１８を用いて実装されてもよい。アクト２１２では、アクト２０２において得られた空間周波数ドメインデータに１つ以上の畳み込み層が適用されてもよい。いくつかの実施形態では、アクト２１２において適用される畳み込み層は、図１Ａを参照して説明したブロック１０４または図１Ｃを参照して説明したブロック１５４の一部であってもよい。いくつかの実施形態では、畳み込み層は、１〜２０層の範囲の任意の数の層を含む任意の適切な数の層を含んでもよい。いくつかの実施形態では、畳み込み層は、１より大きいストライド（例えば、２）を用いて実装されて、データをダウンサンプリングする。他の実施形態では、畳み込み層は、１のストライドを用いて実装されてもよい。
【００８７】
次に、動作２１４において、局所結合層が、アクト２１２の完了において得られた空間周波数ドメインデータに適用される。いくつかの実施形態では、局所畳み込み層は、図１Ａを参照して説明された局所畳み込み層１０６であってもよい。いくつかの実施形態では、局所結合層は、空間周波数ドメインデータにおいて各データ点に対してそれぞれの重みのセットを有する。
【００８８】
次に、アクト２１６において、１つ以上の転置畳み込み層が、アクト２１４の完了において得られた空間周波数ドメインデータに適用される。いくつかの実施形態では、転置畳み込み層は、図１Ａを参照して説明されたブロック１０８または図１Ｃを参照して説明されたブロック１５８の転置畳み込み層部分であってもよい。いくつかの実施形態では、転置畳み込み層は、データをアップサンプリングしてもよい。
【００８９】
次に、アクト２１８において、複素共役対称性層が、アクト２１６の完了において出力された空間周波数ドメインデータに適用される。いくつかの実施形態において、複素共役対称性層は、図１Ａを参照して説明された複素共役対称性層１０５であってもよい。本明細書で説明されるように、複素共役対称性層１０５を空間周波数領域ドメインデータに適用することは、既存のサンプルからの任意の欠落点を対称的にマッピングすることを伴うことがある。例えば、点（ｘ，ｙ）については値が得られたが、点（−ｘ，−ｙ）については対応する値が得られなかった場合、複素共役対称性層を使用して、点（ｘ，ｙ）について得られた値の複素共役として点（−ｘ，−ｙ）についての値を提供してもよい。
【００９０】
次に、アクト２２０において、データ一貫性層が、アクト２１８の完了において出力された空間周波数ドメインデータに適用される。いくつかの実施形態では、データ一貫性層は、図１Ａを参照して説明されたデータ一貫性層１１０であってもよい。本明細書で説明されるように、データ一貫性層は、空間周波数データへの第１のニューラルネットワークサブモデルの適用が、ＭＲスキャナによって得られた空間周波数データの値を変更しないことを保証するために使用されてもよい。
【００９１】
図２Ｃは、本明細書で説明される技術のいくつかの実施形態に従った、例示的なプロセス２００の一部であり得る、空間周波数データを処理してＭＲを生成するための例示的なプロセスのフローチャートである。特に、図２Ｃは、プロセス２００のアクト２０４を実装するための別の例示的な実施形態を示す。
【００９２】
図２Ｃに示すように、アクト２０４は、アクト２２２および２２４を用いて実装されてもよい。アクト２２２において、１つ以上の全結合層が、アクト２０２において得られた空間周波数データに適用される。いくつかの実施形態では、アクト２２２において適用される全結合層は、図５Ａを参照して説明される全結合層５０２であってもよい。本明細書で説明されるように、全結合層は、非デカルト座標からデータからのデカルト座標への学習されたマッピングを表し、データに依存しない従来のグリッディングまたは他の補間スキームに依存することなく、ＭＲ画像を非デカルトサンプルから再構成することを可能にする。
【００９３】
いくつかの実施形態では、アクト２２２において、アクト２０２において得られた空間周波数データは、実部と虚部に分割され、同じ全結合層が、２つの部分の各々に適用される。同様に、これらのデータが、実チャネルおよび虚チャネルに対する共有された重みを有する全結合層に提供されると考えてもよい。そのような重み共有スキームは、同一の補間動作が実および虚チャネルの両方に適用されることを保証し、これは、プロセス全体を通して、基礎をなす空間周波数ドメインの対称性を保存する。追加的に、実部と虚部との間で重みを共有することは、モデルにおける訓練可能なパラメータの数を２の倍数だけ減少させる。しかし、他の実施形態では、空間周波数データは、実チャネルと虚チャネルとの間で部分的または全く重みの共有なしで全結合層に供給されてもよい。
【００９４】
次に、アクト２２４において、バッチ正規化が適用されて、後続の層は、実質的に０平均および実質的に単位（または任意の他の適切な定数）の分散を有する入力を受信する。
【００９５】
図２Ｃのプロセスは例示的なものであり、バリエーションがあると理解されたい。例えば、いくつかの実施形態において、バッチ正規化は省略されてもよい。
【００９６】
図２Ｄは、本明細書で説明される技術のいくつかの実施形態に従った、例示的なプロセス２００の一部であり得る、画像ドメインデータを処理して、ＭＲ画像を生成するための別の例示的なプロセスのフローチャートである。特に、図２Ｄは、プロセス２００のアクト２０８を実装するための例示的な実施形態を示す。
【００９７】
図２Ｄに示すように、アクト２０８は、アクト２３０〜２３６および決定ブロック２３８を用いて実施されてもよい。特に、アクト２３０において、空間周波数ドメインデータを画像ドメインに変換することによって、アクト２０６で取得された画像ドメインデータに１つ以上の畳み込み層が適用される。いくつかの実施形態では、アクト２３０において適用される畳み込み層は、図１Ａに示すブロック１２８または図５Ａに示すブロック５１２の一部であってもよい。いくつかの実施形態において、畳み込み層は、１〜２０層の範囲の任意の数の層を含む任意の適切な数を含んでもよい。いくつかの実施形態では、畳み込み層は、１より大きいストライド（例えば、２）を使用して用いて実装されて、データをダウンサンプリングしてもよい。他の実施形態では、畳み込み層は、ストライド１を使用して用いて実装されてもよい。
【００９８】
次に、アクト２３２において、１つ以上の転置畳み込み層が、アクト２３０の完了において出力された画像ドメインデータに適用されてもよい。いくつかの実施形態では、アクト２３２において適用される転置畳み込み層は、図１Ａに示す転置ブロック１２８または図５Ａに示すブロック５１２の一部であってもよい。いくつかの実施形態において、畳み込み層は、１〜２０層の範囲の任意の数の層を含む任意の適切な数の層を含んでもよい。いくつかの実施形態において、転置畳み込み層は、（例えば、分数ストライドを使用して用いて）実装されて、データをアップサンプリングしてもよい。
【００９９】
次に、アクト２３４において、複素共役対称性層が、データに適用されてもよい。複素共役対称性層が空間周波数ドメインにおいて適用されるので、アクト２３２の完了において出力された画像ドメインデータは、複素共役対称性層の適用前に空間周波数ドメインに変換される。いくつかの実施形態において、複素共役対称性層は、図１Ａを参照して説明した複素共役対称性層１０５であってもよい。
【０１００】
次に、アクト２３６において、データ一貫性層がデータに適用されてもよい。いくつかの実施形態において、データ一貫性層は、アクト２３４の完了において出力された空間周波数ドメインデータに適用されてもよい。他の実施形態では、アクト２３４が省略された場合、アクト２３２の完了において出力された画像ドメインデータは、空間周波数ドメインに変換されてもよく、データ一貫性層がそれに適用されてもよい。いくつかの実施形態では、データ一貫性層は、図１Ａを参照して説明されたデータ一貫性層１１０であってもよい。
【０１０１】
次に、決定ブロック２３８において、１つ以上の追加の画像ドメイン処理ブロックが適用されるかどうかの決定がなされる。さらなるブロックが適用されないと決定されたときに、処理が完了する。さもなければ、プロセスは、「ＹＥＳ」分岐を介してアクト２３０に戻り、アクト２３０〜２３６および決定ブロック２３８が反復される。例えば、図１Ａに示すように、ブロック１２２が画像ドメインデータに適用された後、ブロック１２４がデータに適用されると決定されてもよい。
【０１０２】
図２Ｄのプロセスは例示的なものであり、バリエーションがあると理解されたい。例えば、いくつかの実施形態では、画像ドメインデータは、複素共役対称性層およびデータ一貫性層を適用することなく、画像ドメインにおいて純粋に処理されてもよい。
【０１０３】
図５Ａは、本明細書で説明される技術のいくつかの実施形態に従った、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示的なニューラルネットワークモデル５００のアーキテクチャを示す。
【０１０４】
図５Ａに示すように、ニューラルネットワークモデル５００は、空間周波数ドメインデータを処理するように構成されている第１のニューラルネットワークサブモデル５０２、空間周波数ドメインデータを画像ドメインデータに変換するように構成されている逆高速フーリエ変換（ＩＦＦＴ）層５０８、および画像ドメインデータを処理するように構成された第２のニューラルネットワークサブモデル５１０を含む。初期空間周波数ＭＲデータが、ＭＲスキャナ（例えば、本明細書で説明される任意の低磁界ＭＲスキャナのいずれか、または他の任意の適切なタイプのＭＲスキャナ）を用いて得られた後、初期空間周波数ＭＲデータは、第１のニューラルネットワークサブモデル５０２を用いて処理されて、出力ＭＲ空間周波数データ５１１を得てもよい。次いで、ＭＲ空間周波数データ５１１は、ＩＦＦＴ層５０８によって変換されて、初期画像ドメインデータ５１３を得て、初期画像ドメインデータ５１３は、第２のニューラルネットワークサブモデル５１０によって処理されて、ＭＲ画像５１８を得る。
【０１０５】
図５Ａに示すように、初期空間周波数領域ドメインＭＲデータは、実部５０４（例えば、複素数値データの振幅）および虚部５０６（例えば、複素数値データの位相）に分割される。第１のニューラルネットワークサブモデル５０２は、実部５０４および虚部５０６に対して動作する全結合層を含む。図５Ａに示す実施形態では、全結合層は、実チャネルと虚チャネルとの間の重みを共有する。したがって、全結合層は、実チャネルと虚チャネルの両方に同じ動作を適用し、これは、プロセス全体を通して、基礎をなす空間周波数ドメイン対称性を保持する。追加的に、実部と虚部の間で重みを共有することは、モデルにおける訓練可能なパラメータの数を２の倍数だけ減少させる。しかし、他の実施形態（例えば、図５Ｃの実施形態）では、空間周波数データは、実チャネルと虚チャネルとの間で部分的に重みを共有するか、または重みを共有せずに全結合層に供給されてもよい。
【０１０６】
いくつかの実施形態では、全結合層を含むニューラルネットワークモデルが、同じサンプル軌道を用いて生成された入力ＭＲ画像を用いて訓練されるときに、全結合層は、非デカルト座標からデカルト座標へのデータ依存マッピングを学習し、これは、非デカルト座標系列に従って動作するＭＲスキャナによって生成され得る非デカルト座標データのデータ依存グリッディングを実行するために使用され得る。これは、図にさらに図６Ａ〜６Ｃに示されている。
【０１０７】
図６Ａは、空間周波数ドメインにおける各データ点が、１２８×１２８出力ｋ空間における各位置に対して重みを有する対応する１２８×１２８重み行列を有し、非局所補間を生成する例示的な実施形態を示す。３つの空間周波数ドメインデータ点（＃３００、＃２８００、＃５０００）に対する重みの分布を図６Ｂに示す。これらの同じ３つのデータ点の２Ｄ分布を図６Ｃに示し、ズームインされたビューにより重み分布の詳細を示す。
【０１０８】
図６Ｂ〜６Ｃの１Ｄおよび２Ｄ重み分布に示すように、特定の空間周波数ドメインデータポイントの二次元重みマップをプロットするときに、無視できない値を有するデータポイントの局所近傍における重みが顕著であり、他の重みはゼロに近い値を有する。重み分布は、全結合層によって実行されるマッピングが局所補間を実行することを示す。第１のニューラルネットワークサブモデル５０２は、第１のニューラルネットワークサブモデル５０２が非デカルトサンプルを処理することを可能にするデータ一貫性層を含まないと留意されたい。
【０１０９】
図５Ａに戻ると、空間周波数データが第１のニューラルネットワークモデル５０２によって処理された後、データは、空間周波数データを画像ドメインに変換するＩＦＦＴ層５０８への入力として提供され、出力は初期画像ドメインデータ５１３である。変換は、いくつかの実施形態において、高速フーリエ変換を用いて実装され得る離散フーリエ変換を用いて実行されてもよい。ＩＦＦＴ層５０８によって出力された初期画像ドメインデータ５１３は、第２のニューラルサブモデル５１０への入力として提供される。
【０１１０】
図５Ａに示すように、第２のニューラルネットワークサブモデル５１０は、複数の畳み込みブロック５１２、５１４、および５１６を含む。畳み込みブロック５１２は、１つ以上の畳み込み層および残差結合を含んでもよい。畳み込みブロック５１２、５１４、および５１６の各々は、同じニューラルネットワークアーキテクチャを有してもよい（例えば、これらのブロックは、同じシーケンスで配置された同じタイプの層を有してもよい）。ただし、層に対する様々なパラメータ値は、変化することがある（例えば、ブロック５１２における畳み込み層の重みは、ブロック５１４の重みとは異なることがある）。図５Ａの例示的な実施形態では、第２のニューラルネットワークサブモデル５１０は、３つの畳み込みブロックを含むが、これは例であり、他の実施形態のように、第２のニューラルネットワークサブモデル５１０は、任意の適切な数の畳み込みブロック（例えば、１、２、４、５、６、７、８、９、１０、１１、１２、１３、１４、または１５）を含んでもよく、本明細書で説明される技術の態様がこの点において限定されない。
【０１１１】
第２のニューラルネットワークサブモデル５１０が、ＩＦＦＴブロック５０８の出力において得られた初期画像ドメインデータ５１３に適用されるときに、畳み込みブロック５１２、５１４、および５１６は、その順序で初期画像ドメインデータ５１３に適用される。次に、畳み込みブロック５１２の適用について説明し、畳み込みブロック５１４および５１６は、（前のブロックから出力された後）それらに入力として提供される画像ドメインデータと同様の方法で適用され得ると理解されたい。
【０１１２】
いくつかの実施形態では、畳み込みブロック５１２は、画像をダウンサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の畳み込み層と、それに続いて、画像をオリジナルサイズにアップサンプリングするために、１を超えるストライド（例えば、２以上）を有する１つ以上の転置畳み込み層と、を有する。ダウンサンプリングとそれに続くアップサンプリングのこの構造は、異なる解像度で動作が実行されることを可能にし、ニューラルネットワークモデルが局所およびグローバルの両方の特徴を捕捉するのに役立つ。次に、これは、空間周波数ドメインにおけるアンダーサンプリングから生じ得る画像アーチファクトを除去するのに役立つ。
【０１１３】
例えば、いくつかの実施形態では、畳み込みブロック５１２は、２つの逐次畳み込み層（２つのそれぞれの層に３２個の３×３および６４個の３×３のフィルタを有し、ストライド２を有する）、続いて２つの転置畳み込み層（２つのそれぞれの層に１２８個の３×３および６４個の３×３のフィルタを有し、ストライド２を有する）、続いて最終畳み込み層（ストライド１を有する２個の３×３のフィルタ）を含んでもよい。非線形活性化（例えば、ＲｅＬＵまたはＬｅａｋｙ  ＲｅＬＵ活性化）は、最終畳み込み層を除いて、最初の４つの層の各々に適用され得る。他の実施形態では、異なるサイズフィルタおよび／または異なる活性化機能が、使用されてもよく、本明細書で説明される技術の態様がこの点において限定されないと理解されたい。
【０１１４】
図５Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデル５２０のアーキテクチャを示す。ニューラルネットワーク５２０は、全結合層の適用に続き、第１のニューラルネットワークサブモデル５２２からＩＦＦＴ層５０８へのデータの出力の前に、バッチ正規化層５０７を有する第１のニューラルネットワークサブモデル５２２を有する。ここでバッチ正規化層を導入すると、ニューラルネットワークの性能が向上し、訓練に必要な時間が短縮されることがある。他の点では、ニューラルネットワークモデル５２０および５００は同じである。
【０１１５】
図５Ｃは、本明細書で説明される技術のいくつかの実施形態に従った、入力磁気共鳴（ＭＲ）空間周波数データからＭＲ画像を生成するための別の例示のニューラルネットワークモデル５３０のアーキテクチャを示す。ニューラルネットワーク５３０は、得られたＭＲデータの実部と虚部との間で重み共有を使用しない全結合層を含む第１のニューラルネットワークサブモデル５３２を有する。他の点では、ニューラルネットワークモデル５３０および５００は同じである。
【０１１６】
本発明者らは、可能な限り多くの情報を保持しつつ、空間ドメインデータの取得を加速するために、新規な非デカルトサンプリング経路を開発した。サンプリング軌道は、低い信号対雑音比（ＳＮＲ）を有する画像の再構成にはｋ空間中心の完全被覆が重要であるため、空間周波数領域ドメイン全体に均等にアンダーサンプリングする非構造化三角形および四面体メッシュと、ガウスカーネルによって生成されたｋ空間中心におけるフルサンプリンググリッドからなる。この空間周波数ドメインサンプルの３３％のサンプリング軌道サンプルは、ナイキスト基準を満たす必要がある（ただし、上述のように、サンプリング軌道は、例えば、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％などの２５〜１００の範囲の任意のパーセンテージを含む、本明細書で説明される任意の他のパーセンテージと共に使用されてもよい）。
Ｋ空間。図７は、新規な非デカルトサンプリング軌道（パネル７０２）と、パネル７０２の軌道およびゼロパッド逆高速フーリエ変換を用いて得られたサンプルから再構成された画像（パネル７０４）と、パネル７０２の軌道および図５Ｂを参照して説明されたニューラルネットワークモデルを用いて得られたサンプルから再構成された画像（パネル７０６）と、元のＭＲ画像とを示す。パネル７０４および７０６から分かるように、ゼロパッドＩＦＦＴを用いて得られたＭＲ画像はぼやけており、アーチファクトを有しているが、図５Ｂのニューラルネットワークモデルを用いて得られたＭＲ画像は、これらの欠点を有していない。
【０１１７】
本発明者らは、本明細書で説明されるニューラルネットワークモデルを訓練するための特殊化された技術を開発した。訓練手順は、複素画像データを生成することと、複素画像データをアンダーサンプリングすることと、アンダーサンプリングおよびフルサンプリングされた複素画像データを使用し、任意の適切な訓練技術（例えば、確率勾配降下および逆伝搬）を用いてニューラルネットワークモデルを訓練することと、を伴う。複素画像データを生成するために、後述するように、位相情報を合成するために、振幅画像が使用された。
【０１１８】
図８は、本明細書で説明される技術のいくつかの実施形態に従った、アンダーサンプリング空間周波数領域ドメインデータからＭＲ画像を生成するためにニューラルネットワークモデルを訓練する態様を示す。図８に示すように、訓練プロセスは、入力振幅画像を使用して、位相情報を合成することを伴う。デカルトまたは非デカルト（例えば、ラジアルなど）サンプリング軌道を用いて空間周波数ドメインにおいて遡及的にアンダーサンプリングされ得る複素画像データを振幅および位相情報が構成する。アンダーサンプリングデータは、訓練されるニューラルネットワークモデルへの入力として使用される一方、フルサンプリング画像は、モデルの出力となる。
【０１１９】
多くの公的に利用可能なＭＲ画像データセットが利用可能であるが、それらは典型的には振幅画像のみを含む。ＭＲスキャナによって取得されたような複雑なデータをシミュレートするために、本発明者らは、振幅画像に付加する位相情報を生成する技術を開発した。したがって、いくつかの実施形態では、位相情報は、球面調和基底関数の加重和を用いて生成される。これらの関数の組み合わせは、Ｂ０の不均一性、温度による磁界ドリフト、勾配渦電流、空間的に変化するＲＦコイル検知場、シーケンスにおける勾配場の不正確さ、および／または位相変動に寄与し得る他の効果から導かれる磁界の変化を特徴付けることができる。球面調和を用いて位相情報を生成するプロセスが図９Ａに示されている。
【０１２０】
いくつかの実施形態では、非デカルトアンダーサンプリングをシミュレートするために、非デカルトアンダーサンプリングマスクが適用された空間周波数ドメインにＭＲ画像を変換するために、不均一ＦＦＴ（ＮｕＦＦＴ）が使用された。次に、アンダーサンプリング空間周波数データは、逆（逆方向とも呼ばれる）ＮｕＦＦＴを用いて画像ドメインに変換することができ、これは、画像ドメインサブモデルへの入力として提供することができる。このように、ＮｕＦＦＴの使用は、不均一Ｋ空間サンプリングを実行することを可能にし、これは、実際には非デカルトサンプリングに非常に似ている。
【０１２１】
いくつかの実施形態では、利用可能な訓練データは、個々のスライスにアフィン変換を適用して、異なる配向およびサイズを有する画像を作成すること、ノイズを加えて、異なるＳＮＲを有する画像を作成すること、運動アーチファクトを導入すること、エコー・トレインのようなより複雑なシーケンスに対する位相および／または信号変調を組み込むこと、および／または信号の位相のずれをモデル化して、モデルをシーケンス状拡散加重和に適合させることによって、補された。
【０１２２】
本明細書で説明されるニューラルネットワークモデルは、空間周波数領域ドメインおよび画像ドメインの両方で動作するため、本発明者らは、混合ドメインニューラルネットワークモデルのような訓練を容易にするための新しい損失関数を開発した。新しい損失関数は、本明細書で説明されたニューラルネットワークモデルを訓練するプロセスを加速した（例えば、所与のレベルの性能を達成するために必要とされる訓練エポックの数を低減することによって）。
【０１２３】
いくつかの実施形態では、損失関数は、空間周波数ドメインにおける誤差を捕捉するための第１の損失関数と、画像ドメインにおける誤差を捕捉するための第２の損失関数とを含む。例えば、図９Ｂに示すように、第１のニューラルネットワークサブモデルの出力（「サブネット１ｋ空間」とラベル付け）は、空間周波数ドメインにおける真値と比較されて、空間周波数ドメインにおける第１の測定誤差（例えば、「ＭＳＥ  Ｌｏｓｓ１」とラベル付けされた平均二乗誤差）を得てもよく、第２のニューラルネットワークサブモデルの出力（「サブネット２画像ドメイン」とラベル付け）は、画像ドメインにおける真値と比較されて、画像ドメインにおける第２の測定誤差（例えば、「ＭＳＥ  Ｌｏｓｓ２」とラベル付けされた平均二乗誤差）を得てもよい。第１および第２の測定誤差は、（例えば、加重組み合わせによって）組み合わされて、全体的な測定誤差を生成してもよく、これは、訓練プロセスの間に最小化されるべきである。例えば、図９の例示的な例では、全体損失関数がＬｏｓｓ１＋λ＊Ｌｏｓｓ２によって与えられるように、２つの損失関数をλ＜１の重みを用いて組み合わせた。
【０１２４】
本明細書で説明されるように、低磁界ＭＲＩシステムによって得られたアンダーサンプリング空間周波数データからＭＲ画像を生成するために本発明者らによって開発されたニューラルネットワークモデルを訓練するためには、低磁界ＭＲＩシステムを用いて得られた訓練データが必要である。しかし、本明細書で説明されるモデルのすべてのパラメータを学習するのに十分な量のそのようなデータが存在しないことがある。
【０１２５】
したがって、いくつかの実施形態では、ニューラルネットワークモデルは、最初に１つ以上の「高磁界」および／または「中磁界」ＭＲシステムを用いて得られた画像を用いて訓練され、次いで、伝達学習が、低磁界ＭＲＩシステムを用いて得られた１つ以上のＭＲ画像を用いて、訓練されたニューラルネットワークモデルを「低磁界」コンテキストに適合させるために使用される。
【０１２６】
図１０のＡ〜１０Ｈは、本明細書で説明された技術のいくつかの実施形態に従った、ゼロパッド逆ＤＦＴを用いて、かつ伝達学習あり／なしで訓練されたニューラルネットワークモデルを用いて生成されたＭＲ画像を示す。結果は、伝達学習（この例示的な例では１００エポック）を用いると、低磁界ＭＲ画像についてのモデルの性能を向上することを示した。特に、図１０のＡ〜Ｄは、ゼロパッド逆ＦＦＴ、伝達学習なしで訓練された図５Ｂのニューラルネットワークモデル、伝達学習ありで訓練された図５Ｂのニューラルネットワーク、およびフルサンプリングデータを用いてそれぞれ得られた再構成されたＭＲ画像を示す。図１０のＥ〜１０Ｇは、再構成ＭＲ画像とフルサンプリングＭＲ画像との間の絶対差を示すが、図１０のＨは、アンダーサンプリングマスクを示す。
【０１２７】
図１１は、本明細書で説明される技術のいくつかの実施形態に従った、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能を示す。特に、図１１の第２の行は、図１Ａを参照して説明されたニューラルネットワークモデル１００の性能を示し、図１１の第３の行は、図５Ｂを参照して説明されたニューラルネットワークモデル５２０の性能を示す。両方のモデルについて、図１１は、第１および第２のサブモデル（サブモデル１０２および１２０、とサブモデル５２２および５１０）のそれぞれの性能を示す。図１１の第１の行は、アンダーサンプリング画像およびフルサンプリング画像（大きさおよび位相の両方）を示す。図１１から分かるように、ニューラルネットワークモデル１００の第１のサブモデル（真ん中の列の最初の２つの列）の出力は、より少ないアーチファクトで品質が向上しており、これは、ピークＳＮＲ（ＰＳＮＲ）の増加によっても示されている。ニューラルネットワークモデル１００の第２のサブモデルの出力（真ん中の列の最後の２つの列）は、第２のサブモデルが、振幅画像のコントラストを増加させ、より滑らかな位相マップを生成することによって、再構成がさらに向上することを示し、これは、フルサンプリング画像の再構成に近い。ニューラルネットワークモデル５２０に対して、第２のサブモデルは、第１のサブモデルよりもＰＳＮＲによって反映されるように、改善に寄与しない。この状況は、第１のニューラルネットワークサブモデルに対しては逆である。
【０１２８】
図１２は、さらに、本明細書で説明される技術のいくつかの実施形態に従った、アンダーサンプリング空間周波数ドメインデータからＭＲ画像を生成するためのニューラルネットワークモデルのいくつかの性能を示す。特に、図１２は、ナイキストサンプリングレートによって必要とされるサンプル数の３３％までアンダーサンプリングされた画像について、他の技術に対する本明細書で開発されたニューラルネットワークのいくつかの性能を示す。ニューラルネットワークモデル１００および５２０（図１２の第４および第５の列に示される）の性能を、圧縮検知（正規化パラメータ＝５ｅ−３でＡＤＭＭ正規化器を用いて実装、図１２の第２の列に示される）および第１のサブモデル（図１２の第３の列に示される）なしのニューラルネットワークモデル１００の性能と比較した。正規化平均二乗誤差とピークＳＮＲを測定し、出力画像の差を定量化した。図１２に示すように、アンダーサンプリングは、ぼやけおよび不均一なアーチファクトをもたらす。圧縮検知アプローチは、アーチファクトを除去するが、画像を過度に平滑化し、位相画像を変更してしまう。第１のサブモデルなしのモデル１００は、画像を回復できなかった。対照的に、ニューラルネットワークモデル１００および５２０は、競合方法よりも高いＰＳＮＲおよび低い正規化ＭＳＥによって反映されるように、フルサンプリング画像に対して振幅および位相の両方において非常に近いＭＲ画像を出力する。
【０１２９】
本明細書で議論されたように、本発明者らは、非デカルトサンプリング軌道を用いて得られた空間周波数データからＭＲ画像を再構成するためのニューラルネットワークモデルを開発した。
【０１３０】
図１３Ａは、本明細書で説明される技術のいくつかの実施形態に従った、入力ＭＲ空間周波数データからＭＲ画像を生成するための例示のニューラルネットワークモデル１３１０の例示的なアーキテクチャの図である。図１３Ａに示すように、ニューラルネットワークモデル１３１０は、入力ＭＲ空間周波数データを段階的に処理することによって、入力ＭＲ空間周波数データ１３０５から出力ＭＲ画像１３１５を再構成する。最初に、入力ＭＲ空間周波数データ１３０５は、初期処理ブロック１３１２を用いて処理され、初期画像１３１４を生成し、次いで、初期画像１３１４は、一連のニューラルネットワークブロック１３１６−１、１３１６−２、．．．、１３１６−ｎによって処理される。
【０１３１】
いくつかの実施形態では、ブロック１３１６−１、１３１６−２、．．．、１３１６−ｎのうちの１つ以上は、画像ドメインにおいてオペレータであってもよい。いくつかの実施形態では、ブロック１３１６−１、１３１６−２、．．．、１３１６−ｎのうちの１つ以上は、入力データを、空間周波数ドメインを含むがこれに限定されない、異なるドメインに変換し、異なるドメインで処理（例えば、再構成処理）を実行し、その後、画像ドメインに戻るように変換してもよい。
【０１３２】
いくつかの実施形態では、イニシャライザブロックは、入力ＭＲ空間周波数データを画像ドメインに変換して、ニューラルネットワークモデル１３１０によるその後の処理のための初期画像を生成する。イニシャライザブロックは、任意の適切な方法で実装されてもよい。例えば、いくつかの実施形態において、イニシャライザブロックは、随伴不均一フーリエ変換を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。別の例として、いくつかの実施形態では、イニシャライザブロックは、グリッディング再構成を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。
【０１３３】
ニューラルネットワークブロック１３１６の例示的なアーキテクチャは、図１３Ｂ（不均一変分ネットワークに対応）および図１３Ｅ（一般化不均一変分ネットワークに対応）に示される。したがって、いくつかの実施形態では、ブロック１３１６−１、１３１６−２、．．．、１３１６−ｎの少なくとも１つ、少なくとも一部、またはすべては、図１３Ｂの例示的なブロック１３１６−ｉに示されるようなアーキテクチャを有してもよい。図１３−Ｂに示すように、ニューラルネットワークブロック１３１６−ｉは、データ一貫性ブロック１３２０と、畳み込みニューラルネットワークブロック１３５０とを含み、これらの両方が入力ｘｉに適用され、１３２１としてラベル付けされている。入力ｘｉは、（ｉ−１）番目のニューラルネットワークブロックの完了においてニューラルネットワーク１３１０によって生成されるＭＲ画像再構成を表してもよい。この例では、ブロック１３１６−ｉの出力１３３５は、データ一貫性ブロック１３２０を入力ｘｉに適用して、第１の結果を得て、畳み込みニューラルネットワークブロック１３５０をｘｉに適用し、第２の結果を得て、ｘｉから第１の結果と第２の結果の線形結合を減算することによって得られ、ここで、線形結合は、ブロック固有の重みλｉを用いて計算される。
【０１３４】
データ一貫性ブロック１３２０は、多数の方法のいずれかで実装されてもよい。いくつかの実施形態では、データ一貫性ブロック１３２０は、不均一フーリエ変換を用いて、ｘｉによって表される入力画像を空間周波数ドメインに変換し、結果を初期ＭＲ空間周波数データ１３０５と比較し、不均一フーリエ変換の随伴を用いて、２つの間の差を画像ドメインに変換することによって、データ一貫性処理を実行してもよい。
【０１３５】
データ一貫性ブロック１３２０の例示的な実装を、図１３Ｃに示す。図１３Ｃの例示的な実装において、画像ドメイン入力１３２２（中間再構成ｘｉ  １３２１であってもよい）は、一連の３つの変換１３２４、１３２６、および１３２８を通して、空間周波数ドメインに変換され、ここで、その結合は、画像ドメインから空間周波数ドメインへの不均一高速フーリエ変換を実装するために使用される。特に、変換１３２４は、デアポディゼーションおよびゼロパッド変換Ｄであり、変換１３２６は、オーバーサンプリングＦＦＴ変換Ｆｓであり、変換１３２８は、グリッディング補間変換Ｇである。本明細書で説明されるように、不均一高速フーリエ変換Ａは、Ａ＝Ｄ  Ｆｓ  Ｇによるこれらの変換の結合によって表される。これらの構成する変換の例示の実現が本明細書において説明される。
【０１３６】
画像ドメイン入力１３２２が空間周波数ドメインに変換された後、それは、初期ＭＲ空間周波数データ１３０５と比較され、２つの間の差は、変換１３３０、１３３２、および１３３４を用いて、その順序で画像ドメインに戻されるように変換される。変換１３３０は、グリッディング補間変換１３２８の随伴である。変換１３３２は、オーバーサンプリングＦＦＴ変換１３２６の随伴である。変換１３３４は、デアポダイゼーション変換１３２４の随伴である。このようにして、ＧＨＦＨｓＤＨ＝ＡＨとして書いてもよい変換１３３０、１３３２、１３３４の組成は、不均一フーリエ変換Ａの随伴ＡＨを表す。
【０１３７】
畳み込みニューラルネットワークブロック１３５０は、多数の方法のいずれかで実装されてもよい。いくつかの実施形態では、ブロック１３５０は、１つ以上の畳み込み層および１つ以上の転置畳み込み層を含む、複数の畳み込み層を有してもよい。いくつかの実施形態では、ブロック１３５０は、Ｕ−ネット構造を有してもよく、それによって、複数の畳み込み層がデータをダウンサンプリングし、その後の転置畳み込み層が、例えば、ブロック１３５０のための図１３Ｄの例示的なＵ−ｎｅｔアーキテクチャに示すように、データをアップサンプリングする。
【０１３８】
図１３Ｄに示すように、畳み込みネットワークブロック１３５０への入力は、アップサンプリング経路によって処理され、それに続いてダウンサンプリング経路によって処理される。ダウンサンプリング経路では、入力は、３×３カーネルを有する２つの畳み込みの反復適用によって処理され、それに続いて各々は、非線形性（例えば、整流線形ユニットまたはＲｅＬＵ）、ダウンサンプリングのためのストライド２を有する平均２×２プーリング演算が適用される。各ダウンサンプリングステップにおいて、フィーチャチャネルの数は、６４から１２８へ、２５６へ倍増される。アップサンプリング経路では、データは、フィーチャチャネルの数を半分にする平均アンプーリングステップ、ダウンサンプリング経路からの対応するフィーチャマップとの連結、および２つの３×３畳み込みを用いて、フィーチャマップのアップサンプリングが繰り返し処理され、それに続いて各々は、非線形性（例えば、ＲｅＬＵ）が適用される。
【０１３９】
図１３Ｅは、本明細書で説明される技術のいくつかの実施形態に従った、図１３Ａのニューラルネットワークモデルのブロックの別のタイプのアーキテクチャの図である。図１３Ｅに示すようなアーキテクチャを有するブロックを有するニューラルネットワークモデルは、「一般化不均一変分ネットワーク」または「ＧＮＶＮ」と称されてもよい。データ一貫性ブロックは直接使用されないが、そのようなブロックによって生成される画像特徴に類似した特徴は、ニューラルネットワークモデルに組み込むために有用であり得るという意味で「一般化」されている。
【０１４０】
図１３Ｅに示すように、ｉ番目のＧＮＶＮブロック１３６０−ｉは、（１）１３６２としてラベル付けされた画像ドメインデータｘｉ、および（２）初期ＭＲ空間周波数データ１３６４を入力として取る。入力ｘｉは、（ｉ−１）番目のＧＮＶＮブロック（１３６０−（ｉ−１））の完了においてニューラルネットワーク１３１０によって生成されたＭＲ画像再構成を表してもよい。ブロック１３６０−ｉへのこれらの入力は、次に、ブロック１３６０−ｉの畳み込みニューラルネットワークブロック１３７２部への入力を生成するために使用される。次に、これらの入力から、ＣＮＮブロック１３７２は、ｘｉ＋１で示される次のＭＲ画像再構成を生成する。
【０１４１】
図１３Ｅの実施形態では、入力１３６２および１３６４は、ＣＮＮブロック１３７２への３つの入力を生成するために使用される。すなわち、（１）再構成ｘｉ自体は、ＣＮＮブロックへの入力として提供され、（２）再構成ｘｉに、不均一フーリエ変換１３６６を適用し、それに続いて空間周波数ドメイン畳み込みニューラルネットワーク１３６８を適用し、それに続いて随伴不均一フーリエ変換１３７０を適用した結果、（３）初期ＭＲ空間周波数データ１３６４に、空間周波数ドメイン畳み込みニューラルネットワーク１３６８を適用し、それに続いて随伴不均一フーリエ変換１３７０を適用した結果である。
【０１４２】
いくつかの実施形態において、不均一フーリエ変換１３６６は、３つの変換の合成として表現される変換Ａであってもよい。すなわち、Ａ＝Ｄ  Ｆｓ  Ｇとなるようなデアポディゼーション変換Ｄ、オーバーサンプリングフーリエ変換Ｆｓ、局所グリッディング補間変換Ｇである。これらの構成する変換の例示の実現が本明細書において説明される。
【０１４３】
空間周波数ドメインＣＮＮ１３６８は、任意の好適なタイプの畳み込みニューラルネットワークであってもよい。例えば、ＣＮＮ１３６８は、残差結合を有する５層畳み込みニューラルネットワークであってもよい。しかし、他の実施形態では、空間周波数ドメインネットワーク１３６８は、任意の他のタイプのニューラルネットワーク（例えば、完全畳み込み型ニューラルネットワーク、再帰ニューラルネットワーク、および／または任意の他の適切なタイプのニューラルネットワーク）であってもよく、本明細書で説明される技術の態様がこの点において限定されない。
【０１４４】
図１３Ａ〜１３Ｅに示されているニューラルネットワークモデルのような、非デカルトデータからのＭＲ画像再構成のためのニューラルネットワークモデルのさらなる態様および詳細が次に続く。最初に、いくつかの表記法を導入する。
【数１】
2021532875.tif 000003
は、再構成される複素値ＭＲ画像を示し、Ｎ＝ＮｘＮｙのベクトルとして表され、ここで、ＮｘおよびＮｙは、画像の幅と高さであるとする。
【数２】
2021532875.tif 000004
は、複素値ＭＲ画像ｘが再構成される、アンダーサンプリングｋ空間測定を表すとする。ｙからｘを再構成することは、
【数３】
2021532875.tif 000005
に従って、非制約最適化問題として定式化され得る。ここで、演算子Ａは、不均一フーリエサンプリング演算子Ｒであり、Ｒは、ｘについての規則化項を示し、λは、ノイズレベルに関連するハイパーパラメータである。ｋ空間測定ｙがデカルトサンプリング軌道を用いて得られる場合に、演算子Ａは、Ａ＝ＭＦに従って表現されてもよく、ここで、Ｍは、サンプリングマスクであり、Ｆは、離散フーリエ変換である。非デカルトサンプリング軌道の場合に、測定値はもはや均一ｋ空間グリッドに収まらず、サンプリング演算子Ａは今やタイプの不均一離散フーリエ変換のタイプＩによって与えられる。
【数４】
2021532875.tif 000006
ここで、
【数５】
2021532875.tif 000007
である（
【数６】
2021532875.tif 000008
ではない）。上述の順モデルの効率的な実装は、いわゆる不均一高速フーリエ変換（ＮＵＦＦＴ）を用いて実装されてもよい。このアイデアは、分解Ａ＝ＧＦｓＤによって、式２（Ｅｑ．２）を近似することであり、ここでは、Ｇは、グリッディング補間カーネルであり、Ｆｓは、ｓのオーバーサンプリングファクタを有する高速フーリエ変換（ＦＦＴ）であり、Ｄは、デアポディゼーション重みである。この分解については、以下でさらに詳細に説明される。
【０１４５】
対照的に、Ａの反転のほうがかなり大きな影響を受ける。（大体）フルサンプリングされた場合については、直接反転
【数７】
2021532875.tif 000009
またはより計算効率の良いグリッディング再構成を考慮することができ、これは、ｘｇｒｉｄｄｉｎｇ＝ＡＨＷｙの形態を有し、ここで、Ｗは、不均一に間隔を置いた測定の密度補償に使用される対角行列である。アンダーサンプリングの場合に対しては、反転は不適切であり、式１（Ｅｑ．１）は反復アルゴリズムによって解かれるべきである。
【０１４６】
本発明者らは、式１の最適化問題の解を近似するための新しい深層学習アルゴリズムを開発した。このアプローチは、初期化とその後の反復のために次の方程式で指定される式１に対する局所最適解を提供する勾配降下アルゴリズムを検討することによって開始する。
【数８】
2021532875.tif 000010
【数９】
2021532875.tif 000011
ここで、ｆｉｎｉｔは、イニシャライザであり、αは、ステップサイズであり、▽ｆは、目的関数の勾配であり、以下によって与えられる。
【数１０】
2021532875.tif 000012
【０１４７】
いくつかの実施形態において、イニシャライザは随伴
【数１１】
2021532875.tif 000013
再構成またはグリッディング再構成
【数１２】
2021532875.tif 000014
として選択されてもよい。式１を解くための深層学習アプローチは、式４（Ｅｑ．４）の逐次更新をフィードフォワードモデルに展開し、一連の訓練可能な畳み込み（または他のタイプのニューラルネットワーク）層および非線形性によって勾配項▽Ｒを近似することを伴う。このアプローチは、
【数１３】
2021532875.tif 000015
【数１４】
2021532875.tif 000016
によって与えられるＮｉｔのブロックを有するエンドツーエンドの訓練可能なネットワークをもたらす。ここで、学習可能なパラメータは、
【数１５】
2021532875.tif 000017
である。ステップサイズαｉは、学習可能なパラメータに吸収されることに留意する。このようにして、一般的な非凸規則化関数が（例えば、専門分野モデルの代わりに）使用され、規則化関数は、畳み込みニューラルネットワークによって近似され得る。実際、図１３Ａ〜１３Ｄに示されるニューラルネットワークモデルは、式６（Ｅｑ．６）および式７（Ｅｑ．７）に従って実装される。例えば、データ一貫性の項ＤＣ−ｉの実装を図１３Ｃに示し、ＣＮＮ−ｉの項の実装を図１３Ｄに示す。
【０１４８】
本発明者らは、このようなアプローチの計算の複雑さが、順方向演算子
【数１６】
2021532875.tif 000018
がどのように実装されるかの関数であることを認識している。これは、Ａは、記憶する多くのメモリを占有する可能性がある大きな複素値行列であるからである。本明細書で説明されるように、デカルトの場合とは対照的に、Ａは、ＧＦｓＤとして表現される。２Ｄの場合、これは大きな行列であり、ＧＰＵメモリの大部分を消費する（例えば、Ｎ＝１９２２でＭ＝１０，０００（すなわち、大体３×加速）の場合、複素値行列を記憶することは３ＧＢのメモリのタスクとなる）。この課題を克服するために、本発明者らは、スパースＧＰＵ行列乗算としてグリッディング補間変換Ｇｉを実装した。Ｆｓは、ＦＦＴであり、ここで、効率的なＧＰＵ実装が利用可能である。最後に、Ｄは、対角行列であり、これは、行列のＨａｄａｍａｒｄ積として実装することができる。随伴は、同様に、
【数１７】
2021532875.tif 000019
として同様に実装することができ、ここで、Ｈは、複素共役転置である。
【０１４９】
次に、順方向演算子Ａ＝ＧＦｓＤの分解のさらなる詳細について説明される。最初に、いくつかの前置きがある。空間周波数ドメイン（ｋ空間と呼ばれることがある）は、二次元または三次元座標（例えば、（ｋｘ，ｋｙ）または（Ｋｘ，ｋｙ，ｋｚ）を用いてインデックス付けされてもよい。このようにして、入力ＭＲ空間周波数データを表すベクトルｙの各エントリは、ｋ空間における特定の座標に関連付けられた値を表す。ｋ空間における規則的なグリッドとは、インデックス付けされ得る各ｋ空間座標間に固定距離Δが存在するように、ｋ空間点の規則的に間隔を置いたグリッドを指す。一般に、入力ＭＲ空間周波数データｙは、規則的グリッド上に間隔を置いた、または不規則に間隔を置いたｋ空間サンプルを含んでもよい。規則的に間隔を置いた点は、デカルトデータ点と呼ばれる。不規則に間隔を置いた点は、非デカルト（データ）点と呼ばれる。
【０１５０】
補間変換Ｇは、非デカルトセンサデータｙを規則的なｋ空間グリッドに補間するように動作する。変換が行列Ｇとして表現されるときに、行列の各行はｋ空間における特定の規則的なグリッド点に対応し、行ｉのエントリｊ（すなわち、エントリＧｉｊ）はｉ番目の規則的なグリッドとｊ番目のｋ空間サンプルとの間にどの程度の重みが関連付けられているかを表す。
【０１５１】
いくつかの実施形態において、補間行列エントリは、以下の４つの関数のうちのいずれか１つで計算され得る。
・二項余弦
【数１８】
2021532875.tif 000020
・三項余弦
【数１９】
2021532875.tif 000021
・ガウス
【数２０】
2021532875.tif 000022
・カイザー・ベッセル
【数２１】
2021532875.tif 000023
ここで、ｕはｉ番目の規則的なグリッド点とｊ番目の非デカルト座標との間の距離である。パラメータα、β、Ｗ、σは、ユーザによって指定される自由設計パラメータであり、Ｉ０は、第１種のゼロオーダ修正ベッセル関数である。しかし、上記の例示の４つの関数の代わりに、または、これらに加えて、補間行列エントリを計算するために、他の任意の関数が使用され得ると理解されたい。
【０１５２】
いくつかの実施形態において、補間重み行列のエントリは、最適化アプローチを用いて計算されてもよい。例えば、エントリは、Ｆｅｓｓｌｅｒ，  Ｊ．Ａ．，  Ｓｕｔｔｏｎ  Ｂ．Ｐ．，  Ｎｏｎ−ｕｎｉｆｏｒｍ  ｆａｓｔ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍｓ  ｕｓｉｎｇ  ｍｉｎ−ｍａｘ  ｉｎｔｅｒｐｏｌａｔｉｏｎ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ５１（２），  ５６０−５７４  （２００３）の式１６および２１に示されるように、最小−最大最適化問題を解くことによって計算されてもよく、これは、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態において、フーリエ変換Ｆは、オーバーサンプリングされたフーリエ行列Ｆｓによって表されてもよく、この行列は、各エントリが指数に依存するγに対するｅｉγ形の複素指数である密行列である。この行列の役割は、フーリエ変換を実行することである。いくつかの実施形態では、Ｆｓは、オーバーサンプリングファクタｓで高速フーリエ変換を用いて実装されてもよい。例えば、再構成される画像ｘがＮ×Ｎ画素である場合、画像サイズｓＮ×ｓＮに対してオーバーサンプリングＦＦＴが実行される。
【０１５３】
いくつかの実施形態において、デアポディゼーション変換は、与えられた分解でＡを近似することの補間誤差を減少させるために、画像内の各画素を対応する重みによって加重する行列Ｄによって表されてもよい。いくつかの実施形態において、これは、画像ドメインにおける中間再構成の画素ごとの加重を介して実装されてもよい。例えば、ピクセル別重み付けは、空間的に変化する低次滑らかな多項式を使用して用いて実施されてもよい。いくつかの実施形態において、行列Ｄは、Ｆｅｓｓｌｅｒ，  Ｊ．Ａ．，  Ｓｕｔｔｏｎ  Ｂ．Ｐ．：  Ｎｏｎ−ｕｎｉｆｏｒｍ  ｆａｓｔ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍｓ  ｕｓｉｎｇ  ｍｉｎ−ｍａｘ  ｉｎｔｅｒｐｏｌａｔｉｏｎ．  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ５１（２），  ５６０−５７４  （２００３）のセクションＩＶ−Ｃにおいて議論されるように設定されてもよい。
【０１５４】
本発明者らはまた、図１３Ａ〜１３Ｄのネットワークが各反復の終了におけるボトルネックを強制することを理解している。しかし、別の見方は、ネットワークが単にデータ一貫性（ＤＣ−ｉ）ブロックによって与えられる画像特徴から単に利益を得ているということである。この観察は、データ一貫性ブロックを使用する代わりに、図１３Ａ〜１３Ｄのモデルにおける各ＣＮＮ−ｉブロックに、以下の入力の連結が提供される。すなわち、中間再構成ｘｉ、自己随伴ＡＨＡｘｉ、および入力随伴ＡＨｙである。さらに、
【数２２】
2021532875.tif 000024
を用いて生のセンサドメインにおける１Ｄ畳み込みを適用することも考慮して、サンプリング軌道に沿った情報を活用し、不必要な情報（例えば、隔離可能なアーチファクトまたはノイズ）を除去する。図１３Ａ、１３Ｄおよび１３Ｅに示す結果のネットワークは、
【数２３】
2021532875.tif 000025
【数２４】
2021532875.tif 000026
によって与えられ、ここで、学習可能なパラメータは
【数２５】
2021532875.tif 000027
である。本明細書で説明されているように、このタイプのニューラルネットワークモデルは、一般化不均一変分ネットワークと呼ばれる。
【０１５５】
本発明者らは、本明細書で説明されるニューラルネットワークアーキテクチャのいくつかの実施形態が、以下に従って表され得るニューラルネットワークモデルの実施形態として考えられ得ることを認識している。
【数２６】
2021532875.tif 000028
【０１５６】
この一般的なタイプのニューラルネットワークモデルは、順方向演算子Ａと生の空間周波数ドメインデータｙ、および任意の次元とすることができる追加の学習可能なパラメータθとの組み合わせである任意の入力を入力として受け入れてもよい。パラメータθは、訓練プロセス中に調整されてもよい。
【０１５７】
式（８）のニューラルネットワークへの入力は、ＭＲＩシステムの１つ以上のＲＦコイルによって得られるデータであってもよく、本明細書で説明される技術の態様は、単一のＲＦコイルによって収集されるデータから画像を再構成することに限定されない。追加的に、入力データｙは、複数のコントラストおよび／または取得パラメータの異なるセット（例えば、反復時間（ＴＲ）、エコー時間（ＴＥ）、フリップ角θなどを変化させることによって）を用いて得られてもよい。いくつかの実施形態において、ネットワークへの入力は、生のデータｙであってもよいが、これに限定されない。追加的または代替的に、ネットワークへの入力は、随伴再構成ＡＨｙであり、ここでは、Ｈは行列の共役転置である。
【０１５８】
いくつかの実施形態では、データｙが複数のＲＦコイルによって収集されたデータを含む場合、これらのデータｙは、Ｎｃｏｉｌの別々のデータセットに分離され、ｉ＝１，…，Ｎｃｏｉｌに対するｙ（ｉ）を示し、Ｎｃｏｉｌは、任意の数（例えば、８、９または１０などの２〜２０の範囲の任意の数）とすることができる。このようないくつかの実施形態では、ニューラルネットワーク入力は、各コイル画像
【数２７】
2021532875.tif 000029
の随伴再構成であってもよく、ｉ＝１，…，Ｎｃｏｉｌに対する
【数２８】
2021532875.tif 000030
は、まとめて積み重ねられて、ネットワーク（例えば、ネットワークの畳み込み層部）への入力を形成することができる。
【０１５９】
いくつかの実施形態において、生のデータｙは、１つ以上のＲＦコイルの各々によって得られた複数の測定値を含んでもよい。例えば、データが複数回、いうなればＮａｖｇ回測定される場合、これらのデータ、これらのデータの随伴再構成、またはこれらのデータ測定の他の任意の機能および順方向オペレータＡは、ニューラルネットワークへの入力を形成してもよい。例えば、信号平均化および／または異なるコントラストで画像を取得する一部として、複数の測定値が得られてもよい。
【０１６０】
いくつかの実施形態において、上述のように、式８（Ｅｑ．８）のニューラルネットワークへの入力はまた、Ａおよび／またはｙに基づく任意の関数であってもよい。例えば、いくつかの実施形態において、グリッディング再構成は、ネットワークへの入力であってもよい。グリッディング再構成は、ｘ０＝ＡＨＷｙの形式を有してもよく、ここで、Ｗは、サンプル密度補償重みと呼ばれ、これは、ベクトルｙにおける各要素をスケーリングする行列である。
【０１６１】
サンプル密度補償重みＷを計算するために、多数の技術のいずれかが使用されてもよい。例えば、いくつかの実施形態では、重みＷは、Ｗ＝ＡＨＡ１に従って計算されてもよく、ここでは、１は、複数の１のベクトルである。別の例として、重みＷは、任意の適切なユーザ定義関数であってもよい。さらに別の例として、重みＷは、ニューラルネットワーク訓練中に学習および調整されてもよく、その場合、重みは、学習されたサンプル密度補償重みと称される。いくつかの実施形態において、ネットワークへの入力は、順方向演算子Ａを使用せずに、学習されたものであれ、固定された学習可能なものであれ、重みＷとｙの組み合わせであってもよい。
【０１６２】
また、ニューラルネットワークは、生のデータｙに対して動作する必要がなく、いくつかの実施形態では、これらのデータは、前処理されてもよいと理解されたい。例えば、いくつかの実施形態において、これらのデータは、干渉除去、ノイズ除去、フィルタリング、平滑化、画像プリホワイトニングなどの動作を実行するために前処理されてもよい。より一般的には、ネットワークは形式ｆ（ｙ，Ａ，θ）を有する。
【０１６３】
ニューラルネットワークの重みθに関して、これらの重みは、訓練手順の一部として、任意の適切な方法で初期化され得る。例えば、重みは、（例えば、Ｈｅ，  Ｋ．，  ｅｔ  ａｌ．：  Ｄｅｅｐ  ｒｅｓｉｄｕａｌ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｉｍａｇｅ  ｒｅｃｏｇｎｉｔｉｏｎ．  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  ａｎｄ  ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ）．  ｐｐ．  １０２６−１０３４  （２０１５）におけるＨｅ初期化とそれに続く式１２を用いて）ランダムに初期化されてもよい。別の例として、ネットワーク重みは、ユーザによって提供される設定に従って初期化されてもよい。別の例として、ネットワーク重みは、学習されたサンプリング密度重み（例えば、学習されたサンプリング密度重みは、ネットワーク重みのサブセットであってもよく、ネットワーク重みは、学習されたサンプリング密度重みを用いて初期化されてもよく、その後、すべての重みが訓練中に調整されてもよい）を含んでもよい。
【０１６４】
式（８）におけるニューラルネットワークの出力ｘｒｅｃに関して、出力は、それぞれのＲＦコイル当たり１つ以上の画像を含んでもよい。例えば、入力データがＮｃｏｉｌのＲＦコイルの各々からのデータを含む場合、出力は、そのような各ＲＦコイルについての１つのＭＲ画像、またはそのような各コイルについての複数のＭＲ画像を含んでもよい（例えば、各コイルが、例えば、異なるコントラストを用いて複数の取得を実行するとき）。
【０１６５】
いくつかの実施形態において、式（８）において特定されるタイプの複数のニューラルネットワークが使用されてもよく、これらのネットワークの出力は、複数のニューラルネットワークがアンサンブルとして利用されるように組み合わせられてもよい。この組み合わせは、限定されるわけではないが、平均、加重平均、外れ値の棄却を伴う平均化、およびユーザ定義基準（例えば、手動検査、シグナル対ノイズ比、知覚メトリック、および／または任意の他の適切なメトリックなどの定量的メトリックに基づく自動選択）による「最良」再構築の選択を含む、任意の適切なタイプの集約ルールを用いて実行され得る。代替的には、いくつかの実施形態では、個々のニューラルネットワークからのｘｒｅｃの複数のインスタンスがまとめて積み重ねられて、ネットワークの出力とみなされてもよい。
【０１６６】
上述したように、式（８）のニューラルネットワーク形成の多くの可能な実施形態が存在し、限定されるわけではないが、（１）図１３Ａ〜Ｄを参照したものを含め、本明細書で説明されたような不均一変分ネットワーク（ＮＶＮ）、（２）図１３Ａ、１３Ｄおよび１３Ｅを参照して本明細書で説明されたような一般化不均一変分ネットワーク（ＧＮＶＮ）、（３）図１Ａ〜Ｃを参照したもの含め、本明細書で説明されたような深層Ｋ空間補間再構成（ＤＫＩＲ）ネットワーク、および（４）図５Ａ〜５Ｃを参照したものを含め、本明細書で説明されたような深層非局所再構成（ＤＮＲ）ネットワークなど、本明細書で記載された実施形態を含む。
【０１６７】
上述のネットワークアーキテクチャのいくつかは、畳み込みニューラルネットワークブロックを含むが、例えば、残差ネットワーク、ｄｅｎｓｅｌｙ  ｃｏｎｎｅｃｔｅｄ  ｎｅｔｗｏｒｋ、またはｓｑｕｅｅｚｅ  ａｎｄ  ｅｘｃｉｔａｔｉｏｎ  ｎｅｔｗｏｒｋを含む畳み込みニューラルネットワークブロックに加えて、またはその代わりに、他のタイプのブロックを用いてもよいことに留意されたい。
【０１６８】
いくつかの実施形態において、上述のネットワークのいずれか１つは、平均二乗誤差を用いて訓練されてもよい。例えば、いくつかの実施形態では、ＮＶＮアーキテクチャ（例えば、ブロック１３１６−ｉ）またはＧＮＶＮアーキテクチャ（例えば、ブロック１３６０−ｉ）における再構成ブロックの各々は、
【数２９】
2021532875.tif 000031
に従って、平均二乗誤差基準を用いて訓練されてもよい。
【０１６９】
いくつかの実施形態では、再構成ブロックは、各コイル加重画像ｘｃを別々にまたはまとめて再構成することができる。また、各信号ｎａｖｇ＝１，…，Ｎａｖｇをまとめてまたは別々に再構成することを試みることができる。
【０１７０】
図１４は、本明細書で説明される技術のいくつかの実施形態に従った、非デカルトサンプリングを用いて得られた入力ＭＲ空間周波数データからＭＲ画像を生成するためにニューラルネットワークモデルを使用するための例示的なプロセス１４００のフローチャートである。いくつかの実施形態において、プロセス１４００は、不均一変分ネットワーク（例えば、図１３Ａ〜図１３Ｄを参照して説明されるニューラルネットワーク）、一般化不均一変分ネットワーク（例えば、図１３Ａ、図１３Ｄ、および図１３Ｅを参照して説明されるニューラルネットワーク）、または任意の他の適切なタイプのニューラルネットワークモデルを用いて実行されてもよい。
【０１７１】
いくつかの実施形態では、例示的なプロセス１４００は、任意の適切な計算デバイスを用いて実行されてもよい。例えば、いくつかの実施形態では、プロセス１４００は、被験体を撮像することによって入力ＭＲ空間周波数データを取得したＭＲＩシステムと共位置（例えば、同じ部屋）に位置する計算デバイスによって実行されてもよい。別の例として、いくつかの実施形態では、プロセス１４００は、被写体を撮像することによって入力空間周波数データを取得したＭＲＩシステムから遠隔（例えば、クラウドコンピューティング環境の一部として）に位置する１つ以上のプロセッサによって実行されてもよい。
【０１７２】
プロセス１４００は、アクト１４０２において開始し、ここでは、入力ＭＲ空間周波数データが得られる。いくつかの実施形態では、入力ＭＲ空間周波数データは、アクト１４０２でアクセスされるように、ＭＲＩシステムによって予め取得され、その後の分析のために記憶されている。他の実施形態では、入力ＭＲ空間周波数データは、プロセス１４００の一部として、ＭＲＩシステム（本明細書で説明されるＭＲＩシステムのいずれかを含む）によって得られてもよい。いつＭＲＩシステムが、撮像を実行して、入力ＭＲ空間周波数データを得たかにかかわらず、データは、非デカルトサンプリング軌道を用いて得られてもよく、その例を本明細書において提供する。
【０１７３】
次に、プロセス１４００は、アクト１４０４に進み、ここでは、入力ＭＲ空間周波数データは、前処理されて、初期画像再構成を得る。例えば、いくつかの実施形態では、入力ＭＲ空間周波数データは、不均一フーリエ変換を用いて画像ドメインに変換されてもよい。例えば、入力ＭＲ空間周波数データｙは、本明細書で説明される随伴演算子ＡＨを用いて（例えば、計算ＡＨｙによって）画像ドメインに変換されてもよい。別の例として、入力ＭＲ空間周波数データは、行列Ｗがサンプリング密度補償行列であり、これは、行列ＡＨＡ１であり、ここで、１は複数の１のベクトル、ユーザ指定行列、訓練中に学習された行列、および／またはそれらの任意の適切な組み合わせであり得る、グリッディング再構成を用いて画像ドメインに変換されてもよい。図１３Ａの例示的な実施例では、前処理は、初期処理ブロック１３１２によって実行されてもよい。
【０１７４】
いくつかの実施形態では、イニシャライザブロックは、入力ＭＲ空間周波数データを画像ドメインに変換して、ニューラルネットワークモデル１３１０によるその後の処理のための初期画像を生成する。イニシャライザブロックは、任意の適切な方法で実装されてもよい。例えば、いくつかの実施形態では、イニシャライザブロックは、随伴不均一フーリエ変換を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。別の例として、いくつかの実施形態では、イニシャライザブロックは、グリッディング再構成を入力ＭＲ空間周波数データに適用して、初期画像を得てもよい。
【０１７５】
次に、プロセス１４００は、アクト１４０６に進み、ここでは、アクト１４０４で得られた初期画像（またはアクト１４０６が、１つ以上のニューラルネットワークブロックが初期画像に既に適用された後に決定ブロック１４０８からの戻り経路上で実行されているときの現在の画像データ）に、ニューラルネットワークモデルのブロックが適用される。いくつかの実施形態において、ニューラルネットワークモデルのブロックは、動作１４０２において得られた初期ＭＲ空間周波数データを考慮に入れるために、不均一フーリエ変換を用いて、データ一貫性処理を実行するように構成されてもよい。これは、任意の適切な方法でなされてもよい。例えば、いくつかの実施形態では、データ一貫性処理は、図１３Ｂを参照して説明したブロック１３１６−ｉのようなデータ一貫性ブロックによって実行されてもよい。このようなブロックでは、データ一貫性処理は、不均一フーリエ変換を用いて空間周波数ドメインに変換された中間再構成を変換することと、その結果を入力ＭＲ空間周波数データと比較することとを伴う。別の例として、いくつかの実施形態では、データ一貫性処理は、不均一フーリエ変換を用いて入力ＭＲ空間周波数データを画像ドメインに変換し、例えば、図１３Ｅを参照して説明されたニューラルネットワークブロック１３６０−ｉにおいて行われるように、１つ以上の畳み込みブロックに入力として結果を提供することによって実行してもよい。
【０１７６】
次に、プロセス１４００は、決定ブロック１４０８に進み、ここでは、別のニューラルネットワークブロックが適用されるかどうかが決定される。別のブロックが適用されることが決定される場合、プロセス１４００は、アクト１４０６に戻り、ここでは、別のニューラルネットワークブロックが、ブロック１４０６の最後の反復の完了において生成された画像データに適用される。そうでなければ、この画像データは、アクト１４１０において最終再構成ＭＲ画像として出力される。
【０１７７】
本発明者らは、実世界のＭＲ画像について、図１３Ａ〜１３Ｅおよび１４を参照することを含めて、本明細書で説明されるニューラルネットワークアーキテクチャの性能を評価した。これらの実験の詳細については、次に説明される。
【０１７８】
実験の一部として、Ｈｕｍａｎ  Ｃｏｎｎｅｃｔｏｍｅ  Ｐｒｏｊｅｃｔ（ｈｔｔｐｓ：／／ｗｗｗ．ｈｕｍａｎｃｏｎｎｅｃｔｏｍｅ．ｏｒｇ／ｓｔｕｄｙ／ｈｃｐ−ｙｏｕｔｈ−ａｄｕｌｔｓ／ｄｏｃｕｍｅｎｔ／１２００−ｓｕｂｊｅｃｔｓ−ｄａｔａ−ｒｅｌｅａｓｅ）からランダムに選択された６４０のＴ１加重脳画像とＴ２加重脳画像が得られた。６００の画像がニューラルネットワークを訓練するために使用されるが、４０の画像が訓練されたニューラルネットワークの性能を評価するために使用された。現実的なシミュレーションを実行するために、多くの前処理ステップが実行された。最初に、Ｈｕｍａｎ  Ｃｏｎｎｅｃｔｏｍｅ  Ｐｒｏｊｅｃｔからは振幅画像のみが提供されたので、ランダムにサンプリングされた低次元係数を有する二次元フーリエ基底を用いて、位相情報を振幅データに加えることによって、複素数値画像が作成された。第２に、ＭＲＩ  ＲＦコイルの解析モデルから導出された空間的に局所化された複素コイル感度プロファイルを画像に乗じた。最後に、並列画像取得のために観測可能な現実的なノイズ量を画像に加えた。実験のために、画像を３．４×３．４×３．４ｍｍ３、１．７×１．７×１．７ｍｍ３、および１．１５×１．１５×１．１５ｍｍ３の等方解像度で１８０×１８０×１８０ｍｍ３の視野（ＦＯＶ）に再サンプル化され、結果として、６４３、１２８３、１９２３の行列サイズとなった。
【０１７９】
これらの実験では、不均一ＭＲデータ再構成の挙動を研究するために単一コイル再構成を評価する。ＭＲデータは、２Ｄ不均一可変密度を用いてアンダーサンプリングされ、ここで、サンプリング密度は、二次速度でｋ空間中心から減衰する。各行列サイズに対して、目標加速ファクタＲ∈｛２，４｝を有するサンプリング軌道を生成した。評価のために、平均二乗誤差（ＭＳＥ）、構造類似度指数測定（ＳＳＩＭ）、およびピーク信号対雑音比（ＰＳＮＲ）を測定した。
【０１８０】
本明細書で開発された技術は、（１）ＡＵＴＯＭＡＰ  （Ｚｈｕ  Ｂ．，  ｅｔ  ａｌ．：  Ｉｍａｇｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｂｙ  ｄｏｍａｉｎ−ｔｒａｎｓｆｏｒｍ  ｍａｎｉｆｏｌｄ  ｌｅａｒｎｉｎｇ．  Ｎａｔｕｒｅ  ５５５（７６９７），  ４８７  （２０１８））、（２）画像ドメインＵ−ｎｅｔ（Ｈａｎ，  Ｙ．，  ｅｔ  ａｌ．：  Ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｗｉｔｈ  ｄｏｍａｉｎ  ａｄａｐｔａｔｉｏｎ  ｆｏｒ  ａｃｃｅｌｅｒａｔｉｏｎ  ｐｒｏｊｅｃｔｉｏｎ−ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ＭＲ．  Ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｎ  ｍｅｄｉｃｉｎｅ  ８０（３），  １１８−１２０５  （２０１８））、および（３）ｋ−空間ドメインＵ−ｎｅｔを含む、不均一ＭＲデータに適用された多くの従来技術を用いて開発された。すべての深層学習方法は、ＭＳＥを用いて訓練された。ＡＵＴＯＭＡＰは、ＧＰＵメモリの要求が高いため、６４×６４の行列サイズのみについてのみ訓練された。図１３Ａ〜Ｄに示すアーキテクチャを有するＮＶＮアプローチに対して、各畳み込みサブブロックに対して３レベルのダウンサンプリング（例えば、図１３Ｄを参照）を有するＵ−ｎｅｔである。Ｎｉｔ＝５ブロックがブロックの数に対して使用され、随伴ＡＨｙをｆｉｎｉｔに対して使用した。ＧＮＶＮアプローチの場合、５層畳み込みニューラルネットワークをｆｓｅｎｓｏｒ−ｃｎｎに対して使用した。各ネットワークは、α＝１０ー４、β１＝０．９、β２＝０．９９９でＡｄａｍオプティマイザを用いて、８，０００エポックに対して訓練された。いずれの方法もＴｅｎｓｏｒＦｌｏｗで実装した。
【０１８１】
評価結果を以下の表１にまとめる。本発明者らによって開発されたＮＶＮおよびＧＮＶＮアプローチは、両方の加速ファクタについて、ベースラインアプローチに対して一貫して優れた。ＡＵＴＯＭＡＰおよびｋ空間Ｕ−ｎｅｔは、いずれも他の方法に及ばなかった。
【表１】
2021532875.tif 000032
表１：加速ファクタ（Ｒ）２および４に対する定量結果
各メトリックについて、平均および標準偏差を計算。
平均二乗誤差（ＭＳＥ）については、値は、１０３によりスケーリングされる。
【０１８２】
ＮＶＮアプローチとＧＮＶＮアプローチの間では、ＮＶＮアプローチはより高いデータ忠実度（より低い平均二乗誤差）を示したが、ＧＮＶＮアプローチはＰＳＮＲとＳＳＩＭに対してより良い値を提供した。Ｒ＝２に対してＴ１加重画像、Ｒ＝４に対してＴ２加重画像のサンプル再構成をそれぞれ図１５Ａおよび図１５Ｂに示す。Ｕーｎｅｔ、ＮＶＮおよびＧＮＶＮの間の全体的な差異は小さかったが、ＮＶＮおよびＧＮＶＮからの再構成は、データ一貫性処理により、より低い誤差をもたらした。結果として、ＧＮＶＮは、全体的な誤差を最小にし、微細な細部をより多く保持した。それにもかかわらず、付加雑音により、特定のレベルのぼやけがすべての画像で観察され得る。再度、単一コイルに対するＵーｎｅｔ（ｋ空間）は定性的に準最適再構成をもたらした。図１５Ｃでは、各ブロックにおけるＮＶＮとＧＮＶＮの出力を可視化している。興味深いことに、圧縮検知法とは異なり、中間画像は最終画像から発散することができる。これは、そのような挙動を強制する制約がなかったため、驚くに値しない。ＮＶＮに対して、おそらくＤＣ−ｉブロックとＣＮＮ−ｉブロックの出力が明示的に結合されているため、各ブロックの出力のほとんどがより真値に近いように見える。比較すると、ＧＮＶＮはすべての中間段階に対してより興味深い特徴を示し、主に高周波情報を強調している。
【０１８３】
これらの実験において、パラメータの数は、ＡＵＴＯＭＡＰ（６４×６４）、Ｕ‐ｎｅｔ、ＮＶＮおよびＧＮＶＮに対して、それぞれ１２８．１Ｍ、２２．０Ｍ、６．６Ｍおよび７．３Ｍであった。再構成速度は、（画像サイズ６４３に対する）ＡＵＴＯＭＡＰ、Ｕ−ｎｅｔ、Ｕ−ｎｅｔ（ｋ空間）、それぞれ画像サイズ１９２３に対するＮＶＮおよびＧＮＶＮに対して、それぞれ、５．９２８±０．０２０ｍｓ、１９．１４５±０．０７２ｍｓ、１９．４５９±０．０７７ｍｓ、４４．９３４±０．０８８ｍｓ、および６５．５２０±０．１００ｍｓであった。
【０１８４】
図１６は、ＭＲＩシステム１６００の例示的な構成要素のブロック図である。図１６の例示的な実施例では、ＭＲＩシステム１６００は、ワークステーション１６０４、コントローラ１６０６、パルスシーケンスストア１６０８、電力管理システム１６１０、および磁気構成要素１６２０を含む。システム１６００は、例示的なものであり、ＭＲＩシステムは、図１６に示される構成要素に加えて、またはその代わりに、任意の好適なタイプの１つ以上の他の構成要素を有し得ると理解されたい。
【０１８５】
図１６に示されているように、磁性構成要素１６２０は、Ｂ０磁石１６２２、シムコイル１６２４、ＲＦ送信および受信コイル１６２６、および勾配コイル１６２８を含む。Ｂ０磁石１６２２は、少なくとも部分的に、主磁界Ｂ０を生成するために使用されてもよい。Ｂ０磁石１６２２は、主磁界（例えば、大体０．２Ｔ以下の低磁界強度）を生成し得る任意の適切なタイプの磁石であってもよく、１つ以上のＢ０コイル、補正コイルなどを含んでもよい。シムコイル１６２４は、磁石１６２２によって生成されるＢ０磁界の均一性を改善するために、磁界に寄与するために使用されてもよい。勾配コイル１６２８は、勾配場を提供するように配置されてもよく、例えば、ＭＲ信号が誘導される場所を局所化するために、３つの実質的に直交する方向（Ｘ、Ｙ、Ｚ）に磁界中の勾配を生成するように配置されてもよい。
【０１８６】
ＲＦ送信コイルおよび受信コイル１６２６は、ＲＦパルスを生成して、磁界Ｂ１を誘導するために使用され得る１つ以上の送信コイルを含んでもよい。送信／受信コイルは、被験者のＭＲ応答を励起し、放出された結果のＭＲ信号を検出するように構成された任意の適切なタイプのＲＦパルスを生成するように構成されてもよい。ＲＦ送信コイルおよび受信コイル１６２６は、１つ以上の送信コイルおよび１つ以上の受信コイルを含んでもよい。送信／受信コイルの構成は、実装で変化し、送信および受信の両方のための単一コイル、送信および受信のための別個のコイル、送信および／または受信のための複数コイル、または単一チャネルまたは並列ＭＲＩシステムを達成するための任意の組み合わせを含んでもよい。したがって、送信／受信磁気構成要素は、ＭＲＩシステムの送信および受信構成要素のための様々な構成を一般的にＴｘ／ＲｘまたはＴｘ／Ｒｘコイルと称されることが多い。
【０１８７】
磁性構成要素１６２０の各々は、任意の適切なタイプであってもよく、任意の適切な方法で構成されてもよい。例えば、いくつかの実施形態では、Ｂ０磁石１６２２は、（例えば、図１７Ａ〜図１７Ｂおよび図１８Ａ〜図１８Ｂを参照して後述されるように）電磁石または永久磁石  であってもよい。別の例として、いくつかの実施形態では、１つ以上の磁性構成要素１６２０（例えば、シムコイル１６２４および／または勾配コイル１６２８）は、積層技術を用いて加工されてもよい。
【０１８８】
電力管理システム１６１０は、低磁界ＭＲＩシステム１６００の１つ以上の構成要素に動作電力を提供するための電子機器を含む。例えば、電力管理システム１６１０は、１つ以上の電源、勾配電力増幅器、送信コイル増幅器、および／または低磁界ＭＲＩシステム１６００の構成要素に通電および動作させるために適切な動作電力を提供するために必要な任意の他の適切な電力電子機器を含んでもよい。
【０１８９】
図１６に示されているように、電力管理システム１６１０は、電源１６１２、増幅器１６１４、送信／受信スイッチ１６１６、および熱管理構成要素１６１８を含む。電源１６１２は、低磁界ＭＲＩシステム１６００の磁気構成要素１６２０に動作電力を提供するための電子機器を含む。例えば、いくつかの実施形態では、電源１６１２は、１つ以上のＢ０コイル（例えば、Ｂ０磁石１６２２）に動作電力を提供して、低磁界ＭＲＩシステム、１つ以上のシムコイル１６２４、および／または１つ以上の勾配コイル１６２８のための主磁界を生成するための電子機器を含んでもよい。一部の実施形態では、電源１６１２は、単極連続波（ＣＷ）電源であってもよいが、任意の適切な電源が使用されてもよい。送信／受信スイッチ１６１６は、ＲＦ送信コイルまたはＲＦ受信コイルのいずれが動作しているかを選択するために使用されてもよい。
【０１９０】
いくつかの実施形態では、増幅器１６１４は、１つ以上のＲＦ受信コイル（例えば、コイル１６２４）によって検出されたＭＲ信号を増幅する１つ以上のＲＦ受信（Ｒｘ）プリアンプ、１つ以上のＲＦ送信コイル（例えば、コイル１６２６）に電力を提供するように構成されている１つ以上のＲＦ送信（Ｔｘ）増幅器、１つ以上の勾配コイル（例えば、勾配コイル１６２８）に電力を提供するように構成されている１つ以上の勾配電力増幅器、および／または１つ以上のシムコイル（例えば、シムコイル１６２４）に電力を提供するように構成されている１つ以上のシム増幅器を含んでもよい。
【０１９１】
いくつかの実施形態では、熱管理構成要素１６１８は、低磁界ＭＲＩシステム１６００の構成要素の冷却を提供し、低磁界ＭＲＩシステム１６００の１つ以上の構成要素によって生成される熱エネルギーのこれらの構成要素からの移動を容易にすることによって、それを行うように構成されてもよい。熱管理構成要素１６１８は、限定されるわけではないが、Ｂ０コイル、勾配コイル、シムコイル、および／または送信／受信コイルを含む、熱を生成するＭＲＩ構成要素と一体化されるか、またはＭＲＩ構成要素に非常に近接して配置されてもよい、水ベースまたは空気ベースの冷却を実行する構成要素を含んでもよい。熱管理構成要素１６１８は、低磁界ＭＲＩシステム１６００の構成要素から熱を移動させるために、空気および水を含むが、これらに限定されない任意の適切な熱伝達媒体を含んでもよい。
【０１９２】
図１６に示されているように、低磁界ＭＲＩシステム１６００は、電力管理システム１６１０に命令を送信し、電力管理システム１６１０から情報を受信するための制御電子機器を有するコントローラ１６０６（コンソールとも呼ばれる）を含む。コントローラ１６０６は、所望のシーケンスで磁気構成要素１６２０を動作させるために電力管理システム１６１０に送信された命令を決定するために使用される、１つ以上のパルスシーケンスを実装するように構成されてもよい。例えば、コントローラ１６０６は、ｂＳＳＦＰ（ｂａｌａｎｃｅｄ  ｓｔｅａｄｙ−ｓｔａｔｅ  ｆｒｅｅ  ｐｒｅｃｅｓｓｉｏｎ）パルスシーケンス、低磁界勾配エコーパルスシーケンス、低磁界スピンエコーパルスシーケンス、低磁界反転リカバリパルスシーケンス、動脈スピンラベリング、拡散加重撮像（ＤＷＩ）、および／または任意の他の適切なパルスシーケンスに従って、磁気構成要素１６２０を動作させるように電力管理システム１６１０を制御するように構成されてもよい。コントローラ１６０６は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの任意の適切な組み合わせとして実装されてもよく、本明細書で提供される開示の態様がこの点において限定されない。
【０１９３】
いくつかの実施形態において、コントローラ１６０６は、１つ以上のパルスシーケンスの各々についての情報を記憶するパルスシーケンスリポジトリ１６０８からパルスシーケンスに関する情報を得ることによって、パルスシーケンスを実装するように構成されてもよい。特定のパルスシーケンスについてパルスシーケンスリポジトリ１６０８によって記憶される情報は、コントローラ１６０６が特定のパルスシーケンスを実装することを可能にする任意の適切な情報であり得る。例えば、パルスシーケンスについてパルスシーケンスリポジトリ１６０８に記憶される情報は、パルスシーケンスに従って磁気構成要素１６２０を動作させるための１つ以上のパラメータ（例えば、ＲＦ送信および受信コイル１６２６を動作させるためのパラメータ、勾配コイル１６２８を動作させるためのパラメータなど）、パルスシーケンスに従って電力管理システム１６１０を動作させるための１つ以上のパラメータ、コントローラ１６０６によって実行されるときに、コントローラ１６０６に、システム１６００がパルスシーケンス従って動作するように制御させる命令を含む１つ以上のプログラム、および／または任意の他の適切な情報を含んでもよい。パルスシーケンスリポジトリ１６０８に記憶された情報は、１つ以上の非一時記憶媒体に記憶されてもよい。
【０１９４】
図１６に示されているように、いくつかの実施形態では、コントローラ１６０６は、受信されたＭＲデータ（いくつかの実施形態では、空間周波数ドメインＭＲデータであり得る）を処理するようにプログラムされた計算デバイス１６０４と対話してもよい。例えば、計算デバイス１６０４は、受信されたＭＲデータを処理して、空間周波数ＭＲデータからＭＲ画像を生成するためにニューラルネットワークモデルを使用する本明細書で説明される任意の技術を使用することを含む、任意の適切な画像再構成プロセスを用いて、１つ以上のＭＲ画像を生成してもよい。例えば、計算デバイス１６０４は、図２Ａ、２Ｂ、２Ｃ、２Ｄおよび１４を参照して、本明細書で説明される任意のプロセスを実行してもよい。コントローラ１６０６は、計算デバイスによるデータの処理のために、１つ以上のパルスシーケンスに関する情報を計算デバイス１６０４に提供してもよい。例えば、コントローラ１６０６は、１つ以上のパルスシーケンスに関する情報を計算デバイス１６０４に提供してもよく、計算デバイスは、少なくとも部分的に、提供された情報に基づいて画像再構成プロセスを実行してもよい。
【０１９５】
いくつかの実施形態では、計算デバイス１６０４は、取得されたＭＲデータを処理し、画像化される被験者の１つ以上の画像を生成するように構成されている任意の電子デバイス（複数可）であってもよい。いくつかの実施形態では、計算デバイス１６０４は、デスクトップコンピュータ、サーバ、ラックマウントされたコンピュータ、またはＭＲデータを処理し、撮像される被験者の１つ以上の画像を生成するように構成され得る任意の他の適切な固定電子デバイスなどの固定電子デバイスを含んでもよい。代替的に、計算デバイス１６０４は、スマートフォン、パーソナルデジタルアシスタント、ラップトップコンピュータ、タブレットコンピュータ、またはＭＲデータを処理し、画像化されるの１つ以上の画像を生成するように構成され得る任意の他のポータブルデバイスなどのポータブルデバイスであってもよい。いくつかの実施形態において、計算デバイス１３０４は、任意の適切なタイプの複数の計算デバイスを含んでもよく、本明細書で説明される技術の態様がこの点において限定されない。
【０１９６】
いくつかの実施形態では、ユーザ１６０２は、低磁界ＭＲシステム１６００の態様を制御する（例えば、システム１６００が特定のパルスシーケンスに従って動作するようにプログラムする、システム１６００の１つ以上のパラメータを調整する、など）ため、および／または低磁界ＭＲシステム１６００によって得られた画像を見るために、計算デバイス１６０４と対話してもよい。いくつかの実施形態によれば、計算デバイス１６０４およびコントローラ１６０６は、単一のコントローラを形成するが、他の実施形態では、計算デバイス１６０４およびコントローラ１６０６は、各々、１つ以上のコントローラを含む。本明細書で説明される技術の態様は、特定の実装またはアーキテクチャで使用するために限定されないため、計算デバイス１６０４およびコントローラ１６０６によって実行される機能性は、１つ以上のコントローラの任意の組み合わせ上で任意の方法で分散されてもよいと理解されたい。
【０１９７】
図１７Ａおよび１７Ｂは、本明細書で説明される技術のいくつかの実施形態に従った、Ｂ０磁石のための双平面永久磁石構成を示す。図１７Ａは、いくつかの実施形態に従って、永久Ｂ０磁石２１００を示す。図示の実施形態では、Ｂ０磁石２１００は、双平面形状に配置された永久磁石２１１０ａおよび２１１０ｂと、永久磁石によって生成された電磁束を捕捉し、永久磁石２１１０ａと２１１０ｂとの間の磁束密度を増加させるために、磁束を対向する永久磁石に移動させるヨーク２１２０とによって形成される。永久磁石２１１０ａおよび２１１０ｂの各々は、複数の同心の永久磁石リングから形成される。特に、図１７Ａに見えるように、永久磁石２１１０ｂは、永久磁石２１１４ａの外側リング、永久磁石２１１４ｂの中間リング、永久磁石２１１４ｃの内側リング、および中心に永久磁石ディスク２１１４ｄを含む。４つの同心の永久磁石リングで示されるが、永久磁石２１１０ｂ（および永久磁石２１１０ａ）は、任意の適切な数の永久磁石リングを有してもよく、本明細書で説明される技術の態様がこの点において限定されない。永久磁石２１１０ａは、永久磁石２１１０ｂと実質的に同一に形成されてもよく、例えば、永久磁石２１１０ｂと同じセットの永久磁石リングを含んでもよい。
【０１９８】
使用される永久磁石材料は、システムの設計要件に応じて選択されてもよい。例えば、いくつかの実施形態によれば、永久磁石（またはその一部分）は、ＮｄＦｅＢで作製されてもよく、これは、いったん磁化された材料の単位体積当たりに比較的高い磁界を生成する。いくつかの実施形態では、ＳｍＣｏ材料が、永久磁石またはその一部分を形成するために使用される。ＮｄＦｅＢはより高い磁界強度を生成する（一般に、ＳｍＣｏより安価である）が、ＳｍＣｏはより少ない熱ドリフトを呈し、温度変動に直面してもより安定な磁界を提供する。他のタイプの永久磁石材料も同様に用いられてもよく、本明細書で説明される技術の態様がこの点において限定されない。一般に、使用される永久磁石材料のタイプ（複数可）は、所与のＢ０磁石実装の磁界強度、温度安定性、重量、コスト、および／または使用要件の容易性に少なくとも部分的に依存する。
【０１９９】
いくつかの実施形態では、永久磁石リングは、永久磁石２１１０ａと２１１０ｂとの間のイメージング領域（視野）に所望の強度の均一な磁界を生成するようにサイズ決定され、配置される。図１７Ａに示されている例示的な実施形態では、各永久磁石リングは複数のセグメントを含み、各セグメントは、半径方向に積層され、周囲に関して互いに隣接して位置決めされた複数の永久磁石ブロックを用いて形成されて、それぞれのリングを形成する。本発明者らは、各永久磁石の幅（リングに接する方向）を変化させることによって、より少ない材料を使用しながら、有用な空間の無駄をより少なくすることができると理解した。例えば、有用な磁界を生成しないスタック間の空間は、ブロックの幅を変化させることによって、例えば、ブロックの半径方向位置の関数として減少させることができ、これにより、無駄な空間を減少させ、所与の空間において生成し得る磁界の量を最大化するためにより密着を可能にする。ブロックの寸法はまた、所望の強度および均一性の磁界の生成を容易にするために、任意の所望の方法で変化させてもよい。例えば、いくつかの実施形態において、異なるリングのブロックの高さは、互いに異なっていてもよいし、および／または特定のリング内の１つ以上のブロックの高さは、所望の強度および均一性の磁界を達成するために互いに異なっていてもよい。
【０２００】
図１７Ａに示されるように、Ｂ０磁石２１００は、永久磁石２１１０ａおよび２１１０ｂによって生成する磁束を捕捉し、Ｂ０磁石の反対側にそれを指向して、永久磁石２１１０ａおよび２１１０ｂの間の磁束密度を増加させ、Ｂ０磁石の視野内の磁界強度を増加させるように構成および配置されているヨーク２１２０をさらに含む。磁束を捕捉し、それを永久磁石２１１０ａと２１１０ｂとの間の領域に指向することによって、より少ない永久磁石材料を用いて、所望の磁界強度を達成することができ、Ｂ０磁石２１００のサイズ、重量、およびコストを低減する。代替的には、所与の永久磁石に対して、磁界強度を増加させることができ、永久磁石材料の量を増加させる必要なく、システムのＳＮＲを改善する。例示的なＢ０磁石２１００について、ヨーク２１２０は、フレーム２１２２と、プレート２１２４ａおよび２１２４ｂとを含む。プレート２１２４ａおよび２１２４ｂは、永久磁石２１１０ａおよび２１１０ｂによって生成された磁束を捕捉し、それをヨークの磁気戻り経路を介して循環させるようにフレーム２１２２に指向して、Ｂ０磁石の視野内の磁束密度を増加させてもよい。ヨーク２１２０は、ヨークに所望の磁気特性を提供するために、所望の強磁性材料、例えば、低炭素鋼、ＣｏＦｅおよび／またはシリコン鋼などで構築されてもよい。いくつかの実施形態では、プレート２１２４ａおよび２１２４ｂ（および／またはフレーム２１２２またはその一部）は、勾配コイルが最も一般的に渦電流を誘発し得る領域において、シリコン鋼などで構築されてもよい。
【０２０１】
例示的なフレーム２１２２は、それぞれプレート２１２４ａおよび２１２４ｂに取り付けられるアーム２１２３ａおよび２１２３ｂと、永久磁石によって生成する磁束の磁気戻り経路を提供する支持体２１２５ａおよび２１２５ｂとを含む。アームは、一般に、永久磁石によって生成する磁束の戻り経路のための十分な断面を提供しながら、永久磁石を支持するのに必要な材料の量を低減するように設計される。フレーム２１２２は、Ｂ０磁石によって生成されるＢ０磁界に対する磁気戻り経路内に２つの支持体を有する。支持体２１２５ａおよび２１２５ｂは、間に形成されたギャップ２１２７を用いて生成され、永久磁石によって生成する磁束のための十分な断面を提供しながら、フレームに対する安定性および／または構造に対する軽量性の尺度を提供する。例えば、磁束の戻り経路に必要な断面は、２つの支持構造の間で分割することができ、フレームの構造的完全性を増加させながら、十分な戻り経路を提供する。
【０２０２】
図１７Ｂは、いくつかの実施形態に従う、Ｂ０磁石２２００を示す。Ｂ０磁石２２００は、図１７Ａに示されているＢ０磁石２１００と設計構成要素を共有してもよい。特に、Ｂ０磁石２２００は、永久磁石２２１０ａと２２１０ｂとの間の磁束密度を増加させるために、永久磁石によって生成される電磁束を捕捉し、対向する永久磁石に磁束を移動させるために、ヨーク２２２０が結合された双平面形状に配置された永久磁石２２１０ａと２２１０ｂとによって形成される。永久磁石２２１０ａおよび２２１０ｂの各々は、永久磁石２２１４ａの外側リングと、永久磁石２２１４ｂの中間リングと、永久磁石２２１４ｃの内側リングと、中心に永久磁石ディスク２２１４ｄとを含む永久磁石２２１０ｂによって示されるように、複数の同心の永久磁石から形成される。永久磁石２２１０ａは、永久磁石２２１０ｂと同じセットの永久磁石要素を含んでもよい。使用される永久磁石材料は、システムの設計要件に応じて選択され得る（例えば、所望の特性に応じて、ＮｄＦｅＢ、ＳｍＣｏなど）。
【０２０３】
永久磁石リングは、永久磁石２２１０ａと２２１０ｂとの間の中央領域（視野）に所望の強度の均一な磁界を生成するようにサイズが決定され、配置される。図１７Ｂの例示的な実施形態では、各永久磁石リングは、所望のＢ０磁界を生成するようにサイズが決定され、位置決めされた複数の円弧セグメントを含む。図１７Ａに示されているヨーク２１２０と同様に、ヨーク２２２０は、永久磁石２２１０ａおよび２２１０ｂによって生成した磁束を捕捉し、それをＢ０磁石の反対側に指向して、永久磁石２２１０ａおよび２２１０ｂの間の磁束密度を増加させるように構成および配置される。それにより、ヨーク２２２０は、より小さい永久磁石材料を有するＢ０磁石の視野内の磁界強度を増加させ、Ｂ０磁石のサイズ、重量、およびコストを低減する。ヨーク２２２０はまた、フレーム２２２２と、プレート２２２４ａおよび２２２４ｂとを含み、これらは、ヨーク２２２０に関連して上述したものと同様に、永久磁石２２１０ａによって生成し、ヨークの磁気戻り経路を介して磁束を捕捉し、循環させ、Ｂ０磁石の視野内の磁束密度を増加させる。ヨーク２２２０の構造は、例えば、Ｂ０磁石のコストおよび重量を低減するために使用される材料の量を最小化しつつ、永久磁石によって生成する磁束を収容し、十分な安定性を提供するのに十分な材料を提供するために、上述の構造と同様であってもよい。
【０２０４】
永久Ｂ０磁石は、いったん磁化されると、それ自身の永久磁界を生成するので、その磁界を生成するために永久Ｂ０磁石を動作させるために電力は必要とされない。その結果、ＭＲＩシステムの全体的な電力消費に対する顕著な（しばしば支配的な）寄与因子は、（例えば、電力を必要とする電磁石とは対照的に）永久磁石の使用によって排除され、主電源（例えば、標準的な壁コンセントまたは一般的な大型家電製品コンセントを介して）を用いて電力を供給することができるＭＲＩシステムの開発を容易にする。上述のように、本発明者らは、実質的に任意の環境に展開することができ、イメージング処置を受ける患者に持ち込むことができる低電力のポータブル低磁界ＭＲＩシステムを開発した。このようにして、救急室、集中治療室、手術室、および他の多くの場所の患者が、ＭＲＩが従来利用できない状況においてＭＲＩから利益を得ることができる。
【０２０５】
図１８Ａおよび１８Ｂは、本明細書で説明される技術のいくつかの実施形態に従って、ポータブルＭＲＩシステム３８００の図を示す。ポータブルＭＲＩシステム３８００は、撮像領域内の磁束密度を増加させるために、ヨーク３８２０が結合した上部磁石３８１０ａおよび下部磁石３８１０ｂによって部分的に形成されたＢ０磁石３８１０を含む。Ｂ０磁石３８１０は、勾配コイル３８１５（例えば、その全体が参照により本明細書に組み込まれる、２０１５年９月４日に出願された、米国特許出願第１４／８４５，６５２号であって、「Ｌｏｗ  Ｆｉｅｌｄ  Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ  Ｍｅｔｈｏｄｓ  ａｎｄ  Ａｐｐａｒａｔｕｓ」と題するものに記載された任意の勾配コイル）と共に磁石ハウジング３８１２内に収容されてもよい。いくつかの実施形態では、Ｂ０磁石３８１０は、電磁石を含む。いくつかの実施形態では、Ｂ０磁石３８１０は、永久磁石（例えば、その全体が参照により本明細書に組み込まれる、２０１７年６月３０日に出願された、米国特許出願第１５／６４０，３６９号であって、「ＬＯＷ−ＦＩＥＬＤ  ＭＡＧＮＥＴＩＣ  ＲＥＳＯＮＡＮＣＥ  ＩＭＡＧＩＮＧ  ＭＥＴＨＯＤＳ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ」と題するものに記載された任意の永久磁石）を含む。例えば、いくつかの実施形態では、Ｂ０磁石３８１０は、図１７Ａを参照して説明された永久磁石２１００または図１７Ｂを参照して説明された永久磁石２２００であってもよい。
【０２０６】
例示的なポータブルＭＲＩシステム３８００は、ＭＲＩシステムを動作させる電子機器を収容するベース３８５０をさらに含む。例えば、ベース３８５０は、限定されるわけではないが、１つ以上の勾配電力増幅器、オンシステムコンピュータ、電力分配ユニット、１つ以上の電源、および／または主電源（例えば、標準壁コンセントおよび／または大型家電コンセントへの接続を介して）ＭＲＩシステムを動作させるように構成された任意の他の電力構成要素を含む、電子機器を収容してもよい。例えば、ベース３８７０は、本明細書で説明されるような低電力構成要素を収容してもよく、少なくとも部分的に、ポータブルＭＲＩシステムが容易に入手可能な壁コンセントから電力供給されることを可能にする。したがって、ポータブルＭＲＩシステム３８００を患者の近くに持っていって、患者の近くにある壁コンセントに差し込むことができる。
【０２０７】
ポータブルＭＲＩシステム３８００は、多様な構成で開閉し、位置決めすることができる可動スライド３８６０をさらに含む。スライド３８６０は、任意の適切な導電性材料または磁気材料から作製され得る電磁シールド３８６５を含み、これは、ポータブルＭＲＩシステムの動作環境において電磁ノイズを減衰させるために可動式シールドを形成し、撮像領域を少なくともいくつかの電磁ノイズからシールドする。本明細書で使用される場合、「電磁シールド」という用語は、対象のスペクトルの電磁界を減衰させ、対象の空間、物体および／または構成要素をシールドするように位置決めされるか、または配置された導電性材料または磁性材料を指す。ＭＲＩシステムの文脈において、電磁シールドは、ＭＲＩシステムの電子構成要素（例えば、電力構成要素、ケーブルなど）をシールドするため、またはＭＲＩシステムの撮像領域（例えば、視野）をシールドするため、またはその両方のために使用されてもよい。
【０２０８】
電磁シールドから達成される減衰の程度は、使用されるタイプの材料、材料の厚さ、電磁シールドが望まれるまたは必要とされる周波数スペクトル、電磁シールドにおける開口のサイズおよび形状（例えば、導電メッシュにおける空間のサイズ、シールドされていない部分またはシールドにおける間隙のサイズなど）、および／または入射電磁界に対する開口の配向を含む多くのファクタに依存する。したがって、電磁シールドとは、一般に、少なくとも一部の電磁放射線を減衰させるように作用し、少なくとも一部の電磁放射線を減衰させることによって、所与の空間、物体または構成要素を少なくとも部分的にシールドするように位置付けられた、任意の導電性バリアまたは磁気バリアを指す。
【０２０９】
シールド（電磁界の減衰）が望まれる周波数スペクトルは、シールドされるものに応じて異なってもよいと理解されたい。例えば、特定の電子構成要素のための電磁シールドは、ＭＲＩシステムの撮像領域のための電磁シールドとは異なる周波数を減衰させるように構成されてもよい。撮像領域に関して、対象のスペクトルは、ＭＲＩシステムがＭＲ応答を励起および検出する能力に干渉する、影響する、および／または劣化させる周波数を含む。一般に、ＭＲＩシステムの撮像領域に対する対象のスペクトルは、受信システムが検出するように構成されているか、または検出可能である所与のＢ０磁界強度における公称動作周波数（すなわち、ラーモア周波数）に関する周波数に対応する。本明細書では、このスペクトルをＭＲＩシステムのための動作スペクトルと呼ぶ。したがって、動作スペクトルに対してシールドを提供する電磁シールドは、ＭＲＩシステムの撮像領域の少なくとも一部に対して、少なくとも動作スペクトル内の周波数を減衰させるように配置または位置決めされた導電性または磁性材料を指す。
【０２１０】
図１８Ａおよび１８Ｂに示されているポータブルＭＲＩシステム３８００では、したがって、可動シールドは、異なる配置でシールドを提供するように構成可能であり、これは、患者を収容し、患者にアクセスを提供し、および／または所定の画像化プロトコルに従って、必要に応じて調整することができる。例えば、脳スキャンのような撮像手順の場合、一旦患者が位置決めされると、スライド３９６０を例えば、ハンドル３８６２を用いて閉じて、患者の上部胴体を収容する開口部を除いて、撮像領域の周囲に電磁シールド３９６５を提供することができる。別の例として、膝スキャンのような撮像手順の場合、スライド３９６０は、患者の脚（複数可）を収容するために両側に開口部を有するように配置されてもよい。したがって、可動シールドは、シールドを、撮像手順に適した配置に構成することを可能にし、撮像領域内で患者を適切に位置決めすることを容易にする。
【０２１１】
いくつかの実施形態では、１つ以上のノイズ低減および／または補償技術を含むノイズ低減システムを実行して、シールド３８６５によってブロックされない、または十分に減衰されない電磁ノイズの少なくとも一部を抑制してもよい。特に、本発明者らは、ＭＲＩシステムが位置する動作環境において、電磁ノイズを抑制、回避および／または拒絶するように構成されているノイズ低減システムを開発した。いくつかの実施形態によれば、これらのノイズ抑制技術は、スライドが配置され得る種々のシールド構成における動作を容易にするために、可動シールドと共に動作する。例えば、スライド３９６０が開放されると、電磁ノイズのレベルの増加が、開口部を介して撮像領域に入る可能性が高い。その結果、ノイズ抑制構成要素は、増加した電磁ノイズレベルを検出し、それに応じてノイズ抑制および／または回避応答を適応させる。本明細書で説明されるノイズ抑制および／または回避技術の動的性質のために、ノイズ低減システムは、可動シールドの異なる配置から生じるものを含む、変化するノイズ条件に応答するように構成されている。したがって、いくつかの実施形態に従ったノイズ低減システムは、実質的にシールドのない構成（例えば、可動シールドのない構成）を含む、利用され得るシールド構成のいずれかにおいて、ＭＲＩシステムの動作環境における電磁ノイズを抑制するために、可動シールドと協調して動作するように構成されてもよい。
【０２１２】
スライドが位置付けられる構成にかかわらず、可動シールドがシールドを提供することを確実にするために、電気ガスケットが、可動シールドの周囲に沿って連続的なシールドを提供するように配置されてもよい。例えば、図１８Ｂに示すように、電気ガスケット３８６７ａおよび３８６７ｂは、スライド３８６０と磁石ハウジングとの間のインターフェースに提供されて、このインターフェースに沿って連続的なシールドを提供するように維持されてもよい。いくつかの実施形態によれば、電気ガスケットは、ベリリウムフィンガーまたはベリリウム−銅フィンガーなど（例えば、アルミニウムガスケット）であり、スライド３８６０が撮像領域の周囲の所望の位置に移動される間、および移動した後に、シールド３８６５とグラウンドとの間の電気的接続を維持する。
【０２１３】
輸送を容易にするために、モータ駆動構成要素３８８０は、例えば、ジョイスティックまたはＭＲＩシステム上に設けられるか、もしくはＭＲＩシステムから離れて設けられる他の制御メカニズムなどの制御を用いて、ポータブルＭＲＩシステムを位置から位置へ駆動することを可能とするように提供される。このようにして、ポータブルＭＲＩシステム３８００は、患者に搬送され、ベッドサイドに操縦されて、撮像を実行することができる。
【０２１４】
本明細書で説明されるポータブルＭＲＩシステムは、ノートパッド、タブレット、スマートフォン等のようなポータブル電子デバイスから動作されてもよい。例えば、タブレットコンピュータ３８７５を使用して、ポータブルＭＲＩシステムを動作させ、所望の撮像プロトコルを動作させ、得られた画像を見てもよい。タブレットコンピュータ３８７５は、データ共有、遠隔医療、および／またはデータセットに対する深層学習のための画像を転送するために、安全なクラウドに接続されてもよい。参照によりその全体が本明細書に組み込まれている、２０１５年９月４日に出願された米国特許出願第１４／８４６１５８号であって、「Ａｕｔｏｍａｔｉｃ  Ｃｏｎｆｉｇｕｒａｔｉｏｎ  ｏｆ  ａ  Ｌｏｗ  Ｆｉｅｌｄ  Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ  Ｓｙｓｔｅｍ」と題するものに記載されたネットワーク接続性を利用する技術のいずれも、本明細書で説明されるポータブルＭＲＩシステムに関連して利用されてもよい。
【０２１５】
上述のように、図１８Ｃは、脳スキャンを実行するために患者のベッドサイドに搬送されたポータブルＭＲＩシステム３９００を示す。図１８Ｄは、患者の膝のスキャンを実行するために患者のベッドサイドに搬送されたポータブルＭＲＩシステム３９００を示す。図１８Ｄに示されるように、シールド３９６０は、電気ガスケット３８６７ｃを有する。
【０２１６】
図１８Ａ〜１８Ｄに示される電磁シールドは、例示的なものであり、ＭＲＩシステムにシールドを提供することは、本明細書で説明される例示の電磁シールドに限定されないと理解されたい。電磁シールドは、任意の適切な材料を用いて任意の適切な方法で実装することができる。例えば、電磁シールドは、可動性「カーテン」を提供して、撮像領域をシールドすることができる導電メッシュ、布などを用いて形成されてもよい。電磁シールドは、電磁気的干渉から撮像領域をシールドする固定、可動または構成可能な構成要素として、ＭＲＩシステムに結合された１つ以上の導電性ストラップ（例えば、導電性材料の１つ以上ストリップ）を用いて形成されてもよく、そのいくつかの例は、以下でさらに詳細に説明する。電磁シールドは、ドア、スライド、またはハウジングの任意の可動部分もしくは固定部分に材料を埋め込むことによって提供されてもよい。電磁シールドは、固定構成要素または可動構成要素として配備されてもよく、態様がこの点において限定されない。
【０２１７】
図１９は、本明細書で説明される実施形態が実装され得る例示的なコンピュータシステムの図である。本明細書で提供される開示の実施形態のいずれかに関連して使用され得るコンピュータシステム１９００の例示的な実施形態が、図１９に示される。例えば、図２Ａ〜２Ｄおよび１４を参照して説明されるプロセスは、コンピュータシステム１９００上および／またはこれを用いて実装されてもよい。別の例として、コンピュータシステム１９００は、本明細書で説明される任意のニューラルネットワーク統計モデルを訓練および／または使用するために使用されてもよい。コンピュータシステム１９００は、１つ以上のプロセッサ１９１０と、非一時的コンピュータ可読記憶媒体（例えば、メモリ１９２０および１つ以上の不揮発性記憶媒体１９３０）を含む１つ以上の製造物品とを含んでもよい。プロセッサ１９１０は、メモリ１９２０および不揮発性記憶装置デバイス１９３０へのデータの書き込みおよびそれらからのデータの読み出しを、任意の適切な方法で制御してもよく、本明細書において提供される開示の態様がこの点において限定されないため。本明細書で説明される機能のいずれかを実行するために、プロセッサ１９１０は、プロセッサ１９１０による実行のためのプロセッサ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体と機能し得る１つ以上の非一時的コンピュータ可読記憶媒体（例えば、メモリ１９２０）に記憶された１つ以上のプロセッサ実行可能命令を実行してもよい。
【０２１８】
このように、本開示に明示された技術のいくつかの態様および実施形態を説明したが、種々の変更、修正、および改良が当業者に容易に生じると理解されよう。このような変更、修正、および改良が、本明細書で説明された技術の精神および範囲内にあることを意図している。例えば、当業者であれば、本明細書で説明された機能を実行し、および／または結果および／または１つ以上の利点を得るための様々な他の手段および／または構造を容易に想定することができ、そのようなバリエーションおよび／または修正の各々は、本明細書で説明された実施形態の範囲内であるとみなされる。当業者は、本明細書で説明された特定の実施形態に対する多くの均等を、ルーチンの実験のみを用いて認識するか、または確認することができるであろう。したがって、前述の実施形態は、例示としてのみ提示されており、添付の特許請求の範囲およびその均等の範囲内で、発明的実施形態は、具体的に説明されている以外の方法で実施され得ると理解されよう。追加的に、本明細書で説明される２つ以上の特徴、システム、物品、材料、キット、および／または方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キット、および／または方法が相互に矛盾しない場合、本開示の範囲内に含まれる。
【０２１９】
上述の実施形態は、多数の方法のいずれかで実装することができる。プロセスまたは方法の実行を伴う本開示の１つ以上の態様および実施形態は、デバイス（例えば、コンピュータ、プロセッサ、または他のデバイス）によって実行可能なプログラム命令を利用して、プロセスもしくは方法を実行するか、またはその実行を制御してもよい。この点に関し、種々な発明的概念は、１つ以上のプログラムで符号化されたコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）（例えば、コンピュータメモリ、１つ以上のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイもしくは他の半導体デバイスにおける回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよく、１つ以上のプログラムは、１つ以上のコンピュータまたは他のプロセッサで実行されるときに、上述した様々な実施形態の１つ以上を実装する方法を実行する。コンピュータ可読媒体は、プログラム（複数可）が、１つ以上の異なるコンピュータまたは他のプロセッサにロードされて、上述の態様のうちの様々な態様を実装することができるように、可搬性とすることができる。いくつかの実施形態において、コンピュータ可読媒体は、非一時的媒体であってもよい。
【０２２０】
「プログラム」または「ソフトウェア」という用語は、本明細書では、上述のように種々の態様を実装するためにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すように一般的な意味で使用される。追加的に、一態様によれば、１つ以上のコンピュータプログラムは、本開示の方法実行するように実行されるときに、単一のコンピュータまたはプロセッサ上に存在する必要はなく、本開示の様々な態様を実装するために、複数の異なるコンピュータまたはプロセッサの間にモジュール化された形で分散してもよいと理解されたい。
【０２２１】
コンピュータ実行可能命令は、１つ以上のコンピュータまたは他のデバイスによって実行されるプログラムモジュールのような多くの形態であってもよい。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象的なデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。典型的には、プログラムモジュールの機能は、様々な実施形態において所望されるように、組み合わされてもよく、または分散されてもよい。
【０２２２】
また、データ構造は、任意の好適な形態で、コンピュータ可読媒体に記憶されてもよい。説明を簡単にするために、データ構造は、データ構造内の場所を通して関連するフィールドを有するように示されてもよい。このような関係は、同様に、フィールド間の関係を搬送するコンピュータ可読媒体内の位置を有するフィールドにストレージを割り当てることによって達成されてもよい。しかし、任意の適切なメカニズムを使用して用いて、データ構造のフィールド内の情報間の関係を確立してもよく、これには、データ要素間の関係を確立するポインタ、タグ、または他のメカニズムの使用したものが含まれる。
【０２２３】
ソフトウェアで実行される場合、ソフトウェアコードは、単一のコンピュータで提供されるか、または複数のコンピュータ間で分散されるかにかかわらず、任意の適切なプロセッサまたはプロセッサのコレクションで実行することができる。
【０２２４】
さらに、コンピュータは、ラックマウントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータのような異なる形式のいずれかで、非限定な例として具現化されてもよいと理解されたい。追加的に、コンピュータは、一般にコンピュータとはみなされないが、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、または他の任意の適切なポータブルまたは固定電子デバイスを含む適切な処理能力を有するデバイスに埋め込まれてもよい。
【０２２５】
また、コンピュータは、１つ以上の入出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用することができる。ユーザインターフェースを提供するために使用することができる出力デバイスの例としては、出力を視覚的に提示するためのプリンタまたは表示スクリーン、および出力を聴覚的に提示するためのスピーカまたは他の音発生デバイスが挙げられる。ユーザインターフェースに使用できる入力デバイスの例としては、キーボード、マウス、タッチパッド、およびデジタルタブレットのようなポインティングデバイスが挙げられる。別の例として、コンピュータは、音声認識または他の可聴フォーマットを通して入力情報を受信してもよい。
【０２２６】
このようなコンピュータは、ローカル・エリア・ネットワークまたは企業ネットワークなどのワイド・エリア・ネットワーク、およびインテリジェント・ネットワーク（ＩＮ）またはインターネットを含む、任意の適切な形態の１つ以上のネットワークによって相互接続されてもよい。このようなネットワークは、任意の適切な技術に基づいてもよく、任意の適切なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワークまたは光ファイバネットワークを含んでもよい。
【０２２７】
また、上述のように、いくつかの態様は、１つ以上の方法として具現化されてもよい。方法の一部として実行されるアクトは、任意の適切な方法で命令されてもよい。したがって、実施形態は、例示的な実施形態において逐次的なアクトとして示されているにもかかわらず、いくつかのアクトを同時に実行することを含んでもよく、図示されたものとは異なる順序でアクトが実行されるように構成されてもよい。
【０２２８】
すべての定義は、本明細書中で定義および使用されるように、辞書的定義、参照により組み込まれた文書中の定義、および／または定義された用語の通常の意味を支配すると理解されたい。
【０２２９】
不定冠詞「ａ」および「ａｎ」は、明細書および特許請求の範囲において使用されるように、明確に反対のことが示されない限り、「少なくとも１つ」を意味すると理解されたい。
【０２３０】
本明細書および特許請求の範囲において本明細書中で使用される「および／または」という語句は、そのように連結された要素の「いずれかまたは両方」を意味すると理解されるべきである。すなわち、要素は、いくつかの場合では、同時に存在し、他の場合では、別々に存在する。「および／または」で列挙された複数の要素は、同じの態様、すなわち、連結された要素の「１つ以上」と解釈されるべきである。「および／または」句によって特に識別された要素以外の他の要素は、特に識別されたそれらの要素に関連するかどうかにかかわらず、任意選択で存在してもよい。したがって、非限定的な例として、「備える（ｃｏｍｐｒｉｓｉｎｇ）」のようなオープンエンドの文言と共に使用されるときに、「Ａおよび／またはＢ」に言及すると、一実施形態においては、Ａのみ（任意選択でＢ以外の要素を含む）、別の実施形態においては、Ｂのみ（任意選択でＡ以外の要素を含む）、更に別の実施形態においては、ＡおよびＢの両方（任意選択で別の要素を含む）を指すことができる。
【０２３１】
本明細書および特許請求の範囲で使用される場合、１つ以上の要素に関連する「少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ）」という語句は、要素のリストにおける要素のうちの任意の１つ以上から選択される少なくとも１つの要素を意味すると理解されるべきであるが、要素のリスト中に列挙されている特定の各要素の少なくとも１つを必ずしも含むわけではなく、要素のリストにおける要素の任意の組み合わせを排除しない。この定義はまた、要素のリスト中で特に識別された要素に関連しているかどうかにかかわらず、「少なくとも１つ」という語句が指す要素以外に要素が任意に提示されてもよいことを可能にする。したがって、非限定的な実施例として、「ＡおよびＢの少なくとも１つ」（等価的に「ＡまたはＢのうちの少なくとも１つ」、または等価的に「Ａおよび／またはＢのうちの少なくとも１つ」）は、１つの実施形態では、任意選択で複数を含む少なくとも１つの要素ＢなしのＡ（任意選択で、Ｂ以外の要素を含む）、別の実施形態では、任意選択で複数を含む少なくとも１つの要素ＡなしのＢ（任意選択で、Ａ以外の要素を含む）、さらに別の実施形態では、任意選択で複数を含む少なくとも１つの要素Ａおよび任意選択で複数を含む少なくとも１つの要素Ｂ（任意選択で、他の要素を含む）などを指すことができる。
【０２３２】
特許請求の範囲、および上記の明細書において、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「搬送する（ｃａｒｒｙｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、「保持する（ｈｏｌｄｉｎｇ）」、「から構成される（ｃｏｍｐｏｓｅｄ  ｏｆ）」などのすべての移行句は、オープンエンドである、すなわち、限定されていないものを含むと意味すると理解されよう。「からなる（ｃｏｎｓｉｓｔｉｎｇ  ｏｆ）」および「本質的にからなる（ｃｏｎｓｉｓｔｉｎｇ  ｅｓｓｅｎｔｉａｌｌｙ  ｏｆ）」という移行句のみが、それぞれ、クローズドまたは半クローズドの移行句であるものとする。
【０２３３】
「概ね（ａｐｐｒｏｘｉｍａｔｅｌｙ）」および「約（ａｂｏｕｔ）」は、いくつかの実施形態においては目標値の±２０％以内、いくつかの実施形態においては目標値の±１０％以内、いくつかの実施形態においては目標値の±５％以内、いくつかの実施形態においては目標値の±２％以内を意味するために使用されてもよい。用語「概ね」および「約」は、目標値を含んでもよい。
【図１Ａ】
2021532875.tif 000033
【図１Ｂ】
2021532875.tif 000034
【図１Ｃ】
2021532875.tif 000035
【図２Ａ】
2021532875.tif 000036
【図２Ｂ】
2021532875.tif 000037
【図２Ｃ】
2021532875.tif 000038
【図２Ｄ】
2021532875.tif 000039
【図３】
2021532875.tif 000040
【図４】
2021532875.tif 000041
【図５Ａ】
2021532875.tif 000042
【図５Ｂ】
2021532875.tif 000043
【図５Ｃ】
2021532875.tif 000044
【図６Ａ】
2021532875.tif 000045
【図６Ｂ】
2021532875.tif 000046
【図６Ｃ】
2021532875.tif 000047
【図７】
2021532875.tif 000048
【図８】
2021532875.tif 000049
【図９Ａ】
2021532875.tif 000050
【図９Ｂ】
2021532875.tif 000051
【図１０】
2021532875.tif 000052
【図１１】
2021532875.tif 000053
【図１２】
2021532875.tif 000054
【図１３Ａ】
2021532875.tif 000055
【図１３Ｂ】
2021532875.tif 000056
【図１３Ｃ】
2021532875.tif 000057
【図１３Ｄ】
2021532875.tif 000058
【図１３Ｅ】
2021532875.tif 000059
【図１４】
2021532875.tif 000060
【図１５Ａ】
2021532875.tif 000061
【図１５Ｂ】
2021532875.tif 000062
【図１５Ｃ】
2021532875.tif 000063
【図１６】
2021532875.tif 000064
【図１７Ａ】
2021532875.tif 000065
【図１７Ｂ】
2021532875.tif 000066
【図１８Ａ】
2021532875.tif 000067
【図１８Ｂ】
2021532875.tif 000068
【図１８Ｃ】
2021532875.tif 000069
【図１８Ｄ】
2021532875.tif 000070
【図１９】
2021532875.tif 000071
【国際調査報告】
2021532875.tif 000072
2021532875.tif 000073
2021532875.tif 000074
2021532875.tif 000075
2021532875.tif 000076
2021532875.tif 000077