(57)【要約】  あるイメージングモダリティのコントラストを有する医用画像（２４）が、他のコントラスト特性を有する画像からエミュレートされる。他のコントラスト特性を有する関心領域の複数の入力画像（２０）が受け取られる。機械学習によって生成された変換（２２）が、対応する複数の入力画像（２０）に適用されて、評価される医用画像の対応するボクセル（３６’）を表すスカラー値（３８）またはベクトル値（２４）を生成する。【特許請求の範囲】
【請求項１】
少なくとも１つの画像を生成する方法であって、
関心領域の複数の入力画像を受け取るステップであって、各入力画像は異なる特徴を有する、ステップと、
前記複数の入力画像に変換を適用するステップと、
前記複数の入力画像から少なくとも１つのターゲット画像を生成するステップであって、前記ターゲット画像の特徴は前記入力画像の特徴とは異なる、ステップとを含む、
方法。
【請求項２】
前記複数の入力画像に変換を適用するステップは、
ａ）各入力画像およびターゲット画像における対応するボクセルを特定するステップと、
ｂ）入力画像（２０）の特定されたボクセルをベクトルにするステップと、
ｃ）前記ベクトルを、前記ターゲット画像の対応するボクセルのスカラー値またはベクトル値に変換するステップと、
ｄ）複数のボクセルについて、ステップａ）ないしｃ）を繰り返すステップとを含む、
請求項１に記載の方法。
【請求項３】
前記複数の入力画像を受け取るステップは、さまざまなコントラスト特性を有する複数のＭＲ画像を受け取るステップを含み、
生成されるターゲット画像は減衰画像をさらに含む、
請求項１または２に記載の方法。
【請求項４】
前記複数の入力画像は、Ｔ１強調画像、ＵｌｔｒａＳｈｏｒｔエコー時間画像、Ｄｉｘｏｎ脂肪画像、およびＤｉｘｏｎ水画像を含む、
請求項１ないし３いずれか一項に記載の方法。
【請求項５】
前記変換に非画像入力を提供するステップであって、前記非画像入力は、名前、写真、映像、遺伝情報、家族歴、医学的表示、性別、体格指数、関連する血液マーカー、身長、体重、年齢、体脂肪率、病気の有無、生活の質、ラボ検査結果などのさまざまな医療測定歴、収縮期／拡張期血圧、脈拍数、呼吸数、診断、過去の医学的介入、およびインプラントを含む群から選択される、ステップをさらに含む、
請求項１ないし４いずれか一項に記載の方法。
【請求項６】
生成された出力画像の信頼値を計算するステップをさらに含む、
請求項１ないし５いずれか一項に記載の方法。
【請求項７】
前記変換は機械学習プロセッサで生成される、
請求項１ないし６いずれか一項に記載の方法。
【請求項８】
前記複数の候補画像を含む入力群を受け取るステップと、
前記入力群から出力群を生成するステップとをさらに含み、
前記入力群および出力画像群は、ＭＲ、超音波、Ｘ線、ラジオグラフィー、核医学、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査、機能的近赤外分光法、及びＣＴを含む群から選択された画像を含む、
請求項１ないし７いずれか一項に記載の方法。
【請求項９】
被験者情報記憶データベースから読み出された複数の候補画像および対応するターゲット画像を用いて前記変換をトレーニングするステップをさらに含む、
請求項１ないし８いずれか一項に記載の方法。
【請求項１０】
データマイニングプロセッサで被験者情報データベースをデータマイニングして、選択された画像を読み出しおよび特定し、人工知能プロセッサを使用し、人工知能を用いて選択された画像からの変換をトレーニングするステップをさらに含む、
請求項１ないし９いずれか一項に記載の方法。
【請求項１１】
画像生成システムであって、
関心領域の複数の入力画像を受け取り、各入力画像は異なる特徴を有し、
前記複数の入力画像に変換を適用し、
前記複数の入力画像から少なくとも１つのターゲット画像を生成し、前記ターゲット画像の特徴は前記入力画像の特徴とは異なる、ように構成された変換プロセッサと、
少なくとも生成されたターゲット画像を表示するように構成されたディスプレイと、
生成されたターゲット画像を記憶するように構成されたメモリとを有する、
画像生成システム。
【請求項１２】
前記変換プロセッサはさらに、前記入力から出力群を生成するようにプログラムされ、
前記入力画像および出力画像は、ＭＲ、ＣＴ、超音波、Ｘ線、ラジオグラフィー、核医学、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査、及び機能的近赤外分光法を含む群から選択される、
請求項１１に記載の画像生成システム。
【請求項１３】
前記変換プロセッサはさらに、入力画像の対応するボクセルをベクトルに変換するベクトルプロセッサを含み、変換は、各ベクトルを、出力画像の対応するボクセルのスカラーまたはベクトル値に変換するトレーニングされた機械学習プロセッサを含む、
請求項１１または１２に記載の画像生成システム。
【請求項１４】
前記変換プロセッサはさらに、
複数の被験者のそれぞれの共通領域の、対応する候補画像およびターゲット画像を読み出し、特定し、選択するようにプログラムされたデータマイニングプロセッサと、
トレーニングされ、前記候補画像の対応するボクセルを、前記ターゲット画像の対応するボクセルに変換するようにプログラムされた機械学習プロセッサとを有する、
請求項１１ないし１３いずれか一項に記載の画像生成システム。
【請求項１５】
前記変換プロセッサは、前記複数の入力画像に前記変換を適用するようにプログラムされ、適用を：
ａ）各入力画像およびターゲット画像における対応するボクセルを特定し、
ｂ）入力画像（２０）の特定されたボクセルをベクトルにし、
ｃ）前記ベクトルを前記ターゲット画像の対応するボクセルのスカラー値に変換し、
ｄ）複数のボクセルについて、ステップａ）ないしｃ）を繰り返すことにより行う、
請求項１１ないし１４いずれか一項に記載の画像生成システム。
【請求項１６】
画像生成システムであって、
関心領域の複数の入力画像を受け取る手段であって、各入力画像は異なる特徴を有する、手段と、
前記複数の候補画像と、読み出した対応するターゲット画像とで、変換をトレーニングする手段と、
前記複数の入力画像にトレーニングされた変換を適用する手段と、
前記複数の入力画像から少なくとも１つのターゲット画像を生成する手段であって、前記ターゲット画像の特徴は前記入力画像の特徴とは異なる、手段とを含む、
画像生成システム。
【請求項１７】
前記手段は、入力群からの出力群を生成するようにプログラムされ、
前記入力群および出力群は、ＭＲ、ＣＴ、超音波、Ｘ線、ラジオグラフィー、核医学、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査、及び機能的近赤外分光法を含む群から選択される異なる画像モダリティの画像である、
請求項１６に記載の画像生成システム。
【請求項１８】
さらに、ベクトル対スカラーマッピング手段を含む、
請求項１６または１７に記載の画像生成システム。
【請求項１９】
関心領域の対応する候補画像とターゲット画像とを特定し、選択するデータマイニング手段と、
複数の候補画像と、ターゲット画像の１つの対応するボクセルを選択し、対応するボクセルで機械学習アルゴリズムをトレーニングする機械学習手段とをさらに有する、
請求項１６ないし１９いずれか一項に記載の画像生成システム。
【請求項２０】
プロセッサを制御し、請求項１ないし１０いずれか一項に記載の方法を実行させるソフトウェアを担う、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概して、被験者の医用画像を生成するシステムおよび方法に関する。本発明は、医用画像をある画像モダリティから、その画像モダリティとは異なる第２の画像モダリティに変換するシステムおよび方法に関連する具体的な用途に応用でき、特にこれを参照して説明する。しかし、言うまでもなく、その他の使用例にも応用でき、必ずしも上記の応用例に限定されない。
【背景技術】
【０００２】
ハイブリッドイメージングシステムでは、２つの異なるイメージングモダリティを用いて、共通のオブジェクト空間内の異なる構成要素を位置特定または測定する。一例では、コンピュータ断層撮影（ＣＴ）スキャナおよび磁気共鳴（ＭＲ）スキャナなどの２つのイメージングスキャナを使用して、体内の内部構造（例えば、骨、脊椎など）および軟組織構造（例えば、脳、血管系、関節など）の画像を生成できる。別の例では、陽電子放射断層撮影（ＰＥＴ）または単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）などの核スキャナは、イメージングスキャナと結合され、身体の組織内の代謝活動および生化学プロセスを示す機能的画像を作成するために使用することができる。
【０００３】
場合によっては、１つのモダリティの画像しか利用できないことがある。１つの画像モダリティの画像を変換して、別のモダリティの画像をエミュレートすることが有利であり得る。例えば、ＭＲ解剖学的画像をＣＴ減衰画像に変換して、それを以前のＣＴ画像と比較することが有利であり得る。別の例では、ＭＲ画像は、ＰＥＴ画像再構成における減衰補正のためのＣＴのような減衰画像に変換することができる。別の臨床例では、一以上のＭＲ画像から画像（例えば、疑似フルオロデオキシグルコース（ＦＤＧ）／ＰＥＴ画像、背景身体信号抑制を伴う拡散強調全身画像（ＤＷＩＢＳ）など）を生成する。これにより、診断の信頼性を犠牲にすることなく、被験者の放射線照射を潜在的に減少させることができる。コンピュータ支援診断の領域では、マルチパラメトリック画像は、被験者管理を助けるために使用することができる病変の根底にある病理に変換することができる。
【０００４】
さまざまな医用イメージングモダリティにわたって相関を確立することが緊急に必要であるにもかかわらず、一以上の理由により、従来のアプローチまたは分析的アプローチを用いてそのような変換を実現することは困難である。第１に、医用画像は雑音が入りがちであり、これは被験者の具体的な解剖学的構造およびイメージング物理に依存して変化し得る。第２に、一般的には、異なるイメージングコントラスト及びモダリティの間に１対１の変換関係はない。例えば、空気と骨は共に背景雑音に非常に近いＭＲ信号を有するが、ＣＴイメージングでは、空気はほぼゼロの減衰を有し、骨は非常に高い減衰を有する。第３に、そのような変換の１つの事例に適用される変換プロセッサは、異なるイメージングモダリティの異なるイメージング物理のため、異なるアプリケーションには適用できない可能性がある。現在の技術は、あいまいさやエラーの影響を受けやすい。
【０００５】
本出願は、上記の問題等を解消する、新しい改良されたシステムと方法を提供するものである。
【０００６】
本開示は、機械学習アプローチに基づく画像コントラスト変換に一般的に適用可能なソリューションを提供することによって、これらの制約を解消する。例えば、本開示は、ベクトル対スカラーマッピングプロセスまたはベクトル対ベクトルマッピングプロセスを提供することによって、イメージングコントラスト変換（すなわち、非１対１マッピング）の変性（ｄｅｇｅｎｅｒａｔｉｏｎ）を解消する変換プロセッサを有するシステムおよび方法を提供する。本開示はまた、入力画像、出力画像（ｅｘｉｔｉｎｇ  ｉｍａｇｅｓ）、および／または他の基本的な被験者情報を使用してそれ自身をトレーニングし、事前知識としてデータベースを確立する変換プロセッサを有するシステムおよび方法を提供する。さらに、本開示はまた、ターゲット画像および／またはデータ生成のためのベクトル対スカラー変換関係を予測する機械学習プロセッサを備えたシステムおよび方法を使用する。
【発明の概要】
【０００７】
一態様によると、医用画像を生成する方法が提供される。該方法は、関心領域の複数の入力画像を受け取るステップを含む。各入力画像は異なる特性を有する。変換が複数の入力画像に適用される。ターゲット画像が、複数の入力画像から生成される。ターゲット画像特性は、入力画像特性とは異なる。
【０００８】
１つの利点は、より正確な画像変換にある。
【０００９】
もう１つの利点は、迅速かつ自動的な変換にある。
【００１０】
別の利点は、画像コントラスト変換の縮退（ｄｅｇｅｎｅｒａｔｉｏｎ）を解決することにある。
【００１１】
別の利点は、機械学習を用いて、モダリティ間の変換アルゴリズムを最適化して洗練することにある。
【００１２】
本発明のさらに別の利点は、以下の詳細な説明を読んで理解すれば当業者には明らかになるであろう。
【図面の簡単な説明】
【００１３】
本発明は、様々なコンポーネントとその構成、及び様々なステップとその構成の形を取る。図面は好ましい実施形態を例示することのみを目的とし、本発明を限定するものと解してはならない。
【図１】本開示の一態様による入力画像のターゲット画像へのコントラスト変換を示す例示的なフローチャートである。
【図２】図１の方法を実行するように構成された装置を示す概略図である。
【図３Ａ】変換特性を示す概略図である。
【図３Ｂ】変換特性を示す概略図である。
【図４】本開示の別の態様による変換プロセッサのトレーニングを示す例示的なフローチャートである。
【図５】図４の変換をトレーニングするシステムを示す概略図である。
【図６】一連の入力画像から複数のターゲット画像を生成するシステムを示す概略図である。
【図７】サポートベクトルマシンアルゴリズムをトレーニングして、複数の磁気共鳴画像をＣＴ画像に変換するシステムを示す概略図である。
【図８】図６のシステムによってトレーニングされたアルゴリズムを用いて、関心領域の５つのＭＲ画像を、エミュレートされたＣＴ画像に変換するシステムを示す概略図である。
【図９】トレーニングされた機械学習アルゴリズムを用いてターゲット画像を予測するシステムを示す概略図である。
【図１０】図９の機械学習アルゴリズムをトレーニングする分散システムを示す図である。
【発明を実施するための形態】
【００１４】
本出願は、一以上のターゲット組織の医用画像を生成および使用するシステムおよび方法に関する。本明細書中で使用される場合、「ターゲット組織」との用語は、医用画像が望まれる任意の所望の組織（例えば、脳、心臓、肺、腎臓、肝臓、膵臓、一以上の骨など）を指す。以下により詳細に説明するように、本開示のシステムおよび方法は、機械学習アプローチに基づく画像コントラスト変換を提供する。有利にも、本開示のシステムおよび方法が提供するプロセッサは、（１）ベクトル対スカラーマッピングプロセスまたはベクトル対ベクトルマッピングプロセスを提供することによってイメージングコントラスト変換（非１対１マッピング）の縮退（ｄｅｇｅｎｅｒａｔｉｏｎ）を解決し、（２）出力画像（ｅｘｉｔｉｎｇ  ｉｍａｇｅｓ）および他の基本的被験者情報を使用して、プロセッサをトレーニングし、事前知識としてビッグデータのデータベースを確立し、（３）ターゲット画像／データ生成のためのベクトル対スカラー変換関係を予測する。本明細書中で使用される場合、「被験者」との用語およびその変化形は、画像が撮影される組織（例えば、患者、実験動物など）を指す。
【００１５】
図１および図２を参照すると、一以上の医用画像を生成する方法１０が提供される。方法１０は次のステップを含む：各画像が異なる特性を有するターゲットの複数の入力画像２０を取得するステップ（ステップ１２）と、トレーニングされたまたはトレーニングされていない機械学習アルゴリズム変換２２を複数の入力画像に適用するステップ（ステップ１４）と、複数の入力画像から少なくとも１つのターゲット出力画像２４を生成するステップ（ステップ１６）。
【００１６】
ステップ１２では、候補被験者のターゲット領域の複数の入力画像２０が取得される。複数の入力画像２０は、入力群２６に含まれる。いくつかの例では、入力群２６は、ｋ個の入力画像を含む。ここで、ｋは２以上の整数（例えば、ｋ＝１０）である。一実施形態では、複数の画像２０は、さまざまな特性を有する画像を生成するようにさまざまな方法で操作される、１つのタイプの診断イメージングスキャナ２８を使用してすべて取得される。別の実施形態では、入力画像２０は、二以上のタイプのスキャナから得られる。例えば、スキャナ２８は、ＭＲ、ＣＴ、超音波、Ｘ線、ラジオグラフィー、核医学（例えば、ＰＥＴ、ＳＰＥＣＴなど）、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査法、機能的近赤外分光法など）を含む既知の医用イメージングシステムの群から選択される。
【００１７】
入力群２６内の各入力画像２０は、異なる特性を有する。いくつかの実施形態では、スキャナ２８がＭＲスキャナである場合、入力群２６は、異なるパラメータ（例えば、マルチパラメータ画像の複数のパラメータ）を有する画像を含む。例えば、入力画像２０は、超短時間エコー時間画像、ディクソン脂肪画像、ディクソン水画像、陽子密度ＭＲ画像、分光ＭＲ画像、動的コントラスト強調ＭＲ、拡散加重ＭＲ画像などを含むことができる。各入力画像は、異なるコントラスト特性を有する。別の例では、入力群２６は、入力画像２０から導かれた画像（例えば、空間的およびテクスチャ的類似性を有する画像）を含むことができる。画像は、被験者データベースのように、または被験者の医療記録の一部として、メモリ３０に格納され得る。
【００１８】
いくつかの例では、入力群２６は、被験者の一以上の非画像入力３１を含み、全入力をｎとし、ここでｎは２以上の整数である。被験者情報非画像入力３１は、イメージングされる被験者に関する情報を含む。例えば、非画像入力３１は、被験者の名前、医療表示、性別、体格指数、関連する血液マーカー、身長、体重、年齢、体脂肪率、既往症、生活の質、臨床試験結果などの様々な医学的測定履歴、収縮期／拡張期血圧、心拍数、呼吸速度、診断、過去の医学的介入、インプラント、写真、ビデオ、遺伝情報、家族歴などを含む。別の例では、非画像医療入力３１は、入力画像２０から得られた値を含むことができる。医療入力３１は、被験者データベースメモリ３０から取得することができる。
【００１９】
ステップ１４において、変換プロセッサ３２は、複数の入力画像２０に変換２２を適用する。図３Ａないし図３Ｂを参照すると、入力画像２０は、単一のイメージングセッションにおいて、同じスキャナ２８によって生成することができる。場合によっては、入力画像２０はＭＲ画像を含む。例えば、入力画像２０は、超短時間エコー時間画像、ディクソン脂肪画像、ディクソン水画像、通常のＭＲ画像、分光ＭＲ画像、動的コントラスト強調ＭＲ、拡散加重ＭＲ画像などを含む。これらの画像２０のボクセルは、異なる情報を伝達する。変換プロセッサ３２は、ベクトルマッピングプロセッサ（例えば、ベクトル対スカラーマッピングプロセッサ、ベクトル対ベクトルマッピングプロセッサなど）、コンピュータ・ルーチン３４などを含み、これらはｋ個の入力画像２０，２１を収集し、各入力画像２０内の対応するボクセル３６を見る。一例では、ベクトル対スカラーマッピングプロセッサ３４を用いて、対応する各ボクセル、ｋ個の入力画像２０、および被験者情報入力３２は、「ｎ×１」ベクトルを構成する。変換プロセッサ３２は、変換２２を用いて各「ｎ×１」ベクトルを演算し、ターゲット出力画像の対応するボクセル３６’を表すスカラー値３８を生成する。別の一例では、ベクトル対ベクトルマッピングプロセッサ３４を用いて、対応する各ボクセル、ｋ個の入力画像２０、および被験者情報入力３２は、「ｎ×ｍ」ベクトルを構成する。変換プロセッサ３２は、変換２２を用いて各「ｎ×ｍ」ベクトルを演算し、ターゲット出力画像の対応するボクセル３６’を表すベクトル値３８を生成する。
【００２０】
以下により詳細に説明するように、変換２２は機械学習技術を使用して生成される。ベクトルは、トレーニングされた機械トレーニングアルゴリズムによって変換することができる。一実施形態では、臨床医はターゲット画像を変更し、例えば修正し、その変更を用いて機械学習アルゴリズムのトレーニングを改良する。別の一実施形態では、各ベクトルは、トレーニングされた機械学習アルゴリズムによって生成された予め計算されたルックアップテーブルに入力される。
【００２１】
図４および図５を参照すると、変換２２は、方法５０に従ってデータマイニングおよび機械学習を使用して生成される。大きな被験者記録データベース（例えば、被験者記憶情報システム３０）は、過去数年間にわたる画像を含む病院のシステム・ワイズ・データベース、国家コレクションからの画像のレポジトリ、保険会社からの画像のコレクションなど、多くの被験者の画像を含む。ステップ５２では、エミュレートされるターゲット関心領域（ＲＯＩ）（例えば、ピクセルまたはボクセルを有する）のターゲット出力画像１２４、例えばＣＴ減衰画像がある被験者が選択される。選択された被験者はさらに、ＭＲ  ＵＴＥ画像、Ｄｉｘｏｎ脂肪画像、Ｄｉｘｏｎ水画像などの、他の情報源からのおよび／または異なる特性を有する他の候補画像１２０も有する被験者にさらに限定される（ステップ５４）。各被験者に対して、他の候補画像１２０の対応するボクセル１３６がベクトル１３４として構成される。複数の被験者のそれぞれについての対応する各ボクセル１３６のベクトル１３４が生成される（ステップ５６）。ベクトル１３４は、すべてのベクトル要素が同じ特性を表すように生成される。例えば、各ベクトル１３４の第１の要素は対応するボクセルのＭＲ  ＵＴＥ値であってもよく、第２の要素はディクソンの脂肪値であってもよく、第３の要素はディクソン水値であってもよく、以下同様である。選択された全ての被験者は、他の同じソース画像１２０の全てを有していないこともあるので、いくつかの被験者のベクトル要素は未定であってもよい。エミュレートされる選択されたターゲット出力画像１２４の対応するスカラー値またはベクトル値１３８を有する各ベクトル１３４は、機械学習アルゴリズム１２２への入力として使用され（ステップ５６）、反復的に多くの被験者にわたって、または非反復的に、変換する。機械学習アルゴリズム１２２は、任意の既知の機械学習アルゴリズム（例えば、教師あり学習、教師なし学習、半教師あり学習、変換（ｔｒａｎｓｄｕｃｔｉｏｎ）、強化学習、学習の学習（ｌｅａｒｎｉｎｇ  ｔｏ  ｌｅａｒｎ）、発達学習など）を含むことができる。一実施形態では、反復プロセス（例えば、試行錯誤）は、一意の変換に寄与しないベクトル要素（すなわち、対応する他のソース）を決定し、それらの入力１２６を排除する。サポートベクトル機械学習、ニューラルネットワーク、帰納的論理プログラミング、クラスタリング、相関ルール学習、ベイジアンネットワーク、強化学習、表現学習、類似性学習、スパース（ｓｐａｒｓｅ）辞書学習など、様々な学習方法が想定される。このプロセスは、他のＲＯＩ、エミュレートされる他のターゲット出力画像１２４などに繰り返される。別の実施形態では、第２の入力１３１の一以上がベクトル要素として追加される。
【００２２】
別の例では、限られたグループの他のソース画像１２０のみが使用される。例えば、ＭＲ対ＣＴ画像変換３２が行われる場合、ベクトル要素および他のソース画像はＭＲ入力に限定される。次に、上記のプロセス５０は、ＭＲ候補画像１２０のどのセットがＣＴ値への一意かつ明白な変換を確定するか決定する。イメージングセッションにおいてＭＲ画像のセットを取得するＭＲ画像プロトコルが確定される。
【００２３】
別の実施形態では、候補画像１２０のいくつかのセットは、大部分の時間において正しい結果を生むが、いくつかの極端な値において一以上のあいまいさを有する。各セットの信頼値は、そのセットが一意かつ明確な出力画像１２４を生成する時間のパーセンテージを示すように計算される。
【００２４】
もちろん、被験者の入力画像２０をエミュレートされた出力画像３６に変換するプロセッサ３２と、多くの被験者の事前画像をデータマイニングすることによって変換を生成するプロセッサ１３２は、別々の無関係なシステムで実施することができる。
【００２５】
ステップ１８では、出力ターゲット画像２４が入力画像２０から変換される。図６の実施形態では、出力画像の群２４’が入力画像の群２０から生成される。入力画像の群は、入力候補画像２０を含み、出力画像の群２４’は、一以上のターゲット出力画像２４’を含む。画像２４’は、ＭＲ、ＣＴ、超音波、Ｘ線、ラジオグラフィー、核医学、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査、および機能的近赤外分光法を含む第２の画像モダリティグループから選択されたターゲット画像２０を含む。言うまでもなく、別の医用出力ターゲット画像を生成することができ、変換２２’または複数の変換が、各ベクトル３４を出力イメージャ２４’の１つの対応するボクセルをそれぞれ表す複数のスカラー３８’に変換する。
【００２６】
図７および図８は、この技術の具体的な用途、特にＭＲ画像のＣＴ減衰画像への変換を表す。先ず図７を参照すると、被験者記録データベースを検索して、関心領域のＣＴ画像、特に頭部のもの、およびＭＲ画像、特にＴ１画像、ＵＴＥ、Ｄｉｘｏｎ脂肪画像、Ｄｉｘｏｎ水画像、およびＴ２−（またはＴ２＊−）重み付け画像を有する被験者を捜す。５つのＭＲ画像２０ＭＲの対応するボクセルについて、ＣＴ画像２４ＣＴの対応するボクセルのハウンズフィールド（Ｈｏｕｎｓｆｉｅｌｄ）値が特定される。図示のように、ＭＲ画像の対応するボクセルが、５×１ベクトル３４ＭＲとして構成される。言うまでもなく、各行に隣接するピクセルからの値を含むことができる入力が大体５つあってもよい。読み出されるＣＴハウンズフィールド値は、対応するスカラー３８ＣＴを表す。５ｘ１ベクトルおよびハウンズフィールド値は、サポートベクトルマシンアルゴリズム２２ＳＶＭをトレーニングするための入力データセットとして使用される。画像の対応する各ボクセルの対応するベクトルおよびハウンズフィールド値スカラーも、同様にトレーニングデータセットとして使用される。好ましくは、トレーニングプロセスは、複数の被験者の対応するＭＲおよびＣＴ画像で繰り返される。理想的には、サポートベクトルマシンが安定するまで、トレーニングプロセスが繰り返される。これは、数百以上の入力データセットの後になる場合がある。
【００２７】
図８を参照すると、サポートベクトルマシンアルゴリズム２２がトレーニングされると、新しい被験者が磁気共鳴スキャナ内でイメージングされる。より具体的には、本例によれば、被験者は、Ｔ１強調画像、ＵＴＥ画像、Ｄｉｘｏｎ脂肪画像、Ｄｉｘｏｎ水画像およびＴ２−（またはＴ２＊−）強調画像の生成を含むイメージングプロトコルでイメージングされる。各画像の対応するボクセルは、トレーニングされたサポートベクトルマシン２２ＳＶＭに入力される５次元ベクトル３４ＭＲとして構成される。言うまでもなく、各行に隣接するピクセルからの値を含むことができる入力が大体５つあってもよい。サポートベクトルマシン２２ＳＶＭは、以前のトレーニングに基づいて、エミュレートまたは合成されるＣＴ画像２４ＣＴの対応するボクセルのスカラーハウンズフィールド値３８ＣＴを予測する。同様に、ベクトル３４ＭＲは、入力ＭＲ画像２０ＭＲの対応するボクセルのすべてに対して構成される。サポートベクトルマシン２２ＳＶＭは、出力ＣＴ画像２４ＣＴとしてアセンブルされる各ボクセルについての対応するハウンズフィールド値を生成する。
【００２８】
図９を参照すると、画像生成システム１００は、ユーザインターフェース６２を備えたワークステーション６０を含み、それにより、オペレータはコマンドを入力して、入力画像のセットを、被験者メモリ３０から、または一以上のスキャナ２８から直接読み出させる。読み出された入力画像は、変換プロセッサ３２に転送され、メモリ６４に一時的に記憶される。ベクトルプロセッサ３４は、各入力画像の対応するピクセルからベクトルを構成し、トレーニングされた機械学習アルゴリズム２２は、出力画像の対応するピクセルに対する対応する値３８のスカラーボクセル値を予測する。通信モジュール６６は、各ボクセル値をメモリ６４に送信し、出力画像が無線ネットワーク１０６（例えば、インターネット、イントラネット、無線ネットワークなど）を介してアセンブルされる。メモリは、ワークステーション６０、変換プロセッサ３２、または被験者情報メモリ３０にあってもよい。ワークステーション６０は、出力画像が表示されるディスプレイ６８を含む。任意的に、入力画像およびその他の被験者情報も表示される。オペレータは、ユーザ入力６２を使用して、出力画像、入力画像、他の医療情報、診断、推奨処置などを、被験者情報システム３０に格納するための医療レポートとして構成することができる。
【００２９】
図１０を参照すると、画像生成システム１００は、機械学習アルゴリズム１２２を教育するプロセスを制御するにワークステーション１６０を含む。このワークステーションは、ユーザインターフェース１６２を有し、ユーザは、変換プロセッサ１３２への命令、具体的には、異なるイメージングモダリティで撮影された関心領域の画像を有する被験者の被験者情報メモリ３０を検索またはデータマイニングするデータマイニングプロセスまたはルーチン１７０への命令を入力する。一例では、データマイニングプロセッサ１７０は、特徴抽出および導出（例えば、空間情報、テクスチャなど）を含む、入力画像２０および／または非画像入力３１の機能を特定することができる。機械学習プロセッサ１７２は、読み出された画像の対応するボクセルからベクトルを構成し、読み出されたターゲット画像の対応するボクセルからスカラーを構成する。ベクトルおよび対応するスカラーを用いて、機械学習アルゴリズム１２２をトレーニングする。トレーニングプロセスは、機械学習アルゴリズム１２２がトレーニングされるまで、複数の被験者の複数の画像セットの複数のボクセルに対して繰り返される。ワークステーション１６０は、メモリ１６４と、通信ネットワーク１０６と通信する通信ユニット１６６とを含む。ワークステーション１６０はまた、入力画像およびターゲット画像が表示されるディスプレイ１６８を含む。いくつかの実施形態では、オペレータは、より迅速に安定するように、機械学習アルゴリズム１２２の教育を導く入力を提供する。プロセスを匿名に保ち、ＨＩＰＡＡ法を遵守するために、具体的な被験者の識別情報は、メモリ３０から読み出されず、ディスプレイ１６８にも表示されない。
【００３０】
画像生成システム１００は、画像生成システムの分野で公知の構成要素を含むことができる。一例では、ディスプレイ、変換プロセッサ、および被験者記憶情報システムのそれぞれは、メモリを含む。本明細書で使用される場合、メモリは、一過性ではないコンピュータ可読媒体、磁気ディスクまたは他の磁気記憶媒体、光ディスクまたは他の光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、他の電子メモリデバイスまたはチップ、または動作可能に相互接続されたチップのセットを含む。本明細書で使用する場合、通信ネットワークは、インターネット／イントラネットまたはローカルエリアネットワークを介して、記憶された命令を取り出すことができるインターネット／イントラネットサーバ等を含む。さらに、本明細書で使用する場合、変換プロセッサは、マイクロプロセッサ、マイクロコントローラ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのうち一以上を含む。さらに別の例では、ユーザ入力デバイスは、マウス、キーボード、タッチスクリーンディスプレイ、一以上のボタン、一以上のスイッチ、一以上のトグルなどのうちの一以上を含む。別の一例では、データベースは一以上のメモリを含む。例えば、被験者情報システムは、候補画像を記憶する放射線情報システム（ＲＩＳ）及び／又は画像アーカイブ通信システム（ＰＡＣＳ）である。別の一例では、ディスプレイは、ＬＣＤディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、プロジェクションディスプレイ、タッチスクリーンディスプレイなど、及びこれらの３Ｄ対応バージョンのうち一以上を含む。さらに別の一例では、ディスプレイ、変換プロセッサ、および被験者記憶情報システム３０はそれぞれ、通信ユニットおよび／または少なくとも１つのシステムバスを含む。通信ユニットは、対応するプロセッサに、無線ネットワーク１０６などの少なくとも１つの通信ネットワークへのインタフェースを提供する。システムバスは、コンポーネントのサブコンポーネント間でデータの交換を可能にする。サブコンポーネントには、プロセッサ、メモリ、センサ、ディスプレイデバイス、通信ユニットなどを含む。
【００３１】
本発明を好ましい実施形態を参照して説明した。前述の詳細な説明を読んで理解すれば、修正と変更に想到することができる。本発明は、添付した請求項とその均等の範囲内に入るこのような修正案及び代替案をすべて含むものと解釈しなければならない。
【図１】
2018505705.tif 000002
【図２】
2018505705.tif 000003
【図３Ａ】
2018505705.tif 000004
【図３Ｂ】
2018505705.tif 000005
【図４】
2018505705.tif 000006
【図５】
2018505705.tif 000007
【図６】
2018505705.tif 000008
【図７】
2018505705.tif 000009
【図８】
2018505705.tif 000010
【図９】
2018505705.tif 000011
【図１０】
2018505705.tif 000012
【手続補正書】
【提出日】平成29年6月13日(2017.6.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つの画像を生成する方法であって、
関心領域の複数の入力画像を受け取るステップであって、各入力画像は異なる特徴を有する、ステップと、
前記複数の入力画像に変換を適用するステップであって、変換はベクトル対スカラーマッピングプロセスに関し、またはベクトル対ベクトルマッピングプロセスに関する、ステップと、
前記複数の入力画像から少なくとも１つのターゲット画像を生成するステップであって、前記ターゲット画像の特徴は前記入力画像の特徴とは異なる、ステップとを含む、
方法。
【請求項２】
前記複数の入力画像に変換を適用するステップは、
ａ）各入力画像およびターゲット画像における対応するボクセルを特定するステップと、
ｂ）入力画像（２０）の特定されたボクセルをベクトルにするステップと、
ｃ）前記ベクトルを、前記ターゲット画像の対応するボクセルのスカラー値またはベクトル値に変換するステップと、
ｄ）複数のボクセルについて、ステップａ）ないしｃ）を繰り返すステップとを含む、
請求項１に記載の方法。
【請求項３】
前記複数の入力画像を受け取るステップは、さまざまなコントラスト特性を有する複数のＭＲ画像を受け取るステップを含み、
生成されるターゲット画像は減衰画像をさらに含む、
請求項１または２に記載の方法。
【請求項４】
前記複数の入力画像は、Ｔ１強調画像、ＵｌｔｒａＳｈｏｒｔエコー時間画像、Ｄｉｘｏｎ脂肪画像、およびＤｉｘｏｎ水画像を含む、
請求項１ないし３いずれか一項に記載の方法。
【請求項５】
前記変換に非画像入力を提供するステップであって、前記非画像入力は、名前、写真、映像、遺伝情報、家族歴、医学的表示、性別、体格指数、関連する血液マーカー、身長、体重、年齢、体脂肪率、病気の有無、生活の質、ラボ検査結果などのさまざまな医療測定歴、収縮期／拡張期血圧、脈拍数、呼吸数、診断、過去の医学的介入、およびインプラントを含む群から選択される、ステップをさらに含む、
請求項１ないし４いずれか一項に記載の方法。
【請求項６】
生成された出力画像の信頼値を計算するステップをさらに含む、
請求項１ないし５いずれか一項に記載の方法。
【請求項７】
前記複数の候補画像を含む入力群を受け取るステップと、
前記入力群から出力群を生成するステップとをさらに含み、
前記入力群および出力画像群は、ＭＲ、超音波、Ｘ線、ラジオグラフィー、核医学、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査、機能的近赤外分光法、及びＣＴを含む群から選択された画像を含む、
請求項１ないし６いずれか一項に記載の方法。
【請求項８】
被験者情報記憶データベースから読み出された複数の候補画像および対応するターゲット画像を用いて前記変換をトレーニングするステップをさらに含む、
請求項１ないし７いずれか一項に記載の方法。
【請求項９】
画像生成システムであって、
関心領域の複数の入力画像を受け取り、各入力画像は異なる特徴を有し、
前記複数の入力画像に変換を適用し、変換はベクトル対スカラーマッピングプロセスに関し、またはベクトル対ベクトルマッピングプロセスに関し、
前記複数の入力画像から少なくとも１つのターゲット画像を生成し、前記ターゲット画像の特徴は前記入力画像の特徴とは異なる、ように構成された変換プロセッサと、
少なくとも生成されたターゲット画像を表示するように構成されたディスプレイと、
生成されたターゲット画像を記憶するように構成されたメモリとを有する、
画像生成システム。
【請求項１０】
前記変換プロセッサはさらに、入力から出力群を生成するようにプログラムされ、
前記入力画像および出力画像は、ＭＲ、ＣＴ、超音波、Ｘ線、ラジオグラフィー、核医学、エラストグラフィ、触覚イメージング、光音響イメージング、サーモグラフィー、心エコー検査、及び機能的近赤外分光法を含む群から選択される、
請求項９に記載の画像生成システム。
【請求項１１】
前記変換プロセッサはさらに、入力画像の対応するボクセルをベクトルに変換するように構成されたベクトルプロセッサを含み、変換は、各ベクトルを、出力画像の対応するボクセルのスカラーまたはベクトル値に変換するように構成されたトレーニングされた機械学習プロセッサを含む、
請求項９または１０に記載の画像生成システム。
【請求項１２】
前記変換プロセッサはさらに、
複数の被験者のそれぞれの共通領域の、対応する候補画像およびターゲット画像を読み出し、特定し、選択するようにプログラムされたデータマイニングプロセッサと、
トレーニングされ、前記候補画像の対応するボクセルを、前記ターゲット画像の対応するボクセルに変換するようにプログラムされた機械学習プロセッサとを有する、
請求項９ないし１１いずれか一項に記載の画像生成システム。
【請求項１３】
前記変換プロセッサは、前記複数の入力画像に前記変換を適用するようにプログラムされ、適用を：
ａ）各入力画像およびターゲット画像における対応するボクセルを特定し、
ｂ）入力画像（２０）の特定されたボクセルをベクトルにし、
ｃ）前記ベクトルを前記ターゲット画像の対応するボクセルのスカラー値に変換し、
ｄ）複数のボクセルについて、ステップａ）ないしｃ）を繰り返すことにより行う、
請求項９ないし１２いずれか一項に記載の画像生成システム。
【請求項１４】
プロセッサを制御し、請求項１ないし８いずれか一項に記載の方法を実行させるソフトウェアを担う、非一時的コンピュータ可読媒体。
【国際調査報告】
2018505705.tif 000013
2018505705.tif 000014