(57)【要約】  画像レジストレーションを認定するコントローラは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。プロセッサによって実行される場合に、命令は、コントローラに、第１モダリティの第１イメージを受け取ることと、第２モダリティの第２イメージを受け取ることとを含むプロセスを実行させる。コントローラによって実行されるプロセスはまた、画像レジストレーションを得るよう第１モダリティの第１イメージを第２モダリティの前記第２イメージに位置合わせすることを含む。画像レジストレーションは、画像レジストレーションを認定するための認定プロセスとして自動解析を受ける。画像レジストレーションは、画像レジストレーションが認定プロセスを通過する場合には可変的に適格とされ、画像レジストレーションが認定プロセスを通過しない場合には適格とされない。
2021514767.tif 000002
【特許請求の範囲】
【請求項１】
画像レジストレーションを認定するコントローラであって、
命令を記憶するメモリと、前記命令を実行するプロセッサとを有し、
前記プロセッサによって実行される場合に、前記命令は、当該コントローラに、
第１モダリティの第１イメージを受け取ることと、
第２モダリティの第２イメージを受け取ることと、
画像レジストレーションを得るよう前記第１モダリティの前記第１イメージを前記第２モダリティの前記第２イメージに位置合わせすることと、
前記画像レジストレーションを認定するよう該画像レジストレーションに認定プロセスとして自動解析を受けさせ、前記画像レジストレーションが前記認定プロセスを通過する場合には前記画像レジストレーションを可変的に適格とし、前記画像レジストレーションが前記認定プロセスを通過しない場合には前記画像レジストレーションを適格としないことと
を有するプロセスを実行させる、コントローラ。
【請求項２】
前記自動解析は、前記第１イメージ及び前記第２イメージの結合画像特徴を抽出するための複数の畳み込みレイヤでの畳み込み計算と、前記抽出された結合画像特徴をスコア化するための、非線形活性化が後に続く重み付け線形結合とを含み、
前記重み付けで使用される重みは、訓練フェーズで学習される、
請求項１に記載のコントローラ。
【請求項３】
前記プロセッサによって実行される前記プロセスは、
前記画像レジストレーションが前記認定プロセスを通過するかどうかを可変的に認定するよう前記画像レジストレーションを所定の閾値と比較することを更に有する、
請求項１に記載のコントローラ。
【請求項４】
前記プロセッサによって実行される前記プロセスは、
前記画像レジストレーションが前記認定プロセスを通過しない場合に警告を与えるよう、かつ、前記画像レジストレーションが前記認定プロセスを通過する場合に承認を出力するよう出力システムを制御することを更に有する、
請求項１に記載のコントローラ。
【請求項５】
前記出力システムは、ディスプレイを有し、
前記警告は、前記画像レジストレーションが前記認定プロセスを通過しない規模に基づいて変化する視覚的警告を有する、
請求項４に記載のコントローラ。
【請求項６】
前記警告は、前記画像レジストレーションが前記認定プロセスを通過しない前記第１イメージ及び／又は前記第２イメージの領域の視覚的指示を有する、
請求項５に記載のコントローラ。
【請求項７】
前記出力システムは、スピーカを有し、
前記警告は、前記画像レジストレーションが前記認定プロセスを通過しない規模に基づいて変化する可聴警告を有する、
請求項４に記載のコントローラ。
【請求項８】
前記自動解析は、前記認定プロセスを通過せず当該コントローラを訓練するために使用されるイメージの少なくとも１つの事前承認された対を含む、前記第１モダリティ及び前記第２モダリティにおけるイメージの事前承認された対に基づく、
請求項１に記載のコントローラ。
【請求項９】
前記第１モダリティは、超音波を有し、前記第２モダリティは、磁気共鳴イメージング（ＭＲＩ）を有する、
請求項１に記載のコントローラ。
【請求項１０】
前記プロセッサによって実行される前記プロセスは、
前記画像レジストレーションが前記認定プロセスを通過しない場合に前記画像レジストレーションを適格としなかった後に前記画像レジストレーションを調整することを更に有する、
請求項１に記載のコントローラ。
【請求項１１】
前記画像レジストレーションを調整することは、前記画像レジストレーションを適格としなかった後にユーザからプロンプトされた入力に基づく、
請求項１０に記載のコントローラ。
【請求項１２】
前記画像レジストレーションを調整することは、前記画像レジストレーションを適格としなかった後にユーザからの入力なしで自動で実行される、
請求項１０に記載のコントローラ。
【請求項１３】
前記自動解析は、前記プロセッサによって実行される命令が前記第１イメージ及び前記第２イメージから画像特徴を識別及び抽出し、該画像特徴の対応を評価するために使用されるディープラーニングを適用する、
請求項１に記載のコントローラ。
【請求項１４】
前記自動解析は、該自動解析のプロセスを訓練するために使用される前記第１モダリティ及び前記第２モダリティにおけるイメージの対に基づく、
請求項１に記載のコントローラ。
【請求項１５】
前記可変的に適格とすることは、前記第１イメージ及び前記第２イメージが生成される医療処置のタイプに基づいて変化するメトリックに基づく、
請求項１に記載のコントローラ。
【請求項１６】
前記第１イメージ及び前記第２イメージのうちの少なくとも一方は、医療処置の間にリアルタイムで生成され受け取られる、
請求項１に記載のコントローラ。
【請求項１７】
前記自動解析は、前記第１イメージ及び前記第２イメージの画像特徴を抽出し、訓練フェーズにおいて学習される重みに基づいて前記画像特徴をスコア化することに基づいて、複数の畳み込みレイヤでの畳み込み解析を有する、
請求項１に記載のコントローラ。
【請求項１８】
画像レジストレーションを認定する方法であって、
第１モダリティの第１イメージを受け取ることと、
第２モダリティの第２イメージを受け取ることと、
コントローラのメモリに記憶された命令を実行する前記コントローラのプロセッサによって、画像レジストレーションを得るよう前記第１モダリティの前記第１イメージを前記第２モダリティの前記第２イメージに位置合わせすることと、
前記画像レジストレーションを認定するよう該画像レジストレーションに認定プロセスとして自動解析を受けさせ、前記画像レジストレーションが前記認定プロセスを通過する場合には前記画像レジストレーションを可変的に適格とし、前記画像レジストレーションが前記認定プロセスを通過しない場合には前記画像レジストレーションを適格としないことと
を有する方法。
【請求項１９】
画像レジストレーションを認定するシステムであって、
第１モダリティの第２イメージを生成する超音波プローブと、
第２モダリティの第１イメージを生成する磁気共鳴イメージング（ＭＲＩ）と、
命令を記憶するメモリと、前記命令を実行するプロセッサとを含むコントローラと
を有し、
前記プロセッサによって実行される場合に、前記命令は、前記コントローラに、
第１モダリティの第１イメージを受け取ることと、
第２モダリティの第２イメージを受け取ることと、
前記プロセッサによって、画像レジストレーションを得るよう前記第１モダリティの前記第１イメージを前記第２モダリティの前記第２イメージに位置合わせすることと、
前記画像レジストレーションを認定するよう該画像レジストレーションに認定プロセスとして自動解析を受けさせ、前記画像レジストレーションが前記認定プロセスを通過する場合には前記画像レジストレーションを可変的に適格とし、前記画像レジストレーションが前記認定プロセスを通過しない場合には前記画像レジストレーションを適格としないことと
を有するプロセスを実行させる、
システム。
【発明の詳細な説明】
【背景技術】
【０００１】
インターベンション医療処置は、人体において器具が使用される処置であり、そのような医療処置は、かようなインターベンション医療処置を導くために使用されるイメージの急増する使用に部分的に起因して一般的になりつつある。複数のソースからの複数のモードのイメージの融合は、臨床診療においてますます一般的になってきており、これも、インターベンション医療処置のために広く使用されつつある。補足情報を運ぶ複数の画像を、生検や治療のガイド及びモニタリングのために、同じイメージング空間に統合することがしばしば望ましい。例えば、画像誘導標的生検又は局所療法において、人体内の標的位置は、リアルタイムのイメージングモダリティとは異なるソースから識別され得る。例えば、標的は、磁気共鳴イメージング（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）のような従来の高分解能診断イメージングから識別され、それから、ガイダンスのために超音波（ＵＳ）のようなリアルタイムのイメージングモダリティへ転送され得る。代替的に、標的は、同じイメージングモダリティであるが異なるボリューム空間で従来の生検及び局所療法から識別され得る。従来の生検位置はまた、フォローアップ生検のために、より古いＭＲＩから新しいＭＲＩへマッピング可能である。
【０００２】
画像レジストレーションは、イメージの融合の成功を確かにするための重要なプロセスである。融合（fusion）は、異なる画像を同じ空間に融合することを伴う。外部基準が画像レジストレーションを生成するために使用可能であり、その場合に、画像レジストレーションにおけるエラーは容易に評価される。例えば、基準位置合わせ誤差（Fiducial  Registration  Error）メトリックとして知られているツールが、画像レジストレーションにおけるエラーを評価するために使用される。しかし、時々、イメージングモードの一方又は両方において外部基準が捕捉され得ない場合などに、外部基準のようなレジストレーションエラーの簡単なメトリックは使用不可能である。例えば、前立腺のＭＲＩボリューム及び超音波ボリュームをアライメントするために使用されるいくつかの製品では、画像レジストレーションの品質を確認し、インターベンション医療処置を進める前にフィードバックをユーザへ供給するメカニズムがない。
【０００３】
融合されたイメージを使用する誘導医療インターベンションの場合に、イメージの正確なアライメントは重要である。ＭＲＩ及び超音波の画像外観は極めて異なるので、レジストレーションが良いか否かを見分けることはかなり難しいことがある。正確なアライメントを得るために優良なレジストレーションによらないと、一方の画像からの情報は他方の画像の誤った位置にマッピングされる可能性がある。そうなれば、正しい方法で処置を誘導するどころではなく、融合された画像は人を誤らせる可能性があり、その場合に、誘導医療インターベンションを実行する医師は、良い結果を得るために知的に調整することを求められる。しかし、そのような調整を行う前に、医師は、画像レジストレーションがそれほど最適でないと認識する必要があり、レジストレーションが外れていると認識することでさえ、システムを使用する医師の経験度及び画像レジストレーションの彼らの理解に依存し得る。不良レジストレーションが認識され得ない限り、ユーザは、不良臨床転帰をもたらすプロシージャを進める可能性がある。更には、人がＭＲＩ画像及び超音波画像の対をアライメントすることができる前に急勾配の学習曲線（steep  learning  curve）が存在する
【発明の概要】
【０００４】
本開示の態様に従って、画像レジストレーションを認定するコントローラは、命令を記憶するメモリと、前記命令を実行するプロセッサとを含む。プロセッサによって実行される場合に、命令は、コントローラに、第１モダリティの第１イメージを受け取ることと、第２モダリティの第２イメージを受け取ることとを含むプロセスを実行させる。コントローラによって実行されるプロセスはまた、画像レジストレーションを得るよう第１モダリティの第１イメージを第２モダリティの第２イメージに位置合わせすることを含む。画像レジストレーションは、認定プロセスとして自動解析を受ける。画像レジストレーションはまた、画像レジストレーションが認定プロセスを通過する場合には可変的に適格とされ、画像レジストレーションが認定プロセスを通過しない場合には適格とされない。
【０００５】
本開示の他の態様に従って、画像レジストレーションを認定する方法は、第１モダリティの第１イメージを受け取ることと、第２モダリティの第２イメージを受け取ることとを含む。方法はまた、コントローラのメモリに記憶された命令を実行するコントローラのプロセッサによって、画像レジストレーションを得るよう第１モダリティの第１イメージを第２モダリティの第２イメージに位置合わせすることを含む。画像レジストレーションは、認定プロセスとして自動解析を受ける。画像レジストレーションはまた、画像レジストレーションが認定プロセスを通過する場合には可変的に適格とされ、画像レジストレーションが認定プロセスを通過しない場合には適格としされない。
【０００６】
本開示の更なる他の態様に従って、画像レジストレーションを認定するシステムは、磁気共鳴イメージング（ＭＲＩ）と、超音波プローブと、命令を記憶するメモリ及び命令を実行するプロセッサを含むコントローラとを含む。磁気共鳴イメージングシステムは、第１モダリティの第１イメージを生成する。超音波プローブは、第２モダリティの第２イメージを生成する。命令は、コントローラに、第１モダリティの第１イメージを受け取ることと、第２モダリティの第２イメージを受け取ることとを含むプロセスを実行させる。コントローラによって実行されるプロセスはまた、プロセッサによって、画像レジストレーションを得るよう第１モダリティの第１イメージを第２モダリティの第２イメージに位置合わせすることを含む。画像レジストレーションは、認定プロセスとして自動解析を受ける。画像レジストレーションはまた、画像レジストレーションが認定プロセスを通過する場合には可変的に適格とされ、画像レジストレーションが認定プロセスを通過しない場合には適格とされない。
【０００７】
例となる実施形態は、添付の図面とともに呼ばれる場合に以下の詳細な説明から最も良く理解される。様々な特徴は必ずしも実寸通りではないことが強調される。実際に、寸法は、議論の明りょうさのために任意に増減されることがある。適用可能かつ実施可能であるならば、同じ参照番号は同じ要素を参照する。
【図面の簡単な説明】
【０００８】
【図１】代表的な実施形態に従って、画像レジストレーション認定のためのプロセスを表す。
【図２】代表的な実施形態に従って、画像レジストレーション認定のための他のプロセスを表す。
【図３】代表的な実施形態に従って、画像レジストレーション認定のためのシステムを表す。
【図４】代表的な実施形態に従って、画像レジストレーション認定の方法が実装可能な一般的なコンピュータシステムを表す。
【図５】代表的な実施形態に従って、画像レジストレーション認定のための学習方法に基づく認定プロセスとしての自動解析の実施を表す。
【図６Ａ】代表的な実施形態に従って、画像レジストレーション認定を受ける第１（不良）レジストレーションを表す。
【図６Ｂ】代表的な実施形態に従って、画像レジストレーション認定を受ける第２（改善された）レジストレーションを表す。
【図６Ｃ】代表的な実施形態に従って、画像レジストレーション認定を受ける第３（優良）レジストレーションを表す。
【発明を実施するための形態】
【０００９】
以下の詳細な説明では、限定ではなく説明のために、具体的な詳細を開示する代表的な実施形態が、本教示に従う実施形態の完全な理解をもたらすように示されている。既知のシステム、デバイス、材料、動作方法、及び製造方法は、代表的な実施形態の記載を不明りょうにしないように省略されることがある。それでもなお、当業者の範囲内にあるシステム、デバイス、材料及び方法は、本教示の適用範囲の中にあり、代表的な実施形態に従って使用され得る。本明細書で使用される用語は、単に特定の実施形態を記載することを目的とし、限定であるよう意図されないことが理解されるべきである。定義されている用語は、本教示の技術的範囲において一般的に理解され受け入れられている定義されている用語の技術的及び科学的な意味に追加される。
【００１０】
第１、第２、第３などの語は、様々な要素又はコンポーネントについて記載するために本明細書で使用されることがあるが、これらの要素又はコンポーネントはそのような語によって制限されないことが理解される。これらの用語は、１つの要素又はコンポーネントを他の要素又はコンポーネントから区別するために単に使用される。よって、以下で論じられる第１要素又はコンポーネントは、発明概念の教示から外れることなしに、第２要素又はコンポーネントと呼ばれることがある。
【００１１】
本明細書で使用される用語は、単に特定の実施形態を記載することを目的とし、限定であるよう意図されない。明細書及び添付の特許請求の範囲で使用されるように、「１つの」（a又はan）及び「前記」（the）との単数形表示は、文脈が別なふうに明示しない限りは、単数及び複数の両方を含むよう意図される。更に、「有する」（comprises及び／又はcomprising）及び／又は同様の語は、本明細書で使用される場合に、述べられている特徴、要素、及び／又はコンポーネントの存在を特定するが、１つ以上の他の特徴、要素、コンポーネント、及び／又はそれらのグループの存在又は追加を排除しない。本明細書で使用されるように、「及び／又は」（and/or）との語は、関連するリストアップされたアイテムのうちの１つの１つ以上のありとあらゆる組み合わせを含む。
【００１２】
別なふうに述べられない限り、要素又はコンポーネントが他の要素又はコンポーネント「へ接続される」、「へ結合される」又は「に隣接する」と言われる場合に、要素又はコンポーネントは他の要素又はコンポーネントへ直接に接続又は結合され得るか、あるいは、介在する要素又はコンポーネントが存在してもよい。すなわち、それら及び類似した用語は、１つ以上の中間要素又はコンポーネントが２つの要素又はコンポーネントを接続するために用いられる場合を包含する。なお、要素又はコンポーネントが他の要素又はコンポーネントへ「直接に接続される」と言われる場合に、これは、２つの要素又はコンポーネントが如何なる中間の又は介在する要素又はコンポーネントもなしで互いに接続される場合のみを包含する。
【００１３】
上記を鑑み、本開示は、その様々な態様、実施形態及び／又は具体的な特徴若しくはサブコンポーネントの１つ以上により、以下で具体的に述べられるような利点の１つ以上をもたらすとこのようにして意図される。限定ではなく説明のために、具体的な詳細を開示する実施形態の例が、本教示に従う実施形態の完全な理解をもたらすように示されている。なお、本明細書で開示されている具体的な詳細から外れているが本開示と整合する他の実施形態は、添付の特許請求の範囲の適用範囲の中にある。更に、よく知られている装置及び方法の記載は、実施形態の例の記載を不明りょうにしないように省略されることがある。そのような方法及び装置は、本開示の範囲内にある。
【００１４】
本明細書で記載されるように、インターベンション医療処置で使用されるイメージの不良レジストレーションから起こる問題は、マルチモーダル画像レジストレーションの品質を自動的に評価し、それからフィードバックをユーザへ供給することによって、回避される。特に、画像レジストレーションの品質が受け入れられない場合に、以下で記載される画像レジストレーション認定は、続行の前にユーザがレジストレーションを微調整することを提案し得る。結果として、ユーザエラーは低減され得、画像融合誘導インターベンションシステムの全体性能は更に改善され得る。
【００１５】
本明細書記載される画像レジストレーション認定は、２０１８年３月２日付けで出願された米国特許仮出願第６２／６３７５５３号の主題に関係がある。なお、先の米国出願は、その全文を参照により本願に援用される。
【００１６】
図１は、代表的な実施形態に従って、画像レジストレーション認定のためのプロセスを表す。
【００１７】
図１で、プロセスは、専門家の分析によって確かめられるイメージ対を用いて、Ｓ１０５での事前訓練から開始する。イメージ対は、同じ対象のイメージのこのようにして事前承認された対である。例えば、２つの異なるモダリティからの同じ対象のイメージの対が位置合わせされてよく、熟練したユーザは、画像レジストレーションを手動で認定することができる。異なるモダリティは、画像が、画像を生成する工程でヒト組織がどのように刺激されるかに基づいて変化する異なるソース、異なるシステム、異なるタイプのシステム、及び／又は画像がどのように捕捉されるかに基づいて変化する異なるタイプのシステムからであることを意味する。別なふうに特定されない限りは、本明細書で記載されるモダリティ及びモードは、単一のシステム若しくはデバイスの異なる設定、画像捕捉の異なる時点、又は画像において捕捉される異なる対象に単に基づいて異ならない。
【００１８】
事前訓練は、数十、数百、及び数千回行われ得、ひどく悪い品質の画像レジストレーションの使用を含むことさえある。結果として、多数の画像レジストレーションは、画像レジストレーション認定のためのシステムに入力され、システムが悪い画像レジストレーションに対する良い画像レジストレーションの特性を学習するようにディープラーニングを受け得る。ディープラーニングは、機械学習の一形式であり、タスク指定アルゴリズムとは対照的に、データの学習表現に基づく。後に実行される自動解析は、良いと見なされたイメージの多数の事前承認された対と、悪いと見なされたイメージの少なくとも１つの事前承認された対とに基づいてよい。熟練したユーザは、例えば、１から１００又は１から１０００のスコアによって、イメージの対及び結果とし得られる画像レジストレーションをスコア化してよい。更に、熟練したユーザは、同じタイプの数値スコア化法を用いて、異なる個々の特性についてイメージの対及び結果として得られる画像レジストレーションをスコア化してよい。更に、熟練したユーザは、各画像対の最適化なアライメントを提供することができ、自動化されたプロセスは、各画像対の中の画像の少なくとも１つに対して様々な規模のランダムな回転、平行移動、及び／又は変形を導入することによって画像アライメントの“劣化”バージョンを生成してよい。プロセスはまた、導入された変換の規模に基づいて、位置がずれている画像対を自動的にスコア化してもよい。
【００１９】
Ｓ１１０で、第１モダリティのイメージが受け取られる。本開示のモダリティの例には、磁気共鳴イメージング、超音波、Ｘ線、及び他の形式の医用イメージングがある。各モダリティは、例えば、どのように画像が取得されるかによって区別される。例えば、超音波は、人体内の画像を生成するために音波を使用する。磁気共鳴イメージングは、超音波よりも若干複雑であるから、磁気共鳴イメージングの簡単な説明は当然である。磁気共鳴イメージングは、撮像される対象（例えば、人）において水分子の水素原子核（プロトン）をアライメント及び再アライメントするために磁石を使用する。強い磁場が、プロトコル“スピン”をアライメント及び再アライメントするよう印加される。その場合に、無線周波数（ＲＦ）コイルが、送信段階でＢ１場を選択的に供給するために使用される。受信段階で、水素原子は元の位置（すなわち、Ｂ１場の選択的な供給前の位置）に戻り、画像を生成するために捕捉及び使用され得る弱無線周波数信号を発する。
【００２０】
Ｓ１２０で、第２モダリティのイメージが受け取られる。第１モダリティが超音波である例では、第２モダリティは磁気共鳴イメージングであってよい。第１モダリティが磁気共鳴イメージングである例では、第２モダリティは超音波であってよい。
【００２１】
Ｓ１３０で、第１モダリティのイメージは、画像レジストレーションを得るために第２モダリティのイメージと位置合わせされる。レジストレーションは、第１モダリティのイメージ及び第２モダリティのイメージを共通の座標系にアライメントすることを含み、それにより、異なりモダリティのイメージ内の同じ特徴は同じ座標でアライメントされる。レジストレーションは、一方の座標系を他方へ整合させること、一方のイメージングモダリティにおけるランドマークを他方のイメージングモダリティにおける同じランドマークに整合させること、一方のイメージングモダリティを他方のイメージングモダリティのサイズに合うようリサイジングすること、又は同じシーンの２つの別個の画像の間のアライメントを確立する他の知られた形式を含んでもよい。１つのモダリティからのイメージは、基準イメージ又は固定イメージと指定されてよく、幾何学的変換又は局所変位が他のモダリティからの他のイメージに適用可能であり、それにより、２つのイメージングモダリティからのイメージは整列する。
【００２２】
Ｓ１４０で、認定プロセスとしての自動解析が、画像レジストレーションを認定するために、画像レジストレーションに適用される。自動解析は、イメージの事前承認された対を必要とする学習に基づく。Ｓ１４０での自動解析において見つけられた画像対応は、ハンドエンジニアリング（hand-engineered）されるのではなく、訓練画像の組によりこのようにして学習される。一般性を失わずに、画像誘導標的前立腺生検のための磁気共鳴イメージング及び超音波融合が、説明のために使用され得る。
【００２３】
“ディープラーニング”ストラテジは、画像解析問題の範囲に使用され得る。超音波画像において臓器／特徴を検出するためといったオブジェクト検出のためのディープラーニングの典型的な使用とは異なる本開示の態様に従って、ここで使用されるディープラーニング技術は、磁気共鳴イメージング画像及び超音波画像の所与の対から画像特徴を抽出してそれらの一致を確認するために用いられる。何らかのオブジェクトの存在を推測するために特定の種類の画像特徴を識別するのではなく、本明細書で記載されるディープラーニングアプリケーションは、画像特徴を抽出し、それから特徴の対応に基づいてレジストレーションを評価することを習得する。以下で記載される図５は、磁気共鳴イメージング及び超音波画像レジストレーションの品質を測定するためのかような学習方法の実施を示す。図５で見られるようなレイヤのネットワークを使用して、対応は、アルゴリズムによって自動で学習されることになる。システムを成功させるために、２つの重要な因子が満足されるべきである。１つは、ＧＰＵ（Graphics  Processing  Unit）によって提供されている強力な計算能力である。他の因子は、大規模な、十分な訓練データセットである。図５に示されるネットワークの例では、（２Ｄ又は３Ｄのいずれかでの）磁気共鳴イメージング及び超音波パッチの対が入力としてレイヤのネットワークへ与えられる。レイヤのネットワークの一番上にある出力は、レジストレーションのスコアである。間には、畳み込みレイヤ、最大プーリング（max  pooling）レイヤ、及び全結合レイヤの連続が、画像特徴を抽出し、スコアリング決定を行うために使用される。十分な訓練データにより、ネットワークのパラメータは、有意味なスコアを生成るよう訓練される。畳み込みレイヤは、畳み込み解析を実行する。
【００２４】
画像レジストレーションの品質を評価するためのメトリックは、画像特徴対応を学習することにより習得され得る。更に、レジストレーション精度の基準は、レジストレーション精度を種々のレベルに分類するよう指定され得る。ユーザは、エラーが過度であると見なされる場合に画像レジストレーションを自動で又は半自動で（例えば、自動支援により）調整することを可能にされ得、品質の具体的な表示が、ユーザへ供給され得る。具体的な表示の例には、警告メッセージがある。
【００２５】
画像レジストレーションの品質が図５に示されるレイヤのネットワークによって測定され得ると、レジストレーションは、Ｓ１４０での自動解析を通じて生成されたスコアに従って分類され得る。閾値が分類のために使用可能であり、訓練データから学習され得る。グラウンド（ベースライン）トゥルース（ground(baseline)  truth）として医師によって微調整されたレジストレーションを使用することによって、位置がずれている画像の組は、グラウンドトゥルースから離れて変化させることによって生成され得る。意図して位置をずらされた画像対は、訓練のためのネガティブサンプルとして使用されることになる。従って、レジストレーションを分類する分類器が実現され得る。
【００２６】
Ｓ１５０で、プロセスは、画像レジストレーションが通過するかどうかを判定する。例えば、図１のプロセスは、自動プロセスの結果として生成されたスコアを所定の閾値と比較してよい。所定の閾値は、第１モダリティ及び第２モダリティに基づいて、イメージ対における対象に基づいて、オペレータからの選択といった入力に基づいて、又は他の基準に基づいて変化する複数の利用可能な閾値の中の選択された閾値であってよい。
【００２７】
Ｓ１５２で、画像レジストレーションは、適格でないと決定される（Ｓ１５０＝Ｎ）。例えば、画像レジストレーションが適格でないとの決定は、Ｓ１４０での自動解析から得られるスコアに基づいてよい。スコアは、スコアが低いよう求められる閾値を上回るか、あるいは、スコアが高いよう求められる閾値を下回ってよい。
【００２８】
Ｓ１６２で、ユーザは、画像レジストレーションが適格でないことを通知される。ユーザは、ディスプレイ又はスピーカのような出力システムによって通知される。ユーザは、画像レジストレーションが認定を通過しない規模に基づいて変化する視覚的警告によって通知されてよい。例えば、電子ディスプレイの色又は強さは、画像レジストレーションが通過しない規模に基づいて変化してよい。ディスプレイはまた、有意な位置ずれ又は最大の位置ずれが検出される画像内の位置を示してもよい。警告はまた、有意な位置ずれ又は最悪の位置ずれが起きている画像領域の表示又はハイライトを含んでもよい。代替的に、ユーザは、画像レジストレーションが認定を通過しない規模に基づいて変化するスピーカからの可聴警告によって通知されてもよい。可聴警告は、例えば、ボリューム、トーン、ビープのような音響の異なるパターン、ビープのような音響の異なる速さ、又は比較的に緊急の警告をユーザに知らせる他の方法によって、様々であってよい。
【００２９】
Ｓ１５１で、画像レジストレーションは通過し（Ｓ１５０＝Ｙ）、画像レジストレーションの認定を変更するよう等級分けされる。画像レジストレーションは、閾値を満足することによって通過することができ、画像レジストレーションの信用性及び信頼性をユーザに通知するよう可変的に等級分けされてよい。通過等級は、１から１０又は１から１００といった数値であっても、あるいは、ＡからＦ又はＡからＺといったアルファベットであっても、あるいは、英数字であってもよい。
【００３０】
Ｓ１６１で、ユーザは、画像レジストレーションが適格である（通過する）ことを通知される。ユーザは、Ｓ１６２でユーザが画像レジストレーションの失敗を通知されるのと同じ方法で、視覚的に又は可聴的に通知されてよい。
【００３１】
Ｓ１７０で、ユーザがＳ１６２で画像レジストレーションの失敗を通知された後に、ユーザ入力が受け取られる。ここで、ユーザは、例えば、イメージ対の一方での特定の点をイメージ対の他方での特定の点にアライメントすることによって、又はアライメントされていないと視覚的に確認できる複数のそのような点をアライメントすることによって、画像レジストレーションを調整するように、入力を供給するようプロンプトされてもよい。ユーザはまた、右又は左又は上又は下といった方向でイメージ対の一方を全体に調整するようプロンプトされてもよい。ユーザ入力は、発話、カーソル、マウス、タッチ、キーボード、又はユーザ入力をコンピュータ及び／又は通信デバイスへ供給するための何らかの他の既知のメカニズムによって、供給されてよい。
【００３２】
Ｓ１８０で、画像レジストレーションは、自動で、及び／又はユーザ入力に基づいて調整される。すなわち、Ｓ１５０で落第する画像レジストレーションは、Ｓ１７０で受け取られたユーザ入力に基づいて調整されてよい。代替的に、又は追加的に、画像レジストレーションは、例えば、Ｓ１５０での失敗に照らして画像レジストレーションを再実行することによって、自動で調整されてもよい。
【００３３】
ワークフローの部分として、画像レジストレーション認定は、Ｓ１８０で手動で又は半自動で又は自動で画像レジストレーションを調整することをユーザに可能にする。この機能は、画像レジストレーション品質評価を学習するための訓練データを取得すること、及びライブプロシージャ中に画像レジストレーションを改善することを含め、２つの場所で使用され得る。すなわち、ライブプロシージャ中に実行される自動解析は、自動解析で使用される訓練データを得るために使用されるイメージの事前承認された対に基づいてよい。調整インターフェースは、ディスプレイ上のソフトボタンとして図６Ａ、図６Ｂ及び図６Ｃでは示されており、制御ユニット、例えば、ボタン及びスライディングバーとしてソフトボタンを使用することによって、実装される。インタラクションは、例えば、平行移動及び回転を実施するためにマウスインタラクションを用いて、画像対に対して直接に可能にされ得る。調整インターフェースはまた、リモートコントロールデバイス、例えば、ジェスチャ又は発話コマンドによってもよい。
【００３４】
図２は、代表的な実施形態に従って、画像レジストレーション認定のための他のプロセスを表す。
【００３５】
図２で、プロセスは、Ｓ２０５で、インターベンション医療処置のような次のステップへ進むと決定することによって、開始する。進むと決定する結果として、画像レジストレーションの品質はＳ２１０で評価される。画像レジストレーションは、次のステップのために必要とされる限りにおいて評価されてよい。Ｓ２２０で、画像レジストレーション品質が満足できるかどうかが判定される。画像レジストレーション品質がＳ２２０で満足できる場合には、プロセスは、Ｓ２３０で次のステップへ進み、プロセスは、例えば、画像レジストレーション品質の承認を出力した後に、終了する。プロセスは、出力システムが承認を出力して、ユーザに、画像レジストレーション品質が満足できることを通知した後に、終了してよい。出力システムは、コントローラによって、本明細書で記載されるように、承認を出力しかつ警告を出力するよう制御され得る。
【００３６】
画像レジストレーション品質がＳ２２０で満足できない場合には、Ｓ２４０でユーザにプロンプトするために警告が使用される。ユーザはＳ２５０で警告に同意することができ、それにより、画像レジストレーションはＳ２６０で調整され、次いでＳ２１０で再評価される。代替的に、ユーザは、Ｓ２５０で警告を無視し、プロセスが終了するようにＳ２３０で次のステップを進めることができる。
【００３７】
図２のプロセスで、ユーザは、プロシージャガイダンスのために、画像を融合するために使用される潜在的に不正確な画像レジストレーションについて警告される。ユーザが、Ｓ２０５で、次のステップが開始することへ移動したいと望むと、システムは、予め学習されているレイヤのネットワーク（図５に図示）を用いて、Ｓ２１０で、画像レジストレーションの品質を評価する。評価がＳ２２０でレジストレーションを満足できると見なす場合には、Ｓ２３０で、次のステップへ移動することが薦めされる。さもなければ、警告メッセージがＳ２４０でユーザにプロンプトされて、レジストレーションが正確でない可能性があり改善されるべきであることを示す。ユーザは、メッセージを無視し次のステップを続ける権利を有してよい（Ｓ２５０＝無視）。あるいは、ユーザは、提案を受け入れ（Ｓ２５０＝同意）、レジストレーションが満足できるまで、Ｓ２６０で、本明細書で記載される調整ツールを使用することによってレジストレーションを改善する。
【００３８】
図２での警告メッセージは、アルファベット、数字、又は英数字メッセージと言ったテキスト表示に限られない。警告はまた、良いレジストレーションを示す緑及び更なる改善の必要を示す赤を含む色によるサインといった視覚的サインであることもできる。警告メッセージはまた、レジストレーションが正確でない可能性があることを示す特定の音響による可聴信号であってもよい。警告はまた、タッチによって、例えば、ユーザに警告するようデバイスを振動させることによって、感知されてもよい。警告はまた、有意味な位置ずれ又は最悪の位置ずれが起きている画像領域の表示又はハイライトを含んでもよい。
【００３９】
図３は、代表的な実施形態に従って、画像レジストレーション認定のためのシステムを表す。
【００４０】
図３で、超音波システム３５０は、プロセッサ３６１及びメモリ３６２を含むセントラルステーション３６０と、タッチパネル３６３と、モニタ３５９と、データ接続３５８（例えば、有線又は無線データ接続）によってセントラルステーション３６０へ接続されている超音波イメージングプローブ３５６とを含む。図示されていないが、インターベンション医療デバイスも、例えば、第１イメージ又は第２イメージがインターベンション医療操作中にライブで供給されているときに、他のデータ接続（例えば、有線又は無線データ接続）を介してセントラルステーション３６０へ接続されてよい。
【００４１】
磁気共鳴イメージングシステム３７２は、第１イメージ又は第２イメージを生成するために使用されてよい。代替的に、Ｘ線放射器が、磁気共鳴イメージングシステム３７２又は超音波システム３５０に代わるものとして設けられてもよい。第１イメージ又は第２イメージの他のソースも、超音波システム３５０及び磁気共鳴イメージングシステム３７２への代替物又は追加として使用され得る。
【００４２】
レジストレーションシステム３９０は、プロセッサ３９１及びメモリ３９２を含む。レジストレーションシステム３９０は、磁気共鳴イメージングシステム３７２及びセントラルステーション３６０からデータを受け取る。レジストレーションシステム３９０は、例えば、プロセッサ３９１がメモリ３９２内の命令を実行することによって、本明細書で記載されるプロセスを実行する。なお、レジストレーションシステム３９０はまた、セントラルステーション３６０において又はそれによって、あるいは、何らかの他の適切なメカニズムにおいて、実装されてもよい。プロセッサ３９１とメモリ３９２との組み合わせは、レジストレーションシステム３９０にあろうと又は他の構成にあろうと、用語が本明細書で使用されるということで、「コントローラ」と見なされてよい。
【００４３】
レジストレーションシステム３９０による第１イメージ及び第２イメージのレジストレーションは、超音波イメージングプローブ３５６からのビューが、磁気共鳴イメージングシステム３７２からのビューに適切にオーバーレイされて示されることを可能にする。代替の実施形態では、第１イメージ及び／又は第２イメージは、インターベンション医療操作中に“ライブ”で供給されず、通信ネットワークを介して遠隔地から遠く離れてレジストレーションシステム３９０へ供給されてもよい。
【００４４】
レジストレーションの使用例は、インターベンション医療デバイスが医療処置中に患者の内部に置かれる場合である。画像レジストレーション認定は、医療処置のタイプに基づいて変化するメトリックに基づき変化し得る。例えば、画像レジストレーションは、１つのタイプの外科手術又は他のインターベンションについて、他のタイプの外科手術又は他のインターベンションについてよりも高い閾値を満足することを必要とし得る。
【００４５】
レジストレーションは、例えば、磁気共鳴イメージングシステム３７２を用いて生成された第２イメージで見られる組織、臓器、又は骨に対してオーバーレイ及びアライメントされる超音波イメージングプローブ３５６を用いて生成された第１イメージで見られるインターベンション医療デバイスの位置を示すために使用され得る。正確なアライメントは、組織、臓器、又は骨に対してインターベンション医療デバイスを正確に見ることをオペレータに可能にする。
【００４６】
レジストレーションがレジストレーションシステム３９０によって実行される自動解析を通過しない場合に、これは、例えば、スクリーンに示される超音波画像の空間位置が信頼できないことを意味し得るので、ユーザは通知されてよい。例えば、第１イメージ又は第２イメージの輪郭は、白又は赤に着色されてよく、あるいは、点滅してよい。代替的に、テキスト警告がモニタ３５９に示されてよく、あるいは、可聴警告がスピーカから供給されてよく、あるいは、超音波イメージングプローブ３５６条のハンドルといったコントロールが振動してもよい。次いで、ユーザは、図２のＳ２６０及び図１のＳ１８０について記載されたように、画像レジストレーションを調整すると選択する。第１イメージ及び第２イメージの一方又は両方を解析し直すことに加えて、新しいイメージが、落第したレジストレーションの決定に基づいて取得されてもよい。
【００４７】
図４は、代表的な実施形態に従って、画像レジストレーション認定の方法が実装可能な一般的なコンピュータシステムを表す。
【００４８】
コンピュータシステム４００は、コンピュータシステム４００に本明細書で開示されている方法又はコンピュータベースの機能のいずれか１つ以上を実行させるよう実行可能な命令の組を含むことができる。コンピュータシステム４００は、スタンドアローンのデバイスとして動作してよく、あるいは、例えば、ネットワーク４０１を用いて、他のコンピュータシステム又は周辺デバイスへ接続されてよい。
【００４９】
ネットワーク化された配置において、コンピュータシステム４００は、サーバ・クライアントネットワーク環境ではサーバとして若しくはクライアントユーザコンピュータとして、又はピア・ツー・ピア（若しくは分散）ネットワーク環境ではピアコンピュータシステムとして動作してよい。コンピュータシステム４００はまた、固定コンピュータ、モバイルコンピュータ、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、超音波システム、超音波イメージングプローブ、セントラルステーション、レジストレーションシステム、又は機械によって行われるべき動作を特定する命令の組（逐次又は他）を実行可能な何らかの他の機械のような様々なデバイスとして実装されるか、あるいは、そのようなデバイスに組み込まれ得る。コンピュータシステム４００は、デバイスとして又はその中に組み込まれてよく、そして、デバイスは、今度は、追加のデバイスを含む統合システム内にある。実施形態において、コンピュータシステム４００は、音声、映像、又はデータ通信を供給する電子デバイスを用いて実装され得る。更に、コンピュータシステム４００は単一のシステムとして図示及び説明されているが、「システム」との語は、１つ以上のコンピュータ機能を実行するよう命令の組又は複数の組を個々に又はまとめて実行するシステム又はサブシステムの如何なる集合も含むと理解されるべきである。
【００５０】
図４に表されているように、コンピュータシステム４００は、プロセッサ４１０を含む。コンピュータシステム４００のためのプロセッサは、有形かつ非一時的である。本明細書で使用されるように、「非一時的」との語は、状態の永久的な特性と解釈されるべきではなく、ある期間継続する状態の特性と解釈されるべきである。「非一時的」との語は、搬送波若しくは信号又はいつでもどこでも一時的にしか存在しない他の形態の特性といった束の間の特性を具体的に否定する。プロセッサは、製品及び／又は機械コンポーネントである。コンピュータシステム４００のためのプロセッサは、本明細書で様々な実施形態において記載されるような機能を実行するようにソフトウェア命令を実行するよう構成される。コンピュータシステム４００のためのプロセッサは、汎用のプロセッサであってよく、あるいは、特定用途向け集積回路（ＡＳＩＣ）の部分であってよい。コンピュータシステム４００のためのプロセッサはまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、状態機械、又はプログラム可能なロジックデバイスであってもよい。コンピュータシステム４００のためのプロセッサはまた、フィールド・プログラマブル・ゲート・アレイのようなプログラム可能ゲートアレイ（ＰＧＡ）を含む論理回路、又はディスクリートゲート及び／若しくはトランジスタロジックを含む他のタイプの回路であってもよい。コンピュータシステム４００のためのプロセッサは、中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、又は両方であってよい。更には、本明細書で記載される如何なるプロセッサも、多重プロセッサ、並列プロセッサ、又は両方を含んでよい。多重プロセッサは、単一のデバイス又は複数のデバイスに含まれるか、又はそれへ結合されてよい。
【００５１】
更に、コンピュータシステム４００は、バス４０８を介して互いと通信することができるメインメモリ４２０及びスタティックメモリ４３０を含む。本明細書で記載されるメモリは、データ及び実行可能命令を記憶することができる有形な記憶媒体であり、命令がそこに記憶されている時間中に非一時的である。本明細書で使用されるように、「非一時的」との語は、状態の永久の特性としてではなく、ある期間続く状態の特性と解釈されるべきである。「非一時的」との語は、具体的に、搬送波若しくは信号又はいつでもどこでも一時的にしか存在しない他の形態の特性といった束の間の特性を否定する。本明細書で記載されるメモリは、製品及び／又は機械コンポーネントである。本明細書で記載されるメモリは、データ及び実行可能命令がコンピュータによって読み出され得るコンピュータ可読媒体である。本明細書で記載されるメモリは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能なリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、ブルーレイディスク、又は当該技術で知られているあらゆる他の形態の記憶媒体であってよい。メモリは、揮発性又は不揮発性、セキュア及び／又は暗号化、非セキュア及び／又は非暗号化であってよい。
【００５２】
図示されるように、コンピュータシステム４００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管（ＣＲＴ）などのビデオ表示ユニット４５０を更に含んでよい。加えて、コンピュータシステム４００は、キーボード／仮想キーボード若しくはタッチ検知式入力スクリーン又は発話認識付き発話入力などの入力デバイス４６０と、マウス又はタッチ検知式入力スクリーン若しくはパッドなどのカーソル制御デバイス４７０とを含んでよい。コンピュータシステム４００はまた、ディスクドライブユニット４８０、スピーカ又はリモートコントロールなどの信号発生デバイス４９０、及びネットワークインターフェースデバイス４４０も含むことができる。
【００５３】
実施において、図４に表されるように、ディスクドライブユニット４８０は、ひと組以上の命令４８４、例えば、ソフトウェアが埋め込まれ得るコンピュータ可読媒体４８２を含んでよい。命令の組４８４は、コンピュータ可読媒体４８２から読み出され得る。更に、命令４８４は、プロセッサによって実行されるときに、本明細書で記載される方法及びプロセスの１つ以上を実行するために使用され得る。実施形態において、命令４８４は、完全に、又は少なくとも部分的に、メインメモリ４２０やスタティックメモリ４３０内に、及び／又はコンピュータシステム４００による実行中にはプロセッサ４１０内に存在してよい。
【００５４】
代替の実施形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能ロジックアレイ及び他のハードウェア部品などの専用のハードウェア実施が、本明細書で記載される方法の１つ以上を実施するよう構成され得る。本明細書で記載される１つ以上の実施形態は、モジュール間で及びモジュールを通じて通信され得る関連する制御及びデータ信号とともに２つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを用いて機能を実施してよい。従って、本開示は、ソフトウェア、ファームウェア、及びハードウェア実施を含む。本願中の何ものも、有形な非一時的プロセッサ及び／又はメモリなどのハードウェアによらずに、もっぱらソフトウェアにより実施されるか又は実施可能であると解釈されるべきではない。
【００５５】
本開示の様々な実施形態に従って、本明細書で記載される方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを用いて実施されてよい。更に、例となる非限定的な実施形態では、実施は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含むことができる。仮想コンピュータシステム処理は、本明細書で記載される方法又は機能の１つ以上を実施するよう構成可能であり、本明細書で記載されるプロセッサは、仮想処理環境をサポートするために使用されてよい。
【００５６】
本開示は、命令４８４を含むか、あるいは、伝搬された信号に応答して命令４８４を受信及び実行するコンピュータ可読媒体４８２を企図し、それにより、ネットワーク４０１へ接続されているデバイスは、ネットワーク４０１を介して音声、映像、又はデータを通信することができる。更に、命令４８４は、ネットワークインターフェースデバイス４４０を介してネットワーク４０１上で送信又は受信され得る。
【００５７】
図５は、代表的な実施形態に従って、画像レジストレーション認定のための学習方法に基づく認定プロセスとしての自動解析の実施を表す。
【００５８】
図５で、認定プロセスとしての自動解析は、第１イメージ及び第２イメージの共有の画像特徴を抽出するための複数の畳み込みレイヤでの畳み込み演算を含む。図５での自動解析はまた、抽出された特徴をスコア化するために、非線形活性化が後に続くレイヤの重み付け線形結合を含む。重み付けで使用される重みは、訓練フェーズで学習される。
【００５９】
より詳細には、図５での自動解析は、画像レジストレーションの品質を評価するためである。臓器は異なるモダリティでは極めて異なる外観を有し得るので、画像を一緒に相関するよう画像特徴を手動で定義することは困難である。図５で、異なるモダリティにおける同じ特徴の画像間の相関（対応）は、訓練画像の組を必要とする訓練段階で学習される。訓練段階は、ハンドエンジニアリングよりむしろディープラーニングを使用する。図５の実施形態で、一番下の入力は、ＭＲＩモダリティからのイメージ及び超音波モダリティからのイメージを含む。図５で入力として使用されるイメージは、画像誘導標的前立腺生検のために融合される。
【００６０】
ディープラーニングストラテジは、近年、画像解析問題の範囲のために成功裏に使用されている。画像レジストレーション認定の場合に、ディープラーニングは、オブジェクト検出のためのディープラーニングの典型的な使用とは異なる。例えば、ＭＲＩイメージ及び超音波イメージにおいて臓器／特徴を検出する場合に、画像レジストレーション認定におけるディープラーニング技術は、ＭＲＩ画像及び超音波画像の所与の対から画像特徴を抽出してそれらの一致を確認するために用いられる。何らかのオブジェクトの存在を推測するために特定の種類の画像特徴を識別するのではなく、画像レジストレーション認定におけるディープラーニングアプリケーションは、画像特徴を抽出し、それから特徴の対応に基づいてレジストレーションを評価することを習得する。
【００６１】
図５で、自動解析は、一番下にある入力イメージから一番上にある出力スコアまでを得るよう複数レイヤの解析を伴う。図５のレイヤのネットワークを使用して、対応は、アルゴリズムによって自動で学習され得る。図５のレイヤのネットワークを作動させるために、２つの重要な因子が満足される。１つの重要な因子は、グラフィクス処理ユニット（ＧＰＵ）によって提供されている強力な計算能力である。他の重要な因子は、大規模な、十分な訓練データセットの所有及び使用である。図５のレイヤのネットワークの例では、（２Ｄ又は３Ｄのいずれかでの）ＭＲＩ及び超音波パッチの対が入力としてレイヤのネットワークへ与えられる。レイヤのネットワークの一番上にある出力は、レジストレーションのスコアである。間には、畳み込みレイヤ（すなわち、レイヤ１、レイヤ２、レイヤ４、レイヤ５、レイヤ７、レイヤ８、レイヤ９、レイヤ１１及びレイヤ１２）、最大プーリングレイヤ（すなわち、レイヤ３及びレイヤ６）、及び全結合レイヤ（すなわち、レイヤ１４及びレイヤ１５）の連続が、画像特徴を抽出し、スコアリング決定を行うために使用される。十分な訓練データにより、ネットワークのパラメータは、有意味なスコアを生成るよう訓練される。
【００６２】
知られているように、畳み込みレイヤは、入力に畳み込み演算を適用し、結果を次のレイヤへ渡す。最大プーリングレイヤは、前のレイヤでの一群のニューロンの夫々から最大値を使用する。例えば、最大プーリングは、入力データセットのサイズを低減するよう非線形機能性を含む。一般事項として、入力イメージの表現は、上から下へ向かって図５のプロセス中に粗くなっていく。これは、繰り返される畳み込み及び最大プーリングが、詳細なピクセルごとの情報を、ピクセルの近傍全体からの情報を表す特徴へと結合するからである。また、知られているように、図５で見られるようなレイヤのネットワークがデータセットのサイズの低減する限りにおいて、最上部のレイヤ１４及びレイヤ１５は、入力データセットの１０％（０．１）のランダムな部分をドロップすることさえ示されている。これは、過剰適合、すなわち、訓練データセットに非常に固有である特徴を学習するが、訓練中に見られない新しいデータに対して一般化しないネットワークの傾向に対して、ネットワークの安定性を高める。しかしながら、ドロップされる割合は、この数が本明細書で任意に使用されると言うことで１０％に制限されず、レイヤ１４、レイヤ１５又は同様のレイヤで使用される実際の割合は、１０％より多いか又は少ない場合がある。
【００６３】
画像レジストレーションの品質が測定され得ると、レジストレーションはスコアに従って分類され得る。分類に使用される閾値も、訓練データから学習され得る。代替的に、閾値は、医療処置の画像のタイプの及び画像の意図された使用に応じて、手動で定義され得る。グラウンドトゥルースとして訓練データセットを生成するために専門家によって微調整されたレジストレーションを使用することによって、位置がずれている画像の組は、グラウンドトゥルースとして訓練データセットから離れて変化させることによって生成され得る。位置がずらされた画像対は、訓練のためのネガティブサンプルとして使用されることになる。自動解析は、最終的に、レジストレーションプロセスへの入力として使用されるイメージの対に基づくので、訓練において解析されるイメージの事前承認された対は、訓練段階を通じて自動解析のための基礎として使用され得る。訓練において解析されるイメージの事前承認された対は、ネガティブサンプルとなる少なくとも一対のイメージを含むことができる。従って、レジストレーションを分類する分類器が実現可能であり、訓練データセットは、肯定的な結果をもたらすよう確認されるデータ入力と、否定的な結果（失敗）をもたらすよう確認されるデータ入力とを有することになる。
【００６４】
図５で、重み付け線形結合は、いずれか２つのレイヤの間で適用される。非線形活性化は、閾値を満足しない特定のデータ入力を破棄して、データが無視され得るようにするために、いずれかのレイヤで適用され得る。活性化は、データが、閾値を満足しない場合にゼロにセット（重み付け）されることを意味する。重み付け線形結合に使用される重みは、訓練段階で学習され、図５での自動解析は、例えば、低い重み付けによりどのデータを捨てるべきかを決定する場合に、重みに基づく。
【００６５】
図５に示されるように、自動解析は、複数の畳み込みレイヤでの畳み込み演算を含むことができる。畳み込み演算は、第１イメージ及び第２イメージの共有の画像特徴、すなわち、第１イメージ及び第２イメージの両方に存在する特徴を抽出することを含む。自動解析はまた、抽出された共有の画像特徴をスコア化するために、非線形活性化が後に続くレイヤの重み付け線形結合を含むこともできる。重み付けで使用される重みは、訓練フェーズで学習され得る。
【００６６】
図６Ａは、代表的な実施形態に従って、画像レジストレーション認定を受ける第１（不良）レジストレーションを表す。
【００６７】
図６Ａの例では、自動解析を実行するアルゴリズムによって、大きいエラーが推定される。図示されるように、「ＡＩによって不承認！」が視覚的に強調表示され、エラーは３１．５９９７ｍｍであると推定される。出力は、レジストレーションエラーであると示される。図６Ａには、様々な入力設定も示されており、ズーム設定及びオーバーレイ設定がある。調整をリセットしかつ調整を確かめるコントロールも、レジストレーションをロードしかつレジストレーションをセーブするコントロールとともに示されている。エラーはより大きい又はより小さいことがあり、自動解析が実行される条件に応じて変化し得るということで、大きいエラーは３１．５９９７ｍｍに制限されない。従って、比較的に“大きい”エラーは、実施形態において３１．５９９７ｍｍよりも大きくても又は小さくてもよい。
【００６８】
より具体的には、図６Ａでは、６つのスライダーバーが、３Ｄの平行移動及び回転を制御するために使用される。ユーザが画像レジストレーションを調整する場合に、図６Ａの左下角にあるフィードバック領域内の赤ラベルは、アライメントが改善するにつれて黄又は緑に変わり得る。アライメントされた改善は、図６Ｂ及び図６Ｃで以下に示される。
【００６９】
図６Ｂは、代表的な実施形態に従って、画像レジストレーション認定を受ける第２（改善された）レジストレーションを表す。
【００７０】
図６Ｂの例では、推定されるエラーは、図６Ａの例よりも小さい。推定されるエラーは、自動解析を実行するアルゴリズムによって推定される。図示されるように、「ＡＩは改善を提案する」というメッセージが、例えば、図６Ａでのメッセージの色（赤）とは異なる色（黄）で、視覚的に強調表示される。エラーは、５．６９３５ｍｍであると推定される。図６Ｂには、図６Ａで見られるような同じ様々な入力設定が示されており、ズーム設定及びオーバーレイ設定がある。調整をリセットしかつ調整を確かめるコントロールも、レジストレーションをロードしかつレジストレーションをセーブするコントロールとともに示されている。図６Ｂでのエラーは、３１．５９９７ｍｍに制限される図６Ａでの大きいエラーを越えなければ、５．６９３５ｍｍに制限されない。図６Ｂは、図６Ａで存在するよりも小さいエラーが図６Ａとは異なる結果を消磁することを表す。どちらか一方の結果をもたらすエラーの規模は、より大きい又はより小さいことがあり、自動解析が実行される状況に応じて変化し得る。
【００７１】
図６Ｃは、代表的な実施形態に従って、画像レジストレーション認定を受ける第３（優良）レジストレーションを表す。
【００７２】
図６Ｃの例では、推定されるエラーは、図６Ａ及び図６Ｂの例よりも小さく、優良と見なされる。推定されるエラーは、自動解析を実行するアルゴリズムによって推定される。図示されるように、「ＡＩ支援によって同意」というメッセージが、例えば、図６Ｂでのメッセージの色（黄）とは又は図６Ａでのメッセージの色（赤）とは異なる色（緑）で、視覚的に強調表示される。エラーは２．６９３５ｍｍであると推定される。図６Ｃには、図６Ａ及び図６Ｂで見られるような同じ様々な入力設定が示されており、ズーム設定及びオーバーレイ設定がある。調整をリセットしかつ調整を確かめるコントロールも、レジストレーションをロードしかつレジストレーションをセーブするコントロールとともに示されている。より小さいエラーは、より大きい又はより小さいことがあり、自動解析が実行される状況に応じて変化し得るということで、図６Ｃでのより小さい推定されるエラーは、２．６９３５ｍｍに制限されない。従って、比較的に“小さい”エラーは、実施形態において２．６９３５ｍｍよりも大きくても又は小さくてもよい。
【００７３】
図６Ａ、図６Ｂ及び図６Ｃの例で、画像レジストレーションは、例えば、最初のレジストレーションを調整することをユーザに可能にすることによって、又は最初のレジストレーションを自動調整することによって、実行、再実行、及び再び再実行されてよい。
【００７４】
従って、画像レジストレーション認定は、インターベンション処置を誘導するよう画像を融合するためにさもなければ使用されることになった不正確なかつ臨床上受け入れられないレジストレーションの補正を可能にする。補正は、画像レジストレーションの品質を自動で評価し、それからフィードバックをユーザへ供給することによって可能にされる。特に、画像レジストレーションの品質が受け入れられない場合に、画像レジストレーション認定は、続行の前にレジストレーションを微調整することをユーザに提案してよい。結果として、オペレータエラーは低減され得、画像融合によって誘導されるインターベンションシステムの全体性能は更に改善され得る。
【００７５】
画像レジストレーション認定がいくつかの例となる実施形態を参照して記載されてきたが、使用されている語は、限定の語よりもむしろ、記載及び説明の語である。目下述べられており今後補正される添付の特許請求の範囲の範囲内で、その態様での画像レジストレーション認定の適用範囲及び精神から逸脱せずに、変更が行われてよい。画像レジストレーション認定は、特定の手段、材料及び実施形態を参照して記載されてきたが、画像レジストレーション認定は、開示されている詳細に制限されるよう意図されず、むしろ、画像レジストレーション認定は、添付の特許請求の範囲の適用範囲内にあるような全ての機能的に同等の構造、方法及び使用に及ぶ。
【００７６】
例えば、画像レジストレーション認定は、磁気共鳴イメージング及び超音波を含むレジストレーションの文脈において主に記載されてきた。しかし、画像レジストレーション自体は、たとえ医用イメージングの文脈でしか考えられていないとしても、様々なイメージングモードからの入力画像を用いて実行される。それでもなお、画像レジストレーション認定は、自動解析の基礎として使用されるディープラーニングが多くの又はおそらくは全てのイメージングモードのためのレジストレーションに適用可能である限りは、位置合わせされ得る多くの又はおそらくは全てのイメージングモードに適用可能である。結果として、オペレータエラーは、多種多様なイメージング及び医療処置のために低減され得る。
【００７７】
代替の実施形態では、画像レジストレーションの調整は、自動最適化スキームで最適化されるメトリックとして学習フェーズから導出された品質メトリックを使用することによって、自動で実行され得る。すなわち、学習されたメトリックは、画像レジストレーションプロセスにおいてマルチモーダル類似度のためのメトリックとなることができる。これは、相互情報（mutual  information）に類似しているが、モダリティ、臓器、取得されたビュー、などの特定の対といった特定の使用ケースのために高度に特殊化されている。
【００７８】
更に、図１及び図２のプロセスは、画像レジストレーション認定の中心的な特徴の大部分又は全てを示すが、そのような特徴は削除又は捕足されてもよい。例えば、フィードバック又は警告は、悪い／受け入れられないレジストレーションが検出されるときはいつでもユーザへ供給されてよいが、警告に反応することをユーザに強いない。すなわち、警告は、患者／組織の運動などによりリアルタイムでレジストレーションが変化する可能性がある進行中のワークフローと並行して表示され得る。多くの他の特徴が、図示及び記載されているプロセスを補足するよう加えられてよく、図示及び記載されているプロセスの個々のステップは、画像レジストレーション認定の適用範囲内及び精神から逸脱せずに変更又は削除されてよい。
【００７９】
更なる他の実施形態では、訓練フェーズは、個々のユーザ／施設のためのカスタマイズされた品質目標を可能にするために、特定のオペレータによって供給されるか、あるいは、オペレータによって補正／補足されてよい。このカスタマイズは、熟練したユーザが追加の又は新しいグラウンドトゥルースレジストレーションを供給するためのワークフローを提供する。更には、カスタマイズは、システムが優れたレジストレーションを示す特徴を再訓練することを可能にすることができる。更に、カスタマイズは、システムが、不正確なレジストレーションを表す特徴を学習するために、“不正確な”レジストレーションを生成するようグラウンドトゥルースレジストレーションを変更することを可能にすることができる。
【００８０】
画像レジストレーション認定はまた、インターベンションガイダンスのために画像融合を使用する様々な既存の製品及びシステムへ改良として使用されてもよい。画像レジストレーション認定を含むよう変更され得るシステムの例には、様々な超音波イメージング及びナビゲーションシステムがある。
【００８１】
本明細書で記載される実施形態の実例は、様々な実施形態の構造の一般的な理解をもたらすよう意図される。実例は、本明細書で記載されている開示の要素及び特徴の全ての完全な記載となるよう意図されない。多数の他の実施形態は、本開示を検討することで当業者に明らかである。他の実施形態は、構造的及び論理的な置換及び変更が開示範囲から外れることなしに行われ得るように、本開示から利用及び導出され得る。更に、実例は単に具象的であり、実寸通りでなくてよい。実例内の特定の比率は、拡大されることがあり、一方、他の比率は、最小限にされることがある。従って、本開示及び図面は、限定ではなく例示と見なされるべきである。
【００８２】
本開示の１つ以上の実施形態は、単なる便宜上、本願の範囲を如何なる特定の発明又は発明概念に自発的に制限する意図なしに、個別的に及び／又は集合的に、「発明」との語によって、本明細書で呼ばれ得る。更に、具体的な実施形態が本明細書で例示及び記載されているが、当然ながら、同じ又は類似した目的を達成するよう設計された如何なる後続の配置も、示されている具体的な実施形態と置き換えられてよい。本開示は、様々な実施形態のありとあらゆる後続の適応又は変形もカバーするよう意図される。上記の実施形態、及び本明細書で具体的に記載されていない他の実施形態の組み合わせは、本明細書を検討することで当業者に明らかである。
【００８３】
本開示の要約は、３７  Ｃ．Ｆ．Ｒ  第１，７２（ｂ）条に従って設けられ、特許請求の範囲の適用範囲又は意味を解釈又は制限するために使用されないという理解の下で提出される。更に、上記の詳細な説明において、様々な特徴は、本開示を簡素化する目的で１つの実施形態においてまとめられ又は記載されることがある。本開示は、請求される実施形態が、各請求項に明示的に記載されているよりも多い特徴を必要とする意図を反映していると解釈されるべきでない。むしろ、続く特許請求の範囲が反映するように、発明対象は、開示されている実施形態のうちのいずれかの特徴の全てを対象としているわけではない。このようにして、続く特許請求の範囲は詳細な説明に組み込まれ、各請求項は、別々に請求されている対象を定義するものとして独立している。
【００８４】
開示されている実施形態の上記の説明は、本開示で記載されている概念を実施することを当業者に可能にするために与えられている。そのようなものとして、上記の開示されている対象は、限定ではなく実例と見なされるべきであり、添付の特許請求の範囲は、本開示の実際の精神及び適用範囲内にある全てのそのような変更、拡張及び他の実施形態をカバーするよう意図される。よって、法律によって許される最大限の範囲で、本開示の範囲は、続く特許請求の範囲及びその均等の最も広い許される解釈によって決定されるべきであり、上記の詳細な説明によって制限又は限定されるべきではない。
【図１】
2021514767.tif 000003
【図２】
2021514767.tif 000004
【図３】
2021514767.tif 000005
【図４】
2021514767.tif 000006
【図５】
2021514767.tif 000007
【図６Ａ】
2021514767.tif 000008
【図６Ｂ】
2021514767.tif 000009
【図６Ｃ】
2021514767.tif 000010
【手続補正書】
【提出日】令和2年11月5日(2020.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像レジストレーションを認定するコントローラであって、
命令を記憶するメモリと、前記命令を実行するプロセッサとを有し、
前記プロセッサによって実行される場合に、前記命令は、当該コントローラに、
第１モダリティの第１イメージを受け取ることと、
第２モダリティの第２イメージを受け取ることと、
画像レジストレーションを得るよう前記第１モダリティの前記第１イメージを前記第２モダリティの前記第２イメージに位置合わせすることと、
前記画像レジストレーションを認定するよう該画像レジストレーションに認定プロセスとして自動解析を受けさせ、前記画像レジストレーションが前記認定プロセスを通過する場合には前記画像レジストレーションを可変的に適格とし、前記画像レジストレーションが前記認定プロセスを通過しない場合には前記画像レジストレーションを適格としないことと、
前記画像レジストレーションが前記認証プロセスを通過しない場合に前記画像レジストレーションを適格としなかった後に、前記画像レジストレーションを適格としなかった後にユーザからプロンプトされた入力に基づいて前記画像レジストレーションを調整することと
を有するプロセスを実行させる、コントローラ。
【請求項２】
前記自動解析は、前記第１イメージ及び前記第２イメージの結合画像特徴を抽出するための複数の畳み込みレイヤでの畳み込み計算と、前記抽出された結合画像特徴をスコア化するための、非線形活性化が後に続く重み付け線形結合とを含み、
前記重み付けで使用される重みは、訓練フェーズで学習される、
請求項１に記載のコントローラ。
【請求項３】
前記プロセッサによって実行される前記プロセスは、
前記画像レジストレーションが前記認定プロセスを通過するかどうかを可変的に認定するよう前記画像レジストレーションを所定の閾値と比較することを更に有する、
請求項１に記載のコントローラ。
【請求項４】
前記プロセッサによって実行される前記プロセスは、
前記画像レジストレーションが前記認定プロセスを通過しない場合に警告を与えるよう、かつ、前記画像レジストレーションが前記認定プロセスを通過する場合に承認を出力するよう出力システムを制御することを更に有する、
請求項１に記載のコントローラ。
【請求項５】
前記出力システムは、ディスプレイを有し、
前記警告は、前記画像レジストレーションが前記認定プロセスを通過しない規模に基づいて変化する視覚的警告を有する、
請求項４に記載のコントローラ。
【請求項６】
前記警告は、前記画像レジストレーションが前記認定プロセスを通過しない前記第１イメージ及び／又は前記第２イメージの領域の視覚的指示を有する、
請求項５に記載のコントローラ。
【請求項７】
前記出力システムは、スピーカを有し、
前記警告は、前記画像レジストレーションが前記認定プロセスを通過しない規模に基づいて変化する可聴警告を有する、
請求項４に記載のコントローラ。
【請求項８】
前記自動解析は、前記認定プロセスを通過せず当該コントローラを訓練するために使用されるイメージの少なくとも１つの事前承認された対を含む、前記第１モダリティ及び前記第２モダリティにおけるイメージの事前承認された対に基づく、
請求項１に記載のコントローラ。
【請求項９】
前記第１モダリティは、超音波を有し、前記第２モダリティは、磁気共鳴イメージング（ＭＲＩ）を有する、
請求項１に記載のコントローラ。
【請求項１０】
前記自動解析は、前記プロセッサによって実行される命令が前記第１イメージ及び前記第２イメージから画像特徴を識別及び抽出し、該画像特徴の対応を評価するために使用されるディープラーニングを適用し、かつ／あるいは、
前記自動解析は、該自動解析のプロセスを訓練するために使用される前記第１モダリティ及び前記第２モダリティにおけるイメージの対に基づく、
請求項１に記載のコントローラ。
【請求項１１】
前記可変的に適格とすることは、前記第１イメージ及び前記第２イメージが生成される医療処置のタイプに基づいて変化するメトリックに基づく、
請求項１に記載のコントローラ。
【請求項１２】
前記第１イメージ及び前記第２イメージのうちの少なくとも一方は、医療処置の間にリアルタイムで生成され受け取られる、
請求項１に記載のコントローラ。
【請求項１３】
前記自動解析は、前記第１イメージ及び前記第２イメージの画像特徴を抽出し、訓練フェーズにおいて学習される重みに基づいて前記画像特徴をスコア化することに基づいて、複数の畳み込みレイヤでの畳み込み解析を有する、
請求項１に記載のコントローラ。
【請求項１４】
画像レジストレーションを認定する方法であって、
第１モダリティの第１イメージを受け取ることと、
第２モダリティの第２イメージを受け取ることと、
コントローラのメモリに記憶された命令を実行する前記コントローラのプロセッサによって、画像レジストレーションを得るよう前記第１モダリティの前記第１イメージを前記第２モダリティの前記第２イメージに位置合わせすることと、
前記画像レジストレーションを認定するよう該画像レジストレーションに認定プロセスとして自動解析を受けさせ、前記画像レジストレーションが前記認定プロセスを通過する場合には前記画像レジストレーションを可変的に適格とし、前記画像レジストレーションが前記認定プロセスを通過しない場合には前記画像レジストレーションを適格としないことと、
前記画像レジストレーションが前記認証プロセスを通過しない場合に前記画像レジストレーションを適格としなかった後に、前記画像レジストレーションを適格としなかった後にユーザからプロンプトされた入力に基づいて前記画像レジストレーションを調整することと
を有する方法。
【請求項１５】
画像レジストレーションを認定するシステムであって、
請求項１に記載のコントローラと、
前記第２モダリティの前記第２イメージを生成する超音波プローブと、
前記第１モダリティの前記第１イメージを生成する磁気共鳴イメージング（ＭＲＩ）と
を有するシステム。
【国際調査報告】
2021514767.tif 000011
2021514767.tif 000012
2021514767.tif 000013