(57)【要約】本発明は、画像化システムを使用して患者の少なくとも１つの解剖学的対象物を走査、識別、及びナビゲートするための方法であって、プローブを用いて行った解剖学的対象物の走査、識別、及びナビゲートの各ステップ中にプローブの操作に関するデータを収集するステップと、収集されたデータを、解剖学的対象物に関する走査、識別、及びナビゲートの各ステップを学習するように構成されたディープラーニングネットワークに入力するステップと、ディープラーニングネットワークに基づき、解剖学的対象物を見つけるためのプローブの操作の仕方をプローブの操作者に対して指示するプローブ視覚化ガイドを生成するステップと、ユーザディスプレイを用いて、プローブ視覚化ガイドを操作者に対して表示するステップと、を含む方法を提供する。【選択図】図３
2020522334.tif 000002
【特許請求の範囲】
【請求項１】
画像化システムを使用して患者の少なくとも１つの解剖学的対象物を走査、識別、及びナビゲートするための方法であって、
前記画像化システムのプローブを用いて前記解剖学的対象物を走査する走査ステップと、
前記プローブを用いて前記解剖学的対象物を識別する識別ステップと、
前記プローブを用いて前記解剖学的対象物をナビゲートするナビゲートステップと、
前記走査ステップ、前記識別ステップ、及び前記ナビゲートステップの各ステップ中に前記プローブの操作に関するデータを収集するデータ収集ステップと、
前記データ収集ステップで収集されたデータを、前記解剖学的対象物に関する前記走査ステップ、前記識別ステップ、及び前記ナビゲートステップを学習するように構成されたディープラーニングネットワークに入力するデータ入力ステップと、
前記ディープラーニングネットワークに基づき、前記解剖学的対象物を見つけるための前記プローブの操作の仕方を前記プローブの操作者に対して指示する前記操作者のためのプローブ視覚化ガイドを生成するガイド生成ステップと、
前記画像化システムのユーザディスプレイを用いて、前記プローブ視覚化ガイドを前記操作者に対して表示するガイド表示ステップと、を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記データ収集ステップは、
前記走査ステップで走査された前記解剖学的対象物の１以上の画像及び映像の少なくとも一方を生成するステップと、
前記１以上の画像あるいは映像をメモリデバイスに格納するステップと、をさらに含むことを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、
前記データ収集ステップは、
前記走査ステップ、前記識別ステップ、及び前記ナビゲートステップのうちの少なくとも１つのステップ中に、前記プローブの動作、及び前記プローブにより加えられた圧力の少なくとも一方を１以上のセンサを用いてモニタリングするモニタリングステップと、
前記モニタリングステップで収集されたデータを前記メモリデバイスに格納するステップと、をさらに含むことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、
前記プローブの動作、及び前記プローブにより加えられた圧力の少なくとも一方を１以上のセンサを用いてモニタリングする前記モニタリングステップは、
前記走査ステップ、前記識別ステップ、及び前記ナビゲートステップのうちの少なくとも１つのステップ中に、前記プローブの傾斜角度をモニタリングするステップをさらに含むことを特徴とする方法。
【請求項５】
請求項３に記載の方法であって、
前記ガイド生成ステップ及び前記モニタリングステップは、互いに同時に実行されることを特徴とする方法。
【請求項６】
請求項３に記載の方法であって、
前記１以上の画像あるいは映像と、前記モニタリングステップでモニタリングされた前記プローブの動作との間の誤差を求めるステップをさらに含むことを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、
前記誤差に基づき、前記ディープラーニングネットワークを最適化するステップをさらに含むことを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、
前記プローブ視覚化ガイドは、前記プローブを移動させる１以上の方向、及び前記プローブを保持する傾斜角度の少なくとも一方を含むことを特徴とする方法。
【請求項９】
請求項１に記載の方法であって、
前記ディープラーニングネットワークに基づき、触覚的フィードバックを生成するステップと、
前記触覚的フィードバックを前記画像化システムの前記プローブに送信するステップと、をさらに含むことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、
前記ディープラーニングネットワークは、１以上の畳み込みニューラルネットワーク、及び１以上の回帰型ニューラルネットワークの少なくとも一方を含むことを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、
前記ディープラーニングネットワークを、前記解剖学的対象物に関する前記走査ステップ、前記識別ステップ、及び前記ナビゲートステップを自動的に学習するように訓練するステップをさらに含むことを特徴とする方法。
【請求項１２】
画像化システムを使用して患者の少なくとも１つの解剖学的対象物を分析するための方法であって、
前記画像化システムのプローブを用いて前記解剖学的対象物を分析する分析ステップと、
前記分析ステップ中に前記プローブの操作に関するデータを収集するデータ収集ステップと、
前記データ収集ステップで収集されたデータを、前記解剖学的対象物に関する前記分析ステップを学習するように構成されたディープラーニングネットワークに入力するデータ入力ステップと、
前記ディープラーニングネットワークに基づき、前記解剖学的対象物を見つけるための前記プローブの操作の仕方を操作者に対して指示する前記操作者のためのプローブ視覚化ガイドを生成するガイド生成ステップと、
前記画像化システムのユーザディスプレイを用いて、前記プローブ視覚化ガイドを前記操作者に対して表示するガイド表示ステップと、を含むことを特徴とする方法。
【請求項１３】
超音波画像化システムであって、
解剖学的対象物の画像を表示するように構成されたユーザディスプレイと、
超音波プローブと、
前記超音波プローブ及び前記ユーザディスプレイに通信可能に接続されたコントローラと、を備え、
前記コントローラは、１以上の操作を実行するように構成された１以上のプロセッサを含み、
前記１以上の操作は、
前記超音波プローブを用いて前記解剖学的対象物を分析する分析ステップと、
前記分析ステップ中に前記超音波プローブの操作に関するデータを収集するデータ収集ステップと、
前記データ収集ステップで収集されたデータを、前記解剖学的対象物に関する前記分析ステップを学習するように構成されたディープラーニングネットワークに入力するデータ入力ステップと、
前記ディープラーニングネットワークに基づき、前記解剖学的対象物を見つけるための前記超音波プローブの操作の仕方を前記超音波プローブの操作者に対して指示する前記操作者のためのプローブ視覚化ガイドを生成するガイド生成ステップと、
前記ユーザディスプレイを用いて、前記プローブ視覚化ガイドを前記操作者に対して表示するガイド表示ステップと、を含むことを特徴とするシステム。
【請求項１４】
請求項１３に記載の画像化システムであって、
前記データ収集ステップは、
前記解剖学的対象物の１以上の画像及び映像の少なくとも一方を生成するステップと、
前記１以上の画像あるいは映像をメモリデバイスに格納するステップと、をさらに含むことを特徴とするシステム。
【請求項１５】
請求項１３に記載の画像化システムであって、
前記分析ステップ中に、前記超音波プローブの動作、及び前記超音波プローブにより加えられた圧力の少なくとも一方をモニタリングするように構成された１以上のセンサをさらに含むことを特徴とするシステム。
【請求項１６】
請求項１３に記載の画像化システムであって、
前記１以上の操作は、
前記分析ステップ中に、前記超音波プローブの傾斜角度をモニタリングするステップをさらに含むことを特徴とするシステム。
【請求項１７】
請求項１４に記載の画像化システムであって、
前記１以上の操作は、
前記１以上の画像あるいは映像と、前記超音波プローブの動作との間の誤差を求めるステップをさらに含むことを特徴とするシステム。
【請求項１８】
請求項１３に記載の画像化システムであって、
前記ディープラーニングネットワークは、１以上の畳み込みニューラルネットワーク、及び１以上の回帰型ニューラルネットワークの少なくとも一方を含むことを特徴とするシステム。
【請求項１９】
請求項１３に記載の画像化システムであって、
前記プローブ視覚化ガイドは、前記超音波プローブを移動させる１以上の方向、及び前記超音波プローブを保持する傾斜角度の少なくとも一方を含むことを特徴とするシステム。
【請求項２０】
請求項１３に記載の画像化システムであって、
前記１以上の操作は、
前記ディープラーニングネットワークに基づき、触覚的フィードバックを生成するステップと、
前記触覚的フィードバックを前記画像化システムの前記超音波プローブに送信するステップと、をさらに含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１７年６月６日出願の米国特許仮出願第６２／５１５、７１６号に基づく優先権を主張するものである。上記出願の開示内容は、参照により本明細書中に援用される。
【０００２】
（技術分野）
本発明は、医用イメージングの分野における解剖学的対象物の検出に関し、より詳細には、視覚化ガイド及び／または触覚的フィードバックを用いて解剖学的対象物を識別及びナビゲートするためのシステム及び方法に関する。
【背景技術】
【０００３】
超音波イメージングを用いた解剖学的対象物の検出は、局所麻酔神経ブロックなどの多くの医療処置に不可欠のステップであり、診断、患者層別化、治療計画、治療介入、及び／または経過観察を支援するために臨床診療において標準になってきている。したがって、解剖学的対象物及びその周囲組織の検出を迅速かつ正確に行うことが重要である。
【０００４】
コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、超音波、及び透視画像などの医用画像における解剖学的検出及びトラッキングの問題に対処するための従来の手法に基づく様々なシステムが存在する。しかしながら、標的の解剖学的対象物へのナビゲート及び標的の解剖学的対象物の検出には、熟練した技能、長年の経験、及び人体解剖学についての確かな知識を必要とする。
【０００５】
そのため、標的の解剖学的対象物を見つけるために、手術者、看護師、医学生、及び／または開業医を効率的にガイドすることができるシステム及び方法があれば、当技術分野で歓迎されるであろう。そこで、本開示は、視覚化ガイド及び／または触覚的フィードバックを用いて、解剖学的対象物を識別及びナビゲートするためのシステム及び方法を提供する。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の目的及び利点は、その一部が以下の説明に記載されており、または以下の説明から明らかであり、または本発明の実施により学ぶことができるであろう。
【０００７】
一態様では、本発明は、画像化システムを使用して患者の少なくとも１つの解剖学的対象物を走査、識別、及びナビゲートするための方法に関する。本方法は、画像化システムのプローブを用いて解剖学的対象物を走査する走査ステップと、プローブを用いて解剖学的対象物を識別する識別ステップと、プローブを用いて解剖学的対象物をナビゲートするナビゲートステップと、を含む。さらに、本方法は、上記の走査ステップ、識別ステップ、及びナビゲートステップの各ステップ中にプローブの操作に関するデータを収集するデータ収集ステップを含む。また、本方法は、上記のデータ収集ステップで収集されたデータを、解剖学的対象物に関する上記の走査ステップ、識別ステップ、及びナビゲートステップを学習するように構成されたディープラーニングネットワークに入力するデータ入力ステップを含む。加えて、本方法は、ディープラーニングネットワークに基づき、プローブの操作者のためのプローブ視覚化ガイドを生成するガイド生成ステップを含む。また、本発明は、画像化システムのユーザディスプレイを用いて、プローブ視覚化ガイドを操作者に対して表示するガイド表示ステップを含む。プローブ視覚化ガイドは、解剖学的対象物を見つけるためのプローブの操作の仕方を、プローブの操作者に対して指示する。
【０００８】
一実施形態では、上記のデータ収集ステップは、上記の走査ステップで走査された解剖学的対象物の１以上の画像及び映像の少なくとも一方を生成するステップと、１以上の画像あるいは映像をメモリデバイスに格納するステップと、をさらに含む。
【０００９】
別の実施形態では、上記のデータ収集ステップは、上記の走査ステップ、識別ステップ、及びナビゲートステップのうちの少なくとも１つのステップ中に、プローブの動作、及びプローブにより加えられた圧力の少なくとも一方を１以上のセンサを用いてモニタリングするモニタリングステップと、上記のモニタリングステップで収集されたデータをメモリデバイスに格納するステップと、をさらに含む。
【００１０】
さらなる実施形態では、プローブの動作、及びプローブにより加えられた圧力の少なくとも一方を１以上のセンサを用いてモニタリングする上記のモニタリングステップは、上記の走査ステップ、識別ステップ、及びナビゲートステップのうちの少なくとも１つのステップ中に、プローブの傾斜角度をモニタリングするステップをさらに含む。いくつかの実施形態では、上記のガイド生成ステップ及びモニタリングステップは、互いに同時に実行される。
【００１１】
別の実施形態では、本方法は、１以上の画像あるいは映像と、モニタリングステップでモニタリングされたプローブの動作との間の誤差を求めるステップをさらに含む。この実施形態では、本方法は、求められた誤差に基づき、ディープラーニングネットワークを最適化するステップをさらに含む。
【００１２】
特定の実施形態では、プローブ視覚化ガイドは、プローブを移動させる１以上の方向、及びプローブを保持する傾斜角度の少なくとも一方を含む。さらなる実施形態では、本方法は、ディープラーニングネットワークに基づき、触覚的フィードバックを生成するステップと、触覚的フィードバックを画像化システムのプローブに送信するステップと、をさらに含む。
【００１３】
いくつかの実施形態では、ディープラーニングネットワークは、１以上の畳み込みニューラルネットワーク、及び１以上の回帰型ニューラルネットワークの少なくとも一方を含む。さらに、いくつかの実施形態では、本方法は、ディープラーニングネットワークを、解剖学的対象物に関する上記の走査ステップ、識別ステップ、及びナビゲートステップを自動的に学習するように訓練するステップをさらに含む。
【００１４】
別の態様では、本発明は、画像化システムを使用して患者の少なくとも１つの解剖学的対象物を分析するための方法に関する。本方法は、画像化システムのプローブを用いて解剖学的対象物を分析する分析ステップを含む。さらに、本方法は、上記の分析ステップ中にプローブの操作に関するデータを収集するデータ収集ステップを含む。また、本発明は、上記のデータ収集ステップで収集されたデータを、解剖学的対象物に関する上記の分析ステップを学習するように構成されたディープラーニングネットワークに入力するデータ入力ステップを含む。さらに、本発明は、ディープラーニングネットワークに基づき、プローブの操作者のためのプローブ視覚化ガイドを生成するガイド生成ステップと、画像化システムのユーザディスプレイを用いて、プローブ視覚化ガイドを操作者に対して表示するガイド表示ステップと、を含む。プローブ視覚化ガイドは、解剖学的対象物を見つけるためのプローブの操作の仕方を、プローブの操作者に対して指示する。本方法は、本明細書に記載された任意の追加的なステップ及び／または構成要素をさらに含み得ることを理解されたい。
【００１５】
さらなる別の態様では、本発明は、超音波画像化システムに関する。本システムは、解剖学的対象物の画像を表示するように構成されたユーザディスプレイと、超音波プローブと、超音波プローブ及びユーザディスプレイに通信可能に接続されたコントローラと、を備える。コントローラは、１以上の操作を実行するように構成された１以上のプロセッサを含み、１以上の操作は、超音波プローブを用いて解剖学的対象物を分析する分析ステップと、上記の分析ステップ中に超音波プローブの操作に関するデータを収集するデータ収集ステップと、上記のデータ収集ステップで収集されたデータを、解剖学的対象物に関する分析ステップを学習するように構成されたディープラーニングネットワークに入力するデータ入力ステップと、ディープラーニングネットワークに基づき、超音波プローブの操作者のためのプローブ視覚化ガイドを生成するガイド生成ステップと、ユーザディスプレイを用いて、プローブ視覚化ガイドを操作者に対して表示するガイド表示ステップと、を含む。プローブ視覚化ガイドは、解剖学的対象物を見つけるための超音波プローブの操作の仕方を、超音波プローブの操作者に対して指示する。本システムは、本明細書に記載された任意の追加的なステップ及び／または構成要素をさらに含み得ることを理解されたい。
【００１６】
本発明の上記及び他の特徴、態様及び利点は、以下の説明及び添付された特許請求の範囲を参照することにより、より良く理解できるであろう。添付図面は、本明細書に組み込まれてその一部を構成し、本発明の実施形態を図示し、本明細書と共に本発明の原理を説明する役割を果たす。
【図面の簡単な説明】
【００１７】
当業者を対象にした本発明の完全かつ実現可能な開示（ベストモードを含む）が、添付図面を参照して、本明細書に説明されている。
【００１８】
【図１】本開示に係る画像化システムの一実施形態を示す斜視図である。
【図２】本開示に係る画像化システムのコントローラの一実施形態を示すブロック図である。
【図３】画像及び／または映像を、本開示に係る画像化システムのプローブの動作及び角度と共に収集するためのデータ収集システムの一実施形態を示す概略ブロック図である。
【図４】本開示に係るデータ収集システムに基づき、ディープラーニングネットワークを訓練するステップの一実施形態を示す概略ブロック図である。
【図５】本開示に係るシステムの一実施形態を示す概略ブロック図であり、特に、スキャンセッション中にプローブの操作者のための視覚化ガイドを生成するデプロイシステムを示す。
【図６】本開示に係るシステムの一実施形態を示す概略ブロック図であり、特に、スキャンセッション中にプローブの操作者のための触覚的フィードバックを生成するデプロイシステムを示す。
【発明を実施するための形態】
【００１９】
以下、本発明の１以上の実施形態及び添付図面に図示した本発明の実施例について詳細に説明する。各実施例及び実施形態は、本発明を説明するために提示されたものであり、本発明を限定するものではない。例えば、ある実施形態の一部として例示または説明された特徴を、別の実施形態を用いて、さらなる別の実施形態を創出することもできる。本発明は、添付された特許請求の範囲及びその均等物の範囲に含まれる限り、そのような変更形態及び変形形態を包含することを意図している。
【００２０】
図１及び図２を参照すると、患者の解剖学的対象物（anatomical object）を走査、識別（同定）、及びナビゲート（navigating）するための、本開示に係る画像化システム１０が示されている。より具体的には、図示のように、画像化システム１０は、本技術の恩恵を受けることができる超音波画像化システムまたは任意の他の適切な画像化システムに相当し得る。このため、図示のように、画像化システム１０は一般的に、様々なコンピュータ実施機能を実行するように構成された（例えば、本明細書に開示された方法等の実行、及び関連データの格納）、１以上のプロセッサ１４及びそれに関連するメモリデバイス１６を含むコントローラ１２と、解剖学的対象物２２の画像２０を表示するように構成されたユーザディスプレイ１８とを備える。加えて、画像化システム１０は、コンピュータ及び／またはキーボード等のユーザインタフェース２４を備え、ユーザがユーザディスプレイ１８に画像表示させること、及び／またはユーザがユーザディスプレイ１８を制御することを補助するように構成されている。
【００２１】
加えて、図２に示すように、プロセッサ１４（コントローラ１２）は、プロセッサ１４と、画像化システム１０の様々な構成要素、例えば図１のいずれかの構成要素との間の通信を容易にするための通信モジュール２６をさらに含む。さらに、通信モジュール２６は、１以上のプローブ（例えば、超音波プローブ３０）から送信された信号を、プロセッサ１４が理解して処理することができる信号に変換するためのセンサインタフェース２８（例えば、１以上のアナログ−デジタル変換器）を含む。超音波プローブ３０は、任意の適切な手段を用いて通信モジュール２６に通信可能に接続され得ることを理解されたい。例えば、図２に示すように、超音波プローブ３０は、有線接続によってセンサインタフェース２８に接続され得る。また、他の実施形態では、超音波プローブ３０は、当技術分野で既知の任意の適切な無線通信プロトコル等を用いて、無線接続によってセンサインタフェース２８に接続され得る。このように、プロセッサ１４は、超音波プローブ３０から１以上の信号を受信するように構成され得る。
【００２２】
本明細書で使用するとき、用語「プロセッサ」は、当技術分野においてコンピュータ内に含まれているものとして言及される集積回路だけでなく、コントローラ、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、特定用途向け集積回路、現場でプログラム可能なゲートアレイ（ＦＰＧＡ：field-programmable gate array）、及び他のプログラム可能な回路も指す。プロセッサ１４はまた、先進制御アルゴリズムを計算し、様々なイーサネット（登録商標）またはシリアルベースのプロトコル（Ｍｏｄｂｕｓ、ＯＰＣ、ＣＡＮ等）と通信するように構成される。さらに、いくつかの実施形態では、プロセッサ１４は、計算時間及びローカルデバイスの負荷を減らすことを目的として、クラウドコンピューティングのためにインターネットを介してサーバと通信してもよい。加えて、メモリデバイス１６は一般的に、これに限定しないが、例えば、コンピュータ可読媒体（例えば、ランダムアクセスメモリ（ＲＡＭ））、コンピュータ可読不揮発性媒体（例えば、フラッシュメモリ）、フロッピーディスク、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ）、光磁気ディスク（ＭＯＤ）、デジタルバーサタイルディスク（ＤＶＤ）、及び／または他の適切なメモリ要素等のメモリ要素を含み得る。このようなメモリデバイス１６は一般的に、プロセッサ１４によって実行されたときに本明細書に記載された様々な機能を実行するように該プロセッサ１４を構成する適切なコンピュータ可読命令を格納するように構成され得る。
【００２３】
図３〜図５を参照すると、画像化システム１０を使用して患者の解剖学的対象物２２を走査、識別、及びナビゲートするためのシステムの一実施形態の様々な概略ブロック図が示されている。本明細書で使用するとき、解剖学的対象物２２及びその周囲組織は、患者の任意の解剖学的構造物（anatomy structure）及び／またはその周囲組織を含み得る。例えば、一実施形態では、解剖学的対象物２２としては、下側の４つの頸神経及び第１胸神経の前肢によって形成された、脊髄から延びる神経ネットワークに概ね相当する、患者の斜角筋間腕神経叢が挙げられる。斜角筋間腕神経叢は、頸部の頸同軸管を通って、第１肋骨を越えて、腋窩（すなわち、脇の下の領域）まで延びており、上肢、首、及び肩の筋肉を刺激する。このため、斜角筋間腕神経叢の周囲組織は、一般的に、胸鎖乳突筋、中斜角筋、前斜角筋等に相当する。
【００２４】
なお、本開示のシステム及び方法は、斜角筋間腕神経叢に関連する医療処置に加えて、任意の解剖学的構造物に関連する任意の様々な医療処置にも使用できることを理解されたい。例えば、解剖学的対象物２２は、上肢及び下肢、並びに、コンパートメントブロックを含み得る。より具体的には、このような実施形態では、上肢の解剖学的対象物２２としては、斜角筋、鎖骨上筋、鎖骨下筋、及び／または腋窩筋の神経ブロックが挙げられ、これらは全て、互いに異なる位置で、斜角筋間腕神経叢（上肢への神経の束）をブロックする。さらに、下肢の解剖学的対象物２２としては、腰神経叢、腸骨筋膜、大腿神経、坐骨神経、内転筋管、膝窩、伏在静脈（足首）等が挙げられる。加えて、コンパートメントブロックの解剖学的対象物２２としては、肋間腔、腹横筋膜面、胸部傍脊椎腔等が挙げられる。
【００２５】
特に図３を参照すると、画像及び／または映像４０を、超音波プローブ３０の動作及び角度３８と共に収集するための、本開示に係る画像化システム１０のデータ収集システム３４の一実施形態の概略ブロック図が示されている。換言すると、いくつかの実施形態では、画像／映像４０は画像化システム１０によって生成され、それと同時に、超音波プローブ３０の動作（movement）がモニタリングされる。より具体的には、いくつかの実施形態では、符号３６で示すように、専門家（医者または超音波技術者等）が、超音波プローブ３０を用いて患者の解剖学的対象物２２を走査し、ユーザディスプレイ１８を用いて解剖学的対象物２２を識別（同定）する。さらに、専門家は、医療処置中に超音波プローブ３０を用いて解剖学的対象物２２をナビゲート（navigate）する。解剖学的対象物２２の走査、識別、及び／またはナビゲート中に、データ収集システム３４は、プローブ３０に取り付けられるかまたは他の方法でプローブ３０と一体化された１以上のセンサ３２を用いて、プローブ３０の操作（operation）に関するデータを収集する。例えば、一実施形態では、センサ３２には、加速度計または任意の他の適切な測定デバイスが含まれ得る。より具体的には、符号３８で示すように、データ収集システム３４は、プローブ３０の動作、例えば傾斜角度等を、プローブ３０の操作中にセンサ３２を用いてモニタリングし、モニタリングしたデータをデータレコーダ４２に格納するように構成されている。別の実施形態では、画像化システム１０は、専門家による走査中に患者に加えられたプローブ３０の圧力に関する情報をさらに収集する。収集された情報は、後で使用するために、データレコーダ４２に格納される。さらに、超音波画像化システム１０はまた、符号４０で示すように、専門家によって操作されたプローブ３０を用いて取得した１以上の画像及び／または映像をデータレコーダ４２に格納する。
【００２６】
図４を参照すると、図３の本開示に係るデータ収集システム３４によって収集されたデータに基づいてディープラーニングネットワーク４４を訓練するステップの一実施形態の概略ブロック図が示されている。さらに、いくつかの実施形態では、画像化システム１０は、ディープラーニングネットワーク４４を訓練して、プローブ３０の操作及び解剖学的対象物２２に関する走査、識別、及びナビゲートの各ステップを自動的に学習するように構成されている。一実施形態では、ディープラーニングネットワーク４４は、オフライン時に訓練され得る。より具体的には、図示した実施形態に示すように、画像化システム１０は、収集したデータを、プローブ３０の操作及び解剖学的対象物２２に関する走査、識別、及びナビゲートの各ステップを学習するように構成されたディープラーニングネットワーク４４に入力する。さらに、図示のように、記録された画像及び／または映像４０が、ディープラーニングネットワーク４４に入力される。本明細書で使用するとき、ディープラーニングネットワーク４４には、１以上の深層畳み込みニューラルネットワーク（ＣＮＮ）、１以上の回帰型ニューラルネットワーク、または任意の他の適切なニューラルネットワーク構造が含まれ得る。機械学習では、深層畳み込みニューラルネットワークは一般的に、そのニューロン間の接続パターンが動物の視覚野の組織から着想を得、その個々のニューロンが、視野をタイリングする重複領域に応答するような方法で配置されたフィードフォワード型の人工ニューラルネットワークのタイプを指す。対照的に、回帰型ニューラルネットワーク（ＲＮＮ）は一般的に、ユニット間の接続が有向閉路を形成する人工ニューラルネットワークのクラスを指す。このような接続は、ネットワークが動的な経時的挙動を示すことを可能にするネットワークの内部状態を作り出す。フィードフォワード型ニューラルネットワーク（例えば、畳み込みニューラルネットワーク等）とは異なり、ＲＮＮは、その内部メモリを、任意の入力シークエンスを処理するために使用することができる。したがって、ＲＮＮは、解剖学的対象物をリアルタイムでより良好に識別及び追跡することを目的として、画像のフレーム間の相関関係を抽出することができる。
【００２７】
引き続き図４を参照すると、画像化システム１０はまた、画像／映像４０と、モニタリングされたプローブ３０の動作４２との間の誤差４６を求めるように構成されている。このような実施形態では、符号４８で示すように、画像化システム１０は、誤差４６に基づいてディープラーニングネットワークを最適化するステップをさらに含み得る。より具体的には、いくつかの実施形態では、プロセッサ１４は、誤差４６を最小化するために目的関数（コスト関数）を最適にするように構成され得る。例えば、一実施形態では、誤差４６を最小化するために目的関数を最適化するステップは、収集されたデータの一部を繰り返し処理し、誤差４６に基づいてディープラーニングネットワーク４４の１以上のパラメータを調節する確率的近似、例えば確率的勾配下降法（ＳＧＤ）アルゴリズム等の使用を含み得る。本明細書で使用するとき、確率的勾配下降法は一般的に、微分可能関数の和で表される目的関数を最小化するための勾配下降最適化方法の確率的近似を指す。より具体的には、一実施形態では、プロセッサ１４は、誤差４６を最小化するために教師あり学習を実施するように構成され得る。本明細書で使用するとき、「教師あり学習」は一般的に、ラベル付きの訓練データから関数を推測する機械学習タスクを指す。
【００２８】
ディープラーニングネットワーク４４が訓練されると、図５に示すように、画像化システム１０のコントローラ１２は、例えば後続のスキャンセッション中に、ディープラーニングネットワーク４４に基づき、プローブ可視化ガイド５０をプローブ３０の操作者（operator）に対してデプロイ（deploy）するように構成される。例えば、特定の実施形態では、プローブ可視化ガイド５０には、スキャンセッション中にプローブ３０を移動させる方向及び／またはプローブ３０を保持するための傾斜角度が含まれ得る。したがって、操作者はプローブ３０を容易かつ迅速に操作（maneuver）して患者の所望の解剖学的対象物２２を見つけることができる。その理由は、ディープラーニングネットワーク４４が、そのように訓練されているからである。より具体的には、図示のように、画像化システム１０により収集されたデータは、ディープラーニングネットワーク４４への入力５２として使用される。さらに、図示のように、ディープラーニングネットワーク４４はその後、該ネットワークに基づき、操作者のためのプローブ可視化ガイド５０を生成するために使用されるネットワーク出力５４を生成する。さらに、図示した実施形態に示すように、プローブ可視化ガイド５０は、画像化システム１０のユーザディスプレイ１８を用いて操作者に対して表示される。このように、プローブ可視化ガイド５０は、解剖学的対象物２２を見つけるために、超音波プローブの操作中に超音波プローブ３０をどのように操作するかを（すなわち、超音波プローブ３０の操作の仕方を）操作者に対して指示するように構成されている。
【００２９】
ここで図６を参照すると、さらなる実施形態では、画像化システム１０により収集されたデータは、ディープラーニングネットワーク４４への入力５６として使用される。さらに、図示のように、ディープラーニングネットワーク４４はその後、該ネットワーク４４に基づき、触覚的フィードバック５８を生成する。本明細書で説明するとき、触覚的フィードバック（haptic feedback）は一般的に、エンドユーザに情報を提供するためにユーザインタフェース構造において触覚を使用するフィードバックを指す。例えば、触覚的フィードバックの例には、振動、抵抗力、運動等が含まれ得る。このため、図示のように、触覚的フィードバック５８は、画像化システム１０のプローブ３０に送信される。したがって、プローブ３０の触覚的フィードバック５８は、患者の解剖学的対象物２２を見るけるときに、操作者をガイドするように構成される。
【００３０】
本明細書は、実施例を用いて、最良の実施の形態（ベストモード）を含む本発明の内容を開示し、かつ本発明を当業者が実施（任意の装置またはシステムの作製及び使用、並びに記載内容に組み入れられたあらゆる方法の実施を含む）することを可能にしている。本発明の特許される技術範囲は、特許請求の範囲の請求項の記載によって特定され、当業者が想到可能な他の実施形態もそれに含まれ得る。そのような他の実施形態は、各請求項の文言と異なっていない構成要素を含む場合、またはそれらが各請求項の文言とは実質的には異ならない均等な構成要素を含む場合、それらの請求項の特定する技術範囲内にあるものとする。
【図１】
2020522334.tif 000003
【図２】
2020522334.tif 000004
【図３】
2020522334.tif 000005
【図４】
2020522334.tif 000006
【図５】
2020522334.tif 000007
【図６】
2020522334.tif 000008
【国際調査報告】
2020522334.tif 000009
2020522334.tif 000010
2020522334.tif 000011