(57)【要約】本発明は、画像化システムの関節運動式アームを用いて患者の解剖学的対象物を走査、識別、及びナビゲートするための方法に関する。本方法は、画像化システムのプローブを用いて解剖学的対象物を走査するステップと、解剖学的対象物を識別するステップと、プローブを用いて解剖学的対象物をナビゲートするステップとを含む。本方法は、また、走査するステップ、識別するステップ、及びナビゲートするステップにおいて解剖学的対象物に関するデータを収集するステップを含む。さらに、本方法は、収集されたデータを、解剖学的対象物に関する走査するステップ、識別するステップ、及びナビゲートするステップを学習するように構成されたディープラーニングネットワークへ入力するステップを含む。さらに、本方法は、ディープラーニングネットワークに基づき、関節運動式アームを用いてプローブを操作するステップを含む。【選択図】図１
2020516370.tif 000002
【特許請求の範囲】
【請求項１】
画像化システムの関節運動式アームを用いて患者の少なくとも１つの解剖学的対象物を走査、識別、及びナビゲートするための方法であって、
前記画像化システムのプローブを用いて前記解剖学的対象物を走査するステップと、
前記プローブを用いて前記解剖学的対象物を識別するステップと、
前記プローブを用いて前記解剖学的対象物をナビゲートするステップと、
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップにおいて前記プローブの操作に関するデータを収集するステップと、
前記データを、前記解剖学的対象物に関する前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップを学習するように構成されたディープラーニングネットワークへ入力するステップと、
前記ディープラーニングネットワークに基づき、前記関節運動式アームを用いて前記プローブを操作するステップとを含むことを特徴とする方法。
【請求項２】
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップにおいて前記解剖学的対象物に関するデータを収集する前記ステップは、
前記走査するステップで得られた前記解剖学的対象物の１つ又は複数の画像又は映像のうちの少なくとも１つを生成するステップと、
前記１つ又は複数の画像又は映像をメモリデバイスに保存するステップとをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップにおいて前記解剖学的対象物に関するデータを収集する前記ステップは、
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップのうちの少なくとも１つにおいて前記プローブの動作を１つ又は複数のセンサを用いてモニタリングするステップと、
前記モニタリングするステップにおいて収集されたデータを前記メモリデバイスに保存するステップとをさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記プローブの動作を前記１つ又は複数のセンサを用いてモニタリングする前記ステップは、前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップのうちの少なくとも１つにおいて前記プローブの傾斜角をモニタリングするステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記生成するステップ及び前記モニタリングするステップは、同時に実行されることを特徴とする請求項３に記載の方法。
【請求項６】
前記１つ又は複数の画像又は映像と、前記プローブの前記動作との間の誤差を決定するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項７】
前記誤差に基づき、前記ディープラーニングネットワークを最適化するステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記走査するステップにおいて前記患者に加えられた前記プローブの圧力をモニタリングするステップをさらに含むことを特徴とする請求項１〜請求項７のいずれか１つの項に記載の方法。
【請求項９】
前記ディープラーニングネットワークは、１つ又は複数の畳み込みニューラルネットワーク、及び１つ又は複数の回帰型ニューラルネットワークのうちの少なくとも１つを含むことを特徴とする請求項１〜請求項８のいずれか１つの項に記載の方法。
【請求項１０】
前記ディープラーニングネットワークを、前記解剖学的対象物に関する前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップを自動的に学習するように訓練するステップをさらに含むことを特徴とする請求項１〜請求項９のいずれか１つの項に記載の方法。
【請求項１１】
画像化システムの関節運動式アームを用いて患者の少なくとも１つの解剖学的対象物を分析するための方法であって、
前記画像化システムのプローブを用いて前記解剖学的対象物を分析するステップと、
前記分析するステップにおいて前記プローブの操作に関するデータを収集するステップと、
前記解剖学的対象物に関する前記分析するステップを学習するように構成されたディープラーニングネットワークへ前記データを入力するステップと、
前記ディープラーニングネットワークに基づき、前記関節運動式アームを用いて前記プローブを操作するステップとを含むことを特徴とする方法。
【請求項１２】
超音波画像化システムであって、
解剖学的対象物の画像を表示するように構成されたユーザディスプレイと、
超音波プローブと、
前記超音波プローブ及び前記ユーザディスプレイに通信可能に接続されたコントローラと、
前記コントローラに通信可能に接続された関節運動式アームとを備え、
前記コントローラは、
１つ又は複数の操作を実行するように構成された１つ又は複数のプロセッサを含み、
前記１つ又は複数の操作は、
前記超音波プローブを用いて前記解剖学的対象物を走査するステップと、
前記ユーザディスプレイを用いて前記解剖学的対象物を識別するステップと、
前記超音波プローブを用いて前記解剖学的対象物をナビゲートするステップと、
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップにおいて前記超音波プローブの操作に関するデータを収集するステップと、
前記データを、前記解剖学的対象物に関して前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップを学習するように構成されたディープラーニングネットワークへ入力するステップとを含み、
前記コントローラは、前記ディープラーニングネットワークに基づき、前記関節運動式アームを用いて前記超音波プローブを移動させるように構成されていることを特徴とする画像化システム。
【請求項１３】
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップにおいて前記解剖学的対象物に関するデータを収集する前記ステップは、
前記走査するステップで得られた前記解剖学的対象物の１つ又は複数の画像又は映像のうちの少なくとも１つを生成するステップと、
前記１つ又は複数の画像又は映像を前記超音波画像化システムのメモリデバイスに保存するステップとをさらに含むことを特徴とする請求項１２に記載の画像化システム。
【請求項１４】
前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップのうちの少なくとも１つにおいて前記超音波プローブの動作をモニタリングするように構成された１つ又は複数のセンサをさらに含むことを特徴とする請求項１３に記載の画像化システム。
【請求項１５】
前記１つ又は複数の操作は、前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップのうちの少なくとも１つにおいて前記超音波プローブの傾斜角をモニタリングするステップをさらに含むことを特徴とする請求項１４に記載の画像化システム。
【請求項１６】
前記１又は複数の作業は、前記１つ又は複数の画像又は映像と、前記超音波プローブの前記動作との間の誤差を決定するステップをさらに含むことを特徴とする請求項１４に記載の画像化システム。
【請求項１７】
前記１つ又は複数の操作は、前記誤差に基づき、前記ディープラーニングネットワークを最適化するステップをさらに含むことを特徴とする請求項１６に記載の画像化システム。
【請求項１８】
前記１つ又は複数の操作は、前記走査するステップにおいて患者に加えられた前記超音波プローブの圧力をモニタリングするステップをさらに含むことを特徴とする請求項１２〜請求項１７のいずれか１つの項に記載の画像化システム。
【請求項１９】
前記ディープラーニングネットワークは、１つ又は複数の畳み込みニューラルネットワーク、及び１つ又は複数の回帰型ニューラルネットワークのうちの少なくとも１つを含むことを特徴とする請求項１２〜請求項１８のいずれか１つの項に記載の画像化システム。
【請求項２０】
前記１又は複数の操作は、前記ディープラーニングネットワークを、前記解剖学的対象物に関する前記走査するステップ、前記識別するステップ、及び前記ナビゲートするステップを自動的に学習するように訓練するステップをさらに含むことを特徴とする請求項１２〜請求項１９のいずれか１つの項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本出願は、２０１７年４月１７日に出願された米国仮特許出願第６２／４８６、１４１号に基づく優先権を主張するものであり、当該特許出願の内容は、参照により本明細書に援用されている。
【０００２】
（技術分野）
本発明は、医用イメージングの分野における解剖学的対象物（anatomical object）の検出に関し、より具体的には、解剖学的対象物のナビゲーション（navigation）及び識別をするためのロボット手術（robotic operator）に関する。
【背景技術】
【０００３】
超音波イメージングを用いた解剖学的対象物の検出は、局所麻酔神経ブロック等の多くの医療処置に必須のステップであり、診断、患者層別化、治療計画、治療介入、及び／又は経過観察を支援するために臨床診療において標準になってきている。したがって、解剖学的対象物及びそれを取り囲む組織の存在を迅速かつロバストに検出することが重要となる。
【０００４】
コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、超音波、及び蛍光透視像等の医用イメージングにおける解剖学的検出（anatomical detection）及びトラッキングに関する問題に対処するための従来手法に基づく様々なシステムが存在している。しかしながら、標的解剖学的対象物に対するナビゲーション及び解剖学的対象物の検出には、熟練した技能、長年の経験、及び身体解剖学についての確かな知識が必要となる。
【０００５】
よって、標的解剖学的対象物を見つけるために、オペレータ、看護師、医学生、及び／又は練習生を効果的にガイドすることが可能なシステムが、当技術分野で歓迎されるであろう。したがって、本開示は、ディープラーニングアルゴリズムを用いて解剖学的対象物のナビゲーション及び識別をするためのロボット手術に関する。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の目的及び利点は、その一部が以下の説明に記載されており、又は以下の説明から明らかであり、又は本発明を実施することにより学ぶことができるであろう。
【０００７】
一態様では、本発明は、画像化システムの関節運動式アームを用いて患者の少なくとも１つの解剖学的対象物を走査、識別、及びナビゲートするための方法に関する。本方法は、画像化システムのプローブを用いて解剖学的対象物を走査するステップと、解剖学的対象物を識別するステップと、プローブを用いて解剖学的対象物をナビゲートするステップとを含む。本方法は、また、走査するステップ、識別するステップ、及びナビゲートするステップにおいてプローブの操作に関するデータを収集するステップを含む。さらに、本方法は、収集されたデータを、解剖学的対象物に関する走査するステップ、識別するステップ、及びナビゲートするステップを学習するように構成されたディープラーニングネットワークへ入力するステップを含む。さらに、本方法は、ディープラーニングネットワークに基づき、関節運動式アームを用いてプローブを操作するステップを含む。
【０００８】
一実施形態では、走査するステップ、識別するステップ、及びナビゲートするステップにおいて解剖学的対象物に関するデータを収集するステップは、走査するステップで得られた解剖学的対象物の１つ又は複数の画像又は映像のうちの少なくとも１つを生成するステップと、１つ又は複数の画像又は映像をメモリデバイスに保存するステップとを含む。
【０００９】
他の実施形態では、走査するステップ、識別するステップ、及びナビゲートするステップにおいて解剖学的対象物に関するデータを収集するステップは、走査するステップ、識別するステップ、及びナビゲートするステップのうちの少なくとも１つにおいてプローブの動作を１つ又は複数のセンサを用いてモニタリングするステップと、モニタリングするステップにおいて収集されたデータをメモリデバイスに保存するステップとを含む。
【００１０】
さらなる実施形態では、プローブの動作を１つ又は複数のセンサを用いてモニタリングするステップは、走査するステップ、識別するステップ、及びナビゲートするステップのうちの少なくとも１つにおいてプローブの傾斜角をモニタリングするステップを含む。ある実施形態では、生成するステップ及びモニタリングするステップは、同時に実行される。
【００１１】
追加の実施形態では、本方法は、１つ又は複数の画像又は映像と、プローブのモニタリングされた動作との間の誤差を決定するステップを含む。このような実施形態では、本方法は、また、誤差に基づき、ディープラーニングネットワークを最適化するステップを含む。
【００１２】
特定の実施形態では、本方法は、また、走査するステップにおいて患者に加えられたプローブの圧力をモニタリングするステップを含む。
【００１３】
ある実施形態では、ディープラーニングネットワークは、１つ又は複数の畳み込みニューラルネットワーク、及び／又は１つ又は複数の回帰型ニューラルネットワークのうちの少なくとも１つを含む。さらに、ある実施形態では、本方法は、ディープラーニングネットワークを、解剖学的対象物に関する走査するステップ、識別するステップ、及びナビゲートするステップを自動的に学習するように訓練するステップを含む。
【００１４】
他の態様では、本発明は、画像化システムの関節運動式アームを用いて患者の少なくとも１つの解剖学的対象物を分析するための方法に関する。本方法は、画像化システムのプローブを用いて解剖学的対象物を分析するステップを含む。さらに、本方法は、分析するステップにおいてプローブの操作に関するデータを収集するステップを含む。本方法は、また、解剖学的対象物に関する分析するステップを学習するように構成されたディープラーニングネットワークへ収集されたデータを入力するステップを含む。さらに、本方法は、ディープラーニングネットワークに基づき、関節運動式アームを用いてプローブを操作するステップを含む。本方法は、本明細書に記載された意のさらなるステップ及び／又は特性をさらに含み得ることも理解されたい。
【００１５】
さらなる他の態様では、本発明は、超音波画像化システムに関する。本画像化システムは、解剖学的対象物の画像を表示するように構成されたユーザディスプレイと、超音波プローブと、超音波プローブ及びユーザディスプレイに通信可能に接続されたコントローラと、コントローラに通信可能に接続された関節運動式アームとを備える。コントローラは、これに限定されないが、超音波プローブを用いて解剖学的対象物を走査するステップと、ユーザディスプレイを用いて解剖学的対象物を識別するステップと、超音波プローブを用いて解剖学的対象物をナビゲートするステップと、走査するステップ、識別するステップ、及びナビゲートするステップにおいて解剖学的対象物に関するデータを収集するステップと、収集されたデータを、解剖学的対象物に関して走査するステップ、識別するステップ、及びナビゲートするステップを学習するように構成されたディープラーニングネットワークへ入力するステップとを含む１つ又は複数の操作を実行するように構成された１つ又は複数のプロセッサを含む。さらに、コントローラは、ディープラーニングネットワークに基づき、関節運動式アームを用いて超音波プローブを移動させるように構成されている。本画像化システムは、本明細書に記載された任意のさらなるステップ及び／又は特性をさらに含み得ることも理解されたい。
【００１６】
本発明の上記及び他の特徴、態様及び利点は、以下の説明及び添付された特許請求の範囲を参照することにより、より良く理解されるであろう。添付の図面は、本明細書に組み込まれてその一部を構成し、本発明の実施形態を図示し、本明細書と共に本発明の原理を説明する役割を果たす。
【図面の簡単な説明】
【００１７】
当業者を対象にした、ベストモードを含む本発明の完全かつ実現可能な開示が、添付の図面を参照して、本明細書で説明されている。
【００１８】
【図１】本開示に係る画像化システムの一実施形態を示す斜視図
【図２】本開示に係る画像化システムのコントローラの一実施形態を示すブロック図
【図３】本開示に係る画像化システムのプローブの動作及び角度と共に画像及び／又は映像を収集するためのデータ収集システムの一実施形態を示す概略ブロック図
【図４】本開示に係るデータ収集システムに基づき、ディープラーニングネットワークを訓練するステップの一実施形態を示す概略ブロック図
【図５】本開示に係る関節運動式アームに対する入力データを使用されたディープラーニングネットワークの一実施形態を示す概略ブロック図
【発明を実施するための形態】
【００１９】
以下、本発明の１又は複数の実施形態及び添付の図面に図示した本発明の実施例について詳細に説明する。各実施例及び実施形態は、本発明を説明するために提示されたものであり、本発明を限定するものではない。例えば、ある実施形態の一部として例示又は説明された特徴を、さらなる別の実施形態を創出するために、別の実施形態で用いることもできる。本発明は、添付された特許請求の範囲及び主旨に含まれる限り、これらの及び他の変更形態及び変形形態を包含することを意図している。
【００２０】
図１及び図２を参照すると、画像化システム１０を用いて患者の解剖学的対象物（anatomical object）を走査、識別、及びナビゲートする（分析する）ためのシステム及び方法が示されている。より具体的には、図示のように、画像化システム１０は、本技術から利益を受けることができる超音波画像化システム又は任意の他の適切な画像化システムに相当し得る。そのため、図示のように、画像化システム１０は、概して、様々なコンピュータに実装された機能を実行するように構成された（例えば、本明細書に開示された方法等の実行、及び関連データの保存）、１つ又は複数のプロセッサ１４及び関連するメモリデバイス１６を有するコントローラ１２と、解剖学的対象物２２の画像２０を表示するように構成されたユーザディスプレイ１８とを備える。加えて、画像化システム１０は、コンピュータ及び／又はキーボード等のユーザインタフェース２４を備え、ユーザがユーザディスプレイ１８に画像表示させる及び／又はユーザディスプレイ１８を制御することを補助するように構成されている。さらに、図示のように、画像化システム１０は、コントローラ１２に通信可能に接続された関節運動式アーム２６を含む。本開示の関節運動式アーム２６は、画像化システム１０のコントローラ１２によって操作可能な、任意の適切なプログラム可能な機械式又はロボットのアーム又はオペレータを含み得ることを理解されたい。
【００２１】
加えて、図２に示すように、プロセッサ１４はまた、該プロセッサ１４と、画像化システム１０の様々な構成要素、例えば図１のいずれかの構成要素との間において通信を可能にするための通信モジュール２８を含む。さらに、通信モジュール２８は、１又は複数のプローブ（例えば、超音波プローブ３２及び／又は関節運動式アーム２６）から送信された信号を、プロセッサ１４によって認識及び処理可能な信号に変換させるためのセンサインタフェース３０（例えば、１又は複数のアナログ−デジタル変換器）を含む。超音波プローブ３２は、任意の適切な手段を用いて通信モジュール２８に通信可能に接続され得ることを理解されたい。例えば、図２に示すように、超音波プローブ３２は、有線接続によってセンサインタフェース３０に接続され得る。また、他の実施形態では、超音波プローブ３２は、当技術分野で既知の任意の適切な無線通信プロトコル等を用いる等の、無線接続によってセンサインタフェース３０に接続され得る。このように、プロセッサ１４は、超音波プローブ３２から１又は複数の信号を受信するように構成され得る。
【００２２】
本明細書で使用される用語「プロセッサ」は、当技術分野においてコンピュータ内に含まれているものとして言及される集積回路だけでなく、コントローラ、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、特定用途向け集積回路、現場でプログラム可能な回路アレイ（ＦＰＧＡ：field-programmable gate array）、及び他のプログラム可能な回路も指す。プロセッサ１４はまた、高度な操作アルゴリズムを計算し、様々なイーサネット（登録商標）又はシリアルベースのプロトコル（Ｍｏｄｂｕｓ、ＯＰＣ、ＣＡＮ等）と通信するように構成されている。さらには、ある実施形態では、プロセッサ１４は、計算時間及びローカルデバイスの負荷を減らすために、クラウドコンピューティングを目的としてインターネットを通じてサーバと通信してもよい。加えて、メモリデバイス１６は、概してメモリ要素を含み、メモリ要素としては、これに限定されないが、コンピュータ可読媒体（例えば、ランダムアクセスメモリ（ＲＡＭ））、コンピュータ可読不揮発性媒体（例えば、フラッシュメモリ）、フロッピーディスク、読み取り専用ＣＤメモリ（ＣＤ−ＲＯＭ）、光磁気ディスク（ＭＯＤ）、デジタルバーサタイルディスク（ＤＶＤ）、及び／又は他の適切なメモリ要素が挙げられる。このようなメモリデバイス１６は、概して、プロセッサ１４によって実行されたときに本明細書に記載された様々な機能を実行するように該プロセッサ１４を構成する適切なコンピュータ可読命令を保存するように構成されている。
【００２３】
図３〜図５を参照すると、画像化システム１０を用いて患者の解剖学的対象物２２を走査、識別、及びナビゲートするためのシステムの一実施形態の様々な概略ブロック図が示されている。本明細書で使用される解剖学的対象物２２及びそれを取り囲む組織は、患者の任意の解剖学的構造（anatomy structure）及び／又はそれを取り囲む組織を含み得る。例えば、一実施形態では、解剖学的対象物２２としては、頸神経の下側４つ及び第１胸神経の前肢によって形成された、脊髄から延びる神経のネットワークに概ね相当する、患者の斜角筋間腕神経叢が挙げられる。したがって、斜角筋間腕神経叢は、頸部の頸同軸管（cervicoaxillary canal）を通過し、第１肋骨を越え、腋窩（すなわち、脇の下の領域）まで延びており、上肢及び首や肩の筋肉を刺激している。このように、斜角筋間腕神経叢を取り囲む組織は、概して、胸鎖乳突筋、中斜角筋、前斜角筋、及び／又は同様なものに相当する。
【００２４】
なお、本開示のシステム及び方法は、斜角筋間腕神経叢に関連するものに加えて、任意の解剖学的構造を向上させる任意の様々な医療処置にさらに使用可能であることを理解されたい。例えば、解剖学的対象物２２は、上肢及び下肢だけでなく、コンパートメントブロックを含んでもよい。より具体的には、このような実施形態では、上肢の解剖学的対象物２２としては、斜角筋、鎖骨上筋、鎖骨下筋、及び／又は腋窩筋の神経ブロックが挙げられ、これら全ては、互いに異なる位置で、斜角筋間腕神経叢（上肢への神経の束）を遮断する。さらに、下肢の解剖学的対象物２２としては、腰神経叢、腸骨筋膜、大腿神経、坐骨神経、内転筋管、膝窩、伏在静脈（足首）、及び／又は同様なものが挙げられる。加えて、コンパートメントブロックの解剖学的対象物２２としては、肋間間隙、腹横筋膜面、胸部傍脊椎空間（thoracic paravertebral space）、及び／又は同様なものが挙げられる。
【００２５】
特に図３を参照すると、本開示に係る超音波プローブ３２の画像及び／又は映像４４を動作及び角度４２と共に収集するための画像化システム１０のデータ収集システム３６の一実施形態の概略ブロック図が示されている。換言すると、ある実施形態では、画像／映像４４は、画像化システム１０によって生成され、プローブ３２（超音波プローブ３２）の動作が同時にモニタリングされる。より具体的には、ある実施形態では、符号３８で示すように、（医者又は超音波技術者等の）専門家が、超音波プローブ３２を用いて患者の解剖学的対象物２２を走査し、ユーザディスプレイ１８を用いて解剖学的対象物２２を識別する。さらに、専門家は、医療処置中に超音波プローブ３２を用いて解剖学的対象物２２をナビゲートする。解剖学的対象物２２を走査、識別、及び／又はナビゲートしている（分析している）時に、符号４０で示すように、データ収集システム３６は、例えばプローブ３２に取り付けられた、又は他の方法でプローブ３２と一体に構成された１つ又は複数のセンサ４０を用いて、プローブ３２の操作に関するデータを収集する。例えば、一実施形態では、センサ４０は、加速度計又は他の任意の適切な測定デバイスを含む。より具体的には、符号４２で示すように、データ収集システム３６は、プローブ３２の例えば傾斜角等の動作を、該プローブ３２の操作中にセンサ４０を用いてモニタリングし、そのようなデータをデータレコーダ４６に保存するように構成されている。さらなる実施形態では、画像化システム１０は、専門家による走査中に患者に加えられたプローブ３２の圧力に関する情報も収集する。このような情報は、後で使用するために、データレコーダ４６に保存可能である。さらに、超音波画像化システム１０（画像化システム１０）は、専門家によって操作されたプローブ３２の１つ又は複数の画像及び／又は映像も（符号４４で示したように）データレコーダ４６に保存する。
【００２６】
図４を参照すると、本開示に係る図３のデータ収集システム３６によって収集されたデータに基づき、ディープラーニングネットワーク４８を訓練するステップの一実施形態の概略ブロック図が示されている。さらに、ある実施形態では、画像化システム１０は、ディープラーニングネットワーク４８を訓練して、プローブ３２の操作及び解剖学的対象物２２に関する走査、識別、及びナビゲートするステップ（分析するステップ）を自動的に学習するように構成されている。一実施形態では、ディープラーニングネットワーク４８は、オフライン時に訓練される。より具体的には、図示した実施形態で示すように、画像化システム１０は、プローブ３２の操作及び解剖学的対象物２２に関する走査、識別、及びナビゲートするステップを学習するように構成されたディープラーニングネットワーク４８へ、収集したデータを入力する。さらに、図示のように、記録された画像及び／又は映像４４は、ディープラーニングネットワーク４８へ入力される。本明細書で使用されるディープラーニングネットワーク４８は、１つ又は複数の深層畳み込みニューラルネットワーク（ＣＮＮｓ）、１つ又は複数の回帰型ニューラルネットワーク、又は任意の他の適切なニューラルネットワーク構成を含んでもよい。機械学習では、深層畳み込みニューラルネットワークは、概して、そのニューロン間の接続パターンが動物の視覚野の配置に影響され、その個々のニューロンが視野をタイル状にする重複領域に応答するような方法で配置されるフィードフォワード人工ニューラルネットワークのタイプを指す。対照的に、回帰型ニューラルネットワーク（ＲＮＮｓ）は、概して、ユニット間の接続が有向閉路を形成する人工ニューラルネットワークのクラスを指す。このような接続は、ネットワークが動的な時間的挙動（dynamic temporal behavior）を示すことを可能にするネットワークの内部状態を作り出す。（畳み込みニューラルネットワーク等の）フィードフォワードニューラルネットワークとは異なり、ＲＮＮｓは、その内部メモリを入力データの任意のシークエンスを処理するために使用することができる。したがって、ＲＮＮｓは、リアルタイムで解剖学的対象物をより良く識別及び追跡するために、画像のフレーム間の相関関係を抽出することができる。
【００２７】
図４をさらに参照すると、画像化システム１０はまた、画像／映像４４と、モニタリングされたプローブ３２の動作４２との間の誤差５０を決定するように構成されている。このような実施形態では、符号５２に示すように、画像化システム１０は、誤差５０に基づき、ディープラーニングネットワークを最適化するステップをさらに含む。より具体的には、ある実施形態では、プロセッサ１４は、誤差５０を最小化するための目的関数を最適にするように構成されている。例えば、一実施形態では、誤差５０を最小化するために目的関数を最適化するステップは、収集されたデータの一部を繰り返し処理し、誤差５０に基づき、ディープニューラルネットワーク４８（ディープラーニングネットワーク４８）の１つ又は複数のパラメータを調節する確率的勾配下降法（ＳＧＤ）アルゴリズム等の、確率近似の使用を含む。本明細書で使用される確率的勾配下降法は、概して、微分可能関数の和で表される目的関数を最小化するための勾配下降法最適化方法の確率近似を指す。より具体的には、一実施形態では、プロセッサ１４は、誤差５０を最小化するために、教師あり学習（supervised learning）を実施するように構成されている。本明細書で使用される「教師あり学習」は、概して、ラベル付きの訓練データから関数を推測する機械学習タスクを指す。
【００２８】
ディープラーニングネットワーク４８が訓練されると、図５に示すように、画像化システム１０のコントローラ１２は、ディープラーニングネットワーク４８に基づき、関節運動式アーム２６を用いてプローブ３２を操作する（すなわち、移動させる）ように構成されている。より具体的には、図示のように、画像化システム１０から収集されたデータには、関節運動式アーム２６を操作するディープラーニングネットワーク５０に対する入力データ５４が使用される。さらに、図示のように、関節運動式アーム２６は、例えば、画像化システム１０を操作する医者又はオペレータのアシスタントとして役割を果たすように、プローブ３２を操作する。
【００２９】
本明細書は、ベストモードを含む、本発明を開示するための、また、任意の装置又はシステムを作製及び使用すること、及び任意の組み込まれた方法を実行することを含む、当業者が本発明を実施可能にするための実施例を使用している。本発明の特許性を有する範囲は、添付の請求項によって規定されており、当業者が想到可能な他の実施例を含む。そのような他の実施例は、各請求項のとおりの文言と異ならない構造的要素を含んでいても、又は各請求項のとおりの文言と僅かな異なりを有する均等な構造的要素を含んでいても、添付の請求項の範囲内であることを意図している。
【図１】
2020516370.tif 000003
【図２】
2020516370.tif 000004
【図３】
2020516370.tif 000005
【図４】
2020516370.tif 000006
【図５】
2020516370.tif 000007
【国際調査報告】
2020516370.tif 000008
2020516370.tif 000009