(57)【要約】  本開示は、超音波画像フレームにニューラルネットワークを適用することによって、それらフレームから画像アーチファクトを特定して除去するように構成された、超音波撮像システム及び方法を記述する。システムは、ターゲット領域に向けて送信された超音波パルスに応答したエコー信号を収集するように構成された超音波トランスデューサを含み得る。超音波トランスデューサと通信可能に結合された１つ以上のプロセッサが、超音波エコーから画像フレームを生成し、該画像フレームにニューラルネットワークを適用するように構成され得る。ニューラルネットワークが、画像フレーム内にアーチファクトが存在するかを決定し、検出されたアーチファクトのタイプを特定する。プロセッサはまた、アーチファクトの存在を伝えるインジケータを生成することができ、それがユーザインタフェース上に表示され得る。プロセッサは更に、画像フレーム内に存在するアーチファクトの存在及びタイプに基づいて、超音波トランスデューサを調節するための指示を生成することができる。
2021501656.tif 000002
【特許請求の範囲】
【請求項１】
ターゲット領域に向けて送信された超音波パルスに応答したエコー信号を収集するように構成された超音波トランスデューサと、
前記超音波トランスデューサと通信する１つ以上のプロセッサであり、
超音波エコーから少なくとも１つの画像フレームを生成し、
前記画像フレームにニューラルネットワークを適用し、前記画像フレーム内のアーチファクトの存在及びタイプを前記ニューラルネットワークが決定し、
前記決定された前記アーチファクトの存在に基づいてインジケータを生成し、
前記プロセッサと通信するユーザインタフェース上に前記インジケータを表示させ、
前記決定された前記アーチファクトの存在及びタイプに基づいて、前記超音波トランスデューサを調節するための指示を生成する、
ように構成された１つ以上のプロセッサと、
を有する超音波撮像システム。
【請求項２】
前記１つ以上のプロセッサは更に、前記超音波トランスデューサと通信可能に結合されたコントローラに前記指示を送信するように構成される、請求項１に記載の超音波撮像システム。
【請求項３】
前記コントローラは、前記１つ以上のプロセッサから受信した前記指示に基づいて前記超音波トランスデューサの動作パラメータを変更することによって、前記超音波トランスデューサを調節するように構成される、請求項２に記載の超音波撮像システム。
【請求項４】
前記動作パラメータは、前記超音波トランスデューサの位置、向き、焦点深度、ビーム角度、撮像様式、又は周波数を有する、請求項３に記載の超音波撮像システム。
【請求項５】
前記超音波トランスデューサは、前記超音波トランスデューサを動かすように構成されたロボットアームと物理的に結合される、請求項４に記載の超音波撮像システム。
【請求項６】
前記１つ以上のプロセッサは更に、前記画像フレームから超音波画像を生成し、該超音波画像を前記ユーザインタフェース上に表示させるように構成される、請求項１に記載の超音波撮像システム。
【請求項７】
前記インジケータは、前記ユーザインタフェース上に表示された前記超音波画像上に重ねられるグラフィックオーバーレイを有する、請求項６に記載の超音波撮像システム。
【請求項８】
前記ニューラルネットワークは、複数のニューラルネットワークモデルを有し、前記ニューラルネットワークモデルの各々が、ユーザによって選択可能な複数のプリセットされた撮像様式のうちの１つに関連付けられる、請求項１に記載の超音波撮像システム。
【請求項９】
前記プリセットされた撮像様式の各々が、前記超音波トランスデューサに、異なるターゲット領域からのエコー信号を、該異なるターゲット領域に特有の一組の動作パラメータを実装することによって取得させるように構成される、請求項８に記載の超音波撮像システム。
【請求項１０】
前記１つ以上のプロセッサは更に、予測されるアーチファクトフリーの超音波画像を生成して表示させるように構成される、請求項１に記載の超音波撮像システム。
【請求項１１】
前記ニューラルネットワークは、数々の訓練入力及び既知の出力を受信するように構成された訓練アルゴリズムと動作可能に関連付けられ、前記訓練入力は、アーチファクトを含む超音波画像フレームを有し、前記既知の出力は、該超音波画像フレームから該アーチファクトを除去するように構成された動作パラメータ調節を有する、請求項１に記載の超音波撮像システム。
【請求項１２】
前記ニューラルネットワークは、複数のニューラルネットワークモデルを有し、前記ニューラルネットワークモデルの各々が、訓練入力の複数のサブセットのうちの１つに関連付けられ、前記サブセットの各々が、ユーザによって選択可能な複数のプリセットされた撮像様式のうちの１つに関連付けられる、請求項１１に記載の超音波撮像システム。
【請求項１３】
超音波撮像の方法であって、
超音波システムに動作可能に結合されたトランスデューサによって、ターゲット領域に送信された超音波パルスに応答したエコー信号を収集し、
超音波エコーから少なくとも１つの画像フレームを生成し、
前記画像フレームにニューラルネットワークを適用し、前記画像フレーム内のアーチファクトの存在及びタイプを前記ニューラルネットワークが決定し、
前記決定された前記アーチファクトの存在に基づいてインジケータを生成し、
前記インジケータをユーザインタフェース上に表示し、
前記決定された前記アーチファクトの存在及びタイプに基づいて、前記トランスデューサを調節するための指示を生成し、該指示は、前記画像フレームから前記アーチファクトを除去するための操作ガイダンスを有する、
ことを有する方法。
【請求項１４】
当該方法は更に、前記エコー信号を収集するための撮像様式を選択することを有し、前記撮像様式は、前記ターゲット領域に特有の動作パラメータを有する、請求項１３に記載の方法。
【請求項１５】
前記トランスデューサと通信可能に結合されたコントローラに前記指示を送信する、ことを更に有する請求項１３に記載の方法。
【請求項１６】
前記指示に基づいて前記トランスデューサの動作パラメータを変更する、ことを更に有する請求項１５に記載の方法。
【請求項１７】
前記指示を前記ユーザインタフェース上に表示する、ことを更に有する請求項１３に記載の方法。
【請求項１８】
複数の異なるアーチファクトを含む超音波画像フレームと、前記複数の異なるアーチファクトに基づいて前記トランスデューサを調節するためのエキスパート指示と、を用いて前記ニューラルネットワークを訓練する、ことを更に有する請求項１３に記載の方法。
【請求項１９】
前記アーチファクトを有しない予測される超音波画像を生成する、ことを更に有する請求項１３に記載の方法。
【請求項２０】
実行可能命令を有する非一時的なコンピュータ読み取り可能媒体であって、前記実行可能命令は、実行されるときに、医用撮像システムのプロセッサに、請求項１３乃至１９のいずれかに記載の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１７年１１月２日に出願された米国仮特許出願第６２／５８０，６３５号の利益及び優先権を主張するものであり、その全体をここに援用する。
【０００２】
本開示は、ニューラルネットワークを用いて超音波画像内のアーチファクトを特定する超音波システム及び方法に関する。特定の実装は、超音波撮像中にアーチファクトを特定し、収集される超音波画像からアーチファクトを除去するように超音波プローブを調節するための指示を提供するように構成されたシステムを伴う。
【背景技術】
【０００３】
超音波画像は、画像内でキャプチャされる身体的フィーチャを不明瞭にする様々なアーチファクトを含み得る。例えば、超音波物理及びオペレータ干渉の結果として、超音波画像内に一般的に画像アーチファクトが現れる。具体的に、異なるフィーチャ間での一貫性のないエコー輝度がシャドーイング効果を生み出し得る一方で、組織音速の違い及び高コントラスト組織インピーダンスの反射は、鏡面反射及び多重反射を生じさせ得る。このようなアーチファクトの出現は、超音波画像内のフィーチャをオペレータが正確に解釈できることを妨げ得るものであり、それが誤った診断につながることがある。画像アーチファクトはまた、超音波ガイド下での介入手順の邪魔となり得る。
【０００４】
超音波画像からアーチファクトを除去することは、しばしば、画像を収集するために使用される超音波トランスデューサの位置、向き、及び／又は動作設定を調節することによって達成され得る。しかしながら、経験の浅い超音波オペレータでは、画像内に現れるアーチファクトを認識できなかったり、アーチファクトを消すために必要な調節が分からなかったりすることがある。従って、画像アーチファクトを認識することが可能であり且つそれらアーチファクトを除去するために取り得るステップを認識することが可能な超音波撮影システムが望まれ得る。
【発明の概要】
【０００５】
本開示は、画像に含まれるフィーチャを不明瞭にするアーチファクトを特定して除去することによって、超音波画像の品質及び解釈を向上させるシステム及び方法を記述する。このシステムは、アーチファクトを確実に特定することができない及び／又はそれらを除去するために必要なように超音波トランスデューサを調節することができない未熟な超音波ユーザによって使用され得る。操作上の誤りを減少させることによって、ここに開示されるシステムは、スキャン中に収集される超音波画像の品質及びそのような画像に基づいて行われる診断の品質を向上させることができる。システムは、超音波スキャン中に現れ得る種々のアーチファクトの存在を検出するように訓練されたニューラルネットワークを実装し得る。アーチファクトの存在を検出することに加えて、当該システムは、各アーチファクトのタイプを決定することができる。アーチファクトタイプは、例えば、多重反射、陰影、又は鏡面反射（鏡像）を含み得る。このニューラルネットワークは更に、画像から（１つ以上の）アーチファクトを除去するために必要なように超音波トランスデューサ及び／又はその設定を調節するための指示又は是正処置を出力するように訓練され得る。この指示は、特定されたアーチファクトのタイプに基づいて様々であることができ、それ故に、多重反射アーチファクトを除去するための指示は、鏡面反射アーチファクトを除去するための指示とは異なり得る。一部の例において、この指示は、超音波装置を操作するユーザに提供される。他の例では、この指示は、指示に従って超音波トランスデューサを自動的に調節するように構成された、例えばコントローラといったシステムコンポーネントに送られ、それにより、ユーザ介入なしで（１つ以上の）アーチファクトが除去される。
【０００６】
一部の例によれば、超音波撮像システムは、ターゲット領域に向けて送信された超音波パルスに応答したエコー信号を収集するように構成された超音波トランスデューサを含み得る。超音波トランスデューサと通信する１つ以上のプロセッサも含められ得る。プロセッサは、超音波エコーから少なくとも１つの画像フレームを生成し、該画像フレームにニューラルネットワークを適用し、画像フレーム内のアーチファクトの存在及びタイプをニューラルネットワークが決定し、決定されたアーチファクトの存在に基づいてインジケータを生成し、当該プロセッサと通信するユーザインタフェース上に該インジケータを表示させ、そして、決定されたアーチファクトの存在及びタイプに基づいて、超音波トランスデューサを調節するための指示を生成する、ように構成される。
【０００７】
一部の例において、プロセッサは更に、超音波トランスデューサと通信可能に結合されたコントローラに上記指示を送信するように構成され得る。一部の実施形態において、コントローラは、プロセッサから受信した指示に基づいて超音波トランスデューサの動作パラメータを変更することによって、超音波トランスデューサを調節するように構成され得る。一部の例において、動作パラメータは、超音波トランスデューサの位置、向き、焦点深度、ビーム角度、撮像様式、又は周波数を含み得る。一部の実施形態において、超音波トランスデューサは、当該超音波トランスデューサを動かすように構成されたロボットアームと物理的に結合され得る。
【０００８】
一部の例において、プロセッサは更に、画像フレームから超音波画像を生成し、該超音波画像をユーザインタフェース上に表示させるように構成され得る。一部の実施形態において、上記インジケータは、ユーザインタフェース上に表示された超音波画像上に重ねられるグラフィックオーバーレイ又は位置マーカを含み得る。一部の例において、アーチファクトは、多重反射、音響陰影、音響増強、鏡面反射、又はエッジ陰影を含み得る。一部の実施形態において、ニューラルネットワークは、複数のニューラルネットワークモデルを含むことができ、ニューラルネットワークモデルの各々が、ユーザによって選択可能な複数のプリセットされた撮像様式のうちの１つに関連付けられ得る。一部の例において、プリセットされた撮像様式の各々が、超音波トランスデューサに、異なるターゲット領域からのエコー信号を、該異なるターゲット領域に特有の一組の動作パラメータを実装することによって取得させるように構成され得る。一部の実施形態において、上記１つ以上のプロセッサは更に、予測されるアーチファクトフリーの超音波画像を生成して表示させるように構成され得る。一部の実施形態において、上記指示は、ユーザインタフェース上に表示され得る。一部の例において、指示に従うことが、アーチファクトを画像フレームから除去させる。一部の実施形態において、ニューラルネットワークは、数々の訓練入力及び既知の出力を受信するように構成された訓練アルゴリズムと動作可能に関連付けられることができ、訓練入力は、アーチファクトを含む超音波画像フレームを有し、既知の出力は、該超音波画像フレームから該アーチファクトを除去するように構成された動作パラメータ調節を有する。一部の例において、ニューラルネットワークは、複数のニューラルネットワークモデルを含むことができ、ニューラルネットワークモデルの各々が、訓練入力の複数のサブセットのうちの１つに関連付けられ、該サブセットの各々が、ユーザによって選択可能な複数のプリセットされた撮像様式のうちの１つに関連付けられる、
一部の例によれば、超音波撮像の方法は、超音波システムに動作可能に結合されたトランスデューサによって、ターゲット領域に送信された超音波パルスに応答したエコー信号を収集し、超音波エコーから少なくとも１つの画像フレームを生成し、画像フレームにニューラルネットワークを適用し、画像フレーム内のアーチファクトの存在及びタイプを前記ニューラルネットワークが決定し、決定されたアーチファクトの存在に基づいてインジケータを生成し、該インジケータをユーザインタフェース上に表示し、決定されたアーチファクトの存在及びタイプに基づいて、トランスデューサを調節するための指示を生成し、該指示は、画像フレームからアーチファクトを除去するための操作ガイダンスを有する、ことを含み得る。
【０００９】
一部の例において、当該方法は更に、エコー信号を収集するための撮像様式を選択することを含むことができ、撮像様式は、ターゲット領域に特有の動作パラメータを有する。一部の実施形態において、当該方法は更に、トランスデューサと通信可能に結合されたコントローラに上記指示を送信することを含み得る。一部の例において、当該方法は更に、上記指示に基づいてトランスデューサの動作パラメータを変更することを含み得る。一部の実施形態において、当該方法は更に、上記指示をユーザインタフェース上に表示することを含み得る。
一部の例において、当該方法は更に、複数の異なるアーチファクトを含む超音波画像フレームと、該複数の異なるアーチファクトに基づいてトランスデューサを調節するためのエキスパート指示と、を用いてニューラルネットワークを訓練することを含み得る。一部の例において、当該方法は更に、アーチファクトを有しない予測される超音波画像を生成することを含み得る。
【００１０】
ここに記載される方法又はそのステップのいずれも、実行可能命令を有する非一時的なコンピュータ読み取り可能媒体に具現化されることができ、該実行可能命令が、実行されるときに、医用撮像システムのプロセッサに、ここに具現化される方法又はステップを実行させる。
【図面の簡単な説明】
【００１１】
【図１】本開示の原理に従った超音波システムのブロック図である。
【図２】本開示の原理に従った他の超音波システムのブロック図である。
【図３Ａ】図３Ａ及び３Ｂは、本開示の原理に従った、超音波画像アーチファクトの存在及びタイプを決定するように訓練されたニューラルネットワークのブロック図である。
【図３Ｂ】図３Ａ及び３Ｂは、本開示の原理に従った、超音波画像アーチファクトの存在及びタイプを決定するように訓練されたニューラルネットワークのブロック図である。
【図４】本開示の原理に従って未だ除去されていない鏡面反射アーチファクトを含む超音波画像の写真である。
【図５Ａ】本開示の原理に従った、特定されたアーチファクトと、該アーチファクトの存在及びタイプのインジケータと、を含む超音波画像の写真である。
【図５Ｂ】本開示の原理に従った、特定されたアーチファクトと、該アーチファクトを除去するように超音波トランスデューサを調節するための指示と、を含む超音波画像の写真である。
【図６】本開示の原理に従って実行される超音波撮像の方法のフロー図である。
【発明を実施するための形態】
【００１２】
以下の特定の実施形態の説明は、単に例示的なものに過ぎず、発明又はその用途若しくは用法を限定することは全く意図していない。本システム及び方法の実施形態の以下の詳細な説明では、その一部を形成する添付の図面を参照するが。図面には、説明されるシステム及び方法が実施され得る特定の実施形態が例示として示される。それらの実施形態は、ここに開示されるシステム及び方法を当業者が実施することを可能にするのに十分なに詳細さで記載され、理解されるべきことには、他の実施形態が使用されてもよく、本システムの精神及び範囲から逸脱することなく、構造的及び論理的な変更が為され得る。また、明確さの目的で、当業者にとって明らかであるときには、本システムの説明を不明瞭にしないように、特定の機構の詳細な説明については述べないこととする。従って、以下の詳細な説明は、限定的な意味では採られるべきでなく、本システムの範囲は、添付の特許請求の範囲によってのみ定められる。
【００１３】
本開示に従った超音波システムは、超音波撮像中に現れ得るものである例えば多重反射といった種々の画像アーチファクトを特定するために、例えばディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク、又はこれらに類するものといった、ニューラルネットワークを利用し得る。一部の例において、ニューラルネットワークが、現在知られている又は後に開発される多様な機械学習技術のいずれかを用いて訓練されることで、超音波画像フレームの形態をした入力データを分析して、１つ以上の画像アーチファクトを含む特定のフィーチャを特定することができるニューラルネットワーク（例えば、機械訓練されたアルゴリズム又はハードウェアベースのノードシステム）が取得され得る。ニューラルネットワークは、特殊化されたコンピュータコードに頼ることによってではなく、データセットのサンプルを分析することによって、データセットの特徴を認識するように一般化及び訓練され得るという点で、従来形態のコンピュータプログラミングアルゴリズムに対する利点を提供し得る。適切な入出力データをニューラルネットワーク訓練アルゴリズムに提示することにより、本開示に従った超音波システムのニューラルネットワークは、アーチファクトを特定し、超音波画像からのアーチファクトの除去をもたらすように超音波トランスデューサを調節するための指示を提供するように訓練され得る。一部の例において、それらの指示は、ユーザ介入なしで指示に従って超音波トランスデューサを自動調節するように構成されたコントローラに送られ得る。
それに加えて、あるいは代えて、それらの指示は、超音波画像からアーチファクトを除去するための１つ以上の画像処理操作に変換され得る。
【００１４】
本発明の原理に従った超音波システムは、超音波トランスデューサを含む又はそれに動作的に結合されることができ、超音波トランスデューサは、例えば人体又はその特定の部分といった媒質に向けて超音波を送信するとともに、超音波パルスに応答したエコー信号を生成するように構成される。超音波システムは、送信及び／又は受信ビームフォーミングを実行するように構成されたビームフォーマと、一部の例において超音波撮像システムによって生成された超音波画像を表示するように構成されるディスプレイとを含み得る。超音波撮像システムは、１つ以上のプロセッサと、ハードウェア及び／又はソフトウェアコンポーネントにて実装され得るものであるニューラルネットワークの少なくとも１つのモデルとを含み得る。ニューラルネットワークは、例えば多重反射又は鏡面反射などの１つ以上の画像アーチファクトを特定し、そのようなアーチファクトの存在及び／又はタイプのインジケーションを出力するように機械訓練され得る。
【００１５】
本開示に従って実装されるニューラルネットワークは、ハードウェアベース（例えば、ニューロンは、物理的コンポーネントによって表される）であってもよいし、ソフトウェアベース（例えば、ニューロン及び経路がソフトウェアアプリケーションにて実装される）であってよく、また、所望の出力を生み出すように当該ニューラルネットワークを訓練するために、様々なトポロジー及び学習アルゴリズムを使用することができる。例えば、ソフトウェアベースのニューラルネットワークは、命令を実行するように構成されたプロセッサ（例えば、シングルコア若しくはマルチコアのＣＰＵ、単一のＧＰＵ若しくはＧＰＵクラスタ、又は並列処理用に構成された複数のプロセッサ）を用いて実装されることができ、該命令は、コンピュータ読み取り可能媒体に記憶され得るとともに、実行されるときに、プロセッサに、超音波画像内の種々のアーチファクトを特定するための機械訓練されたアルゴリズムを実行させ、及び、一部の例において、アーチファクトの存在、不存在、及び／又はタイプのインジケーションを出力させる。超音波システムは、超音波システムのユーザインタフェース上での表示のために、表示ウィンドウ内に超音波画像及び／又は追加のグラフィック情報（これは、注釈、組織情報、患者情報、インジケータ、及び他のグラフィックコンポーネントを含み得る）を配置するように動作可能な、表示プロセッサ又はグラフィックスプロセッサを含み得る。一部の実施形態において、報告目的で、又は将来の機械訓練のため（例えば、ニューラルネットワークの性能を増強させ続けるため）、超音波画像及び組織情報が、アーチファクトの存在及び／又はタイプに関する情報を含めて、例えば画像保管通信システム（ＰＡＣＳ）などのストレージ装置及び／又はメモリ装置に提供され得る。一部の例において、スキャンにて得られる超音波画像は、超音波システムを操作するユーザに表示されないとし得るが、超音波スキャンが行われるときに、画像アーチファクトの有無についてシステムによって分析され得る。
【００１６】
図１は、本開示の原理に従った超音波システムの一例を示している。超音波システム１００は、超音波データ収集ユニット１１０を含み得る。超音波データ収集ユニット１１０は、超音波パルス１１４を被検体の例えば腹部といったターゲット領域１１６に送信するとともに、送信されたパルスに応答したエコー１１８を受信するように構成された、超音波センサアレイ１１２を含む超音波トランスデューサ又はプローブを含み得る。更に図示されるように、超音波データ収集ユニット１１０は、アレイ１１２で受信された超音波エコー１１８から複数の個別の超音波画像フレーム１２４を生成するように構成され得るものであるビームフォーマ１２０及び信号プロセッサ１２２を含み得る。一部の実施形態において、システム１００はまた、超音波データ収集ユニット１１０と結合されたコントローラ１２５を含み得る。コントローラ１２５は、自動フィードバックループの部分として、データ収集ユニット１１０の位置、向き、及び／又は動作設定を調節するように構成され得る。例えばロボットアームなどの機械的調節機構１２６が、コントローラ１２５の指示で超音波データ収集ユニット１１０を物理的に操るように構成され得る。一部の例において、信号プロセッサ１２２は、センサアレイ１１２と共に収容されてもよく、あるいは、それとは別個されて、それに通信可能に結合（例えば、有線又は無線接続を介して）されてもよい。
【００１７】
システムはまた、ニューラルネットワーク１２８を実装するように構成された、例えば計算モジュール又は回路（例えば、特定用途向け集積回路（ＡＳＩＣ））といったアーチファクト検出エンジン１２７を含み得る。ニューラルネットワーク１２８は、画像フレーム１２４を受信し、各フレーム内の画像アーチファクトの存在及び／又はタイプを決定するように構成され得る。ニューラルネットワーク１２８を訓練するために、当該ネットワークを適用する前及び／又は後の様々な瞬間に、種々のタイプの訓練データ１２９が当該ネットワークに入力され得る。図１には、図示の明瞭さ及び簡単さのために１つのニューラルネットワーク１２８のみが示されているが、複数の異なるニューラルネットワークモデルがアーチファクト検出エンジン１２７に付随したり通信可能に結合されたりしてもよい。ニューラルネットワーク１２８の各モデルが、特定の撮像用途において収集される画像フレーム１２４内の画像アーチファクトの存在及び／又はタイプを決定するように、ある訓練アルゴリズムによって予め訓練され得る。従って、各モデルが、異なるターゲット領域１１６を撮像することによって取得された異なる訓練データのセット１２９を用いて予め訓練されてもよい。
【００１８】
一部の例において、システム１００はまた、アーチファクト検出エンジン１２７及びユーザインタフェース１３２に結合された表示プロセッサ１３０を含む。一部の例において、表示プロセッサ１３０は、画像フレーム１２４からの超音波画像１３４と、画像フレーム１２４の各々内の（１つ以上の）画像アーチファクトの存在及び／又はタイプを伝えるインジケータ１３６とを生成するように構成され得る。ユーザインタフェース１３２は、超音波スキャンが実行されているときにリアルタイムで、領域の超音波画像１３４をインジケータ１３６と共に表示するように構成され得る。一部の実施形態において、ユーザインタフェース１３２は、超音波画像を表示せずにインジケータ１３６を表示してもよく、その結果、ユーザは、画像フレームに示された身体的フィーチャ及び／又は画像アーチファクトを見ることができないが、インジケータ１３６を表示することで、ユーザはそれらの超音波検出について依然として通知されることになる。ユーザインタフェース１３２はまた、画像フレーム１２４内に現れるアーチファクトの検出された存在及び／又はタイプに基づく１つ以上の指示１３７を表示するように構成され得る。指示１３７は、画像フレーム１２４から（１つ以上の）アーチファクトを除去し、それにより画像フレームの品質を高めるように、データ収集ユニット１１０を調節するための指図を含み得る。ユーザインタフェース１３２はまた、超音波スキャンの前、間、又は後にいつでもユーザ入力１３８を受信するように構成され得る。一部の例において、ユーザ入力１３８は、例えば膀胱、肺、腎臓などといった特定の身体的フィーチャを撮像するための動作パラメータを指定するプリセットされた撮像様式の選択を含むことができる。動作パラメータは、予め指定された焦点深度、パルス周波数、スキャンライン数、スキャンライン密度、又は他の設定を含むことができる。収集される画像フレーム１２４に適用されるニューラルネットワーク１２８の特定のモデルは、ユーザによって選択された、プリセットされた撮像様式に依存し得る。例えば、心臓撮像中に適用されるニューラルネットワークモデル１２８は、膀胱又は腎臓を撮像するときに適用されるニューラルネットワークモデルとは異なり得る。従って、ニューラルネットワーク１２８の各モデルが、特定のターゲット領域１１６から収集される特定のタイプの画像フレーム１２４内でアーチファクトを特定するように予め訓練され得る。プリセットされた撮像様式の選択は、ニューラルネットワーク１２８の正しいモデルの実装を引き起こす。
【００１９】
図１に示すシステム１００の構成は様々となり得る。更に示すように、ユーザインタフェース１３２は、ニューラルネットワーク１２８によって生成された、予測されるアーチファクトフリーの画像フレーム１３９を表示することができる。例えば、システム１００は、可搬式であってもよいし、固定式であってもよい。例えばラップトップ、タブレット、スマートフォン、又はこれらに類するものなどといった、様々な可搬式装置を使用して、システム１００の１つ以上の機能を、例えば遠隔のポイント・オブ・ケアといった、クリニックから離れた場所に実装し得る。このような装置を組み込んだ例において、超音波センサアレイ１１２は、例えばＵＳＢインタフェースを介して接続可能とし得る。
【００２０】
超音波データ収集ユニット１１０は、様々な組織、器官、又は他の体内構造を含み得るものである１つ以上の関心領域から超音波データを収集するように構成され得る。超音波センサアレイ１１２は、超音波エネルギーを送受信するように構成された少なくとも１つのトランスデューサアレイを含み得る。例えば、リニアアレイ、凸アレイ、又はフェーズドアレイといった、多様なトランスデューサアレイが使用され得る。センサアレイ１１２に含まれるトランスデューサ素子の数及び構成は、異なる例では異なり得る。例えば、超音波センサアレイ１１２は、リニアアレイ及びマトリクスアレイのプローブに対応して、それぞれ、トランスデューサ素子の１Ｄアレイ又は２Ｄアレイを含み得る。２Ｄマトリクスアレイは、２Ｄ又は３Ｄでの撮像のために、仰角及び方位角の双方の次元において（フェーズドアレイビームフォーミングによって）電子的に走査を行うように構成され得る。ここでの開示に従って実装される撮像様式は、Ｂモード撮像に加えて、例えば、剪断波及び／又はドップラーも含むことができる。
【００２１】
多様なユーザが、ここに記載される方法を実行するように、超音波データ収集ユニット１１０の取り扱い及び操作を行い得る。一部の例において、ユーザは、超音波画像から一貫性をもってアーチファクトを特定及び／又は除去することができない経験の浅い未熟な超音波オペレータを含み得る。ここに開示される改良された超音波技術は、収集された超音波画像フレーム１２４内でアーチファクトを特定し、それらアーチファクトを画像から除去するように超音波トランスデューサを調節するための指示をユーザに提供することによって、そのようなユーザが効果的な超音波撮像を実行することを可能にする。超音波トランスデューサの位置及び／又は向きを制御するために機械的な調節機構１２６が使用される例において、アーチファクトを除去するための指示は、必要な調節をユーザ入力なしで自動的にロボット装置に行わせるように構成されたコントローラ１２５に伝達され得る。アーチファクトを特定して、アーチファクトを除去するための正確な指示を提供することによって、ここに開示されるシステムは、向上された画像解釈及び診断につながり得る。
【００２２】
図１に更に示すように、データ収集ユニット１１０はまた、超音波センサアレイ１１２に結合されたビームフォーマ１２０を含むことができ、ビームフォーマ１２０は、例えば、マイクロビームフォーマ、又はマイクロビームフォーマとメインビームフォーマとの組合せを有する。ビームフォーマ１２０は、例えば集束ビームへと超音波パルスを形成することによって、超音波エネルギーの送信を制御し得る。ビームフォーマ１２０はまた、認識可能な画像データが生成され、他のシステムコンポーネントの助けを借りて処理され得るように、超音波信号の受信を制御するように構成され得る。ビームフォーマ１２０の役割は、異なる超音波プローブ種類では異なり得る。一部の実施形態において、ビームフォーマ１２０は、被検体への送信のために超音波エネルギーのパルスシーケンスを受け取って、処理するように構成された送信ビームフォーマと、受信超音波エコー信号を増幅し、遅延させ、及び／又は合計するように構成された別個の受信ビームフォーマとの、２つの別々のビームフォーマを有し得る。一部の実施形態において、ビームフォーマ１２０は、送信及び受信の双方のビームフォーミングのためにセンサ素子のグループ上で動作するマイクロビームフォーマを、送信及び受信の双方のビームフォーミングのためにそれぞれグループ入力及びグループ出力上で動作するメインビームフォーマに結合して含み得る。
【００２３】
信号プロセッサ１２２は、センサアレイ１１２及び／又はビームフォーマ１２０と、通信可能に、動作的に、及び／又は物理的に結合され得る。図１に示す例において、信号プロセッサ１２２は、データ収集ユニット１１０の統合コンポーネントとして含められているが、他の例において、信号プロセッサ１２２は、別個のコンポーネントであってもよい。信号プロセッサ１２２は、センサアレイ１１２で受信された超音波エコー１１８を具現化した未フィルタリングで未整理の超音波データを受信するように構成され得る。ユーザが領域１１６をスキャンするとき、このデータから、信号プロセッサ１２２は、複数の超音波画像フレーム１２４を連続的に生成し得る。
【００２４】
アーチファクト検出エンジン１２７は、データ収集ユニット１１０から画像フレーム１２４を受信することができる。エンジン１２７は、次いで、画像フレーム１２４に具現化された受信画像データをニューラルネットワーク１２８への入力のために準備し得る。実施形態において、エンジン１２７は、ユーザによって選択されたプリセットされた撮像様式に基づいて、画像フレーム１２４をニューラルネットワーク１２８の特定のモデルに入力し得る。一部の例において、データを準備することは、例えばＩｎｃｅｐｔｉｏｎ、Ａｌｅｘｎｅｔ及び／又はＲｅｓｎｅｔといった様々なニューラルネットワークモデルを利用して画像アーチファクト及びそれらを除去するための調節オプションを特定することができるように、データの三つ揃いの複製を作成することを伴う。特定の実施形態において、三つ揃いの複製は、ダイナミックレンジの３つの８ビット表現、すなわち、高信号の低ダイナミックレンジ画像、低信号の低ダイナミックレンジ画像、及び適応ヒストグラム等化を用いた、圧縮された高ダイナミックレンジ画像を含むことができる。
【００２５】
様々な実施形態において、ニューラルネットワーク１２８は、信号プロセッサ１２２及び／又はアーチファクト検出エンジン１２７に内蔵されることができ、又は少なくともそれらと通信することができる。ニューラルネットワーク１２８は、一部の例において、信号プロセッサ１２２から直接的に超音波画像フレーム１２４を受信し及び入力されて、画像フレーム１２４の各々内に１つ以上のアーチファクトが存在するかどうかを決定するように構成され得る。一部の実施形態において、ニューラルネットワーク１２８は、超音波画像フレーム内の種々の画像アーチファクトを認識するように集合的に訓練された、様々に組織化されたニューラル層及びサブレイヤからなる畳み込みニューラルネットワーク（ＣＮＮ）とし得る。ニューラルネットワーク１２８は、複数のニューラルネットワークモデルを含むことができ、各モデルが、特定の撮像様式の実装にて特定のターゲット領域１１６を撮像することによって集められた異なるトレーニングデータのセット１２９を用いて訓練される。ニューラルネットワーク１２８は、各受信画像フレーム１２４内でアーチファクトの存在、不存在、及び／又はタイプを自動検出し得るとともに、２次元又は３次元超音波撮像システム内で実装され得る。ニューラルネットワーク１２８はまた、画像フレーム１２４内で検出された各アーチファクトのタイプを特定し得る。ニューラルネットワーク１２８は更に、アーチファクトタイプに応じて、画像からアーチファクトを除去するための指示１３７を出力するように構成され得る。さらに、ニューラルネットワーク１２８は、予測されるアーチファクトフリーの画像フレーム１３９を生成するように構成され得る。アーチファクトフリーの画像フレーム１３９は、元の画像フレーム１２４であるがそこからアーチファクトが除去されたものを有し得る。
【００２６】
ニューラルネットワーク１２８と通信可能に結合された表示プロセッサ１３０は、ニューラルネットワーク１２８によって為された決定に基づいてインジケータ１３６を生成するように構成され得る。一部の実装において、インジケータ１３６は、画像フレーム１２４内のアーチファクトの存在、不存在、及び／又はタイプを指し示し得る。超音波画像１２４及び／又はインジケータ１３６を受信して、ユーザインタフェース１３２は、画像及び／又はインジケータを表示し得る。インジケータ１３６は、画像が取得されるときにリアルタイムで、超音波画像１３４と同時に、例えばその上に重ね合わせて又はその隣に、表示され得る。従って、インジケータ１３６は、１つ以上のアーチファクトの有無をユーザに即座に通知し得る。一部の例において、インジケータ１３６は、例えば超音波プローブの振動などの、視覚的に表示されるのではない感覚的な合図、又は超音波システム１００と結合されたスピーカから発せられる可聴的な合図を有してもよい。インジケータ１３６はまた、点灯及び消灯する、又は色を変化させる光を有してもよい。例えば、アーチファクトの存在が赤色光によって指し示され、アーチファクトの不存在が緑色光又は光の不存在によって指し示され得る。一部の実施形態において、インジケータ１３６は、超音波画像の同時表示なしに表示され得る。インジケータが、スキャンが実行されているときに画像アーチファクトの有無をユーザに通知するものであれば、インジケータ１３６の特定の性質は重要ではない。
【００２７】
一部の例において、ユーザインタフェース１３２は更に、画像アーチファクトが除去される又は少なくとも強さ的に抑制されるように、超音波スキャンを通じてユーザをガイド又は支援するように構成され得る。このようなガイダンスは、１つ以上の指示１３７の形態でニューラルネットワーク１２８によって生成されてもよく、また、やはりニューラルネットワーク１２８によって生成されるインジケータ１３６に応答するものであってもよい。例えば、ユーザインタフェース１３２は、画像アーチファクトの存在及び／又はタイプを伝えるインジケータ１３６を受け取ることに応答して、ユーザに指示を提供し得る。指示は、ユーザに、収集される画像から全ての画像アーチファクトが除去されることを確保する特定のやり方で超音波スキャンを実行するようにユーザを促し得る。例えば、多重反射アーチファクトが検出される場合、ユーザインタフェース１３２は、超音波トランスデューサの観察角度を変更するための指示を提供し得る。鏡面反射の場合、ユーザインタフェース１３２は、トランスデューサの撮像面、焦点深度、及び／又はパルス周波数を変更するための指示を提供し得る。指示はまた、例えば“超音波プローブを横方向に動かして”といった方向コマンド、及び／又は、例えば“超音波プローブをもっとゆっくり動かして”、“スローダウン”、“ストップ”、又は“続けて”といった技術ベースのコマンドを含んでもよい。一部の例において、指示は、アーチファクトが消える瞬間にトランスデューサを１つの位置で動かさずに保持するようにユーザに命令して、それによりアーチファクトのない画像の可視化及び解釈を可能にしてもよい。指示はまた、アーチファクトが検出される瞬間にトランスデューサの位置及び／又は向きを僅かに調節するようユーザに促してもよい。
【００２８】
図２は、本発明の原理に従った他の超音波システム２００のブロック図である。図２に示す１つ以上のコンポーネントが、超音波画像フレーム内に現れ得る画像アーチファクトを特定し、その存在、不存在、及び／又はタイプのインジケーションを提供し、それらのアーチファクトを除去するように超音波トランスデューサを調節するための指示を提供し、及び／又は超音波トランスデューサの１つ以上の動作パラメータを自動的に調節するように構成されるシステムに含められ得る。例えば、上述の信号プロセッサ１２２の機能のいずれかが、例えば、信号プロセッサ２２６、Ｂモードプロセッサ２２８、スキャンコンバータ２３０、マルチプレーナ（多断面）リフォーマッタ２３２、ボリュームレンダラ２３４及び／又は画像プロセッサ２３６を含む、図２に示す処理コンポーネントのうちの１つ以上によって実装及び／又は制御され得る。
【００２９】
図２の超音波撮像システムにおいて、超音波プローブ２１２は、例えば器官といったフィーチャを含む領域に超音波を送信し、送信された波に応答したエコー情報を受信するトランスデューサアレイ２１４を含んでいる。様々な実施形態において、トランスデューサアレイ２１４は、マトリクスアレイ又は１次元リニアアレイとし得る。トランスデューサアレイは、アレイ内のトランスデューサ素子による信号の送受信を制御し得るプローブ２１２内のマイクロビームフォーマ２１６に結合され得る。図示の例において、マイクロビームフォーマ２１６は、プローブケーブルによって送信／受信（Ｔ／Ｒ）スイッチ２１８に結合され、Ｔ／Ｒスイッチ２１８は、送信と受信との間で切り換わるとともに、メインビームフォーマ２２２を高エネルギー送信信号から保護する。一部の実施形態において、Ｔ／Ｒスイッチ２１８及びシステム内の他の要素が、別個の超音波システムコンポーネント内にではなく、トランスデューサプローブ内に含められてもよい。マイクロビームフォーマ２１６の制御下でのトランスデューサアレイ２１４からの超音波ビームの送信は、Ｔ／Ｒスイッチ２１８及びビームフォーマ２２２に結合された送信コントローラ２２０によって指示されることができ、送信コントローラ２２０は、例えば、ユーザインタフェース又は制御パネル２２４のユーザ操作からの入力を受信する。送信コントローラ２２０によって制御され得る１つの機能は、ビームがステアリングされる方向である。ビームは、トランスデューサアレイから（直角に）まっすぐ前方に、又はより広い視野に対して複数の異なる角度で、ステアリングされ得る。マイクロビームフォーマ２１６によって作り出された部分的にビームフォーミングされた信号が、メインビームフォーマ２２２に結合され、そこで、トランスデューサ素子の個々のパッチからの部分的にビームフォーミングされた信号が、完全にビームフォーミングされた信号へと結合される。
【００３０】
ビームフォーミングされた信号は信号プロセッサ２２６に通信され得る。信号プロセッサ２２６は、受信したエコー信号を、例えば帯域通過フィルタリング、デシメーション、Ｉ及びＱ成分分離、及び／又は高調波信号分離などの様々な手法で処理し得る。信号プロセッサ２２６はまた、スペックル抑制、信号合成、及び／又はノイズ除去によって、更なる信号エンハンスメントを実行し得る。一部の例において、信号プロセッサ２２６によって使用されるこれら様々な処理技術によって生成されたデータが、１つ以上の画像アーチファクトを特定するためにデータプロセッサ及び／又はニューラルネットワークによって使用され得る。処理された信号は、身体内の構造を画像化するために振幅検出を使用するものであるＢモードプロセッサ２２８に結合され得る。Ｂモードプロセッサ２２８によって生成された信号が、スキャンコンバータ２３０及びマルチプレーナリフォーマッタ２３２に結合され得る。スキャンコンバータ２３０は、受信された空間的関係にあるエコー信号を所望の画像フォーマットにて配置し得る。例えば、スキャンコンバータ２３０は、エコー信号を、２次元（２Ｄ）セクター形状フォーマットへと配置し得る。マルチプレーナリフォーマッタ２３２は、米国特許第６，４４３，８９６（Ｄｅｔｍｅｒ）に記載されているように、体のボリューム領域内の共通の平面内の点から受信されたエコーを、その平面の超音波画像へと変換する。一部の例において、ボリュームレンダラ２３４が、例えば米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ他）に記載されているように、３Ｄデータセットのエコー信号を、所与の基準点から見た投影３Ｄ画像へと変換し得る。２Ｄ又は３Ｄ画像が、画像ディスプレイ２３７上に表示するための更なる強調、バッファリング及び／又は一時記憶のために、スキャンコンバータ２３０、マルチプレーナリフォーマッタ２３２、及びボリュームレンダラ２３４から画像プロセッサ２３６に通信され得る。それらの表示に先立って、各画像が１つ以上の画像アーチファクトを含むかを特定するために、複数の異なるニューラルネットワークモデルを有し得るものであるニューラルネットワーク２３８が実装され得る。実施形態において、ニューラルネットワーク２３８は、例えば、画像プロセッサ２３６、ボリュームレンダラ２３４、マルチプレーナリフォーマッタ２３２、及び／又はスキャンコンバータ２３０によって実行される処理の前といった、様々な処理段階で実装され得る。グラフィックスプロセッサ２４０は、超音波画像と共に表示するためのグラフィックオーバーレイを生成することができる。これらのグラフィックオーバーレイは、例えば、患者名、画像の日付及び時刻、撮像パラメータ、及びこれらに類するものなどの、標準的な識別情報を含み得るとともに、例えば特定の画像に含まれる画像アーチファクトの存在、不存在、及び／又はタイプを伝える１つ以上のインジケータなどの、ニューラルネットワーク２３８によって生成される様々な出力を含み得る。グラフィックオーバーレイはまた、超音波スキャンを通じて、アーチファクトフリーの画像を生成するために必要なようにシステム２００のユーザにガイドするための、例えばテキスト及び／又は記号といった視覚的指示を含み得る。一部の例において、グラフィックスプロセッサは、例えば、タイプされた患者名又はインタフェースから表示又は発出された指示がシステム２００のユーザによって認識されたことの確認などの、ユーザインタフェース２２４からの入力を受け取り得る。ユーザインタフェース２２４はまた、特定の撮像様式の選択とその様式に含まれる動作パラメータとに関する入力、システム２００によって使用される設定及び／又はパラメータに対する調節を促す入力、超音波スキャンを実行するための追加の指示若しくは支援を要求する入力、及び／又は１つ以上の超音波画像を保存する及び／又は遠隔受信器に送信することを要求する入力、を受け取り得る。ユーザインタフェースはまた、マルチプレーナリフォーマットされた（ＭＰＲ）画像の表示の選択及び制御のために、マルチプレーナリフォーマッタ２３２に結合され得る。
【００３１】
図３Ａ及び３Ｂは、本発明の原理に従った、超音波画像データにおいて画像アーチファクトを特定するように訓練されたニューラルネットワーク３００のブロック図である。図示の例において、ニューラルネットワーク３００は、畳み込みニューラルネットワーク（ＣＮＮ）であり、具体的には、Ｉｎｃｅｐｔｉｏｎ−ｖ３モデルの改良版である。異なる実施形態では、例えばＡｌｅｘｎｅｔ及び／又はＲｅｓｎｅｔなどの、他のニューラルネットワークが使用され得る。超音波画像データにおける画像アーチファクトの存在及びタイプを検出するためにカスタマイズされた、図３Ａ及び３Ｂに示すネットワークアーキテクチャは、本発明の例に従って実装され得るニューラル層及びサブレイヤの構成並びにそれらの間の接続についての、単に１つの例を表すものである。例えば、層３０４の数は、より多様な画像アーチファクトを特定するように構成されるニューラルネットワークでは、もっと多くなり得る。同様に、層３０４の数は、より少ない数の画像アーチファクトを特定する場合には、もっと少なくなり得る。一部の例において、図３Ａ及び３Ｂに示すネットワークアーキテクチャは、異なる画像アーチファクトタイプの数に等しい長さを持つマルチラベル分類器を出力するように重み及びデンス層を調節することによって変更され得る。様々な実施形態において、複数のニューラルネットワーク３００が実装されてもよく、各々が、特定の撮像様式において画像アーチファクトを特定するよう、明確に異なるように変更され得る。
【００３２】
図３Ａ及び３Ｂに示すニューラルネットワーク３００は、各々が０個、１個、又は複数の画像アーチファクトを含み得る超音波画像フレーム３０２の形態をした入力を受け取るように訓練される。ユーザによって選択されたプリセットされた撮像様式に依存して、画像フレーム３０２のタイプ及び適用されるニューラルネットワーク３００の特定のモデルが変わり得る。一部の例において、特定のニューラルネットワークモデル３００は、その特定のモデルに関連付けられていない撮像様式によって収集された画像フレーム３０２を提供される場合に、アーチファクトを特定することができないことがある。ニューラルネットワーク３００は、様々なタイプの入力データを受け取るように構成されることができる。例えば、ネットワークは、２次元、３次元、８ビット、１６ビット、又は赤−青−緑チャネルのデータを処理することができる。一部の実施形態において、各層が特徴検出の特定の態様を実行するように訓練され得る。例えば、１つ以上の層３０４は、各受信画像フレーム内の様々なフィーチャのエッジ及び／又は強度レベルを認識するように訓練され得る。１つ以上の層３０４は、画像アーチファクトを、同様の強度レベルを持つ他のフィーチャから分離するように訓練され得る。一部の例において、超音波の位置をハイライトするために、各超音波画像フレームの上に、頂部畳み込み層上の最も高いアクティベーションを重ね合わせることができる。このアプローチは、時間集約的な熟練した注釈付け又は追加の機械訓練を必要としないので、セグメンテーション、検出又は位置特定のアプローチよりも有利である。一部の実施形態において、訓練データはまた、ニューラルネットワークによって特定されたアーチファクトを見た経験豊富なユーザ又はエキスパートによって生成された超音波プローブ調節指示を含み得る。そのような実施形態によれば、ネットワーク３００が、アーチファクトと、それらを除去する方法と、を同時に特定するように訓練されるよう、訓練画像が除去指示と対（ペア）にされ得る。最後の層は、画像データ内に存在するアーチファクトのタイプを決定し、対応する出力３０６を生成するように構成され得る。この理由で、最後の層は“出力層”と称され得る。出力は、元の入力内に存在する画像アーチファクトの存在、不存在、及び／又はタイプのインジケーションを含むことができ、画像アーチファクトのタイプは、多重反射アーチファクト、音響陰影アーチファクト、音響増強アーチファクト、鏡面反射アーチファクト、エッジ陰影アーチファクト、又はその他を含み得る。ニューラルネットワーク３００によって特定された（１つ以上の）アーチファクトの存在及び／又はタイプに基づく指示も、最後の層から出力され得る。一部の実施形態において、出力は、ニューラルネットワーク３００によって予測されるアーチファクトフリー画像を含んでもよい。一部の例において、出力３０６は、フラクショナルストライド畳み込み技術を用いて可視化され得る。出力は、それを、例えば、信号、合図、又はグラフ表示へと変換し得る例えば図１に示した表示プロセッサ１３０といった表示プロセッサに結合され得る。
【００３３】
ニューラルネットワーク３００は、少なくとも部分的に、実行可能命令を有するコンピュータ読み取り可能媒体にて実装されることができ、該実行可能命令が、例えばアーチファクト検出エンジン１２７などのプロセッサによって実行されるときに、該プロセッサに、機械訓練されたアルゴリズムを実行させることで、画像フレームに含まれる画像アーチファクトの存在、不存在、及び／又はタイプが、該画像フレーム内に具現化された収集エコー信号に基づいて決定される。ニューラルネットワーク３００を訓練するために、入力アレイ及び出力分類の複数のインスタンスを含む訓練セットが、ニューラルネットワーク３００の（１つ以上の）訓練アルゴリズム（例えば、Ｋｒｉｚｈｅｖｓｋｙ，Ａ．、Ｓｕｔｓｋｖｅｒ，Ｉ．及びＨｉｎｔｏｎ，Ｇ．Ｅ．の“ＩｍａｇｅＮｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｄｅｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”，ＮＩＰＳ２０１２に記載されているＡｌｅｘＮｅｔ訓練アルゴリズム又はその派生）に提示され得る。
【００３４】
画像アーチファクトを特定し、それらの除去のための指示を提供するようにニューラルネットワークを訓練するために、ニューラルネットワーク３００に関連するニューラルネットワーク訓練アルゴリズムが、何千又は更には何百万もの訓練データセットと共に提示され得る。様々な例において、ニューラルネットワークを訓練するために使用される超音波画像の数は、約５０，０００から２００，０００の範囲又はそれより多いとし得る。ネットワークを訓練するために使用される画像の数は、より多数の異なるアーチファクトを特定すべき場合に増加し得る。ネットワークを訓練するために使用される訓練画像の数は、異なるアーチファクトでは異なることがあり、特定のアーチファクトの見た目における変動性に依存し得る。例えば、選択されたアーチファクトを示すフィーチャが、他のアーチファクトを示すフィーチャよりも一貫性をもって現れることがある。変わりやすいフィーチャを有するアーチファクトを特定するようにニューラルネットワーク３００を訓練することは、より多くの訓練画像を必要とし得る。一部の実施形態において、訓練は監督され得る。例えば、特定された画像アーチファクト及び／又はそれを除去するための指示を含み得るものであるニューラルネットワーク３００の最終的な出力３０６が、超音波画像解釈におけるエキスパートによって追認又は却下され得る。
【００３５】
特定された画像アーチファクトがない予測画像を生成するようにニューラルネットワーク３００を訓練することは、アーチファクトを含む様々なフィーチャの超音波画像と、撮像調節が実施されてアーチファクトが除去された後に取得された同じフィーチャの関連超音波画像と、を入力することを伴い得る。一部の例において、予測されるアーチファクトフリーの画像を生成することは、１つ以上のアーチファクトによって不明瞭にされた身体的フィーチャの部分を外挿することを伴い得る。例えば、ニューラルネットワーク３００は、特定の画像フレーム内の各アーチファクトのエッジを特定し、それらのエッジによって画成されるピクセル群の色を反転させるように訓練され得る。この反転の後、反転されたピクセル群の全て又は一部が、もはや除去された（１つ以上の）アーチファクトによって元々は不明瞭にされていた身体的フィーチャを完成させるのに必要なように変更され得る。
【００３６】
図４は、未だ除去されていない鏡面反射アーチファクトを含む超音波画像４００の写真である。図示のように、鏡面反射アーチファクトは、反射複製として配置された２つの同じフィーチャ４０２ａ及び４０２ｂとして現れ得る。鏡面反射アーチファクトは、大きくて滑らかな界面、例えば流体−空気界面、における超音波ビームの鏡面反射によって引き起こされ得る。ここに開示されるシステムは、鏡像を含むアーチファクトを特定するように訓練されたニューラルネットワークに、アーチファクトを具体化した画像フレームを入力することによって、例えば図４に示すものなどの鏡面反射アーチファクトを特定するように構成されることができる。一部の例において、ニューラルネットワークは、ユーザによって選択されたプリセットされた撮像様式に基づいて、特に鏡面反射アーチファクトを探索するように訓練されることができる。例えば、鏡面反射アーチファクトは、膀胱を撮像するときに頻繁に現れ得る。従って、膀胱を撮像するように設定された撮像様式がユーザによって選択されるとき、ニューラルネットワークは、鏡面反射アーチファクトを特異的又は優先的に探索するように訓練され得る。他のフィーチャ又は組織タイプも、特定の画像アーチファクトと関連付けられ得る。例えば、肺組織と肺内に含まれる空気との間の胸膜の界面を撮像するとき、ニューラルネットワークは、例えばＡライン及び／又はＢラインといった多重反射を特に探索するように構成され得る。特定の身体的フィーチャを撮像するときに特定のアーチファクトを探すようにニューラルネットワークを訓練することは、如何なるアーチファクトをも特定しそうにない不要な処理を排除することによって、必要な処理時間を削減し、システム全体の計算効率を向上させ得る。一部の実施形態において、ニューラルネットワークは、ユーザが特定の撮像様式を選択するかにかかわらずに全てのアーチファクトを特定するように訓練されてもよい。一部の例において、システムは、ニューラルネットワークを訓練するために使用される画像アーチファクトのうちのサブセットを探索する第１のモードと、全ての画像アーチファクトを探索する第２のモードとの間で切り替わるように構成されてもよい。
【００３７】
図５Ａは、本発明に従った、特定されたアーチファクトと、該アーチファクトの存在及びタイプのインジケータと、を含む超音波画像の写真である。ユーザインタフェース上に表示され得るものである画像５００は、画像内の画像アーチファクトの位置を示す３つのグラフィックオーバーレイ５０２を含んでいる。画像５００はまた、画像内で陰影アーチファクトが検出されたことを示す警告５０４を含んでいる。他の例において、警告は、表示されるのではなく、むしろ、可聴音の合図として発せられてもよい。加えて、あるいは代わりに、警告は、例えば画像を取得するために使用される超音波トランスデューサの振動などの、感覚的な合図として具現化されてもよい。
【００３８】
図５Ｂは、画像内で検出されたアーチファクトを除去するように超音波トランスデューサを調節するための指示５０６を含んだ、図５Ａの写真５００を示している。図示のように、指示の例は、“トランスデューサを回転させる”及び“角度合成をオンにする”ようにユーザをガイドし得る“除去のための提案”を具体化し得る。ここに説明されるように、指示５０６は、検出されたアーチファクトのタイプ及び／又は数に応じて様々であり得る。図５Ｂに示す指示５０６はまた、画像からアーチファクトを除去するために超音波トランスデューサで実行し得る操作を示すグラフィック表示を含んでいる。
【００３９】
加えて、あるいは代わりに、指示５０６は、動作フィードバックループの部分として、画像５００を収集するのに使用される超音波トランスデューサと結合されたコントローラに通信され得る。そのような実施形態によれば、指示５０６は、超音波トランスデューサの位置、向き、及び／又は動作パラメータの調節へと自動的に変換され得る。調節は、コントローラによって制御される機械的な調節機構を用いて実行されることができ、それにより、その機構が自動的にトランスデューサを回転させ及び／又は角度合成をオンにするようにし得る。調節はまた、例えば、画像合成をオンにし、高調波撮像を使用し、及び／又は撮像深度を小さくすることによってなど、様々な撮像パラメータを変更することによって実行され得る。調節は、指示５０６にて具体化され、そして、手動調節のためにユーザに提示され、又はユーザ承認を受けてシステムによって自動的に実行され得る。コントローラ又は手動調節のいずれかを介してこのような指示に従った後、アーチファクトがない新たな超音波画像が生成及び／又は表示されて、指示５０６の除去を促し得る。一部のケースにおいて、トランスデューサの調節が、１つ以上の新たなアーチファクトを出現させることがあり、それらの除去のための新たな指示を表示させ得る。
【００４０】
図６は、本開示の原理に従って実行される超音波撮像の方法のフロー図である。方法例６００は、超音波スキャン中に現れる画像アーチファクトの存在及び／又はタイプを特定するために、ここに記載されるシステム及び／又は装置によって任意の順序で使用され得るステップを示しており、これらは、システムによって生成される指示を着実に実行するロボット式超音波装置及び／又は未熟なユーザによって実行され得る。方法６００は、例えばシステム６００などの超音波撮像システム、又は例えばコーニンクレッカ・フィリップスＮ．Ｖ．（“Ｐｈｉｌｉｐｓ”）社によるＬＵＭＩＦＹなどのモバイルシステムを含む他のシステムによって実行され得る。更なるシステム例は、やはりＰｈｉｌｉｐｓ社によって製造されているＳＰＡＲＱ及び／又はＥＰＩＱを含み得る。
【００４１】
図示した実施形態において、方法６００は、ブロック６０２にて、“超音波システムに動作可能に結合されたトランスデューサによって、ターゲット領域に送信された超音波パルスに応答したエコー信号を収集する”ことによって開始する。トランスデューサは、ユーザによって手動操作されてもよいし、あるいは、例えば肺、肝臓、膀胱、心臓などの１つ以上の特定のフィーチャを撮像するように設計されたプリセットされた撮像様式に従って動作し得るものであるコントローラの指揮下で実装されてもよい。
【００４２】
ブロック６０４にて、この方法は、“超音波エコーから少なくとも１つの画像フレームを生成する”ことを伴う。画像フレームは、１つ以上のプロセッサを使用して生成され得る。一部の実施形態において、ディスクリートの信号プロセッサ及びデータプロセッサが含まれ得る。
【００４３】
ブロック６０６において、この方法は“画像フレームにニューラルネットワークを適用し、画像フレーム内のアーチファクトの存在及びタイプをニューラルネットワークが決定する”ことを伴う。ニューラルネットワークは、例えばＩｎｃｅｐｔｉｏｎモデルなどの畳み込みニューラルネットワークとすることができる。複数の画像アーチファクトを特定してそれらのインジケーションを出力するために必要なように、ネットワークアーキテクチャが変更され得る。ニューラルネットワークを訓練することは、アーチファクトを含む何千もの超音波画像、及びアーチファクトのない画像を入力することを伴い得る。訓練はまた、アーチファクトを除去するための指示、及び／又は画像アーチファクトあり及びなしの対（ペア）画像を入力することを伴い得る。
【００４４】
ブロック６０８にて、この方法は、“決定されたアーチファクトの存在に基づいてインジケータを生成する”ことを伴う。インジケータは、ユーザ又は機械的調節機構によるトランスデューサの動きに応答して、実質的にリアルタイムに更新されることができる。インジケータは、二値のオン若しくはオフのインジケータであることができ、あるいは、インジケータは、超音波スキャン中に特定される画像アーチファクトの数及び／又はタイプに基づいて徐々に変わることができる。
【００４５】
ブロック６１０にて、この方法は、“インジケータをユーザインタフェース上に表示する”ことを伴う。インジケータを表示することは、インジケータの存在又は不存在を伝えるアイコン、及び／又は画像アーチファクトの存在及び／又は識別を記述するテキスト警告を描くことを伴い得る。一部の実施形態において、インジケータは、アーチファクトの位置をも示すように、超音波画像内に含まれたアーチファクト上に重ね合わされることができる。一部の例において、インジケータは、画像内の画像アーチファクトの存在に基づいて点灯若しくは消灯する又は色を変化させる光を有し得る。一部の実装において、例えば、分析のために画像が現場から離れた専門家に送信されるときには、インジケータが表示されないようにしてもよい。
【００４６】
ブロック６１２にて、この方法は、“決定されたアーチファクトの存在及びタイプに基づいて、トランスデューサを調節するための指示を生成し、該指示は、画像フレームからアーチファクトを除去するための操作ガイダンスを有する”ことを伴う。ここに記載されるように、指示は、ユーザに伝達され、そして、該ユーザが指示を実践してアーチファクトを除去してもよいし、あるいは、指示に従って超音波データ収集ユニットを自動調節するように構成された例えばコントローラなどの別のシステムコンポーネントに伝えられてもよい。
【００４７】
コンポーネント、システム、及び／又は方法が、例えばコンピュータベースのシステム又はプログラマブルロジックなどの、プログラム可能な装置を用いて実装される様々な実施形態において、理解されるべきことには、上述のシステム及び方法は、例えば、“Ｃ”、“Ｃ＋＋”、“ＦＯＲＴＲＡＮ”、“Ｐａｓｃａｌ”、“ＶＨＤＬ”、及びこれらに類するものなどの、様々な既知の又は後に開発されるプログラミング言語のうちのいずれかを用いて実装されることができる。従って、上述のシステム及び／又は方法を実装するように例えばコンピュータなどの装置に指示することができる情報を含むことが可能な、例えば磁気コンピュータディスク、光ディスク、電子メモリ、及びこれらに類するものなどの種々の記憶媒体を準備することができる。その記憶媒体に格納された情報及びプログラムへのアクセスを、適切な装置が持つと、その記憶媒体は、その装置に情報及びプログラムを提供することができ、それ故に、ここに記載されたシステム及び／又は方法の機能をその装置が実行することを可能にする。例えばソースファイル、オブジェクトファイル、実行可能ファイル、又はこれらに類するものなどの適切な素材を格納したコンピュータディスクがコンピュータに提供された場合、そのコンピュータは、情報を受信し、自身を適切に設定し、そして、上述の図及びフローチャートにて概説した様々なシステム及び方法の機能を実行して、様々な機能を果たし得る。すなわち、そのコンピュータは、上述のシステム及び／又は方法の異なる要素に関係する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実装し、そして、上述の個々のシステム及び／又は方法の機能を調整し得る。
【００４８】
なお、この開示に鑑み、ここに記載された様々な方法及び装置は、ハードウェア、ソフトウェア、及びファームウェアにて実装されることができる。また、これらの様々な方法及びパラメータは、限定的な意味ではなく、単に例として含められている。この開示に鑑み、当業者は、自身の技術及びそれら技術に影響する必要な装置を決定する際に、本発明の範囲内にとどまりながら、本教示を使用することができる。ここに記載されたプロセッサのうちの１つ以上のプロセッサの機能が、より少数又は単一のプロセッシングユニット（例えば、ＣＰＵ）に組み込まれてもよく、また、特定用途向け集積回路（ＡＳＩＣ）又はここに記載された機能を実行するための実行可能命令に応答してプログラムされる汎用プロセッシング回路を使用して実装されてもよい。
【００４９】
本システムは、特に超音波撮像システムを参照して説明されているが、これまた想定されることには、本システムは、１つ以上の画像が系統的手法で取得される他の医用撮像システムに拡張されることができる。従って、本システムは、以下に限られないが、腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格系、脾臓、心臓、動脈及び血管系、並びに超音波ガイド下での介入に関連する他の撮像用途、に関係する画像情報を取得及び／又は記録するために使用され得る。さらに、本システムはまた、従来の撮像システムが本システムの特徴及び利点を提供し得るように、従来の撮像システムと共に使用され得る１つ以上のプログラムを含み得る。この開示の特定の更なる利点及び特徴が、本開示を学ぶことで当業者に明らかとなり、あるいは、本開示の新規なシステム及び方法を使用する者によって経験され得る。本発明のシステム及び方法の別の１つの利点は、本システム、装置、及び方法の特徴及び利点を組み込むように、従来の医用画像システムを容易にアップグレードできることである。
【００５０】
当然ながら、理解されるべきことには、ここに記載された例、実施形態又はプロセスのうちのいずれか１つが、１つ以上の他の例、実施形態及び／又はプロセスと組み合わされてもよく、あるいは、本システム、装置及び方法に従って別々の装置又は装置部分の間で分離及び／又は実行されてもよい。
【００５１】
最後に、以上の説明は、本システムを単に例示することを意図したものであり、添付の請求項の範囲を特定の実施形態又は実施形態群に限定するものとして解釈されるべきでない。従って、本システムは例示の実施形態を参照して特に詳細に説明されてはいるが、やはり理解されるべきことには、以下に続く請求項に記載される本システムのより広範な意図される精神及び範囲から逸脱することなく、数多くの変更及び代替実施形態が当業者によって考案され得る。従って、明細書及び図面は、例示としてのやり方で考慮されるべきものであり、添付の請求項の範囲を限定することを意図するものではない。
【図１】
2021501656.tif 000003
【図２】
2021501656.tif 000004
【図３Ａ】
2021501656.tif 000005
【図３Ｂ】
2021501656.tif 000006
【図４】
2021501656.tif 000007
【図５Ａ】
2021501656.tif 000008
【図５Ｂ】
2021501656.tif 000009
【図６】
2021501656.tif 000010
【国際調査報告】
2021501656.tif 000011
2021501656.tif 000012