(57)【要約】  超音波画像装置、システム、及び方法が提供される。超音波撮像システムは超音波撮像装置と通信し、被検体の解剖学的構造の超音波画像を受信するように構成される通信インターフェースと、通信インターフェースと通信し、超音波画像に予測ネットワークを適用して被検体の解剖学的構造内の潜在的な悪性腫瘍の複数の位置を識別し、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度を決定し、プロセッサと通信するディスプレイに、被検体の解剖学的構造の生検決定を導くために、潜在的な悪性腫瘍の複数の位置における複数の潜在的な悪性腫瘍の複数の位置及び複数の悪性腫瘍尤度を出力するように構成されるプロセッサとを備える。
2021528158.tif 000002
【特許請求の範囲】
【請求項１】
超音波撮像システムであって、
超音波撮像装置と通信し、被検体の解剖学的構造の超音波画像を受信するように構成される通信インターフェースと、 
前記通信インターフェースと通信するプロセッサであって、
前記超音波画像に予測ネットワークを適用して、
前記被検体の解剖学的構造における潜在的な悪性腫瘍の複数の位置を識別し、
前記潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度を決定し、
前記プロセッサと通信するディスプレイに、前記潜在的な悪性腫瘍の複数の位置及び前記潜在的な悪性腫瘍の複数の位置に対する前記複数の悪性腫瘍尤度を出力して、前記被検体の解剖学的構造に対する生検決定をガイドする
ように構成されるプロセッサと
を有する、超音波撮像システム。
【請求項２】
前記超音波画像は、輝度モード(Bモード)情報、歪み情報、弾性情報、又は組織ドップラー情報のうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項３】
前記プロセッサは、
前記予測ネットワークを前記超音波画像に適用して、
生検を避けるために前記被検体の解剖学的構造のクリティカルな領域を識別し、
前記潜在的な悪性腫瘍の複数の位置における前記複数の悪性腫瘍尤度に対する複数の信頼レベルを決定する
ように更に構成される、請求項1に記載のシステム。
【請求項４】
前記プロセッサは、
前記潜在的な悪性腫瘍の複数の位置、前記複数の悪性腫瘍尤度、前記複数の信頼レベル、又は前記超音波画像上の前記クリティカルな領域のうちの少なくとも1つのインジケーションのオーバーレイを前記ディスプレイに出力する
ように更に構成される、請求項3に記載のシステム。
【請求項５】
前記超音波画像の第1のインスタンス上の前記クリティカルな領域、前記潜在的な悪性腫瘍の複数の位置、及び前記複数の悪性腫瘍尤度のインジケーションのオーバーレイを含む第1のマップと、
前記超音波画像の第2のインスタンス上の前記潜在的な悪性腫瘍の複数の位置における前記複数の信頼レベルのインジケーションのオーバーレイを含む第2のマップと
を表示するように構成される前記ディスプレイ
を更に有する、請求項4に記載のシステム。
【請求項６】
前記プロセッサは、
前記潜在的な悪性腫瘍の複数の位置、前記クリティカルな領域、又は前記被検体の解剖学的構造における標的生検位置の少なくとも1つに基づいて、前記被検体の解剖学的構造上で生検を実施するための生検針経路を決定する
ように構成される、請求項4に記載のシステム 。
【請求項７】
前記プロセッサは、
前記複数の潜在的な悪性腫瘍の複数の位置における前記複数の悪性腫瘍尤度又は前記複数の悪性腫瘍尤度に対する前記複数の信頼レベルのうちの少なくとも1つに基づいて、前記被検体の解剖学的構造に対する標的生検位置を決定するように構成され、
前記生検針経路は、前記決定される標的生検位置に基づいてさらに決定される、
請求項6に記載のシステム。
【請求項８】
前記プロセッサと通信し、前記標的生検位置の選択を受信するように構成されるユーザインターフェース
を更に有する、請求項6に記載のシステム。
【請求項９】
前記プロセッサは、前記決定される生検針経路を前記超音波画像上のオーバーレイとして前記ディスプレイに出力する
ように更に構成される、請求項6に記載のシステム。
【請求項１０】
前記プロセッサは、前記生検針経路を決定するために前記超音波画像に前記予測ネットワークを適用するようにさらに構成される、請求項6に記載のシステム。
【請求項１１】
前記プロセッサは、
前記クリティカルな領域が前記被検体の解剖学的構造に向けられる生検針の軌道経路に沿っていることを決定し、
前記生検針と前記クリティカルな領域との間の潜在的な衝突のインジケーションを前記ディスプレイに出力する
ように更に構成される、請求項6に記載のシステム。
【請求項１２】
前記超音波撮像装置が前記被検体の解剖学的構造に対して第1の撮像位置に配置されている間に前記超音波画像が受信され、前記プロセッサは、
前記予測ネットワークを前記超音波画像に適用して、前記生検を実行するために前記第1の撮像位置から第2の撮像位置まで前記超音波撮像装置を再配置するための動き制御構成を決定し、
前記動き制御構成に基づいて前記超音波撮像装置を再配置するための視覚的インジケータを前記ディスプレイに出力する
ように更に構成される、請求項6に記載のシステム。
【請求項１３】
前記予測ネットワークは、
試験被検体の解剖学的構造の複数の試験超音波画像、試験被検体の解剖学的構造に実施される生検の生検位置、及び前記生検位置で実施される前記生検の病理結果を提供すること、及び
前記生検位置及び前記病理結果に基づいて前記複数の試験超音波画像のピクセルにスコアを割り当てること
によって訓練される、請求項1に記載のシステム。
【請求項１４】
前記プロセッサは、
前記潜在的な悪性腫瘍の複数の位置及び前記複数の悪性腫瘍尤度に基づいて決定される生検のための標的生検位置、又は
前記生検の病理学的結果
の少なくとも1つに基づいて前記予測ネットワークを更新するように更に構成される、請求項1に記載のシステム。
【請求項１５】
前記被検体の解剖学的構造は、甲状腺の少なくとも一部を含む、請求項1に記載のシステム。
【請求項１６】
超音波撮像の方法であって、 
被検体の解剖学的構造の超音波画像を超音波撮像装置から受信するステップと、 
前記超音波画像に予測ネットワークを適用して、 
前記被検体の解剖学的構造における潜在的な悪性腫瘍の複数の位置を識別し、
前記潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度を決定する、
ステップと、
前記潜在的な悪性腫瘍の複数の位置及び前記潜在的な悪性腫瘍の複数の位置に対する前記複数の悪性腫瘍尤度をディスプレイによって表示して、前記被検体の解剖学的構造に対する生検決定をガイドするステップと
を有する、方法。
【請求項１７】
前記予測ネットワークを適用するステップは、
生検を避けるために前記被検体の解剖学的構造のクリティカルな領域を識別するステップと、
前記潜在的な悪性腫瘍の複数の位置における前記複数の悪性腫瘍尤度に対する複数の信頼レベルを決定するステップと
を含み、
前記表示するステップは、 
前記超音波画像の第1のインスタンス上のクリティカルな領域、前記潜在的な悪性腫瘍の複数の位置、及び前記複数の悪性腫瘍尤度のインジケーションのオーバーレイを含む第1のマップを表示するステップと、
前記潜在的な悪性腫瘍の複数の位置に対応する前記超音波画像の第2のインスタンス上の複数の信頼レベルのインジケーションのオーバーレイを含む第2のマップを表示するステップと
を含む、請求項16に記載の方法。
【請求項１８】
前記複数の潜在的な悪性腫瘍の複数の位置における前記複数の悪性腫瘍尤度又は前記複数の悪性腫瘍尤度に対する複数の信頼レベルのうちの少なくとも1つに基づいて、前記被検体の解剖学的構造に生検を実施するための標的生検位置を決定するステップと、
前記潜在的な悪性腫瘍の複数の位置、前記クリティカルな領域、又は前記被検体の解剖学的構造の前記標的生検位置の少なくとも1つに基づいて前記生検を実施するための生検針経路を決定するステップと、
前記ディスプレイによって、前記決定される生検針経路を第1のマップ上にオーバーレイとして表示するステップと
を更に有する、請求項17に記載の方法。
【請求項１９】
前記クリティカルな領域が前記被検体の解剖学的構造に向けられる生検針の軌道経路に沿っていることを決定するステップと、
前記ディスプレイによって、前記生検針と前記クリティカルな領域との間の潜在的な衝突のインジケーションを表示するステップと
を更に有する、請求項18に記載の方法。
【請求項２０】
前記超音波撮像装置が前記被検体の解剖学的構造に対して第1の撮像位置に配置されている間に、前記超音波画像は受信され、
前記予測ネットワークを前記超音波画像に適用して、前記第1の撮像位置から前記生検を実行するための第2の撮像位置に前記超音波撮像装置を再配置するための動き制御構成を決定するステップと、
前記ディスプレイによって、前記動き制御構成に基づいて前記超音波撮像装置を再配置するための視覚的インジケータを表示するステップと
を更に有する、請求項18に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に、超音波撮像に関し、特に、生検を誘導するための自動化されるシステム及び方法を提供することに関する。
【背景技術】
【０００２】
超音波は、異なる解剖学的構造における多くの状態のスクリーニング及び診断において顕著な役割を有する。超音波はまた、生検針誘導の立場から、また標的特定の立場から、生検プロシージャを誘導するためにしばしば採用される。
【０００３】
甲状腺では、例えば、大きさ、エコー源性、形状、石灰化、辺縁及び嚢胞性コンポーネントの有無などの輝度モード(Bモード)超音波の特徴が結節を良性又は悪性に分類するために用いられる。弾性特徴はまた、Bモード超音波特徴に加えて使用されてもよい。
【０００４】
悪性腫瘍が疑われる甲状腺には、しばしば複数の生検候補位置(例えば、複数の結節、又は大きな結節内の複数の位置)が含まれる。生検の必要性は生検の位置とともに、通常、所与の結節における癌の疑いのレベルを決定する臨床医の専門知識を用いて、及び／又はその患者に生検が必要とされるべきかを示唆する結節のサイズに基づくアルゴリズムを用いて、臨床医によって識別される。例えば、非常に疑わしい結節に対して、約1cm(cm)程度の小さな結節であれば生検の適応となるが、非常に疑わしい結節でなければ、直径が2cmを超える結節であれば生検の適応となる。生検部位が識別されるら、超音波ガイド下で標的に向けて針を進めることができる。
【０００５】
生検試料は、2つの技術、毛細管技術又は吸引技術のうちの1つを使用して取得することができる。毛細管技術及び吸引技術は類似のワークフローを有するが、サンプリングがどのように収集されるかが異なる。通常、斜角形状の先端及び10立方センチメートル(cc)のルアーロック注射器を有する中空針が使用される。針の長さは、約1．25インチ乃至約1．5インチとすることができる。針の厚さは、約23ゲージ(G)乃至約27 Gとすることができる。より厚い針(例えば、約20 G又は22 G)は、患者の外傷及び／又は血液汚染をもたらし得る。したがって、少なくとも約24G乃至約25 Gの針が推奨される。いくつかの例において、より深い挿入のために、及び／又はより厚い頸部を有する患者において、針よりも短い中実スタイレットは支持を提供するために針(例えば、中空針)に挿入され得る。
【０００６】
悪性が疑われる甲状腺は、複数の生検候補位置を含むことができるので、好ましい位置を選択することは臨床医に任される。さらに、患者の外傷を最小限にするために、n個を超えないようにするか、又はn個が通常約5個であり得る生検を試みることが臨床的に必要とされる。生検部位の選択は、頸静脈、頸動脈、気管及び食道など、甲状腺を囲む多くのクリティカルな構造の1つへの結節及び／又は針経路の近接に基づいてもよい。そのため、生検はしばしば非診断的であるか、又は生検試料から確定診断を下すための収率が低下している可能性がある。もうひとつの問題は、悪性甲状腺について良性の結果が得られる可能性がある生検結果が偽陰性であることである。一部の使用者に対する超音波検査の経験不足もまた、長期的及び／又は実施困難な介入をもたらす可能性があり、患者の心的外傷及び臨床医に対する欲求不満につながる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
既存の超音波撮像は臨床ガイダンス及び診断に有用であることが証明されているが、自動生検ガイダンスツールを提供するための改善されるシステム及び技術に対する臨床的必要性が依然として存在する。
【課題を解決するための手段】
【０００８】
本開示の実施形態は、生検を決定し、実行する際にユーザを支援し、ガイドするための深層学習フレームワークを提供する。開示される実施形態は予想される非診断的／良性の結果のために、癌の疑いがあるライブの超音波画像内の1つ以上の位置、及び除外されるべき1つ以上の位置を識別し得る。開示される実施形態は予測のための対応する信頼度マップと共に、各ピクセルについての悪性腫瘍の予測確率を伴う、ライブの超音波画像上にオーバーレイされる癌疑いマップを表示することができる。深層学習予測ネットワークはまた、ライブの超音波画像におけるリスク器官(OAR)又はクリティカルな構造を識別することができる。開示される実施形態は歩留まりを最大化し、クリティカルな構造を回避することができる、ライブの超音波画像内の1つ又は複数の最適な生検経路を決定することができる。開示される実施形態は文脈上のユーザインターフェースを介して最適な生検経路を表示することができ、例えば、使用中の超音波撮像プローブの位置及び／又は標的生検位置に対する針経路の表示を提供する。開示される実施形態は、超音波撮像プローブを最適以下の位置から生検サンプルをガイドするための最適な画像を提供することができる位置まで操作する際にユーザをガイドするユーザインターフェースを提供することができる。開示される実施形態はユーザがOARを危険にさらし得る軌道又は標的に到達し得ない軌道に針を挿入しようと試みるときに、ユーザに警告を提供し得る。
【０００９】
一実施形態では、超音波撮像システムが超音波撮像装置と通信し、被検体の解剖学的構造の超音波画像を受信するように構成される通信インターフェースと、通信インターフェースと通信し、超音波画像に予測ネットワークを適用して、被検体の解剖学的構造内の潜在的な悪性腫瘍の複数の位置を識別し、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度を決定し、プロセッサと通信するディスプレイに、被検体の解剖学的構造の生検決定を導くために、潜在的な悪性腫瘍の複数の位置における複数の潜在的な悪性腫瘍の複数の位置及び複数の悪性腫瘍尤度を出力するように構成されるプロセッサとを含む。
【００１０】
いくつかの実施形態では、超音波画像が輝度モード(Bモード)情報、歪み情報、弾性情報、又は組織ドップラー情報のうちの少なくとも1つを含む。いくつかの実施形態では、プロセッサが予測ネットワークを超音波画像に適用して、生検を回避するために被検体の解剖学的構造のクリティカルな領域を識別し、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度についての複数の信頼レベルを決定するようにさらに構成される。いくつかの実施形態では、プロセッサが潜在的な悪性腫瘍の複数の位置、複数の悪性腫瘍尤度、複数の信頼レベル、又は超音波画像上のクリティカルな領域のうちの少なくとも1つのインジケーションのオーバーレイをディスプレイに出力するようにさらに構成される。いくつかの実施形態では、システムが超音波画像の第1のインスタンス上の潜在的な悪性腫瘍の複数の位置、複数の悪性腫瘍尤度、及びクリティカルな領域のインジケーションのオーバーレイを含む第1のマップと、超音波画像の第2のインスタンス上の潜在的な悪性腫瘍の複数の位置における複数の信頼レベルのインジケーションのオーバーレイを含む第2のマップとを表示するように構成されるディスプレイをさらに備える。いくつかの実施形態では、プロセッサが潜在的な悪性腫瘍の複数の位置、クリティカルな領域、又は被検体の解剖学的構造における標的生検位置のうちの少なくとも1つに基づいて、被検体の解剖学的構造に対して生検を実施するための生検針経路を決定するようにさらに構成される。いくつかの実施形態ではプロセッサが潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度又は複数の悪性腫瘍尤度に対する複数の信頼レベルのうちの少なくとも1つに基づいて、被検体の解剖学的構造に対する標的生検位置を決定するようにさらに構成され、生検針経路は決定される標的生検位置に基づいてさらに決定される。いくつかの実施形態では、システムがプロセッサと通信し、標的生検位置の選択を受信するように構成されるユーザインターフェースをさらに備える。いくつかの実施形態では、プロセッサが決定される生検針経路を超音波画像上のオーバーレイとしてディスプレイに出力するようにさらに構成される。いくつかの実施形態では、プロセッサが生検針経路を決定するために超音波画像に予測ネットワークを適用するようにさらに構成される。いくつかの実施形態では、プロセッサは、クリティカルな領域が被検体の解剖学的構造に向けられる生検針の軌道経路に沿っていることを決定し、生検針とクリティカルな領域との間の潜在的な衝突のインジケーションをディスプレイに出力するようにさらに構成される。いくつかの実施形態では、超音波撮像装置が被検体の解剖学的構造に対して第1の撮像位置に配置されている間に超音波画像は受信され、プロセッサは超音波画像に予測ネットワークを適用して、生検を実行するために第1の撮像位置から第2の撮像位置に超音波撮像装置を再配置するための動き制御構成を決定し、動き制御構成に基づいて超音波撮像装置を再配置するための視覚的インジケータをディスプレイに出力するようにさらに構成される。いくつかの実施形態において、予測ネットワークは、被検体の解剖学的構造の複数の試験超音波画像、被検体の解剖学的構造に実施され���生検の生検位置、及び生検位置で実施される生検の病理学的結果を提供することによって、及び生検位置と病理学的結果に基づいて複数の試験超音波画像のピクセルにスコアを割り当てることによって訓練される。いくつかの実施形態では、プロセッサは、潜在的な悪性腫瘍の複数の位置及び複数の悪性腫瘍尤度に基づいて決定される生検のための標的生検位置、又は生検の病理学結果のうちの少なくとも1つに基づいて予測ネットワークを更新するようにさらに構成される。いくつかの実施形態では、被検体の解剖学的構造が甲状腺の少なくとも一部を含む。
【００１１】
一実施形態では、超音波撮像の方法は、超音波撮像装置から、被検体の解剖学的構造の超音波画像を受信するステップと、被検体の解剖学的構造における潜在的な悪性腫瘍の複数の位置を識別するために予測ネットワークを超音波画像に適用するステップと、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度を決定するステップと、被検体の解剖学的構造に対する生検決定をガイドするために、潜在的な悪性腫瘍の複数の位置の複数の潜在的な悪性腫瘍及び複数の悪性腫瘍尤度をディスプレイによって表示するステップとを含む。
【００１２】
いくつかの実施形態では予測ネットワークを適用するステップは生検を回避するために被検体の解剖学的構造のクリティカルな領域を識別するステップと、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度についての複数の信頼レベルを決定するステップとを含み、表示するステップは、潜在的な悪性腫瘍の複数の位置、複数の悪性腫瘍尤度、及び超音波画像の第1のインスタンス上のクリティカルな領域のインジケーションのオーバーレイを含む第1のマップを表示するステップと、潜在的な悪性腫瘍の複数の位置に対応する超音波画像の第2のインスタンス上の複数の信頼レベルのインジケーションのオーバーレイを含む第2のマップを表示するステップとを含む。いくつかの実施形態では、本方法は、複数の潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度又は複数の悪性腫瘍尤度に対する複数の信頼レベルのうちの少なくとも1つに基づいて、被検体の解剖学的構造に対して生検を実施するための標的生検位置を決定するステップと、被検体の解剖学的構造の複数の潜在的な悪性腫瘍の複数の位置、クリティカルな領域、又は標的生検位置のうちの少なくとも1つに基づいて、生検を実施するための生検針経路を決定するステップと、決定される生検針経路を、ディスプレイによって、第1のマップ上にオーバーレイとして表示するステップとをさらに含む。いくつかの実施形態では、この方法は、クリティカルな領域が被検体の解剖学的構造に向けられる生検針の軌道経路に沿っていることを決定するステップと、ディスプレイによって、生検針とクリティカルな領域との間の潜在的な衝突のインジケーションを表示するステップとをさらに含む。いくつかの実施形態では超音波画像は、超音波撮像装置が被検体の解剖学的構造に対して第1の撮像位置に配置されている間に受信され、方法は予測ネットワークを超音波画像に適用して、生検を実行するために超音波撮像装置を第1の撮像位置から第2の撮像位置に再配置するための動き制御構成を決定するステップと、動き制御構成に基づいて超音波撮像装置を再配置するための視覚的インジケータをディスプレイによって表示するステップとをさらに含む。
【００１３】
本開示のさらなる態様、特徴、及び利点は、以下の詳細な説明から明らかになるのであろう。
【００１４】
本開示の例示的な実施形態を、添付の図面を参照して説明する 
【図面の簡単な説明】
【００１５】
【図１】本開示の態様による超音波撮像システムの概略図である。
【図２】本開示の態様による、患者の甲状腺及び周辺領域の超音波画像である。
【図３】本開示の態様による、自動化される画素レベルの超音波画像注釈及び針経路予測スキームを示す概略図である。
【図４】本開示の態様による、超音波画像の悪性度ポテンシャルマップのグラフ表示である。
【図５】本開示の態様による、超音波画像の悪性尤度信頼度マップのグラフ表示である。
【図６】本開示の態様による、生検針経路のための視覚的インジケータを有する悪性度ポテンシャルマップのグラフ表示である。
【図７】本開示の態様による、超音波プローブ及び針進入点に関する提案される生検針経路を含むコンテキスト表示のグラフ表示である。
【図８】本開示の態様による、自動超音波プローブ位置誘導方式を示す概略図である。
【図９】本開示の態様による、プローブ位置決めを誘導するためのユーザインターフェースのグラフィカル表示である。
【図１０】本開示の態様による、深層学習ネットワークの構成を示す概略図である。
【図１１】本開示の態様による、深層学習ネットワークトレーニング計画を示す概略図である。
【図１２】本開示の態様による、深層学習ネットワーク微調整計画を示す概略図である。
【図１３】本開示の態様による、生検検査においてユーザ警告を提供する方法の流れ図である。
【図１４】本開示の態様による、生検を誘導する方法の流れ図である。
【発明を実施するための形態】
【００１６】
本開示の原理の理解を促進する目的のために、ここで、図面に示される実施形態を参照し、それを説明するために特定の言語を使用する。それにもかかわらず、本開示の範囲への限定は意図されないことが理解される。説明されるデバイス、システム、及び方法に対する任意の変更及びさらなる修正、ならびに本開示の原理の任意のさらなるアプリケーションは本開示が関係する当業者に通常想起されるように、本開示内に完全に企図され、含まれる。特に、一実施形態に関して説明される特徴、構成要素、及び／又はステップは、本開示の他の実施形態に関して説明される特徴、構成要素、及び／又はステップと組み合わせることができることが十分に企図される。しかしながら、簡潔さのために、これらの組み合わせの多数の反復は、別々に説明されない。
【００１７】
図1は、本開示の態様による超音波撮像システム100の概略図である。システム100は、患者の身体の領域又は体積をスキャンするために使用される。システム100は、通信インターフェース又はリンク120を介してホスト130と通信する超音波撮像プローブ110を含む。プローブ110は、トランスデューサアレイ112と、ビームフォーマ114と、処理コンポーネント116と、通信インターフェース118とを含む。ホスト130は、ディスプレイ132、処理コンポーネント134、及び通信インターフェース136を含む。
【００１８】
例示的な実施形態では、プローブ110がユーザによるハンドヘルド動作のために構成されるハウジングを含む外部超音波撮像装置である。トランスデューサアレイ112は、トランスデューサアレイ112が患者の皮膚に隣接して、及び／又は接触して配置されるように、ユーザがプローブ110のハウジングを把持する間に超音波データを取得するように構成され得る。プローブ110は、プローブ110が患者の身体に配置されている間に、患者の体内の解剖学的構造の超音波データを取得するように構成されている。
【００１９】
トランスデューサアレイ112は解剖学的対象105に向けて超音波信号を放射し、対象105から反射されてトランスデューサアレイ112に戻るエコー信号を受信する。超音波トランスデューサアレイ112は、1つ又は複数の音響素子及び／又は複数の音響素子を含む任意の適切な数の音響素子を含むことができる。いくつかの例では、トランスデューサアレイ112が単一の音響素子を含む。いくつかの例では、トランスデューサアレイ112が任意の適切な構成の任意の数の音響素子を有する音響素子のアレイを含んでもよい。例えば、トランスデューサアレイ112は、2つの音響素子、4つの音響素子、36個の音響素子、64個の音響素子、128個の音響素子、500個の音響素子、812個の音響素子、及び／又はより大きい及びより小さい他の値の両方を含む、1つと1000個の間の音響素子を含んでもよい。いくつかの例では、トランスデューサアレイ112が線形アレイ、平面アレイ、湾曲アレイ、湾曲アレイ、円周アレイ、環状アレイ、フェーズドアレイ、マトリクスアレイ、一次元(1D)アレイ、1．x次元アレイ(例えば、1．5Dアレイ)、又は二次元(2D)アレイなどの、任意の適切な構成における任意の数の音響素子を有する音響素子のアレイを含んでもよい。音響素子のアレイ(例えば、1つ以上の行、1つ以上の列、及び／又は1つ以上の向き)は、均一に又は独立して制御され、活性化され得る。トランスデューサアレイ112は、患者の解剖学的構造の一次元、二次元、及び／又は三次元画像を得るように構成することができる。いくつかの実施形態では、トランスデューサアレイ112が圧電微細加工超音波トランスデューサ(PMUT)、容量微細加工超音波トランスデューサ(CMUT)、単結晶、チタン酸ジルコン酸鉛(PZT)、PZT複合体、他の適切なトランスデューサタイプ、及び／又はそれらの組み合わせを含んでもよい。
【００２０】
ビーム形成器114は、トランスデューサアレイ112に結合される。ビーム形成器114は例えば、超音波信号の送信及び超音波エコー信号の受信のために、トランスデューサアレイ112を制御する。ビーム形成器114は、応答又は受信される超音波エコー信号に基づいて画像信号を処理コンポーネント116に供給する。ビーム形成器114は、複数の段階のビーム形成を含み得る。ビーム形成は、処理コンポーネント116に結合するための信号線の数を減らすことができる。いくつかの実施形態では、トランスデューサアレイ112がビームフォーマ114と組み合わせて、超音波撮像コンポーネントと呼ばれてもよい。
【００２１】
いくつかの実施形態では、対象105が生検のために患者の甲状腺の少なくとも一部を含むことができる。他の実施形態では、対象105が超音波撮像検査に適した患者の任意の解剖学的構造(例えば、肺、血管、心臓、腎臓、及び／又は肝臓)を含むことができる。
【００２２】
処理コンポーネント116は、ビーム形成器114に結合される。処理コンポーネント116は、中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、コントローラ、フィールドプログラマブルゲートアレイ(FPGA)デバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書で説明する動作を実行するように構成されるそれらの任意の組合せを含むことができる。処理コンポーネント134はまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアに関連する1つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。処理コンポーネント116は、ビーム形成画像信号を処理するように構成される。例えば、処理コンポーネント116は、フィルタリング及び／又は直交復調を実行して画像信号をコンディショニングすることができる。処理コンポーネント116及び／又は134は、アレイ112を制御して、対象105に関連する超音波データを取得するように構成することができる。
【００２３】
通信インターフェース118は、処理コンポーネント116に結合される。通信インターフェース118は、1つ又は複数の送信器、1つ又は複数の受信器、1つ又は複数のトランシーバ、及び／又は通信信号を送信及び／又は受信するための回路を含むことができる。通信インターフェース118は、通信リンク120を介してホスト130に信号を伝送するのに適した特定の通信プロトコルを実施するハードウェア構成要素及び／又はソフトウェア構成要素を含むことができる。通信インターフェース118は、通信装置又は通信インターフェースモジュールと呼ぶことができる。
【００２４】
通信リンク120は、任意の適切な通信リンクとすることができる。例えば、通信リンク120は、ユニバーサルシリアルバス又はイーサネットリンクのような有線リンクであってもよい。あるいは、通信リンク120が超広帯域(UWB)リンク、IEEE(Institute of Electrical and Electronics Engineers)802．11 WiFiリンク、又はBluetoothリンクなどの無線リンクであってもよい。ホスト130において、通信インターフェース136は、画像信号を受信することができる。通信インターフェース136は、通信インターフェース118と実質的に類似していてもよい。ホスト130は、ワークステーション、パーソナルコンピュータ、ラップトップ、タブレット、又は携帯電話のような任意の適切な計算及び表示装置であってよい。
【００２５】
処理コンポーネント134は、通信インターフェース136に結合される。処理コンポーネント134は、ソフトウェアコンポーネントとハードウェアコンポーネントとの組み合わせとして実装されてもよい。処理コンポーネント134は、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、コントローラ、FPGAデバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書で説明する動作を実行するように構成されるそれらの任意の組合せを含むことができる。処理コンポーネント134はまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアに関連する1つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。
処理コンポーネント134は、プローブ110から受け取った画像信号から画像データを生成するように構成することができる。処理コンポーネント134は、高度な信号処理及び／又は画像処理技術を画像信号に適用することができる。いくつかの実施形態では、処理コンポーネント134が画像データから3次元(3D)ボリューム画像を形成することができる。いくつかの実施形態では、処理コンポーネント134が対象105の超音波画像のストリーミングビデオを提供するために、画像データに対してリアルタイム処理を実行することができる。
【００２６】
いくつかの実施形態では、処理コンポーネント134が生検判定のために、画像データ又は画像フレームに対して画像解析を実行することができる。例えば、処理コンポーネント134は、患者の組織を含む対象105の超音波画像を受信することができる。処理コンポーネント134は深層学習に基づく技術を適用して、患者の組織における潜在的な悪性腫瘍又は異常の位置を決定し、生検が必要かどうかを決定し、標的生検位置を識別し、及び／又は組織のクリティカルな器官又は領域を回避して標的位置に到達する潜在的針経路を示唆することができる。処理コンポーネント134は、深層学習に基づく技術を適用して、撮像面が標的生検位置の最適なビューを提供することができるかどうか、及び生検をガイドするための最適なビューにプローブ110を操作する際にユーザをどのようにガイドするかを決定することができる。処理コンポーネント134は臨床医によって選択される生検針の挿入又は進入点を監視し、組織のクリティカルな領域に到達することができる生検針の軌道を決定し、及び／又は生検針の軌道とクリティカルな領域との間の衝突が生じ得るときに臨床医に警告を生成することができる。生検を予測及び誘導するための機構は、本明細書においてより詳細に記載される。
【００２７】
ディスプレイ132は、処理コンポーネント134に結合される。ディスプレイ132は、モニタ又は任意の適切なディスプレイとすることができる。ディスプレイ132は、超音波画像、画像ビデオ、及び／又は潜在的な悪性腫瘍の組織位置、標的生検位置、提案される生検針経路、生検のための最適な撮像ビューにプローブ110を移動させるための命令、及び／又は本明細書でより詳細に説明されるように、処理コンポーネント134によって生成される生検に関する警告に関連する情報を表示するように構成される。
【００２８】
システム100は、超音波撮像ベース生検予測及びガイダンスプロシージャの様々な段階で使用するように構成することができる。一実施形態では、システム100が深層学習ネットワーク訓練のための訓練データセットを形成するために超音波画像を収集するために使用されてもよい。例えば、ホスト130はキャッシュメモリ(例えば、処理コンポーネント134のキャッシュメモリ)、ランダムアクセスメモリ(RAM)、磁気抵抗RAM(MRAM)、読出し専用メモリ(ROM)、プログラマブル読出し専用メモリ(PROM)、消去可能プログラマブル読出し専用メモリ(EPROM)、電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリ、ソリッドステートメモリデバイス、ハードディスクドライブ、ソリッドステートドライブ、揮発性及び不揮発性メモリの他の形態、又は異なるタイプのメモリの組合せのような、任意の適切な記憶装置とすることができるメモリ138を含むことができる。メモリ138は、深層学習ベースのトレーニングのための画像データセット140を記憶するように構成することができる。
【００２９】
いくつかの実施形態では、システム100が生検予測及びガイダンスのための深層学習ネットワークを訓練するために使用されてもよい。例えば、深層学習ネットワークは、悪性の可能性がある領域、生検のために組織に適用される標的位置、及び／又は生検から得られる対応する病理結果を含む組織の超音波画像を用いて訓練され得る。深層学習ネットワークは悪性の可能性がある組織の位置を識別し、生検のために回避するためにクリティカルな領域(例えば、リスク器官(OAR))を識別し、及び／又は識別される位置における悪性腫瘍の確率及び関連する信頼レベルを決定するために訓練され得る。深層学習ネットワークは、潜在的な悪性腫瘍の識別される組織位置に基づいて生検標的位置を決定するため、及び／又はクリティカルな領域を避けて標的に到達するために1つもしくはそれ以上の生検針経路を決定するために訓練され得る。深層学習ネットワークは、生検をガイドするのに適した撮像面にプローブ110を操縦するための動きを決定するように訓練されてもよい。
【００３０】
いくつかの実施形態では、システム100が生検プロシージャのための臨床環境で使用されてもよく、訓練される深層学習ネットワークは生検が必要であるかを決定し、潜在的な悪性腫瘍の組織位置を識別し、標的生検位置を決定し、及び／又はクリティカルな領域を回避する生検のための1つ以上の針経路を示唆するために適用されてもよい。深層学習に基づく技術に基づいて生検処置を予測し、誘導するための自動的かつ系統的なメカニズムが、本明細書でより詳細に説明される。
【００３１】
図2は、本開示の態様による、患者の甲状腺210及び周辺領域の超音波画像200である。画像200は、システム100と同様のシステムを使用して取り込むことができる。画像200は、患者の甲状腺及び患者の甲状腺に近い構造及び／又は組織にある結節212を示す。結節212は、悪性であっても良性であってもよい。結節212が悪性であるか良性であるかを決定するために、結節212に対して生検を実施する必要がある場合がある。いくつかの構造及び／又は組織は、生検針経路が回避する必要があるクリティカルな構造又はリスク器官(OAR)である。図示のように、内頸静脈220、頸動脈230、及び気管240が甲状腺210に近接している。内頚静脈220、頚動脈230、及び気管240はクリティカルな構造物である。したがって、結節212、内頸静脈220、頸動脈230、及び気管240上で生検を実施する場合、生検針経路に沿って行うことはできない。
【００３２】
図3乃至図12は生検位置、生検針経路を自動的かつ系統的に予測し、生検手順を誘導するための、生検作業フローにおける深層学習に基づく技術の使用を集合的に示す。
【００３３】
図3は、本開示の態様による、自動化される画素レベルの超音波画像注釈及び針経路予測スキーム300を示す概略図である。計画300は、システム100によって実施される。計画300は(例えば、針挿入の前に)生検検査の準備をする臨床医に生検ガイダンスを提供することができる。臨床医はプローブ110を使用して、潜在的な生検のための検査の下で、患者の組織(例えば、対象105)の1つ又は複数の画像302を取り込むことができる。一実施形態では、組織が患者の甲状腺(例えば、甲状腺210)の少なくとも一部を含むことができ、生検は甲状腺が異常細胞(例えば、悪性腫瘍)を含むかどうかを判定するための甲状腺生検とすることができる。画像302は、Bモードを使用して、及び任意選択で様々な超音波撮像モダリティと組み合わせてキャプチャすることができる。画像302はBモード撮像情報、歪み撮像情報、モジュラス撮像情報、ドップラー撮像情報(例えば、パワードップラー、カラーフロー、及びスペクトルドップラー)、ならびに組織ドップラー撮像(TDI)情報、及び／又は潜在的な悪性腫瘍を突き止め、生検を予測及び誘導するための撮像データの分析を容易にすることができる任意の適切な撮像情報を含む様々な撮像情報を提供することができる。説明を簡単にするために、図3は4つの画像302を示す。しかしながら、臨床医は生検処置のための任意の適切な数(例えば、約5、6、又はそれ以上)の超音波撮像モダリティにおいて任意の適切な数(例えば、5、6、又はそれ以上)の画像302を捕捉することができる。一例として、画像302は、Bモードを使用して撮影される画像A、歪み撮像モードを使用して撮像される画像B、シア／ヤング率撮像モードを使用して撮像される画像C 302、及びTDIモードにおける画像D 302を含んでもよい。
【００３４】
一実施形態では、様々なモダリティ(例えば、歪み、モジュラス、ドップラー、及びTDI)の画像B、C、及びD 302を、基礎となるBモード画像A 302に位置合わせすることができる。システム100は歪み、モジュール、ドップラー、及びTDIモダリティのうちの1つ又は複数をBモード撮像とインターリーブすることによって、異なるモダリティで画像302を取り込むように構成することができる。システム100は、ディスプレイ132上に任意の画像302を表示することができる。いくつかの実施形態では、臨床医がディスプレイ132上に表示するためにBモード画像A 302を選択することができる。Bモード画像A 302は、画像200と同様とすることができる。
【００３５】
画像302は、ホスト130の処理コンポーネント134に送られる。処理コンポーネント134は画像302を受信し、受信した画像302に深層学習ネットワーク310を適用する。深層学習ネットワーク310は本明細書でより詳細に説明するように、入力画像(例えば、画像302)上の各ピクセルについて悪性腫瘍の確率を予測するように訓練される。深層学習ネットワーク310は、画像302によって捕捉される患者の組織から悪性の疑いのある組織位置を識別することができる。深層学習ネットワーク310は生検針経路が回避する必要がある患者の組織内のクリティカルな領域又はOAR(例えば、内頸静脈220、頸動脈230、及び気管240)を識別することができる。深層学習ネットワーク310は、識別される潜在的悪性組織位置における悪性腫瘍尤度を決定し得る。深層学習ネットワーク310は、特定される潜在的な悪性組織位置における悪性腫瘍尤度の予測又は決定のための信頼レベルを決定することができる。いくつかの実施形態では、深層学習ネットワーク310が画像302によって捕捉される患者の組織から、非診断的及び／又は良性である組織位置を識別することができる。非診断的及び／又は良性の組織位置は、標的生検位置選択から除外することができる。深層学習ネットワーク310のアーキテクチャ及び深層学習ネットワーク310のトレーニングは、本明細書でより詳細に説明される。いくつかの実施形態では、クリティカルエリア又はOARが深層学習ネットワーク310を使用する代わりに、閾値化、アクティブ輪郭、及び／又は機械学習ベースのセグメンテーション方法などの任意の適切なOARセグメンテーション方法を使用して計算されてもよい。
【００３６】
深層学習ネットワーク310は、識別される潜在的悪性組織位置、識別されるクリティカルな領域、決定される悪性腫瘍尤度及び対応する信頼レベルに基づいて、悪性腫瘍尤度マップ320及び信頼度マップ330を出力する。悪性度ポテンシャルマップ320は、疑いマップと呼ぶことができる。悪性度ポテンシャルマップ320及び信頼度マップ330の例は、後述する図4及び図5に示される。処理コンポーネント134は悪性度ポテンシャルマップ320及び信頼度マップ330をユーザインターフェース360(例えば、ディスプレイ132)に出力することができる。
【００３７】
図4は、本開示の態様による、基礎となる超音波画像440の悪性度ポテンシャルマップ400のグラフ表示である。悪性度ポテンシャルマップ400は、図3の悪性度ポテンシャルマップ320に対応し得る。画像440は、図3のBモード画像A 302に対応し得る。悪性度ポテンシャルマップ400は、ディスプレイ132又はユーザインターフェース360上に表示することができる。悪性度ポテンシャルマップ400は、OAR410と潜在的悪性組織位置420、及び画像440上の対応する悪性尤度のオーバーレイを含む。潜在的な悪性組織位置420は、閉じた表面形状として示されている。OAR410は、閉鎖表面形状及び開放表面形状として示される。悪性度マップ400は図示されるように、OAR410のためのテキスト注釈を含むことができる。OAR410と潜在的悪性組織位置420との間のギャップは、悪性腫瘍及び／又は生検に関係する特定の情報が予測から得られないことを表している。潜在的な悪性組織位置420は、悪性の可能性に従って色分けすることができる。例えば、カラースキーム430は、低い悪性尤度を表すために第1の色(例えば、緑色)を使用し、高い悪性尤度を表すために第2の色(例えば、赤色)への徐々に変化する遷移を使用することができる。
【００３８】
図5は、本開示の態様による、基礎となる超音波画像440の悪性尤度信頼度マップ500のグラフ表示である。信頼度マップ500は、図3の信頼度マップ330に対応し得る。信頼度マップ500は、ディスプレイ132又はユーザインターフェース360上に表示することができる。信頼度マップ500は、画像440上の図4の潜在的な悪性位置420における悪性尤度に対応する信頼レベル510(閉じた表面形状として示される)のオーバーレイを含む。悪性度ポテンシャルマップ400と同様に、信頼レベル510は、色分けすることができる。例えば、カラースキーム520は低い信頼レベルを表すために第1の色(例えば、明るい青)を使用し、高い信頼レベルを表すために第2の色(例えば、暗い青)の赤に徐々に遷移することができる。
【００３９】
信頼度マップ500は(例えば、ピクセルレベルで)悪性度ポテンシャルマップ400と1対1の対応関係を有することができる。信頼度マップ500及び悪性度ポテンシャルマップ400は、ディスプレイ132上に同時に表示することができる。図4及び図5はBモード画像440上にオーバーレイされる悪性度ポテンシャルマップ400及び信頼度マップ500を示すが、いくつかの他の実施形態では悪性度ポテンシャルマップ400及び信頼度マップ500が別の超音波撮像モダリティ(例えば、TDI、歪み、又は弾性率)の超音波画像上にオーバーレイすることができる。
【００４０】
図4及び図5から分かるように、悪性度の低い領域(例えば、癌の疑いが低い)を高い信頼度で予測することができ、悪性度の高い領域(例えば、癌の疑いが高い)を低い信頼度で予測することができ、悪性度の低い領域(例えば、癌の疑いが中間)を妥当な信頼度で予測することができる。
【００４１】
図3に戻ると、悪性度ポテンシャルマップ320及び対応する信頼度マップ330を決定した後、標的生検位置340及び1つ以上の生検針経路350が、種々の機構を使用して、悪性度ポテンシャルマップ320及び対応する信頼度マップ330から識別され得る。
【００４２】
図3において1とラベル付けされる円によってマークされる第1の例では、臨床医が悪性度ポテンシャルマップ320及び対応する信頼度マップ330に基づいて、標的生検位置340を選択し得る。例えば、中程度の悪性腫瘍尤度を有する領域が病理検査のための十分なサンプル収率を提供する可能性が最も高いので、臨床医は、中程度の悪性腫瘍尤度を有する組織の領域から標的生検位置340aを選択することができる。臨床医は、ユーザインターフェース360を介して標的生検位置340aの選択を入力することができる。ユーザが選択した標的生検位置340aは、深層学習ネットワーク310に入力することができる。深層学習ネットワーク310はユーザが選択した標的生検位置340aと特定されるクリティカルな領域(例えば、OAR410の回避)に基づいて、1つ以上の生検針経路350a(1)を予測することができる。生検標的に到達するための最適な生検針経路を識別するための深層学習ネットワーク310の訓練は、本明細書でより詳細に説明されるとおりである。
【００４３】
図3において2とラベル付けされる円によってマークされる第2の例において、ユーザが選択した標的生検位置340aは、生検経路決定ユニット370に入力され得る。生検経路決定ユニット370はクリティカルな領域(例えば、OAR410)のいずれとも交差することなく、識別される標的生検位置340に安全に到達することができる1つ以上の生検針経路350bを計算することができる。生体検査経路決定ユニット370は例えば、画像解析アルゴリズム及び数値最適化アルゴリズムを使用して、ある制約に基づいて、針経路350bのための軌道を決定することができる。
【００４４】
図3において3とラベル付けされる円によってマークされる第3の例では、生検経路決定ユニット370が悪性度ポテンシャルマップ320内の悪性尤度と信頼度マップ330内の対応する信頼レベルとの重み付けされる組み合わせに基づいて、標的生検位置を決定することができる。生検経路決定ユニット370は、軌道計算に基づいて、決定される生検位置に到達する1つ又は複数の生検針経路350cを決定することができる。
【００４５】
図3において4とラベル付けされる円によってマーク付けされる第4の例では、深層学習ネットワーク310が、特定される潜在的な悪性組織位置420、特定されるクリティカルな領域又はOAR410、ならびに決定される悪性腫瘍尤度及び対応する信頼レベルに基づいて、予測される生検標的位置に到達するために、標的生検位置及び1つ以上の生検針経路350dを予測するように訓練され得る。例えば、深層学習ネットワーク310は歩留まりを最大化し、任意のクリティカルな構造(例えば、OAR410)との交差を回避し得る生検針経路350dを選択するように訓練され得る。言い換えれば、深層学習ネットワーク310は、1つ以上の画像302から1つ以上の生検針経路350dを自動的に示唆することができる。
【００４６】
一般に、悪性度ポテンシャルマップ320及び信頼度マップ330は、臨床医が標的生検位置340及び／又は生検針経路350を選択するのを助けることができる。臨床医はユーザ定義の選択、深層学習に基づく予測(例えば、深層学習ネットワーク310による)、及び数値計算(例えば、生検経路決定ユニット370による)の任意の適切な組み合わせを使用するためのオプションを提供され得る。
【００４７】
処理コンポーネント134は以下に説明する図6に示すように、決定される又は示唆される生検針経路350をディスプレイ132に出力することができる。
【００４８】
図6は、本開示の態様による、生検針経路610の視覚的インジケータを有する悪性度ポテンシャルマップ600のグラフ表示である。悪性度ポテンシャルマップ600は悪性度ポテンシャルマップ400に対応する可能性がある。生検針経路610は、(点線の楕円によって示されるように)生検標的620に到達するように示される。生検標的620及び生検針経路610は生検針経路350に対応することができ、生検標的620は、それぞれ、標的生検位置340及び生検針経路350に対応することができる。図6は2つの針経路610a及び610bを用いて示されているが、いくつかの実施形態では任意の適切な数の必要経路610(例えば、約1、3、又はそれ以上)が悪性腫瘍潜在的なマップ600上にオーバーレイされ得る。
【００４９】
いくつかの実施形態では、計画300はまた、以下に記載される図7に示されるように、ユーザのための針経路350のより文脈的な視覚化を提供するために、使用中の患者の皮膚及び／又はプローブ110に対する針進入点に関して提案される針経路350を表示してもよい。
【００５０】
図7は、本開示の態様による、超音波プローブ710及び針進入点720に関連する、提案される生検針経路610を含む状況表示のグラフ表示700である。ディスプレイ700は、ディスプレイ132上のディスプレイビューに対応することができる。プローブ710は、プローブ110に対応し得る。生検針経路610は、潜在的な悪性組織位置420と共にBモード画像440上に重ねられ、画像440を越えて延在する。針進入点720a及び720bは、それぞれ針経路610a及び610bにアクセスするための皮膚進入点に対応し得る。例えば、針経路610aは針進入点720aにおいて患者の皮膚に対して約30度の角度で針挿入を必要とすることがあり、一方、針経路610bは、針進入点720bにおいて患者の皮膚に対して約15度の角度で針挿入を必要とすることがある。
【００５１】
いくつかの実施形態では、計画300が生検針経路350を決定するときに追加の要因を考慮することができる。追加の要因は臨床医が左利きであるか右利きであるか、検査中の患者に対する臨床医の位置、及び／又はプローブ110に対する生検のための小結節(例えば、小結節212)の位置、例えば、プローブ110が小結節の左又は右に向かっているかを含むことができる。
【００５２】
図8は、本開示の態様による、自動超音波プローブ位置誘導計画800を示す概略図である。計画800は、システム100によって実施される。計画800は計画300と同様であるが、(例えば、針挿入の前に)生検検査の準備をする臨床医に超音波プローブ位置ガイドをさらに提供してもよい。計画800では、臨床医が画像302を捕捉するためのプローブ(例えば、プローブ110)の最初のプローブ位置810(1)を選択することができる。処理コンポーネント134は例えば、生検標的(例えば、結節212)が画像平面内に適切に存在しないこと、及び／又は1つ以上のOAR(例えば、内頸静脈220、頸動脈230、気管240、及びOAR410)の位置がOARを損傷することなく、針が標的に容易に及び／又は安全に到達することを可能にしない場合があることに起因して、プローブ位置810(1)は生検を誘導するための次善の画像平面を提供し得ることを決定し得る。
【００５３】
最適以下の画像平面を検出すると、処理コンポーネント134は、深層学習ネットワーク310を適用して、生検を実施するための最適な画像平面に到達するようにプローブを操縦するための動き制御構成820を決定することができる。動き制御構成820は、最初の位置810(1)から次の位置810(2)まで探触子を並進及び／又は回転させるための運動ベクトルを含むことができる。深層学習ネットワーク310は深層学習ネットワーク310の訓練中に、1つ又は複数の甲状腺葉に対するOARの位置を学習することができる。最適性(例えば、最適な撮像面に到達するため)の基準は標的生検位置に到達し、全てのOARから一定の距離を維持する能力を含むことができる。処理コンポーネント134は後述する図9に示すように、リアルタイムでプローブ位置を操作する方法に関するフィードバック及び／又は示唆を臨床医に提供するために、視覚的インジケータを有する命令をディスプレイ132に出力することができる。
【００５４】
いくつかの例では運動命令(例えば、動き制御構成820)を提供し、プローブを操縦するプロセスは複数の反復を含むことができる。例えば、臨床医は、深層学習ネットワーク310によって提供される命令に従って、プローブを第1の位置から第2の位置に移動させることができる。臨床医がプローブを第2の位置に移動させた後、臨床医は画像302の別のセットを捕捉することができ、深層学習ネットワーク310は、新たに捕捉される画像302から生検標的及び針経路を突き止めることを試みることができる。新たに取り込まれた画像302が(例えば、深層学習ネットワーク310によって出力される悪性度ポテンシャルマップ320及び信頼性マップ330に基づいて)生検を誘導するための最適なビューを提供することができない場合、動き制御構成820を決定するプロセスは、矢印802によって示されるように繰り返すことができる。
【００５５】
図9は、本開示の態様による、プローブ位置決めを誘導するためのユーザインターフェース900のためのグラフィカルディスプレイである。ユーザインターフェース900は、ディスプレイ132又はユーザインターフェース360上に表示することができる。ユーザインターフェース900はプローブ(例えば、プローブ110)が最初の撮像位置(例えば、プローブ位置810(1))に配置されるときの悪性度ポテンシャルマップ(例えば、悪性度ポテンシャルマップ320及び400)の第1の画像ビュー910を含む。第1の画像ビュー910は、OAR912(例えば、OAR410)が潜在的な悪性組織位置914(例えば、潜在的な悪性組織位置420)に近接しているため、次善のものとすることができる。潜在的な悪性組織位置914は、閉じた表面形状として示されている。OAR912は、閉鎖表面形状及び開放表面形状として示される。
【００５６】
ユーザインターフェース900は視覚的インジケータ902によって示されるように、プローブをその主ハンドル軸の周りに回転させるための提案を含み得る。医者は視覚的インジケータ902に従い、プローブを(例えば、プローブ位置810(1)からプローブ位置810(2)まで)回転させてもよい。臨床医がプローブを回転させた後、1つ又は複数の画像(例えば、画像302)を取り込むことができる。深層学習ネットワーク310を適用して、第2の画像ビュー920に示すような別の悪性度ポテンシャルマップを生成することができる。
【００５７】
いくつかの実施形態では、ユーザインターフェース900が第1の準最適画像ビュー910に沿って赤色ドット930を含み、第2の準最適画像ビュー920に沿って緑色ドット932を含むことによって、準最適性を示すことができる。いくつかの他の例では、ユーザインターフェース900が任意の適切な形状及び／又は色の視覚的インジケータを使用して、画像ビューの準最適性及び／又は最適性を示してもよい。第2の最適な画像ビュー920を得た後、ユーザインターフェース900は第2の最適な画像ビュー920内に、提案される針経路940(例えば、生検針経路350、610、及び940)を示すことができる。
【００５８】
図10は、本開示の態様による、深層学習ネットワーク310の構成1000を示す概略図である。深層学習ネットワーク310は、1つ又は複数の畳み込みニューラルネットワーク(CNN)1010を含むことができる。CNN 1010は、画像302と同様の1つ又は複数の超音波画像1002に対して動作することができる。例えば、画像1002は、Bモードを用いて撮影される画像Aと、歪み撮像モードを用いて撮像される画像Bの1つ以上の組み合わせと、シア／ヤング率撮像モードを用いて撮像される画像C 302と、TDIモードにおける画像D 302とを含んでもよい。
【００５９】
CNN 1010はN個の畳み込み層1020のセットと、それに続くK個の完全に接続される層1030のセットとを含むことができ、ここで、N及びKは、任意の正の整数とすることができる。N及びKの値は、実施形態に応じて変わり得る。いくつかの例では、値N及びKがトレーニング及び／又は検証データセット(例えば、画像データセット140)のサイズに依存し得る。各畳み込み層1020は、入力画像から特徴を抽出するように構成される1組のフィルタ1022を含むことができる。図10には示されていないが、一部の実施形態では畳み込み層1020が空間プーリング層とインターリーブされてもよく、各層は抽出される撮像特徴の次元を低減し得るダウンサンプリング動作のセットを含む。さらに、各畳み込み層512は修正される特徴マップを抽出するように構成される非線形関数(たとえば、修正非線形(ReLU)動作を含む)を含むことができる。さらに、各畳み込み層1020はCNN 1010のトレーニングを高速化するために、バッチ正規化機能を含んでもよい。完全に接続される層1030は非線形であってもよく、出力1050を生成するために、最後の畳み込み層1020(N)の高次元出力を次第に縮小してもよい。
【００６０】
一実施形態では、CNN 1010が入力画像(例えば、画像302及び1002)上の各ピクセルについて悪性腫瘍の確率を予測するように訓練される。一実施形態では、CNN 1010が入力画像及び／又は入力画像から生検標的に到達する生検針経路(例えば、生検針経路350、610、及び940)から生検標的(例えば、標的生検位置340及び生検標的620)を予測するように訓練される。一実施形態によると、CNN 1010はプローブが現在の位置にある間、プローブによって捕捉される入力画像が与えられた生検をガイドするために、現在の位置から最適な撮像位置にプローブ(例えば、プローブ110)を移動させるための動き制御構成(例えば、動き制御構成820)を予測するように訓練される。
CNN 1010のトレーニングは、本明細書でより詳細に説明される。
【００６１】
CNN 1010は完全畳み込みニューラルネットワーク(FCN)として示されているが、いくつかの実施形態ではCNN 1010がエンコーダデコーダタイプのネットワーク(例えば、Uネットアーキテクチャ)、又は同様の機能を達成するための任意の他の適切な学習ベースの予測ネットワークとして構成され得る。
【００６２】
図11は、本開示の態様による、深層学習ネットワークトレーニング計画1100を示す概略図である。計画1100は、システム100によって実施される。計画1100は、入力画像302上の各ピクセルに対する悪性腫瘍の確率を予測するための深層学習ネットワーク310のトレーニングを示す。深層学習ネットワーク310を訓練するために、組織(例えば、甲状腺を含む)の注釈付き又はラベル付き超音波画像1110を深層学習ネットワーク310に入力することができる。注釈付き超音波画像1110は、生検が行われた1つ又は複数の生検位置1120を含むことができる。各生検位置1120は、閉じた表面形状として示されている。悪性度の確実性は、生検位置1120で得られた対応する病理結果1150に基づいて、各生検位置1120に割り当てられ得る。病理結果1150は、生検位置1120で採取される組織サンプルが悪性か、良性か、その他(例えば未決定)かを示すことができる。言い換えれば、注釈付き超音波画像1110は、画像1110によって捕捉される下層組織の空間的悪性確信度マップを含む。
【００６３】
生検位置1120は別個の組織位置であり、病理学的結果1150は、対応する生検位置1120についての別個の結果である。一実施形態では、2Dガウス関数1140を各生検位置1120における病理結果1150に適用して、より高い空間次元を有する悪性尤度情報を提供することができる。ガウス関数1140のピーク1142は、生検試料が採取される生検位置1120にマッピングされてもよい。例えば、生検位置1120aの病理結果1150は悪性である。ガウス関数1140を生検位置1120aに適用した後、生検位置1120において悪性度の最高の確度(例えば、ガウス関数1140のピーク1142)があり、悪性度の確度は、生検位置1120aからの空間が増加するにつれて減少する。悪性度の確実性が減少する速度は、ガウス関数1140の分散に依存し得る。ガウス関数1140の分散はトレーニングデータ(例えば、トレーニングデータ140)のサイズに応じて、より保守的であっても、あまり保守的でなくてもよい。例えば、ガウス分散はより少ない量のトレーニングデータ(例えば、トレーニングデータ140)が存在する場合、より控えめであり得るが、結果として得られるデータラベリングはより高い確実性を有し得る。他方、ガウス分散はより大量のトレーニングデータが存在する場合、あまり保守的ではないが、結果として得られるデータラベリングはあまり確実ではない。一般に、ガウス関数1140の分散は例えば、生検位置1120に応じて可変とすることができる。例えば、所与の生検位置1120で採取される病理サンプルと、対応する超音波撮像特徴との間の相関を学習して、所与の生検位置1120におけるガウス関数1140の最適分散を推定することができる。場合によっては、ガウス関数1140の分散がトレーニング段階中にユーザ定義することができる。
【００６４】
トレーニング中に、深層学習ネットワーク310は例えば、順方向伝播を使用して画像1110に適用されて、画像1110上の各ピクセルについての出力又はスコアを取得することができ、スコアは、そのピクセルについての悪性の確実性又は確率を示すことができる。畳み込み層1020内のフィルタ1022の係数及び完全に接続される層1030内の重み付けは、例えば、出力誤差を最小化するために逆方向伝播を使用することによって調整され得る。言い換えれば、畳み込み層1020における係数及び／又は完全に接続される層1030における重み付けは、生検位置1120の各々における病理学的結果1150に一致するように調整され得る。
【００６５】
一実施形態では、注釈付き超音波画像1140がOAR1130(例えば、OAR410及び912)のための注釈又はラベルを更に含むことができる。同様に、深層学習ネットワーク310は例えば、順方向伝播を使用して画像1110に適用されて、画像1110上の各ピクセルについての出力又はスコアを取得することができ、スコアは、画像1110上の各ピクセルがクリティカルエリアに対応するかどうかを示すことができる。畳み込み層1020内の係数及び／又は完全に接続される層1030内の重み付けは、注釈付きOAR1130の位置におけるOARを識別するために調整することができる。
【００６６】
一実施形態では、システム100を使用して、悪性腫瘍を有する試験組織の画像を捕捉し、生検結果に基づいて画像の注釈を生成することができる。システム100は、画像1110に類似する注釈付き画像をトレーニングデータセット140としてメモリ138に保存してもよい。計画1100は、トレーニングデータセット140を使用して深層学習ネットワーク310をトレーニングするために適用することができる。
【００６７】
一実施形態では、入力画像(例えば、画像302及び1002)からの生検標的(例えば、標的生検位置340及び生検標的620)及び／又は入力画像から予測生検標的に到達するための生検針経路(例えば、生検針経路350、610、及び940)を予測するように深層学習ネットワーク310を訓練するために、計画1100と同様の訓練機構を使用することができる。そのような実施形態では、訓練中に、深層学習ネットワーク310はOAR(例えば、OAR410及び1130)、生検位置(例えば、生検位置340、913、及び1120)、ならびに対応する生検位置に到達するために使用される生検針経路(例えば、生検針経路350、610、及び940)で注釈付けされる画像を用いて入力され得る。
【００６８】
一実施形態では、計画1100のような類似のトレーニング機構を使用して、深層学習ネットワーク310をトレーニングし、プローブが現在位置にある間、プローブによって捕捉される入力画像が与えられた生検を誘導するために、プローブ(例えば、プローブ110)を現在位置から最適撮像位置に移動させるための動き制御構成(例えば、動き制御構成820)を予測してもよい。そのような実施形態では、トレーニング中に、深層学習ネットワーク310は特定の撮像面の画像と共に入力されてもよく、各画像は対応する画像の撮像面から、生検位置(例えば、標的生検位置340及び標的生検620)に到達するように生検を誘導するための最適な撮像面までプローブを操作するために使用される1つ又は複数の動き制御構成に関連付けられる。一実施形態では、深層学習ネットワーク310が複数の患者及び／又は複数の被検体から捕捉される超音波画像に基づいて訓練することができる。深層学習ネットワーク310は最適な撮像面を示唆するために、甲状腺(例えば、甲状腺210)及び周囲のクリティカルな構造又はOARの形状に関する母集団ベースの訓練を使用して訓練することができる。
【００６９】
いくつかの実施形態では、深層学習ネットワーク310が複数のCNN 1010を含むことができ、例えば、第1のCNN 1010は入力画像(例えば、画像302及び1002)の各ピクセルについて悪性度の確率(例えば、悪性度ポテンシャルマップ320及び400、ならびに信頼性マップ330及び500)を予測するように訓練することができ、第2のCNN 1010は標的生検位置(例えば、標的生検位置340及び620)及び／又は生検針経路(例えば、生検針経路350、610、及び940)を予測するように訓練することができ、第3のCNN 1010は生検を誘導するための最適な撮像ビュー(例えば、撮像ビュー920)に到達するようにプローブ(例えば、プローブ110)を操作するための動き制御構成(例えば、動き制御構成820)を予測するように訓練することができる。
【００７０】
図12は、本開示の態様による、深層学習ネットワーク微調整計画1200を示す概略図である。計画1200は、システム100によって実施される。計画1200は計画300によってガイドされる生検1210から病理結果1220(例えば、病理結果1150)を得た後に実行することができる。例えば、臨床医は、計画300において深層学習ネットワーク310を使用して、標的生検位置340を決定し得る。臨床医は、標的生検位置340で組織サンプルを収集するために生検1210を行うことができる。その後、病理学的結果1220が、標的生検位置340で収集される組織から得られ得る。標的生検位置340及び対応する病理結果1220は、深層学習ネットワーク310にフィードバックされて、深層学習ネットワーク310を微調整することができる。微調整は、畳み込み層1020及び／又は完全に接続される層1030における係数及び／又は重み付けを調整することを含んでもよい。
【００７１】
場合によっては、臨床医が深層学習ネットワーク310によって示唆される生検位置340とは異なる生検位置を選択することができる。臨床医によって選択される生検位置及び対応する病理学的結果はまた、深層学習ネットワーク310に供給されて、深層学習ネットワーク310を微調整することができる。
【００７２】
微調整は例えば、各生検後、及び病理学的結果が利用可能である場合に、プロセスを継続することができる。したがって、微調整は、深層学習ネットワーク310の予測性能を改善することができる。
【００７３】
同様に、微調整は、針路予測及び／又は撮像プローブ位置決め予測に適用することができる。例えば、生検のための標的生検位置に到達するために使用される生検針経路、及び／又は生検をガイドするための最適な撮像面に到達するようにプローブを操作するために使用される動きを、微調整のために深層学習ネットワーク310にフィードバックすることができる。
【００７４】
図13は、本開示の態様による、生検検査においてユーザ警告を提供する方法1300の流れ図である。方法1300のステップはホスト130などのホストのコンピューティングデバイス(たとえば、プロセッサ、処理回路、及び／又は他の適切な構成要素)によって実行することができる。図示されるように、方法1300はいくつかの列挙されるステップを含むが、方法1300の実施形態は列挙されるステップの前、後、及びその間に追加のステップを含むことができる。いくつかの実施形態では、列挙されるステップのうちの1つ又は複数が省略され得るか、又は異なる順序で実行され得る。
上述したように、臨床医は悪性度ポテンシャルマップ(例えば、悪性度ポテンシャルマップ320及び400)及び対応する信頼度マップ(例えば、信頼度マップ330及び500)に基づいて、患者の解剖学的構造(例えば、甲状腺)に対する生検検査のための目標生検位置(例えば、目標生検位置340及び620)を決定することができる。場合によっては、臨床医が生検針挿入点及び／又は生検針経路を選択して、標的生検位置に到達することができる。方法1300は患者の解剖学的構造のクリティカルな領域(例えば、OAR410及び912)と交差することの警告を臨床医に提供するために使用され得る。
【００７５】
ステップ1310において、方法1300は患者の解剖学的構造(例えば、対象105)及び生検針の挿入を表す超音波画像(例えば、画像302及び1002)を受信するステップを含む。
【００７６】
ステップ1320において、方法1300は、患者の解剖学的構造のクリティカルな領域と衝突し得る生検針の可能な軌道を決定するステップを含む。
【００７７】
ステップ1330において、方法1300は、患者の解剖学的構造のクリティカルな領域と衝突することができる決定される軌道のうちの1つに沿った生検針の軌道を検出するステップを含む。
【００７８】
ステップ1340において、方法1300はディスプレイ(例えば、ディスプレイ132)上の検出に基づいて臨床医に警告メッセージを表示するステップを含む。例えば、警告メッセージは、赤色光又はディスプレイ上の任意の他の適切な視覚的インジケータの形成であり得る。
【００７９】
一実施形態では、方法1300がディスプレイ(例えば、ディスプレイ132)上に、患者の解剖学的構造のクリティカルな領域と衝突し得る全ての決定される軌道を表示することができる。軌道のうちの1つに沿った生検針の軌道を検出すると、方法1300は検出される軌道を強調表示し、臨床医に進入点の位置を変更するように要求することができる。したがって、方法1300は生検が安全に実施され得るように、ユーザが選択した生検針経路を変更するために使用され得る。
【００８０】
図14は、本開示の態様による、生検を誘導する方法1400の流れ図である。方法1400のステップはプローブ110などの超音波撮像プローブのコンピューティングデバイス(例えば、プロセッサ、処理回路、及び／又は他の適切な構成要素)、又はホスト130などのホストによって実行することができる。方法1400は、図3、図8、図11、図12、及び図10に関してそれぞれ説明した計画300、800、1100、及び1200、構成1000、及び方法1300と同様のメカニズムを使用することができる。図示されるように、方法1400はいくつかの列挙されるステップを含むが、方法1400の実施形態は列挙されるステップの前、後、及びその間に追加のステップを含むことができる。いくつかの実施形態では、列挙されるステップのうちの1つ又は複数が省略され得るか、又は異なる順序で実行され得る。
【００８１】
ステップ1410において、方法1400は超音波撮像装置(例えば、プローブ110)から、被検体の解剖学的構造(例えば、被検体105)の第1の超音波画像(例えば、画像302及び1002)を受信するステップを含む。
【００８２】
ステップ1420において、方法1400は予測ネットワーク(例えば、深層学習ネットワーク310)を第1の超音波画像に適用して、被検体の解剖学的構造における潜在的な悪性腫瘍の複数の位置(例えば、位置420及び914)を識別し、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度を決定するステップを含む。
【００８３】
ステップ1430において、方法1400はディスプレイ(例えば、ディスプレイ132)によって、潜在的な悪性腫瘍の複数の位置と、潜在的な悪性腫瘍の複数の位置に対する複数の悪性腫瘍尤度とを表示して、被検体の解剖学的構造に対する生検決定を導くことを含む。
【００８４】
一実施形態では、予測ネットワークを適用して、被検体の解剖学的構造のクリティカルな領域(例えば、OAR410及び912)を識別し、生検を回避して、潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度についての複数の信頼レベルを決定することができる。ディスプレイは第1のマップ(例えば、悪性度ポテンシャルマップ320、400、及び600)と、第2のマップ(例えば、信頼度マップ330及び500)とを含むことができる。第1のマップは(例えば、図4に示すように)第1の超音波画像のインスタンス(例えば、コピー又はバージョン)上の潜在的な悪性腫瘍の複数の位置、複数の悪性腫瘍尤度、及びクリティカルな領域のインジケーションのオーバーレイを含むことができる。第2のマップは(例えば、図5に示すように)潜在的な悪性腫瘍の複数の位置に対応する第1の超音波画像の異なるインスタンス(例えば、異なるコピー又は異なるバージョン)上の複数の信頼レベルのインジケーションのオーバーレイを含むことができる。いくつかの実施形態では、第1のマップ及び第2のマップが(例えば、アルファブレンディング及び／又は他の適切な画像処理を使用して)第1の超音波画像の同じインスタンス上で組み合わされて、第1の超音波画像上の潜在的な悪性腫瘍の複数の位置、複数の悪性腫瘍尤度、クリティカルな領域、及び複数の信頼レベルのインジケーションのオーバーレイを含むことができる。
【００８５】
一実施形態では、方法1400が複数の潜在的な悪性腫瘍の複数の位置における複数の悪性腫瘍尤度のうちの少なくとも1つ、又は複数の悪性腫瘍尤度に対する複数の信頼レベルに基づいて、被検体の解剖学的構造に対して生検を実施するための被検体生検位置(例えば、被検体生検位置340及び620)を決定するステップを含むことができる。方法1400は潜在的な悪性腫瘍の複数の位置、クリティカルな領域、又は被検体の解剖学的構造の標的生検位置のうちの少なくとも1つに基づいて、生検を実施するための生検針経路(例えば、生検針経路350、610、及び940)を決定するステップを含んでもよい。方法1400はディスプレイによって、決定される生検針経路を、(例えば、図6に示されるように)第1のマップ上にオーバーレイとして表示するステップを含んでもよい。
【００８６】
一実施形態では、方法1400は、クリティカルな領域が被検体の解剖学的構造に向けられる生検針の軌道経路に沿っていることを決定するステップを含むことができる。方法1400はディスプレイによって、生検針とクリティカルな領域との間の潜在的な衝突のインジケーション(例えば、警告)を表示するステップを含んでもよい。一実施形態では、生検針の軌道経路が生検針の挿入による被検体の解剖学的構造の第2の超音波画像から得ることができる。一実施形態では生検針の軌道経路がカメラ追跡、光学追跡、電磁(EM)追跡、又は生検針の挿入前(例えば、ユーザが生検針を患者の皮膚上に位置決めした後であるが、患者の皮膚を貫通する前)の超音波画像における任意の適切な追跡から得ることができる。
【００８７】
一実施形態では、第1の超音波画像は、超音波撮像装置が被検体の解剖学的構造に対して第1の撮像位置に配置されている間に受信される。方法1400は予測ネットワークを第1の超音波画像に適用して、生検を実行するために超音波撮像装置を第1の撮像位置から第2の撮像位置に再配置するための動き制御構成(例えば、動き制御構成820)を決定するステップを含むことができる。方法1400はディスプレイによって、動き制御構成に基づいて超音波撮像装置を再配置するための視覚的インジケータ(例えば、視覚的インジケータ902)を表示するステップを含むことができる。
【００８８】
本開示の態様は、いくつかの利点を提供することができる。例えば、潜在的悪性位置及び関連する悪性腫瘍尤度と対応する信頼レベルを自動的に識別するための深層学習の使用、及び悪性腫瘍尤度マップ及び信頼度マップの表示は、臨床医が生検及び／又は標的生検位置の必要性を決定するのを補助することができる。さらに、最適な生検針経路を自動的に示唆するための深層学習の使用、示唆される生検針経路の表示、及び／又は警告インジケーションの表示は、生検を行う臨床医が標的生検位置に安全に到達するように誘導することができる。さらに、プローブの再位置決めを自動的に示唆するための深層学習の使用及び示唆される動きの表示は、生検を実行するための最適な画像ビューに臨床医を導くことができる。開示される実施形態は多くの試み(例えば、臨床的に許容可能な試みに到達すること)を有することなく、臨床医が成功した生検を実行することを可能にし、したがって、患者の外傷を低減することもできる。開示される実施形態は甲状腺生検の文脈で説明されるが、開示される実施形態は身体の他の部分における生検をガイドするために適用され得る。
【００８９】
当業者であれば、上述の装置、システム、及び方法は、様々な方法で修正することができることを理解するのであろう。したがって、当業者は、本開示によって包含される実施形態が上述の特定の例示的な実施形態に限定されないことを理解するのであろう。その点に関して、例示的な実施形態が示され、説明されてきたが、前述の開示において、広範囲の修正、変化、及び置換が企図される。このような変動は、本開示の範囲から逸脱することなく、上記になされ得ることが理解される。したがって、添付の特許請求の範囲は、本開示と一致するように広く解釈されることが適切である。
【図１】
2021528158.tif 000003
【図２】
2021528158.tif 000004
【図３】
2021528158.tif 000005
【図４】
2021528158.tif 000006
【図５】
2021528158.tif 000007
【図６】
2021528158.tif 000008
【図７】
2021528158.tif 000009
【図８】
2021528158.tif 000010
【図９】
2021528158.tif 000011
【図１０】
2021528158.tif 000012
【図１１】
2021528158.tif 000013
【図１２】
2021528158.tif 000014
【図１３】
2021528158.tif 000015
【図１４】
2021528158.tif 000016
【国際調査報告】
2021528158.tif 000017
2021528158.tif 000018
2021528158.tif 000019