(57)【要約】【課題】ニードルは画像で最も明るい線形対象物であるという仮定に頼らない自動ニードルセグメンテーションを提供する。【解決手段】分類に基づく医用画像セグメンテーション装置が、超音波から、ニードルのような医療器具を描出する画像を収集するように構成される超音波画像収集デバイス、及び収集にダイナミックに応じて、画像から導出される情報212に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使用するように構成される機械学習に基づく分類回路を含む。セグメント化は、ウェーブレット特徴量のパラメータの統計的ブースティング220を介して実現されることができる。 画像の各々のピクセル216は、「ニードル」又は「バックグランド」として特定される。【選択図】  図１
2019147007.tif 000002
【特許請求の範囲】
【請求項１】
分類に基づく医用画像特定装置であって、
超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、
前記収集にダイナミックに応じて、前記画像から導出される情報に関して動作することによって前記器具をセグメント化するため、機械学習に基づく分類を使用するように構成される機械学習に基づく分類回路と
を有する、装置。
【請求項２】
前記回路は、ブースティングされる分類器を有し、前記セグメント化のために前記分類器を使用するように構成される、請求項１に記載の装置。
【請求項３】
前記使用は、ウェーブレット特徴量のパラメータの統計的ブースティングを実行することを有する、請求項２に記載の装置。
【請求項４】
前記デバイスを介して、前記器具の対応する描出に対して異なる角度から、前記繰り返し収集することをユーザ介入の必要なしで自動的にダイナミックに実行するように構成され、前記描出のセグメント化は前記繰り返しの収集にダイナミックに応じる、請求項１に記載の装置。
【請求項５】
前記描出の、描出毎の前記セグメント化を実行するように更に構成される、請求項４に記載の装置。
【請求項６】
前記セグメント化は、角度の範囲に渡って、スイープにおいてインクリメンタルに実行される、請求項４に記載の装置。
【請求項７】
ライン検出アルゴリズムを前記描出の各々の一つに対する前記セグメント化の出力にインクリメント毎に適用するように更に構成され、前記器具の方向を導出するため前記アルゴリズムの出力を加えるように更に構成される、請求項６に記載の装置。
【請求項８】
前記角度に対応して前記描出の前記セグメント化はイメージングフィルタの異なる方向を使用する、請求項４に記載の装置。
【請求項９】
前記描出の前記セグメント化の結果に基づいて前記器具の方向をダイナミックに決定するように更に構成される、請求項４に記載の装置。
【請求項１０】
超音波イメージングプローブを更に有し、前記装置は前記セグメント化の出力に基づいて前記プローブに対する前記器具の方向をダイナミックに決定するように構成される、請求項１に記載の装置。
【請求項１１】
前記器具は医用ニードルである、請求項１に記載の装置。
【請求項１２】
前記装置は、治療及び医療診断の少なくとも一つにおける使用のために設計される、請求項１１に記載の装置。
【請求項１３】
ディスプレイを更に有し、前記デバイスは前記ディスプレイを介した体組織のダイナミックな視覚化のスパンを空間的に規定するための視野を持つ超音波イメージングプローブを有し、前記装置は動作のニードル-挿入-検出モードを備え、前記モードの間、前記セグメント化の出力に基づいて、前記ニードルが前記視野内に少なくとも部分的に存在することを自動的にダイナミックに決定するように更に構成され、前記決定は、前記ニードルの2.0ミリメートルだけが前記視野内に存在する前になされ、前記決定はユーザ介入の必要なしで実行される、請求項１２に記載の装置。
【請求項１４】
前記装置は、前記ニードルが前記視野内に少なくとも部分的に存在することの前記決定にダイナミックに応じて、a)前記ニードルのより良好な可視性のためにビームステアリングし、b)前記ディスプレイ上において、前記ニードルの可視化を強化するために前記可視性を使用するように更に構成される、請求項１３に記載の装置。
【請求項１５】
前記回路は、前記画像において、前記ニードルを囲む体組織が細長い、線形の、鏡面の解剖学的構造を含む環境において前記セグメント化をするように構成される、請求項１２に記載の装置。
【請求項１６】
ユーザ介入の必要なしで自動的に前記環境において前記セグメント化をするように構成される、請求項１５に記載の装置。
【請求項１７】
ディスプレイを更に有し、前記デバイスは前記ディスプレイを介した体組織のダイナミックな視覚化のスパンを空間的に規定するための視野を持つ超音波イメージングプローブを有し、前記装置は動作のニードル-存在-検出モードを備え、前記モードの間、前記セグメント化の出力に基づいて、ニードルが前記視野内に部分的にさえ存在しないことをユーザ介入の必要なしで自動的に決定するように更に構成される、請求項１１に記載の装置。
【請求項１８】
前記部分的な存在さえないことの前記決定に応じて、前記モードの間、前記決定のユーザ通知がなされ、前記通知はユーザ介入の必要なしで自動的に実行されるように更に構成される、請求項１７に記載の装置。
【請求項１９】
前記セグメント化の結果に基づいて、特に前記ニードルの画像を抽出するように更に構成され、前記ディスプレイを介して前記特定の画像を可視化することを必要とするニードル可視化モードのために構成され、前記装置はまた、前記部分的な存在さえないことの前記決定に応じて、前記ニードル可視化モードを停止し、更に前記ニードル-存在-検出モードに維持するように構成される、請求項１７に記載の装置。
【請求項２０】
前記モードの間、前記出力に基づいて、ニードルの少なくとも部分の、前記視野へのエントリを検出するように更に構成され、前記装置によって、前記エントリの前記検出にダイナミックに応じて、前記ニードルのより良好な可視性のためのビームステアリングのパフォーマンスを必要とするニードル可視化モードを開始し、前記ディスプレイ上において、前記ニードルの可視化を強化するように更に構成される、請求項１７に記載の装置。
【請求項２１】
前記回路は、ニードルのパターン認識及び体組織のパターン認識の両方についてトレーニングされている、機械学習に基づく分類のための分類器を実現する、請求項１に記載の装置。
【請求項２２】
ディスプレイを更に有し、前記セグメント化は、エントリが前記ピクセルは前記器具のものかを各々示すバイナリピクセルマップを形成することを有し、前記装置は、合成画像を形成するために前記マップの器具ピクセルを超音波画像上に重ね合わせ、前記ディスプレイを介して前記合成画像を視覚化するように構成される、請求項１に記載の装置。
【請求項２３】
前記収集にダイナミックに応じて、前記画像に関して動作することによる前記画像からの前記情報の前記導出を実行するように構成される、請求項１に記載の装置。
【請求項２４】
医用画像の分類に基づく特定のためのコンピュータプログラムを実現するコンピュータ読取り可能な媒体であって、前記プログラムは複数の動作を実行するためのプロセッサによって実行可能な命令を持ち、前記複数の動作の間に、
超音波から医療器具を描出する画像を収集するステップと、
前記収集にダイナミックに応じて、医療器具を描出する前記画像から導出される情報に関して動作することによって前記器具をセグメント化するために機械学習に基づく分類を使用するステップと
の動作がある、コンピュータ読取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、参照によってここに取り入れられる2013年12月20日出願の米国特許出願第61/918,912号の利益を要求する。
【０００２】
本発明は、超音波画像において医療器具をセグメント化することに関し、より具体的には、画像を収集することに応じてセグメンテーションをダイナミックに実行することに関する。 「ダイナミックに」、又は「リアルタイム」に実行することは、システムの処理制御及びタスクを完了するために必要なデータを正確に測定するように要求される時間を考慮して意図的な遅れなしでデータ処理タスクを完了することとしてこの特許出願において解釈される。
【背景技術】
【０００３】
超音波（US）画像ガイダンスは、解剖学的コンテキスト内においてニードル位置のリアルタイム視覚化を可能にすることによってニードルガイド下プロシージャの効率及び安全性を向上させる。超音波ガイド下プロシージャにおけるニードルの可視性を強化する電子ビームステアリングのような超音波方法を使用する性能は、過去数年においてかなりの競争領域になってきた。
【０００４】
リアルタイム3D超音波が利用できる間、2DUSはその増加された有効性及び単純化された視覚化性能のためにニードルに基づく臨床プロシージャのためにより広く使われている。
【０００５】
2DUSにより、超音波ビームを、ニードル方向に対して垂直な横方向に電子的にステアリングすることが可能になり、ニードル視覚化を大幅に強化する強い鏡面反射が生成される。
【０００６】
ニードルに関するプローブの現在の方向は通常、当初から知られていないため、ニードルによる正常度を実現するために必要なビームステアリング角も知られていない。
【０００７】
また、ニードルは超音波イメージング平面内において直接アラインされないとき、及び／又は背景組織が骨、筋膜又は組織境界のような他の線形鏡面反射体を含むとき、視覚化は難しい。
【０００８】
更に、画像におけるアーチファクトは様々な理由、例えば大きな角度で線形アレイをステアリングすることからのグレーティングロブ、並びに90度又はそれの近くで超音波入力に対する急激な減衰変化をもたらす上記の線形及び他の鏡面反射体からの鏡面エコーで生成される。
【０００９】
チャン他（以下「チャン」）による「超音波ガイド下経皮的プロシージャのニードル可視性の強化」は、超音波画像におけるニードルの自動セグメント化及び最適ビームステアリング角の決定を開示する。
【００１０】
問題として、ニードルに似ている鏡面構造は、ニードル検出を妨げる。 スペックルノイズ及びイメージングアーチファクトも検出を妨げ得る。
【００１１】
チャンの解決策は、ユーザがニードルを揺らし、それによって、異なる画像に基づいてセグメンテーションを支援することにある。
【００１２】
更に、チャンは、ニードルの探索の範囲に関して異なるモード間のスイッチングにおけるユーザ対話を必要とする。たとえば、ニードルがビューから失われるとき、探索範囲のユーザリセットが必要とされる。
【００１３】
チャンセグメンテーションは狭い範囲の効果を有する閾値を使用する強度に基づくエッジ検出にも依存する。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
以下ここに提案されることは、上記の課題の一つ又はそれより多くを説明する。 
【００１５】
上記の注目される視覚化困難性に加えて、ニードルが組織にまだ深く挿入されていないとき、視覚化は問題を含む。 ニードル挿入がちょうど視野に入っているときのように、「ニードル状の」鏡面ディフレクタからニードルを識別するときのチャン困難性は、ニードルの小さな部分を検出するときに悪化する。 特に、チャンは、ハフ変換を超音波画像のエッジ検出出力に適用する。ニードル部分と競合する鏡面構造は、特に視野へのニードルエントリの始まりでより長く現れ得る。 したがって、彼らはハフ変換においてより多くのボートを集め、それによって超音波画像、最も突出した直線特徴、すなわちニードルとして特定され得る。
【００１６】
それでも、ニードルのポーズを決定するためにニードルがより深く挿入されるまで待つ必要がある場合、ニードル検出の臨床値は疑わしい。医師がその経路を評価することができ、より多くの損傷及び痛みを引き起こすことなくコースを変えることができるとき、ニードルが挿入プロセスにおいてより早く検出されることができる場合、それはより好ましい。
【００１７】
信頼できるニードルセグメンテーションは、最適ビームステアリング角、時間ゲイン補償及び画像処理パラメータの自動セッティングを可能にし、その結果、潜在的に強化された視覚化及び臨床ワークフローをもたらす。
【００１８】
更に、ニードルの検出及びセグメンテーションはコンピュータ断層撮影（CT）又は磁気共鳴（MR）イメージングのような術前モダリティとの超音波画像の融合を可能にし、ニードルに基づくプロシージャのための専用画像融合システムを可能にする。
【００１９】
技術的解決策が、ニードルは画像で最も明るい線形対象物であるという仮定に頼らない自動ニードルセグメンテーションに対して必要である。
【課題を解決するための手段】
【００２０】
ここに提案されるものの態様において、分類に基づく医用画像セグメンテーション装置は、超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、収集にダイナミックに応じて、画像から導出される情報に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使うように構成される機械学習に基づく分類回路とを含む。
【００２１】
下位態様又は関連態様において、画像における鏡面反射体の外観を強調するために超音波ビームステアリングが使用される。次に、先行して収集されるグランドトゥルースデータからトレーニングされるピクセル態様のニードル分類器が、組織バックグランドからニードルをセグメント化するように適用される。最後に、ラドン又はハフ変換が、ニードルポーズを検出するために用いられる。 セグメント化は、ウェーブレット特徴量の統計的ブースティングを介して実現される。画像を収集するステップ、ニードルをセグメント化するステップ、及び視覚的に強調され、アーチファクトのないニードルのみの重ね合わせによる画像を表示するステップの全プロセスは、ユーザ介入の必要なしで自動的に実行される。
【００２２】
体外及び臨床データセットを使う確認結果は、体外及び臨床データセットを調べるときに強調される検出を示し、最適でないニードル位置及び組織アーチファクトは、強度に基づくセグメンテーションを失敗させる。
【００２３】
新規で、リアルタイムの分類に基づく医用画像セグメンテーションの詳細は、寸法通りではない以下の図面を用いて、更に以下に述べられる。
【図面の簡単な説明】
【００２４】
【図１】本発明による、典型的なリアルタイムの分類に基づく医用画像セグメンテーション装置の概略概念図である。
【図２】本発明による、統計的ブースティングされる分類器のトレーニング及び臨床パフォーマンス並びにその使用の概念図例である。
【図３】本発明による、ニードル局所化のタイプの概念図である。
【図４】本発明のバージョンにおいて使用可能なサブルーチンの一対のフローチャートである。
【図５】本発明による、臨床動作を例示するメインルーチンのフローチャートである。
【発明を実施するための形態】
【００２５】
図1は、実例及び非限定的な例により、リアルタイムの分類に基づく医用画像セグメンテーション装置100を表す。 それは、スキャナのような超音波画像収集デバイス104を含む。 デバイス104は、ビームフォーマ 108及び超音波イメージングプローブ112を含む。 プローブ112は、線形アレイプローブになり得る。それは、 体組織120において、何れの所与のイメージング深度128においても横のスパン124によって規定される視野116でセットされ得る。装置110は、医用ニードル136の少なくとも一つの部分132の、視野116へのエントリをリアルタイムに検出するためにプローブ112を使うことができる。視野116は、二つの境界線140及び144によって規定される。 ニードル136の検出は、視野116に挿入されるニードル136のわずか2.0ミリメートルでもたらされ得る。これにより、既存の方法論から利用可能な検出に比べてニードルのより早い検出が可能になる。ニードル136の画像を改善するため、現在の視野116は、超音波ビーム152を90度の角度でニードル136上への入射にステアリングするために新たな視野148に変化し得る。ステアリングされる視野148は、二つの境界線156及び160を備える図1に示される。ニードル136による正常度を実現するビームステアリングは、視野116における変化を必ずしも必要としない。 ニードルの改善された画像は、元の視野116において全画像に移されることができる。ニードル136による正常度を実現するステアリングは結果としてもたらされる画像におけるイメージング画質を全体的にわずかに減らすが、特にニードルの視覚化は強調されるためこれはなされる。装置100は、治療及び医療診断の少なくとも一つにおける使用のために設計される。矢印で示されるように、ニードル136は、たとえば、体内方向164に注入される薬剤を送達するために用いられ得る。 生検、神経ブロック及び流体呼気は、ニードルポーズ、位置及び移動がリアルタイムに同様にモニタリングされる他のプロシージャの例である。
【００２６】
装置100は、最も有名な統計的ブースティングアルゴリズムであるAdaboostTMのようなブースティングされる分類器172を具現化する、機械学習に基づく分類回路168を更に含む。
【００２７】
ライブイメージングを介したモニタリングにおけるユーザ対話のために、本装置はディスプレイ176及びユーザ制御器180も含む。
【００２８】
図2は、ブースティングされる分類器172及びその使用のトレーニング及び臨床パフォーマンスの典型的なバージョンを概念的に描写する。 分類器172をトレーニングするために、二次元ログガボールウェーブレット（又は「フィルタ」）204は、ニードル画像208に適用される。更に以下に詳細に論じられるように、ニードル画像208はビームステアリングを介して収集され、B-モードイメージングにおいて通常使われる周波数より低い超音波周波数を利用することによって収集される。 ウェーブレット204を適用することからの出力は、ニードル画像208のそれぞれのピクセル（x,y）216及びそれぞれのウェーブレット特徴量Fiに対するウェーブレット特徴パラメータFi,x,y 212のセットになる。各々のピクセル216に対するグランドトゥルースGTx,yは、それがニードルの部分又はバックグランドの部分であるかについて決定されるか、決定されている。F1,x,y及びGTx,yは、「弱い分類器」,WK1の部分である。複数の弱い分類器は、 強又は「ブースティングされる」分類器を提供するために、結合、すなわち、ブースティング220される。 この技術に対する代替は、ピクセル216がニードル又はバックグランドであるかを決めるようにピクセル強度を使うことである。しかしながら、ニードル画像208におけるアーチファクトのため、強度に基づく閾値化は、ニードル136を効果的に分類するのに十分ロバストでない。ブースティングされる分類器172をトレーニングするときの上記ステップは、破下線224によって図2において表されるように、トレーニングデータセットにおいてニードル画像208の各々に対して繰り返される。上記の弱い分類器WK1は、そのそれぞれのグランドトゥルースGTx,yで各々ラベリングされる特徴パラメータF1,x,yを用いて構築される。特に、F1,x,yの間からのパラメータに対して、GTx,yを考慮して最小分類エラーをもたらす最適閾値T1が見つけられる。閾値化されるべきパラメータは基本的に、ニードルの形状、ニードルの角度、テクスチャ、及び更には強度に関する情報を含む。 更に、トレーニング段階は、ニードルに見えないもの、すなわち、筋肉テクスチャ及びバックグランド画像の特徴になるものに関する情報を提供する。下点破線225によって図2において表されるように、上記の処理の全ては特徴F1乃至F2の各々に対して繰り返される。 これは、下点線226によって図2において表されるように、弱い分類器WKI乃至WK2をもたらすようになされ、それに対応して最適閾値TI乃至T2をもたらすようになされる。 弱い分類器WKiは、臨床プロシージャの間、バイナリ出力- ピクセル（x,y）216に対する「ニードル」228又は「バックグランド」232をもたらす強い分類器SCを形成するときの適切な重み付けを通じて結合される。実効的に、弱い仮説のセットは、強い仮説に結合される。
【００２９】
臨床プロシージャにおいて、2Dログガボールフィルタは異なる方向で空間周波数に応じるように方向付けられることができるため、ウェーブレット204は角範囲を通じたスイープの部分として異なる角度方向にインクリメンタルに方向付けられる。各々のインクリメントにおいて、それぞれのニードル画像208は、現在のビーム角236で収集され、方向付けられるウェーブレット204は適用され、それによって画像に関して画像から情報、すなわちFi,x,y 212を導出するように動作し、上記のセグメンテーションは、導出される情報に関して動作する。 後のステップにおいて、ブースティングされる分類器172は、エントリがニードルピクセル及びバックグランドピクセルの間で割り当てられるバイナリピクセル-マップ240 Mx,yを出力する。オペレータによって選ばれる抽出モードに依存して、又は実施に依存して、マップ240のニードル部分は抽出され244a、B-モード画像上に直接重ね合わされ252、又はラドン変換若しくはハフ変換（HT）248のようなライン検出アルゴリズムがニードル136の位置及び角度を導出するために用いられることができる。この後者の場合、未加工のニードル画像が収集されることができ、バックグランドがそれからマスクアウトされ、結果としてもたらされる、抽出244b「ニードルのみの」画像は現在のB-モード画像上に重畳256される。 このように、抽出モードは、「ピクセルマップ」又は「超音波画像」のためにセットされ得る。それは、図4及び5に関して更に以下に議論されるステップS432、S456及びS556で反映される。 ログガボールフィルタは上で記述されるが、ガボールフィルタのような他のイメージングフィルタが代わりに使われることはできる。
【００３０】
図3は、臨床プロシージャに関して典型的な詳細を更に例示する。 上記のインクリメンタルスイープ304は、表示された例において、角度の範囲308を通っている。各々のインクリメント312は、対応するビーム角で収集されるニードル画像208に隣接して、図3において示される。画像208における何れの細長い、線形の、鏡面対象物314は、ここに提案されるセグメンテーションの堅牢性のために、ニードル136から識別される。セグメンテーション316は、各々のニードル画像208に関してブースティングされる分類器172によって実行され、それぞれのピクセルマップ240が生成される。ハフ変換248は、各々のピクセルマップ240に適用される。結果としてもたらされるライン出力320は、角度/オフセットビンを合計するとき合計324される。これは、位置に対応して、ニードル136のオフセットの推定を決定する。 それは、ニードル136の角度328も決定する。 上でここに言及されるように、ニードル位置及び角度は、「ニードルのみの」重ね合わせを備える表示可能なB-モード画像を形成するとき使われることができ、又は代わりにピクセルマップ240のニードル部分は重ね合わせとしてニードルピクセルを供給するために使われることができる。
【００３１】
臨床プロシージャを実行するために呼ぶことができるサブルーチンは、図4における実施例において示される。
【００３２】
第一のサブルーチン400において、ウェーブレット204は、現在のビーム角236に対して方向付けられる（ステップS404）。 ニードル画像208が収集される（ステップS408）。ウェーブレット204はニードル画像208に適用される（ステップS412）。出力はブースティングされる統計的分類器172によって処理される（ステップS416）。バイナリピクセルマップ240はニードル画像208のために形成される（ステップS420）。
【００３３】
第二のサブルーチン410において、ビーム角236は5°まで初期化される（ステップS424）。図4においてエントリポイント「A」で始めるために、第一のサブルーチン400が呼び出される（ステップS428）。 ピクセルマップ240が直接重ね合わされる場合（ステップS432）、ニードルピクセルに対して、ニードルピクセル及びピクセル固有の信頼値が保存される（ステップS436）。弱い分類器WKiの各々は、閾値Tiが達せられるかに基づいて、バックグランドを表す、-1又はニードルを表す、+1を返す。強い分類器SCはこれらの値の加重和を計算する。総和が正である場合、ピクセル216がニードル136の部分であると考えられる。その他の場合、ピクセル216はバックグランドの部分であると考えられる。しかしながら、総和は強い仮説における信頼も示す。総和が+1に近付くほど、「ニードル」の決定はより多くの信頼を受ける。ニードルピクセルは、それらの対応する信頼値とともに、信頼値に基づいてロバストなピクセルマップを後に生成するためにこの時に記録される。代わりにピクセルマップ240は直接重ね合わされない（ステップS432）。1つの実施例において、たとえば、ピクセルマップ240の直接の重ね合わせはニードルのみの超音波画像を重ね合わせるメインプロセスに代わるディスプレイオプションとして意図され得る。それに応じて、ピクセルマップ240が直接重ね合わされない場合（ステップS432）、現在のビーム角236におけるハフ変換248の出力は、存在する場合、変換出力の連続的な総和をつくるために前のビーム角における出力に加えられる（ステップS440）。何れのイベントにおいても、すなわち、ピクセルマップが重ね合わされてもされなくても、現在のビーム角236が90°より小さい場合（ステップS444）、現在のビーム角はインクリメントされ（ステップS448）、セグメント化ステップS428に戻される（ステップS452）。その他の場合、現在のビーム角236が90°である場合（ステップS444）、処理は、ピクセルマップ240が直接重ね合わされるかに再び依存する（ステップS456）。ピクセルマップ240が直接重ね合わされる（ステップS456）場合、最適ニードルマップが導出される（ステップS460）。特にステップS436において繰り返し保存される信頼値は結合される。例えば、各々のネガティブな信頼値はゼロになり得る。それぞれのビーム角236のために生成される信頼マップは合計されるマップを作成するために加えられる。信頼値はそれから、ピクセル輝度値の範囲に正規化される。他方、ピクセルマップ240が、直接重ね合わされない（ステップS456）場合、ステップS440からのハフ変換総和出力324はニードルオフセットをもたらす（ステップS464）。それは、ニードル136の角度328も与える（ステップS468）。
【００３４】
図5は、現在の例において、臨床プロシージャのメインルーチンである。 ニードル-存在フラグは初期化、すなわち、クリアされる（ステップS504）。 第二のサブルーチン410が呼び出される（ステップS508）。ニードルは現在の視野116に存在するか否かが決定される（ステップS512）。たとえば、ピクセルマップ240を表示する場合、ニードルピクセルの数及びオプションでそれらの信頼レベルは、ニードル136が存在するかを決定するように閾値化を受け得る。超音波重ね合わせを表示する場合、合計されるハフ変換324のラインビン合計は、ニードル136が存在するかを決定するように閾値化され得る。ニードル136は存在しないことが決定される場合（ステップS512）、及びニードル-存在フラグがセットされない場合（ステップS516）、B-モード画像は収集される（ステップS524）。それは表示される（ステップS528）。イメージングが継続する（ステップS532）場合、セグメント化ステップS508に戻される。他方、ニードル-存在フラグがセットされる場合（ステップS516）、それはクリアされる（ステップS536）。ユーザは、ニードル136がもはやスクリーン上にないことを通知され（ステップS540）、処理はB-モード収集ステップS524へ再び分岐する。ニードルは存在することが決定され（ステップS512）、ニードル-存在フラグはセットされない（ステップS544）場合、ユーザは、ニードルの、表示画像へのエントリを通知され（ステップS548）、ニードル-存在フラグはセットされる（ステップS552）。この点において、ニードル-存在フラグがセットされた、又はセットされているか否かにかかわらず（ステップS544及びS552）、処理パスは、ピクセルマップ240が重ね合わせとして使用されるべきかに依存する（ステップS556）。ピクセルマップ240が重ね合わせとして使われない場合（ステップS556）、合計ハフ変換324によって決定されるニードル角度328は、ニードル136による正常度に対してビーム152をステアリングように用いられ、それによってニードルのより良好な可視性が提供される（ステップS560）。ステアリングビーム152を介してニードル画像208は収集される（ステップS564）。ピクセルマップ240が重ね合わせとして使われるか否かにかかわらず、B-モード画像は収集される（ステップS568）。合成画像は、ニードル画像208から抽出される重畳されたニードルのみの画像及びB-モード画像、又はピクセルマップ重ね合わせの場合、ステップS456からの正規化された信頼値の、抽出され、重畳されたセット若しくはピクセルマップ240の他の描出から形成される（ステップS572）。合成画像が表示される（ステップS576）。均一又は不均一に離れた期間の後、周期的、すなわち反復的に、ニードル136は、その位置及び方向に関する更新として再セグメント化されるべきである（ステップS580）。ニードル136が再セグメント化される場合（ステップS580）、処理はセグメント化ステップS508に戻る。さもなければ、ニードル136は再セグメント化されない（ステップS580）が、イメージングは継続される（ステップS584）場合、ステップS556に戻される。
【００３５】
ステップS540及びS548におけるユーザ通知は、感覚的、例えば、聴覚的、触覚的、又は視覚的になり得る。たとえば、パネル又はディスプレイスクリーン上のイルミネーションは、「オン」状態にある間、動作のそれぞれのモードがアクティブにあることを示し得る。
【００３６】
動作のニードル-存在-検出モード588は、たとえば、ステップS512乃至S532に対応する。
【００３７】
ニードル-挿入-検出モード592は、たとえば、ステップS512及びS544乃至S552に対応する。
【００３８】
ニードル視覚化モード596は、たとえば、ステップS556乃至S564に対応する。 ニードル視覚化モード596を出ることはできるが、ニードル-挿入-検出モード592のままにすることもできる。 その後のある時間において、ニードル-挿入-検出モード592が、ニードル136の、視野116への再エントリを検出する場合、ニードル視覚化モード596は自動的に、及びユーザ介入の必要なしで再活性化される。例えば、ニードル-存在-検出モード588は、ニードル-挿入-検出モード592を可能にし、それ故にそのモード592の間、常にアクティブになる。
【００３９】
上記のモード588、592、及び596は、ユーザ制御器180によって集合的又は個別的に活性化又は非活性化され、より大きな全体的なモードに各々取り込まれ得る。
【００４０】
上記のモード588、592、及び596の各々は装置100のオプションとして存在し、たとえばユーザ動作可能であり、又は代わりにモードをスイッチオフするための何れのオプションもなしで装置の部分になり得る。
【００４１】
モード588、592、及び596を可能にするのは、上でここに提案されるニードルセグメンテーションの信頼性及び画質である。
【００４２】
提案された方法論は治療を人間又は動物被験体に提供する際に有利に適用されることができるが、本発明の範囲はそれに限定されるものではない。 より広いことに、ここに開示される技術は、生体内及び生体外における機械学習に基づく画像セグメンテーションに向けられる。
【００４３】
分類に基づく医用画像セグメンテーション装置は、超音波から、ニードルのような医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、収集にダイナミックに応じて、画像から導出される情報に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使うように構成される機械学習に基づく分類回路とを含む。セグメント化は、ウェーブレット特徴量のパラメータの統計的ブースティングを介して実現されることができる。 画像の各々のピクセルは、「ニードル」又は「バックグランド」として特定される。画像を収集するステップ、ニードルをセグメント化するステップ、及び視覚的に強調され、アーチファクトのないニードルのみの重ね合わせによる画像を表示するステップの全プロセスは、ユーザ介入の必要なしで自動的に実行される。信頼できるニードルセグメンテーションは、最適ビームステアリング角、時間ゲイン補償及び画像処理パラメータの自動セッティングを可能にし、潜在的に強化された視覚化及び臨床ワークフローをもたらす。
【００４４】
本発明は、図面及び上述の記載において詳細に図示されると共に記載されているが、このような図面及び記載は例示的であり、限定的なものでないことは考慮されるべきであり、本発明は開示の実施例に限定されるものではない。
【００４５】
たとえば、ニードル-挿入-検出モード592は、ニードルのわずか7ミリメートルが体組織に挿入されたとき、ニードル136の少なくとも部分を検出することができ、上でここに言及されるように、超音波視野における2.0mmを検出することができる。
【００４６】
開示された実施形態に対する他の変形が、請求される発明の実施において、図面、本開示、及び別記の請求項についての検討から、当業者によって理解され、実現され得る。請求項において、用語「含む」は、他の要素又はステップを除外するものではなく、不定冠詞「一つの（"a"又は"an"）」は、複数を除外するものではない。請求項におけるいかなる参照符号も、その範囲を限定するものと見なされるべきではない。
【００４７】
コンピュータプログラムが、光記憶媒体又はソリッドステート媒体などの適切なコンピュータ読取可能媒体上に、瞬間的に、一時的に、又は長期間にわたって記憶されることができる。こうした媒体は、一時的な伝播信号ではないという意味に限って非一時的であり、しかしながら、例えばレジスタメモリ、プロセッサキャッシュ、ＲＡＭ及び他の揮発性メモリなどの、他の形式のコンピュータ読取可能媒体を含む。
【００４８】
単一のプロセッサ又は他のユニットが、請求項に列挙された一つより多くの項目の関数を満たしてよい。特定の手段が互いに異なる従属請求項に列挙されるという単なる事実は、これらの手段の組み合わせを使用しても利点を得られないことを示すものではない。
【図１】
2019147007.tif 000003
【図２】
2019147007.tif 000004
【図３】
2019147007.tif 000005
【図４】
2019147007.tif 000006
【図５】
2019147007.tif 000007
【手続補正書】
【提出日】令和1年6月14日(2019.6.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
分類に基づく医用画像特定装置であって、
超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、
前記収集にダイナミックに応じて、前記画像から導出される情報に関して動作することによって前記器具をセグメント化するため、機械学習に基づく分類を使用するように構成される機械学習に基づく分類回路と
を有し、
前記回路は、ブースティングされる分類子を有し、前記セグメント化のために前記分類子を使用するように構成され、
前記超音波画像収集デバイスを介して、前記器具の対応する描出に対して超音波ビームの角度の範囲に渡って、スイープにおいてインクリメンタルに前記収集をダイナミックに実行し、前記描出のセグメント化は前記インクリメンタルな収集にダイナミックに応じるように構成され、
ライン検出アルゴリズムを前記描出の各々の一つに対する前記セグメント化の出力にインクリメント毎に適用するように更に構成され、前記器具の方向を導出するため前記アルゴリズムの出力を加えるように更に構成される、
装置。
【請求項２】
前記使用は、ウェーブレット特徴量のパラメータの統計的ブースティングを実行することを有する、請求項１に記載の装置。
【請求項３】
前記繰り返し収集することをユーザ介入の必要なしで自動的にダイナミックに実行するように構成される、請求項１に記載の装置。
【請求項４】
前記描出の、描出毎の前記セグメント化を実行するように更に構成される、請求項３に記載の装置。
【請求項５】
前記セグメント化は、角度の範囲に渡って、スイープにおいてインクリメンタルに実行される、請求項３に記載の装置。
【請求項６】
前記角度に対応して前記描出の前記セグメント化はイメージングフィルタの異なる方向を使用する、請求項３に記載の装置。
【請求項７】
前記描出の前記セグメント化の結果に基づいて前記器具の方向をダイナミックに決定するように更に構成される、請求項３に記載の装置。
【請求項８】
超音波イメージングプローブを更に有し、前記装置は前記セグメント化の出力に基づいて前記プローブに対する前記器具の方向をダイナミックに決定するように構成される、請求項１に記載の装置。
【請求項９】
前記器具は医用ニードルである、請求項１に記載の装置。
【請求項１０】
前記装置は、治療及び医療診断の少なくとも一つにおける使用のために設計される、請求項９に記載の装置。
【請求項１１】
ディスプレイを更に有し、前記デバイスは前記ディスプレイを介した体組織のダイナミックな視覚化のスパンを空間的に規定するための視野を持つ超音波イメージングプローブを有し、前記装置は動作のニードル-挿入-検出モードを備え、前記モードの間、前記セグメント化の出力に基づいて、前記ニードルが前記視野内に少なくとも部分的に存在することを自動的にダイナミックに決定するように更に構成され、前記決定は、前記ニードルの2.0ミリメートルだけが前記視野内に存在する前になされ、前記決定はユーザ介入の必要なしで実行される、請求項１０に記載の装置。
【請求項１２】
前記装置は、前記ニードルが前記視野内に少なくとも部分的に存在することの前記決定にダイナミックに応じて、a)前記ニードルのより良好な可視性のためにビームステアリングし、b)前記ディスプレイ上において、前記ニードルの可視化を強化するために前記可視性を使用するように更に構成される、請求項１１に記載の装置。
【請求項１３】
前記回路は、前記画像において、前記ニードルを囲む体組織が細長い、線形の、鏡面の解剖学的構造を含む環境において前記セグメント化をするように構成される、請求項１０に記載の装置。
【請求項１４】
ユーザ介入の必要なしで自動的に前記環境において前記セグメント化をするように構成される、請求項１３に記載の装置。
【請求項１５】
ディスプレイを更に有し、前記デバイスは前記ディスプレイを介した体組織のダイナミックな視覚化のスパンを空間的に規定するための視野を持つ超音波イメージングプローブを有し、前記装置は動作のニードル-存在-検出モードを備え、前記モードの間、前記セグメント化の出力に基づいて、ニードルが前記視野内に部分的にさえ存在しないことをユーザ介入の必要なしで自動的に決定するように更に構成される、請求項９に記載の装置。
【請求項１６】
前記部分的な存在さえないことの前記決定に応じて、前記モードの間、前記決定のユーザ通知がなされ、前記通知はユーザ介入の必要なしで自動的に実行されるように更に構成される、請求項１５に記載の装置。
【請求項１７】
前記セグメント化の結果に基づいて、特に前記ニードルの画像を抽出するように更に構成され、前記ディスプレイを介して前記特定の画像を可視化することを必要とするニードル可視化モードのために構成され、前記装置はまた、前記部分的な存在さえないことの前記決定に応じて、前記ニードル可視化モードを停止し、更に前記ニードル-存在-検出モードに維持するように構成される、請求項１５に記載の装置。
【請求項１８】
前記モードの間、前記出力に基づいて、ニードルの少なくとも部分の、前記視野へのエントリを検出するように更に構成され、前記装置によって、前記エントリの前記検出にダイナミックに応じて、前記ニードルのより良好な可視性のためのビームステアリングのパフォーマンスを必要とするニードル可視化モードを開始し、前記ディスプレイ上において、前記ニードルの可視化を強化するように更に構成される、請求項１５に記載の装置。
【請求項１９】
前記回路は、ニードルのパターン認識及び体組織のパターン認識の両方についてトレーニングされている、機械学習に基づく分類のための分類器を実現する、請求項１に記載の装置。
【請求項２０】
ディスプレイを更に有し、前記セグメント化は、エントリが前記ピクセルは前記器具のものかを各々示すバイナリピクセルマップを形成することを有し、前記装置は、合成画像を形成するために前記マップの器具ピクセルを超音波画像上に重ね合わせ、前記ディスプレイを介して前記合成画像を視覚化するように構成される、請求項１に記載の装置。
【請求項２１】
前記収集にダイナミックに応じて、前記画像に関して動作することによる前記画像からの前記情報の前記導出を実行するように構成される、請求項１に記載の装置。
【請求項２２】
医用画像の分類に基づく特定のためのコンピュータプログラムを実現するコンピュータ読取り可能な媒体であって、前記プログラムは複数の動作を実行するためのプロセッサによって実行可能な命令を持ち、前記複数の動作の間に、
超音波から医療器具を描出する画像を収集するステップと、
前記収集にダイナミックに応じて、医療器具を描出する前記画像から導出される情報に関して動作することによって前記器具をセグメント化するために機械学習に基づく分類を使用するステップと、
前記器具の対応する描出に対して超音波ビームの角度の範囲に渡って、スイープにおいてインクリメンタルに前記収集をダイナミックに実行するステップであって、前記描出のセグメント化は前記インクリメンタルな収集にダイナミックに応じる、ステップと、
ライン検出アルゴリズムを前記描出の各々の一つに対する前記セグメント化の出力にインクリメント毎に適用し、前記器具の方向を導出するため前記アルゴリズムの出力を加えるステップと
の動作がある、コンピュータ読取り可能な媒体。
【外国語明細書】
2019147007000001.pdf