(57)【要約】本開示はスペックルが低減した超音波撮像に関する。周波数複合および角度複合を伴う超音波撮像が開示される。周波数複合および角度複合を伴う超音波撮像をより頑健にするための技法を開示する。そうした技法の1つは、角度複合用に超音波画像をアライメントするための非剛体画像レジストレーションである。開示する別の技法には、非剛体超音波画像レジストレーション用に超音波画像のサブセットを選択する段階が含まれる。2021527510.tif 000009
2021527510.tif 000002
【特許請求の範囲】
【請求項１】
以下の段階を含む、スペックルが低減した複合超音波画像を生成する方法：
超音波プローブを用いて超音波画像データを生成する段階；
該超音波画像データを周波数複合して、周波数複合超音波画像データを生成する段階；
該周波数複合超音波画像データからの超音波画像を非剛体レジストレーションして、レジストレーションされた超音波画像を生成する段階；
該レジストレーションされた超音波画像を角度複合して、複合超音波画像を生成する段階；および
該複合超音波画像を出力する段階。
【請求項２】
非剛体レジストレーションのために周波数複合超音波画像データの画像のサブセットを選択する段階をさらに含み、該画像のサブセットが、該周波数複合超音波画像データからの超音波画像を含む、請求項1記載の方法。
【請求項３】
サブセットの第一の画像に対する、閾値を満たす角度変位に基づいて、該サブセットの第二の画像が選択される、請求項2記載の方法。
【請求項４】
選択および非剛体レジストレーションが、超音波プローブのフレームレートを超えない時間内で行われる、請求項2記載の方法。
【請求項５】
選択および非剛体レジストレーションが後処理オペレーションとして行われる、請求項2記載の方法。
【請求項６】
選択する段階が、周波数複合超音波画像データの画像間の相互相関を行うことを含む、請求項2記載の方法。
【請求項７】
非剛体レジストレーションが、
周波数複合画像の第二の画像を該周波数複合画像の第一の画像へと弾性的にひずませるための変換を決定することであって、該第一の画像および該第二の画像が異なる角度から撮像された関心対象領域に対応する、こと；ならびに
該変換を該第二の画像に適用すること
を含む、請求項1記載の方法。
【請求項８】
非剛体レジストレーションが、
周波数複合画像の第一の画像にアライメントするために該周波数複合画像の第二の画像を変換するための変位ベクトルを決定する、反復勾配法に基づくアルゴリズム
を適用することを含む、請求項1記載の方法。
【請求項９】
超音波プローブの1つまたは複数の超音波トランスデューサーの周波数応答を補償するためのパルス整形を伴って、該超音波プローブにより超音波パルスを送信する段階；および
該超音波プローブによって受信された、該超音波パルスの少なくとも1つのエコーに基づき、超音波画像データを生成する段階
をさらに含む、請求項1記載の方法。
【請求項１０】
超音波プローブからのエコーデータの高速フーリエ分解を行って、周波数複合用の超音波画像データを生成する段階をさらに含む、請求項1記載の方法。
【請求項１１】
超音波プローブによる撮像中の物体の関心対象領域をトラッキングする段階をさらに含む、請求項1記載の方法。
【請求項１２】
トラッキングに基づいて超音波プローブの変位を決定する段階；および
該決定に基づいて該超音波プローブのビームステアリングを制御する段階
をさらに含む、請求項11記載の方法。
【請求項１３】
超音波撮像データを生成するよう構成された超音波プローブと；
該超音波プローブからの該超音波画像データを周波数複合して、周波数複合超音波画像データを生成し、
該周波数複合超音波画像データからの超音波画像を非剛体レジストレーションして、レジストレーションされた超音波画像を生成し、
該レジストレーションされた超音波画像を角度複合して、複合超音波画像を生成し、そして
該複合超音波画像を出力する
よう構成された、該超音波プローブと通信している1つまたは複数のコンピューティングデバイスと
を具備する、スペックルが低減した超音波画像を生成するための超音波撮像システム。
【請求項１４】
前記1つまたは複数のコンピューティングデバイスが、閾値を満たす角度変位に基づき周波数複合超音波画像データの画像のサブセットを選択するよう構成され、該画像のサブセットが、該周波数複合超音波画像データからの超音波画像を含む、請求項13記載の超音波撮像システム。
【請求項１５】
前記1つまたは複数のコンピューティングデバイスが、
周波数複合画像の第一の画像とアライメントするために該周波数複合画像の第二の画像を変換するための変位ベクトルを決定する、反復勾配法に基づくアルゴリズム
を少なくとも適用することによって非剛体レジストレーションするよう構成される、請求項13記載の超音波撮像システム。
【請求項１６】
超音波撮像システムが、超音波プローブの1つまたは複数の超音波トランスデューサーの周波数応答を補償するためのパルス整形を伴って、該超音波プローブから超音波パルスを送信するよう構成される、請求項13記載の超音波撮像システム。
【請求項１７】
前記1つまたは複数のコンピューティングデバイスが、超音波画像データを周波数複合する前に該超音波画像データのフーリエ分解を行うよう構成される、請求項13記載の超音波撮像システム。
【請求項１８】
超音波プローブがトランスデューサーのフェーズドアレイを具備し、前記1つまたは複数のコンピューティングデバイスが、
該超音波プローブによる撮像中の物体の関心対象領域をトラッキングし、該関心対象領域のトラッキングに基づいて該超音波プローブの変位を決定し、そして、該決定された変位に基づいて該超音波アレイのビームステアリングを制御する
よう構成される、請求項13記載の超音波撮像システム。
【請求項１９】
前記1つまたは複数のコンピューティングデバイスと通信しているディスプレイをさらに具備し、該ディスプレイは複合超音波画像を視覚的に提示するよう構成される、請求項13記載の超音波撮像システム。
【請求項２０】
コンピュータ実行可能な命令を記憶しているメモリを具備する非一時的なコンピュータ可読ストレージであって、該コンピュータ実行可能な命令は、1つまたは複数のコンピューティングデバイスによって実行された時に、
超音波画像データを周波数複合して、周波数複合超音波画像データを生成する段階；
該周波数複合超音波画像データからの超音波画像を非剛体レジストレーションして、レジストレーションされた超音波画像を生成する段階；
該レジストレーションされた超音波画像を角度複合して、複合超音波画像を生成する段階；および
該複合超音波画像を出力する段階
を含む方法を実行させる、非一時的なコンピュータ可読ストレージ。
【請求項２１】
以下の段階を含む、スペックルが低減した超音波画像を生成する方法：
超音波プローブからの超音波画像データを周波数複合して、周波数複合超音波画像データを生成する段階；
該周波数複合超音波画像データのフレーム間で、撮像中の関心対象領域をトラッキングして、関心対象領域の空間位置を決定する段階；
該決定された関心対象領域の空間位置に基づいて該超音波プローブのプローブ変位を計算する段階；
該計算されたプローブ変位に基づいて超音波ビームを該関心対象領域までステアリングするため、該超音波プローブのフェーズドアレイを制御する段階；
閾値を満たす、該超音波画像に関連する角度変位に基づき、該周波数複合超音波画像データから超音波画像を選択する段階；
該選択された超音波画像を、他の1つまたは複数の選択された超音波画像とレジストレーションおよび角度複合して、複合超音波画像を生成する段階；ならびに
該複合超音波画像を出力する段階。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、すべての目的について参照によりその全体が本明細書に組み入れられる、2018年6月19日に提出された米国特許仮出願第62/687,138号「NON-RIGID IMAGE REGISTRATION AND PHASE FRONT MODULATION FOR ULTRASOUND SPECKLE REDUCTION」の優先権の恩典を主張する。
【０００２】
技術分野
本開示の技術は超音波撮像に関する。
【背景技術】
【０００３】
関連技術の説明
超音波は、多くの望ましい特性を備えた画像診断用ツールとしてますます重要性が高まっている。超音波は比較的高速かつリアルタイムの撮像法であり、コストが低くかつ電離放射線への曝露を伴わない。加えて、カラードプラ、剪断波、および造影剤標識といった改良が、X線、コンピュータ断層撮影（CT）、および磁気共鳴撮像法（MRI）の各撮像モダリティを補完する貴重な追加的診断情報を提供している。しかし、従来の超音波撮像には著しいスペックルノイズの存在という難点がある。実際の臨床における超音波撮像の有用な分解能が低下する可能性がある。
【発明の概要】
【０００４】
特定の局面の概要
添付の特許請求の範囲に説明される本発明はそれぞれ複数の局面を有し、そのいずれもその望ましい属性を単独で担うわけではない。添付の特許請求の範囲を限定することなく、本開示のいくつかの顕著な特徴を以下に簡潔に説明する。
【０００５】
本開示の1つの局面は、スペックルが低減した複合超音波画像を生成する方法である。同方法は以下の段階を含む：超音波プローブを用いて超音波画像データを生成する段階；超音波画像データを周波数複合して、周波数複合超音波画像データを生成する段階；周波数複合超音波画像データからの超音波画像を非剛体レジストレーションして、レジストレーションされた超音波画像を生成する段階；レジストレーションされた超音波画像を角度複合して、複合超音波画像を生成する段階；および、複合超音波画像を出力する段階。
【０００６】
本発明の方法は、非剛体レジストレーションのために周波数複合超音波画像データの画像のサブセットを選択する段階を含んでもよく、その場合、画像のサブセットは、周波数複合超音波画像データからの超音波画像を含む。サブセットの第一の画像に対する、閾値を満たす角度変位に基づいて、サブセットの第二の画像が選択されてもよい。選択および非剛体レジストレーションは、超音波プローブのフレームレートを超えない時間内で行われてもよい。選択および非剛体レジストレーションは後処理オペレーションとして行われてもよい。選択する段階は、周波数複合超音波画像データの画像間の相互相関を行うことを含んでもよい。
【０００７】
非剛体レジストレーションは、周波数複合画像の第二の画像を周波数複合画像の第一の画像へと弾性的にひずませるための変換を決定することであって、第一の画像および第二の画像が異なる角度から撮像された関心対象領域に対応する、こと；ならびに、その変換を第二の画像に適用することを含んでもよい。
【０００８】
非剛体的にひずませることは、
周波数複合画像の第一の画像にアライメントするために周波数複合画像の第二の画像を変換するための変位ベクトルを決定する、反復勾配法に基づくアルゴリズム
を適用することを含んでもよい。
【０００９】
本発明の方法は、超音波プローブの1つまたは複数の超音波トランスデューサーの周波数応答を補償するためのパルス整形を伴って、超音波プローブにより超音波パルスを送信する段階；および、超音波プローブによって受信された、超音波パルスの少なくとも1つのエコーに基づき、超音波画像データを生成する段階をさらに含んでもよい。
【００１０】
本発明の方法は、超音波プローブからのエコーデータの高速フーリエ分解を行って、周波数複合用の超音波画像データを生成する段階をさらに含んでもよい。
【００１１】
本発明の方法は、超音波プローブによる撮像中の物体の関心対象領域をトラッキングする段階をさらに含んでもよい。本発明の方法は、トラッキングに基づいて超音波プローブの変位を決定する段階；および、その決定に基づいて超音波プローブのビームステアリングを制御する段階を追加的に含んでもよい。
【００１２】
本開示の別の局面は、スペックルが低減した超音波画像を生成するための超音波撮像システムである。同超音波撮像システムは、超音波撮像データを生成するよう構成された超音波プローブと、超音波プローブと通信している1つまたは複数のコンピューティングデバイスとを具備する。前記1つまたは複数のコンピューティングデバイスは、
超音波プローブからの超音波画像データを周波数複合して、周波数複合超音波画像データを生成し、
周波数複合超音波画像データからの超音波画像を非剛体レジストレーションして、レジストレーションされた超音波画像を生成し、
レジストレーションされた超音波画像を角度複合して、複合超音波画像を生成し、そして
複合超音波画像を出力する
よう構成される。
【００１３】
前記1つまたは複数のコンピューティングデバイスは、閾値を満たす角度変位に基づき周波数複合超音波画像データの画像のサブセットを選択してもよく、その場合、画像のサブセットは、周波数複合超音波画像データからの超音波画像を含む。
【００１４】
前記1つまたは複数のコンピューティングデバイスは、
周波数複合画像の第一の画像とアライメントするために周波数複合画像の第二の画像を変換するための変位ベクトルを決定する、反復勾配法に基づくアルゴリズム
を少なくとも適用することによって、非剛体レジストレーションしてもよい。
【００１５】
超音波撮像システムは、超音波プローブの1つまたは複数の超音波トランスデューサーの周波数応答を補償するためのパルス整形を伴って、超音波プローブから超音波パルスを送信してもよい。
【００１６】
前記1つまたは複数のコンピューティングデバイスは、超音波画像データを周波数複合する前に超音波画像データのフーリエ分解を行ってもよい。
【００１７】
超音波プローブはトランスデューサーのフェーズドアレイを具備してもよく、前記1つまたは複数のコンピューティングデバイスは、
超音波プローブによる撮像中の物体の関心対象領域をトラッキングし、関心対象領域のトラッキングに基づいて超音波プローブの変位を決定し、そして、決定された変位に基づいて超音波アレイのビームステアリングを制御する
ことができる。
【００１８】
超音波撮像システムは、前記1つまたは複数のコンピューティングデバイスと通信しているディスプレイをさらに具備してもよく、その場合、ディスプレイは、複合超音波画像を視覚的に提示するよう構成される。
【００１９】
本開示の別の局面は、コンピュータ実行可能な命令を記憶しているメモリを具備する非一時的なコンピュータ可読ストレージである；コンピュータ実行可能な命令は、1つまたは複数のコンピューティングデバイスによって実行された時に、以下の段階を含む方法を実行させる：
超音波画像データを周波数複合して、周波数複合超音波画像データを生成する段階；周波数複合超音波画像データからの超音波画像を非剛体レジストレーションして、レジストレーションされた超音波画像を生成する段階；レジストレーションされた超音波画像を角度複合して、複合超音波画像を生成する段階；および、複合超音波画像を出力する段階。
【００２０】
本開示の別の局面は、スペックルが低減した超音波画像を生成する方法である。同方法は以下の段階を含む：超音波プローブからの超音波画像データを周波数複合して、周波数複合超音波画像データを生成する段階；周波数複合超音波画像データのフレーム間で、撮像中の関心対象領域をトラッキングして、関心対象領域の空間位置を決定する段階；決定された関心対象領域の空間位置に基づいて超音波プローブのプローブ変位を計算する段階；計算されたプローブ変位に基づいて超音波ビームを関心対象領域までステアリングするため、超音波プローブのフェーズドアレイを制御する段階；閾値を満たす、超音波画像に関連する角度変位に基づき、周波数複合超音波画像データから超音波画像を選択する段階；選択された超音波画像を、他の1つまたは複数の選択された超音波画像とレジストレーションおよび角度複合して、複合超音波画像を生成する段階；ならびに、複合超音波画像を出力する段階。
【００２１】
本開示の概要を述べる目的のため、本発明の特定の局面、利点、および新規の特徴を本明細書に説明している。理解されるべき点として、いずれの具体的態様においても、すべてのそうした利点が必ずしも実現されなくてもよい。ゆえに、本発明は、本明細書において教示または示唆されうる他の利点を必ずしも実現することなく、本明細書において教示される1つの利点または一群の利点を実現または最適化する様式で具現化されるかまたは行われてもよい。
【図面の簡単な説明】
【００２２】
本開示の諸態様を、添付の図面を参照しながら、非限定的な実施例によって以下に説明する。
【００２３】
【図１Ａ】図1A〜1Dは、ボクセル内の散乱体からの、さまざまなタイプの干渉の図示である。図1Aに、散乱体からの強め合う干渉を伴うボクセルを図示する。図1Bに、散乱体からの弱め合う干渉を伴うボクセルを図示する。図1Cに、異なる角度からプロービングした図1Bのボクセルを図示する。図1Dに、異なる周波数でプロービングした図1Bのボクセルを図示する。
【図１Ｂ】図1Aの説明を参照されたい。
【図１Ｃ】図1Aの説明を参照されたい。
【図１Ｄ】図1Aの説明を参照されたい。
【図２】図2A〜2Cは、撮像中の関心対象領域（ROI）のさまざまなひずみの図示である。図2Aに、オペレーター誘起性のROIのひずみを図示する。図2Bに、患者誘起性のROIのひずみを図示する。図2Cに、変動する屈折率によって誘起されるROIのひずみを図示する。
【図３】図3A〜3Cは、イメージングボリューム（imaging volume）の表面幾何学形状が、異なる角度でキャプチャされうる画像の数および質にどのように影響しうるかの図示である。図3Aに、ROIの0度からの撮像を図示する。図3Bに、図3AのROIの撮像と、ひずんでいる組織とを図示する。図3Cに、撮像のためのアクセスが可能でない、図3AのROIを図示する。
【図４】図4A〜4Cは、固定されたプローブの手動回転とビームステアリングとの両方を用いた、異なる角度からのROIの撮像の図示である。図4Aに、ROIの0度からの撮像を図示する。図4Bに、超音波プローブの手動回転による、図4AのROIの20度からの撮像を図示する。図4Cに、ビームステアリングによる、図4AのROIの20度からの撮像を図示する。
【図５Ａ】1つの態様に基づく超音波撮像システムの図示である。
【図５Ｂ】別の態様に基づく超音波撮像システムの図示である。
【図５Ｃ】別の態様に基づく超音波撮像システムの図示である。
【図５Ｄ】別の態様に基づく超音波撮像システムの図示である。
【図５Ｅ】別の態様に基づく超音波撮像システムの図示である。
【図６】図6A〜6Cは、非剛体画像レジストレーションの図示である。図6Aに第一の画像を図示する。図6Bに第二の画像を図示する。図6Cに、第一の画像への、第二の画像の非剛体レジストレーションを図示する。
【図７Ａ】非剛体画像レジストレーションのため固定画像（stationary image）に変換されるべき移動画像（moving image）を図示する。
【図７Ｂ】非剛体画像レジストレーションにおいてピクセルをマッピングするための変位ベクトルを図示する。
【図７Ｃ】レジストレーションされた画像と変位ベクトルとを図示する。
【図８】トランスデューサー素子を用いて組織を撮像しているAスキャンの例の図示である。
【図９】受信ボクセルに対応する信号を受信するために適用されてもよい位相遅延の図示である。
【図１０】検出された受信ボクセルの信号への、位相シフトの適用の図示である。
【図１１Ａ】本明細書に開示する原理および利点に基づくアルゴリズムを用いてアライメントおよび複合した、ヒト手首の超音波画像のセットを示す。
【図１１Ｂ】レジストレーションされた画像の位置を示す。
【発明を実施するための形態】
【００２４】
特定の態様の詳細な説明
以下の、特定の態様の詳細な説明は、具体的態様のさまざまな説明を提示する。しかし、本明細書に説明する本発明は、例えば特許請求の範囲によって定義およびカバーされるように、多数の異なる方式において具現化されうる。この説明において図面への参照がなされる；それら図面において、同様の符番は同一の要素または機能的に類似する要素を示しうる。図面内に図示される要素は必ずしも縮尺が一律でないことが理解されるであろう。さらに、特定の態様が、図面内に図示されるより多くの要素、および／または図面内に図示される要素の部分集合を含みうることが理解されるであろう。さらに、いくつかの態様に、2つまたはそれ以上の図面に由来する特徴の任意の好適な組み合わせが組み込まれてもよい。本明細書に提供する見出しは便宜上のものにすぎず、特許請求の範囲または意味に必ずしも影響を及ぼさない。
【００２５】
超音波は、ヒトの可聴範囲を上回る周波数を備えた音波である。超音波周波数は典型的に、20キロヘルツ（kHz）を上回り、最大で数ギガヘルツ（GHz）までの範囲である。上述のように、超音波撮像は著しいスペックルノイズの存在という難点を生じる可能性があり、それは実際の臨床における超音波撮像の有用な分解能を低下させる可能性がある。本開示は、超音波撮像におけるスペックルを低減させるための、周波数複合および空間複合（角度複合としても公知である）のための技法を提供する。
【００２６】
本明細書に開示する方法は、超音波撮像に対する角度複合と周波数複合とを組み合わせる。これらの方法を、角度複合および周波数複合に関するひずみに対して頑健にする技法を提供する。そうした技法には、非剛体画像レジストレーション、非剛体画像レジストレーションのための超音波画像のサブセットの同定および選択、ならびに周波数補償が含まれる。
【００２７】
スペックル低減を向上させうる非剛体画像レジストレーションの技法を開示する。非剛体画像レジストレーションを行い、そして次にレジストレーションされた画像を空間複合することによって、スペックル低減の向上および／または最大化が実現される可能性がある。非剛体画像レジストレーションは空間ひずみを補償できる可能性がある。
【００２８】
空間複合用の超音波画像のセットが、超音波画像のより大きなセットから同定および選択されてもよい。超音波スキャン中にキャプチャされた全超音波画像のセットがレジストレーションおよび空間複合に用いられてもよいが、超音波画像のセットを同定および選択することにより、複合超音波画像を生成するために空間複合を行うための計算および時間の量が著しく減少する可能性がある。空間複合用の超音波画像のセットを同定および選択することにより、正しくないレジストレーション（例えば、画像レジストレーション処理におけるエラーによって誘起されるアーチファクトを作り出すことなど）が生じる見込みが減少する可能性がある。
【００２９】
例証となる一例において、超音波プローブが、毎秒10〜100フレームのレートで作動してもよい。適切なアライメントを確実にするには、組織のスキャンは数秒を要する可能性がある。しかし、キャプチャされた超音波画像のうち、空間複合によって実現されるスペックル低減に寄与するのは、好適な変位角度に位置する約10〜20枚にすぎない可能性がある。アライメントおよび空間複合用に選択される超音波画像のセットを適切に選択（または選別）することによって、スペックルが低減した複合超音波画像を生成するスピードが高まる可能性があり、かつ／または、正しくないレジストレーションが生じる可能性が減少する可能性がある。
【００３０】
周波数補償の技法もまた本明細書に開示する。これは、広帯域の周波数複合を行うことを可能にし、それによりスペックル低減が増大および／または最大化する可能性がある。周波数補償は、超音波プローブの1つまたは複数の超音波トランスデューサーの、理想的でない周波数応答を補償できる可能性がある。
【００３１】
特定の用途において、位相アレイ制御を用いてビームステアリングが行われてもよい。超音波掃引の全体にわたって同様のまたは同じ空間領域をキャプチャするため、ビームステアリングが関心対象領域（ROI）トラッキングと組み合わせられてもよい。代替的に、ROIの方向の外部にあるポイントも含めて、超音波スキャンにおける超音波画像の全掃引をキャプチャするため、フェーズドアレイが用いられてもよい。このことは大きなデータセットをもたらす可能性があり、その大きなデータセットは、ROI内のオーバーラップを伴う妥当な数の画像を含むよう後処理において選別されてもよい。非剛体レジストレーションのスキームにおいて、フェーズドアレイを伴ういずれかのアプローチからも、オーバーラップした超音波画像のセットがレジストレーションされうる。（a）ROIトラッキングを伴うアプローチにおけるリアルタイムの処理と、（b）後処理アプローチにおけるデータキャプチャレートおよびストレージサイズとの間には、トレードオフが存在する。
【００３２】
スペックルが低減した超音波画像を生成するため、本明細書に開示する非剛体画像レジストレーション技法が、他の1つまたは複数の技法とともに実施されてもよい。例えば、1つの態様において、リアルタイムかつ非剛体性である単一モダリティ（例えば超音波のみ）の画像レジストレーションのフレームワークと、ビームステアリング装置を制御するためのリアルタイム関心対象領域（ROI）トラッキングと、高速フーリエ解析とが、超音波撮像システム内で組み合わせられる。
【００３３】
本開示のシステムは、角度複合および周波数複合の方法により診断用の超音波を向上させる可能性がある。標準的な診断用超音波ハードウェアが、本明細書に開示する角度複合および周波数複合の方法とともに用いられてもよい。本開示のシステムは、撮像された組織中のひずみ（例えば、患者の呼吸、脈拍、超音波プローブからの圧力、他の発生源、またはそれらの任意の組み合わせによるひずみ）に対して頑健であり、組織の屈折率の変動による超音波画像中のひずみに対して頑健であり、かつ、撮像された構造の表面幾何学形状に対して頑健である。
【００３４】
スペックル低減を実現するため非剛体レジストレーションパラメータを伴って超音波画像のセットをアライメントするシステムを本明細書に開示する。同システムは、ひずみによる画像幾何学形状中の非剛体変動を補償してもよい。そうしたひずみは、超音波プローブ、呼吸、心拍、および／または他の発生源によって引き起こされうる。同システムは、音の波長と同等であるかまたはそれより大きい体積中の屈折率変動によって引き起こされる弱いレンズ効果（weak lensing）による超音波画像中のひずみを補正するため、複数の画像を用いてもよい。同システムは、異なる角度で撮られた画像を複合することによってスペックルノイズを低減してもよい。同システムは、超音波デバイスの周波数応答を補償するためデジタルパルス整形を用いてもよい。同システムは、エコー信号を分離した周波数成分にする高速フーリエ分解によって可能になる周波数複合によって、スペックルを低減してもよい。同システムは、超音波デバイスの、入ってくるストリームから、画像レジストレーションパラメータを継続的に概算してもよい。同システムは、レジストレーションおよび複合された時にその幾何学的特性がスペックル低減の向上（例えば最適化）につながるような画像を選択することによって、画像のストリームから画像のセットを自動的に選択してもよい。同システムは、特定の事例において、画像の選択およびグループレジストレーションをリアルタイムで行ってもよい。同システムは、計算時間を減少させるためハードウェアアクセラレーションを用いてもよい。
【００３５】
本明細書に開示するように、スペックル低減という目的のため、ビームステアリングがROIをトラッキングしてもよい。特定の態様において、ROIを撮像する目的のため、ビームステアリングがROIトラッキングと組み合わせられてもよい。本明細書において論じる諸態様は、非剛体ひずみをリアルタイムで補償できる画像レジストレーションに関する。ROI上でオーバーラップする画像の複合を伴う諸技法もまた開示する。
【００３６】
スペックルノイズ
スペックルノイズは、撮像ボクセル内部のサブ波長散乱体の不均一な分布から生じうる。図1A〜1Dに、撮像中のボクセル内の散乱が干渉をもたらしうるさまざまな方式を図示する。ボクセルはボリュームピクセルであってもよい。図1A〜1Dはボクセル内の異なる干渉を図示している。図示した各ボクセルに入力ビームまたは入射ビームが印加され、そして各ボクセルの散乱から干渉が反映される。
【００３７】
図1Aおよび1Bは、ボクセル内の散乱の分布が、強め合う干渉または弱め合う干渉にどのようにつながりうるかを図示している。図1Aは、印加された入力ビームとともに強め合う干渉を引き起こしうる散乱12Aおよび14Aを含む、ボクセル10Aを図示している。図1Bは、印加された入力ビームとともに弱め合う干渉を引き起こしうる散乱12Bおよび14Bを含む、ボクセル10Bを図示している。ボクセル10Aと10Bとの違いは、ボクセル10A内の散乱体12Aおよび14Aのポジションと比較した、ボクセル10B内の散乱体12Bおよび14Bのポジションである。
【００３８】
図1Cに、異なる角度からプロービングした図1Bのボクセル10Bを図示する。図1Cに示すように、散乱12Bおよび14Bは図1Bと比較して入射ビームに対するポジションが変わっているので、超音波ボクセルからの後方散乱干渉が入射ビーム角度による影響を受ける。図1Bおよび1Cはプロービングビームの入射角の変化による効果を図示している。
【００３９】
図1Dに、異なる周波数でプロービングした図1Bのボクセル10Bを図示する。図1Dに示すように、入射ビームの位相に対する散乱体12Bおよび14Bの変位によって干渉が決定されうるので、散乱体12Bおよび14Bのセットからの干渉はプロービング周波数に依存しうる。ビームの周波数が変化した時、同じ散乱物体は、新しい位相に対して異なる変位を有する。図1Bおよび1Dはプロービング周波数の変化による効果を図示している。
【００４０】
スペックルノイズを低減するため、単一のRF信号中の異なる周波数帯域から形成された超音波画像が複合されてもよい。少なくともいくつかの態様において、周波数帯域幅と持続時間との積の最小化または低下を実現するよう設計されたガウス波形パルスで作られた画像を複合することによって、スペックル低減が実現されてもよい
【００４１】
周波数複合の方法と角度複合の方法とを一緒にかつ／または同時に用いることにより、いずれかの技法を単独で用いるより、さらにスペックルが低減されうる。少なくともいくつかの態様において、周波数複合と角度複合とを組み合わせることによりスペックルノイズが乗法的に低減する。SA、SF、およびSCが、それぞれ角度複合の方法、周波数複合の方法、およびそれら複合を組み合わせた方法に対応するスペックル低減因子であるならば、次式となる。
SC = SA × SF （1）
【００４２】
一例として、少なくとも10倍の総低減（Sc）が可能であると考えられる。
【００４３】
イメージングボリューム内のひずみの発生源
関心対象領域（ROI）の形状は、画像のセット（角度複合に用いられる画像のセットなど）を生成する過程において変化する可能性がある。ROIの形状における変動は、複合画像の有効分解能を低減させる可能性がある；諸特徴が画像のセットにわたって正しくアライメントされない可能性があるからである。このアライメントずれは複合画像内のぶれとして現れる。構造におけるこれらの変動を補正することにより、複合画像における分解能が維持されうる。
【００４４】
ROIの形状におけるひずみは、超音波プローブの接触力、呼吸などの患者のモーション、異なる組織材料の屈折率のばらつきによる音波の屈折、他の要因、または任意の好適なそれらの組み合わせによって誘起される可能性がある。図2A〜2CにROIのひずみのさまざまな発生源を図示する。そうしたひずみおよび／または他のひずみが、本明細書に開示する画像レジストレーションによって補償される可能性がある。図2A〜2Cにおいて、陰影はROIの「真の（true）」形状を示し、そして点線は超音波画像において観察されるひずんだ画像を示す。
【００４５】
図2Aにおいて、撮像中の物体の表面22と接触している超音波プローブ20が、イメージングボリューム24を撮像している。表面22は人の皮膚であってもよい。イメージングボリューム24は人の皮膚より下にあってもよい。イメージングボリューム24はROIと呼ばれることもある。図2Aに示すように、画像獲得中、オペレーターがイメージングボリューム中に非剛体性の幾何学的変化を引き起こす可能性がある。そうした変化はオペレーター誘起性の変動と呼ばれることもある。これは、表面22と超音波プローブ20との間の良好な接触を確実にするために用いられる圧力からもたらされる可能性がある。超音波プローブ20が異なる撮像位置まで動かされる際に、その圧力がイメージングボリュームを異なる構成へとシフトさせる可能性がある。
【００４６】
図2Bに示すように、イメージングボリューム24はまた、呼吸など他の変化する条件による幾何学的変動を有する可能性もある。そうした変化は患者誘起性の変動と呼ばれることもある。本明細書に開示するアルゴリズムは、本明細書に説明する弾性画像補正を通じて、より精密な画像を構築しうる。加えて、超音波の画像獲得が迅速であることにより、追加的な臨床情報用に呼吸および心拍サイクルのことなる部分に関して画像をソートすることができる。例えば、呼吸サイクルの異なる時点に撮られた一続きの画像が、肺拡張における局所的変化を観察するために用いられてもよい。同様に、心拍サイクルにわたって撮られた動脈の一連の画像が、動脈の特定部分の弾性をモニターするために用いられもよい。
【００４７】
図2Cに示すように、不均質な屈折率変動を備えた材料を通過する超音波ビームは、その材料を通って伝搬する際に弱いレンズ効果を受ける可能性がある。このレンズ効果は、異なる構造セット（そしてそれに対応する屈折率）を通ってビームが伝搬するため、撮像角度によって変化する。これらの効果によって誘起される変化は屈折率変動と呼ばれることもある。
【００４８】
イメージングボリュームの幾何学形状
超音波撮像は、超音波画像を形成するためにイメージングボリュームとの接触を伴うことが多い。その結果、イメージングボリュームの表面幾何学形状は、画像獲得中に超音波プローブが取りうる配向を制約する可能性がある。とりわけ、表面幾何学形状は、超音波プローブを手動で回転させることによってプロービングできる角度の数を限定する可能性がある。
【００４９】
図3A〜3Cに、イメージングボリュームの表面幾何学形状が、異なる角度でキャプチャされうる画像の数および質にどのように影響しうるかを図示する。図3A〜3Cにおいて、超音波プローブ20が、撮像中の物体の表面22の下のROI 24を撮像している。図3Aに示すように、平らな皮膚表面22の下にある所与の関心領域が、オペレーター誘起性の大きなひずみを導入することなく0度で撮像されてもよい。図3Bは、異なる角度においてROI 24が超音波プローブ20によってどのようにひずみうるかを図示している。図3Bに示すように、同じROI 24をある角度から撮像することは、皮膚表面22とその下方にあるROI 24とをひずませるような様式でオペレーターが超音波プローブ20を皮膚に押し込むことを伴う可能性がある。図3Bに図示するひずみは、図2Aとの関連において論じたオペレーター誘起性の変動と同様である可能性がある。超音波プローブ20をROI 24に向けることを助けるために組織がひずまされうるとはいえ、ROI 24のほうに向けるためのひずみの量が実際的でない可能性もある。図3Cに示すように、いくつかの幾何学形状は、下方にあるROI 24をさまざまな角度から撮像することを困難または不可能にする可能性があり、組織の剛性が高すぎてひずませられない場合はとりわけそうである。
【００５０】
少なくともいくつかの態様において、異なる角度からのROI撮像は、超音波プローブの手動回転を用いるか、ビームステアリングを用いるか、またはこれらおよび／もしくは他の技法の組み合わせを用いて、実現されてもよい。図4A〜4Cに、固定されたプローブの手動回転とビームステアリングとの両方を用いた、異なる角度からのROIの撮像を図示する。ビームステアリングの方法は、オペレーターがイメージングボリューム表面を水平にたどることを可能にしうる。このことはROIのひずみを低減させる可能性がある。
【００５１】
図4Aに示すように、平らな皮膚表面22の下にあるROI 24が、超音波プローブ20を用いて0度で撮像されてもよい。同じROI 24を20度の角度で撮像するため、例えば図4Bに示すように、皮膚をひずませかつ可能性としてROI 24もひずませながら、超音波プローブ20が手動で回転されてもよい。図4Cに示すように、ビームステアリング技法を用いることにより、皮膚またはROI 24をひずませることなく同じROI 24が20度の角度で撮像されてもよい。超音波プローブ20は、ビームステアリングを実施するためフェーズドアレイを含んでもよい。ビームステアリングと超音波プローブの手動回転との組み合わせが用いられてもよい。
【００５２】
少なくともいくつかの態様において、（例えばソフトウェアを用いて）ROIをトラッキングし、そしてROIを撮像するため超音波ビームをステアリングするよう超音波フェーズドアレイを駆動するためにこのトラッキング情報を用いる、システムが提供されてもよい。したがって、オペレーターが超音波プローブを物理的に複数の角度に回転させることを伴わずに、超音波プローブがそれらのからROIを撮像できる。上述のように、超音波プローブの回転は困難もしくは不可能である可能性があり、かつ／または、超音波画像における望ましくないひずみを誘起する可能性がある。
【００５３】
超音波撮像システム
周波数複合と角度複合との組み合わせおよび非剛体画像レジストレーションを備えた超音波撮像システムを開示する。いくつかの事例において、超音波撮像システムは、スペックルが低減した超音波画像をリアルタイムで生成してもよい。他のいくつかの超音波撮像システムは、スペックルが低減した超音波画像を生成するため後処理を行ってもよい。本明細書に開示する超音波撮像システムの任意の好適な原理および利点が、互いに一緒に実施されてもよい。図5A〜5Dを参照して説明するいずれかの画像処理オペレーションが、1つまたは複数の好適なコンピューティングデバイスによって行われてもよい。
【００５４】
図5Aは、1つの態様に基づく超音波撮像システム40Aの略ブロック図である。スペックルが低減した超音波撮像のフレームワークを、図5Aを参照しながら説明する。このフレームワークは、超音波デバイスを制御するため画像処理を用いてROIをトラッキングし、かつ、スペックル低減のため画像をレジストレーションおよび複合する。本開示の技法は、超音波撮像オペレーションを解析および制御するために超音波ハードウェアとインターフェースする、一連の画像処理および解析のオペレーションに細分されうる。
【００５５】
図示の超音波撮像システム40Aは、超音波プローブ42と、コンピューティングデバイス44Aと、ユーザーインターフェース46とを含む。超音波プローブ42は、撮像中の物体に超音波ビームを送信しかつ撮像中の物体からのエコーを受信するよう配置された任意の好適な超音波プローブであってもよい。超音波プローブ42はフェーズドアレイを含んでもよい。フェーズドアレイは超音波ビームをステアリングしてもよい。超音波プローブは送受信ハードウェア52を含む。送受信ハードウェア52は、超音波ビームを生成し、エコーを受信し、かつ生の超音波画像データを生成してもよい。超音波プローブ42は、超音波プローブ42についてのポジションおよび／または動きの情報を提供する1つまたは複数のセンサーを含んでもよい。そうしたセンサーの例には慣性センサーおよび垂直センサーなどが含まれる。
【００５６】
コンピューティングデバイス44Aは、生の超音波画像データを処理しかつ複合超音波画像データを出力するよう配置された、1つまたは複数の好適なコンピューティングデバイスによって実施されてもよい。例えば、コンピューティングデバイス44Aは、ラップトップ、デスクトップコンピュータ、スマートフォン、および画像処理モジュールなど、または任意の好適なそれらの組み合わせを含んでもよい。特定の態様において、コンピューティングデバイス44Aは、コンピューティングデバイス44Aを参照しながら説明した機能性を実施するよう一緒に配置された、2つまたはそれ以上の別々のコンピューティングデバイスによって実施されてもよい。コンピューティングデバイス44Aは、本明細書に説明する画像処理の機能性を行うよう配置された1つまたは複数のプロセッサを含んでもよい。本明細書に開示するいずれかの画像処理オペレーションおよび／またはアルゴリズムの任意の部分または全部が、1つまたは複数のプロセッサによって実行される、非一時的なコンピュータ可読記憶媒体上に記憶された特定の命令との関連において行われてもよい。1つまたは複数の物理的デバイスが、コンピューティングデバイス44Aなど、本明細書に開示するいずれかのコンピューティングデバイスを実施してもよい。
【００５７】
図示するように、コンピューティングデバイス44Aは、周波数複合ブロック53と、オプティカルフロー処理ブロック54と、プローブ変位ブロック55と、画像選択ブロック56と、画像レジストレーションブロック57とを含む。コンピューティングデバイス44Aは、図示したブロックのうち1つまたは複数の、任意の好適な機能性を行うため、専用の信号処理回路網を含んでもよい。コンピューティングデバイス44Aは、図示したブロックのうち1つまたは複数の、任意の好適な機能性を、1つまたは複数のプロセッサに行わせる、メモリ内に記憶された命令を含んでもよい。
【００５８】
ユーザーインターフェース46はスペックルが低減した超音波画像を提示してもよい。ユーザーインターフェース46はディスプレイ58を含んでもよい。
【００５９】
超音波プローブ42の送受信ハードウェア52は、撮像中の物体に超音波ビームを送信し、送信された超音波ビームの、撮像中の物体からのエコーを受信し、かつ、エコーから生の画像データを生成してもよい。超音波ビームは超音波パルスを含んでもよい。生の超音波画像データのストリームが超音波プローブ42からコンピューティングデバイス44Aに送られてもよい。ストリームは継続的であってもよい。
【００６０】
周波数複合ブロック53は、周波数複合超音波画像データを生成するため、生の超音波画像データを周波数複合してもよい。例えば、周波数複合ブロックは、デジタルフィルタのセットを用いて、複数の周波数帯域にわたって超音波画像を正規化および複合してもよい。超音波画像の周波数複合がスペックルを低減させてもよい。
【００６１】
周波数複合画像はオプティカルフロー処理ブロック54に提供される。オプティカルフロー解析ブロック54は連続フレーム間の超音波プローブ42のモーションをトラッキングしてもよい。この情報はプローブ変位ブロック55に提供されてもよい。オプティカルフロー解析ブロック54はROIの空間位置を決定してもよい。プローブ変位ブロック55は超音波プローブ42の変位を算定してもよい。算定されるプローブ変位は、超音波プローブ42のポジションの変化、および／または、超音波プローブ42がROIを撮像している角度の変化を含んでもよい。プローブ変位ブロック55は1つまたは複数の制御信号を超音波プローブ42に提供してもよい。前記1つまたは複数の制御信号は、更新されたコマンドを超音波プローブ42のフェーズドアレイに提供する位相アレイ制御信号を含んでもよい。これは、超音波ビームを撮像中のROIまでステアリングするよう超音波プローブ42を導いてもよい。
【００６２】
オプティカルフロー解析ブロック54によって生成されるプローブモーション推定はまた、フレーム間のおよその角度変位を算定するため画像選択ブロック56によって用いられてもよい。代替的に、画像選択ブロック56は、周波数複合超音波画像データに基づいて超音波プローブ42のおよその角度変位を決定してもよい。角度変位が所与の閾値を超えたら、画像がキャプチャされそして画像レジストレーションブロック57に渡されてもよい。画像レジストレーションブロック57は画像をレジストレーションしかつ角度複合を行ってもよい。画像レジストレーションブロック57は、新しい画像を、先にキャプチャされた1つまたは複数のフレームとレジストレーションするため、非剛体画像レジストレーションのアルゴリズムを実行してもよい。画像レジストレーションブロック57によって生成された複合画像は低いスペックルを有してもよい。上述のように、角度複合と周波数複合とともに行うことは、超音波画像におけるスペックルを低減するという点で乗法的な効果を有する可能性がある。
【００６３】
画像レジストレーションブロック57によって生成される複合画像は、非一時的なコンピュータストレージ内に記憶されかつ／またはユーザーに提示されてもよい。複合画像はユーザーインターフェース46に提供されてもよい。ユーザーインターフェース46は、例えばディスプレイ58を介して、複合画像をユーザーに提示してもよい。
【００６４】
図5Bは、1つの態様に基づく超音波撮像システム40Bの略ブロック図である。超音波撮像システム40Bは、図5Aのコンピューティングデバイス44Aとは異なる画像処理を実行するよう構成されたコンピューティングデバイス44Bを含む。図示のように、コンピューティングデバイス44Bは、周波数複合ブロック53と、画像選択ブロック56と、画像レジストレーションブロック57とを含む。コンピューティングデバイス44B内の画像選択ブロック56は、周波数複合ブロック53からの周波数複合超音波画像データに基づき、超音波プローブ42のおよその角度変位を推定してもよい。画像選択ブロック56は、決定された角度変位に基づき、レジストレーションおよび空間複合する超音波画像を選択してもよい。画像選択ブロック56は超音波画像間の相互相関を行ってもよい。相互相関は、超音波画像が互いにオーバーラップしうるか、そしてどのくらいオーバーラップしうるかを示してもよい。選択された超音波画像は、画像レジストレーションブロック57によってレジストレーションおよび空間複合されてもよい。コンピューティングデバイス44Bは、超音波プローブ42を導くことを伴わずに、超音波プローブ42によって提供される生の超音波画像データを処理してもよい。図5Bは、ビームステアリングおよび／または画像キャプチャ用の情報を超音波プローブ42に提供するコンピューティングデバイスを伴わずに、いくつかの超音波撮像システムが実施されうることを図示している。
【００６５】
図5Cは、1つの態様に基づく超音波撮像システム40Cの略ブロック図である。超音波撮像システム40CはROIトラッキングブロック64を含む。ROIトラッキングブロック64は連続フレーム間の超音波プローブ42のモーションをトラッキングしてもよい。ROIトラッキングブロック64は、超音波プローブ42の慣性センサー、超音波プローブ42の垂直センサー、もしくはオプティカルトラッキングからのデータ、または、超音波プローブ42の変位角度の指標となる任意の好適なデータを用いてもよい。図5Aのオプティカルトラッキングフローブロック54はROIトラッキングブロックの1つの例である。図5Cは、周波数複合ブロック53からの、周波数複合超音波画像データが、ROIトラッキングブロック64および画像選択ブロック56の両方に提供されてもよいことを図示している。代替的または追加的に、ROIトラッキングブロック64によって生成されたデータが画像選択ブロック56に提供されてもよい。
【００６６】
図5Dは、1つの態様に基づく超音波撮像システム40Dの略ブロック図である。超音波撮像システム40Dは、スペックルが低減した複合超音波画像を生成するため後処理を行ってもよい。超音波プローブ42は、スキャンにおいて超音波画像データの掃引をキャプチャしてもよい。
【００６７】
超音波撮像システム40Dのコンピューティングデバイス44Dは、周波数複合ブロック53と、画像集約ブロック65と、ROIトラッキングおよび画像選択ブロック67と、画像レジストレーションブロック57とを含む。超音波プローブ42は、周波数複合のため、生の超音波画像データを周波数複合ブロック53に提供してもよい。周波数複合ブロック53からの、周波数複合超音波画像データは、画像集約ブロック65に提供されてもよい。画像集約ブロック65は、撮像中のROIの外部のエリアについての画像も含めて、多数の画像を集約してもよい。ROIトラッキングおよび画像選択ブロック67は、画像集約ブロック65からの多数の画像を減らしてもよい。これは、画像がROIに対応すること、および閾値の量だけ異なる角度に対応することを、決定する段階を伴ってもよい。ROIトラッキングおよび画像選択ブロック67は、画像がROIに対応することを決定するため、超音波画像間の相互相関を行ってもよい。相互相関は、超音波画像が互いにオーバーラップしうるか、そしてどのくらいオーバーラップしうるかを示してもよい。ROIトラッキングおよび画像選択ブロック67により、大きなデータセットが、画像レジストレーションおよび角度複合のための管理可能なデータ量まで低減されうる。画像レジストレーションブロック57は非剛体画像レジストレーションおよび角度複合を行ってもよい。
【００６８】
超音波プローブが、周波数複合および角度複合を行うために画像処理を実行できる任意の好適なコンピューティングデバイスと通信していてもよい。図5Eに、携帯電話68と通信している超音波プローブ42を含む超音波撮像システム40Eを図示する。超音波プローブ42は生の超音波画像データを携帯電話68に提供してもよい。携帯電話68は、本明細書に説明する画像処理のいくつかまたは全部を行ってもよい。いくつかの事例において、携帯電話68は、本明細書に開示する画像処理のいくつかまたは全部を行うため、1つまたは複数の他のコンピューティングデバイスにデータを無線通信してもよい。代替的または追加的に、携帯電話68は、本明細書に開示する画像処理のいくつかまたは全部を行うため、有線接続を介して1つまたは複数の他のコンピューティングデバイスにデータを通信してもよい。携帯電話68は、図示のように有線接続を介して、かつ／または無線接続を介して、超音波プローブ42に接続されてもよい。
【００６９】
周波数補償
超音波トランスデューサーは典型的に、限定された周波数応答を有する。広帯域のトランスデューサーであっても、Q ≡ f/Δf < 1.5 のQファクター（例えば約1.5未満のQファクター）を有する。トランスデューサーの有限のQは、周波数応答が減退しているスペクトル部分において振幅が増強された周波数スペクトルを備えた、比較的短い無線周波数（RF）パルスをデジタル的に生成することによって補償できる。平頂な周波数スペクトルを備えた望ましい無線周波数パルスは、デジタル‐アナログコンバーターでデジタル波形をアナログ無線周波数パルスに転換することによって作り出されてもよい。トランスデューサーの非線形周波数応答の補償はまた、デジタル信号を変化させることによって微細チューニングされてもよい。例えば、トランスデューサーのインパルス応答を反転させることによって補償関数が算定されてもよい（例えばグリーン関数）。トランスデューサーのインパルス応答を反転させるためにガウス平滑化が適用されてもよい。周波数補償が、超音波プローブによって送信されるパルスを形状決定してもよい。図5A〜5Dのいずれかにおける超音波プローブ42の送受信ハードウェア52が無線周波数パルスを生成してもよい。
【００７０】
平頂な広帯域の超音波エコー信号の全時間の記録を周波数空間にフーリエ変換することによって、異なる周波数の画像が作り出される。フーリエ変換された信号は、異なる周波数を中心とする、デジタルフィルタリングされたより狭帯域の信号のセットに分けられてもよい。フィルタリングはデジタルガウスフィルタリングで行われてもよい。フィルタリングされた各スペクトルは、異なる周波数を中心とする画像を作り出すため、フーリエ変換されて時間領域に戻されてもよい。したがって、単一の超音波パルスを用いて、異なる周波数を中心とする別々の画像のセットが作り出されてもよい。スペックル低減画像を形成するため、その別々の画像が複合される。これらオペレーションのいずれかが、それぞれ図5A〜5Dの複合デバイス44A〜44Dのいずれかの周波数複合ブロック53によって行われてもよい。周波数複合ブロックは、任意の好適なオペレーションを行って異なる周波数における超音波画像を作り出し、そして次にそうした超音波画像に対して周波数複合を行ってもよい。
【００７１】
周波数複合
リアルタイムの周波数複合を可能にするため高速フーリエ変換オペレーションが行われてもよい。少なくともいくつかの態様において、高速フーリエ変換（FFT）オペレーションが専用チップ上でリアルタイムで行われてもよい。他のさまざまな態様において、1つもしくは複数の特定用途向け集積回路（ASIC）；1つもしくは複数のマイクロプロセッサ；フィールドプログラマブルゲートアレイ（FPGA）など、1つもしくは複数のプログラマブル集積回路、または他のハードウェアを用いて高速フーリエ変換オペレーションが行われてもよい。周波数空間画像は、本明細書において論じるように（例えば、周波数応答が減退しているスペクトル部分において振幅が増強された周波数スペクトルを備えた、短い無線周波数パルスを用いて超音波トランスデューサーの有限のQを補償することとの関連において論じたように）離散化されてもよい。同じ高速フーリエ変換ハードウェアを用いて逆フーリエ変換が適用されてもよく、そして実空間画像が複合されてもよい。それぞれ図5A〜5Dの複合デバイス44A〜44Dのいずれかの周波数複合ブロック53が周波数複合を行ってもよい。
【００７２】
ビームステアリング
図5Aの超音波撮像システム40Aおよび図5Cの超音波撮像システム40Cは、ROIトラッキングとビームステアリングとを含む。ROIトラッキングをビームステアリング技術と組み合わせることにより、好適な数の撮像角度を通して超音波プローブ42を動かすことが望ましくないかかつ／または不可能である状況において、角度複合を容易にすることができる。図4Cに、オペレーター誘起性のひずみを低減および／または最小化しながらROI 24の複数の角度をキャプチャするためのビームステアリングの使用を図示する。
【００７３】
（例えば図4Bに示すような）手動回転を用いた画像のキャプチャは、ビームステアリング機構を用いた場合より困難である可能性があり、かつ、画像の正確性も低くなる可能性がある。手動回転は組織を著しくひずませる可能性があり、その結果、複数の角度にわたる画像の一貫性が低下する。さらに、より極端な角度については、および／または硬直した組織を撮像する場合は、手動回転が困難または不可能である可能性がある。図4Cに示すように、ビームステアリングは、組織表面22に沿った超音波プローブ20の水平モーションを補償するよう超音波ビームの方向を変えることによって、規定されたROI 24をオペレーターが撮像することを可能にしうる。特定の態様において、超音波撮像システム（例えば超音波撮像システム40Aおよび40C）が、超音波プローブのモーションを補償するようビームステアリングを自動的に調整することによって、規定されたROIを自動的にトラッキングするという点において、ビームステアリングが自動であってもよい。他のいくつかの態様において、ビームステアリングは、ビームをステアリングするための入力をオペレーターが提供する手動処理であってもよい。
【００７４】
ROIトラッキング
本明細書に開示する、スペックルが低減した超音波撮像のためのフレームワークにおいて、ROIを含むかまたはROIの一部分を含む超音波画像のセットがパースされ（parsed）てもよい。次にROIの空間位置が決定されてもよい。図5Aのオプティカルトラッキングフローブロック54および図5CのROIトラッキングブロック64は、ROIトラッキングを行えるROIトラッキングブロックの例である。例えば図5Dの超音波撮像システム40Dなどの後処理の態様において、大きなデータセットを選別するためにROIの位置が用いられてもよい。
【００７５】
任意の好適なROIトラッキングアルゴリズムが実施されてもよい。例えば、古典的アプローチおよび機械学習式アプローチが実施されてもよい。ROIトラッキングアルゴリズムの例には、非限定的に、ブースティング、カーネル化相関フィルタ（KCF）トラッカー、マルチプルインスタンス学習（MIL）、回帰ネットワークを用いた汎用オブジェクトトラッキング（GOTURN）、および高速オプティカルフロー解析が含まれる。例えば、いくつかのフレームにわたってROIをトラッキングするためKCFトラッカーアルゴリズムが用いられてもよい。ROIとのオーバーラップを増大および／または最大化するための位相アレイプローブの角度を決定するため、ROIトラッキングデータが解析される。これは、画像の最上部の中心（プローブヘッドが物理的に位置するところ）からROIの中心までの角度であってもよい。
【００７６】
ROIトラッキングの一例は高速オプティカルフロー解析である。超音波デバイスによってキャプチャされた超音波画像の継続的ストリームを高速オプティカルフロー解析することにより、ROIトラッキングおよびビームステアリング、ならびに画像選択のルーチンの両方が可能になる。
【００７７】
特定の命令でプログラミングされた1つまたは複数のコンピューティングデバイスによって実行されてもよいROIトラッキングアルゴリズムが、入ってくる超音波画像のストリームに適用されてもよい。ROIトラッキングアルゴリズムは、1つの画像の、先の画像からの相対変位を計算してもよい。このことは、ビームステアリング用にROIをトラッキングするため、ならびに、画像の複合およびレジストレーション用に所与の画像の相対的な変位および回転についての情報を提供するために用いられてもよい。少なくともいくつかの態様において、1つの画像の、別の画像からの相対変位を計算する前に、画像が著しく（例えば5倍、10倍、または10倍より大きい係数で）ダウンサンプリングされてもよい。そうしたダウンサンプリングは、ROIトラッキングアルゴリズムの計算を減らして、リアルタイムの計算スピードを高める可能性がある。さらに、ROIトラッキングアルゴリズムは、ダウンサンプリングされた画像を解析する場合も、充分な正確性を伴ったまま2つの画像間におけるROIの平行移動および回転を決定できる可能性がある。少なくともいくつかの態様において、利用されるダウンサンプリングの量は、（利用可能な計算リソースに依存する可能性がある）計算スピードと、1つの画像から別の画像への相対変位を概算するうえでの正確性との、トレードオフである可能性がある。
【００７８】
ROIトラッキング（例えばオプティカルフロー解析）によってトラッキングされるROIは、ビームステアリングのルーチンを導くために用いられてもよい。ROIに対する超音波プローブのモーションを補償するため、各画像ステップにおいてビーム位置が更新されてもよい。
【００７９】
画像選択
1つまたは複数のコンピューティングデバイスによって実行されてもよいアルゴリズムが、超音波画像のストリームから、既定の基準にマッチする複合用の画像を選択してもよい。既定の基準の一例は、先の1つまたは複数の超音波画像からの角度変位について閾値が満たされることである。すべての画像をレジストレーションしようとすることは、少なくともいくつかの態様において、計算的に高価になりすぎる可能性があり、かつ／またはリアルタイムのパフォーマンスをあらかじめ排除してしまう可能性がある。他のいくつかの態様において、計算リソースが、リアルタイムのパフォーマンスを維持しながらすべての画像をレジストレーションすることを許容する可能性もある。画像選択ブロック（例えば上述の画像選択ブロック56および／または67）は、利用可能な計算リソースに過負荷をかけることなくスペックル低減を向上および／または最大化するため超音波撮像システムが画像を選択することを可能にする。
【００８０】
特定の用途において、キャプチャされたすべての画像が複合される必要はない。最終的な画像におけるスペックル低減と計算負荷とのバランスを取るため（このことはリアルタイムのパフォーマンスを提供するうえで役立つ可能性がある）、入ってくる画像をフィルタリングし、そしてROI全体にわたるスペックル低減を増大および／または最大化させる画像を選択するアルゴリズムが提供される。同時に、そのアルゴリズムは、スペックル低減に対する価値がより低いかかつ／またはわずかである画像を棄却してもよい。スペックルは典型的に入射ビームの角度と相関するので、それぞれ少なくとも既定の回転だけ他から離れた画像のセットを選択することが有益である可能性がある。キャプチャされた画像の角度をトラッキングしつづけ、そして、ROIに対する入射角が所与の閾値を上回るかまたは下回る画像だけを画像ストリームから選択してもよい。
【００８１】
ROIが超音波プローブの視野より大きいならば、各角度における複数の画像をキャプチャしそしてつなぎ合わせてROIをカバーしてもよい。これは、ROIをセグメント化し、そして各セグメントについてキャプチャした角度の個々の記録をつけることによって実現されてもよい。
【００８２】
出力モニターおよび／または図5A〜5Dのユーザーインターフェース46などのユーザーインターフェースが、特定の方向からより多くの画像が必要ならば超音波プローブを所与のポジションに動かすようユーザーに促してもよい。少なくともいくつかの態様において、システムは、どの角度から画像がすでにキャプチャされているか、および／またはどの角度からの画像が必要かを同定するコンポーネントを含んでもよい。システムはまた、効率的な様式でスペックルをさらに低減するためどの角度から追加の画像をキャプチャすべきかをユーザーが容易に決定できるよう、そうした情報をユーザー向けに表示またはその他提示してもよい。
【００８３】
非剛体画像レジストレーション
図2A〜2Cとの関連において論じたオペレーター誘起性の変動、患者誘起性の変動、および屈折率変動など、物体の非剛体ひずみを補償するため、好適な数の自由度を伴って自動レジストレーションが実施されてもよい。
【００８４】
随意の数の超音波画像をアライメントするための画像レジストレーションのフレームワークを本明細書に提供する。このフレームワークの1つの例示的実施形態は、反復レジストレーションアルゴリズムを含む。そうしたアルゴリズムは超音波画像をレジストレーションするための唯一のやり方というわけではなく、本開示の技術は、図5A〜5Dのいずれかの超音波撮像システムなど、好適なスペックル低減フレームワークにおいて実施される任意の好適なアルゴリズムに当てはまる。画像レジストレーションブロック57は、超音波画像をレジストレーションするための任意の好適な画像レジストレーションアルゴリズムを実行してもよい。
【００８５】
図6A〜6Cを参照しながら非剛体画像レジストレーションの例を説明する。図6Aに第一の画像70Aを図示する。図6Bに第二の画像70Bを図示する。第一の画像70Aと第二の画像70Bとが同じROIに対応してもよい。第二の画像70Bは第一の画像70Aに対して弾性的にひずんでいてもよい。非剛体レジストレーションは、第二の画像70Bを弾性的にひずませて第一の画像70Aにマッピングするための変換を適用する段階を伴ってもよい。第一の画像70Aへの第二の画像70Bの非剛体画像レジストレーションにより、図6Cに示すレジストレーションされた画像70Cが生成されてもよい。非剛体画像レジストレーションは、本明細書に開示する非剛体画像レジストレーションの任意の好適な原理および利点とともに実施されてもよい。
【００８６】
画像および画像レジストレーションに関する数学を含むさらなる情報を次に提供する。画像I(xi, yi)は、座標空間 R2 = {xi, yi} → Rn で不連続サンプリングされた関数として定義されうる；このとき、集合{xi, yi}は画像を表すピクセルのアレイの座標であり、そしてRnは各ピクセル xj, yj についての n「色（color）」の値である。超音波撮像の場合、画像は単色であり n = 1 である。すると、2つの異なる画像は、2つの異なる座標空間上の2つのマップを表す。2つの画像のレジストレーションを可能にする画像変換は、座標変換 T(x, y):R2 → R2 として定義されうる。剛体平行移動の場合、T(x, y):(x, y) → (x+δx, y+δy)である。変換Tは新しい画像
2021527510.tif 000003
を合成するために用いられる。上述の剛体平行移動について、I' = I(x+δx, y+δy)である。
【００８７】
画像レジストレーションアルゴリズムの目標は、1つの画像に由来する座標空間内のポイントを別の画像の座標空間上にマッピングする変換Tを見つけることである。例えば、デカルトレジストレーションの場合、変換Tは、回転と垂直変位と水平変位との変化に対応する三次元ベクトルとして考えることができる。画像のうち1つが、その座標系内で定義される「固定」画像Sとして選択される。他方の画像は「移動」画像Mとして指定される。変換Tは、Sの座標(xi, yi)をMの座標
2021527510.tif 000004
にシフトさせる。2つの画像間に完全な相関およびレジストレーションがあるならば、S(x, y) = M(T(x, y)) である。したがって、完全なレジストレーション下において、移動画像と変換された参照画像とは同一である。便宜上、M' ≡ M(T(x, y)) を定義する。
【００８８】
非剛体画像レジストレーションの問題を図7Aに図示する。図7Aにおいてオオハシの画像が示されている。非剛体画像レジストレーションにおいて移動画像Mが固定画像Sに変換される。本開示は単色画像を伴う超音波画像に関するが、実施例における色は保たれており、対応するグレースケール値が画像マッチングに用いられることが想定されている。注意されたい点として、元の画像境界の外部にあるひずみを許容するため、画像MおよびSにピクセル値ゼロのマージンが付加されている。この実施例における変換Tは、平行移動された画像M'内の各画像ピクセル p' = (x, y) を移動画像M内の対応ポイントにマッピングする変位ベクトルの集合{ai}によってパラメータ化されている。換言すると、ベクトル{ai}は、変換された画像M'内のp'における輝度値が、p = p' + ai により移動画像M内のpにおける値によって与えられるよう、移動画像Mをサンプリングすることによって画像を構築する、離散化された変換Tを表す。
【００８９】
図7Bに、平行移動された画像M'内のp'から始まる変位ベクトルaiを図示する。p'における画像値は移動画像M内のpにおける画像値によって与えられる。図7Cに、変位ベクトル{ai}の部分集合の空間分布と、変形された画像M'とを示す。図7Cの右側に示す新しい移動画像は、図7Cの左側に示す変位ベクトル{ai}を用いて得られる。
【００９０】
非剛体レジストレーションは幾何学形状の局所変化を可能にするレジストレーション方法である。このことは、剛体操作を用いて画像間の良好な対応を実現できない時に有用である。図6A〜6Cは、図7Aの画像と同様に、良好なレジストレーションを実現するために非剛体のモーションが望ましい状況を図示している。
【００９１】
本発明者らは、最適なレジストレーションパラメータ{a}を計算するため反復勾配法に基づく方法を考慮する。対照的に、直接的なレジストレーション技法では、最適化のフレームワークを伴わずに画像からレジストレーションパラメータを推定する。例えば、ニューラルネットワークまたはブロックマッチングに基づくいくつかの技法では、単一の計算段階でパラメータを推定する。最適なレジストレーションパラメータ{a}を計算するための、反復勾配法に基づく方法は、変換の良好性を特性付ける計量値、または等価的に、変換座標と参照座標との対応を特性付ける計量値に関して、{a}を最適化する（または充分に最適化されたパラメータ{a}を少なくとも見つける）ことができる。計量値には、特徴に基づく計量値とピクセルに基づく計量値とを含む、大きく2つのカテゴリーがある。特徴に基づく計量値は、異なる画像間における不連続な数の顕著な点の対応を測定する。ピクセルに基づく計量値は、典型的には輝度または情報量についての他の代理物（proxy）を比較することによって、大域的な画像レジストレーションの問題をピクセルごとのベースで考慮する。
【００９２】
レジストレーションの問題は、エネルギー関数
2021527510.tif 000005
に対する一般的な最適化問題の言葉で捉え直すことができる。
【００９３】
右辺の第一項（M）はレジストレーションの「良好性（goodness）」または質を測定するレジストレーション計量値であり、一方、第二項（R）は非現実的なマッピングを不利にする正則化である。
【００９４】
超音波画像における非剛体ひずみを補正するため、異なる反復レジストレーションアルゴリズムを調査した。そうしたアルゴリズムには、（1）MATLABにおける「imregdemons」関数において実施される「demons」アルゴリズム、および（2）ADAM最適化法を用いかつPythonにおいて実施される勾配降下アルゴリズムが含まれた。下記の表1にこれら例示的アルゴリズムの概要を示す。これらのアルゴリズムは有望な結果を示している。
【００９５】
（表１）例示的な非剛体画像マッチングアルゴリズムの概要
2021527510.tif 000006
【００９６】
勾配降下アルゴリズムの一例をより詳しく説明する。例示的な実施形態において、画像ひずみはb-スプラインノードのグリッドによってパラメータ化されてもよい。スプラインとしてのこのパラメータ化はグラフィックアクセラレータチップを用いて迅速に計算できる。このパラメータ化は画像ワープパラメータ化と呼ばれてもよい。
【００９７】
レジストレーションの質はL2平均二乗誤差損失として測定されてもよい。これは高速で計算でき、かつ勾配降下最適化に資する。
【００９８】
ワープパラメータは局所的変形の損失によって制約されうる。これはワープ正則化と呼ばれてもよい。最近傍を考慮する1次元（1D）の実施形態を考える；ここでkiはワープノードである。
2021527510.tif 000007
【００９９】
この損失は容易に2次元（2D）に拡張できる。この損失はまた、内側の和に追加項を追加し、かつ和に対するそれらの係数を-1に正規化することによって、より長いレンジの「相互作用（interaction）」に対応するようにも拡張できる。
【０１００】
随意のレンジの相互作用を伴う2D正則化は、ワーピングパラメータをパラメータ化するスプラインノットのグリッドにわたる畳み込みの二乗として実施されてもよい。修正された2Dハミング窓がカーネルとして用いられてもよい；その場合、中心値は-1であり、そしてカーネル中の他の値は行列内の全要素の和が0になるよう正規化される。
【０１０１】
正則化の制約は、ワープパラメータが大域的な最小に近くなりしたがって比較的安定している可能性があるので、レジストレーションシーケンスの終わりに向かって緩和されてもよい。これにより、アルゴリズムは、最も微細なスケールのレジストレーション誤差を見つけることができる。
【０１０２】
勾配降下の例示的な実施形態で多重分解能ストラテジーが用いられてもよい。まず、よりきめ細かい画像へと進む前に、画像が粗いレベルでダウンサンプリングおよびレジストレーションされてもよい。レジストレーションの各ステップの後、アルゴリズムが所与の粗さレベルで収束したかを決定するため計量値が用いられてもよい。この計量値は、収束のレベルの代理物として平均勾配サイズをトラッキングする。平均勾配またはその一次導関数のいずれかが所与の閾値を下回った時に、アルゴリズムが所与の分解能で収束したと想定してより高い分解能に進んでもよい。
【０１０３】
スプラインノードのグリッドもまた、画像と同じ係数によって、各分解能レベルにおいてダウンサンプリングされてもよい。これにより、より高いレベルにおける問題の複雑度が低下しかつ過剰適合が生じる可能性が低下する可能性がある。
【０１０４】
レジストレーションパラメータを最適化するためAdam最適化法（例えば機械学習のためのAdam最適化アルゴリズム）が用いられてもよい。
【０１０５】
本発明者らの実施形態は、自動的なパラメータ最適化およびハードウェアアクセラレーションのためTensorflowを用いることができる。
【０１０６】
位相面変調
周波数および角度に加えて、撮像ボクセル内の位相面を変調することによってスペックルパターンが変動され（ゆえに複合を通じて低減され）てもよい。位相面変調は、ボクセル内の散乱体からの散乱光の相対位相を変化させ、ゆえにスペックルパターンを変化させる。これらのスペックルパターンを平均すると、結果としてスペックルが低減する。超音波における位相および振幅を両方とも検出する可能性があることにより、位相マスク（例えば受信端上の位相フィルタ）を用いずに位相面変調が実現されうる。受信信号のデジタル処理による位相面変調の方法を本明細書に提供する。
【０１０７】
位相面変調の詳細を説明する前に、動的受信集束を伴う超音波Bモード撮像のプロセスについて簡潔に述べる。
【０１０８】
図8に、トランスデューサー素子を用いて組織を撮像しているAスキャンの例を図示する。図8は、組織87のROI 86を撮像している超音波トランスデューサーのトランスデューサー素子85を図示している。ROI 86は、送信ボクセルと、受信ボクセルv1、v2、v3、およびv4とを含む。図8はROI 86の拡大図も含んでいる。トランスデューサー素子85がフェーズドアレイを形成してもよい。Aスキャンにおいて、単一の超音波パルスがトランスデューサー素子85のサブセットで送信されてもよい。トランスデューサー素子85のより大きなセットが受信に用いられてもよい。この結果として、送信ボクセルより高い横方向分解能を有する受信ボクセルv1、v2、v3、およびv4が生じてもよい。
【０１０９】
Bモード画像の形成において、一連の直線スキャン（Aスキャン）が行われてもよい。各Aスキャンにおいて超音波パルスが送信される。パルスの経路に沿った各位置において、軸方向および横方向の分解能により送信ボクセルが規定されうる。軸方向分解能は音パルスの持続時間によって Δz = Δt/c で与えられ、同式においてcは音速である；そして、横方向分解能は送信開口数によって Δx = λ/(2NAt) で決定される。送信において焦点深度の伸張を得るため、NAtが典型的に0.2より小さくなるよう、トランスデューサーアレイ素子85の比較的小さなサブセットが用いられてもよい。送信経路に沿った特定の深さzからのエコーを検出する時は、トランスデューサーアレイ素子85のより大きなサブセットまたは全部が用いられてもよい；それはNAtより大きな受信開口数NArを与え、結果として焦点がよりタイトになる。受信ボクセルから個々のトランスデューサー素子まで、またはチャネルの、異なる経路長は、各チャネルに時間遅延を適用することによって補償される。基本的な超音波撮像において、各送信ボクセルについて単一の受信ボクセルが存在してもよい。
【０１１０】
位相面変調を行うため、受信集束を通じて、送信ボクセル内に1つより多い受信ボクセルを置くことができる。受信ボクセルの最適数は比NAr/NAtに依存し、かつ典型的にNAr/NAtおよび2NAr/NAtの範囲内である。図9に対応する例示的態様において、送信ボクセル内の4つの受信ボクセルv1、v2、v3、およびv4を考える。受信ボクセルv1、v2、v3、およびv4は、パルスが媒質中へと伝搬する際に送信ボクセルとともに動く。ゆえに、各Aスキャンについて、各時間遅延における4つの受信ボクセルに対応してデジタル化される4つの信号ストリームA1(t)、A2(t)、A3(t)、およびA4(t)が存在する。これら信号の各々に追加の位相遅延φ1、φ2、φ3、およびφ4が適用される；それらは波面変調をエンコードしている。ここで、0またはπのいずれかである二値の位相遅延という最も単純なケースを考えるが、0〜2πのより多くの値が用いられてもよい。全体的な位相のあいまいさを回避するため、φ1 = 0 と設定する。ゆえに、このケースにおいて計 23 = 8 の異なる位相面が存在する。
【０１１１】
図9は、それぞれ受信ボクセルv1、v2、v3、およびv4に対応する受信信号A1、A2、A3、A4に適用されてもよい位相遅延φ1、φ2、φ3、およびφ4を図示している。全体的な位相は受信ボクセルからの信号のコヒーレント和の振幅に影響を及ぼさないので、φ1 = 0 と設定できる。図9における破線はボクセルの位相を接続しており、位相面を変調するための異なるやりかたを示している。
【０１１２】
位相変調は信号ストリームに時間遅延を適用することによって実現されてもよい。図10に、検出された受信ボクセルの信号Aへの位相シフトφの適用を図示する。位相変調φは、t = φ/ω の時間遅延tに対応する；同式においてωは音パルスの中心角周波数である。位相シフトは他の受信ボクセルについても同様に適用されてもよい。8つの異なる位相面は受信において8つの信号ストリームをもたらし、それらは次に、エンベロープ検出後に平均されてもよい。スペックル低減はおよそ
2021527510.tif 000008
であると期待される。
【０１１３】
実験結果
本発明者らは、1つのNvidia k20グラフィックス処理ユニット（GPU）を伴う単一の中央処理ユニット（CPU）上で実行される、1つの態様に基づくアルゴリズムが、1対の画像を約3秒以内に妥当な正確性でアライメントできることを見いだした。本発明者らは、アルゴリズムの最適化により、1セットの画像を1秒未満でアライメントできると信ずる。
【０１１４】
図11Aに、本明細書に開示する原理および利点に基づくアルゴリズムを用いてアライメントおよび複合した、ヒト手首の12枚の超音波画像のセットを示す。図11Bに、レジストレーションされた画像の位置を示す。手動掃引を用いて比較的高いフレームレートで50枚の画像のセットを収集し、そしてアライメント用に12枚を手動で選択した。完全なフレームワークにおいて、ROIトラッキングアルゴリズム（例えば高速オプティカルフローアルゴリズム）によって算定される相対角度に基づいて、画像が自動的に選択されてもよい。
【０１１５】
結論
以上に特定の態様を説明したが、これらの態様は例として提示されているにすぎず、本開示の範囲を限定することは意図されていない。事実、本明細書に説明する新規のデバイス、システム、装置、および方法は、他のさまざまな形式で具現化されてもよい。本開示の諸態様の原理および利点は、そうした原理および利点が恩典となりうる他の任意の好適なデバイス、システム、装置、および／または方法に用いられてもよい。さらに、本明細書に説明する方法およびシステムの形式におけるさまざまな省略、置換、および変更が、本開示の精神から逸脱することなく行われうる。可能なすべての組み合わせおよび下位組み合わせが本開示の範囲内に入るものと意図されている。例えば、ブロックが所与の配置で提示されているが、代替的態様において、異なるコンポーネントおよび／または回路トポロジーで同様の機能性が行われてもよく、かつ、いくつかのブロックが削除、移動、追加、細分、組み合わせ、および／または改変されてもよい。これらブロックの各々が、さまざまな異なる方式で実施されてもよい。別の例として、本明細書において論じる方法が任意の好適な順序で行われてもよい。本明細書に開示するいずれかの方法の任意の部分が、1つまたは複数のプロセッサによって実行される、非一時的なコンピュータ可読記憶媒体上に記憶された特定の命令との関連において行われてもよい。上述のさまざまな態様の要素および作用の任意の好適な組み合わせが、さらなる態様を提供するため組み合わせられてもよい。
【０１１６】
本出願において、請求項が単一の独立請求項の形式で提示される可能性があるが、技術的に実行可能でないことが明らかである場合を除いて、同種の先行請求項に従属するいずれの請求項も明確に企図されていることが理解されるべきである。
【図１Ａ】
2021527510.tif 000010
【図１Ｂ】
2021527510.tif 000011
【図１Ｃ】
2021527510.tif 000012
【図１Ｄ】
2021527510.tif 000013
【図２】
2021527510.tif 000014
【図３】
2021527510.tif 000015
【図４】
2021527510.tif 000016
【図５Ａ】
2021527510.tif 000017
【図５Ｂ】
2021527510.tif 000018
【図５Ｃ】
2021527510.tif 000019
【図５Ｄ】
2021527510.tif 000020
【図５Ｅ】
2021527510.tif 000021
【図６】
2021527510.tif 000022
【図７Ａ】
2021527510.tif 000023
【図７Ｂ】
2021527510.tif 000024
【図７Ｃ】
2021527510.tif 000025
【図８】
2021527510.tif 000026
【図９】
2021527510.tif 000027
【図１０】
2021527510.tif 000028
【図１１Ａ】
2021527510.tif 000029
【図１１Ｂ】
2021527510.tif 000030
【国際調査報告】
2021527510.tif 000031