(57)【特許請求の範囲】
【請求項１】
プローブを用いて複数フィールド又は複数フレームにわたって取り込まれた超音波画像信号を処理する装置であって、
各フィールド又はフレームの画像信号より生成される複数のフレームデータを動画像圧縮する圧縮手段と、
前記圧縮手段によって動画像圧縮された画像データのピクチャヘッドに前記プローブの位置及び傾き情報を書き込む書き込み手段と、
動画像圧縮データを記録する記録手段と、
を有したことを特徴とする超音波画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は超音波画像信号を用いて、観察する物体の断層面を３次元的に表示する超音波画像信号処理装置に関する。
【０００２】
【従来の技術】
一般に超音波診断装置は、そのプローブの形状により、リニア、コンベックス、セクタと呼ばれるタイプに大別することができるが、いづれのタイプの装置も観察物体の内部を非侵襲的に観察することができるのが特徴であり、特に医療の分野で広く診断に用いられてきている。
【０００３】
また、光学式エンコーダを使用した３次元スキャナにより得られた超音波診断装置からのビデオ信号をデジタル変換してメモリボードに取り込み、３次元画像の作成に必要なデータを選び出し演算して、立体再構成を行ない表示させるようなシステムがある。
【０００４】
【発明が解決しようとする課題】
しかし、前述した従来の超音波診断装置では、その画像により物体の断面の情報を得ることができるが、その画像はあくまでも断面を正面から見たような画像となっており、観察者の視点での見え方とは多少異なっている場合があり、診断上好ましくないこともあった。
【０００５】
また、立体再構成を行なうシステムにおいては、再構成に必要な大量な画像データを蓄積しなければならなかったために装置規模が大きくなり、かつ膨大な演算が必要とされたために処理時間が長くかかってしまい、リアルタイムでの観察は行なえなかった。
【０００６】
そこで本発明は、超音波診断画像をリアルタイムで３次元的に表示することを可能とし、再構成に必要な大量の画像データを蓄積しても装置規模が大きくならない超音波画像信号処理装置及びそのシステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上記目的を達成するために、プローブを用いて複数フィールド又は複数フレームにわたって取り込まれた超音波画像信号を処理する装置であって、各フィールド又はフレームの画像信号より生成される複数のフレームデータを動画像圧縮する圧縮手段と、前記圧縮手段によって動画像圧縮された画像データのピクチャヘッドに前記プローブの位置及び傾き情報を書き込む書き込み手段と、動画像圧縮データを記録する記録手段とを有する超音波画像信号処理装置を提供する。
【０００９】
以上のような構成の超音波画像信号処理装置は、圧縮手段により得られた画像信号を動画像圧縮して画像データを生成し、その画像データのピクチャヘッドに対して、書き込み手段により、３次元空間内での位置に係る複数のデータ例えば、撮像されたプローブの位置及び傾き情報又は観察者の観察条件に係る情報を付加して記録する。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
図１には、本発明による第１の実施形態としての超音波画像信号処理装置の概略的な構成を示し説明する。
この超音波画像信号処理装置は、大別して、スキャナ部、電子走査型超音波診断部、画像処理部、記録再生部、表示部から構成される。
【００１１】
前記スキャナ部は、電子走査型プローブ１と機械的に連結された３次元情報取り込み部２によって構成される。ここで、前記３次元情報取り込み部２は、従来の技術で述べた３次元スキャナの場合では、光学式エンコーダであり、各フレームの３次元空間内での位置及び面の傾きを知ることができる。
【００１２】
前記電子走査型超音波診断部は、電子走査型超音波診断装置３からなり、電子走査型プローブ１へパルスを供給すると共に、受信したエコー波をアナログビデオ信号に変換し出力する。また入力部４は、本システムで用いるパラメータの設定又は変更を行い、テキスト等を入力するものであり、マウス等のポインティングデバイスが接続されている。
この画像処理装置は、超音波診断装置からのアナログビデオ信号を、後述する処理を施した後、記録再生装置や表示装置をインターフェイスする。
【００１３】
まず、電子走査型超音波診断装置３で得られたアナログビデオ信号は、Ａ／Ｄ変換器１１でディジタルデータに変換され、スイッチ１２を介して画像メモリを含む透視投影処理回路１３に入力される。このスイッチ１２の切換えはＣＰＵ１４によって制御され、後の処理をＡ／Ｄ変換器１１からの入力信号に施すか、後述する記録再生部から読み出した画像信号に施すかを切り換えるものである。
【００１４】
また、透視投影処理回路１３による透視投影するための座標変換処理が画像メモリ上で行なわれる。この座標変換処理は、３次元情報取り込み部２から出力される３次元位置、角度情報を基にＣＰＵ１４によって演算が行なわれ、透視投影コントローラ１５からの制御信号によって制御される。
【００１５】
そしてＣＰＵ１４に制御されるスイッチ１６の切換えによって、透視投影処理回路１３を介するか省くか、すなわち、透視投影処理を施すか、施さないかを選択した後、記録再生部及び表示部へ伝送するための処理を行なう。
次に記録する場合には、ＭＰＥＧエンコーダ１７によって動画像の国際標準圧縮方式であるＭＰＥＧフォーマットに圧縮した後、バスコントローラ１８でＣＰＵ１４からのデータを付加して記録再生部の光磁気ディスク（ＭＯ）１９に記録する。
【００１６】
また、データ表示は、Ｄ／Ａ変換器２０によってアナログ信号に変換した後、ＴＶモニタ２１やＦＭＤ（フェイス・マウンテッド・ディスプレイ）２２に表示される。
さらに、光磁気ディスク１９に記録されたデータを読出す場合には、バスコントローラ１８によって、ヘッダデータを読み出した後、ＭＰＥＧデコーダ２３によってデータを伸張し、スイッチ１２を介して透視投影処理回路１３に送出される。
【００１７】
なお、本実施形態では超音波診断装置と画像処理装置を分けた構成で説明したが、これらを一体化することも可能であり、その場合は電子走査型超音波診断装置３からディジタル信号を直接取り出せるため、Ａ／Ｄ変換器１１は不要であり、よりシンプルな装置となる。
【００１８】
次に前述した３次元スキャナにより得られる一連の超音波画像について説明する。例えば、図２に示す装置は医療用で、内部に破線で示すような可動なプローブを備えており、底面は観察しようとする患者の体に密着させる部分であり、球面の形状をしている。このプローブを矢印方向に一定速度で動かしながら超音波画像を取り込んでいる。
【００１９】
この時、プローブの位置は正確に判っているので、各画像により切り出されている断面の位置も正確に把握できる。本装置のプローブは通常の位置から前後にそれぞれ３０度の角度で傾けられるようになっており、端から端までの６０度を毎秒３０フレームづつ４秒間でスキャンするようになっている。
【００２０】
こうして得られた１２０枚の画像を再び３次元空間に並べ直したものを、見やすくするためにフレームを間引いて鳥瞰図的に観察すると図３に示すようになっている。このように本発明は、３次元空間内に配置されている各フレームの位置関係を感覚的に把握し易くするために、これを適当な位置から観察したように表示させる透視投影を行なっている。
【００２１】
図４は、視点変更のための透視投影を行なうときの情報を表している。
図４において、１フレームの超音波画像について考えるとすると、その超音波画像の３次元空間内での座標を特定するためのデータとしては、その画像の面の方程式が判っていて、画像中の少なくとも１点の位置が特定されていることが必要である。そこで、画像中の左上隅の３次元空間内の座標３１と、画像を含む平面の法線ベクトル３２を与える。
【００２２】
一方、その面を観察する条件としては、観察者の位置と、視線と、視野角を定める必要がある。そのほかに、観察者が首を傾けながら観察している場合の表示が行なえるようにするために、観察時の上方向を定める必要があるが、本発明においては画像の自然さが求められているため、観察時の上方向を超音波画像の上方向と一致させるている。
【００２３】
そこで、観察者の視点３３と、視線を決定するために観察者が注目している点３４と、視野角３５を与える。ただし、視野角３５は注目点から水平方向にどこまで離れた点が視野に入るのかを角度で表したものとしている。ここで、座標系は、一般的に右手系と呼ばれるものを使用しており、即ち、水平方向右向きをｘ軸、鉛直方向上向きをｙ軸、そして手前向きをｚ軸のそれぞれの正としている。これらの条件が与えられれば、画像の透視投影を行なうことができ、あたかも指定した観察位置から観察しているような画像を再生させることができるようになる。以下に投影の考え方について簡単に説明する。
【００２４】
まず、視点３３から視野に入る空間の中に、視線と直角に位置する投影平面３６を考え、この投影平面３６の視野に入る部分を画像の画素数に応じて分割する。そして、その視野に入る部分の各画像と視点とを結ぶ直線を求め、各直線と超音波画像の平面との交点を求める。この各交点における画像の値を投影後の画像の値とする。
【００２５】
次に本発明において超音波画像を表示する装置の一例として、眼鏡型ディスプレイ（以下ＦＭＤ）について説明する。
例えば、特願平３−２９５８７４号の「像観察装置」に開示されているＦＭＤは図５に示すような構成となっている。この図では、使用者の頭部４１、眼球４２ａ，４２ｂを表しており、部品４３ａ，ｂ〜４８ａ，ｂによる構成で顔面に保持するメガネ型のヘッドホン付きディスプレイである。スピーカ内蔵の信号処理部４３ａ，ｂでは音声信号を再生しながら、画像信号を自己発光型二次元表示素子４４ａ，ｂに表示させ、それを結像レンズ４５ａ，ｂ、光軸屈曲用くさび型プリズム４６ａ，ｂ、開口絞り４７ａ，ｂ、及び非球面型凹面鏡４８ａ，ｂを用いて眼球内部に投影される。
【００２６】
この画像及び音声信号処理は右、左それぞれに独立して行なわれるようになっているので、立体映像及びステレオサウンドとして再生させることができる。本装置は、眼球の視度に合わせて非球面型凹面鏡４８ａ，ｂの作る虚像の位置を適当な位置にできるよう、自己発光型二次元表示素子４４ａ，ｂの位置を光軸方向に移動調整できる機能を有している。また、非球面型凹面鏡４８ａ，ｂは、その反射率を変えることができ、スイッチの切り替えによって素通しでＦＭＤの外部を見るいわゆるシースルー観察を行なうことも可能である。
【００２７】
次に観察倍率を決定する視野角の決定方法について説明する。
まず、超音波画像内の見かけの大きさと実際の物体の大きさとの関係を求めるとする。図６（ａ）に示すように大きさｈの物体５１を、距離ｄだけ離れた視点５２で観察しているように表示させる場合を考える。この物体の画像を図６（ｂ）のＦＭＤ５３を用いて表示させる時、図で表されるように、ＦＭＤの片側視野角θが１６度で、表示領域５４の中に３６０画素が存在すると、物体５１がディスプレイ上で下式のｘで表される画素数で領域５５の大きさに表示されている時に、見かけの大きさが一致する。
【００２８】
ｘ＝（３６０×ｈ）／（ｔａｎ１６°×ｄ）
つまり、ｈの大きさの物をｄの距離から実際に観察しているときに感じる大きさと、ディスプレイ上でｘ画素で表示されているものを見たときに感じる大きさとが一致することになる。
【００２９】
例えば、等倍で表示させるとき、撮影時に取り込まれる画素数がディスプレイの画素数と等しいとすれば、透視投影のときの視野角を１６度として観察距離をｄとなるように視点を定めてやればよいことになる。
【００３０】
一方、実際の観察よりも倍率を大きくして表示したり、遠近感を強調したりしたいときなどに、見かけの大きさを異ならせて表示させる必要があるが、その場合には視野角と観察距離を適当な値にしてやればよい。つまり、透視投影処理で用いる観察条件のパラメータを操作しながら投影変換を行なうことで、同時に倍率を変化させて表示することができるので、ハード上の兼用化が可能となり電子的ズームイン・ズームアウトのために新たに手段を設ける必要がない。
【００３１】
本発明では図１に示したＣＰＵ１４に対して、入力部４によりこれらを任意の値に設定することができる。
次に立体画像の再生可能な装置への出力画像の生成方法について説明する。
【００３２】
視点を左目と右目の両方について用意し、それらから透視投影により求めた左画像と右画像をそれぞれ作成し、左右の目で別々に観察できるように表示させる。例えば、ＦＭＤを利用するとき、左右の目で見る画像を偶フィールド、奇フィールドのそれぞれに割り当てる場合、左画像と右画像を偶フィールドと奇フィールドのそれぞれに記録する。そしてＦＭＤでは、偶フィールドの画像を左目用の表示素子に出力し、奇フィールドの画像を右目用の表示素子に出力する。このとき、左目と右目のそれぞれの視線は、注目点と両眼で異なった視点とを結んだものになるので当然それぞれ異なったものになり、再生画像が視差を持つことにより立体視され、より空間的配置を理解し易くなる。
【００３３】
ＦＭＤのような３次元画像表示装置に出力する場合には、前述の視点から眼幅の半分の距離だけ左の位置を左目視点とし、逆に右の位置を右目視点とする。そして、この２つの視点と注目点とを結んだ左目視線と右目視線とで透視投影を行なうが、この眼幅を変えることで立体視するときの視差を変化させることができ、例えば、実際の３次元空間内での位置関係よりも、奥行き感を強調したような表示にすることも可能である。
【００３４】
この奥行き強調も、透視投影のパラメータを変更するだけで実現でき、このために新たに手段を設ける必要がないのは前述した電子的ズームイン・ズームアウトの場合と同様である。そこで、本発明では前述した入力部４より眼幅を操作者の好みにより変化させることができるようになっている。
【００３５】
本発明では、より立体的感覚を把握し易くするために、表示画面の中に３次元方向のスケール（３次元スケール）を併せて表示させることができるようになっている。以下の３次元スケールを表示させる機能を有した第２の実施形態について図を用いて説明する。
【００３６】
例えば、図７（ａ）は４枚のフレームの画像が３次元的に表示されている状態で、ｘ軸６１、ｙ軸６２ａ、ｚ軸６３ａのそれぞれの座標軸に実寸の目盛りが付けられて、スケールとして表示されている。この座標軸は空間内の任意の位置を原点として作成されるようになっており、図においては３軸の正の値をとる座標だけが表示されているが、負の値についても表示させることが可能で、また、指定した座標軸だけを表示させるようにすることもできるようになっている。
【００３７】
この座標軸の内、表示させる軸を決定させる方法としては、操作者が入力する以外に、視点の位置によってそれぞれの座標軸を表示させた場合の効果を判断し、効果があると判断されたもののみを表示すること可能である。例えば図７（ａ）の場合、ｘ軸６１は画像と重なってしまい、観察するには、むしろ無い方が好ましいと判断できる。また、ｙ軸およびｚ軸の値の範囲は超音波画像の存在する範囲を充分カバーできる大きさのものであることが望ましい。
【００３８】
このようにして座標軸の表示を決定した例が図７（ｂ）である。
前述したように決定された座標軸を実際に図７（ｂ）のように表示させる方法について、図８に示す構成を用いて以下に述べる。
【００３９】
まず座標軸を画面のどこに配置するかを決定するために、座標軸の原点を決定する。次に、前述したように決定した大きさの座標軸をスケール作成部７１により２値画像として作成し、超音波画像と同様に投影変換処理部７２にて透視投影を行なった画像にした後、合成部７３にて超音波画像にオーバーレイさせている。そして、合成された画像信号は圧縮手段等を備えた記録部７４に記録され、表示部７５に送られて表示される。
【００４０】
この座標軸は多値画像のものでもよく、ＣＰＵ７６からの指示により合成部７３はこのスケールを指定した色を付けて表示させたり、超音波画像とのエクスクルーシブオア（ＸＯＲ）をとるようにしたり、観察者の好みにより点滅させたり、表示を停止させたりすることができる。また、スケールはＣＰＵ７６に接続されているマウス７７によって画面内の任意の位置へ移動させることができる。
【００４１】
このスケールを表示させることによって、物体の大きさやフレーム毎の位置が測定し易くなる他に、ＦＭＤでの観察の場合フレーム内に左右の視差の基準点ができて、より立体的感覚を得易くなるといった効果が生ずる。尚、本実施形態で説明した機能と、図１で示した実施形態との対応は、図８に示すスケール作成部７１、投影変換処理部７２、合成部７３は図１における透視投影処理回路１３に含まれる。また、記録部７４と表示部７５は、図１におけるＭＰＥＧエンコーダ１７、バスコントローラ１８、光磁気ディスク１９とＤ／Ａ変換器２０、ＴＶモニタ２１、ＦＭＤ２２とＭＰＥＧデコーダ２３にそれぞれ対応している。
【００４２】
次に、この様な装置による画像信号の記録方法について説明する。
【００４３】
まず図９にはＭＰＥＧのデータ構造例を示し簡単に説明する。シーケンス層は複数のＧＯＰ層と呼ばれる画像データの集合から構成されている。そしてこのＧＯＰ層は、ある枚数のピクチャ層と呼ばれるフレームのデータから構成されている。このとき各層はその層の先頭に各層のデータに関する情報をヘッダとして記録している。図９で８１はシーケンスヘッダであり画像のサイズや量子化マトリクスなどのデータが書込まれる。８２はＧＯＰヘッダでタイムコード等を含んでいる。８３、８５及び８７はピクチャヘッダで、符号化のタイプや動ベクトルに関する情報が書込まれる。そして、８４、８６、８８はそれぞれがフレームのデータであり、上述の各ヘッダにはそれぞれユーザが定義できる領域が含まれている。
【００４４】
次に、本発明の超音波画像信号処理装置による実際の記録動作について説明する。
透視投影変換を行なう前のオリジナル画像はビデオ信号として出力されているので、そのままＶＴＲ等に記録することもできるが、３次元データを記録しておくことや検索性および記録性等から、プローブの位置及び傾き情報又は観察者の観察条件に係る情報を付加してディジタルで記録されていることが望ましい。つまり、シーケンスを動画像圧縮記録の国際標準方式であるＭＰＥＧで記録し、各フレームの３Ｄ座標データつまり、左上隅座標と法線ベクトルはコード化した後、ピクチャヘッダに記録するようにしている。
【００４５】
一方、透視投影変換を行なった画像もビデオ信号としてそのままＶＴＲ等に記録することが可能であるが、やはり検索性等の面からディジタル化されたデータとして記録されていることが望ましい。この記録の際に、オリジナル画像を取り込んだ装置に関する情報や、透視投影後の画像であることを示すフラグと投影時の視点、注目点、視野角に関する情報は、シーケンスヘッダに記録するようにしている。
【００４６】
この変換前の画像と変換後の画像のどちらを記録するのかを切り替えるのは、図１に示したスイッチ１６により行なっている。また、再生時にはスイッチ１２を切り替えて、読み出された信号を透視投影処理部１３に送っている。そして記録されていた信号が変換前のオリジナル画像であった場合は、スイッチ１６を切り替えて透視投影処理部１３からの出力を表示部へ送り、変換後の信号であった場合は透視投影処理部１３を通さないで表示させるようにスイッチ１６を切り替えている。
【００４７】
また、前述した３次元方向のスケールはオーバーレイされた画像を記録することもできるが、オーバーレイせずに、超音波画像のみを画像データとして記録し、スケールは符号化してシーケンスヘッダのユーザデータ領域に記録するようにすることもできる。この時、図８に示す合成部７３では、オーバーレイした画像を表示部７５に出力し、オーバーレイしていない変換後の超音波画像を記録部７４に出力している。そして、ＣＰＵ７６にてスケールに関する情報を符号化した信号を作成して、記録部７４に送っている。記録部７４は送られた信号からヘッダを作成し、画像信号を符号化してＭＯや磁気テープ等の媒体に記録する。
【００４８】
前述したスケールの符号化方法は、画面上での始点と終点および目盛りの間隔を記録しているが、再生装置にてスケールを再構成することができるだけの情報が記録されているならば、どのような方法であっても構わない。
【００４９】
このように、透視投影前後の画像をそれぞれ記録する機能を有するのは、投影前の画像を記録しておけば、超音波画像取り込み装置からのオリジナルの最も解像度の高い画像を残しておくことができ、さらに本発明の透視投影再生装置を利用することで、観察位置を任意に変更した透視投影画像を得ることができる。
【００５０】
一方、透視投影後の画像を記録しておけば、透視投影機能のない通常の再生装置にて再生が可能となるからである。
【００５１】
次に、この超音波画像信号処理装置において、記録されるフレームについて考えてみる。
通常、超音波画像は画像と垂直な方向に対して有限な解像度を持っており、ここで１フレームで分解できる最小の厚さの値をｒ［ｍｍ］とし、プローブが幅ｗ［ｍｍ］を時間ｔ［秒］だけ掛けて、１秒毎にｓフレーム［フレーム／秒］の画像を取り込んでいるとすると、
ｒ＞ｗ／（ｓｔ）［ｍｍ／フレーム］
の場合オーバーサンプリングである。ここで、本発明において観察部位の動きの少ない場合、ｗ／（ｒｓｔ）の比率でフレームをリサンプリングして記録情報量を減らすことができるようになっている。
【００５２】
図１０に、その判断を行うフローチャートを示し説明する。
まず、記録媒体節約モードがオンか否か判断し（ステップＳ１）、オンである場合（ＹＥＳ）、次にｒ＞ｗ／（ｓｔ）か否か判断し（ステップＳ２）、その結果が真であるとき（ＹＥＳ）、（ｒｓｔ）／ｗを小数点以下切捨てを行って整数化した値ｉを求める（ステップＳ４）。前記ステップＳ１でオフ，ステップＳ２で偽であった場合には（ＮＯ）、値ｉ＝１に設定し（ステップＳ３）、後述するステップＳ６に移行する。
【００５３】
次にステップＳ４で求めた値ｉに基づき、観察画像の動きの早さからそのフレームレートの最小値ｍを求め、その値がｓ／ｉ以下であるか否か判断し（ステップＳ５）、真であれば（ＹＥＳ）、ｓ／ｉ［フレーム／秒］のフレームレートで記録を行なう（ステップＳ６）。もし偽であれば（ＮＯ）、ｉは条件を満足する最大の整数を求めるためにｉから１を減じ（ステップＳ７）、ステップＳ５に戻る。ここで、最小フレームレートｍは図１の入力部４のキーボードからの入力によるものでも構わないが、例えば、圧縮回路の動きベクトル検出回路を用いてブロック毎に動きベクトルを求めて、それらの動きベクトルの中で、最も大きいものを利用して最小フレームレートを自動的に決定するようにしても良い。
【００５４】
これまでプローブを機械的に移動させて連続的に超音波画像を取り込んだ場合の例を示してきたが、本発明による第３の実施形態として、超音波画像信号処理装置に用いられる超音波画像の取り込みに関する他の例について説明する。
【００５５】
ここで、図１に示した３次元情報取り込み部２の例として、３Ｄ（３次元）マウスについて説明する。
【００５６】
図１１は磁気方式の３Ｄマウスの概念的な構成を示したものである。
【００５７】
この３Ｄマウスにおいて、ソース９１はｘ、ｙ、ｚ３軸にコイルを巻いた直交コイルであり、ドライブ回路９２に駆動されて、所定の磁界を発生する。この磁界中でソース９１に対峙させ、複数の直交コイルからなるセンサ９５を置くと、センサ９５の各コイルに電流が誘起される。この誘起された電流は、磁界の強度に比例するため、検出回路９４で電圧に変換された後、ＣＰＵ９３によって距離・角度情報として出力される。
【００５８】
この距離・角度情報とは、図１２に示すように、ｘ，ｙ，ｚで表される位置及び、Ｑｘ  ，Ｑｙ  ，Ｑｚ  で表される各軸での角度である。従来、３次元位置センサを３個使用して３次元情報を取り込んでいたが、この３Ｄマウス１個で実現できるようになり、装置が非常にコンパクトに設計できるようになる。
【００５９】
この３Ｄマウスを超音波プローブに取り付けた場合、プローブを移動させながら超音波画像を取り込み、その各フレーム毎の基準座標と法線ベクトルを同時に得ることが可能である。このプローブを用いれば、操作者が自由にプローブを移動させたり、傾けたりしながら取り込んだ超音波画像でも透視投影を行なった観察が可能なことは言うまでもなく、前述したように３Ｄ座標データをヘッダに付加した記録を行なうことで、診察が終った後でも、その映像がプローブをどのように動かしながら取り込んだものかが判る。
【００６０】
前述した３Ｄマウスのついたプローブを超音波による断面と同一平面内を移動させて取り込んだ超音波画像は、一部重なり合う部分を持って並んでいる。これをプローブの位置情報によって連続した広画角の画像を得られる。
【００６１】
例えば、図１３に示すように２つの画像９６，９７が並んでいる場所から取り込まれたとすると、通常の観察では、どちらか一方だけしか表示させることができなかった。しかし、この２枚の画像から１枚の画像９８を作ることにより、従来はプローブの大きさにより制限されてしまっていた観察領域の範囲を広げることが可能となった。つまり、観察したい範囲に応じて必要な枚数の画像を取り込むことにより、例えば肝臓の様に大きな臓器を一枚の超音波画像の中に表示することができるようになった。
【００６２】
また、複数のプローブを用いて、各プローブからの信号を上記方法と同じようにして広画角超音波画像を得ることもできる。従って、プローブの移動にかかる時間を短縮することができるため、動きのある部分の観察にも画像のずれが生じることがない。
【００６３】
次に第４の実施形態として、本出願人が提案した特願平４−８９０９２号の「撮像装置」および特願平４−９４４７３号の「電子カメラ」に開示されている画像の合成アルゴリズムを本発明に適用した例について説明する。
【００６４】
図１４に示すように、互いにエリアの一部が重なるように、取り込まれた２つの画像信号の画像１と画像２が画像記憶部１０１に一時的に記憶される。画像記憶部１０１から読み出された重なり領域の画像信号に基づいて、変位量検出部１０２で検出された変換係数（回転量Ｒ、ずれ量Ｓ）により、各画像の相対的な画素位置が特定される。補間部１０３は、複数の画像の画素値に補間演算を順次、用いて画素値を補正し、重ね合わせのための補間画像信号を得る。この補間画像信号と、画像記憶部１０１の信号を合成部１０４で合成し広画角の画像として出力している。
【００６５】
この方法によれば、３Ｄマウスによる３Ｄ座標情報の値の精度があまり高くない場合でも、重なり部分の信号から２つの画像の相対的な位置関係を精度良く求めることができるので、合成された画像の接続部分が、不連続にならないといった特徴を持つ。ここでは入力画像を２枚用いた場合について説明したが、さらに多くの画像を用いることでさらに広画角な投影画像を得ることができるようになる。
【００６６】
さらに、前述した３Ｄマウスを観察者の動きの検出に用いた場合、３ＤマウスとＦＭＤとを組み合せて、観察者の頭部の動きを検出するようにして頭部の動きに連動して画面をスクロールする機能を持たせることも可能である。つまり、前述の広画角画像を観察する際に、その一部を画面に表示させておき、画面内に入り切らない部分はそちらに顔を向けることで画面がスクロールされて画面に入ってくるように表示させる。これにより、ＦＭＤの視野に入らない大きさの画像も仮想的に画像の空間を広げて取り扱えるようになる。
【００６７】
次に本発明の超音波画像信号処理装置による第５の実施形態として、超音波画像から特定の臓器を抽出して形状を測定したり、特殊な観察を行なう例について説明する。
【００６８】
図１５は超音波画像に対して、画像の形状解析に使われる手法として一般的な境界抽出処理や、輪郭線抽出処理を施して、胆嚢等の臓器の領域を抽出した例であり、超音波画像１１１の中からテクスチャーの不連続部分を探し出してその境界線画像１１２を得ている。この境界線は臓器の表面の一部分であり、複数のフレームから抽出された境界をワイヤーフレームで表示させたり、補間を行いながらつなぎ合わせて臓器の表面を取り出し、ハッチング処理等を行って表示させることができる。
【００６９】
図１６に、このような処理を実施するための回路の構成例を示している。前述した３次元スキャナを用いた例で、スキャナ部１１３から取り込まれた１２０フレームの超音波画像シーケンスはメモリ部１１４に一旦記録される。この信号は２つに分けられて一方はこれまで説明してきた透視投影部１１５にて投影変換される。そしてもう一方の信号は臓器表面抽出処理部１１６にて各フレーム毎に臓器表面の抽出を行い、それを立体再構成部１１７にて３次元空間内でのワイヤフレームにして、透視投影部１１８にて投影変換を行う。
【００７０】
これらの２つの投影変換後の信号は、信号合成部１１９にて合成された後、表示部１２０のＦＭＤに表示される。このワイヤフレーム化された臓器情報はシーケンス中で不変であるが、各フレームにて超音波画像の断面と交叉する位置が異なっている。そこで、合成するときに、超音波画像面よりも観察者側の部分のワイヤフレームを実線で表示させ、向こう側の部分を破線で表示させるようにしている。
【００７１】
この手法において表示は、１２０フレームのシーケンスを繰り返し再生するようにしているので、臓器部分の３次元再構成がリアルタイムに行うことができなかったとしても、再構成が完了し次第合成するようにしている。このときの、繰り返し読み出されるシーケンスを記憶しているメモリ部１１４については、媒体は半導体の他に、光磁気ディスク等で構成しても構わなく、画像圧縮伸長回路を内蔵させたものを用いて記憶する信号にデータ圧縮処理を施すようにしたものでも構わない。
【００７２】
本発明の第６の実施形態としての超音波画像信号処理装置において、更に入力されるシーケンスに対して、時間的に前のフレームの信号をたし合わせて残像効果を与えるような処理を行なうこともできる。
図１７はこの残像処理を行なったものを透視投影して表示させる場合の信号の処理を表している。画像入力部１２１からのシーケンスは透視投影部１２２にて変換された後、乗算器１２３にて係数ａを乗じられ、メモリ部１２５の信号に乗算器１２６にて係数ｂを乗じた信号と加算器１２４でたし合わされる。
【００７３】
この結果は、次のフレームの信号とたし合わせるためにメモリ部１２５に書き込まれるものと、表示部１２７に送られるものとに分けられる。ただし、ここで用いられる係数ａ及びｂは、フレームの重みを表すもので、ｂの値が大きくなるほど残像効果が強くなり、両者はたすと１となるように定められたものである。この構成を用いることで、画像のフレーム間の変化を残像として見ることができるようになり、空間的な配置を更に把握しやすくなる。
【００７４】
これまで投影変換のパラメータを変更することで１つのオリジナルシーケンスから様々な状態で観察しているような画像を作成することができることを説明してきたが、これらを同時に見たいという要望もある。
【００７５】
第７の実施形態として、例えば図１８で入力画像が透視投影処理部１３１に送られ、そこで正面、左、右、上からの４つの視点からの観察画像を作成し、その４つの画像をマルチ画面作成部１３２にて、それぞれを図１９に示す如く画面の第１象限から第４象限に表示させるマルチ画面１４０とし、表示部１３３に送るようにする。このとき表示画面を４分割しているので、１つの画面は４分の１の大きさに縮小されているのだが、先に説明したように、透視投影変換のパラメータを入力部１３４によって適当な値にしてやることによって同時に縮小された画像にすることができるので、縮小画像を作成するための回路は必要ない。そして、適当な位置から観察しているように変換するためのパラメータの計算及びこれらパラメータの設定や、マルチ画面のレイアウトの情報の提供も、ＣＰＵ１３５により行なわれる。また、透視投影処理は、各パラメータ毎に独立で処理されているので、分割数が多くなって１つの透視投影処理部だけでは計算が間に合わなくなった場合は、透視投影処理部をパラレルに複数接続してそれぞれに計算させるようにすることも可能である。図１８の破線で囲まれている部分はそのような時に、透視投影処理部１３１ａ、１３１ｂ、…のように増設していった場合の例で、通常は必要ない。
【００７６】
以上説明した本発明の超音波画像信号処理装置を医療の分野で超音波画像を観察しながら処置を行う場合の一例を述べる。
例えば、注射針状の器具を腹部の内部に挿入し、同時に超音波画像でその位置を確認しながら目標組織の細胞を採取して検査を行なったり、癌組織に直接抗癌剤を注射することが行なわれている。そのような処置では、針の先端の位置と組織との位置関係をリアルタイムに得られることが望まれている。そのような場合に本発明の超音波画像信号処理装置の映像をＦＭＤを用いて観察することで、立体的に針の先端と目標組織とを見ながら作業が行なえるため、非常に正確で、安全に組織の細胞を採取することができるようになる。このときＦＭＤのシースルー切り替えスイッチにフットスイッチ等を用いれば、シースルー機能を利用して超音波画像と実際の作業をしている手元を見ることを、ＦＭＤの取り外しを行わずにかつ作業を中断することなく切り替えることができ、非常に安全でかつ便利である。
【００７７】
また本発明は、前述した実施形態に限定されるものではなく、他にも発明の要旨を逸脱しない範囲で種々の変形や応用が可能であることは勿論である。
【００７８】
以上詳述したように本発明によれば、各フィールド又はフレームの画像信号により生成される複数のフレームデータと、各フィールド又はフレームの３次元空間内での位置に係る複数のデータを圧縮して記録するように構成したので、再構成に必要な大量の画像データを蓄積しても装置規模が大きくならない超音波画像信号処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態としての超音波画像信号処理装置の概略的な構成を示す図である。
【図２】３次元スキャナの構成例を示す図である。
【図３】図３に示した３次元スキャナによるスキャン状態を鳥瞰図的に示した図である。
【図４】視点変更のための透視投影を行なうときの情報を表す図である。
【図５】像観察装置（眼鏡型ディスプレイ）の構成例を示す図である。
【図６】超音波画像の見かけの大きさと実際の物体の大きさとの関係を示す図である。
【図７】本発明の第２の実施形態としての３次元スケールを表示させる機能を説明するための図である。
【図８】本発明の第３の実施形態としての超音波画像信号処理装置の概略的な構成を示す図である。
【図９】ＭＰＥＧのデータ構造例を示す図である。
【図１０】第３の実施形態の超音波画像信号処理装置の動作を説明するためのフローチャートである。
【図１１】超音波画像信号処理装置に用いられる磁気方式の３Ｄマウスの具体的な構成を示す図である。
【図１２】３Ｄマウスにおける距離・角度情報を説明するための図である。
【図１３】３Ｄマウスを用いて取り込んだ画像の状態を説明するための図である。
【図１４】第４の実施形態としての超音波画像信号処理装置の構成を示す図である。
【図１５】本発明による第５の実施形態としての超音波画像信号処理装置による境界抽出処理や輪郭線抽出処理を施して特定領域を抽出する例を示す図である。
【図１６】第５の実施形態の超音波画像信号処理装置の構成を示す図である。
【図１７】本発明による第６の実施形態としての超音波画像信号処理装置の構成を示す図である。
【図１８】本発明による第７の実施形態としての超音波画像信号処理装置の構成を示す図である。
【図１９】第７の実施形態により観察される画像例を示す図である。
【符号の説明】
１…電子走査型プローブ、２…３次元情報取り込み部、３…電子走査型超音波診断装置、４…入力部、１１…Ａ／Ｄ変換器、１２，１６…スイッチ、１３…透視投影処理回路、１４…ＣＰＵ、１５…透視投影コントローラ、１７…ＭＰＥＧエンコーダ、１８…バスコントローラ、１９…光磁気ディスク（ＭＯ）、２０…Ｄ／Ａ変換器、２１…ＴＶモニタ、２２…ＦＭＤ（フェイス・マウンテッド・ディスプレイ）、２３…ＭＰＥＧデコーダ。
【図１】
0003715291.tif 000002
【図２】
0003715291.tif 000003
【図３】
0003715291.tif 000004
【図４】
0003715291.tif 000005
【図５】
0003715291.tif 000006
【図６】
0003715291.tif 000007
【図７】
0003715291.tif 000008
【図８】
0003715291.tif 000009
【図９】
0003715291.tif 000010
【図１０】
0003715291.tif 000011
【図１１】
0003715291.tif 000012
【図１２】
0003715291.tif 000013
【図１３】
0003715291.tif 000014
【図１４】
0003715291.tif 000015
【図１５】
0003715291.tif 000016
【図１６】
0003715291.tif 000017
【図１７】
0003715291.tif 000018
【図１８】
0003715291.tif 000019
【図１９】
0003715291.tif 000020