(57)【要約】【課題】既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供する。【解決手段】超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。また、トランスデューサと超音波照射対象との配置状態を仮想三次元空間で表示するだけでなく、トランスデューサの焦点と超音波照射対象との距離を測距画像で視覚的に示すことで、合焦作業が極めて簡易になり、医師の治療行為を大幅に助けることができるのみならず、治療の精度を大幅に改善する。【選択図】図１
2011224266.tif 000002
【特許請求の範囲】
【請求項１】
計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記プローブに固定される第一のマーカと、
前記第一のマーカの空間座標情報を取得する空間座標取得装置と、
前記断層画像から輪郭を抽出した輪郭画像を作成し、前記第一のマーカの前記空間座標情報に基づいて前記輪郭画像を仮想三次元空間内に配置し、複数の前記輪郭画像を補間演算して立体画像を前記仮想三次元空間内に配置する画像合成装置と、
前記画像合成装置が形成した前記仮想三次元空間を表示する表示部と
を備える超音波診断システム。
【請求項２】
更に、
前記プローブを据え付けて初期状態の位置を定めるための較正板と、
前記較正板に固定される第二のマーカと
を備え、
前記空間座標取得装置は、前記第二のマーカの空間座標情報を取得でき、
前記画像合成装置は、前記較正板の寸法に関するデータを保持しており、空間座標取得装置から前記較正板の空間座標情報を取得して前記較正板の正確な座標情報を算出する、請求項１記載の超音波診断システム。
【請求項３】
計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記プローブに固定される第一のマーカと、
所定の超音波照射対象へ超音波を照射する、超音波の焦点を有するトランスデューサと、
前記トランスデューサに接続されて前記トランスデューサに超音波を発生させる超音波治療装置と、
前記トランスデューサに固定される第二のマーカと、
前記プローブ及び前記トランスデューサを据え付けて初期状態の位置を定めるための較正板と、
前記較正板に固定される第三のマーカと、
前記第一のマーカ、前記第二のマーカ及び前記第三のマーカの空間座標情報を取得する空間座標取得装置と、
前記断層画像から輪郭を抽出した輪郭画像を作成し、前記第一のマーカの前記空間座標情報に基づいて前記輪郭画像を仮想三次元空間内に配置し、複数の前記輪郭画像を補間演算して立体画像を前記仮想三次元空間内に配置し、所定の指示に応じて前記トランスデューサが超音波を照射する超音波照射対象を前記仮想三次元空間内に配置し、前記トランスデューサの前記焦点と前記超音波照射対象との距離を示す測距画像を前記仮想三次元空間と共に描画する画像合成装置と、
前記画像合成装置が形成した前記仮想三次元空間及び前記測距画像を表示する表示部と
を備える超音波診断・治療システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波診断システム及び超音波診断・治療システムに関する。
より詳細には、超音波を用いて非侵襲で患者を診断し、超音波を用いて非侵襲で患者に対する治療行為を行う、超音波診断・治療システムに関する。
【背景技術】
【０００２】
近年の医療技術の進歩は著しく、人体の体内の状態を詳細に検査できる技術が発達している。中でも、超音波を用いる超音波検査装置は、Ｘ線等と比較すると人体に対する負荷が極めて低いので、妊婦に胎児の映像を見せる等の用途に用いられている。
なお、本発明に類似すると思われる技術内容を、非特許文献１に示す。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】高橋修一、内山明彦、鈴木直樹：「術野内外の3次元構造と位置関係が観察可能な肝切除支援システム」、電子情報通信学会論文誌、Vol. J83-D-II, No.6, pp.1548-1555, 2000
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、医療現場で用いられている、超音波画像形成装置ともいえる超音波検査装置は、人体の局所的な二次元の断層像を得るに留まっている。このため、患部や臓器を立体的に視認する用途には適していない。
【０００５】
また、近年では高い濃度の医薬をマイクロカプセルやマイクロバブルなどの薬物担体（以下、薬物担体）に収納し、血管内に放流して、薬物担体が患部に到達したら超音波を照射してカプセルを破壊し、医薬を患部に適用する、という「ドラッグデリバリーシステム」という技術の研究が進んでいる。更に、薬物担体を破壊する程度の比較的弱い（安全な）超音波よりも強力な、単独で生体組織そのものにダメージを与えて治療を行う、高密度焦点式超音波（HIFU, High-Intensity Focused Ultrasound）を用いた治療の研究も進められている。これ以降、本明細書ではドラッグデリバリーシステムに用いる超音波と、ＨＩＦＵを総じて「治療用超音波」と定義する。
このような治療用超音波を患者に適用するために超音波検査装置を用いる場合、二次元の断層像だけでは治療用超音波を照射するための照準を合わせることが非常に困難である。
超音波画像形成装置を用いて、ＣＴスキャンのような立体画像をリアルタイムに得ることができれば、このような用途に適うであろう。
【０００６】
本発明は係る課題を解決し、既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の超音波診断システムは、計測対象に超音波を照射して反射音の情報を得るプローブと、プローブが接続されて計測対象の内部の断層画像を得る超音波画像形成装置と、プローブに固定される第一のマーカと、第一のマーカの空間座標情報を取得する空間座標取得装置と、断層画像から輪郭を抽出した輪郭画像を作成し、第一のマーカの空間座標情報に基づいて輪郭画像を仮想三次元空間内に配置し、複数の輪郭画像を補間演算して立体画像を仮想三次元空間内に配置する画像合成装置と、画像合成装置が形成した仮想三次元空間を表示する表示部とを備える。
【０００８】
超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。
【発明の効果】
【０００９】
本発明により、既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態である、超音波診断・治療システムの外観図である。
【図２】プローブの全体図である。
【図３】トランスデューサの全体図である。
【図４】較正板の外観斜視図である。
【図５】較正板の上面図である。
【図６】ＶＲ／ＡＲ画像合成装置の機能ブロック図である。
【図７】本実施形態の超音波診断・治療システムで行われる、診断及び治療の全体的な作業の流れを示すフローチャートである。
【図８】初期較正処理の流れを示すフローチャートである。
【図９】プローブの筐体を含む平面と観察平面との間の誤差を示す概略図である。
【図１０】観察平面の較正作業を示す概略図である。
【図１１】臓器三次元画像形成処理の流れを示すフローチャートである。
【図１２】臓器三次元画像形成処理の流れを示す概略図である。
【図１３】表示部に表示される仮想三次元空間の図である。
【図１４】ＶＲ／ＡＲ画像合成装置によって表示部に表示される、トランスデューサの超音波照射対象に対する位置決めの表示画面を示す図である。
【発明を実施するための形態】
【００１１】
本実施形態の概略を説明する。
本実施形態の超音波診断・治療システムは、患者（被験者）に対して非侵襲的な診断と治療を実現する。
「エコー検査」として周知の超音波画像形成装置のプローブに、光学式三次元計測装置が認識できるマーカを固定させる。ＶＲ／ＡＲ画像合成装置は、超音波画像形成装置が出力する、二次元の超音波断層画像から輪郭を抽出し、光学式三次元計測装置が検出したプローブの三次元位置及び姿勢に基づいて、輪郭画像を仮想三次元空間内に配置する。ＶＲ／ＡＲ画像合成装置は複数の輪郭を補完合成して、仮想三次元空間内に臓器の立体画像を形成する。
更に、治療用超音波を発する超音波治療装置のトランスデューサにも、光学式三次元計測装置が認識できるマーカを固定させる。そして、ＶＲ／ＡＲ画像合成装置が検出した患部或は標的の三次元画像に対して、トランスデューサの超音波射出方向及び射出距離を算出して、仮想三次元空間内に再現する。
【００１２】
［システム外観］
図１は、本発明の実施形態である、超音波診断・治療システムの外観図である。但し、一部の機器については詳細な図示を省略し、概略的にブロックで図示している。
手術台１０２には被験者ともいえる患者１０３が横たわっている。この患者１０３に対し、図示しない医師は、周知の超音波画像形成装置１０４のプローブ１０５を、映像化したい臓器のある体表面に押し当てて撮影する。こうして、超音波画像形成装置１０４は超音波断層画像を得る。
一方、手術台１０２の側には赤外線ステレオカメラ１０６が三脚１０７によって固定されている。赤外線ステレオカメラ１０６は、手術台１０２の上の患者１０３の撮影対象となる臓器の周囲を認識できるように配置されている。赤外線ステレオカメラ１０６には空間座標取得装置１０８が接続されている。
プローブ１０５には、空間座標取得装置１０８が三次元空間内の位置及び姿勢を認識できるためのマーカ１０５ａが取り付けられており、空間座標取得装置１０８はプローブ１０５の三次元空間内の位置及び姿勢のデータを出力する。
【００１３】
赤外線ステレオカメラ１０６と空間座標取得装置１０８は、「Ｐｏｌａｒｉｓ（登録商標）  Ｖｉｃｒａ」（http://www.ndigital.com/medical/polarisfamily.php）という既存の製品である。空間座標取得装置１０８は、赤外線ステレオカメラ１０６が認識可能な空間内にマーカの存在を認識すると、マーカの空間内における位置情報を、並進行列と回転行列の形式で出力する。また、空間座標取得装置１０８はマーカを最大六個まで認識可能である。
【００１４】
ＶＲ／ＡＲ画像合成装置１０９は、空間座標取得装置１０８が出力する、プローブ１０５の三次元空間内の位置及び姿勢のデータを受けて、仮想三次元空間内にプローブ１０５の三次元画像を描画し、ディスプレイ１１０に表示する。更に、超音波画像形成装置１０４が出力する超音波断層画像を受けて、超音波断層画像から撮影された臓器の輪郭を抽出し、仮想三次元空間内に配置する。仮想三次元空間内に臓器の輪郭を複数配置したら、ＶＲ／ＡＲ画像合成装置１０９は各々の輪郭同士を補間演算して、臓器の三次元画像をディスプレイ１１０に表示する。
なお、ＶＲ／ＡＲ画像合成装置１０９の「ＶＲ」は「Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ（仮想現実）」を、「ＡＲ」は「Ａｒｇｕｍｅｎｔ  Ｒｅａｌｉｔｙ（拡張現実）」を指す。
【００１５】
医師は、ＶＲ／ＡＲ画像合成装置１０９が患者１０３の臓器の画像をディスプレイ１１０に表示した状態で、操作部１１１を操作して、ディスプレイ１１０に表示されている立体画像から、患部或は治療薬入りマイクロカプセル等の、超音波を照射する対象（照射対象）を選択して決定する。次に、医師は照射対象をプローブ１０５で捕捉した状態を維持しながら、超音波治療装置１１２のトランスデューサ１１３を操作して、トランスデューサ１１３が照射する超音波が照射対象を貫通するように、トランスデューサ１１３の位置決めを行う。
トランスデューサ１１３にもプローブ１０５と同様のマーカ１１３ａが取り付けられており、空間座標取得装置１０８はトランスデューサ１１３の三次元空間内の位置及び姿勢のデータを出力する。更に、ＶＲ／ＡＲ画像合成装置１０９にはトランスデューサ１１３が照射する超音波の音圧分布データが予め記憶されているので、トランスデューサ１１３の焦点位置は判明している。医師は、この焦点位置に照射対象が合致するようにトランスデューサ１１３を操作して、患者１０３の照射対象近傍の適切な位置に、最適な方向及び角度でトランスデューサ１１３を位置決めする。
そして、医師は超音波治療装置１１２を稼働させて、トランスデューサ１１３から治療用超音波を発し、照射対象に照射する。
【００１６】
ＶＲ／ＡＲ画像合成装置１０９は、ＶＲ／ＡＲ画像合成装置１０９自身が作成した仮想三次元空間内にプローブ１０５とトランスデューサ１１３を正しく配置させるために、ＶＲ／ＡＲ画像合成装置１０９自身が動作を開始した初期状態において、プローブ１０５とトランスデューサ１１３の基準位置を決定する必要がある。手術台１０２の片隅に配置されている較正板１１４は、ＶＲ／ＡＲ画像合成装置１０９の初期状態にプローブ１０５とトランスデューサ１１３が置かれて、プローブ１０５とトランスデューサ１１３の基準位置を決定するために存在する。
【００１７】
図２はプローブ１０５の全体図である。プローブ１０５は先端の探触子本体２０１と把持部２０２と、把持部２０２に取り付けられたマーカ１０５ａよりなる。
探触子本体２０１はその内部に多数の超音波振動子と超音波センサを内蔵する。把持部２０２は操作者である医師がプローブ１０５を持つための握り部分であるが、その内部にはＡ／Ｄ変換器を含む電子回路を内蔵する。
【００１８】
把持部２０２にはマーカ１０５ａがケーブルタイ２０３で括りつけられている。勿論、マーカ１０５ａの固定手段は接着やネジ止め等の種々の手法が利用できる。マーカ１０５ａは固定棒と四つの赤外線反射球体２０５よりなる。赤外線反射球体２０５は、直径が約５ｍｍ乃至２ｃｍ程度の大きさのプラスチックの球体であり、表面に赤外線反射塗料が塗布されている。四つの赤外線反射球体２０５は、一平面上に、平行な辺を持たない四角形を構成するように配置されている。四つの赤外線反射球体２０５が平行な辺を持たない四角形を構成する理由は、空間座標取得装置１０８が計測対象物の姿勢を把握するために必要だからである。四角形に並行な辺の組が存在すると、その四角形の表と裏の認識が極めて困難になるからである。
【００１９】
図３はトランスデューサ１１３の全体図である。トランスデューサ１１３は振動子本体３０１と、振動子本体３０１に取り付けられたマーカ１１３ａよりなる。
振動子本体３０１はその内部に超音波振動子を内蔵する。振動子本体３０１は操作者である医師がトランスデューサ１１３を持つための握り部分でもある。
振動子本体３０１にはプローブ１０５に取り付けられたものと同様のマーカ１１３ａがケーブルタイ２０３で括りつけられている。マーカ１１３ａの固定手段も前述と同様である。
【００２０】
図４は較正板１１４の外観斜視図である。
図５は較正板１１４の上面図である。
較正板１１４には赤外線ステレオカメラ１０６が位置を検出できるように、六つの赤外線反射球体２０５が設けられている。
較正板１１４の内側には、トランスデューサ１１３を配置するための指標４０１が描かれている。指標４０１に付されている目盛りは、直径が異なるトランスデューサ１１３の種類に対応するために設けられている。
指標４０１の横には、プローブ１０５の探触子本体２０１が装着できる凹部５０１が設けられている。凹部５０１の上には、プローブ１０５の把持部２０２を固定するガイド棒４０２が筒４０３に固定されている。
【００２１】
［機能と動作］
図６はＶＲ／ＡＲ画像合成装置１０９の機能ブロック図である。
ＶＲ／ＡＲ画像合成装置１０９の実体は周知のパソコンである。パソコンに所定のＯＳとアプリケーションプログラムを稼働させ、ＶＲ／ＡＲ画像合成装置１０９として機能させる。
ＶＲ／ＡＲ画像合成装置１０９は、空間座標取得装置１０８から図示しないＵＳＢインターフェースを通じて三次元座標情報をリアルタイムで取得する。また、超音波画像形成装置１０４が出力する超音波断層画像信号が図示しないビデオキャプチャカードによって変換されたデジタルの超音波断層画像データを取得して、処理を行う。
【００２２】
三次元座標情報は、座標データ選択部６０１に入力される。座標データ選択部６０１は制御部６０２によって制御され、初期状態記憶部６０３、プローブ位置形成部６０４、トランスデューサ位置形成部６０５のいずれかに選択的に三次元座標情報を供給する。
初期状態記憶部６０３は、プローブ１０５とトランスデューサ１１３が較正板１１４に配置されている時の三次元座標情報を算出して記憶する。初期状態記憶部６０３は、プローブ１０５とトランスデューサ１１３の三次元座標情報を算出する際、予め較正板１１４の寸法情報である較正板データ６１３を参照して、較正板１１４の位置を把握する。
プローブ位置形成部６０４は、プローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢を、初期状態記憶部６０３に記憶されている三次元座標情報を基準に現在の三次元座標情報から算出する。
トランスデューサ位置形成部６０５は、トランスデューサ１１３の現在の仮想三次元空間内における三次元位置及び姿勢の情報を、初期状態記憶部６０３に記憶されている三次元座標情報を基準に現在の三次元座標情報から算出する。
【００２３】
プローブ画像データ６０６は、仮想三次元空間内にプローブ１０５を描写するための三次元ベクトルデータである。
トランスデューサ画像データ６０７は、仮想三次元空間内にトランスデューサ１１３を描写するための三次元ベクトルデータである。
トランスデューサ焦点データ６０８は、トランスデューサ１１３が治療用超音波を発生した際の、超音波の焦点位置を描写するための三次元ベクトルデータである。
【００２４】
プローブ位置形成部６０４が出力する、プローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢の情報は、画像選択合成部６０９に入力される。画像選択合成部６０９は、プローブ画像データ６０６を、プローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢の情報に基づいて仮想三次元空間内に配置する描画を実行する。
【００２５】
一方、臓器画像形成部６１０には、超音波画像形成装置１０４から図示しないビデオキャプチャカードを通じて得られる超音波断層画像データが入力される。臓器画像形成部６１０は、超音波断層画像データに写っている臓器の画像から臓器の輪郭を抽出して、輪郭データを作成し、画像選択合成部６０９に供給する。
画像選択合成部６０９は、輪郭データと、プローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢の情報に基づいて、仮想三次元空間内に輪郭を配置する描画を行う。
【００２６】
画像選択合成部６０９が形成する、仮想三次元空間内の輪郭データは、三次元画像形成部６１１に供給される。三次元画像形成部６１１は、仮想三次元空間内に存在する複数の輪郭データ同士を補間演算して、仮想三次元空間内に臓器の立体画像を形成し、この臓器の立体画像データを画像選択合成部６０９に供給する。
【００２７】
画像選択合成部６０９は、仮想三次元空間内にプローブ１０５の三次元画像とトランスデューサ１１３の三次元画像を描画すると共に、臓器の輪郭又は臓器の三次元画像を選択的に描画する。こうして画像選択合成部６０９によって作成された仮想三次元空間の映像情報は、ディスプレイ１１０である表示部６１２に表示される。
【００２８】
図７は本実施形態の超音波診断・治療システム１０１で行われる、診断及び治療の全体的な作業の流れを示すフローチャートである。
処理を開始すると（Ｓ７０１）、医師は最初にＶＲ／ＡＲ画像合成装置１０９がプローブ１０５及びトランスデューサ１１３の仮想三次元空間における位置及び姿勢を正確に描写するための初期較正処理を行う（Ｓ７０２）。初期較正処理が終わると、ＶＲ／ＡＲ画像合成装置１０９は表示部６１２に表示する仮想三次元空間内にプローブ１０５及びトランスデューサ１１３をリアルタイムに描写することができる（Ｓ７０３）。
【００２９】
次に、医師はプローブ１０５を撮影したい患者１０３の臓器の近傍に配置して、超音波画像形成装置１０４を操作して、臓器の三次元画像を得られる程度迄、超音波断層画像データを繰り返し取得する。そして、ＶＲ／ＡＲ画像合成装置１０９は臓器の三次元画像を形成する（Ｓ７０４）。
【００３０】
こうして臓器の三次元画像が得られると、医師は自身の所見に基づいて、臓器の三次元画像の何処が治療用超音波を照射する対象であるのかを決定することができる（Ｓ７０５）。
医師は、超音波を照射する対象（照射対象）を決定したら、ＶＲ／ＡＲ画像合成装置１０９を操作して、表示部６１２に位置決め状態の表示を行わせる（Ｓ７０６）。医師はプローブ１０５が撮影する超音波断層画像に照射対象が含まれるように、表示部６１２に表示される画像を見ながらプローブ１０５を位置決めしつつ、トランスデューサ１１３の焦点位置が照射対象に合致するように、トランスデューサ１１３を位置決めする。
位置決めが終了したら、医師は超音波治療装置１１２を稼働させて、トランスデューサ１１３から治療用超音波を発し、照射対象に照射して（Ｓ７０７）、処理を終了する（Ｓ７０８）。
【００３１】
図８は初期較正処理の流れを示すフローチャートである。図７のステップＳ７０２の詳細である。
処理を開始すると（Ｓ８０１）、ＶＲ／ＡＲ画像合成装置１０９の初期状態記憶部６０３は、最初に空間座標取得装置１０８から較正板１１４の識別情報を受信し、較正板データ６１３を参照して、較正板１１４の座標と姿勢の情報を算出して取得する（Ｓ８０２）。この、較正板１１４の座標と姿勢の情報は、仮想三次元空間の基準となる。
【００３２】
次に、初期状態記憶部６０３は空間座標取得装置１０８から較正板１１４に配置されているプローブ１０５の識別情報を受信し、プローブ１０５の座標と姿勢の情報を算出して取得する（Ｓ８０３）。この時点の、プローブ１０５の座標と姿勢の情報は、仮想三次元空間におけるプローブ１０５の基準となる。
【００３３】
次に、初期状態記憶部６０３は空間座標取得装置１０８から較正板１１４に配置されているトランスデューサ１１３の識別情報を受信し、トランスデューサ１１３の座標と姿勢の情報を算出して取得する（Ｓ８０４）。この時点の、トランスデューサ１１３の座標と姿勢の情報は、仮想三次元空間におけるトランスデューサ１１３の基準となる。
【００３４】
次に、ＶＲ／ＡＲ画像合成装置１０９は空間座標取得装置１０８からプローブ１０５の座標と姿勢を連続的に取得しつつ、超音波画像形成装置１０４から超音波断層画像データを取得して、プローブ１０５が形成する観察平面の較正処理を行い（Ｓ８０５）、一連の処理を終了する。
【００３５】
以下に、プローブ１０５の観察平面と、ステップＳ８０５における観察平面の較正処理の詳細について説明する。
図９は、プローブ１０５の筐体を含む平面（以下「プローブ平面」）と観察平面との間の誤差を示す概略図である。
プローブ１０５が撮影する超音波画像に基づく輪郭の画像が仮想三次元空間内で正確に配置されるためには、三次元空間内のプローブ１０５自身の座標と姿勢を正確に検出するだけでなく、プローブ１０５が撮影する超音波画像が形成する二次元の平面が、プローブ１０５に対してどのように配置されるのかも正確に把握できていなければならない。この、プローブ１０５が撮影する超音波画像が形成する二次元の平面を、本明細書では観察平面Ｐ９０２と呼ぶ。
【００３６】
プローブ１０５が形成する観察平面Ｐ９０２は、必ずしもプローブ１０５の筐体（プローブ平面Ｐ９０１）と一致或は並行であるとは限らない。プローブ１０５の探触子本体２０１は手作りであるので、プローブ平面Ｐ９０１と観察平面Ｐ９０２との間には、若干の誤差を含む。誤差は、二方向のねじれ角と距離の、三要素である。
したがって、ＶＲ／ＡＲ画像合成装置１０９は、プローブ１０５の筐体の姿勢に対する観察平面Ｐ９０２との位置関係を正確に把握できていなければならない。
【００３７】
そこで、プローブ１０５の筐体の姿勢に対する観察平面Ｐ９０２との位置関係を検出することで、観察平面Ｐ９０２の較正を行う。
図１０は、観察平面Ｐ９０２の較正作業を示す概略図である。これは「Ｃｒｏｓｓ  Ｗｉｒｅ」と呼ばれる周知の較正方法である。
中空の箱１００１には釣り糸１００２が縦と横とで二本、張られている。箱１００１の内壁には吸音材１００３が敷き詰められている。プローブ１０５がこの釣り糸１００２の交点を異なる角度で数十回程度、超音波画像の撮影を行う。そうして得たプローブ１０５の位置及び姿勢のデータを集計して所定の演算を行うと、プローブ１０５の形状に対する観察平面Ｐ９０２を算出することができる。
【００３８】
図１１は、臓器三次元画像形成処理の流れを示すフローチャートである。図７のステップＳ７０４の詳細である。
処理を開始すると（Ｓ１１０１）、ＶＲ／ＡＲ画像合成装置１０９は医師が操作部１１１或はプローブ１０５を操作することによって生じるトリガ信号の入力を待つ（Ｓ１１０２）。
【００３９】
これ以降はループ処理である。
トリガ信号の指示内容が三次元合成画像を作成する指示でない、画像の輪郭を取得する命令であれば（Ｓ１１０３のＮＯ）、ＶＲ／ＡＲ画像合成装置１０９の制御部６０２は臓器画像形成部６１０を制御する。すると、臓器画像形成部６１０は超音波画像形成装置１０４からビデオキャプチャカードを通じて超音波画像データを取得する（Ｓ１１０４）。
【００４０】
次に、臓器画像形成部６１０は超音波画像データから輪郭を抽出して（Ｓ１１０５）、画像選択合成部６０９に輪郭データを出力する。画像選択合成部６０９は、プローブ位置形成部６０４から得たプローブ１０５の三次元位置及び姿勢の情報と、初期状態記憶部６０３に格納されている観察平面Ｐ９０２の情報に基づいて、仮想三次元空間内に輪郭を配置する（Ｓ１１０６）。表示部６１２は、輪郭が描画された仮想三次元空間を表示する（Ｓ１１０７）。
【００４１】
ステップＳ１１０７の後は、再びステップＳ１１０２に戻り、トリガ信号の指示内容が三次元合成画像を作成する指示でない限り、ステップＳ１１０４乃至ステップＳ１１０７の処理が繰り返される。
【００４２】
ステップＳ１１０３で、トリガ信号の指示内容が三次元合成画像を作成する指示であれば（Ｓ１１０３のＹＥＳ）、ＶＲ／ＡＲ画像合成装置１０９の制御部６０２は三次元画像形成部６１１と画像選択合成部６０９を制御して、三次元画像形成部６１１に既に取得済みの三次元輪郭画像から三次元の補完合成処理を行わせ（Ｓ１１０８）、画像選択合成部６０９に臓器の三次元合成画像を仮想三次元空間内に配置して表示させて（Ｓ１１０９）、一連の処理を終了する（Ｓ１１１０）。
【００４３】
図１２（ａ）、（ｂ）、（ｃ）及び（ｄ）は、臓器三次元画像形成処理の流れを示す概略図である。
図１２（ａ）は、プローブ１０５から超音波画像形成装置１０４によって得られる超音波画像である。図１１のステップＳ１１０４の状態である。
図１２（ｂ）は、超音波画像から抽出した輪郭の画像データを模式的に示す図である。図１１のステップＳ１１０５の状態である。
図１２（ｃ）は、仮想三次元空間内に輪郭を複数個配置した状態を模式的に示す図である。図１１のステップＳ１１０６及びＳ１１０７の状態である。
図１２（ｄ）は、仮想三次元空間内に複数個配置された輪郭同士を三次元補完合成した状態を模式的に示す図である。図１１のステップＳ１１０８及びＳ１１０９の状態である。
【００４４】
超音波画像形成装置のプローブはＣＴスキャンと異なり、患者の皮膚に密着させる必要があるので、ＣＴスキャンのように取得した超音波断層画像を並列に並べて三次元画像を形成することが不可能である。そこで、発明者はプローブの三次元座標情報を取得して、これに基づいて超音波断層画像を三次元に展開することを考えた。超音波断層画像はそれ自身が多量のデータであり、そのまま三次元に展開することが困難である。そこで、超音波断層画像から輪郭を抽出して輪郭データを得る処理を加えることで、扱うデータ量を低減し、更に仮想三次元空間内に展開することを容易にした。また、近接する輪郭同士を補間演算することで、元の立体、つまり臓器の立体画像を得ることができた。
【００４５】
図１３は、表示部６１２に表示される仮想三次元空間の図である。
ＶＲ／ＡＲ画像合成装置１０９が表示部６１２に表示する仮想三次元空間には、プローブ１０５、プローブ１０５から発生する観察平面Ｐ９０２、トランスデューサ１１３、そして三次元補完合成によって描画された臓器１３０２と超音波照射対象１３０３が配置され、描かれている。
【００４６】
プローブ１０５の三次元画像は、図６のプローブ画像データ６０６を基に、プローブ位置形成部６０４が出力するプローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部６０９が仮想三次元空間内に配置して描画する。
【００４７】
プローブ１０５に付随する観察平面Ｐ９０２の三次元画像は、初期状態記憶部６０３に記憶されている観察平面Ｐ９０２の情報を基に、プローブ位置形成部６０４が出力するプローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部６０９が仮想三次元空間内に配置して描画する。
【００４８】
トランスデューサ１１３の三次元画像と、トランスデューサ１１３に付随する焦点１３０４の三次元画像は、図６のトランスデューサ画像データ６０７を基に、トランスデューサ位置形成部６０５が出力するトランスデューサ１１３の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部６０９が仮想三次元空間内に配置して描画する。
【００４９】
臓器１３０２の三次元画像は、図６の臓器画像形成部６１０が出力する輪郭の画像データを、プローブ位置形成部６０４が出力するプローブ１０５の現在の仮想三次元空間内における三次元位置及び姿勢の情報と初期状態記憶部６０３に記憶されている観察平面Ｐ９０２の情報を用いて、画像選択合成部６０９が仮想三次元空間内に配置し、更に三次元画像形成部６１１が三次元補完合成して、仮想三次元空間内に描画する。
【００５０】
超音波照射対象１３０３の画像は、医師がトランスデューサ１１３を操作して、トランスデューサ１１３の先端に設けられる焦点１３０４を医師が自身の所見に基づいて所望の場所に配置した上で、トランスデューサ１１３或はＶＲ／ＡＲ画像合成装置１０９の操作部１１１を操作することによって、画像選択合成部６０９が仮想三次元空間内に固定の球形の画像を形成する。
【００５１】
図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）及び（ｆ）は、ＶＲ／ＡＲ画像合成装置１０９によって表示部６１２に表示される、トランスデューサ１１３の超音波照射対象１３０３に対する位置決めの表示画面を示す図である。これらの図は図７のステップＳ７０７の動作状態を説明する図である。
【００５２】
図１４（ａ）は、仮想三次元空間内にプローブ１０５と観察平面Ｐ９０２とトランスデューサ１１３が描画されている状態の、表示部６１２の表示画面である。図１４（ａ）では、観察平面Ｐ９０２上の超音波照射対象１３０３に対し、トランスデューサ１１３の焦点位置が遠くに離れている。
図１４（ｂ）は、図１４（ａ）の状態で、超音波照射対象１３０３からトランスデューサ１１３の焦点位置との距離を半径とする円を描いた状態の、表示部６１２の表示画面である。この表示画面は、測距画像ともいえる。更に、トランスデューサ１１３の方向ベクトルと超音波照射対象１３０３との間のずれも、超音波照射対象１３０３から延びる線で表している。
【００５３】
図１４（ｃ）は、仮想三次元空間内にプローブ１０５と観察平面Ｐ９０２とトランスデューサ１１３が描画されている状態の、表示部６１２の表示画面である。図１４（ｃ）では、観察平面Ｐ９０２上の超音波照射対象１３０３に対し、トランスデューサ１１３の焦点位置がほぼ合致している。
図１４（ｄ）は、図１４（ｃ）の状態で、超音波照射対象１３０３からトランスデューサ１１３の焦点位置との距離を半径とする円を描いた状態の、表示部６１２の表示画面である。更に、トランスデューサ１１３の方向ベクトルと超音波照射対象１３０３との間のずれも、超音波照射対象１３０３から延びる線で表している。図１４（ｂ）と比べると、円は明らかに小さくなっており、また超音波照射対象１３０３から延びる線の長さも明らかに短くなっていることから、この状態でトランスデューサ１１３から超音波を発生させると、超音波照射対象１３０３に的確に治療用超音波を照射できることが判る。
【００５４】
図１４（ｅ）は、仮想三次元空間内にプローブ１０５と観察平面Ｐ９０２とトランスデューサ１１３が描画されている状態の、表示部６１２の表示画面である。図１４（ｅ）では、観察平面Ｐ９０２上の超音波照射対象１３０３に対し、トランスデューサ１１３が近すぎているため、却って焦点位置が離れてしまっている。
図１４（ｆ）は、図１４（ｅ）の状態で、超音波照射対象１３０３からトランスデューサ１１３の焦点位置との距離を半径とする円を描いた状態の、表示部６１２の表示画面である。更に、トランスデューサ１１３の方向ベクトルと超音波照射対象１３０３との間のずれも、超音波照射対象１３０３から延びる線で表している。
【００５５】
以上、図１４（ａ）乃至（ｆ）に示したように、表示部に仮想三次元空間を表示するだけでなく、焦点と超音波照射対象との距離を円の半径として表示することで、トランスデューサの焦点を容易に超音波照射対象へ合焦させることができる。
【００５６】
本実施形態は以下のような応用例が可能である。
（１）本実施形態では、プローブ１０５及びトランスデューサ１１３の三次元上の位置及び姿勢をリアルタイムに取得するために、赤外線を用いた光学式三次元計測装置を採用した。位置と姿勢を取得する手段は、この赤外線の光学式三次元計測装置に限らず、可視光を用いる装置や磁気式の装置であってもよい。
なお、三次元計測装置の動作方式が異なれば、これに対応するマーカの形状等も変わることとなる。したがって、マーカも図１、図２、図３、図４、図５及び図９に示す、赤外線反射球体２０５を用いる形態に限られない。
【００５７】
（２）超音波画像形成装置１０４と、空間座標取得装置１０８と、ＶＲ／ＡＲ画像合成装置１０９は、周知の電子計算機で構成されている。したがって、データ処理能力の高い電子計算機を用いれば、これらの装置を一体化することも可能である。本システムが実用化されれば、超音波治療装置１１２も含めて、全ての機能を凝縮した装置として提供することも可能である。
【００５８】
本実施形態では、超音波診断・治療システムを開示した。
超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。
これまで、プローブを肌に密着させなければ超音波断層画像を撮影できなかったが、プローブの三次元座標情報を取得することと、輪郭を抽出することで、超音波を用いた三次元立体画像を形成することができる。
【００５９】
また、トランスデューサと超音波照射対象との配置状態を仮想三次元空間で表示するだけでなく、トランスデューサの焦点と超音波照射対象との距離を測距画像で視覚的に示すことで、合焦作業が極めて簡易になり、医師の治療行為を大幅に助けることができるのみならず、治療の精度を大幅に改善する。
【００６０】
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【符号の説明】
【００６１】
１０１…超音波診断・治療システム、１０２…手術台、１０３…患者、１０４…超音波画像形成装置、１０５…プローブ、１０５ａ…マーカ、１０６…赤外線ステレオカメラ、１０７…三脚、１０８…空間座標取得装置、１０９…ＶＲ／ＡＲ画像合成装置、１１０…ディスプレイ、１１１…操作部、１１２…超音波治療装置、１１３…トランスデューサ、１１３ａ…マーカ、１１４…較正板、２０１…探触子本体、２０２…把持部、２０３…ケーブルタイ、２０５…赤外線反射球体、３０１…振動子本体、４０１…指標、４０２…ガイド棒、４０３…筒、５０１…凹部、６０１…座標データ選択部、６０２…制御部、６０３…初期状態記憶部、６０４…プローブ位置形成部、６０５…トランスデューサ位置形成部、６０６…プローブ画像データ、６０７…トランスデューサ画像データ、６０８…トランスデューサ焦点データ、６０９…画像選択合成部、６１０…臓器画像形成部、６１１…三次元画像形成部、６１２…表示部、６１３…較正板データ、１００１…箱、１００２…釣り糸、１００３…吸音材、１３０２…臓器、１３０３…超音波照射対象、１３０４…焦点、Ｐ９０１…プローブ平面、Ｐ９０２…観察平面
【図１】
2011224266.tif 000003
【図２】
2011224266.tif 000004
【図３】
2011224266.tif 000005
【図４】
2011224266.tif 000006
【図５】
2011224266.tif 000007
【図６】
2011224266.tif 000008
【図７】
2011224266.tif 000009
【図８】
2011224266.tif 000010
【図９】
2011224266.tif 000011
【図１０】
2011224266.tif 000012
【図１１】
2011224266.tif 000013
【図１２】
2011224266.tif 000014
【図１３】
2011224266.tif 000015
【図１４】
2011224266.tif 000016