(57)【要約】【課題】異なる時刻に撮影された映像から３次元的な血管の形状と動きについて可視化することが可能であり、術前の検討のために有効な方法を与える。【解決手段】複数方向の冠状動脈造影映像１から、拍動同位相画像を抽出し（ステップ１００）、各方向の画像において血管を抽出し（ステップ１０２）、中心線を求め（ステップ１０４）、対応を求めることで血管３次元情報を計算し（ステップ１０８）、血管３次元データ９を生成する。また、生成する３次元位置情報の精度を高めるため、領域拡張法による抽出機能を設けることにより、枝状構造の連結性を向上し、時系列の画像を利用することで、枝状構造の対応関係の把握を可能にする。【選択図】　　　　図１
2004008304.tif 000002
【特許請求の範囲】
【請求項１】
投影条件が既知である動体を撮影した複数方向の投影映像から、動体が同位相の状態となる画像を選択するステップと、
該選択された同位相の画像から注目対象を抽出するステップと、
該抽出された注目対象の形状を線表現するステップと、
該線表現された注目対象の複数方向の２次元画像の対応をとることにより、３次元情報を求めるステップとを有することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項２】
請求項１記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記複数方向の２次元映像から、同位相の状態の画像を抽出するステップは、周期的な動体の動きを計測する位置計測手段からの情報に基づき、同位相の画像を抽出することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項３】
請求項１記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記複数方向の投影映像から、同位相の状態の画像を抽出するステップは、投影映像上の動体の位置、または形状、または色、または明るさ、またはこれらの組合せから周期的な動体の動きを求めることにより、同位相の状態の画像を抽出することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項４】
請求項１記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記同位相として抽出された画像から注目対象を抽出するステップは、抽出しようとする注目対象が映っている画像と同位相であり、かつ、該注目対象が映っていない画像を抽出するステップと、抽出しようとする注目対象が映っていない画像と抽出しようとする注目対象が映っている画像との差分をとるステップとを有することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項５】
請求項４記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記差分をとった画像について、抽出しようとする注目対象を含む少なくとも１点を選択し、該選択した点に連結し、かつ、指定した画素値範囲、または、該選択された位置の画素値を用いて推定される画素値範囲にある領域を抽出するステップを有することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項６】
請求項１記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記線表現された注目対象の複数方向の２次元画像の対応をとることで３次元情報を求めるステップは、各方向における該線表現された注目対象の分岐点を抽出するステップと、
各方向の２次元画像において該抽出された分岐点同士を対応させるステップと、
該分岐点同士の対応に応じて、該線表現された注目対象の２次元画像、および、線表現される前の２次元画像について、一方向の２次元画像をもう一方の２次元画像に合わせて変換するステップとを有し、
該変換後の２次元画像を用いて３次元情報を求めることを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項７】
請求項６記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記抽出された分岐点の位置を線表現された２次元画像上に表示するステップと、
線表現される前の２次元画像を表示するステップと、
該表示された分岐位置のうちの一部または全部をユーザに選択させるステップとを有することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項８】
請求項６記載の複数方向の投影映像を用いた３次元形状の生成方法において、上記動体を撮影した投影映像は、抽出しようとする注目対象が時間の経過とともに徐々に映し出される映像であり、上記線表現された注目対象の分岐点を抽出するステップは、時間的な該注目対象の変化から、該注目対象を分割して抽出するステップを含み、
上記３次元情報を求めるステップは、該線分割され線表現された注目対象の各領域、および、分岐点の対応をとることで、３次元情報を求めることを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項９】
請求項６記載の方法において、上記抽出された分岐点の対応をとることにより３次元情報を求めるステップは、基準となる方向の投影画像上の分岐点が、別方向の投影画像Ｂ上に投影されるべきエピポーラ直線を求めるステップと、
該エピポーラ直線に最も近い投影画像Ｂ上の分岐点を求めるステップと、
該エピポーラ直線と最も近い分岐点の距離が指定したしきい値よりも小さい場合には、基本投影画像の分岐点に対応すると判定し、該しきい値よりも大きい場合には、対応する分岐点がないと判定するするステップとを有することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【請求項１０】
請求項１記載の複数方向の投影映像を用いた３次元形状の生成方法により生成された３次元形状を用いて、別に指定した投影条件により２次元投影面に注目対象を投影するステップと、
上記別に指定した投影条件により撮影した映像上に、該２次元投影面に投影した注目対象を重ねあわせて表示するステップとを有することを特徴とする複数方向の投影映像を用いた３次元形状の表示方法。
【請求項１１】
請求項９記載の複数方向の投影映像を用いた３次元形状の生成方法において、撮影された画像の方向が３方向以上であり、ある２つの２次元画像組を用いた場合には対応する分岐点がないと判定された分岐点については、別の２つの２次元画像組を用いることにより、対応する分岐点を求めるステップと、
各２次元画像組から得られた分岐点の対応を組み合わせることにより、注目対象の３次元情報を求めるステップとを有することを特徴とする複数方向の投影映像を用いた３次元形状の生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、血管などの枝状構造を複数方向から撮影した映像から、枝状構造の３次元情報を生成する方法、および表示する方法に関し、特にＸ線により撮影した造影された血管、例えば心臓の冠状動脈造影透視映像（ＣＡＧ：ＣｏｒｏｎａｒｙＡｎｇｉｏＧｒａｐｈｙ）から、３次元情報を生成し、表示する３次元情報生成方法および表示方法に関する。
【０００２】
【従来の技術】
本発明に関連する従来技術としては、以下の文献が知られている。
（１）　Ｔ．　Ｓａｉｔｏ，　ｅｔ　ａｌ．「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ　Ｑｕａｎｔｉｔａｔｉｖｅ　Ｃｏｒｏｎａｒｙ　Ａｎｇｉｏｇｒａｐｈｙ」ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｂｉｏｍｅｄｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．３７，Ｎｏ．８，ｐｐ．７６８−７７７（Ａｕｇｕｓｔ　１９９０）。
（２）内田、他「２方向観測画像列からの３次元血管形状抽出情報統合表示と遠隔診断のためのそのＶＲＭＬによる表現」画像電子学会第７回メディア統合技術研究会（１９９６）．
【０００３】
（３）柳原、他「血管走行図を伴う冠動脈径レポートシステムの試作」ＭＥＤＩＣＡＬＩＭＡＧＩＮＧ　ＴＥＣＨＮＯＬＯＧＹ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．１８７−１９５（Ｍａｙ　２００１）。
（４）　Ｃａｒｓｔｅｎ　Ｓｔｅｇｅｒ「Ａｎ　Ｕｎｂｉａｓｅｄ　Ｄｅｔｅｃｔｏｒ　ｏｆ　Ｃｕｒｖｉｌｉｎｅａｒ　Ｓｔｒｕｃｔｕｒｅｓ」ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２０，Ｎｏ．２，ｐｐ．１１３−１２５（Ｆｅｂｒｕａｒｙ　１９９８）。
【０００４】
文献（１）、（２）には、直交する左右２方向の冠状動脈造影画像列から、３次元形状を計算する方法について述べられている。すなわち、文献（１）では、線状のものを抽出するフィルタを用い、文献（２）では、造影剤を注入する前と後の画像の差分により、それぞれ血管を抽出している。
また、文献（１）では、左右画像における血管の対応付けにおいて、造影剤の広がる時系列情報とエピポーラ直線を利用する方法について述べられており、文献（２）では、ＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）のモデルで表示する方法について述べられている。
【０００５】
さらに、文献（１）では、血管径の変化による狭窄率の計測や、造影剤の行き渡る速度の計測について述べられている。
また、文献（３）では、１方向の冠状動脈造影画像から血管像を抽出し、血管をセグメントに分割し、解剖学的な特徴から血管セグメントの同定を行い、血管径から狭窄判定を行い、レポートを作成するシステムについて述べられている。また、文献（４）では、冠状動脈造影画像から血管の中心線を抽出する方法が述べられている。
【０００６】
【発明が解決しようとする課題】
最近では、直交する透視映像を同時に撮影可能なバイプレーン機能を有する撮影装置は増えてきてはいるが、１方向のみの撮影が可能な装置に比べ高価であり、一般的には１方向の透視撮影装置が普及している。
１方向の透視撮影装置では、別の透視方向からの映像を撮影するためには、完全に別の時刻に撮影する必要があり、動きのある心臓について、同時刻の状態を撮影した画像は得られない。また、撮影角度は直交するとは限らない。
【０００７】
しかし、上記文献（１），（２）に示した従来技術では、直交する方向からの撮影であり、左右のほぼ同時刻の画像が撮影される場合（通常バイプレーン撮影装置では、Ｘ線の干渉を避けるため、交互に撮影する）を想定しており、全く別の時刻に任意の方向から撮影されることを考慮していない。
以上のように、従来においては、自由な撮影条件による投影映像を利用できないという課題が存在していた。
【０００８】
そこで、本発明の目的は、このような従来の課題を解決し、撮影機構が１つしかなく、同時に複数方向の投影映像を撮影できない場合にも、枝状構造の３次元形状を生成することが可能な複数方向の投影映像を用いた３次元形状の生成方法を提供することにある。
また、本発明の他の目的は、枝状構造を精度良く抽出し、３次元位置情報の精度を向上させた複数方向の投影映像を用いた３次元形状の生成方法を提供することにある。
さらに、他の目的は、生成した３次元データを用い、任意の投影条件による投影を行い、その投影条件により撮影された映像に重ねあわせて表示する複数方向の投影映像を用いた３次元形状の表示方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の複数方向の投影映像を用いた３次元形状の生成方法は、複数の方向から撮影された２次元投影映像から、動体の動きに合わせて同位相の画像を抽出するステップを設け、別の時刻に撮影された２次元投影映像を利用することも可能としたものである。すなわち、本発明は、投影条件が既知の動体を撮影した複数方向の投影映像から、動体の同じ状態の画像を選択するステップと、抽出された同位相の画像から注目対象を抽出するステップと、該抽出された注目対象の形状を線表現するステップと、線表現された注目対象の複数方向の２次元画像の対応をとることにより、３次元情報を求めるステップを有している。
また、生成する３次元位置情報の精度を高めるために、領域拡張法による抽出ステップを設けることで、枝状構造の連結性を向上し、かつ時系列の画像を利用することで、枝状構造の対応関係の把握を可能としている。
【００１０】
【発明の実施の形態】
以下、本発明の実施例を、図面により詳細に説明する。
（全体の動作フロー）
図１は、本発明の一実施例を示す複数方向の投影映像を用いた３次元形状の生成方法の全体フローチャート（請求項１に対応）であり、図６は図１における血管分岐点を抽出し、血管画像とともに表示した例を示す図（請求項７に対応）である。
図１、図６を用いて、別個に撮影された複数方向からの冠状動脈造影映像（ＣＡＧ）から、冠状動脈の３次元データを生成する全体的な概要を示す一例について説明する。
要点を記載すると、投影条件が既知である動体を撮影した複数方向の投影映像から、動体の同じ状態（同位相）画像を選択し、その画像から注目対象を抽出し、その注目対象の形状を線表現し、その線表現された注目対象の複数方向の２次元画像の対応をとることにより、３次元情報を求める。
これを、図１により説明する。
撮影条件が既知である複数方向（本実施例では２方向とする）のＣＡＧから、心臓の拍動について同位相となる画像フレーム（以下、単に画像とする）を抽出する（ステップ１００）。このとき、透視方向をＡ、Ｂとし、透視方向Ａの映像において抽出された画像をＩａ、透視方向Ｂにおいて抽出された画像をＩｂとする。
【００１１】
前記抽出された画像Ｉａ，Ｉｂからそれぞれ血管を抽出し（ステップ１０２）、図６の画像４０に示すように抽出した血管４１を画像４１に示すように細線化し（ステップ１０４）、細線化した血管４３から血管分岐点４４、４５、４６を抽出する（ステップ１０６）。画像Ｉａ，Ｉｂで対応する血管分岐点を元に、血管領域の対応を求め、空間的な位置関係を利用して血管の３次元情報を計算して（ステップ１０８）、血管３次元データを生成する。ここで、同時刻に複数方向から撮影できる場合には、分岐点での対応を考慮しなくてもよいため、ステップ１０６を飛ばして、直接血管の３次元情報を計算してもよい。
なお、図６の要点を記載すると、図１の線表現された注目対象の複数方向の２次元画像の対応をとることで３次元情報を求めるステップは、各方向における線表現された注目対象の分岐点を抽出し、各方向の２次元画像において抽出された分岐点同士を対応させ、分岐点同士の対応に応じて線表現された注目対象の２次元画像および線表現される前の２次元画像について、一方向の２次元画像を他方の２次元画像に合わせて変換し、変換後の２次元画像を用いて３次元情報を求める動作である。
【００１２】
以下、各機能の実施例について詳細に説明する。
（心電波形と同位相画像抽出）
図２は、図１における心電波形データの例を示す図（請求項２に対応）であり、図３は図１における同位相画像を抽出する原理を示す図（請求項３に対応）である。
要点を記載すると、図１の複数方向の２次元映像から同位相の画像を抽出するステップは、周期的な動体の動きを計測する手段からの情報に基づいて、同位相の画像を抽出する動作である。
また、図１の複数方向の投影映像から同位相の画像を抽出するステップは、投影映像上の動体の位置、または形状、または色、または明るさ、またはこれらの組合せから周期的な動体の動きを求めることにより、同位相の画像を抽出する動作である。
以下、異なる透視方向のＣＡＧから、心臓拍動の同位相となる画像を抽出するステップ１００の方法について、図１〜図３を用いて説明する。
ＣＡＧを撮影する際に、同時に図１の心電波形データ３が計測されていれば、同位相となる画像を抽出することが可能である。一般的な心電波形データは、図２に示すような波形になる。心房壁の興奮に伴うＰ波と呼ばれる信号１５の後に、心室壁、心室中隔の興奮に伴うＱ，Ｒ，Ｓ波と呼ばれる信号が現れる。
【００１３】
Ｑ波１６は心臓休止期の心電を基線として陰性の振れとして現れ、Ｑ波１６の後の陽性の振れをＲ波１７、Ｒ波１７の後の陰性の振れをＳ波１８と呼ぶ。その後、心室壁の復旧過程においてＴ波１９と呼ばれる緩やかな波形が現れ、Ｐ波１５に戻る。Ｔ波１９の後にＵ波という波形が現れることもある。この心電図の波形に同期させることで、透視映像の心臓拍動周期を求めることが可能となり、撮影時刻が異なる透視映像からも、同じ心臓拍動位相の画像を選択することが可能である。但し、心電図は個人差があるため、各波形が明確でない場合も考えられる。そのような場合には、Ｒ波１７を基準として心臓の拍動周期を分割することで対応する心臓拍動位相を求めることが可能となる。
【００１４】
また、別の実施例として、一般にＣＡＧを撮影する際には、安静状態であり、心臓を撮影する際には呼吸による動きは無視できるが、呼吸による動きが大きな場合には、図１の呼吸データ４もＣＡＧ撮影と同時に計測することにより、心臓拍動の位相だけではなく、呼吸の位相も合わせた画像を選択することが可能となる。
また、別の実施例として、複数方向からのＣＡＧのみが存在する場合に、心臓拍動の位相を求める方法について、図３を用いて説明する。
ＣＡＧの時刻ｔ０からｔ１，ｔ２，ｔ３における画像をそれぞれ２２、２３、２４、２５とし、斜線領域２１が心臓領域、線２０が造影された冠状動脈であるとする。このとき、時刻を横軸に、各時刻における画像の平均画素値を縦軸にとると、曲線２７のようなグラフになる。
このグラフ２７で極小値をとる時刻ｔ０が心臓拍動の最拡張期であり、極大値をとる時刻ｔ２が最収縮期であることがわかる。
【００１５】
（同位画像を抽出する手順）
図１０は、図１における同位相画像を抽出する例を示すフローチャートである。
まず、透視方向ＡのＣＡＧについて、冠状動脈が造影されているうちのある期間を指定し（ステップ１４０）、該期間内の画像について画像の画素値の平均値を求める（ステップ１４２）。ステップ１４２で求めた画像の平均値から、図３の曲線２７のようなグラフを考え、極大、極小となる時刻を求める（ステップ１４４）。極大点の数がｍ，極小点の数がｎであるとするとき、極大値をとる時刻同士の間隔Ｔｍ（ｉ）（ｉ＝１〜ｍ−１）と、極小値をとる時刻同士の間隔Ｔｎ（ｊ）（ｊ＝１〜ｎ−１）を求め（ステップ１４６）、この間隔の平均値をＴｂを下式〔数１〕により求める（ステップ１４８）。
【数１】
2004008304.tif 000003
【００１６】
このとき、Ｔｍ（ｉ），Ｔｎ（ｊ）のうちＴｂに最も近い値となるｉまたはｊを求め（ステップ１５０）、その期間Ｔを等分割し、心臓拍動の１周期の位相とする（ステップ１５２）。同様に、透視方向Ｂについても心臓拍動の１周期を求め、透視方向Ａと対応する位相を決定する（ステップ１５４）。
以上のような心臓拍動同位相の画像を抽出する機能により、別の時刻に撮影されたＣＡＧを利用して、心臓拍動の同位相状態の画像を選択することができる。なお、グラフ２７は、造影剤が徐々に心臓全体に広がっていくことから、点線２９で示したように右下がりのグラフとなる。
【００１７】
図１１は、図３において、横隔膜が映り込んだ画像の例を示す図である。
ここで、図１１のように、ＣＡＧ画像７５に、冠状動脈２０、心臓２１の他に、横隔膜７６が映っているような場合には、呼吸の影響により、心臓拍動の位相を上記手法でうまく求めることが出来ない場合が考えられる。
このような場合には、横隔膜７６の領域は画素値が低いことから、指定した画素値よりも低い画素値領域で、かつ該領域のうち連結している画素数が指定した数よりも大きな値となる領域については、前記ステップ１４２の画像の画素平均値を求める計算から外す（ステップ１４３）ことにより、心臓拍動の位相を求めることが可能である。すなわち、横隔膜の画像領域部分をマスクして、計算すればよい。
また、別の実施例として、複数方向からのＣＡＧが同時に撮影できる場合には、図１の時刻情報データ５を計測しておくことにより、心臓拍動、呼吸とも同位相の画像を選択することが可能である。この方法によれば、撮影装置が高価とはなるが、同位相の画像を容易に、かつ高精度に得ることができる。
【００１８】
（血管抽出方法）
図４は、図１における血管抽出を行う例を示す図（請求項４に対応）であり、図５は図１における血管抽出として領域拡張法を利用した例のフローチャート（請求項５に対応）であり、図１２は相関により血管以外の背景領域を除去する例を示すフローチャートである。
要点を記載すると、図１の同位相として抽出された画像から注目対象を抽出するステップは、抽出しようとする注目対象が映っている画像と同位相であり、かつ、注目対象が映っていない画像を抽出し、抽出しようとする注目対象が映っていない画像と抽出しようとする注目対象が映っている画像との差分をとる動作である。
さらに、差分をとった画像について、抽出しようとする注目対象を含む少なくとも１点を選択し、選択した点に連結し、かつ、指定した画素値範囲または選択された位置の画素値を用いて推定される画素値範囲にある領域を抽出する動作である。
【００１９】
次に、上記の方法で抽出された画像から、血管を抽出する方法について図４、図１２、図５を用いて説明する。
図４において、造影された血管２０が映っている時刻ｔ０の画像２２に注目する（ステップ１６０）。この時刻ｔ０よりも前の造影剤が注入されていない期間を指定する（ステップ１６２）。図４では、この期間中の時刻ｔ４，ｔ５，ｔ６の画像をそれぞれ３１、３２、３３とする。このとき、ｔ０の画像２２と造影剤が注入されていない時点の画像の相関値を求める（ステップ１６４）と、グラフ３５のようになる。図４の相関値のグラフ３５は、図３の平均画素値グラフ２７とは全く異なった位相関係となり、心臓拍動に合わせた周期的なグラフとなる。すなわち、造影剤が注入されていない期間において、相関値が最大となる時刻（図４の例ではｔ４）の心臓拍動位相が、注目している時刻（ｔ０）の位相と同じであることが分かる。
【００２０】
ここで、ｔ０とｔ４の違いは、造影剤が注入されているかどうかの違いだけであるため、この画臓フレーム２２と３１の差分を計算することにより、冠状動脈領域を強調した画像を求める（ステップ１６６）ことができる。
ここで、相関値を求める関数は、例えば共分散と標準偏差を用いて透視方向Ａのある画像の画素値をｆ（ｘ，ｙ）、透視方向Ｂのある画像画素値をｇ（ｘ，ｙ）、ｘ方向画素数をＭ、ｙ方向画素数をＮで表すとき、下式〔数２〕に示すような関数を用いて相関値Ｒを求めればよい。
【数２】
2004008304.tif 000004
【００２１】
また、別の関数として、差分の平均値を用いて、下式〔数３〕に示すような関数を用いても良い。但し、この式の場合には相関値が最小のときが最も相関があるということになり、上式〔数２〕の場合と逆となる。
【数３】
2004008304.tif 000005
上記方法により、呼吸による動きなどが少ない場合には、血管以外の領域はほとんど除去することができる。
【００２２】
続いて、図５の領域拡張法により血管領域のみを抽出する。上記図１２の方法により差分をとった画像上で、血管領域を複数指定する（ステップ１２０）。この指定はユーザが指示してもよいし、画素値のプロファイル情報から、画素値ピークを自動的に血管領域として指定してもよい。指定した位置の画素値の平均値をＶｍ、画素値の差の最大値をＶｄとしたとき、領域拡張の条件として、大域しきい値としてＶｍ±１．２×（Ｖｄ／２）、局所しきい値として±０．５×（Ｖｄ／２）を設定する（ステップ１２２）。ステップ１２０で指定した位置を血管領域として抽出すると同時に領域拡張のシード点とし（ステップ１２４）、シード点に接続する画素の値が局所しきい値範囲内であり、シード点の画素値との差が大域しきい値範囲内である画素を血管領域として抽出し、シード点として設定する（ステップ１２８）。次に、このシード点が残っているかをチェックし（ステップ１２６）、すべてのシード点がなくなったならば、血管の抽出を終了とする（ステップ１３０）。なお、シード点とは、‘種’を意味しており、開始点のことである。
【００２３】
本手法によれば、血管領域以外の背景領域の画素値が残っていても、血管領域を連続する領域として抽出することが可能である。
ここで、もしも前述の図１２の方法により、血管領域以外の背景領域が十分に除去できた場合には、本手法の代わりに、あるしきい値以上の領域を抽出することで、血管領域を抽出することも可能である。逆に、呼吸による動きなどで背景領域が十分に除去できなかった場合には、差分をとる前の画像を用いて、図５の領域拡張法により抽出を行ったり、一般に知られている線抽出フィルタを用いて抽出してもよい。
以上の手法により血管領域が抽出され、図１のステップ１０４により、抽出された血管領域を細線化し、血管中心線（完全に中心ではなくても良い）を抽出する。なお、細線化方法は、前記従来例の文献（４）のＳｔｅｇｅｒの方法などを利用すれば良い。
【００２４】
（血管分岐点抽出）
図８は、時系列データを利用した分岐点抽出の例を示す図（請求項８に対応）である。
要点を記載すると、図１の線表現された注目対象の複数方向の２次元画像の対応をとることで３次元情報を求めるステップにおいて、動体を撮影した投影映像は、抽出しようとする注目対象が時間の経過とともに徐々に映し出される映像であり、線表現された注目対象の分岐点を抽出するステップは、時間的な注目対象の変化から、注目対象を分割して抽出する動作を含み、また、３次元情報を求めるステップは、線分割された表現された注目対象の各領域および分岐点の対応をとることで３次元情報を求める動作である。
【００２５】
以下、細線化された血管中心線から、分岐点を抽出する図１のステップ１０６について、図８により説明する。
造影剤が注入されるに伴って、図８における透視方向ＡのＣＡＧの画像６３、６４、６１において、造影される血管領域が徐々に広がっていく状態が撮影され、画像６１で冠状動脈全体が造影されたとする。冠動脈の幹の方から順に分岐点までの血管領域を血管セグメントＶ１，Ｖ２とし、分岐点が造影される順にｂ１，ｂ２とする。ここで、画像６１においては、点Ｘ６２は血管の分岐点のように見える。しかし、注目している冠状動脈では一度には２分岐までであって、分岐した血管同士が再び交わることはないことから、３分岐の点Ｘ６２は交点であることが分かる。この場合は、血管セグメントＶ５とＶ６の交点であることが分かるため、分岐点として抽出しない。また、時系列に血管領域を追っていくことで、交点のあとの血管セグメントがどちらのセグメントの続きであるかということが判定できる。
【００２６】
図１７は、図１における分岐点を抽出する例を示したフローチャートである。まず、造影剤が注入され始めた画像から、注目している画像までを選択する（ステップ２１０）。次に、選択した画像から血管中心線を抽出する（ステップ２１２）。すなわち、図１のステップ１０２、１０４は、ここで選択した画像の全てにおいて行っておく。次に、最初の画像を選択し（ステップ２１４）、血管中心線を血管セグメントとして名前付けし、端点からの長さを記憶する（ステップ２１６）。続いて、次の画像を選択し（ステップ２２０）、前画像の血管セグメント情報を利用して、血管中心線を血管セグメントに対応させる（ステップ２２２）。さらに、血管セグメントに対応づけされなかった血管中心線について探索し、分岐点の抽出、血管セグメントの名前付けと長さの記憶を行う（ステップ２２４）。ステップ２２０から２２４の処理を全画像に対して行い（ステップ２１８）、分岐点の抽出と血管セグメント化を終了する（ステップ２２６）。
【００２７】
図１８は、図１７における分岐点と血管セグメントを求める例を示すフローチャートである。
図１７におけるステップ２２２と２２４について、図１８を用いてさらに説明する。
図８の画像６３の分岐点抽出と血管セグメント化を行うことを想定し、前フレームで血管セグメントＶ１の途中まで対応づけがされているものとする。
まず、前画像の血管セグメントＶ１の長さ分、画像６３の血管中心線の端点からの血管をＶ１に対応づける（ステップ２３０）。このとき、心臓拍動により、Ｖ１の長さが短くなっている可能性もあるため、画像６３のＶ１中に分岐点が存在するか否かを調べる（ステップ２３２）。もし、分岐点が存在した場合、Ｖ１の長さを短くして分岐点までとし、分岐点ｂ１を抽出する（ステップ２３４）。
【００２８】
もし、分岐点が存在しなかった場合、Ｖ１を分岐点ｂ１に衝突するまで延長する（ステップ２３６）。次に、分岐点ｂ１から左に延長する血管中心線を、血管セグメントＶ２として分岐点または端点まで延長する（ステップ２３８）。Ｖ２の終点が分岐点であるかをチェックし（ステップ２４０）、分岐点だった場合には、ステップ２３８に戻り、次の血管セグメントの対応づけを行うが、この例では、端点であるため、次に進む。次に、分岐点ｂ１から右に延長する血管中心線を血管セグメントＶ３として、分岐点または端点まで延長する（ステップ２４２）。同様にＶ３の終点が分岐点であるかをチェックし（ステップ２４４）、分岐点だった場合にはステップ２４２に戻るが、この例では端点であるため、次に進み、分岐点の抽出、および血管セグメントの対応づけを終了する（ステップ２４６）。
以上の方法により、血管が交差する場合の血管セグメントの対応関係を求めることが可能である。また、心臓拍動各位相における血管セグメントの対応関係を求めることが可能である。
【００２９】
ここで、以上の方法では分岐点を自動で抽出できない場合に対処するための実施例を図６を用いて説明する。血管領域が抽出された画像４０を線表現した画像４２があるとき、血管の走行形状や細線化手法によって、誤った分岐点４７が発生する場合がある。このような場合には、血管を線表現した画像４２とともに、線表現する前の画像４０も表示することで、ユーザが偽の分岐点を識別することが可能であり、ユーザが分岐点４４、４５、４６を指定することで正しい位置を求めることができる。このとき、分岐点４７で分岐し、分岐点４４に繋がらない方の線は削除すれば良い。
【００３０】
（複数透視方向画像上の分岐点の対応付け）
図７は、複数方向の透視投影の３次元的な位置関係を示す図であり、図１３は複数透視方向画像上の分岐点を対応付ける例を示すフローチャートである。
図１におけるステップ１０８の血管の３次元位置情報を計算する方法について説明する。まず、図７、図１３を用いて、分岐点および端点を対応づける方法について、分岐点の場合を用いて説明する。図７はエピポーラ直線を示す図であり、透視方向Ａの線源位置Ｓａが５１、投影面Ｔａが５２であり、注目する分岐点Ｐ５０が投影面Ｔａ上のＰ１点５３に投影されている。このとき、線源Ｓａ５１と注目点Ｐ５０を結ぶ直線Ｌ５４が、透視方向Ｂにおいて、線源Ｓｂ５５により投影面Ｔｂ５６上に投影された直線がエピポーラ直線Ｌ２であり、直線５８で示されている。また、点５７、直線５８は透視方向Ｂの画像において抽出された分岐点Ｐ２，Ｑ２であるとする。
【００３１】
透視方向Ａの注目する画像において、図１のステップ１０６により抽出された分岐点について、分岐点を１つ選択し（図７のＰ１：５３）、透視方向Ｂの画像上におけるエピポーラ直線（図７のＬ２：５８）を求める（ステップ１７２）。透視方向Ｂの画像で抽出された分岐点のうち、エピポーラ直線５８に最も近い分岐点（図７のＰ２：５７）を選択する（ステップ１７４）。この点５７がまだ対応づけされておらず、かつ、エピポーラ直線５８との距離が指定したしきい値以下ならば（ステップ１７６）、投影面Ｔａ５２の分岐点Ｐ１と投影面Ｔｂ５７の分岐点Ｐ２が対応するとし（ステップ１７８）、そうでなければ分岐点Ｐ１に対応する分岐点は存在しないとする（ステップ１８０）。この操作を繰り返すことで投影面Ｔａ５２上の分岐点全ての対応づけを行う（ステップ１７０）。
【００３２】
以上の方法によれば、時間的に異なるＣＡＧを用いた際に、心臓拍動の位相が少しずれていたとしても、分岐点の対応づけを行うことが可能となる。また、透視方向によっては、血管の重なりから、誤った分岐位置が抽出されている場合があり、その場合の誤った対応付けをしないことが可能となる。
同様の方法により、端点の対応づけも行う。この際、端点は造影剤が拡散されていくため、位置があいまいとなり、対応がつかない場合には、手動で対応させる方法をとってもよい。
また、透視方向Ｃとして別の方向から撮影された映像が存在する場合に、透視方向Ｃとの分岐点の対応づけが可能だった場合に、透視方向Ａ，Ｂの組み合わせで端点が対応づけできなかった血管セグメントについては、透視方向Ａ，Ｃの組み合わせから３次元位置情報を生成するようにすればよい。
【００３３】
（分岐点をエピポーラ直線に対応させる補正方法）
図１４は、分岐点をエピポーラ直線上に移動させる例を示す図（請求項６、請求項９、請求項１１に対応）である。
要点を記載すると、線表現された注目対象の複数方向の２対元画像の対象をとることで３次元情報を求めるステップは、各方向における線表現された注目対象の分岐点同士を対応させ、分岐点同士の対応に応じて、線表現された注目対象の２次元画像および線表現される前の２次元画像について、一方向の２次元画像を他方の２次元画像を用いて３次元情報を求める。
また、上抽出された分岐点の対応をとることにより３次元情報を求めるステップは、基準となる方向の投影画像上の分岐点が、別方向の投影画像（投影画像２）上に投影されるべき直線（エピポーラ直線）を求め、エピポーラ直線に最も近い投影画像２上の分岐点を求め、エピポーラ直線と最も近い分岐点の距離が指定したしきい値より小さい場合は、基本投影画像の分岐点に対応すると判定し、しきい値より大きい場合は、対応する分岐点がないと判定する。
さらに、撮影された画像の方向が３方向以上であり、ある２つの２次元画像組を用いた場合には対応する分岐点がないと判定された分岐点については、別の２つの２次元画像組を用いることで、対応する分岐点を求め、各２次元画像組から得られた分岐点の対応を組み合わせることで、注目対象の３次元情報を求める。
【００３４】
異なる時刻に撮影した映像を用いることにより発生する心臓拍動位相のずれ、呼吸などによるずれを、対応づけされた分岐点をエピポーラ直線に対応させることで補正する方法について、図１４を用いて説明する。ここでは、端点の対応精度が低いと考えられるため、分岐点のみの情報を利用する。
上述の図１３に示した例により、投影面Ｔｂ上の分岐点が投影面Ｔａ上の分岐点と対応づけられたものが８０であるとする。このとき、本来、分岐点Ｐはエピポーラ直線Ｌｐ８２上から下にずれているとする。同様に分岐点Ｑ，Ｒはエピポーラ直線Ｌｑ８３，Ｌｒ８４から上にずれているとする。
【００３５】
このとき、分岐点Ｐの座標が（ｘｐ，ｙｐ）であり、最短で直線Ｌｐ８２上に移動させるための移動ベクトルが（ｕｐ，ｖｐ）であるとし、同様にＱの座標が（ｘｑ，ｙｑ）、移動ベクトルが（ｕｑ，ｖｑ）、Ｒの座標が（ｘｒ，ｙｒ）、移動ベクトルが（ｕｒ，ｖｒ）とする。その結果、下式〔数４〕により、画像８０上の血管領域座標（ｘ，ｙ）から、画像８１上のピクセル座標（Ｘ，Ｙ）を求めると、分岐点をエピポーラ直線に対応させることができる。
【数４】
2004008304.tif 000006
ここで、Ｌｑ上の点は上式〔数４〕の上下のどちらの式を用いても良い。また、図１３におけるステップ１７６により、分岐点Ｐ、Ｑ、Ｒが一致することはない。また、上式〔数４〕によらなくても、分岐点とエピポーラ直線の位置が一致するような変換を用いてもよい。
さらに、同じ変換により、細線化する前の投影面Ｔｂの画像も変換しておく。
なお、前述のように、同時に複数方向から撮影したデータを用いる場合には、ずれは発生しないので、ここでの処理は省略することが可能である。
【００３６】
図１５は、複数透視方向の画像上の血管の対応づけを行う例を示す図であり、図１６は図１の血管の３次元情報を生成する例を示す動作フローチャートである。
以下、血管の３次元情報を生成する方法について、図１５、図１６により説明する。透視方向ＡにおけるＣＡＧのある画像Ｉａから、血管抽出し、細線化した画像が８５であり、分岐点Ｐａ，Ｑａ，Ｒａがある。
画像Ｉａと心臓拍動同位相の透視方向ＢにおけるＣＡＧの画像Ｉｂから血管抽出し、細線化して、分岐点をエピポーラ直線上にのるようにした画像が８１であり、Ｐａに対応する分岐点がＰｂ’、Ｑａに対応する分岐点がＱｂ’、Ｒａに対応する分岐点がＲｂ’であるとする。
【００３７】
まず、投影面Ｔａ上の血管中心線を端から順に選択する（ステップ１９２）。
ここでは図１５の交点Ｄａを選択したとする。次に、交点Ｄａに対応する投影面Ｔｂ上のエピポーラ直線Ｌｄを求める（ステップ１９４）。次に、エピポーラ直線Ｌｄと血管中心線の交点Ｄｂを求める（ステップ１９６）。もし、ステップ１９２において、図１５の点Ｅａを選択した場合には、エピポーラ直線Ｌｅと血管中心線の交点は２点存在するため、その交点が属する血管セグメントの端点を調べ、投影面Ｔａでは分岐点Ｐａ，Ｒａが端点となっており、分岐点Ｐｂ’，Ｒｂ’が端点となるＥｂの位置を対応点として選択する（ステップ１９８）。
【００３８】
またステップ１９８では、図１５のＦａを選択した場合には、以下のようにして対応点を選択する。点Ｆａは投影面Ｔａ上の血管セグメントＶ３ａ上にあるが、その片側の端点は投影面Ｔｂ上の分岐点との対応がついていない状態である。これは、図１３のステップ１８０により分岐点の対応がついていないために発生し、原因としては、血管が重なっていたために分岐点の位置がずれたことが考えられる。このような場合には、点Ｆａに対応した投影面Ｔｂ上のエピポーラ直線Ｌｆと、投影面Ｔｂ上の血管中心線との交点が複数あった場合に、上記方法で交点を選ぶことができない。そこで、Ｖ３ａから分岐する次の血管セグメントＶ４ａ，ｖ５ａも含めて考えることにする。その結果、投影面Ｔｂ上の血管中心線との交点として、Ｖ４ｂとの交点Ｆ１ｂ，Ｖ４ｂとの交点Ｆ２ｂを選択することができる。よって、Ｆａには投影面Ｔｂ上の２点が対応するものとする。
【００３９】
図１６のフローに戻って、図１５の対応する点Ｄａ，Ｄｂの位置と、透視方向Ａ，Ｂの撮影条件から、図７に示すような３次元空間における幾何学的関係を用いて３次元情報を計算する（ステップ２００）。次に、点Ｄａ，Ｄｂにおける、血管中心線の走行方向ベクトルを求める（図示されていないが、ベクトル値ｖａ，ｖｂとする）（ステップ２０２）。次に、投影方向Ａ，Ｂについて細線化前の画像から、Ｄａ，Ｄｂの位置においてｖａ，ｖｂベクトルに垂直なベクトル（図示されていないが、ここでは、ｒａ，ｒｂとする）方向の血管の太さを求め、平均値をその位置における血管直径とする（ステップ２０４）。血管の太さは、ｒａ，ｒｂベクトル方向の画素値のプロファイルをとり、Ｄａ，Ｄｂ位置の画素値との大域的な差と、隣り合う画素値の局所変化を調べ、局所変化が大きく、大域的な差がしきい値を超える位置により、太さを求める方法などを用いる。
【００４０】
以上の方法により、投影面Ｔａの血管中心線上の全点の３次元情報を求め（ステップ１９０）、その情報を元に血管の３次元データを作成する（ステップ２０６）。３次元データの形式は、ポリゴンデータでも、ボクセルデータでも構わない。
この処理を心臓拍動の各位相について行うことにより、心臓の拍動にあわせた３次元の血管データを生成することが可能である。
なお、以上の実施例は冠状動脈の血管造影透視映像（モノクロ）を用いた場合について説明したが、投影映像としては、カメラで撮影したカラー映像を用いても良く、被写体として血管だけでなく、ロボットなどの人工物や人体などを枝状構造として捕らえてもよい。
【００４１】
（心臓撮影映像と血管映像の重ね合わせ）
図９は、血管を手術中映像に重ね合わせて表示する例を示す図（請求項１０に対応）である。
要点を記載すると、図１において生成された３次元形状を用いて、別に指定した投影条件により２次元投影面に注目対象を投影し、別に指定した投影条件により撮影した映像上に、２次元投影面に投影した注目対象を重ね合わせて表示する動作である。
以下、図１、図９を用いて、上記の方法により生成した血管の３次元データを利用することで、手術中の心臓撮影映像に血管映像を重ねあわせる方法について説明する。
図９のように、手術中の心臓７０を内視鏡などのカメラ７１により撮影した映像１３に、血管の３次元データ（図１の９）から、カメラ７１の撮影条件（図１の１１）と心電波形データ（図１の１２）を利用することにより、投影血管画像７３を生成し（図１のステップ１１０）、これらを重ね合わせて表示する（図１のステップ１１２）。
この手法により、心臓の拍動に合わせて、脂肪に隠れている冠状動脈の位置を明確にして、手術作業を容易にすることが可能となる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、冠状動脈の心臓拍動に伴う３次元的な動きを表示することが可能で、手術前の計画が正確かつ容易になり、その画像を手術中に実映像と重ねて表示することで、手術時間の短縮や安全性の向上などを図ることができる。また、本発明によれば、別の時刻に撮影した複数透視方向の冠状動脈造影画像を用いて３次元血管データを生成できることにより、安価で汎用的な透視撮影装置を利用可能であり、低コスト化、広範囲への普及を実現することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施例を示す複数方向の投影映像を用いた３次元形状の生成方法および表示方法の全体フロー図である。
【図２】図１における心電波形データの例を示した図である。
【図３】図１における同位相画像を抽出する原理を例示した図である。
【図４】図１における血管抽出をするための例を示した図である。
【図５】図１の血管抽出として領域拡張法を利用した例のフローチャートである。
【図６】図１の血管分岐点を抽出し、血管画像とともに表示した例を示した図である。
【図７】複数方向の透視投影の３次元的な位置関係を示した図である。
【図８】時系列データを利用した分岐点抽出の例を示した図である。
【図９】血管を手術中映像に重ねあわせて表示する例を示した図である。
【図１０】図１の同位相画像を抽出する例を示す動作フローチャートである。
【図１１】横隔膜が映り込んだ画像の例である。
【図１２】相関により血管以外の背景領域を除去する例のフローチャートである。
【図１３】複数透視方向画像上の分岐点を対応づける例のフローチャートである。
【図１４】分岐点をエピポーラ直線上に移動させる例を示した図である。
【図１５】複数透視方向の画像上の血管の対応づけを行う例を示した図である。
【図１６】図１の血管の３次元情報を生成する例を示したフローチャートである。
【図１７】図１の分岐点を抽出する例を示したフローチャートである。
【図１８】図１７における分岐点と血管セグメントを求める例を示したフローチャートである。
【符号の説明】
１…複数方向の冠状動脈造影映像、９…血管３次元データ、
１３…内視鏡などによる心臓撮影映像、５０…注目点Ｐ、
５１…投影方向Ａの線源位置Ｓａ、５２…投影方向Ａの投影面Ｔａ、
５５…投影方向Ｂの線源位置Ｓｂ、５６…投影方向Ｂの投影面Ｔｂ、
５７…線源位置Ｓａと注目点Ｐを通る直線を投影面Ｔｂに投影したエピポーラ直線、
７３…血管次元データを手術中映像に合わせて投影した血管画像
【図１】
2004008304.tif 000007
【図２】
2004008304.tif 000008
【図３】
2004008304.tif 000009
【図４】
2004008304.tif 000010
【図５】
2004008304.tif 000011
【図６】
2004008304.tif 000012
【図７】
2004008304.tif 000013
【図８】
2004008304.tif 000014
【図９】
2004008304.tif 000015
【図１０】
2004008304.tif 000016
【図１１】
2004008304.tif 000017
【図１２】
2004008304.tif 000018
【図１３】
2004008304.tif 000019
【図１４】
2004008304.tif 000020
【図１５】
2004008304.tif 000021
【図１６】
2004008304.tif 000022
【図１７】
2004008304.tif 000023
【図１８】
2004008304.tif 000024