(57)【要約】【課題】非同期撮影された複数のＸ線画像から血管の３次元モデルを生成する。【解決手段】造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、第１の撮影角度より得られる第１のＸ線画像群と第２の撮影角度より得られる第２のＸ線画像群とを取得するＸ線画像取得部と、第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに造影剤が血管を通過する領域を抽出する血管領域抽出部と、領域の面積値が半値となる撮影時刻に対応する第１のＸ線画像での造影剤の端点の位置を算出する造影端点算出部と、端点を、撮影時刻における第２のＸ線画像での造影剤の端点に対応する対応点として推定する造影対応点推定部と、推定された対応点の情報を用いて、血管の３次元モデルを生成する３次元モデル生成部と、を備える３次元モデル生成装置。【選択図】図１
2015029811.tif 000002
【特許請求の範囲】
【請求項１】
造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得するＸ線画像取得部と、
前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出する血管領域抽出部と、
前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出する造影端点算出部と、
前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定する造影対応点推定部と、
前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成する３次元モデル生成部と、
を備える３次元モデル生成装置。
【請求項２】
前記造影端点算出部は、前記領域の面積値と前記第１Ｘ線画像における所定領域の面積値との比より、前記造影剤の端点の位置を算出する、
請求項１に記載の３次元モデル生成装置。
【請求項３】
前記造影端点算出部は、前記領域の面積値と前記領域の濃度との積、及び、前記第１Ｘ線画像における所定領域の面積値と前記所定領域の濃度との積の比より、前記造影剤の端点の位置を算出する、
請求項１に記載の３次元モデル生成装置。
【請求項４】
前記造影端点算出部は、前記第１の撮影角度からの撮影時刻と前記第２の撮影角度からの撮影時刻と間の時刻における前記第１Ｘ線画像における所定領域の面積より、前記造影剤の端点の位置を算出する、
請求項１に記載の３次元モデル生成装置。
【請求項５】
Ｘ線画像取得部が、造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得し、
血管領域抽出部が、前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出し、
造影端点算出部が、前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出し、
造影対応点推定部が、前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定し、
３次元モデル生成部が、前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成する、
ことを含む３次元モデル生成方法。
【請求項６】
造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得するＸ線画像取得ステップと、
前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出する血管領域抽出ステップと、
前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出する造影端点算出ステップと、
前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定する造影対応点推定ステップと、
前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成する３次元モデル生成ステップと、
をコンピュータに実行させるための３次元モデル生成用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、血管の３次元モデルを生成する３次元モデル生成装置、３次元モデル生成方法、及び３次元モデル生成用プログラムに関する。
【背景技術】
【０００２】
血管の狭窄又は閉塞による疾患を調べる検査として、カテーテル造影検査がある。カテーテル造影検査では、Ｘ線不透過物質である造影剤を使用する。造影剤を血管内に注入してＸ線撮影することにより、血管とそれ以外の部分とを明瞭に区別することができる。
【０００３】
１方向からＸ線撮影した場合、冠状動脈のように多数の分岐を有する血管について、人が血管の形状を把握することは困難である。
【０００４】
そこで、２方向からＸ線撮影した２枚のＸ線画像より、血管の３次元モデルを生成する技術が研究開発されている（例えば、非特許文献１参照）。これにより、人は血管の形状を把握することが容易となる。
【０００５】
非特許文献１では、造影領域の端点の位置を用いた血管の３次元形状の復元方法が提案されている。造影剤が血管に広がっていく際の各時間に、造影剤が広がっていく端点（以下、「造影端点」と呼ぶ）の位置を２つの画像で対応付ける方法である。この手法では、予め撮影パラメータ等から２画像間のＦｕｎｄａｍｅｎｔａｌ行列と呼ばれる２画像間の幾何学的関係の情報を持つ行列を算出する。このＦｕｎｄａｍｅｎｔａｌ行列を用いると、１つの透視像中の１点を指定すると、もう一方の透視像中でどのような直線上に存在するかという情報が分かる。また、この直線のことをエピポーラ線と呼ぶ。この性質を利用し、透視像中の造影端点に対してエピポーラ線を算出し、もう一方の透視像中の造影端点をエピポーラ線が通過するか否かを判定して対応点を決定する。このように、対応点を決定すれば、三角測量の原理により、血管の３次元モデルを取得することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】吉田、見崎、佐藤、斎藤、“心血管造影像からの冠状動脈の３次元抽出”、電子情報通信学会論文誌  ‘８９／３  Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ  Ｎｏ．３、Ｐ４３３−４４１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、血管の３次元モデルを生成するために十分ではなかった。
【０００８】
そこで、本開示の限定的ではない例示的なある実施形態では、血管の３次元モデルを生成する３次元モデル生成装置、３次元モデル生成方法、及び３次元モデル生成用プログラムを提供する。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様に係る３次元モデル生成装置は、造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得するＸ線画像取得部と、前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出する血管領域抽出部と、前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出する造影端点算出部と、前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定する造影対応点推定部と、前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成する３次元モデル生成部と、を備える。
【００１０】
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
【発明の効果】
【００１１】
本開示の限定的でない例示的なある実施形態によれば、血管の３次元モデルを生成する３次元モデル生成装置が提供される。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態における血管形状復元装置の機能ブロックの構成を示す図
【図２】第１実施形態における血管形状復元装置の利用形態を示す図
【図３】第１実施形態における三次元復元処理のフローチャート
【図４】非同期撮影の概念図
【図５】従来手法における課題を示す概念図
【図６】画像処理部５００の詳細ブロック図
【図７】ステップＳ２００の画像処理手順を示すフローチャート
【図８】血管領域抽出の処理画像の概念図
【図９】血管領域抽出処理手順を示すフローチャート
【図１０】造影増加領域抽出の処理画像の概念図
【図１１】造影増加領域抽出処理手順を示すフローチャート
【図１２】造影増加領域抽出の処理画像の概念図
【図１３】造影端点抽出処理手順を示すフローチャート
【図１４】造影対応点推定部の対応点推定対象を示す概念図
【図１５】造影対応点推定方法を示す概念図
【図１６】造影対応点推定方法を示す概念図
【図１７】造影対応点推定処理手順を示すフローチャート
【図１８】対応点推定処理手順を示すフローチャート
【図１９】３次元復元の模式図
【図２０】３次元復元処理手順を示すフローチャート
【図２１】撮影装置から見て奥行き方向に血管構造が変化する場合の撮影画像と三次元配置を示す模式図
【図２２】奥行き方向に血管構造が変化する場合の造影対応点推定方法を示す概念図
【図２３】第１実施形態における造影対応点推定部の詳細ブロック図
【図２４】第２実施形態における造影対応点推定部の詳細ブロック図
【図２５】第２実施形態における造影対応点推定の処理手順を示すフローチャート
【図２６】第３実施形態における造影対応点推定部の詳細ブロック図
【図２７】第３実施形態における造影対応点推定の処理手順を示すフローチャート
【発明を実施するための形態】
【００１３】
（本開示の基礎となった知見）
非特許文献１に記載の装置には、２つの課題が存在する。
【００１４】
１つ目の課題は、撮影の同期に関する制約である。図２に示すように、２台のＸ線透視撮像を行う場合、干渉を避けるために同時にＸ線を照射せず交互に照射する。そのため、２台のＸ線透視撮像では同時刻に画像は撮影されない（以下、「非同期撮影」と呼ぶ）。このような場合でも、撮影対象が静止している場合には正確な対応点探索が可能となるが、造影剤が血管に広がっていく造影端点を撮影すると、２台のＸ線透視撮像中に対象が移動するため、正確な対応点は得られない。そのため、正確に形状を復元することができない。また、被爆量を低減するために、この撮影間隔を大きくすればする程、形状復元誤差は大きくなる。
【００１５】
２つ目の課題は、対応点算出の手法の課題である。上記のように非同期撮影を行う場合は、同時刻の映像が取得できないため、非同期撮影される画像から撮影対象物の軌跡を算出し、従来手法のような「エピポーラ線と点の交差による判別」ではなく「エピポーラ線と対象物の軌跡の交差による判別」により同時刻に取得されない画像から対応点を推定することができると考えられる。
【００１６】
しかしながら、このように直線と軌跡の交差を判定する場合、図５（ａ）に示すようにエピポーラ線と造影端点の軌跡が直交する場合には安定に交差点を算出することができるが、図５（ｂ）に示すようにエピポーラ線と造影端点の軌跡が平行に近づくと推定が不安定になるという問題がある。このような直線と軌跡が平行になる条件は、血管の走行方向と撮影配置によって変化する。脳血管のように複雑な血管は血管の走行方向が多数存在するため、エピポーラ線と平行になる環境が頻繁に発生し、対応点推定が不安定になる。
【００１７】
さらに、エピポーラ線と平行になる環境では、造影端点の軌跡の中点を対応点とするという推定方法が考えられるが、血管径が変化する環境では撮影中に造影端点の移動速度が変化する。そのため、造影端点の軌跡の中点と撮影間隔の中間における移動量が一致しなくなり、誤った対応点推定をしてしまうという課題がある。
【００１８】
そこで、本開示の第１態様に係る３次元モデル生成装置によれば、造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得するＸ線画像取得部と、前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出する血管領域抽出部と、前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出する造影端点算出部と、前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定する造影対応点推定部と、前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成する３次元モデル生成部と、を備えていてもよい。
【００１９】
本開示の第２態様によれば、前記第１態様に記載の３次元モデル生成装置において、前記造影端点算出部は、前記領域の面積値と前記第１Ｘ線画像における所定領域の面積値との比より、前記造影剤の端点の位置を算出してもよい。
【００２０】
本開示の第３態様によれば、前記第１態様に記載の３次元モデル生成装置において、前記造影端点算出部は、前記領域の面積値と前記領域の濃度との積、及び、前記第１Ｘ線画像における所定領域の面積値と前記所定領域の濃度との積の比より、前記造影剤の端点の位置を算出してもよい。
【００２１】
本開示の第４態様によれば、前記第１態様に記載の３次元モデル生成装置において、前記造影端点算出部は、前記第１の撮影角度からの撮影時刻と前記第２の撮影角度からの撮影時刻と間の時刻における前記第１Ｘ線画像における所定領域の面積より、前記造影剤の端点の位置を算出してもよい。
【００２２】
本開示の第５態様に係る３次元モデル生成方法によれば、Ｘ線画像取得部が、造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得し、血管領域抽出部が、前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出し、造影端点算出部が、前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出し、造影対応点推定部が、前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定し、３次元モデル生成部が、前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成してもよい。
【００２３】
本開示の第５６態様に係る３次元モデル生成用プログラムによれば、造影剤が通過する際の血管を第１の撮影角度と第２の撮影角度とから連続的かつ交互にＸ線撮像することにより、前記第１の撮影角度より得られる第１のＸ線画像群と前記第２の撮影角度より得られる第２のＸ線画像群とを取得するＸ線画像取得ステップと、前記第１のＸ線画像群について、時間的に隣接する各第１のＸ線画像を差分することにより、所定時間あたりに前記造影剤が血管を通過する領域を抽出する血管領域抽出ステップと、前記領域の面積値が半値となる撮影時刻に対応する前記第１のＸ線画像での前記造影剤の端点の位置を算出する造影端点算出ステップと、前記端点を、前記撮影時刻における前記第２のＸ線画像での前記造影剤の端点に対応する対応点として推定する造影対応点推定ステップと、前記推定された対応点の情報を用いて、前記血管の３次元モデルを生成する３次元モデル生成ステップと、をコンピュータに実行させるためのプログラムとしてもよい。
【００２４】
以下本開示の実施の形態について、図面を参照しながら説明する。
【００２５】
（第１実施形態）
図１は、本開示の第１実施形態における３次元モデル生成装置のブロック図である。
【００２６】
（全体構成）
３次元モデル生成装置１０００は、画像処理部５００と、造影対応点推定部６００と、３次元モデル生成部７００とを有する。ここで、画像処理部５００は、血管領域抽出部５１０と、造影端点・造影剤増加領域抽出部５２０とを有する。
【００２７】
血管の３次元モデルを生成するためのシステムの概要について、図１を用いて説明する。
【００２８】
ユーザ入力部１００は、ユーザが造影剤の注入開始を入力する装置である。
【００２９】
撮影時刻取得部２００は、被験者の撮影対象部位に対して放射線を照射してＸ線透視像を撮影する第１透視像撮影部３００及び第２透視像撮影部４００の透視像の撮影時刻を取得する。
【００３０】
画像処理部５００は、第１透視像撮影部３００及び第２透視像撮影部４００で撮影された複数時刻の透視像から造影端点と、複数時刻間に増えた造影剤の画像内における領域（以降、「造影剤増加領域」と呼ぶ）を抽出する。
【００３１】
造影対応点推定部６００は、ある透視像撮影部で撮影された透視像の造影端点の時刻における対応点を、もう１つの透視像撮影部で撮影された透視像から推定する。
【００３２】
３次元モデル生成部７００は、複数時刻の対応点組から血管形状を復元して、ＣＧ等を用いて３次元表示画面を生成する。
【００３３】
（各ブロック構成）
以下、各ブロックについて詳しく説明する。
【００３４】
（ユーザ入力部１００）
ユーザ入力部１００は、ユーザが造影剤注入開始及び血管形状復元処理開始を入力するデバイスであり、例えば、キーボード又はプッシュボタンなどが該当する。ボタンなどで、造影剤注入開始を入力するように促すようにしてもよい。なお、ユーザ入力部１００は、Ｘ線透視時に用いる造影剤注入機器の造影剤注入開始入力と共通でもよい。
【００３５】
ユーザ入力部１００から、造影剤注入開始が入力されると、血管形状復元処理開始指令をユーザ入力部１００から画像処理部５００に出力する。
【００３６】
（撮影時刻取得部２００）
撮影時刻取得部２００は、第１透視像撮影部３００及び第２透視像撮影部４００の撮影時刻を取得し、画像処理部５００に送信する。撮影時刻取得部２００で送信する撮影時刻は、複数Ｘ線透視撮影部で撮影された透視像の撮影順序と撮影間隔が分かる情報であればよい。そのため、ユーザ入力部１００の入力開始時刻を基準とした撮影時刻でもよいし、標準時等の基準に対する撮影時刻でもよい。
【００３７】
（画像処理部５００）
画像処理部５００は、撮影時刻取得部２００から撮影時刻情報を取得し、第１透視像撮影部３００及び第２透視像撮影部４００からは各撮影時刻に対応した透視像を取得する。これら複数の透視像中の造影端点と造影剤増加領域を抽出し、造影対応点推定部６００に出力する。また、ユーザ入力部１００への開始入力時の第１透視像撮影部３００及び第２透視像撮影部４００の透視像をそれぞれ取得し、バッファへ格納する。
【００３８】
画像処理部５００は、血管領域抽出部５１０と、造影端点・造影剤増加領域抽出部５２０とを有する。画像処理部５００の処理を、図６のブロック図を用いて詳細に説明する。
【００３９】
（血管領域抽出部５１０）
血管領域抽出部５１０では、第１透視像撮影部３００及び第２透視像撮影部４００からは各撮影時刻に対応した透視像とバッファに格納されている造影剤注入開始時の透視像の差分画像を算出することにより血管領域を抽出し、その領域情報、撮影時刻を造影端点・造影剤増加領域抽出部５２０に出力する。
【００４０】
（造影端点・造影剤増加領域抽出部５２０）
造影端点・造影剤増加領域抽出部５２０では、血管領域抽出部５１０から２時刻分の血管領域情報を取得する。この血管領域情報から造影剤増加領域を抽出し、抽出した増加領域から造影端点を抽出して、造影剤増加領域情報、造影端点座標、及び撮影時刻を造影対応点推定部６００に出力する。なお、開始１フレーム目の透視像に対しては、血管領域がない状態を１時刻分の血管領域情報として用いる。
【００４１】
（造影対応点推定部６００）
造影対応点推定部６００では、造影端点・造影剤増加領域抽出部５２０から造影剤増加領域情報、造影端点座標及び撮影時刻を取得する。
【００４２】
ここで、図１４に示すように、第１透視像撮影部３００の造影端点が入力された場合には、その直後に第２透視像撮影部４００で撮影された透視像を用いて第１透視像撮影部３００の造影端点が撮影された時刻の造影端点の位置を推定する。同様に、第２透視像撮影部４００の造影端点が入力された場合には、その直後に第１透視像撮影部４００で撮影された透視像を用いて第１透視像撮影部３００の造影端点が撮影された時刻の造影端点の位置を推定する。
【００４３】
各時刻において推定した対応点とその撮影時刻及び対応点座標における血管の太さを３次元モデル生成部７００に出力する。
【００４４】
以下、図２３を用いて造影対応点推定部６００の詳細ブロックについて説明する。
【００４５】
（造影剤増加領域総面積算出部６１０）
造影剤増加領域総面積出部６１０では、造影端点・造影剤増加領域抽出部５２０から造影剤増加領域の情報を取得し、造影剤増加領域内の総面積を算出する。算出した造影剤増加領域内総面積を面積比算出部６３０に出力する。
【００４６】
（注目領域面積算出部６２０）
注目領域面積算出部６２０では、注目点と注目領域を設定し、その領域内の面積を算出する。この注目領域面積を面積比算出部６３０に出力する。
【００４７】
（面積比算出部６３０）
面積比算出部６３０では、造影剤増加領域総面積算出部６１０で算出した造影剤増加領域の総面積と注目領域面積算出部６２０で算出した注目領域内の面積比を算出し、面積比を対応点算出部６４０に出力する。
【００４８】
（面積濃度時刻変換部６４０）
面積濃度時刻変換部６４０では、撮影時刻取得部２００からは注目点を設定した透視像の撮影時刻情報を取得し、面積比算出部６３０からは面積比を取得する。撮影間隔に対する面積比から注目点まで到達するのに要した時間を算出し、その時刻情報を撮影時刻対応判定部６５０に出力する。
【００４９】
（撮影時刻対応判定部６５０）
撮影時刻対応判定部６５０では、面積濃度時刻変換部６４０から注目点の時刻情報を取得し、撮影時刻取得部２００からは注目点を設定していない透視像の撮影時刻を取得し、両者の時刻が一致するか否かを判定する。
【００５０】
（対応点算出部６６０）
対応点算出部６６０では、撮影時刻対応判定部６５０で時刻が一致したときの注目点座標と注目点を設定していない透視像の造影端点座標を対応点組として採用する。造影開始時刻から造影剤増加領域が検出されなくなるまでの時刻の対応点組を推定し、これら対応点組を３次元モデル生成部７００に出力する。
【００５１】
（３次元モデル生成部７００）
３次元モデル生成部７００は、造影対応点推定部６００から対応点、撮影時刻及び対応点座標における血管の太さを取得し、第１透視像撮影部３００及び第２透視像撮影部４００の撮影パラメータを用いて、対応点の３次元点座標を推定する。その後、各３次元点座標に対して、撮影時刻から各点間の接続関係を算出する。各点が接続された血管に対して各点座標の太さを反映し、３次元ＣＧ等の画像を生成する。
【００５２】
（３次元モデル生成装置の利用形態）
図２に第１実施形態における３次元モデル生成装置の構成及び利用環境を示す。
【００５３】
図２に示すように、３次元モデル生成装置は患者の造影検査およびカテーテル手術中に使用する。ユーザは造影剤注入開始を造影剤注入装置および血管形状復元システムに入力する。血管形状復元システムは第１透視像撮影部および第２透視像撮影部から透視像を取得し、造影した血管の形状を復元し、表示部にて表示する。ユーザは血管形状を３次元的に把握することが可能になるため、スムーズなカテーテル操作及び手術が可能となる。
【００５４】
（血管形状復元装置（第１実施形態）の処理フロー）
（全体処理フロー）
以下、図３のフローチャートを用いて、３次元モデル生成装置１０００により行う血管形状復元処理の全体処理フローの手順を説明する。
【００５５】
ステップＳ１００では、第１透視像撮影部３００及び第２透視像撮影部４００により透視像を撮影する。図４に示すように、第１透視像撮影部３００及び第２透視像撮影部４００は非同期撮影を行うため、異なる時刻の透視像が撮影される。
【００５６】
ステップＳ２００では、撮影された透視像に対して画像処理を行い、造影端点と造影剤増加領域、及びその細線化領域を算出する。
【００５７】
以下、図７に示すフローチャートを用いて画像処理の詳細について説明する。
【００５８】
ステップＳ２１０は、ユーザ入力部１００で開始入力を入力した直後の画像フレームか否かを判定する。開始入力後１フレーム目の場合には、ステップＳ２２０に進む。
【００５９】
ステップＳ２２０では、開始入力時刻の第１透視像撮影部３００と第２透視像撮影部４００の透視像を、造影剤が注入される直前の背景画像としてバッファに格納する。
【００６０】
（血管領域抽出処理）
ステップＳ２３０では、ステップＳ２２０でバッファに格納した背景画像と造影剤注入時に取得した透視像から血管領域を抽出する。
【００６１】
以下、図８の模式図と図９に示すフローチャートを用いて血管領域抽出処理の詳細について説明する。
【００６２】
ステップＳ２３１では、バッファに格納した背景画像を取得する。背景画像は造影剤注入直前に撮影された透視像であるため、図８（ｂ）に示すように透視像中に血管は撮影されない。
【００６３】
ステップＳ２３２では、造影剤注入時の透視像を取得する。造影剤注入時の透視像であるため、図８（ａ）に示すように血管領域が他の領域に比べ低濃度になる。
【００６４】
ステップＳ２３３は、ステップＳ２３２の撮影画像とステップＳ２３１の背景画像との差分画像を算出する。この操作により、図８（ｃ）に示すように血管領域が強調された画像を算出することができる。
【００６５】
ステップＳ２３４では、ステップＳ２３３で算出した差分画像を２値化する。例えば、血管領域の画素値を０、血管以外の領域の画素値２５５とすると図８（ｄ）に示すような２値化画像が得られる。
【００６６】
ステップＳ２３５では、ステップＳ２３３で得られた２値化画像に対して、ノイズ除去を行う。例えば、膨張・収縮処理を行うことにより、細かなドット状のノイズを除去することができる。
【００６７】
以上の処理を行い、血管領域を抽出し、この領域情報を造影端点・造影剤増加領域抽出部に出力する。
【００６８】
（造影剤増加領域抽出処理）
ステップＳ２４０では、ステップＳ２３０で抽出した複数時刻の血管領域情報から造影剤増加領域を抽出する。
【００６９】
以下、図１０の模式図と図１１に示すフローチャートを用いて造影剤増加領域抽出処理の詳細について説明する。
【００７０】
ステップＳ２４１では、同一透視像撮影部で取得した透視像から抽出した複数時刻の血管領域情報の差分領域を算出する。具体的には、図１０（ｂ）に示す血管領域（時刻ｔ）と図１０（ａ）に示す血管領域（時刻ｔ＋δｔ）の差分領域を算出する。この処理により、図１０（ｃ）に示すような複数時刻の血管領域から造影剤が増加した領域を算出することができる。
【００７１】
ステップＳ２４２では、算出した造影剤増加領域毎に処理を行うために、各領域のラベリング処理を行う。例えば、図１０（ｄ）に示すように右側の造影剤増加領域を丸付き数字１、左側の造影剤増加領域を丸付き数字２といったラベルを付与する。
【００７２】
（造影端点抽出）
ステップＳ２５０では、ステップＳ２４０で抽出した各造影剤増加領域に対して造影端点を抽出する。
【００７３】
以下、図１２の模式図と図１３に示すフローチャートを用いて造影端点抽出処理の詳細について説明する。
【００７４】
ステップＳ２５１では、抽出した各造影剤増加領域に対して細線化処理を行う。図１２（ａ）に示す造影剤増加領域に対して細線化を行うと、図１２（ｂ）に示す線幅が１画素の細線化領域が得られる。
【００７５】
ステップＳ２５２では、細線化した領域に対して端点を抽出する。例えば、線幅１画素の細線化領域に対して複数の論理フィルタを用いて判定を行うことが可能である。図１２（ｂ）の細線化画像に対して端点を抽出すると図１２（ｃ）中の点（白）のように複数の端点を抽出することができる。
【００７６】
ステップＳ２５３では、ステップＳ２５２で抽出した端点が現在時刻の端点か、前時刻の端点かを区別するために前時刻の端点を判定する。具体的には、図１２（ｄ）に示すように前時刻の端点座標（灰色）と図１２（ｃ）に示す抽出した全ての端点との距離を算出する。図１２（ｄ）のように前時刻の端点座標からの距離が閾値以内の点（黒）を前時刻の端点と判定する。
【００７７】
（対応点抽出）
ステップＳ３００では、ステップＳ２００で抽出した造影端点、造影剤増加領域、及び撮影時刻から各透視像中の対応点を推定する。
【００７８】
以下、図１７に示すフローチャートを用いて対応点抽出処理の詳細について説明する。
【００７９】
ステップＳ３１０では、基準となる透視像の中の１点を決定し、その点に対応するもう一方の透視像中の対応点を算出するために、エピポーラ線を算出する。
【００８０】
ステップＳ３２０では、ステップＳ３１０で算出したエピポーラ線と造影剤増加領域を細線化した領域から直線フィッティング手法で近似した直線の角度が所定の角度以下か否かを判定する。このとき、所定の角度以上であれば、従来手法と同様、造影剤増加領域とエピポーラ線の交点をそのまま対応点として使用し、所定の角度以下であれば本発明の対応点推定手法を用いる。
【００８１】
ステップＳ３３０では、エピポーラ線と造影剤増加領域を細線化した領域から直線フィッティング手法で近似した直線の交点を算出する。ステップ３３０で交点を算出した場合には、この交点を対応点として採用する。
【００８２】
ステップＳ３４０では、エピポーラ線と造影剤増加領域を細線化した領域から直線フィッティング手法で近似した直線の角度が小さいため、エピポーラ線と近似した直線の誤差に対して交点の算出結果の誤差が大きくなる。そのため、交点は算出せず、造影剤増加領域を用いて対応点を算出する。以下、図１５、図１６の模式図及び図１８に示すフローチャートを用いて、造影剤増加領域による対応点抽出処理の詳細について説明する。
【００８３】
図１５に示すように、図１５（ａ）の透視像からは図１５（ｂ）の造影端点が抽出できる。ここで、造影端点の前後時刻ｔとｔ＋δｔとの間の時刻について考える。これは、他方の透視像撮影装置の撮影時刻であり、もし同期撮影を行っていれば図１５（ｃ）のような画像が撮影される。しかしながら、透視像撮影装置は非同期撮影のため、図１５（ｃ）の画像は得られず造影端点は別の情報から推定する必要がある。本開示では、造影剤の流入量変化と時間の関係を用いて、他方の透視像撮影装置の撮影時刻における造影端点位置を推定する。造影剤の流入量として造影剤増加領域の領域面積を算出し、その面積と時間の関係から対応点位置を推定する。以降では、造影剤増加領域の領域面積の算出方法および対応点位置の推定方法について説明する。
【００８４】
ステップＳ３４１では、造影剤増加領域の総面積を算出する。
【００８５】
ステップＳ３４２では、図１６に示すように造影剤増加領域中の注目点を設定する。例えば、造影剤増加領域を細線化した細線化領域中の１点を注目点として指定する。なお、この注目点を順次移動させ、その都度面積を算出する。
【００８６】
ステップＳ３４３では、前時刻の造影剤から注目点位置に到達するまでの造影剤増加分の面積を算出する。具体的には、注目点から注目領域を設定し、その領域の面積を算出する。例えば、図１６のように注目点を通過する細線化領域の法線を算出し、前時刻の造影剤から注目点までの領域（図１６中の網掛け領域）の面積を算出する。
【００８７】
ステップＳ３４４では、ステップＳ３４３で算出した面積から前時刻からの経過時間を算出する。図１６に示すように、ステップＳ３４１で算出した造影剤増加領域の総面積に対する注目点領域の面積の比を算出し、Ｘ線透視撮影装置の撮影間隔との積を算出することにより、注目点の位置まで造影剤が到達するのに経過した時間を算出することができる。
【００８８】
ステップＳ３４５では、ステップＳ３４４で算出した撮影時刻がもう一方の透視像の撮影時刻と一致するか否かを判定する。一致した場合はステップＳ３４６の対応点算出に進み、一致しない場合はステップＳ３４２に戻り、別の注目点を再設定する。
【００８９】
ステップＳ３４６では、対応点の位置を算出する。具体的には、ステップＳ３４４で算出した注目点の位置を対応点として採用し、もう一方の透視像の造影端点位置とペアにして、対応点組として出力する。
【００９０】
（血管形状復元）
ステップＳ４００では、ステップＳ３００で算出した複数の対応点組から血管形状の３次元復元を行う。以下、図１９の模式図と図２０に示すフローチャートを用いて、血管形状の３次元復元処理の詳細について説明する。
【００９１】
ステップＳ４１０では、ステップＳ３００で算出した複数時刻の対応点組を取得する。
【００９２】
ステップＳ４２０では、ステップＳ４１０で取得した対応点組と撮影パラメータ（カメラ内部パラメータ、外部パラメータ）から対応点組の三次元位置を算出する。
【００９３】
ステップＳ４３０では、対応点組の撮影時刻とステップＳ４２０で算出した三次元位置から、これら複数の点の連結関係を算出する。
【００９４】
ステップＳ４４０では、ステップＳ４２０で算出した３次元形状とステップＳ４３０で算出した連結関係から血管形状の表示画面を生成する。
【００９５】
（表示）
ステップＳ５００では、ステップＳ４４０で算出した表示画面をユーザに表示する。
【００９６】
（第１実施形態の効果）
第１実施形態の３次元モデル生成装置によれば、エピポーラ線と造影端点の軌跡が平行に近づく環境が発生しても、対応点を安定に推定可能である。さらに、血管径が変化する場合においても、対応点を安定に推定可能である。そのため、脳血管のようにカテーテル操作が困難な複雑かつ血管径が変化する対象の血管の３次元形状を復元することができ、ユーザは血管の三次元的な形状を把握することが可能になるため、スムーズなカテーテル操作及び手術が可能となる。
【００９７】
（第２実施形態）
第１実施形態では、非同期撮影時の対応点推定および血管形状復元方法について説明している。この方法によると、エピポーラ線と造影端点の軌跡が平行に近づく環境や血管径が変化する場合においても正確な血管形状を把握しながら手術することができる。しかしながら、図２１に示すように撮影装置の位置に対して血管形状の奥行きの変化が大きい場合には、造影端点が奥行方向に移動している間は透視像中では静止しているように見える。そのため、対応点推定に用いた造影剤増加領域の面積情報だけでは対応点を正確に推定できないという課題がある。
【００９８】
本開示の第２実施形態における３次元モデル生成装置について説明する。第１実施形態と同一の構成要素については、説明を省略する。全体ブロック構成は第１実施形態と同じため、以下では第２実施形態における造影対応点抽出部の詳細とその動作について説明する。
【００９９】
先に述べたように図２１のように、撮影装置の位置に対して血管形状の奥行きの変化が大きい場合には、造影端点が奥行方向に移動している間は透視像中では静止しているように見えるため、対応点を正確に推定できない。しかしながら、奥行き方向に造影剤が移動する場合、その領域の放射線は造影剤を多く通過するため、その輝度値は低くなる。第２実施形態では、この濃度情報を利用して造影の流入量を算出し、正確な対応点位置を推定する。ここで、本明細書において、輝度値の最大値−輝度値を、「濃度」と定義する。この定義によると、造影剤濃度が高い場合には、輝度値が低くなり濃度は高くなる。
【０１００】
図２４に第２実施形態における造影対応点推定部６００ｂのブロック図を示す。第２実施形態における造影対応点推定部６００ｂは、造影剤増加領域総濃度算出部６１０ｂ、注目領域濃度算出部６２０ｂ、及び面積濃度比算出部６３０ｂを備える。また、第２実施形態における造影対応点推定部６００ｂは、第１実施形態の造影剤増加領域の面積に加えて、濃度情報を加味した領域面積比を算出することにより、奥行き変化が大きい対象の造影剤流入量変化を推定し、対応点位置を推定する。以下、各新規ブロックについて説明する。
【０１０１】
（造影剤増加領域総濃度算出部６１０ｂ）
造影剤増加領域総濃度算出部６１０ｂでは、造影端点・造影剤増加領域抽出部５２０から造影剤増加領域の情報を取得し、造影剤増加領域内の総濃度を算出する。算出した造影剤増加領域内総濃度を面積濃度比算出部６３０ｂに出力する。ここで、総濃度とは、領域内の濃度値の総和のことである。
【０１０２】
（注目領域濃度算出部６２０ｂ）
注目領域濃度算出部６２０ｂでは、注目点と注目領域を設定し、その領域内の総濃度を算出する。この注目領域内総濃度を面積濃度比算出部６３０ｂに出力する。
【０１０３】
（面積濃度比算出部６３０ｂ）
面積濃度比算出部６３０ｂでは、造影剤増加領域総濃度算出部６１０ｂで算出した造影剤増加領域内の総濃度と注目領域濃度算出部６２０ｂで算出した注目領域内の総濃度の比（面積×濃度の比、以下では「面積濃度比」と呼ぶ）を算出し、面積濃度比を対応点算出部６４０ｂに出力する。
【０１０４】
（面積濃度時刻変換部６４０ｂ）
面積濃度時刻変換部６４０ｂでは、撮影時刻取得部２００からは注目点を設定した透視像の撮影時刻情報を取得し、面積濃度比算出部６３０ｂからは面積濃度比を取得する。撮影間隔に対する面積濃度比から注目点まで到達するのに要した時間を算出し、その時刻情報を撮影時刻対応判定部６５０ｂに出力する。
【０１０５】
（撮影時刻対応判定部６５０ｂ）
撮影時刻対応判定部６５０ｂでは、面積濃度時刻変換部６４０ｂから注目点の時刻情報を取得し、撮影時刻取得部２００からは注目点を設定していない透視像の撮影時刻を取得し、両者の時刻が一致するか否かを判定する。
【０１０６】
（対応点算出部６６０ｂ）
対応点算出部６６０ｂでは、撮影時刻対応判定部６５０ｂで時刻が一致したときの注目点座標と注目点を設定していない透視像の造影端点座標を対応点組として採用する。造影開始時刻から造影剤増加領域が検出されなくなるまでの時刻の対応点組を推定し、これら対応点組を３次元モデル生成部７００に出力する。
【０１０７】
以下、図２５のフローチャートを用いて、第２実施形態における造影対応点推定処理の処理フローの手順を説明する。
【０１０８】
ステップＳ３４１ｂでは、造影剤増加領域の総濃度を算出する。
【０１０９】
ステップＳ３４２ｂでは、図２３に示すように造影剤増加領域中の注目点を設定する。例えば、造影剤増加領域を細線化した細線化領域中の１点を注目点として指定する。なお、この注目点を順次移動させ、その都度面積を算出する。
【０１１０】
ステップＳ３４３ｂでは、前時刻の造影剤端点から注目点位置に到達するまでの造影剤増加分の面積を算出する。具体的には、注目点から注目領域を設定し、その領域の面積を算出する。例えば、図２３のように注目点を通過する細線化領域の法線を算出し、前時刻の造影剤から注目点までの領域（図２３中の網掛け領域）の面積を算出する。
【０１１１】
ステップＳ３４４ｂでは、ステップＳ３４３ｂで算出した総濃度から前時刻からの経過時間を算出する。図２３に示すように、ステップＳ３４１ｂで算出した造影剤増加領域の総濃度に対する注目点領域の総濃度の比を算出し、Ｘ線透視撮影装置の撮影間隔との積を算出することにより、注目点の位置まで造影剤が到達するのに経過した時間を算出することができる。
【０１１２】
ステップＳ３４５ｂでは、ステップＳ３４４ｂで算出した撮影時刻がもう一方の透視像の撮影時刻と一致するか否かを判定する。一致した場合はステップＳ３４６の対応点算出に進み、一致しない場合はステップＳ３４２に戻り、別の注目点を再設定する。
【０１１３】
ステップＳ３４６ｂでは、対応点の位置を算出する。具体的には、ステップＳ３４４ｂで算出した注目点の位置を対応点として採用し、もう一方の透視像の造影端点位置とペアにして、対応点組として出力する。
【０１１４】
（第２実施形態の効果）
第２実施形態の３次元モデル生成装置によれば、撮影装置の位置に対して血管形状の奥行きの変化が大きい場合においても、対応点を安定に推定可能である。そのため、血管をどのような撮影方向から撮影しても、血管の３次元形状を復元することができる。そのため、ユーザは血管の三次元的な形状を把握することが可能になるため、スムーズなカテーテル操作及び手術が可能となる。
【０１１５】
（第３実施形態）
第１実施形態では、非同期撮影時の対応点推定および血管形状復元方法について説明している。この方法によると、正確な血管形状を把握しながら手術することができる。しかしながら、患者の被ばく量を低減するために撮影間隔を大きくすると、対応点推定は正しいため、対応点位置は正確に算出できる。しかしながら、対応点の撮影間隔が長くなり、本来の血管形状に対して、疎な形状しか取得できなくなるという課題がある。
【０１１６】
第１実施形態では、注目点に対して領域面積を算出し、その領域面積から造影剤が増加するのにかかった時間に変換し、対応点を算出した。第３実施形態では、この対応点推定を撮影間隔より短時間に対して行い、第１透視像撮影部及び第２透視像撮影部における撮影間隔より短い間隔の対応点を取得する。
【０１１７】
本開示の第３実施形態における３次元モデル生成装置について説明する。第１実施形態と同一の構成要素については、説明を省略する。全体ブロック構成は第１実施形態と同じため、以下では第３実施形態における造影対応点推定部の詳細とその動作について説明する。
【０１１８】
図２６に第３実施形態における造影対応点推定部６００ｃのブロック図を示す。図２６に示すように新規ブロックは推定時刻決定部６７０と撮影時刻判定部６８０のみである。そのため、以下では、推定時刻決定部６７０及び撮影時刻判定部６８０について詳細を説明する。
【０１１９】
（推定時刻決定部６７０）
推定時刻決定部６７０では、撮影時刻取得部２００から第１透視像撮影部及び第２透視像撮影部の撮影時刻を取得する。また、対応点を取得したい時間間隔情報を取得し、撮影時刻に間隔を加えた時刻情報を撮影時刻判定部６８０に出力する。なお、対応点を取得したい時間間隔情報は予め指定したものを読み込んでもよいし、時間間隔入力部を備え、ユーザが入力してもよい。
【０１２０】
（撮影時刻判定部６８０）
撮影時刻判定部６８０では、面積時刻変換部６４０から推定した時刻情報を取得し、推定時刻決定部６７０からは推定対象時刻を取得し、両者の時刻が一致するか否かを判定する。
【０１２１】
以下、図２５のフローチャートを用いて、第２実施形態における造影対応点推定処理の処理フローの手順を説明する。なお、ステップＳ３４１からＳ３４６については第１実施形態で説明したため、省略する。
【０１２２】
ステップＳ３４７では、対応点を取得したい時刻情報を決定する。撮影時刻判定部６８０に出力する。撮影時刻取得部２００から第１透視像撮影部及び第２透視像撮影部の撮影時刻と、対応点を取得したい時間間隔情報を取得し、撮影時刻に間隔を加えた時刻情報を決定する。
【０１２３】
ステップＳ３４８では、ステップＳ３４４で算出した時刻が推定対象時刻か否かを判定する。もし、時刻が一致する場合にはステップＳ３４６に進み、一致しない場合はステップＳ３４２に戻り、別の注目点を設定する。
【０１２４】
（第３実施形態の効果）
第３実施形態の３次元モデル生成装置によれば、撮影間隔を大きくしても、密な対応点を取得可能になる。そのため、ユーザは正確な血管の三次元的な形状を把握することが可能になるため、スムーズなカテーテル操作及び手術が可能となる。さらに、患者の被ばく量を低減することができる。
【産業上の利用可能性】
【０１２５】
本開示にかかる３次元モデル生成装置、３次元モデル生成方法、及び、３次元モデル生成用プログラムは、非同期撮影された透視像から３次元形状を復元する機能を有し、カテーテル造影検査時に有用である。また、本開示にかかる３次元モデル生成装置、３次元モデル生成方法、及び、３次元モデル生成用プログラムは、研修医のためのカテーテル操作教育等の用途にも応用できる。
【符号の説明】
【０１２６】
１００    ユーザ入力部
２００    撮影時刻取得部
５１０    血管領域抽出部
５２０    造影端点・造影剤増加領域抽出部
６００，６００ｂ，６００ｃ    造影対応点推定部
７００    ３次元モデル生成部
【図１】
2015029811.tif 000003
【図２】
2015029811.tif 000004
【図３】
2015029811.tif 000005
【図４】
2015029811.tif 000006
【図５】
2015029811.tif 000007
【図６】
2015029811.tif 000008
【図７】
2015029811.tif 000009
【図８】
2015029811.tif 000010
【図９】
2015029811.tif 000011
【図１０】
2015029811.tif 000012
【図１１】
2015029811.tif 000013
【図１２】
2015029811.tif 000014
【図１３】
2015029811.tif 000015
【図１４】
2015029811.tif 000016
【図１５】
2015029811.tif 000017
【図１６】
2015029811.tif 000018
【図１７】
2015029811.tif 000019
【図１８】
2015029811.tif 000020
【図１９】
2015029811.tif 000021
【図２０】
2015029811.tif 000022
【図２１】
2015029811.tif 000023
【図２２】
2015029811.tif 000024
【図２３】
2015029811.tif 000025
【図２４】
2015029811.tif 000026
【図２５】
2015029811.tif 000027
【図２６】
2015029811.tif 000028
【図２７】
2015029811.tif 000029