(57)【要約】  ２つのイメージングモダリティ間の相互レジストレーションを改善するために、複数の血管造影画像フレームにおいて血管領域を検出することと、血管領域の長手方向に直交する方向を定めること。次に、複数の血管造影画像フレーム内の血管領域の場所を評価することにより、血管領域の長手方向に交差する方向に基づいて、血管領域の運動が検出される。本方法は、検出された運動及び検出された血管領域に基づいてエリアを定めることと、エリア内の血管領域に配置されたイメージングカテーテルのマーカを検出することと、検出されたマーカに基づいて相互レジストレーションを実行することとを含む。【選択図】図１０
2020528779.tif 000002
【特許請求の範囲】
【請求項１】
血管領域の複数の血管造影画像フレームと、イメージングカテーテルのプルバック中に前記イメージングカテーテルによって前記血管領域において取得される複数の血管内画像フレームとを取得することと、
前記複数の血管造影画像フレームの各々において、前記血管領域を検出することと、
前記血管領域の長手方向に交差する方向を定めることと、
前記複数の血管造影画像フレーム内の前記血管領域の場所を評価することにより、前記方向に基づいて、前記血管領域の運動を検出することと、
検出された前記運動及び検出された前記血管領域に基づいて、エリアを定めることと、
前記複数の血管造影画像フレームの少なくとも１つにおいて、前記イメージングカテーテルのマーカを検出することと、
検出された前記マーカに基づいて、前記複数の血管造影画像フレームと前記複数の血管内画像フレームとの間の相互レジストレーションを実行することと、
を含む、血管造影画像を処理するための方法。
【請求項２】
前記血管領域は、血管内イメージングプルバックが実行された冠動脈の位置を特定するユーザ入力をグラフィカルユーザインタフェース上で取得することによって検出される、請求項１に記載の方法。
【請求項３】
前記血管領域は、造影剤が位置する前記血管領域のエリアに第１の既定の値を割り当て、造影剤が位置しない前記血管領域のエリアに第２の既定の値を割り当てることによってセグメント化される、請求項１に記載の方法。
【請求項４】
セグメント化された血管をグラフィカルユーザインタフェース上に示す二値画像を生成することを更に含み、前記第１の既定の値を有する前記血管領域は白色エリアとして示され、他の全てのエリアは黒色エリアとして示される、請求項３に記載の方法。
【請求項５】
前記二値画像上に、前記長手方向に直交する前記方向に対応する線を適用することを更に含み、
前記白色エリアに重なる前記線の一部は、心臓運動を決定するためにｘ軸方向及びｙ軸方向において評価される、請求項４に記載の方法。
【請求項６】
前記血管領域の前記長手方向は、直線により接続されている連続するユーザ入力によって定められる、請求項１に記載の方法。
【請求項７】
前記血管領域の前記長手方向は、血管内画像プルバックが実行された方向を定める、請求項１に記載の方法。
【請求項８】
前記エリアは関心範囲である、請求項１に記載の方法。
【請求項９】
前記エリアにおいて、各血管造影画像フレームについて第１の血管造影画像フレームからの絶対差を評価することによって、心周期を推定することを更に含む、請求項１に記載の方法。
【請求項１０】
前記定めることにおいて、定められた前記方向は、前記血管領域の前記長手方向に直交する、請求項１に記載の方法。
【請求項１１】
相互レジストレーションのためのユーザ入力を受け付けるための血管造影画像フレームと、前記血管造影画像フレームを変更するためのユーザ命令を受け付けるためのアイテムとを含むグラフィカルユーザインタフェースを、ディスプレイユニットに表示させることを更に含み、前記表示させることにおいて、前記プルバック中の前記第１の血管造影画像フレームが表示される、請求項１に記載の方法。
【請求項１２】
前記グラフィカルユーザインタフェースは、相互レジストレーションの実行を開始するためのアイテムを更に含み、前記アイテムは、前記グラフィカルユーザインタフェースにおける前記血管造影画像フレーム内のユーザ入力の数が閾値よりも少ない場合、無効化される、請求項１１に記載の方法。
【請求項１３】
前記血管造影画像内のユーザ入力の数が十分である場合、前記ディスプレイユニットに、前記グラフィカルユーザインタフェースにおいて前記血管造影画像フレームから異なる血管造影画像フレームへ変更させることを更に含む、請求項１１に記載の方法。
【請求項１４】
前記グラフィカルユーザインタフェースは、スライドバーと、前記スライドバーに沿う可動カーソルとを更に含み、前記可動カーソルの場所に従って、前記複数の血管造影画像フレームのうちの１つが選択され、前記スライドバーに沿って、心周期情報に基づいて選択される血管造影画像フレームに対応する場所に、少なくとも１つのマーカが位置付けられる、請求項１１に記載の方法。
【請求項１５】
前記相互レジストレーションが実行されている間に、ディスプレイユニットに、前記相互レジストレーションを停止するユーザ命令を受け付けるためのアイテムを含むグラフィカルユーザインタフェースを表示させることを更に含む、請求項１に記載の方法。
【請求項１６】
前記相互レジストレーションが実行された後に、ディスプレイユニットに、前記相互レジストレーションの結果、第１のアイテム及び第２のアイテムを含むグラフィカルユーザインタフェースを表示させることと、
前記第１のアイテムがユーザによって選択されたとき、前記ディスプレイユニットに、前記複数の血管内画像のうちの少なくとも１つと、検出された前記マーカの位置を示すインジケータを有する前記血管造影画像フレームのうちの少なくとも１つとを含むグラフィカルユーザインタフェースを表示させることと、
前記第２のアイテムがユーザによって選択されたとき、前記ディスプレイユニットに、前記複数の血管内画像のうちの少なくとも１つと、前記インジケータを有さない前記血管造影画像フレームのうちの少なくとも１つとを含むグラフィカルユーザインタフェースを表示させることと、を更に含む、請求項１に記載の方法。
【請求項１７】
前記相互レジストレーションが実行された後、ディスプレイユニットに、前記血管造影画像フレーム内の検出された前記マーカの位置を示すインジケータを含むグラフィカルユーザインタフェースを、前記位置のユーザ修正を受け付けるために、表示させることと、
受け付けられた前記ユーザ修正に基づいて、前記血管造影画像フレームが取得された時間から一定の時間範囲において取得された前記複数の血管内画像フレームの少なくとも一部について、相互レジストレーションを再度実行することと、
を更に含む、請求項１に記載の方法。
【請求項１８】
コンピュータに請求項１に記載の方法を実行させるためのコンピュータ可読プログラムを記憶する、非一時的なコンピュータ可読記憶媒体。
【請求項１９】
データを記憶するためのメモリと、
前記メモリと通信するプロセッサであって、
複数の血管造影画像フレームの各々において血管領域を検出するステップと、
前記血管領域の長手方向に交差する方向を定めるステップと、
前記複数の血管造影画像フレーム内の前記血管領域の場所を評価することにより、前記方向に基づいて、前記血管領域の運動を検出するステップと、
検出された前記運動及び検出された前記血管領域に基づいて、エリアを定めるステップと、
前記エリア内の前記血管領域に配置されたイメージングカテーテルのマーカを検出するステップと、
検出された前記マーカに基づいて、相互レジストレーションを実行するステップと、
を実行するためのプロセッサと、
を備える、血管造影画像データを処理するためのイメージング装置。
【請求項２０】
複数の血管造影画像フレームにおいて血管領域を検出することと、
前記血管領域の長手方向に交差する方向を定めることと、
前記複数の血管造影画像フレーム内の前記血管領域の場所を評価することにより、定められた前記方向に基づいて、前記血管領域の運動を検出することと、
検出された前記運動から評価される特定の心拍位相のフレームを特定することと、
ディスプレイユニットに、特定された前記フレームを表示させることと、
を含む、血管造影画像データを処理するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、２０１７年７月２６日出願の米国仮出願第６２／５３７，２０４号と２０１８年６月５日出願の米国仮出願第６２／６８０，７８０号に対する優先権を主張する、２０１８年７月２５日出願の米国特許出願第１６／０４４，８８１号と２０１８年７月２５日出願の米国特許出願第１６／０４４，９３１号に関し、また、これらに対する優先権を主張するものであり、これらの出願は、参照によりそれらの全体が本明細書に組み込まれる。
【０００２】
本開示は、概して、血管造影画像データを処理することに関し、より具体的には、血管造影画像を用いて心臓運動を評価するための方法に関する。
【背景技術】
【０００３】
経皮的冠動脈インターベンション（ＰＣＩ）は、冠動脈血管造影や血管内イメージング等の革新的なイメージングモダリティによって、著しく向上してきた。冠動脈血管造影により、冠動脈の長手方向のシルエットが提供される一方、血管内イメージングモダリティにより、冠動脈の断面情報が提供される。血管内超音波（ＩＶＵＳ）や光干渉断層撮影法（ＯＣＴ）等の血管内イメージングにより、例えば管腔サイズ、プラーク形態、埋め込みデバイス等のより精密な病変情報が提供され、医師が２つの異なるイメージングモダリティ間を接続することを可能にするシステムが開発された。この接続プロセスは、相互レジストレーション（co-registration）と呼ばれる。ＯＣＴ等の血管内イメージングは、心周期の間に取得され、相互レジストレーションプロセスは、心臓運動によって影響を受ける可能性がある。
【０００４】
よって、血管造影画像における放射線不透過性マーカの検出を改善するために、血管造影画像を用いて心臓運動を評価することによる、血管造影イメージングモダリティと血管内イメージングモダリティとの間の改善された相互レジストレーションが、当該技術分野において必要とされている。
【発明の概要】
【０００５】
本開示は、血管造影画像における放射線不透過性マーカの検出を改善するために、血管造影画像データを用いて心臓運動を評価し、心周期を推定するための方法を対象とする。血管造影画像における心臓運動を評価することにより、血管造影イメージングモダリティと血管内イメージングモダリティとの間の相互レジストレーションを改善することができる。血管造影画像を処理するための方法は、血管領域の複数の血管造影画像フレームと、イメージングカテーテルのプルバック中にイメージングカテーテルによって血管領域において取得される複数の血管内画像フレームとを取得することを含む。複数の血管造影画像フレームの各々において血管領域を検出すること、検出された血管領域の長手方向を決定すること、長手方向に交差する方向を定めること、及び、複数の血管造影画像フレーム内の血管領域の場所を評価することにより、当該方向に基づいて血管領域の運動を検出すること。本方法はまた、複数の血管造影画像フレームのうちの少なくとも１つにおいてイメージングカテーテルのマーカを検出するために、検出された運動及び検出された血管領域に基づいてエリアを定めることを含む。本方法は、検出されたマーカに基づいて、複数の血管造影画像フレームと複数の血管内画像フレームとの間の相互レジストレーションを実行することにより、完結することができる。
【０００６】
本開示の更なる特徴は、添付の図面を参照した例示的な実施形態の以下の説明から明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１】図１は、本開示の１つ以上の態様に従う、血管造影画像データを処理するために様々なステップを実行するためのイメージングシステムを示す概略図である。
【図２】図２は、本開示の１つ以上の態様に従う、様々な画像処理ステップを示すフローチャートである。
【図３】図３は、本開示の１つ以上の態様に従う、相互レジストレーションワークフローのタイミングを示すタイムチャート図である。
【図４Ａ】図４Ａは、本開示の１つ以上の態様に従う、直接検出されたイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。
【図４Ｂ】図４Ｂは、本開示の１つ以上の態様に従う、直接検出されたイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。
【図５】図５は、本開示の１つ以上の態様に従う、図４Ａ及び図４Ｂの視覚表現を示す図である。
【図６Ａ】図６Ａは、本開示の１つ以上の態様に従う、マーカ位置に基づくイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。
【図６Ｂ】図６Ｂは、本開示の１つ以上の態様に従う、マーカ位置に基づくイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。
【図７】図７は、本開示の１つ以上の態様に従う、図６Ａ及び図６Ｂの視覚表現を示す図である。
【図８Ａ】図８Ａは、本開示の１つ以上の態様に従う、取得された血管内画像フレームが血管造影画像フレーム上で位置する場所を決定するための様々なステップを示すフローチャートである。
【図８Ｂ】図８Ｂは、本開示の１つ以上の態様に従う、取得された血管内画像フレームが血管造影画像フレーム上で位置する場所を決定するための様々なステップを示すフローチャートである。
【図９】図９は、本開示の１つ以上の態様に従う、血管造影画像フレーム上の取得された血管内画像フレームの位置を決定するための、血管造影画像フレーム及び血管内画像フレームを示す図である。
【図１０】図１０は、本開示の１つ以上の態様に従う、相互レジストレーション結果を表示するためのグラフィカルユーザインタフェースを示す図である。
【図１１】図１１は、本開示の１つ以上の態様に従う、心臓運動を考慮しながら各血管造影画像フレームにおいてマーカを検出するための、様々なステップを示すフローチャートである。
【図１２】図１２は、本開示の１つ以上の態様に従う、心臓運動を評価するための様々なステップを示すフローチャートである。
【図１３】図１３は、本開示の１つ以上の態様に従う、二値画像の概略図である。
【図１４】図１４は、本開示の１つ以上の態様に従う、図１３の二値画像内の関心領域を示す図である。
【図１５】図１５は、本開示の１つ以上の態様に従う、心周期を推定するための様々なステップを示すフローチャートである。
【図１６】図１６は、本開示の１つ以上の態様に従う、心周期を推定するための様々なステップを示すフローチャートである。
【図１７】図１７は、本開示の１つ以上の態様に従う、心周期を推定するための他の方法を示すフローチャートである。
【図１８】図１８は、本開示の１つ以上の態様に従う、心臓運動に起因する冠動脈の動きを示すグラフである。
【図１９】図１９は、本開示の１つ以上の態様に従う、血管内画像及び血管造影画像を表示するためのグラフィカルユーザインタフェースを示す図である。
【図２０】図２０は、本開示の１つ以上の態様に従う、相互レジストレーションのためのユーザ入力を受け付けるためのグラフィカルユーザインタフェースを示す図である。
【図２１】図２１は、本開示の１つ以上の態様に従う、相互レジストレーション処理が実行されている間に情報を表示するためのグラフィカルユーザインタフェースを示す図である。
【図２２】図２２は、本開示の１つ以上の態様に従う、ユーザ確認のために相互レジストレーション結果を表示するためのグラフィカルユーザインタフェースを示す図である。
【図２３】図２３は、本開示の１つ以上の態様に従う、ユーザ修正を受け付けるためのグラフィカルユーザインタフェースを示す図である。
【図２４】図２４は、本開示の１つ以上の態様に従う、血管造影取得タイミングと血管内イメージング取得タイミングとの間の関係を示す図である。
【図２５】図２５は、本開示の１つ以上の態様に従う、相互レジストレーションのためのユーザ入力を受け付けるための別のグラフィカルユーザインタフェースを示す図である。
【図２６】図２６は、本開示の１つ以上の態様に従う、画面遷移の概略図である。
【図２７】図２７は、本開示の１つ以上の態様に従う、相互レジストレーション経路を生成するために用いることのできるコンピュータの実施形態の概略図である。
【発明を実施するための形態】
【０００８】
以下の説明は、特定の例示の実施形態のものであるが、他の実施形態は、代替、均等物及び修正を含んでよい。更に、例示の実施形態は、いくつかの新規の特徴を含むことがあり、特定の特徴は、本明細書に記載されるデバイス、システム及び方法を実施するのに必要不可欠ではないことがある。
【０００９】
本開示は、各血管造影フレームにおいて、候補点としても知られる１つ又は複数の暗い点を検索することと、候補点から標的マーカを選択することとを含む。候補点は、冠動脈が心臓運動に起因して動くエリア内で見つけることができる。したがって、心臓運動を評価することにより、標的マーカのより正確な選択が可能になる。候補点が検索され得る関心範囲は、心臓運動に基づく。そして、標的マーカの選択により、結果として、血管造影画像と血管内画像との間の改善された相互レジストレーションがもたらされる。
【００１０】
これより図１を参照すると、例示的なイメージングシステム１０の概略図が示される。イメージングシステム１０では、血管内イメージングプルバック中に同時に取得される血管造影画像フレームを用いることにより、イメージングカテーテル上の放射線不透過性マーカの直接検出された位置、又は、イメージングカテーテル経路を表す回帰直線のいずれかに基づいて、イメージングカテーテル経路を生成することができる。イメージングシステム１０は、血管造影システム２０、血管内イメージングシステム３０、画像プロセッサ４０、ディスプレイ５０及び心電図検査（ＥＣＧ）デバイス６０を含む。血管造影システム２０は、患者２８の血管造影画像フレームを取得するための血管造影システムコントローラ２４及び血管造影画像プロセッサ２６に接続される、Ｃアーム２２等のＸ線イメージングデバイスを含む。
【００１１】
イメージングシステム１０の血管内イメージングシステム３０は、コンソール３２と、カテーテル３８と、血管内画像フレームを取得するためにカテーテル３８とコンソール３２との間を接続する患者インタフェースユニット３７とを含む。カテーテル３８は、患者２８の血管内へ挿入される。カテーテル３８は、特定の血管、例えば冠動脈等の管腔内に設置される、光照射器及びデータ収集プローブとしての機能を果たすことができる。カテーテル３８は、典型的には、プローブ先端、１つ以上の放射線不透過性マーカ、光ファイバ及びトルクワイヤを含む。プローブ先端は、１つ以上のデータ収集システムを含んでよい。カテーテル３８は、冠動脈の画像を取得するために、患者の動脈内に通される。患者インタフェースユニット３７は、血管内画像フレームの取得中にイメージング光学系のプルバックを可能にするために、内側にモータを有する。イメージングプルバック処置により、血管の画像が得られる。イメージングプルバック経路は、血管の関心領域又は標的領域であり得る相互レジストレーション経路を表すことができる。
【００１２】
コンソール３２は、光源３３及びコンピュータ３４を含む。コンピュータ３４は、血管内システムコントローラ３５及び血管内画像プロセッサ３６を含む。血管内画像プロセッサ３５は、患者インタフェースユニット３７のモータを制御する。血管内画像プロセッサ３５はまた、画像処理のための様々なステップを実行し、表示されるべき情報を制御することができる。
【００１３】
イメージングシステム１０内では、様々なタイプの血管内イメージングシステムが用いられてよい。血管内イメージングシステム３０は、イメージングシステム１０内で用いることのできる血管内イメージングシステムの一例にすぎない。例として、ＯＣＴシステム、マルチモダリティＯＣＴシステム又はＩＶＵＳシステムを含む、様々なタイプの血管内イメージングシステムが用いられてよい。
【００１４】
イメージングシステム１０はまた、患者２８の皮膚上に配置された電極を用いて、ある期間にわたって心臓の電気的活動を記録するための心電図検査（ＥＣＧ）デバイス６０を含んでよい。イメージングシステム１０はまた、血管造影データ、血管内イメージングデータ及びＥＣＧデバイス６０からのデータを受信して、様々な画像処理ステップを実行して、相互レジストレーション経路を有する血管造影画像フレームを表示するためにディスプレイ５０に送信するための、画像プロセッサ４０を含んでよい。イメージングシステム１０に関連する画像プロセッサ４０は、血管造影システム２０と血管内イメージングシステム３０の両方の外側にあるように見えるが、画像プロセッサ４０は、血管造影システム２０、血管内イメージングシステム３０、ディスプレイ５０又はスタンドアローンデバイス内に含まれてよい。或いは、画像プロセッサ４０は、イメージングシステム１０の血管造影画像プロセッサ２６又は血管内画像プロセッサ３６のいずれかを用いて様々な画像処理ステップが実行される場合には、必要とされない場合がある。
【００１５】
これより図２を参照すると、血管造影システム２０から得られる血管造影データを、血管内イメージングシステム３０から得られる血管内イメージングデータと相互レジストレーションするための様々なステップを示すフローチャート。血管造影データの血管内画像データとの相互レジストレーションのための以下のステップは、直接検出されたイメージングカテーテル経路にも、計算された回帰直線に基づく直接検出された放射線不透過性マーカ位置に基づいた回帰直線として作成されるイメージングカテーテル経路にも、適用可能である。第１のステップＳ１０において、血管造影画像フレーム等の血管造影データが、血管内画像フレームの取得と同時に取得される。次いで、ステップＳ２０において、血管造影画像フレームと血管内画像フレームの両方を画像プロセッサにインポートすることにより、相互レジストレーションのためのプロセスが開始される。続いて、ステップＳ３０において、血管造影データからの各血管造影画像フレームについて、放射線不透過性マーカ位置が検出される。取得された血管造影データからの各血管造影画像フレームは、カテーテル３８の放射線不透過性マーカに対応する暗い点を含むことがある。カテーテル３８の放射線不透過性マーカに対応する暗い点は、画像プロセッサによって認識される。画像プロセッサは、複数の血管造影画像フレームからの各フレームについての放射線不透過性マーカの位置を、記憶データベースに記憶する。
【００１６】
ステップＳ４０において、検出された放射線不透過性マーカ位置に基づく相互レジストレーション経路が生成される。相互レジストレーション経路は、画像プルバックが実行されるエリアを表すことができる。相互レジストレーション経路はまた、患者の冠動脈の標的領域を表すことができる。相互レジストレーション経路は、血管造影画像フレーム全体について生成されてもよいし、又は、選択された１つ又は複数の血管造影画像フレームについて生成されてもよい。
【００１７】
ステップＳ５０において、血管造影画像フレームに関して各血管内画像フレームが取得された位置が決定される。特に、検出されたＸ線不透過性マーカの位置と生成された相互レジストレーション経路との情報を用いて、冠動脈ツリーの全体ビューにおいて各血管内画像が取得された位置が検索される。ステップＳ６０において、冠動脈ツリーの全体ビューにおいて各血管内画像が取得された位置が、ＧＵＩ内の血管造影画像フレーム上に表示される。血管内画像フレームとともに、血管造影画像フレームも表示されてよい。取得された各血管内画像フレームには取得位置があり、それが、生成された相互レジストレーション経路とともに、表示された血管造影画像上に視覚的に表される。ユーザ嗜好に応じて、相互レジストレーション経路は、表示された血管造影フレーム上にオーバーレイされないように選択することができる。ＧＵＩ内での表示後、血管造影画像フレームと血管内画像フレームを相互レジストレーションするためのプロセスは終了する。
【００１８】
これより図３を参照すると、相互レジストレーションプロセスに関連する様々なステップがどの時点で発生するかを示すタイムチャート。相互レジストレーションプロセスに関連する様々なステップを参照する前に、タイムチャート内には留意すべき３つのイベントが存在する。第１のイベントは、血管内画像が取得されることになるエリア内の血液を鮮明にするために、造影剤が患者の動脈又は血管に注入されることに対応する。造影剤は、患者に注入される染料を指すことができる。造影剤が患者に注入された後しばらくして、造影剤は標的領域に達し、これは、タイムチャートに沿った第２のイベントに対応する。タイムチャートに関連する第３のイベントは、造影剤が患者の標的領域に達した後に発生する血管内イメージングプルバック処置の完了を含む。
【００１９】
血管内画像フレームは、造影剤が患者の標的領域に達するとき、血管内イメージングプルバック処置が完了するまで、取得される。血管内画像の前処理及び表示は、特定の時間遅延を伴って、血管内画像フレームの取得と並行して発生してよい。血管造影画像フレームを含む血管造影データは、Ｘ線がオンのとき、Ｘ線がオフになるまで取得される。血管造影画像フレームの取得は、造影剤が患者の標的領域に達する前に開始してよい。血管内イメージングプルバック処置が完了する第３のイベントまで血管造影データを取得しさえすればよい。血管造影データが取得された後、血管造影データをインポートすることによって、相互レジストレーションプロセスが開始されてよい。血管造影データのインポートは、血管内イメージングプルバック処置が完了した後に発生してよい。
【００２０】
相互レジストレーションプロセスにおける次のステップは、各血管造影画像フレームについて放射線不透過性マーカ位置を検出することを含む。放射線不透過性マーカ位置の検出は、血管造影データがインポートされた後に発生してよい。次に、血管造影データについて放射線不透過性マーカ位置が検出された後に、相互レジストレーション経路が生成される。相互レジストレーション経路を生成した後、画像プロセッサは、相互レジストレーション経路及び検出された放射線不透過性マーカ位置に関して、血管内画像フレームの取得位置を決定してよい。次いで、血管造影画像フレーム及び血管内画像フレームは、表示された血管造影画像フレームに相互レジストレーション経路と血管内画像フレームの取得位置を表す人工インジケータとをオーバーレイした状態で、モニタ上に表示されてよい。表示される血管造影画像フレーム及び血管内画像フレームは、オーバーレイする相互レジストレーション経路及び相互レジストレーション位置と一緒に、取得された血管造影データ及び血管内データ内で変更することができる。血管造影画像フレームと血管内画像フレームの両方は、ＧＵＩ上で再生する映像として表示されてよい。表示された相互レジストレーション結果は、次いで、例としてインターベンショナル心臓専門医によって分析される。
【００２１】
血管内画像データのフレームレートは血管造影画像データのものよりも高いので、放射線不透過性マーカ位置を直接検出することによって取得位置を血管造影画像データから直接決定することができない血管内フレームが、複数存在する。したがって、相互レジストレーション経路の生成は、対応する血管造影画像フレームがない血管内画像フレームについて取得位置を決定することが必要とされる。
【００２２】
これより図４Ａを参照すると、直接検出されるイメージングカテーテル経路に基づいて相互レジストレーション経路を生成するための様々なステップを示すフローチャート。イメージングカテーテル経路は相互レジストレーション経路として用いられるので、相互レジストレーションの正確性は、イメージングカテーテル経路生成の正確性に依存する。直接検出されたイメージングカテーテル経路を用いる利点は、典型的には、それが他の方法よりも正確であることである。
【００２３】
例として、イメージングカテーテルを標的血管に送達するためのガイドワイヤ、又はイメージングカテーテルのドライブケーブルを、イメージングカテーテル経路として用いることができる。イメージングカテーテル経路及び血管輪郭は、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又は、エッジ検出フィルタからの任意の組合せを適用することによって、検出することができる。放射線不透過性マーカは、例えば、Ｖｉｔｅｒｂｉベースの方法又は任意のエッジ検出方法を用いて、検出することができる。検出された情報は、心拍位相情報とともに各血管造影画像フレームに保存される。心拍位相情報は、推定された心周期情報を用いることによって取得することができ、その推定方法は後述される。
【００２４】
ステップＳ１００において、血管造影画像フレームを含む血管造影データをインポートすることで、プロセスが開始される。
【００２５】
図４Ａ及び図４Ｂは、血管造影画像フレームが心拍位相情報を含み（すなわち、血管造影データはＥＣＧ信号と同期される）、血管の標的領域に造影剤を含まない血管造影画像フレームが十分に存在する場合を示す。この場合では、システムは、相互レジストレーション経路（すなわちイメージングカテーテル経路）を直接検出することができる。イメージングカテーテル経路の正確性は、心拍位相情報の使用とともに、心臓運動によって向上させることができ、また、検出された放射線不透過性マーカ位置を用いて、検出されたイメージングカテーテル経路位置をチェックすることによって、向上させることができる。
【００２６】
ステップＳ１０２において、第１の血管造影画像フレームが選択される。ステップＳ１０４において、血管の標的領域に造影剤が存在するかどうかに関して、決定がなされる。直接検出されたイメージングカテーテル経路を生成するには、２つの要件が存在する。第１の要件は、各血管造影画像フレームに関連する心拍位相情報を含むことである。心拍位相情報とは、血管造影データと同期されたＥＣＧ信号を指す。第２の要件として、患者の血管の標的領域に造影剤を含まない最少量の血管造影画像フレームが挙げられる。よって、ステップＳ１０４において、血管の標的領域内の造影剤の決定により、血管造影画像フレームは２つの群に分けられる。血管造影画像フレームの一方の群は、標的領域に造影剤を含み、血管造影画像フレームの他方の群は、標的領域に造影剤を含まない。造影剤なしの血管造影画像フレームが十分に存在しない場合、イメージングカテーテル経路は、図６Ａ及び図６Ｂに関して以下に説明される回帰直線を用いて、決定される。当該決定は、標的領域に造影剤なしの血管造影画像フレームについての既定の閾値に基づいてなされてよい。既定の閾値は、自動的に選択されてもよいし、図１のイメージングシステム１０のユーザによって入力されてもよい。
【００２７】
イメージングシステムは、インポートされた血管造影データが、標的血管（すなわち血管内画像が取得される血管領域）に造影剤なしの血管造影画像フレームを十分に有するかどうかをチェックする。イメージングシステムは、造影剤なしの血管造影画像フレームが少なくとも１つの心周期について利用可能である場合、フレームの数が十分であると決定してよい。
【００２８】
ステップＳ１０４において、造影剤が血管の標的領域にないと決定された場合、第１の血管造影画像フレームは、標的領域に造影剤を含まない血管造影画像フレームの群内に記憶されてよく、プロセスはステップＳ１０６へ進む。ステップＳ１０６において、第１の血管造影画像フレームについて、イメージングカテーテル経路が検出される。ステップＳ１０８において、検出されたイメージングカテーテル経路と第１の血管造影画像フレームに関連する心拍位相との情報が、第１の血管造影画像フレームとともに保存される。検出されたイメージングカテーテル経路及び心拍位相が第１の血管造影画像フレームとともに保存された後、ステップＳ１１０において、第１の血管造影画像フレームが最後のフレームであるかどうかが決定される。この例では、第１の血管造影フレームは最後の血管造影画像フレームではなく、相互レジストレーションプロセスは、次の血管造影画像フレームを選択するためのステップＳ１１２へ進み、プロセスはステップＳ１０４へ戻る。この例では、次のフレームは第２の血管造影画像フレームであり、当該ステップは、最後の血管造影画像フレームが選択されるまで繰り返される。
【００２９】
図４ＡのステップＳ１０４を再び参照すると、選択された血管造影画像フレームの血管の標的領域に造影剤が存在すると決定された場合（ステップＳ１０４においてＹｅｓ）、プロセスはステップＳ１１４へ進む。ステップＳ１１４において、選択された血管造影画像フレームについて、標的領域の血管輪郭及び放射線不透過性マーカが検出される。ステップＳ１１４に続いて、検出された血管輪郭と、検出された放射線不透過性マーカと、選択された血管造影画像フレームに関連する心拍位相情報とが保存される。続いて、ステップＳ１１０において、選択された血管造影画像フレームが最後のフレームであるかどうかが決定される。選択された血管造影画像フレームが最後のフレームではないと決定された場合（ステップＳ１１０においてＮｏ）、ステップＳ１１２において次の血管造影画像フレームが選択され、プロセスはステップＳ１０４へ戻る。
【００３０】
ステップＳ１１０において、選択された血管造影画像フレームが最後の血管造影画像フレームであると決定された場合（ステップＳ１１０においてＹｅｓ）、プロセスは、図４ＢのステップＳ２００へ進む。これより図４Ｂを参照すると、フローチャートは、検出されたイメージングカテーテル経路を検出された放射線不透過性マーカ上にオーバーレイするために、血管造影画像フレームの一方の群から検出されたイメージングカテーテル経路が、血管造影画像フレームの他方の群から検出された血管輪郭内に位置するかどうかを決定するための、様々なステップを示す。
【００３１】
ステップＳ２００において、第１の造影剤あり血管造影画像フレームが選択され、次いでステップＳ２０２において、第１の造影剤あり血管造影画像フレームと同じ心拍位相を有する造影剤なし血管造影画像フレームが選択される。ステップＳ２０４において、２つの血管造影画像がオーバーレイされる。ステップＳ２０６において、検出されたイメージングカテーテル経路が、検出された血管輪郭内に位置するかどうかが決定される。検出されたイメージングカテーテル経路が、検出された血管輪郭内に位置する場合（ステップＳ２０６においてＹｅｓ）、プロセスはステップＳ２０８へ続いて、検出された放射線不透過性マーカがイメージングカテーテル経路上に位置するかどうかを決定する。ステップＳ２０８において、検出された放射線不透過性マーカがイメージングカテーテル経路上に位置すると決定された場合（ステップＳ２０８においてＹｅｓ）、イメージングカテーテル経路位置の情報は、ステップＳ２１４において、選択された造影剤あり血管造影画像フレームと、検出された放射線不透過性マーカ位置とともに、保存される。プロセスはステップＳ２１６へ続き、選択された第１の造影剤あり血管造影画像フレームが最後の造影剤あり血管造影画像フレームであるかどうかが決定される。選択された第１の造影剤あり血管造影画像フレームが最後のフレームではないと決定された場合（ステップＳ２１６においてＮｏ）、ステップＳ２１８において、次の造影剤あり血管造影画像フレームが選択され、プロセスはステップＳ２０２へ戻る。或いは、選択された造影剤あり血管造影画像フレームが最後のフレームである場合（ステップＳ２１６においてＹｅｓ）、プロセスは終了する。
【００３２】
ステップＳ２０６において、検出されたイメージングカテーテル経路が、検出された血管輪郭内に位置しないと決定された場合（ステップＳ２０６においてＮｏ）、ステップＳ２２０において、同じ心拍位相にある別の造影剤なし血管造影画像フレームが存在するかどうかが決定される。同じ心拍位相にある別の造影剤なし血管造影画像フレームが存在すると決定された場合（ステップＳ２２０においてＹｅｓ）、プロセスはステップＳ２０４へ戻り、同じ心拍位相にある新規の造影剤なしフレームが、選択された造影剤あり血管造影画像フレームとオーバーレイされる。或いは、同じ心拍位相にある造影剤なし血管造影画像フレームが存在しない場合（ステップＳ２２０においてＮｏ）、フローチャートはステップＳ２１６へ進む。
【００３３】
ステップＳ２０８に戻り、検出された放射線不透過性マーカがイメージングカテーテル経路上に位置しないと決定された場合（ステップＳ２０８においてＮｏ）、ステップＳ２１０において、検出された放射線不透過性マーカが、イメージングカテーテル経路から既定の距離内に位置するかどうかが決定される。検出された放射線不透過性マーカがイメージングカテーテル経路の既定の距離内にない場合（ステップＳ２１０においてＮｏ）、プロセスはステップＳ２２０へ戻る。或いは、検出された放射線不透過性マーカがイメージングカテーテル経路から既定の距離内に位置する場合（ステップＳ２１０においてＹｅｓ）、ステップＳ２１２において、イメージングカテーテル経路上の検出された放射線不透過性マーカに最も近い点が、マーカ位置として更新される。次いでステップＳ２１４において、更新されたマーカ位置及びイメージングカテーテル経路位置は、選択された造影剤あり血管造影画像フレームとともに保存される。
【００３４】
これより、図４Ａ及び図４Ｂに記載のプロセスを示す図５を参照する。血管造影データは、Ｘ線がオンのとき、Ｘ線がオフになるまで取得される。血管造影データは、血管造影画像フレームの２つの異なる群に分けられる複数の血管造影画像フレームを含む。血管造影画像フレームの第１の群は、標的血管の標的領域に造影剤なしの血管造影画像フレームを含んでよい。血管造影画像フレームの第１の群は、Ｘ線がオンである点から、造影剤が標的領域に達するまで取得される。造影剤なしの血管造影画像フレームの群についてイメージングカテーテル経路を検出するために、画像プロセッサを用いることができる。血管造影画像フレーム７０は、画像プロセッサによって検出されるイメージングカテーテル経路７１を含む。
【００３５】
血管造影画像フレームの第２の群は、標的血管の標的領域に造影剤ありの血管造影画像フレームを含んでよい。造影剤ありの血管造影画像フレームは、造影剤が標的領域に達すると、血管内イメージングプルバック処置が完了するまで取得される血管造影画像フレームである。血管造影画像フレーム７２は、検出された血管輪郭７４と、検出された放射線不透過性マーカ７３とを含む。
【００３６】
血管造影画像フレーム全体についての検出及び保存のプロセスの後、システムは、造影剤あり血管造影画像フレームの群から１つの血管造影画像フレームを選択し、造影剤なし血管造影画像フレームから、同じ心拍位相を有する血管造影画像フレームを見つける。次いで、選択された血管造影画像フレーム７０から検出されたイメージングカテーテル経路７１が、選択された血管造影画像フレーム７２上に、２つのオーバーレイされた血管造影画像フレーム（７０、７２）を含む血管造影画像フレーム７５に示されるように、オーバーレイされる。血管造影画像フレーム７５は、検出されたイメージングカテーテル経路７１が検出された血管輪郭内に位置するかどうかを決定して、検出されたイメージングカテーテル経路を血管の長手方向の代表線とすることができることを確認するために、用いられる。血管造影画像フレーム７５はまた、検出された放射線不透過性マーカ７３が、検出されたイメージングカテーテル経路上に位置するか、又はそこから特定の距離内に位置するかどうかを決定するために用いられる。オーバーレイされた画像７５を用いて、システムは、検出された放射線不透過性マーカが、検出されたイメージングカテーテル経路上に位置するか、又はそこから特定の距離内に位置するかどうかを決定することができる。距離の閾値は、システムによって事前に決定することができ、又は、ユーザによって決定することができる。オーバーレイされた画像が両方の基準を満たす場合、検出されたイメージングカテーテル経路位置の情報は、選択された造影剤あり血管造影フレームとともに保存される。検出された放射線不透過性マーカが、検出されたイメージングカテーテル経路上に位置しないが、特定の距離内に位置するとき、イメージングカテーテル経路上の検出された放射線不透過性マーカ位置に最も近い位置が検索され、その位置が、検出されたマーカ位置を更新することによって、造影剤あり血管造影フレームとともに保存される。オーバーレイされた画像がどちらの基準も満たさない場合、システムは、別の造影剤なし血管造影フレームを検索してよく、同じプロセスを進む。
【００３７】
同じ心拍位相を有する造影剤なし血管造影フレームが他に存在しない場合、システムは、選択された造影剤あり血管造影フレームについてのプロセスを停止する。次いで、システムは、別の造影剤あり血管造影画像フレームを選択し、最後の造影剤ありフレームが処理されるまで、プロセス全体を繰り返す。
【００３８】
これより図６Ａ及び図６Ｂを参照すると、フローチャートは、相互レジストレーション経路が、血管造影データに関連する検出されたマーカ位置に基づいた回帰直線から決定されるイメージングカテーテル経路に基づく場合を示す。図６Ａ及び図６Ｂのフローチャートは、血管造影データが心拍位相情報を含むとき、かつ／又は、血管の標的領域に造影剤なしの血管造影画像フレームが十分に存在しないときに、適用することができる。図６Ａにおいて、プロセスは、複数の血管造影画像フレームを含み得る血管造影データをインポートすることを含むステップＳ３００によって開始する。ステップＳ３０２において、第１の血管造影画像フレームが選択される。ステップＳ３０４において、選択された第１の血管造影画像フレームについて、造影剤が標的血管の標的領域にあるかどうかが決定される。第１の血管造影画像フレームについて造影剤が標的血管にあると決定された場合（ステップＳ３０４においてＹｅｓ）、ステップＳ３０６において、選択された第１の血管造影画像フレームについて、標的領域の血管輪郭及び放射線不透過性マーカが検出される。ステップＳ３０８において、検出された血管輪郭及び放射線不透過性マーカが、選択された第１の血管造影画像フレームとともに保存される。
【００３９】
ステップＳ３１０において、選択された血管造影画像フレームが最後の血管造影画像フレームであるかどうかが決定される。選択された血管造影フレームが最後のフレームでない場合（ステップＳ３１０においてＮｏ）、ステップＳ３１２において、次の血管造影フレームが選択される。この例では、ステップＳ３１２において第２の血管造影画像フレームが選択され、プロセスは、全ての血管造影画像フレームが選択されるまで、ステップＳ３０４へ戻る。或いは、ステップＳ３１０において、最後のフレームが選択されたと決定された場合（ステップＳ３１０においてＹｅｓ）、プロセスは、図６ＢのステップＳ４００へ進む。ステップＳ３０４に戻り、選択された血管造影画像フレームが造影剤を含まない場合（ステップＳ３０４においてＮｏ）、プロセスはステップＳ３１０へ飛ぶ。
【００４０】
図６Ｂにおいて、プロセスは、ステップＳ４００において、標的血管に造影剤ありの全ての血管造影画像フレームを選択することによって開始される。次にステップＳ４０２において、選択された血管造影画像フレームからの全ての検出された放射線不透過性マーカ位置が収集される。ステップＳ４０４において、選択された血管造影画像フレームから収集された全ての検出された放射線不透過性マーカ位置に基づいて、例えば最小二乗回帰法を用いて、回帰直線が生成される。ステップＳ４０６において、造影剤あり血管造影画像フレームから、第１の血管造影画像フレームが選択される。ステップＳ４０８において、選択された造影剤あり血管造影画像フレームの検出された血管輪郭内に回帰直線がフィットするかどうかに関して、決定がなされる。検出された血管輪郭内に回帰直線がフィットする場合（ステップＳ４０８においてＹｅｓ）、ステップＳ４１０において、検出された放射線不透過性マーカが、生成された回帰直線上に位置するかどうかが決定される。
【００４１】
検出された放射線不透過性マーカが回帰直線上にある場合（ステップＳ４１０においてＹｅｓ）、ステップＳ４１２において、回帰直線及び検出された放射線不透過性マーカ位置に関連する情報が、選択された血管造影画像フレームとともに保存される。ステップＳ４１４において、選択された血管造影画像フレームが最後の造影剤ありフレームであるかどうかが決定される。選択された血管造影画像フレームが最後のフレームである場合（ステップＳ４１４においてＹｅｓ）、相互レジストレーション経路を生成するためのプロセスは完了する。或いは、選択された血管造影画像フレームが最後の造影剤あり血管造影画像フレームではないと決定された場合（ステップＳ４１４においてＮｏ）、ステップＳ４１６において次のフレームが選択され、プロセスはステップＳ４０８へ戻る。
【００４２】
ここでステップＳ４０８に戻り、検出された血管輪郭内に回帰直線がフィットしないと決定された場合（ステップＳ４０８においてＮｏ）、ステップＳ４１８において、最も近いフレームに関連する検出された血管輪郭内に回帰直線がフィットすることのできる最も近い血管造影画像フレームが決定される。次いでステップＳ４２０において、最も近い血管造影フレームが、検出された血管輪郭と一緒に、選択された血管造影画像フレームと置き換わる。
【００４３】
ステップＳ４１０において、検出された放射線不透過性マーカが回帰直線上に位置しない場合（ステップＳ４１０においてＮｏ）、ステップＳ４２２において、検出された放射線不透過性マーカに最も近い回帰直線上の点が決定される。次いで、ステップＳ４２４において、選択された血管造影フレームに関連する回帰直線上の最も近い点の位置が保存される。
【００４４】
これより図７を参照すると、標的血管の標的領域に造影剤を含む血管造影画像フレーム８０が一緒にグループ化される。血管造影画像フレーム８０は、造影剤が標的領域に達すると、血管内イメージングプルバック処置が完了するまで取得されるフレームである。血管造影画像フレーム８０の各々について、画像プロセッサを用いて、血管輪郭８２及び放射線不透過性マーカ８１を検出することができる。次いで、検出された放射線不透過性マーカ位置８４の全ての情報が収集され、血管造影画像フレーム８３の同じ平面にプロットされる。検出された放射線不透過性マーカ位置８４に基づいて、例えば最小二乗回帰法を用いることにより、血管造影画像フレーム８５に示される回帰直線８６が生成される。その後、システムは、以前に選択された血管造影画像フレームから血管造影画像フレームを選択し、検出された血管輪郭内に回帰直線が位置するかどうかをチェックする。血管造影画像フレーム８８に示されるように、回帰直線８６が血管輪郭内に位置しない場合、システムは、回帰直線８６が血管造影画像フレーム８７に示されるように血管輪郭内に位置することができ、かつ、元々選択された血管造影画像フレームに最も近いタイミングで取得された、別の血管造影画像フレームを検索する。最も近いタイミングで検索された血管造影画像フレーム８７は、元々選択された血管造影画像フレームに置き換わる。置換の際、検出された血管輪郭の情報も置き換えられるが、検出された放射線不透過性マーカ位置の情報は置き換えられない。
【００４５】
次いで、システムは、検出されたマーカが回帰直線上に位置するかどうかをチェックする。検出されたマーカが回帰直線上に位置しない場合、システムは、検出されたマーカ位置に最も近い回帰直線上の位置を検索し、放射線不透過性マーカ位置の情報を、新しく検索された位置で更新する。その後、検出又は更新されたマーカ位置及び回帰直線の情報は、選択された血管造影画像フレームとともに保存される。このプロセスは、血管の標的領域に造影剤ありの各血管造影画像フレームについて繰り返される。回帰直線を生成した後のプロセスは、異なる順序で実行することができる。システムは、まず、検出された血管輪郭内に回帰直線が位置するかどうかをチェックし、必要に応じて、造影剤あり血管造影画像フレームの群について血管造影画像フレームを更新してよい。次いで、システムは、検出された放射線不透過性マーカが回帰直線上に位置するか否かをチェックすることができ、必要に応じて、その位置を更新する。
【００４６】
図８Ａ及び図８Ｂは、血管造影画像フレームに関して血管内画像フレームの取得位置を見つけるための様々なステップを示すフローチャートである。図８Ａ及び図８Ｂは、図２のステップＳ５０に対応する。ステップＳ５００において、システムは、複数の血管内画像フレームを含む血管内画像データをインポートする。ステップＳ５０２において、図４Ａ及び図４Ｂ又は図６Ａ及び図６Ｂに概説される相互レジストレーションステップに基づいて決定された相互レジストレーション経路及びマーカ位置を有する血管造影画像フレームがインポートされる。必須の数の造影剤なし血管造影画像フレームだけでなく、心拍位相情報も利用可能であった場合、図４Ａ及び図４Ｂに概説される相互レジストレーションステップに基づいて決定された相互レジストレーション経路及びマーカ位置を有する血管造影画像フレームがインポートされる。或いは、心拍位相情報が利用可能でなかった場合、又は造影剤なし血管造影画像フレームが十分に存在しなかった場合、図６Ａ及び図６Ｂに概説される相互レジストレーションステップに基づいて決定された相互レジストレーション経路及びマーカ位置を有する血管造影画像フレームがインポートされる。言い換えると、システムは、血管内画像フレーム、及び、相互レジストレーション経路（図４Ａ及び図４Ｂのフローチャートに概説されるステップに基づく直接検出されたイメージングカテーテル経路、又は、回帰モデルによる新たに生成されたイメージングカテーテル経路のいずれか）と、図６Ａ及び図６Ｂのフローチャートに概説されるステップに基づく検出された放射線不透過性マーカ位置とを有する血管造影画像フレームを含む。
【００４７】
ステップＳ５０４において、第１の血管内画像フレームが選択される。次に、ステップＳ５０６において、選択された血管内画像フレームに関連するタイムスタンプに基づいて、対応する血管造影画像フレームが存在するかどうかが決定される。最初に、システムは、血管内画像フレームと血管造影画像フレームの両方のタイムスタンプを用いて、ほぼ同じ時間に取得された血管造影画像フレームを有する血管内画像フレームを検索してよい。タイムスタンプに基づいて対応する血管造影画像フレームが存在すると決定された場合（ステップＳ５０６においてＹｅｓ）、ステップＳ５０８において、対応する血管造影フレーム番号のインデックスが、選択された血管内画像フレームに追加される一方、ステップＳ５１０において、対応する血管内フレーム番号のインデックスが、血管造影画像フレームに追加される。或いは、タイムスタンプに基づいて対応する血管造影画像フレームが存在しないと決定された場合（ステップＳ５０６においてＮｏ）、ステップＳ５１２において、選択された血管内画像フレームが最後の血管内画像フレームであるかどうかが決定される。選択された血管内画像フレームが最後の血管内画像フレームではない場合（ステップＳ５１２においてＮｏ）、ステップＳ５１４において、次の血管内画像フレームが選択され、ステップＳ５０６へ戻る。このプロセスは、最後の血管内画像フレームが選択されるまで繰り返されてよい。ステップＳ５１２において、選択された血管内画像フレームが最後の血管内画像フレームであると決定された場合（ステップＳ５１２においてＹｅｓ）、フローチャートは、図８ＢのステップＳ６００へ続く。
【００４８】
これより図８Ｂを参照すると、ステップＳ６００において、対応する血管造影画像フレーム番号のインデックスを有する第１及び第２の血管内画像フレームが決定される。ステップＳ６０２において、第１の血管内画像フレームと第２の血管内画像フレームとの間の血管内画像フレームの数が決定される。次いで、ステップＳ６０４において、対応する２つの血管造影画像フレームにおける放射線不透過性マーカバンドの位置が決定される。ステップＳ６０６において、２つの放射線不透過性マーカバンド位置の間の距離が決定され、次いで、ステップＳ６０２において決定された、相互レジストレーション経路に沿った血管内画像フレームの数で割られる。ステップＳ６０８において、対応する血管造影フレーム番号のインデックスを有さない第１の血管内画像フレームが選択される。次いで、ステップＳ６１０において、ステップＳ６０８において選択された血管内画像フレームに近い時点で取得された血管造影画像フレームが複製される。ステップＳ６１２において、計算された距離に基づいて人工マーカ位置が生成され、その情報は、複製された血管造影画像フレームとともに保存される。ステップＳ６１４において、ステップＳ６００からの第２の血管内画像フレームが最後の血管内画像フレームであるかどうかが決定される。第２の血管内画像フレームが最後の血管内画像フレームでない場合（ステップＳ６１４においてＮｏ）、ステップＳ６１６において、対応する血管造影画像フレーム番号のインデックスを有する血管内画像フレームの次のセットが選択され、プロセスはステップＳ６００へ戻る。或いは、第２の血管内画像フレームが最後の血管内画像フレームである場合（ステップＳ６１４においてＹｅｓ）、血管造影画像フレームに関して血管内画像フレームの取得位置を見つけるためのプロセスは完了する。
【００４９】
これより図９を参照すると、図８Ｂの様々なステップに概説されるプロセスが視覚的に説明される。システムは、対応する血管造影画像フレーム番号のインデックスを有する第１の血管内画像フレーム９０及び第２の血管内画像フレーム９２［ｉiv番目及びｊiv番目のフレーム］を見つけることができ、これら２つの選択されたフレーム間の血管内画像フレームの数［ｎij_iv＝ｊiv−ｉiv］９４を数える。２つの対応する血管造影画像フレームは、ｉag番目９６及びｊag番目９８である。次いで、システムは、対応する血管造影画像フレーム［ｉag番目及びｊag番目のフレーム］（９６、９８）から、対応する放射線不透過性マーカ位置［（ｘi_ag，ｙi_ag）及び（ｘj_ag，ｙj_ag）］を見つける。次に、システムは、（ｘi_ag，ｙi_ag）と（ｘj_ag，ｙj_ag）との間の距離を、相互レジストレーション経路に沿ってｎij_ivで割る［ｄij＝｛（ｘj_ag，ｙj_ag）−（ｘi_ag，ｙi_ag）｝／ｎij_iv］。その後、システムは、（ｉiv＋１）番目の血管内画像フレームを選択し、（ｉiv＋１）番目の血管内画像フレームが取得されたタイミングに最も近いタイミングで取得された血管造影画像フレーム１００を複製する。
【００５０】
血管造影画像フレーム１００が複製されるとき、イメージングカテーテル経路１０４も複製される。複製された血管造影画像フレーム１００上で、システムは、相互レジストレーション経路に沿った（ｘi_ag，ｙi_ag）から、計算された距離ｄijに位置する点１０６（すなわち人工マーカ）を生成する。システムは次いで、複製された血管造影画像フレーム１００上の人工マーカ位置を、対応する血管内画像フレーム番号のインデックスとともに保存する。システムは、（ｊiv−１）番目の血管内画像フレームについてこれらのプロセスを終了するまで、これらのプロセスを繰り返す。次いで、システムは、対応する血管造影画像フレーム番号のインデックスを有する第２及び第３の血管内画像フレームを見つけ、上記プロセスを繰り返す。システムが、対応する血管造影画像フレーム番号のインデックスを有する、最後から２番目の血管内画像フレームと最後の血管内画像フレームとを終えるまで、プロセスは繰り返す。上記のプロセスは、異なる順序で完了されてよい。システムは、同時に取得された血管造影画像フレームを有する２つの血管内画像フレームを見つけるたびに、人工マーカを生成することができる。
【００５１】
血管内画像フレームと血管造影データとの間の相互レジストレーションペアを生成するための方法において、（ｉiv＋１）番目の血管内画像フレームが選択されるとき、血管造影画像フレームは複製される。しかしながら、別の方法では、血管造影画像フレームは複製される必要がない。（ｉiv＋１）番目の血管内画像フレームが選択されるとき、（ｉiv＋１）番目の血管内画像フレームが取得されたタイミングに最も近いタイミングで取得された血管造影画像フレームが検索され、そのフレーム番号は、（ｉiv＋１）番目の血管内画像フレームのインデックスに保存される。次いで、（ｉiv＋１）番目の血管内画像フレームの取得位置が、上記と同じプロセスを用いて、相互レジストレーション経路上で検索される。検索された位置は、血管造影フレーム番号のインデックスと一緒に、（ｉiv＋１）番目の血管内画像フレームに保存される。
【００５２】
これより図１０を参照すると、相互レジストレーション結果は、グラフィカルユーザインタフェース（ＧＵＩ）２００を用いて、モニタ又はディスプレイ上に表示することができる。ＧＵＩは、血管造影画像フレーム２０２と、血管内画像フレーム２０４と、相互レジストレーション経路２１０の一部の長手方向ビューとを含むことができる。相互レジストレーション経路２１０は、血管輪郭２０８と一緒に、血管造影画像フレーム２０２に含まれる。相互レジストレーション経路２１０は、血管内イメージングプルバック処置がどこで実行されたかを示す。
【００５３】
システムは、血管内画像フレームと、対応する血管内フレーム番号を有する血管造影画像フレームとを含む。血管内画像フレームがシステム又はユーザによって選択されると、システムは、血管造影画像フレームのインデックスを用いて、対応する血管造影フレームを検索し、血管造影画像フレーム上に人工インジケータ２１２がオーバーレイされた状態で、血管造影画像フレームをモニタに表示する。人工インジケータ２１２は、選択された血管内画像フレーム２０４が取得された位置を示す。システムはまた、そのデフォルト設定として、相互レジストレーション経路２１０（すなわち、直接検出されるか、又は回帰モデルを用いて生成されるイメージングカテーテル経路）をオーバーレイするが、ユーザは、ユーザ嗜好に基づいて、表示しないことを選択することができる。加えて、システムは、標的血管の長手方向ビュー２０６を表示する。長手方向ビューは、取得された血管内画像フレームを用いて生成され、複数のパターンを有してよい。一例では、長手方向ビューは、人工インジケータ２１６を用いて、血管内画像フレームが取得された位置を示す。
【００５４】
システムはまた、相互レジストレーションの信頼度をチェックする能力を有する。対応する血管造影画像フレームのインデックスを有する血管内画像フレームは、ｉiv番目、ｊiv番目、ｋiv番目、ｌiv番目、…、及びｚiv番目と番号付けされる。システムは、対応する血管造影画像フレーム番号のインデックスを有する２つの血管内画像フレーム［例えばｉiv番目及びｋiv番目のフレーム］を選択する。これら２つのフレームは、対応する血管造影フレーム番号のインデックスを有する少なくとも１つのフレーム分は離れている必要がある［この例では、ｊiv番目のフレームが飛ばされる］。次いで、システムは、２つの選択されたフレーム、ｉiv番目とｋiv番目のフレームの間で取得された血管内画像フレームの各々について、相互レジストレーション位置を推定する。その後、推定された相互レジストレーション位置は、対応する血管造影画像フレームから直接検出される（かつ更新される）実際の相互レジストレーション位置と比較される［この例では、ｊiv番目のフレームについて比較が実行される］。実際の位置と推定された位置との差は、信頼度値と見なされる。信頼度値が特定の閾値を超える場合、相互レジストレーション結果が表示されるときに、モニタに警告が示されてよい。閾値は、システムによって事前に決定されてもよいし、又は、ユーザ嗜好に基づいてユーザによって決定されてもよい。警告は、ディスプレイ上のテキストメッセージとすることができ、かつ／又は、色分けされたインジケータ２１４や、異なる線種又は異なる形状を有するインジケータ等、図形の出力とすることができる。
【００５５】
本開示の別の実施形態において、イメージングカテーテル経路検出（図４ＡのステップＳ１０６）及び放射線不透過性マーカ検出（図４ＡのステップＳ１１４及び図６ＡのステップＳ３０６）について、代替の方法が提供される。
【００５６】
まず、フィルタ、例えば準同形フィルタ（homomorphic  filter）が、骨構造（例えば肋骨）及び／又は他の器官（例えば腎臓）に起因して作成されるバックグラウンドノイズを低減するために適用される。このプロセスは、図４ＡのステップＳ１０４の前、又は図６ＡのステップＳ３０４の前に適用されてよい。
【００５７】
次いで、ステップＳ１０６、すなわちイメージングカテーテル経路の検出では、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又はエッジ検出フィルタからの任意の組合せが適用され、拡張したエッジの内側空間が充填される。その後、イメージングカテーテル経路を含むコンポーネントが選択される。コンポーネント選択は、既定の閾値を設定することによって自動的に行うこともできるし、又は、おおよその位置を指定するためのユーザからの１つ又は複数の入力を得ることによって、半自動的に行うこともできる。次に、選択されたコンポーネントがスケルトン化される（skeletonized）。最後のステップとして、スケルトン化の結果が、平滑化関数、例えば三次スプライン関数又は多項式フィッティング関数を適用することによって、平滑化される。
【００５８】
放射線不透過性マーカの検出、すなわちステップＳ１１４又はステップＳ３０６では、バックグラウンドノイズを低減するためのフィルタを適用した後、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又は、エッジ検出フィルタからの任意の組合せが適用される。検出されたエッジの位置情報を用いて、血管造影画像フレームは、検出されたエッジ内のエリアのみを示すようにマスキングされる。次に、マスキングされた各血管造影画像フレームにおいて、１つ又は複数の暗い点が検索される。各フレームにおいて検索される点の数は、事前に決定することもできるし、又はユーザによって設定することもできるが、血管造影データ全体を通じて同じ数でなければならない。
【００５９】
全ての血管造影画像フレームにおいて１つ又は複数の暗い点が検索された後、各フレームについて標的放射線不透過性マーカが決定される。まず、ユーザは、第１の血管造影画像フレームにおいて放射線不透過性マーカ位置のおおよその位置を指定するように要求される。次いで、ユーザが第１の血管造影画像フレームで入力した点から最も近い点を検索することによって、標的放射線不透過性マーカが決定される。後続のフレームについては、標的放射線不透過性マーカは、前のフレームにおいて検出された放射線不透過性マーカ位置から最も近い点を検索することによって、決定される。
【００６０】
１つ又は複数の暗い点が検索され、標的放射線不透過性マーカの決定は、各血管造影画像フレームについて行うことができる。この場合、放射線不透過性マーカ検出の正確性は、前のフレームにおける標的放射線不透過性マーカ位置に基づいて検索エリアを狭めることによって、向上させることができる。１つ又は複数の暗い点を検索する前に、血管造影画像フレームは、検出されたエッジ内の、前のフレームにおいて検出された放射線不透過性マーカ位置に近位のエリアのみを示すように、更にマスキングされる。心臓運動に起因する標的血管の動きに適応するために、特定のマージンを追加することができる。マージンは、システムによって事前に決定することもできるし、又はユーザによって手動で設定することもできる。
【００６１】
第１の血管造影画像フレームにおいて放射線不透過性マーカ位置のおおよその位置を指定するユーザ入力は、第１の血管造影画像フレームにおいて標的放射線不透過性マーカが決定される前に、いつでも取得することができる。
【００６２】
次いで、Ｓ１０６、すなわちイメージングカテーテル経路の検出では、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又はエッジ検出フィルタからの任意の組合せが適用され、拡張したエッジの内側空間が充填される。その後、イメージングカテーテル経路を含むコンポーネントが選択される。コンポーネント選択は、既定の閾値を設定することによって自動的になされてもよいし、又は、おおよその位置を指定するためのユーザからの１つ又は複数の入力を得ることによって、半自動的になされてもよい。次に、選択されたコンポーネント又は選択されたコンポーネント内の検出されたエッジのいずれかに、多項式フィッティング関数等の曲面フィッティング関数が適用される。
【００６３】
放射線不透過性マーカの検出では、標的放射線不透過性マーカの決定は、全ての血管造影画像フレームにおいて１つ又は複数の暗い点が検索された後に、血管造影データ全体を通して各々の検索された点をトラッキングすることによって、達成することができる。次いで、各血管造影画像フレームにおいて、１つ又は複数の暗い点が検索される。各フレームにおいて検索される点の数は、事前に決定することもできるし、又はユーザによって設定することもできるが、血管造影データ全体を通じて同じ数でなければならない。放射線不透過性マーカは、プルバック中、１つの特定の方向、すなわち標的血管の遠位から近位の方向に移動するので、標的放射線不透過性マーカは、特定の方向に移動する１つの点を見つけることによって、決定することができる。トラッキングでは、例として、Ｖｉｔｅｒｂｉベースの方法又はSpeeded  Up  Robust  Features（ＳＵＲＦ）方法が用いられてよい。
【００６４】
血管内イメージングデータ及び血管造影データは、複数の心周期の間に取得される。血管造影データは全体ビューにおいて冠動脈ツリーをキャプチャし、冠動脈は心臓運動に起因して心周期内に動くので、相互レジストレーションは、心臓運動によって影響を受ける可能性がある。したがって、相互レジストレーション結果、特に血管造影データの各フレームにおけるマーカの検出（図２のステップＳ３０、図４ＡのＳ１１４及び図６ＡのＳ３０６）を改善するためには、心臓運動の効果が克服される必要がある。心臓運動の推定は、ＥＣＧデバイス６０からの信号に基づいて特定される１つ又は複数の心周期内でキャプチャされた血管造影画像フレームを選択することによって実行することもできるし、又は、血管造影画像フレーム全体を用いて実行することもできる。後者の場合、ＥＣＧデバイス６０は、イメージングシステム１０に含まれる必要がない場合がある。少なくとも相互レジストレーション結果の改善を目的として、以下のプロセスを用いて、心臓運動を推定することができる。図１１は、相互レジストレーションに対する心臓運動の効果を克服するための４つの異なるステップを示すフローチャートに言及する。第１のステップＳ７００は、血管内イメージングプルバックが実行された冠動脈の位置を特定するためのユーザ入力を取得することに関与する。次いで、ユーザ入力を用いて、システムは、ステップＳ７０１において心臓運動を評価し、ステップＳ７０２において関心範囲を定める。続いて、システムは、ステップＳ７０３において、各血管造影画像フレームにおける関心範囲内でマーカを検出する。
【００６５】
ステップＳ７００においてシステムがユーザ入力を取得することには、いくつかの異なる方法が存在する。第１の方法では、システムは、１つの血管造影画像フレームを示し、遠位端から近位端へ血管内イメージングプルバックが実行された血管内又は血管近くのエリアに沿って入力を配置するように、ユーザに要求する。示される血管造影画像フレームは、血管内イメージングプルバックが始まる血管造影画像フレーム等、システムによって選択されてよい。或いは、ユーザが、血管造影データ全体から選択してもよいし、又は、システムによって選択されたフレームから調整してもよい。
【００６６】
ユーザ入力を取得するための第２の方法では、システムは、複数の血管造影画像フレームをユーザに示す。複数のフレームは、スキップすべきフレームの固定数に基づいて、又は、血管造影画像を用いて推定されるか若しくはＥＣＧ信号を介して決定される心周期に基づいて、システムによって選択されてよい。スキップすべきフレームの固定数は、システムによって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。血管造影画像を用いて心周期を推定する方法は、図１５〜図１８を参照して、更に詳細に後述される。心周期が推定又は決定されると、システムは、１つ又は複数の心周期内で、１つ以上の心拍位相（その血管造影画像フレームがユーザに示される）を決定する。ユーザが１つの入力又は複数の入力を配置する第１の血管造影画像フレームが、自動的にユーザに示され、次いで、ユーザが現在のフレーム上でユーザ入力の配置を終了すると、次の血管造影画像フレームが表示される。１フレームにつき配置されるユーザ入力の数は、システムによって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。１フレームにつき１つのみのユーザ入力が許される場合、ユーザは、好ましくは、血管においてより暗い点として示されるマーカに対して入力を配置する。１フレームにつき複数のユーザ入力が許される場合、ユーザは、遠位から近位への血管内のプルバック領域を特定する。
【００６７】
この実施形態では、ユーザ入力はｕｉkで表される。ｕｉ1は、最も遠位のユーザ入力を指し、ｋが増加するにつれて、近位方向に向かって移動されたユーザ入力を指す。１つのみの血管造影画像フレームが示される方法では、ユーザが１つのフレームに対してｍ個のユーザ入力ｕｉ1〜ｕｉmを配置することが仮定される。複数の血管造影画像フレームが示される方法では、ユーザは、１フレームにつき１つのユーザ入力が許されるとき、複数のフレームに対して合計でｍ個のユーザ入力ｕｉ1〜ｕｉmを配置し、また、１フレームにつき複数のユーザ入力が許されるとき、合計ｍ×ｎ個のユーザ入力（ｎは、ユーザに示される複数のフレームの数である）で、第１のフレームに対してｍ個のユーザ入力ｕｉ1〜ｕｉmが配置される。システムは、ｕｉ1が常に、血管内イメージングプルバックが始まる位置又はその近くに位置すると仮定する。
【００６８】
図１２は、図１１のステップＳ７０１に記載されるような心臓運動を評価するためのフローチャートに言及する。まず、システムは、ステップＳ８００において、各血管造影画像フレーム内の血管をセグメント化する。血管をセグメント化する１つの方法は、血管造影画像フレームを閾値化（thresholding）することである。血管には造影剤が注入されるので、血管は、血管造影データでは非常に暗く見える。閾値は、システムによって事前に決定されてもよいし、又は、ユーザによって手動で設定若しくは修正されてもよい。閾値は、全ての血管造影画像フレームについて同じであってもよいし、又は、各フレーム若しくは各フレーム群で異なってもよい。閾値よりも暗い血管造影画像フレームのエリアは、１の二進値が割り当てられ、閾値よりも暗くない血管造影画像フレームのエリアは、０の二進値が割り当てられる。このようにして、ステップＳ８０１に従って、各血管造影画像フレームの二値画像が生成される。二値画像データ（ｂｗデータ）（そのフレームは各血管造影フレームに対応する）は、セグメント化された血管を白色（値１）として示し、かつ他のエリアを黒色（値０）として示すように生成される。ｂｗデータに基づいて、ステップＳ８０２において、新規の二値画像（ＢＷ）が生成される。新規の二値画像ＢＷにおいて、白色エリアは、血管造影画像フレームのうちの少なくとも１つにおけるセグメント化された血管の位置を表す。
【００６９】
ＢＷを生成するために、一例では、システムは、ｂｗデータの全てのフレームを追加することができる。次いで、システムは、ステップＳ８０３において、連続するユーザ入力の間を直線で接続する。連続するユーザ入力を接続した直線は、血管内イメージングプルバックが実行された血管の長手方向を定めることができる。接続線に基づいて、ステップＳ８０４において、各ユーザ入力位置でプルバック方向に直交する方向が生成される。それらの方向は線によって定められ、線の各々が各ユーザ入力に交わる（ｖｌ1〜ｖｌm）。第１のユーザ入力と最後のユーザ入力（ｕｉ1及びｕｉm）において、ｕｉ1における線（すなわちｖｌ1）又はｕｉmにおける線（すなわちｖｌm）は、それぞれ、ｕｉ1とｕｉ2との間又はｕｉm-1とｕｉmとの間で、接続線に直交する。他のユーザ入力（ｕｉk、１＜ｋ＜ｍ）において、線（すなわちｖｌk）は、ｕｉk-1とｕｉk+1を直接接続する直線に直交する。直交する線を定めた後、ステップＳ８０５において、直交する線上の、ＢＷの白色エリアにオーバーレイしかつユーザ入力を含むセグメントが、各線について検索される。次いで、直交する線はｘ軸又はｙ軸と平行ではないので、ステップＳ８０６において、ｘ軸及びｙ軸に投影される長さが、交差線の各セグメントについて評価される（ＣＭｘ1，ＣＭｙ1〜ＣＭｘm，ＣＭｙm）。ステップＳ８０７において、評価された長さＣＭｘ1，ＣＭｙ1〜ＣＭｘm，ＣＭｙmを用いて、ｘ方向とｙ方向（ＣＭｘ，ＣＭｙ）の両方における心臓運動が評価される。ＣＭｘ，ＣＭｙは、ＣＭｘ1〜ＣＭｘm及びＣＭｙ1〜ＣＭｙmの平均とすることができ、又は、ＣＭｘ1〜ＣＭｘm及びＣＭｙ1〜ＣＭｙmの最大値とすることができる。ステップＳ８０３及びＳ８０４は、図１２ではステップＳ８００〜Ｓ８０２の後に発生するように示されるが、ステップＳ８０３及びＳ８０４は、ステップＳ８００〜Ｓ８０２の前に実行されてもよい。更に、ステップＳ８００は、図１１のステップＳ７０１においてユーザ入力を取得する前に実行されてよい。
【００７０】
図１３は、図１２を参照して上述された二値画像ＢＷの例である。二値画像では、４つの異なるユーザ入力が、遠位端ｕｉ1４００から始まり近位端ｕｉ4４０６まで、間にｕｉ2４０２及びｕｉ3４０４を挟んで示される。連続するユーザ入力を接続する線４１０〜４１２は、血管内画像プルバックが発生した血管の長手方向を定める。次いで、各ユーザ入力に直交する線４１４〜４１７が、心臓運動を決定するために評価される。例えば、図１３は、第１のユーザ入力（ＣＭｘ1，ＣＭｙ1）について、ｘ方向における心臓運動４２２及びｙ方向における心臓運動４２４を示すための、ｕｉ1４００の拡大表示４２０を提供する。
【００７１】
ステップＳ７０１の後、接続線及び評価された心臓運動ＣＭｘ４２２，ＣＭｙ４２４を用いて、関心領域が定められる。まず、図１３に示されるように、接続線を白色エリアとして示す二値画像が生成される。次いで、接続線が、ｘ方向においてはＣＭｘで、ｙ方向においてはＣＭｙで拡張される。拡張後の白色エリアは、更なる処理における関心範囲として定められ、図１４で示されるように、網掛け領域４３０内に定められる。
【００７２】
マーカを検出するための図１１のステップＳ７０３において、まず、定められた関心範囲内のセグメント化された血管内の候補点、すなわち暗い点が、各血管造影フレームについて検索される。候補点の数は、システムによって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。次いで、候補点から標的マーカが選択される。標的マーカの選択は、特定の方向に（すなわち近位から遠位の方向に）移動する１つの点を見つけることによって、又は、推定された標的マーカ位置から最も近い点を見つけることによって、前のフレームの標的マーカから最も近い点を選ぶことを含む。標的マーカの推定は、ユーザ入力位置、プルバック速度及び評価された心臓運動を用いて実行されてよい。ユーザ入力に基づいて、血管内の血管内プルバックの領域が定められる。ｕｉ1は血管内プルバックの開始近くに位置するので、プルバックの終了までの第１のフレームから次のフレームへのマーカの移動は、接続線又はセグメント化された血管に沿って、ｕｉ1位置から推定することができる。次いで、評価された心臓運動情報を追加することによって、かつ潜在的には、推定された心周期とともに心拍位相の評価を追加することによって、心臓運動に起因する動きが考慮される。
【００７３】
図１５は、心周期を推定するための様々なステップを示すフローチャートである。第１のステップＳ８００は、各血管造影画像フレーム内の血管をセグメント化する図１２の第１のステップと同じであり、ステップＳ８０１において、各フレームについてセグメント化された血管を示す二値画像（ｂｗデータ）が生成される。心臓運動が既に評価されている場合、ステップＳ８００及びＳ８０１は、心周期を推定するプロセスにおいてスキップされてよく、心臓運動評価プロセスからの情報が用いられてよい。次いで、システムは、ステップＳ９００において、ｂｗデータの第１のフレームからのｂｗデータの各フレームの絶対差を評価する。次いで、システムは、ステップＳ９０１において、心臓運動における最小差に対応するフレーム番号を見つける。このステップで、第１のフレームの絶対差である０は、最小差と見なされない。ユーザ嗜好に応じて、システムは、最小差だけでなく、第２又はそれ以上の最小差にも対応するフレーム番号を検索してよい。全てのフレーム番号が見つけられると、選択されたフレーム番号は昇順でソートされ、この一連の番号の始まりにフレーム番号１が追加される。次いで、ステップＳ９０２において、隣接するソート値間のフレーム番号の差が計算される。この差は、１つの心周期におけるフレームの数として定められる。複数の差が存在する場合、ステップＳ９０３において、差の平均が、１つの心周期におけるフレームの数と見なされる。
【００７４】
推定プロセスは、図１６のフローチャートの以下のステップに示されるように関心範囲が決定される場合に、更に改善することができる。関心範囲が上述のように心臓運動を評価することによって既に決定されている場合、システムは、ステップＳ９０４において、関心範囲内で第１のフレームからの各フレームの絶対差を評価することができる。このプロセスは、血管内イメージングが取得されるエリアにのみ着目しており、例として肋骨や横隔膜等の任意の不必要な構造体は除去してよい。図１６の他のステップは、図１１、１２及び１５からのステップに類似するので、ここでは繰り返さない。
【００７５】
本開示の別の実施形態において、心周期を推定するための第２の方法が、図１７及び図１８を参照して論じられる。この実施形態では、ユーザ入力に近い点が血管造影画像フレーム全体にわたってトラッキングされ、トラッキングされた点の移動をその移動方向とともに評価することによって、心周期が推定される。図１７は、点を選択しトラッキングするための様々なステップを示すフローチャートである。システムが１つの血管造影画像フレーム又は複数の画像フレームに対するユーザ入力を取得した後、システムは、ステップＳ８０３において、ユーザ入力を接続する。ステップＳ８０４において、システムは、接続線を形成するように接続された各ユーザ入力において、垂直線を生成する。ステップＳ１０００において、システムは、第１の血管造影画像フレームを選択し、ステップＳ１００１において、フレーム内の血管をセグメント化する。ステップＳ１００１におけるセグメント化は、図１２のステップＳ８００と同じように実行されてよい。次いで、ステップＳ１００２において、セグメント化された血管のエッジと垂直線との交点が検索される。ステップＳ１００３において、これらの交点から、各ユーザ入力に最も近い点が選択され、それらの座標が、ステップＳ１００４において、血管造影画像フレームのフレーム番号とともにシステムに保存される。これらの点の座標は（ｘk,i，ｙk,i）で表され、ｉはフレーム番号を指し、ｋ（１〜ｍ）はユーザ入力（ｕｉ1〜ｕｉm）の順番を指す。次いで、ステップＳ１００６において次の血管造影画像フレームが選択され、最後の血管造影画像フレームが処理されるまで、同じステップが繰り返される。ステップＳ１００５において、最後の血管造影画像フレームが処理されたと決定された場合、プロセスは終了する。ステップＳ１００３において第１の血管造影画像フレームではない任意の血管造影画像フレームについて、システムは、前のフレームで選択された点に最も近い点を選択する。或いは、ステップＳ１００３において、システムは、血管の両側の２つの最も近い点を選択してよく、システムは、中間点を計算し、ステップＳ１００４において、各ユーザ入力又は前のフレームで選択された各点について、中間点の座標を保存する。
【００７６】
このプロセスの後、各ｋについて、第１のフレームからの点の移動ｄi,kが評価される。
ｄi,k＝｜｜（ｘk,i，ｙk,i）−（ｘk,1，ｙk,1）｜｜（ｉ≧２）
【００７７】
移動が心臓の中心へ向かう場合、この値の符号は負へと変化する。ユーザ嗜好に応じて、反対方向、すなわち心臓の中心から外へ向かう動きを、負の値として扱うことができる。方向を定めるために、システムは、画像の中心が心臓の中心に近いと仮定することができ、又は、システムは、自動的に選択された１つの血管造影画像フレーム上で心臓の中心を定めるユーザ入力を提供するように、ユーザに要求することができる。あるｋについて、全てのｄi,k値が正又は負である場合、システムは、ｄi,kがゼロに近いフレーム番号を検索することにより、心周期を特定することができる。そうでない場合、システムは、ｄi,k値が正及び負に進んだ後にｄi,kがゼロに近いフレーム番号を検索することにより、心周期を特定することができ、又は、図１８のグラフに示されるようにその逆も同様である。各ｋについて１つの心周期におけるフレームの数を評価した後、システムは、フレームの平均数を計算し、それを、血管造影データについての１つの心周期におけるフレームの数として定めることができる。ｄi,kの評価は、心臓運動の評価に用いることができる。図１８に示されるように、各ｋについて、ｄi,kの最大値と最小値との差は、ユーザ入力ｕｉkにおける冠動脈の動きに対応するはずであり、システムは、この情報を用いて、ＣＭｘ及びＣＭｙを評価することができる。
【００７８】
心臓運動及び心周期の推定のための上述の方法は、ＥＣＧ信号又はＥＣＧ信号から取得される心拍位相情報が用いられる異なるプロセスにも利用することができる。例えば、ステップＳ２０２において、別の実施形態では、システムは、ＥＣＧ信号を用いる代わりに、上述の方法から取得される心拍位相情報を用いて、同じ心拍位相にある造影剤なしフレームを選択してよい。別の例では、ステップＳ１０８又はＳ１１６において、上述の方法から取得される心拍位相情報は、血管造影フレームとともに保存されてよい。ここでは、ＥＣＧデバイス６０は含まれる必要はなく、又は少なくとも、相互レジストレーションプロセスに用いられる必要はない。また、ＥＣＧデバイス６０が血管造影システム２０とともに用いられる場合、ＥＣＧ信号が血管造影フレームと同期されないか、又はＥＣＧ信号からの心拍位相情報が血管造影フレームの各々に関連しない状況において、上述の方法からの推定結果が利用されてよい。
【００７９】
ステップＳ８０４において、システムは、接続線を形成するように接続された各ユーザ入力において、心臓運動を推定するための垂直線４１４〜４１７を生成する。しかしながら、本開示の実施形態において、心臓運動を推定するための線は、接続線の線分に対して必ずしも垂直でなくてもよい。本開示の一実施形態において、システムは、ユーザ入力を接続する線分に一定の角度で交差するが垂直ではない線を生成してよい。
【００８０】
血管が大きな曲率（curvature）を有し、ユーザ入力点を接続する線分が血管の長手方向に沿っていない場合、生成される線は、血管の長手方向に対して必ずしも垂直でなくてもよい。
【００８１】
別の実施形態において、システムは、接続線を用いる代わりに、血管の長手方向に沿う曲線に交差する線を生成してよい。曲線は、複数のユーザ入力に基づくスプライン補間処理から生成されてよい。
【００８２】
上記のように、ステップＳ７００において、イメージングシステム１０又は画像プロセッサ４０は、複数の血管造影フレームにおいてユーザ入力を受け付けるために、これらのフレームをモニタ５０に表示させる。本開示の実施形態では、心臓運動から評価される、１つ以上の特定の心拍位相の１つ以上のフレームが、特定及び表示される。一実施形態において、イメージングシステム１０は、図１５〜図１８を参照して説明されるような心周期推定に基づいて、１つ以上の血管造影フレームを特定又は選択してよい。一実施形態において、イメージングシステム１０は、心周期推定のためのユーザ入力点を受け付けるための事前に選択されたフレームと同じ心拍位相の１つ以上の血管造影フレームを選択し、モニタ５０に表示させる。同じ心拍位相の複数のフレームにおいてユーザ入力を受け付けて利用することにより、マーカ検出の正確性が改善される。
【００８３】
別の実施形態において、イメージングシステム１０は、事前に選択されたフレームとは異なる心拍位相の１つ以上の血管造影フレームを選択し、モニタ５０に表示させる。イメージングシステム１０は、１つ以上のフレームを選択し、モニタ５０に表示させてよい。１つ以上のフレームは、図１８に示されるように、１つの心周期のｄi,kのピーク（距離がその極大及び極小にある）におけるフレームを含んでよい。これらのフレームにおいてユーザ入力を受け付けて利用することにより、マーカ検出の正確性が改善される。イメージングシステム１０は、事前に選択されたフレームのｄi,kからの絶対差がより大きいｄi,kを有するフレームを選択してよい。１つ以上のフレームは、冠動脈の動きｄi,kの最高速度でのフレーム、すなわち、図１８に示される周期曲線の勾配値がその最大又は最小にあるフレームを含んでよい。このフレームにおいてユーザ入力を受け付けて利用することにより、マーカ検出の正確性が改善される。
【００８４】
上述の実施形態では、心臓運動を評価するために、ユーザ入力において複数の（垂直）線が決定されるが、少なくとも心拍位相情報を推定することについては、イメージングシステム１０は、複数の血管造影画像フレームにおいて血管領域の１つの場所のみを評価すればよい。当該の１つの場所は、イメージングシステム１０によって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。
【００８５】
別の実施形態では、システム１０は、相互レジストレーションプロセス中にユーザをナビゲートするために、複数のＧＵＩをディスプレイ５０に表示する（又は、画像プロセッサ４０がディスプレイ５０に表示させる）。図２のステップＳ２０の後、システムは、ＧＵＩを表示して、取得された血管造影画像と血管内画像を一緒に示す。例となるＧＵＩ１９００が、図１９に示される。ＧＵＩ１９００は、血管造影画像フレームを表示するエリア１９０１と、血管内画像フレームを表示するエリア１９０２と、血管の長手方向ビューを表示するエリア１９０３と、「相互レジストレーション」ボタン１９０４とを含む。このＧＵＩ１９００では、ユーザは（ユーザは、入力デバイス、例えばマウスデバイス、キーボード又はタッチパネルディスプレイを使用して）、線１９３１（長手方向ビューに重ね合わせられた）をＧＵＩ１９００の水平方向に移動させて、線１９３１の場所に対応する血管内画像を選択し、エリア１９０２に表示することができる。相互レジストレーションプロセスは、ユーザによって、例えば図１９の「相互レジストレーション」ボタン１９０４をクリックすることによって開始されてよく、次いでシステム１０は、ユーザ入力を取得するために次のＧＵＩを表示する。例となるＧＵＩ２０００が、図２０に示される。ＧＵＩは、血管造影画像フレームを表示するエリア２００１と、カーソル２０１１を有するスライドバー２０１０と、「続ける」ボタン２００２と、「フレームを追加」ボタン２００３と、「閉じる」ボタン２００４とを含む。このＧＵＩ２０００では、システム１０は、血管内イメージングプルバック中に取得される第１の血管造影画像フレームを自動的に選択し、表示する。プルバック中の第１の血管造影画像フレームを表示することにより、ユーザは、血管内イメージング取得の初期位置を比較的容易に特定することができ、これは、ユーザが血管において血管内イメージングプルバックの遠位領域を定めるのに役立つ。これはまた、システムが第１のフレーム上で放射線不透過性マーカ位置を特定するのに役立つ。一実施形態において、第１の血管造影画像は、プルバックが始まる直前若しくは直後に取得される血管造影画像であってよく、又は、血管内イメージングカテーテル３８の初期位置が表示される任意の血管造影画像であってもよい。一実施形態において、ユーザ嗜好に応じて、ユーザは、例えばスライドバー２０１０のカーソル２０１１を動かすことによって、血管造影画像フレーム、ユーザ入力を配置するエリア２００１を変更することができ、結果としてシステム１０は、スライドバー２０１０のカーソル２０１１の場所に対応する血管造影画像フレームを表示する。この例となるＧＵＩ２０００では、ユーザは、表示された血管造影画像フレーム２００１内の位置をクリックすることによって、表示された血管造影画像フレーム上に第１のユーザ入力２０１２を配置する。血管造影画像フレーム上に１つのユーザ入力２０１２のみが配置される場合、「続ける」ボタン２００２と「フレームを追加」ボタン２００３の両方が、システム１０によって無効化される。少なくとも２つのユーザ入力がユーザによって配置される場合、両方のボタンがシステム１０によって有効化される。「続ける」ボタン２００２がユーザによって選択された場合、システム１０は、図２の相互レジストレーションプロセスＳ３０〜Ｓ５０を実行する。当該のプロセスの間、システム１０は別のＧＵＩを表示する。例となるＧＵＩ２１００が、図２１に示される。ＧＵＩ２１００は、プロセスが進行中であることをユーザに知らせるためのメッセージ２１０１と、「閉じる」ボタン２１０２とを含む。システム１０がプロセスを実行する間、ユーザが何らかの理由で相互レジストレーションプロセスを中止することを望む場合、ユーザは、「閉じる」ボタン２１０２をクリックすることができる。「閉じる」ボタン２１０２がクリックされると、システムは、相互レジストレーションプロセスを停止し、ＧＵＩ１９００へ戻る。ＧＵＩ１９００へ戻る前に、システム２１００は、相互レジストレーションプロセスを停止するかどうかをユーザにダブルチェックするために、ボタン付きの追加のウィンドウを表示することができる。図２０、図２２、図２３及び図２５の「閉じる」ボタンもまた、ここで説明された「閉じる」ボタン２１０２と同じ機能を有する。
【００８６】
一実施形態において、ユーザは、図２のステップＳ６０の前に、検出の結果をチェックすることができる。相互レジストレーションプロセスＳ３０〜Ｓ５０が完了すると、システム１０は、放射線不透過性マーカの検出の結果を表示し、結果が承認可能であるか否かをユーザに尋ねる。図２２は、この段階についての例となるＧＵＩ２２００を含む。ＧＵＩ２２００は、血管造影画像を表示するエリアと、カーソル２２１１を有するスライドバー２２１０と、「承認」ボタン２２０２と、「キャンセル」ボタン２２０３と、「修正」ボタン２２０４と、「フレームを追加」ボタン２２０５と、「閉じる」ボタン２２０６とを含む。表示された血管造影画像フレーム上に、システム１０は、相互レジストレーションプロセスで検出された放射線不透過性マーカ位置を示すインジケータ２２１２と、相互レジストレーションプロセスで作成された相互レジストレーション経路を示す線２２１３とをオーバーレイする。インジケータ２２１２は、放射線不透過性マーカ位置を指し示す矢印であってよい。ユーザ嗜好に応じて、血管内イメージングカテーテル上の放射線不透過性マーカと取得位置（すなわち遠位光学素子位置）との間に一定の距離が存在する場合、システム１０は、検出された放射線不透過性マーカ位置の代わりに、血管内イメージングフレームの取得位置をオーバーレイすることができる。ユーザは、カーソル２２１１を動かして、エリア２２０１に表示される血管造影フレームを変更して、プルバック中の任意の血管造影画像フレームにおいて、検出された放射線不透過性マーカ位置２２１２が承認可能であるかどうかをチェックすることができる。ＧＵＩ２２００は、放射線不透過性マーカ検出結果を含む相互レジストレーション結果のユーザ確認のために表示される。ＧＵＩ２２００により、システム１０は、システム１０が相互レジストレーション結果を表示するか否かに関して、決定を行うか、又はユーザ決定を認識する。
【００８７】
システム１０は、ユーザによるチェック結果に基づいて、異なるＧＵＩを表示することを選択する。ユーザが結果を承認する場合、例えばユーザが「承認」２２０２ボタンをクリックした場合、そのクリックに応答して、システム１０は、検出されたマーカ位置を含む相互レジストレーション結果を伴う血管造影画像を有するＧＵＩを表示する。例となるＧＵＩは、図１０に示されるＧＵＩ２００である。このＧＵＩ２００では、上記のように、相互レジストレーション経路２１０と、対応する血管内イメージングフレームの取得位置を示す人工インジケータ２１２とが、血管造影画像フレーム２０２にオーバーレイされる。ユーザが結果を承認しない場合、例えばユーザが「キャンセル」ボタン２２０３をクリックした場合、システム１０は、相互レジストレーション結果を伴わないＧＵＩを表示し、すなわち、血管造影画像フレーム上には何の情報もオーバーレイされない。例となるＧＵＩは、ＧＵＩ１９００である。この段階では、図１９の「相互レジストレーション」ボタンは、無効化されてもよく、又は除去されてもよい。ユーザが検出結果をフレームごとに修正することを望む場合、ユーザは「修正」ボタン２２０４をクリックし、システム１０は、異なるＧＵＩを用いてユーザをナビゲートする。例となるＧＵＩ２３００が、図２３に示される。ＧＵＩ２３００は、血管造影画像フレームを表示するエリア２３０１と、カーソル２３１１を有するスライドバー２３１０と、「終了」ボタン２３０２と、「修正を消去」ボタン２３０３と、「修正を閉じる」ボタン２３０４と、「閉じる」ボタン２３０５とを含む。このＧＵＩ２３００では、システム１０は、検出された放射線不透過性マーカ位置を示すインジケータ２３１２と、相互レジストレーション経路を示す線２３１３とともに、血管造影画像フレームを表示する。ＧＵＩ２３００では、システム１０はまた、前のＧＵＩ２２００において「修正」ボタンがクリックされたときにユーザが見直す血管造影画像フレームを選択して、最初に表示し、カーソル２３１１は、最初、エリア２３０１の表示された血管造影画像フレームに従って位置付けられる。ユーザは、方法の一例として、スライドバー２３１０のカーソル２３１１を動かすことによって、エリア２３０１に表示されるフレームを変更することができる。「終了」ボタン２３０２及び「修正を消去」ボタン２３０３は、最初、システム１０によって無効化されるが、ユーザが血管造影画像フレーム上で実際の放射線不透過性マーカ位置をクリックして、ユーザ修正２３１４の位置を入力すると、「終了」ボタン２３０２と「修正を消去」ボタン２３０３の両方は、システム１０によって有効化される。ユーザ修正２３１４の受付けに応答して、システム１０は、システム１０のメモリに、表示された血管造影画像フレームにおけるユーザ修正２３１４の位置の情報を、そのフレーム番号又はその識別情報とともに記憶する。ユーザが「修正を消去」ボタン２３０４をクリックした場合、システム１０は、表示されたＧＵＩ２３００からユーザ修正２３１４を消去又は除去し、ユーザ修正２３１４の位置をメモリから消去又は除去する。ユーザが検出されたマーカ位置の修正を終了するとき、ユーザは、「終了」ボタン２３０２をクリックする。「終了」ボタン２３０２がクリックされると、システム１０は、ユーザ修正２３１４によって影響を受けた血管内画像フレームの取得位置を再計算する。ユーザが修正プロセスの中止を望む場合、ユーザは「修正を閉じる」ボタン２３０４をクリックすることができ、システムはＧＵＩ２２００を示すことができる。ユーザ嗜好に応じて、システム１０は、図１０の最終結果ＧＵＩ２００を直接表示することもできるし、又は、「修正を閉じる」ボタン２３０４がクリックされた後に、ＧＵＩ１９００を表示することもできる。「修正を閉じる」ボタン２３０４は、システム１０がＧＵＩ２３００を表示するときにはいつでも有効化される。
【００８８】
この修正プロセスにおいて、上記のように、ユーザが「終了」ボタン２３０２をクリックしたとき、システム１０は、ユーザ修正２３１４によって影響を受けた血管内画像フレームの取得位置を再計算する。言い換えると、血管造影画像フレームが取得された時間から一定の時間範囲に取得された血管内画像フレームについて、相互レジストレーションが再度実行される。システム１０は、再計算処理が実行されているとき、ＧＵＩ２１００を表示する。図２４を参照して、ユーザがｉag番目の血管造影画像フレーム上で検出結果を修正し、（ｉag−１）番目、ｉag番目及び（ｉag＋１）番目の血管造影画像フレームが、それぞれｈiv番目、ｉiv番目及びｊiv番目の血管内画像フレームが取得されたときと同時に取得されたと仮定する。ｉag番目の血管造影画像フレームの取得位置がユーザによって修正されるとき、このユーザ修正は、（ｈiv＋１）番目〜（ｉiv−１）番目（図２４のフレーム群Ａ）と（ｉiv＋１）番目〜（ｊiv−１）番目（図２４のフレーム群Ｂ）の血管内イメージングフレームについて計算された取得位置に影響を与える。上記のように、システム１０は、（ｉag−１）番目の血管造影画像フレーム上の検出結果とｉag番目の血管造影画像フレーム上の修正結果に基づいて、フレーム群Ａの血管内イメージングフレームについて取得位置を計算し、ｉag番目の血管造影画像フレーム上の修正結果と（ｉag＋１）番目の血管造影画像フレーム上の検出結果に基づいて、フレーム群Ｂの血管内イメージングフレームについて取得位置を計算する。
【００８９】
別の実施形態では、システム１０は、より良好な相互レジストレーション結果を取得するために、ユーザ入力を受け付けるための異なる方法をユーザに提供する。例えば、ある方法は、１つの血管造影画像フレームのみに対してユーザ入力を配置するように、ユーザに要求する。他の方法は、複数の血管造影画像フレームに対してユーザ入力を配置するように、ユーザに要求する。フレームごとのユーザ入力の数は、１つ又は複数であってよい。この説明では、方法１は、１フレームにつき複数のユーザ入力を有する１つの血管造影画像フレームとして定義され、方法２は、１フレームにつき１つのユーザ入力を有する複数の血管造影画像フレームとして定義され、方法３は、１フレームにつき複数のユーザ入力を有する複数の血管造影画像フレームとして定義される。再び図２０又は図２２を参照すると、ＧＵＩは、「フレームを追加」ボタン２００３又は２２０５を有する。一実施形態において、相互レジストレーションプロセスは方法１から始まり、ユーザ嗜好に応じて、ユーザは、「フレームを追加」ボタン２００３又は２２０５をクリックすることによって、その他のフレームに対して更なるユーザ入力を提供することができる。ユーザがボタン２００３をクリックした場合、初期の相互レジストレーションプロセスは、方法２又は方法３のいずれかを用いて実行される。ユーザがボタン２２０５をクリックした場合、システムは、方法２又は方法３を用いて、相互レジストレーションプロセスを再実行する。方法２又は方法３の選択は、システムによって自動的になされてもよいし、システム１０のメモリに記憶されたユーザ嗜好情報に基づいて事前にデフォルトを設定することによってなされてもよいし、又は、ユーザによって各血管内イメージングプルバック処置においてなされてもよい。
【００９０】
「フレームを追加」ボタン２００３又はボタン２２０５がクリックされると、システム１０は、更なるユーザ入力を取得するために、別のＧＵＩを表示する。例となるＧＵＩ２５００が、図２５に示される。この例では、システムは、方法３を用いて相互レジストレーションを実行することを選択する。ＧＵＩ２５００は、血管造影画像フレームを表示するエリア２５０１と、第１のカーソル２５１１及びマーカ２５１２を有するスライダバー２５１０と、「続ける」ボタン２５０２と、「次のフレーム」ボタン２５０３と、「今すぐ相互レジストレーション」ボタン２５０４と、「閉じる」ボタン２５０５とを含む。カーソル２５１１は、ユーザにより移動可能であり、矩形であってよく、その場所は、エリア２５０１に表示される血管造影画像フレームに対応している。マーカ２５１２は、ユーザ入力が既に配置されているフレームの位置を示す。マーカ２５１２は、三角形であってよく（カーソル２５１１と視覚的に異なってよい）、スライダバー２５１０の下に位置付けられてよく、一方、カーソル２５１１は、スライドバー２５１０内に位置付けられてよい。ＧＵＩ２５００において、ユーザは、エリア２５０１に表示される新規の血管造影画像フレーム上に、第１のユーザ入力２５１３を配置する。ユーザが更なるユーザ入力を提供するための血管造影画像フレームは、推定された心周期情報の有無にかかわらず、システムによって自動的に選択されてもよいし、又は、上記のように、スライドバーを用いてユーザによって手動で選択されてもよい。三角形のマーカ２５１２は、ユーザが既にユーザ入力を提供した血管造影画像フレーム位置を示す。この例となるＧＵＩ２５００では、上記と同様に、１つのみのユーザ入力が血管造影画像フレーム上に配置されるので、「続ける」ボタン２５０２及び「次のフレーム」ボタン２５０３は無効化される。両方のボタンは、ユーザが表示された血管造影画像フレーム上に２つ以上のユーザ入力を配置すると、有効化される。ユーザが「次のフレーム」ボタン２５０３をクリックすると、システムは、図２５に示される同じＧＵＩを用いて、システム１０によって選択された血管造影画像フレームの中から次の血管造影画像フレームを自動的に表示する。システムが、システム１０によって選択されたフレームの中から最後の血管造影画像フレームを表示するとき、「次のフレーム」ボタンは、無効化されてよく、又は、ＧＵＩ２５００上では利用可能でなくなる。一実施形態において、システム１０は、心周期情報に基づいて、同じ心拍位相の１つ以上の血管造影画像フレームを選択し、また、システム１０は、スライダバー２５１０に沿って、マーカ２５１２とは視覚的に異なる１つ以上のマーカを、選択された１つ以上のフレームに対応する場所に表示することができる。心周期情報は、ＥＣＧ６０から取得することができ、又は、図１２に示されるような血管造影画像フレームの画像処理から取得することができる。画像処理を利用するために、一実施形態において、ＧＵＩ２０００の「フレームを追加」ボタン２００３のクリックに応答して、画像処理を開始することができる。この場合、画像処理システム１０は、最初、選択された血管造影画像フレームのうちの１つをＧＵＩ２５００に表示することができる。
【００９１】
ＧＵＩ２５００において方法２が選択される場合、「次のフレーム」ボタン２５０３は除去される。１つのみのユーザ入力が要求され、また、１フレームにつき１つのみのユーザ入力で十分であるので、ユーザが配置した１つのユーザ入力に応答して、システムは、ＧＵＩ２５００に次の血管造影画像フレームを自動的に表示することができる。
【００９２】
方法２及び方法３の両方について、ユーザが前のフレームに戻れるようにする追加のボタン（例えば「前のフレーム」ボタン）を、ＧＵＩ２５００に表示することができる。加えて、ユーザ嗜好に応じて、システム１０は、ユーザにとっての参照として、他のフレームに対して提供されたユーザ入力を、現在表示中の血管造影画像フレーム上に表示することができる。ユーザが「続ける」ボタン２５０２をクリックした場合、使用されるように選択された全ての血管造影画像フレームに対してユーザがユーザ入力の配置を終了していない場合でも、システム１０は、現在表示中の血管造影画像フレームを含む全ての血管造影画像フレームに与えられた全てのユーザ入力情報を用いて、相互レジストレーションプロセスを実行する。ユーザが「今すぐ相互レジストレーション」ボタン２５０４をクリックした場合、システム１０は、現在表示中の血管造影画像フレームを除く全てのフレームに与えられた全てのユーザ入力情報を用いて、相互レジストレーションプロセスを実行する。「続ける」ボタン２５０２又は「今すぐ相互レジストレーション」ボタン２５０４がユーザによってクリックされたとき、システム１０は、システム１０が相互レジストレーションプロセスを実行していることをユーザに知らせるために、ＧＵＩ２１００を表示する。このＧＵＩ２１００では、「閉じる」ボタンも表示され、ユーザが相互レジストレーションプロセスを停止しＧＵＩ１９００に戻ることを可能にするために、常に利用可能である。
【００９３】
別の実施形態において、ユーザは、相互レジストレーションプロセスが始まる前にユーザ入力を提供する方法を選択することができる。ユーザがＧＵＩ１９００の「相互レジストレーション」ボタン１９０４をクリックすると、システム１０は、ユーザが方法（例として方法１、２又は３）を選択するための別のＧＵＩを表示することができる。ユーザの選択に基づいて、システム１０は、次のＧＵＩを決定し、相互レジストレーションプロセスを実行する。例えば、システムは、方法１が選択された場合はＧＵＩ２０００を表示し、方法２が選択された場合は「次のフレーム」ボタン２５０３なしのＧＵＩ２５００を表示し、方法３が選択された場合は「次のフレーム」ボタン２５０３ありのＧＵＩ２５００を表示する。
【００９４】
別の実施形態において、システム１０は相互レジストレーションの信頼度を評価する能力を有するので、評価された信頼度が閾値よりも低い場合、システムは、通知メッセージをユーザに表示することができ、元のＧＵＩ１９００に自動的に戻ることができる。評価された信頼度が閾値よりも低い場合でも、ユーザが結果を見ることを好む場合、システム１０は、ＧＵＩ２００に警告とともに結果を表示することができる。警告は、テキストメッセージであってもよいし、又は記号であってもよい。信頼度についての閾値は、システムによって決定されてもよいし、又は、処置前若しくは処置中にユーザによって修正されてもよい。
【００９５】
図２６は、本発明の一実施形態に従う画面遷移を示す。画像プロセッサ４０は、表示されたＧＵＩ１９００の表示された「相互レジストレーション」ボタン１９０４がクリックされた場合、ディスプレイ５０にＧＵＩ２０００を表示させる。
【００９６】
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２０００の表示された「続ける」ボタン２００２がクリックされた場合はＧＵＩ２１００を表示させ、表示された「フレームを追加」ボタン２００３がクリックされた場合はＧＵＩ２５００を表示させ、表示された「閉じる」ボタン２００４がクリックされた場合はＧＵＩ１９００を表示させる。
【００９７】
画像プロセッサ４０は、ディスプレイ５０に、図２に示される相互レジストレーションプロセスの完了に応答してＧＵＩ２２００を自動的に表示させ、表示されたＧＵＩ２１００の表示された「閉じる」ボタン２１０２がクリックされた場合はＧＵＩ１９００を表示させる。
【００９８】
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２２００の表示された「承認」ボタン２２０２がクリックされた場合は、図１０に示されるＧＵＩ２００を表示させ、表示された「キャンセル」ボタン２２０３がクリックされた場合はＧＵＩ１９００を表示させ、表示された「修正」ボタン２２０４がクリックされた場合はＧＵＩ２３００を表示させ、表示された「フレームを追加」ボタン２２０５がクリックされた場合はＧＵＩ２５００を表示させ、表示されたボタン「閉じる」２２０６がクリックされた場合はＧＵＩ１９００を表示させる。
【００９９】
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２３００の表示された「終了」ボタン２３０２がクリックされた場合はＧＵＩ２１００を表示させ、表示された「修正を閉じる」ボタン２３０４がクリックされた場合はＧＵＩ２２００を表示させ、表示されたボタン「閉じる」２３０５がクリックされた場合はＧＵＩ１９００を表示させ、表示されたボタン「修正を消去」２３０３がクリックされた場合は、検出されたマーカ位置のユーザの修正（もしあれば）をＧＵＩ２３００から除去させる。
【０１００】
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２５００の表示された「続ける」ボタン２５０２及び表示された「今すぐ相互レジストレーション」ボタン２５０４のうちの一方がクリックされた場合はＧＵＩ２１００を表示させ、表示された「閉じる」ボタン２５０５がクリックされた場合はＧＵＩ１９００を表示させ、「次のフレーム」ボタン２５０３がクリックされた場合、又は、スライドバー２５１０上のカーソル２５１１の場所が、例えばスライドバー２５１０上の特定の位置をクリックすることによって、若しくはカーソル２５１１がユーザによって動かされることによって、変更された場合は、ＧＵＩ２５００のエリア２５０１に表示される血管造影画像フレームを変更させる。
【０１０１】
ＧＵＩ１９００、２０００、２１００、２２００、２３００又は２５００のボタンは、ユーザ命令又は入力を受け付けるためのアイテムの例のうちの１つとすることができ、ボタンは、アイコン、ハイパーリンク、又はユーザ命令若しくは入力を受け付けるための任意の種類のアイテムとすることができる。表示される血管造影画像フレームをユーザが選択するために、ＧＵＩ２２００又は２３００には、スライドバー及び可動カーソルの組合せが表示され、言い換えると、システム１０は、可動カーソルの移動に応答して異なる血管造影画像を表示するが、当該の組合せは、表示される血管造影画像フレームを選択するためのユーザ命令を受け付けるための任意のアイテムとすることができる。
【０１０２】
ＧＵＩ２１００が表示される間、又は、ボタン２００２をクリックすることによる相互レジストレーションプロセスを開始するユーザ命令に応答して、システム１０は、上記のように、心周期／位相推定と相互レジストレーションプロセスの両方を実行することができる。よって、相互レジストレーション又は心拍位相推定が実行された後、システム１０は、ＧＵＩ２５００においてユーザ入力を受け付けるための、特定の心拍位相の血管造影画像フレームを表示することができる。
【０１０３】
図２７は、図１のコンピュータ３４のハードウェア構成の例示的なブロック図である。しかしながら、コンピュータ３００は、血管内イメージングシステム３０の代わりに、血管造影システム２０に組み込まれてもよい。本開示の別の実施形態において、コンピュータ３００は、図１に示される画像プロセッサ４０を包含するスタンドアローンデバイスであってよい。
【０１０４】
コンピュータ３００は、図２７に示されるように、中央処理装置（「ＣＰＵ」）３０１、ＲＯＭ３０２、ＲＡＭ３０４、通信インタフェース３０６、ハードディスク（及び／又は他の記憶デバイス）３０８、ディスプレイインタフェース３１０、入力デバイス（例えばマウス、キーボード又はタッチパネル）３１２、及び、上述の構成要素間のうちの１つ以上の間のＢＵＳ又は他の接続線（例えば接続線３１４）を含む。コンピュータ３００は、他の上述の構成要素の１つ以上の組合せを含んでよい。ＣＰＵ１３０１は、記憶媒体に格納されたコンピュータ実行可能命令を読み取って実行するように構成される。コンピュータ実行可能命令は、本明細書に記載の方法及び／又は計算の実行のための命令を含んでよい。コンピュータ３００は、ＣＰＵ３０１に加えて１つ以上の追加のプロセッサを含んでよく、ＣＰＵ３０１を含む当該のプロセッサは、血管内イメージングシステム、血管造影システム及びＥＧＣデバイスから情報を取得して、血管内画像フレームが取得された相互レジストレーション経路に沿った位置を表すインジケータを有する相互レジストレーション経路を決定するために用いられてよい。コンピュータ３００は更に、ネットワーク接続を介して（例えばネットワーク３１６を介して）接続された１つ以上のプロセッサを含んでよい。ＣＰＵ３０１と、コンピュータ３００によって用いられている任意の追加のプロセッサとは、同じテレコムネットワークに配置されてもよいし、又は異なるテレコムネットワークに配置されてもよい。
【０１０５】
Ｉ／Ｏ又は通信インタフェース３０６は、入出力デバイス（２つの光源３３、通信ケーブル及びネットワーク（有線又は無線のいずれか）、キーボード、マウス、タッチスクリーン又はモニタ５０等を含んでよい）への通信インタフェースを提供する。
【０１０６】
本開示の任意の方法及び／又はデータ、例えば相互レジストレーション経路を生成するための方法は、コンピュータ可読記憶媒体に格納されてよい。一般に使用されるコンピュータ可読及び／又は書込み可能な記憶媒体、例えばハードディスク（例えばハードディスク３０８、磁気ディスク等）、フラッシュメモリ、ＣＤ、光ディスク（例えばコンパクトディスク（「ＣＤ」）、デジタル多用途ディスク（「ＤＶＤ」）、Ｂｌｕ−ｒａｙ（商標）ディスク等）、光磁気ディスク、ランダムアクセスメモリ（「ＲＡＭ」）（ＲＡＭ３０４等）、ＤＲＡＭ、読取り専用メモリ（「ＲＯＭ」）、分散コンピュータシステムのストレージ、メモリカード又は同様のもの（例えば不揮発性メモリカード、ソリッドステートドライブ、ＳＲＡＭ等の他の半導体メモリ等）、それらの任意の組合せ、サーバ／データベース等のうちの１つ以上等を用いて、プロセッサ（例えば上述のコンピュータ３００のプロセッサ又はＣＰＵ３０１）に、本明細書で開示される方法のステップを実行させることができる。コンピュータ可読記憶媒体は非一時的コンピュータ可読媒体であってよく、かつ／又は、コンピュータ可読媒体は、一時的な伝搬信号であることを唯一の例外として、全てのコンピュータ可読媒体を含んでよい。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、レジスタメモリ、プロセッサキャッシュ等の、所定期間又は制限された期間又は短期間に、かつ／又は電力の存在下でのみ、情報を記憶する媒体を含むことができる。また、本開示の実施形態は、記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」とも呼ばれ得る）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出して実行して、上記の実施形態の１つ以上の機能を実行し、かつ／又は、上記の実施形態の１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むシステム又は装置のコンピュータによって実現されてもよく、また、例えば記憶媒体からコンピュータ実行可能命令を読み出して実行して、前述の実施形態の１つ以上の機能を実行し、かつ／又は上記の実施形態の１つ以上の機能を実行するための１つ以上の回路を制御することによって、システム又は装置のコンピュータによって実行される方法によって実現されてもよい。
【０１０７】
上記のデバイス、システム及び方法は、コンピュータ実行可能命令を読み出してそれらを実行するように構成される１つ以上のコンピュータデバイスに対して、上記動作を実現するためのコンピュータ実行可能命令が記憶されている１つ以上のコンピュータ可読媒体を供給することによって、実施することができる。この場合、システム又はデバイスは、コンピュータ実行可能命令を実行するときに、上記実施形態の動作を実行する。また、１つ以上システム又はデバイス上のオペレーティングシステムが、上記実施形態の動作を実行してもよい。よって、コンピュータ実行可能命令、又はコンピュータ実行可能命令を記憶する１つ以上のコンピュータ可読媒体、又はコンピュータ実行可能命令を記憶している１つ以上のコンピュータ可読媒体が、実施形態を構成する。
【０１０８】
上の開示は特定の例示の実施形態を説明するが、本開示は、上記実施形態に限定されず、以下の特許請求の範囲は、それらの範囲内の様々な変更及び均等の構成を含む。
【図１】
2020528779.tif 000003
【図２】
2020528779.tif 000004
【図３】
2020528779.tif 000005
【図４Ａ】
2020528779.tif 000006
【図４Ｂ】
2020528779.tif 000007
【図５】
2020528779.tif 000008
【図６Ａ】
2020528779.tif 000009
【図６Ｂ】
2020528779.tif 000010
【図７】
2020528779.tif 000011
【図８Ａ】
2020528779.tif 000012
【図８Ｂ】
2020528779.tif 000013
【図９】
2020528779.tif 000014
【図１０】
2020528779.tif 000015
【図１１】
2020528779.tif 000016
【図１２】
2020528779.tif 000017
【図１３】
2020528779.tif 000018
【図１４】
2020528779.tif 000019
【図１５】
2020528779.tif 000020
【図１６】
2020528779.tif 000021
【図１７】
2020528779.tif 000022
【図１８】
2020528779.tif 000023
【図１９】
2020528779.tif 000024
【図２０】
2020528779.tif 000025
【図２１】
2020528779.tif 000026
【図２２】
2020528779.tif 000027
【図２３】
2020528779.tif 000028
【図２４】
2020528779.tif 000029
【図２５】
2020528779.tif 000030
【図２６】
2020528779.tif 000031
【図２７】
2020528779.tif 000032
【手続補正書】
【提出日】令和2年3月13日(2020.3.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
これより図６Ａ及び図６Ｂを参照すると、フローチャートは、相互レジストレーション経路が、血管造影データに関連する検出されたマーカ位置に基づいた回帰直線から決定されるイメージングカテーテル経路に基づく場合を示す。図６Ａ及び図６Ｂのフローチャートは、血管造影データが心拍位相情報を含まないとき、かつ／又は、血管の標的領域に造影剤なしの血管造影画像フレームが十分に存在しないときに、適用することができる。図６Ａにおいて、プロセスは、複数の血管造影画像フレームを含み得る血管造影データをインポートすることを含むステップＳ３００によって開始する。ステップＳ３０２において、第１の血管造影画像フレームが選択される。ステップＳ３０４において、選択された第１の血管造影画像フレームについて、造影剤が標的血管の標的領域にあるかどうかが決定される。第１の血管造影画像フレームについて造影剤が標的血管にあると決定された場合（ステップＳ３０４においてＹｅｓ）、ステップＳ３０６において、選択された第１の血管造影画像フレームについて、標的領域の血管輪郭及び放射線不透過性マーカが検出される。ステップＳ３０８において、検出された血管輪郭及び放射線不透過性マーカが、選択された第１の血管造影画像フレームとともに保存される。
【国際調査報告】
2020528779.tif 000033
2020528779.tif 000034