(57)【要約】【課題】異なるモダリティからリアルタイムに取得された画像を重畳して表示する場合に、時系列の揃った重畳画像を生成する。【解決手段】実施形態によれば、Ｘ線診断装置は、第１の取得部と、第２の取得部と、算出部と、バッファ部と、重畳画像生成部と、表示部とを具備する。第１の取得部は、被検体のＸ線画像をリアルタイムに取得する。第２の取得部は、Ｘ線画像の取得と並行して、被検体の医用画像を他のモダリティからリアルタイムに取得する。算出部は、被検体の生体情報に基づいて、Ｘ線画像が表示されるまでの時間と医用画像が表示されるまでの時間との間の時間差を算出する。バッファ部は、Ｘ線画像を時間差が経過した後に出力する。重畳画像生成部は、出力されたＸ線画像と、医用画像とを重畳した重畳画像を順次生成する。表示部は、重畳画像を表示する。【選択図】図１
2018117778.tif 000002
【特許請求の範囲】
【請求項１】
被検体のＸ線画像をリアルタイムに取得する第１の取得部と、
前記Ｘ線画像の取得と並行して、前記被検体の医用画像を他のモダリティからリアルタイムに取得する第２の取得部と、
前記被検体の生体情報に基づいて、前記Ｘ線画像が表示されるまでの時間と前記医用画像が表示されるまでの時間との間の時間差を算出する算出部と、
前記Ｘ線画像を前記時間差が経過した後に出力するバッファ部と、
前記出力された前記Ｘ線画像と、前記医用画像とを重畳した重畳画像を順次生成する重畳画像生成部と、
前記重畳画像を表示する表示部と
を具備する、Ｘ線診断装置。
【請求項２】
前記算出部は、前記Ｘ線画像に付帯された生体情報と、前記医用画像に付帯された生体情報とに基づいて、前記時間差を算出し、
前記付帯された各々の生体情報は、一つの生体情報取得手段によりリアルタイムに取得され、周期的な変化を示す情報である、請求項１に記載のＸ線診断装置。
【請求項３】
前記表示部は、前記取得されたＸ線画像を前記重畳画像とは異なる領域に表示する、請求項１または請求項２に記載のＸ線診断装置。
【請求項４】
前記生体情報は、心電波形または呼吸波形である、請求項１乃至請求項３のいずれか一項に記載のＸ線診断装置。
【請求項５】
前記医用画像は、超音波画像である、請求項１乃至請求項４のいずれか一項に記載のＸ線診断装置。
【請求項６】
被検体のＸ線画像を第１モダリティからリアルタイムに取得する第１の取得部と、
前記Ｘ線画像の取得と並行して、前記被検体の医用画像を第２モダリティからリアルタイムに取得する第２の取得部と、
前記被検体の生体情報に基づいて、前記Ｘ線画像が表示されるまでの時間と前記医用画像が表示されるまでの時間との間の時間差を算出する算出部と、
前記Ｘ線画像を前記時間差が経過した後に出力するバッファ部と、
前記出力された前記Ｘ線画像と、前記医用画像とを重畳した重畳画像を順次生成する重畳画像生成部と、
前記重畳画像を表示する表示部と
を具備する、画像処理装置。
【請求項７】
コンピュータを
被検体のＸ線画像をリアルタイムに取得する手段、
前記Ｘ線画像の取得と並行して、前記被検体の医用画像を他のモダリティからリアルタイムに取得する手段、
前記被検体の生体情報に基づいて、前記Ｘ線画像が表示されるまでの時間と前記医用画像が表示されるまでの時間との間の時間差を算出する手段、
前記取得されたＸ線画像を記憶回路に保存し、前記時間差が経過した後に前記記憶回路内のＸ線画像を出力する手段、
前記出力された前記Ｘ線画像と、前記医用画像とを重畳した重畳画像を順次生成する手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、Ｘ線診断装置、画像処理装置、およびプログラムに関する。
【背景技術】
【０００２】
現在、Ｘ線診断装置において、例えばＸ線画像および超音波画像（或いは、Ｘ線動画像および超音波動画像）を互いに重畳させて表示する機能がある。この種のＸ線診断装置は、上記機能により、例えば、予め取得されたＸ線画像と、他のモダリティ（医用画像診断装置）から予め取得された超音波画像とを重畳させる場合がある。また、Ｘ線診断装置は、上記機能により、例えば、リアルタイムに取得されたＸ線透視画像に対し、他のモダリティから予め取得された超音波画像を重畳させる場合などがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６１０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、以上のようなＸ線診断装置は、通常は特に問題ないが、本発明者の検討によれば、それぞれリアルタイムに取得されたＸ線画像および超音波画像を重畳する場合に、時系列のずれた重畳画像が生成される可能性がある。例えば、リアルタイムに取得されたＸ線画像がディスプレイに表示されるまでの時間と、リアルタイムに取得された超音波画像がディスプレイに表示されるまでの時間との間に時間差が生じる可能性がある。即ち、画像処理による遅延や外部装置からの送受信による遅延が生じる可能性がある。従って、異なるモダリティからリアルタイムに取得されたＸ線画像および超音波画像を重畳する場合に、前述した時間差または遅延により、時系列のずれた重畳画像が生成される可能性がある。
【０００５】
目的は、異なるモダリティからリアルタイムに取得された画像を重畳して表示する場合に、時系列の揃った重畳画像を生成し得るＸ線診断装置、画像処理装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
実施形態によれば、Ｘ線診断装置は、第１の取得部と、第２の取得部と、算出部と、バッファ部と、重畳画像生成部と、表示部とを具備する。第１の取得部は、被検体のＸ線画像をリアルタイムに取得する。第２の取得部は、Ｘ線画像の取得と並行して、被検体の医用画像を他のモダリティからリアルタイムに取得する。算出部は、被検体の生体情報に基づいて、Ｘ線画像が表示されるまでの時間と医用画像が表示されるまでの時間との間の時間差を算出する。バッファ部は、Ｘ線画像を時間差が経過した後に出力する。重畳画像生成部は、出力されたＸ線画像と、医用画像とを重畳した重畳画像を順次生成する。表示部は、重畳画像を表示する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。
【図２】Ｘ線画像および超音波画像がディスプレイに表示されるまでの遅延時間を示す図である。
【図３】Ｘ線画像および超音波画像に付帯される心電波形から時間差を算出する方法の一例を示す図である。
【図４】同実施形態における動作を説明するためのフローチャートである。
【図５】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら各実施形態について説明する。解説済みの要素と同一または類似の要素には同一または類似の符号を付して重複する説明を省略し未解説の要素について主に述べる。
【０００９】
（第１の実施形態）
図１は、第１の実施形態に係るＸ線診断装置１の構成例を示すブロック図である。Ｘ線診断装置１は、Ｘ線高電圧装置２、Ｘ線管３、Ｘ線検出器４、サポートフレーム５、および天板６を有する寝台と、心電計７と、画像発生回路８と、通信インタフェース回路９と、入力インタフェース回路１０と、制御回路１１と、処理回路１２と、バッファ回路１３と、記憶回路１４と、表示回路１５とを備える。
【００１０】
Ｘ線高電圧装置２は、Ｘ線管３に供給する管電流と、Ｘ線管３に印加する管電圧とを発生する。Ｘ線高電圧装置２は、制御回路１１による制御のもとで、Ｘ線撮影およびＸ線透視にそれぞれ適した管電流をＸ線管３に供給し、Ｘ線撮影およびＸ線透視にそれぞれ適した管電圧をＸ線管３に印加する。
【００１１】
Ｘ線管３は、Ｘ線高電圧装置２から供給された管電流と、Ｘ線高電圧装置２により印加された管電圧とに基づいてＸ線を発生する。Ｘ線管３から発生されたＸ線は、被検体Ｐに照射される。Ｘ線管３は、例えば、回転陽極型のＸ線管であってもよいし、固定陽極型Ｘ線管などの他の型のＸ線管でもよい。
【００１２】
Ｘ線検出器４は、Ｘ線管３から発生され、被検体Ｐを透過したＸ線を検出する。Ｘ線検出器４は、例えば、フラットパネルディテクタ（Ｆｌａｔ  Ｐａｎｅｌ  Ｄｅｔｅｃｔｏｒ：ＦＰＤ）を備える。ＦＰＤは、複数の半導体検出素子を有する。半導体検出素子には、直接変換形と間接変換形とがある。直接変換形とは、入射Ｘ線を直接的に電気信号に変換する形式である。間接変換形とは、入射Ｘ線を蛍光体で光に変換し、その光を電気信号に変換する形式である。尚、Ｘ線検出器４として、イメージインテンシファイア（Ｉｍａｇｅｉｎｔｅｎｓｉｆｉｅｒ）が用いられてもよい。
【００１３】
Ｘ線の入射に伴って複数の半導体検出素子で発生された電気信号は、図示しないアナログディジタル変換器（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ：Ａ／Ｄ変換器）に出力される。Ａ／Ｄ変換器は、電気信号をディジタルデータに変換する。Ａ／Ｄ変換器は、ディジタルデータを、画像発生回路８に出力する。
【００１４】
サポートフレーム５は、互いに対向配置されたＸ線管３およびＸ線検出器４を移動可能に支持する。具体的には、サポートフレーム５は、Ｃアームに相当する。尚、サポートフレーム５として、Ｃアームの代わりに、Ωアームが用いられてもよい。また、サポートフレーム５は、ＣアームおよびΩアームによる構造に限定されず、例えば、Ｘ線管３およびＸ線検出器４をそれぞれ独立に支持する２つのアーム（例えばロボットアームなど）による構造を有していてもよい。また、サポートフレーム５は、オーバーチューブ方式（ｏｖｅｒ  ｔｕｂｅ  ｓｙｓｔｅｍ）、およびアンダーチューブ方式（ｕｎｄｅｒ  ｔｕｂｅ  ｓｙｓｔｅｍ）などに限定されず任意の形態に適用可能である。
【００１５】
図示しない寝台は、被検体Ｐが載置される天板６（臥位テーブルとも言う）を有する。天板６には、被検体Ｐが載置される。
【００１６】
図示しない駆動装置は、例えば、制御回路１１の制御の下で、サポートフレーム５と寝台とをそれぞれ駆動する。Ｘ線透視時およびＸ線撮影時においては、Ｘ線管３とＸ線検出器４との間に、天板６に載置された被検体Ｐが配置される。駆動装置は、制御回路１１の制御のもとで、Ｘ線管３に対してＸ線検出器４を回転させてもよい。
【００１７】
心電計７は、被検体Ｐに取り付けられた電極（図示せず）を介して当該被検体Ｐの心電波形（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ：ＥＣＧ）を取得する。心電計７は、取得した心電波形を、時間情報と共に、画像発生回路８へと出力する。また、心電計７は、取得した心電波形を、時間情報と共に、超音波診断装置ＵＬの超音波画像発生回路（図示せず）へと出力する。超音波診断装置ＵＬの超音波画像発生回路では、例えば、経食道心エコー（ｔｒａｎｓｅｓｏｐｈａｇｅａｌ  ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ：ＴＥＥ）プローブなどの超音波プローブの出力に基づいて超音波画像を発生し、超音波画像に心電波形および時間情報を付帯させる。しかる後、超音波診断装置ＵＬは、心電波形および時間情報を付帯させた超音波画像をＸ線診断装置１に向けて送信する。尚、心電計７は、Ｘ線診断装置１に内蔵されない外部装置でもよく、超音波診断装置ＵＬに内蔵されていてもよい。
【００１８】
画像発生回路８は、Ｘ線検出器４からＡ／Ｄ変換器（図示せず）を介して出力されたディジタルデータに基づいてＸ線画像を発生する。例えば、画像発生回路８は、時系列に沿って撮影された複数のＸ線画像を生成する。画像発生回路８は、発生したＸ線画像と、心電波形および時間情報とを対応付けて、記憶回路１４などに出力する。尚、画像発生回路８は、発生したＸ線画像を表示回路１５へと出力してもよい。
【００１９】
通信インタフェース回路９は、例えば、ネットワーク、超音波診断装置ＵＬ、および図示しない外部記憶装置に関する回路である。Ｘ線診断装置１によって得られたＸ線画像などのデータおよび解析結果などは、通信インタフェース回路９およびネットワークを介して他の装置に転送可能である。また、通信インタフェース回路９は、超音波診断装置ＵＬから超音波画像などを受信することができる。尚、以降、通信インタフェース回路９を介して情報がやりとりされる場合に、「通信インタフェース回路９を介して」という記載を省略する。
【００２０】
入力インタフェース回路１０は、操作者が所望するＸ線撮影の撮影条件およびＸ線透視の透視条件などのＸ線照射条件、透視・撮影位置、照射範囲、およびＸ線画像における関心領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ：ＲＯＩ）などを、操作者の指示により入力する。具体的には、入力インタフェース回路１０は、操作者からの各種指示、命令、情報、選択、および設定を、Ｘ線診断装置１、或いは処理回路１２に取り込む。
【００２１】
入力インタフェース回路１０は、関心領域の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、および表示画面とタッチパッドとが一体化されたタッチパネルディスプレイなどにより実現される。入力インタフェース回路１０は、制御回路１１に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路１１へと出力する。
【００２２】
本明細書において、入力インタフェース回路１０は、マウスおよびキーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路１１へ出力する電気信号の処理回路も入力インタフェース回路１０の例に含まれる。
【００２３】
制御回路１１は、Ｘ線診断装置１における各回路および駆動装置などを制御するプロセッサである。制御回路１１は、入力インタフェース回路１０から入力された操作者の指示などの情報を、図示しないメモリに一時的に記憶する。制御回路１１は、メモリに記憶された操作者の指示などに従って、Ｘ線撮影およびＸ線透視を実行するために、Ｘ線高電圧装置２および駆動装置などを制御する。また、制御回路１１は、メモリに記憶された操作者の指示などに従って、画像発生回路８におけるＸ線画像発生処理および処理回路１２における重畳画像生成処理などを制御する。
【００２４】
処理回路１２は、操作者により入力インタフェース回路１０を介して入力された開始指示に応じて、記憶回路１４に記憶された制御プログラムを読み出す。処理回路１２は、読み出した制御プログラムに従って、Ｘ線画像と医用画像とを重畳した重畳画像を生成するための各機能を実行する。上記各機能は、例えば、第１の取得機能１２ａ、第２の取得機能１２ｂ、算出機能１２ｃ、バッファ機能１２ｄ、および重畳画像生成機能１２ｅなどがある。尚、処理回路１２は、記憶回路１４が記憶する時系列に沿った複数のＸ線画像を処理することにより、動画像を作成してもよい。
【００２５】
第１の取得機能１２ａは、記憶回路１４から、被検体ＰのＸ線画像をリアルタイムに取得する機能である。ここで、本願において「リアルタイム」とは、画像を順次取得するのと並行して取得した画像の表示を行うことを言い、取得した画像が表示されるまでの遅延時間を限定するものではない。上記Ｘ線画像には、被検体Ｐの生体情報が対応付けられている。生体情報は、例えば、被検体Ｐの心電波形や呼吸波形などに相当する。呼吸波形は、例えば図示しない呼吸センサにより取得される。第１の取得機能１２ａは、取得したＸ線画像をバッファ機能１２ｄへと出力する。尚、「Ｘ線画像」は、「第１画像」と呼んでもよい。
【００２６】
第２の取得機能１２ｂは、他のモダリティである超音波診断装置ＵＬから、被検体Ｐの医用画像である超音波画像をリアルタイムに取得する機能である。具体的には、第２の取得機能１２ｂは、第１の取得機能１２ａによるＸ線画像の取得と並行して、Ｘ線画像に時系列が一致する超音波画像をリアルタイムに取得する。上記超音波画像には、被検体Ｐの生体情報が対応付けられている。第２の取得機能１２ｂは、取得した超音波画像を重畳画像生成機能１２ｅへと出力する。尚、「医用画像」は、「第２画像」と呼んでもよい。また、「Ｘ線画像に時系列が一致する超音波画像」は、「Ｘ線画像に同期する超音波画像」、或いは「Ｘ線画像の動的な変化に対応する超音波画像」と呼んでもよい。
【００２７】
ここで、取得されるＸ線画像および超音波画像は、どちらも生体情報に関する位相（例えば、心電位相や呼吸位相など）が一致した状態で画像の生成が開始されたものとする。また、Ｘ線画像および超音波画像にそれぞれ対応付けられている生体情報は、同一の装置（例えば、心電計７や呼吸センサなど）から取得されるものとする。
【００２８】
算出機能１２ｃは、被検体Ｐの生体情報に基づいて、Ｘ線画像がディスプレイに表示されるまでの時間と超音波画像がディスプレイに表示されるまでの時間との間の時間差を算出する機能である。例えば、算出機能１２ｃは、Ｘ線画像に付帯された生体情報と、超音波画像に付帯された生体情報とに基づいて時間差を算出する。
【００２９】
なお、「ディスプレイに表示されるまでの時間」は、各々のモダリティにおける、画像処理による遅延や外部装置からの送受信による遅延などに係る時間を含む。また、「Ｘ線画像がディスプレイに表示されるまでの時間」および「超音波画像がディスプレイに表示されるまでの時間」を、それぞれ「第１の取得機能１２ａがＸ線画像を取得するまでの時間」および「第２の取得機能１２ｂが超音波画像を取得するまでの時間」として読み替えてもよい。
【００３０】
図２は、Ｘ線画像がディスプレイに表示されるまでの時間（遅延時間Δα）と、超音波画像がディスプレイに表示されるまでの時間（遅延時間Δβ）とを示す図である。尚、図２は、遅延時間を実際よりも大きく示している。
【００３１】
時刻ｔ０において、心電波形の位相が一致した状態でＸ線画像および超音波画像の生成が開始されたとする。そして、Ｘ線画像および超音波画像をそれぞれ単独で表示させた場合、時刻ｔ１において、当該Ｘ線画像がディスプレイに表示され、時刻ｔ２において、当該超音波画像がディスプレイに表示される。即ち、略同時に生成が開始されたＸ線画像および超音波画像がディスプレイに表示される時間には、時間差Δｔ（＝｜ｔ１−ｔ２｜）が存在する。
【００３２】
図３は、図２における時間差Δｔを算出する方法の一例を示している。例えば図３（ａ）から図３（ｃ）に示すように、時刻ｔ０において生成が開始されるＸ線画像（Ｘ０）および超音波画像（Ｕ０）には、それぞれ心電計７から取得された心電波形ＥＷ１が付帯されている。そして、後続するＸ線画像（Ｘ１）および超音波画像（Ｕ１）には、それぞれ心電波形ＥＷ２が付帯されている。尚、心電波形は、想定される遅延時間（時間差）よりも大きい時間長を有するように設定すればよい。
【００３３】
時間差Δｔの算出方法として、例えば、Ｘ線画像に付帯された心電波形と、超音波画像に付帯された心電波形とを比較する方法がある。遅延時間が短いＸ線画像の心電波形を基準とした場合、図３（ｄ）および図３（ｅ）に示すように、時刻ｔ２で表示されるＸ線画像（Ｘ１）に付帯された心電波形ＥＷ２と、時刻ｔ２で表示される超音波画像（Ｕ０）に付帯された心電波形ＥＷ１とを画像間比較することによって、時間差Δｔ（バッファ遅延とも言う）を算出する。具体的には、心電波形ＥＷ１と心電波形ＥＷ２とを重ね合わせて、網掛け部分ＯＬ１，ＯＬ２に対応する重複している波形の時間長（ＴＯＬ）を求める。そして、心電波形の時間長（ＴＥＷ）と上記時間長（ＴＯＬ）との差を取ることによって時間差Δｔを算出することができる。尚、算出方法として、心電波形に代えて、呼吸波形を利用してもよい。
【００３４】
バッファ機能１２ｄは、算出機能１２ｃから時間差の情報を受け取り、第１の取得機能１２ａから受けたＸ線画像を当該時間差が経過した後に重畳画像生成機能１２ｅへと出力する。例えば、バッファ機能１２ｄは、Ｘ線画像をバッファ回路１３に保存し、時間差が経過した後にバッファ回路１３内のＸ線画像を出力する。尚、バッファ機能１２ｄは、バッファ回路１３に代えて、記憶回路１４内のバッファエリア（図示せず）にＸ線画像を保存してもよい。
【００３５】
重畳画像生成機能１２ｅは、バッファ機能１２ｄから出力されたＸ線画像と、第２の取得機能１２ｂから出力された超音波画像とを重畳することによって重畳画像を順次生成する機能である。重畳画像生成機能１２ｅが受け取ったＸ線画像および超音波画像は、バッファ機能１２ｄによって位相が揃えられている。従って、重畳画像生成機能１２ｅは、Ｘ線画像および超音波画像の重畳において、時間的なずれのない重畳画像を生成することができる。
【００３６】
重畳させるＸ線画像および超音波画像は、リアルタイムに取得される２次元画像または３次元画像のいずれでもよい。リアルタイムに取得される３次元画像は、４次元画像と呼んでもよい。重畳画像の形態としては、対象の臓器の画像同士を重ねる形態としてもよく、対象の臓器同士を並べる形態としてもよい。前者の場合、例えば、Ｘ線透視像上の心臓の位置に、心臓の断面像（超音波画像）を重ねる形態などがある。また、例えば、アンギオグラフィ法による心臓の３Ｄ血管画像（Ｘ線画像）に、心臓の断面像（超音波画像）を重ねる形態などがある。後者の場合、所望の画像同士を並べる形態とすればよい。
【００３７】
なお、重畳画像生成機能１２ｅは、Ｘ線画像と超音波画像とを重畳する際に、両画像の位置合わせを実行してもよい。位置合わせの方法としては、例えば、超音波プローブが経食道プローブの場合、Ｘ線画像内の経食道プローブ画像から経食道プローブの座標を検出することにより、Ｘ線画像の座標系と、超音波画像の座標系とを関連付ける手法が使用可能である。この手法は、経食道プローブに限らず、被検体Ｐの内側から超音波を送信する体内用プローブであれば、同様に使用可能となっている。また、例えば、超音波プローブが体外用プローブの場合、超音波プローブに取り付けた位置センサの出力に基づいて超音波プローブの座標を検出することにより、Ｘ線画像の座標系と、超音波画像の座標系とを関連付ける手法が使用可能である。位置合わせの他の方法としては、例えば、被検体内の特定の形状部分をランドマークとし、Ｘ線画像内のランドマークの座標と、超音波画像内のランドマークの座標とを関連付ける手法が使用可能である。
【００３８】
バッファ回路１３は、Ｘ線画像を一時的に保存する記憶回路である。バッファ回路１３としては、半導体メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成される。尚、「バッファ回路」は、「バッファ記憶回路」、或いは「バッファメモリ」などと呼んでもよい。これは、以下の各実施形態でも同様である。
【００３９】
記憶回路１４は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）など電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成される。メモリとしては、ＨＤＤに限らず、ＳＳＤ（ソリッドステートドライブ）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）など）、および半導体メモリなどが適宜、使用可能となっている。
【００４０】
記憶回路１４は、画像発生回路８で発生された種々のＸ線画像、処理回路１２で生成された重畳画像、Ｘ線診断装置１のシステム制御プログラム、制御回路１１において実行される診断プロトコル、入力インタフェース回路１０から送られてくる操作者の指示、Ｘ線撮影に関する撮影条件およびＸ線透視に関する透視条件などの各種データ群、エラー情報、および通信インタフェース回路９とネットワークとを介して送られてくる種々のデータなどを記憶する。
【００４１】
表示回路１５は、医用画像などを表示するディスプレイ、当該ディスプレイに表示用の信号を供給する内部回路、およびディスプレイと内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成される。ディスプレイは、透視・撮影位置、Ｘ線照射条件などの入力に関する入力画面を表示する。
【００４２】
ディスプレイは、処理回路１２によって順次生成された重畳画像を表示する。また、ディスプレイは、画像発生回路８で発生された複数のＸ線画像を単独で、或いは重畳画像とは異なる領域に動画像表示してもよい。また、ディスプレイは、Ｘ線画像と、超音波画像と、重畳画像とを並べて動画像表示してもよい。
【００４３】
次に、以上のように構成されたＸ線診断装置１の動作について、図４のフローチャートを用いて説明する。以下の説明は、主に、処理回路１２による重畳画像生成処理について述べる。重畳画像生成処理は、操作者の操作によって開始する。
【００４４】
始めに、寝台の天板６上に被検体Ｐが載置され、被検体Ｐに心電計７の電極が取り付けられる。これにより、心電計７は、被検体Ｐの心電波形を取得し、この心電波形を時間情報と共に、画像発生回路８および超音波診断装置ＵＬへと出力する。
【００４５】
一方、超音波診断装置ＵＬに接続された経食道プローブが被検体Ｐの食道から挿入され、経食道プローブの先端部が被検体Ｐの心臓の下側に位置する。これにより、超音波診断装置ＵＬでは、経食道プローブの出力に基づいて、超音波画像を発生し、超音波画像に心電波形および時間情報を付帯させる。しかる後、超音波診断装置ＵＬは、心電波形および時間情報を付帯させた超音波画像をＸ線診断装置１に向けて送信する。
【００４６】
Ｘ線診断装置１は、操作者の操作により、被検体Ｐの撮影条件などを設定した後、被検体ＰのＸ線透視またはＸ線撮影を開始し、被検体ＰのＸ線画像を逐次、生成して記憶回路１４に記憶する。しかる後、ステップＳＴ１を開始する。
【００４７】
ステップＳＴ１において、第１の取得機能１２ａは、記憶回路１４から被検体ＰのＸ線画像をリアルタイムに取得する。また、第１の取得機能１２ａは、取得したＸ線画像をバッファ機能１２ｄに出力する。バッファ機能１２ｄは、Ｘ線画像をバッファ回路１３に保存する。
【００４８】
ステップＳＴ２において、第２の取得機能１２ｂは、ステップＳＴ１によるＸ線画像の取得と並行して、被検体Ｐの超音波画像を超音波診断装置ＵＬからリアルタイムに取得する。即ち、ステップＳＴ１およびステップＳＴ２は、同時に行われてもよい。
【００４９】
ステップＳＴ３において、算出機能１２ｃは、被検体Ｐの生体情報に基づいて、Ｘ線画像が表示されるまでの時間と超音波画像が表示されるまでの時間との間の時間差Δｔを算出する。
【００５０】
ステップＳＴ４において、バッファ機能１２ｄは、バッファ回路１３内のＸ線画像を時間差Δｔが経過した後に出力する。
【００５１】
ステップＳＴ５において、重畳画像生成機能１２ｅは、ステップＳＴ４で出力されたＸ線画像と、ステップＳＴ２で取得された超音波画像とを重畳することによって重畳画像を順次生成する。
【００５２】
ステップＳＴ６において、表示回路１５は、処理回路１２によって順次生成された重畳画像を動画像表示する。ステップＳＴ６の後、重畳画像生成処理は終了する。
【００５３】
以上説明したように本実施形態によれば、被検体のＸ線画像をリアルタイムに取得し、Ｘ線画像の取得と並行して、被検体の医用画像を他のモダリティからリアルタイムに取得する。そして、被検体の生体情報に基づいて、Ｘ線画像が表示されるまでの時間と医用画像が表示されるまでの時間との間の時間差を算出し、当該時間差が経過した後に出力されたＸ線画像と、医用画像とを重畳した重畳画像を順次生成し、当該重畳画像を表示する。
【００５４】
従って、異なるモダリティからリアルタイムに取得された画像を重畳して表示する場合に、時系列の揃った重畳画像を生成することができる。
【００５５】
これに加え、画像処理による遅延や外部装置からの送受信による遅延に起因する、重畳画像生成時の時間的なずれを防ぐことができるため、視認性の高い重畳画像を提供することができる。そして、視認性の高い重畳画像を用いることによって、正確な情報に基づく治療が可能となり、手技効率の向上を期待することができる。補足すると、Ｘ線画像および医用画像の両者をリアルタイムに取得する構成により、いずれか一方が予め取得した画像である場合とは異なり、動的な変化に追従した重畳画像を生成できるので、正確な重畳画像に基づく治療が可能となる。例えば、一方が予め取得した画像である場合、リアルタイムに取得した画像との間で心拍が合わず、動的な変化に追従した重畳画像を生成できない。また、一方が予め取得した画像である場合、心拍２〜３回に１回の割合で心臓の弁が引っかかるというように、不規則な周期で心臓が動く状況では、動的な変化に追従した重畳画像を生成できない。これに対し、本実施形態では、Ｘ線画像および医用画像の両者をリアルタイムに取得するので、動的な変化に追従した重畳画像を生成できる。
【００５６】
また、本実施形態によれば、Ｘ線画像に付帯された生体情報と、医用画像に付帯された生体情報とに基づいて、時間差を算出する。ここで、付帯された各々の生体情報は、一つの生体情報取得手段によりリアルタイムに取得され、周期的な変化を示す情報である。
【００５７】
従って、一つの生体情報取得手段により取得された共通の生体情報に基づいて、Ｘ線画像と医用画像との時間差を算出する構成により、別々の生体情報に基づいて時間差を算出する場合に比べ、時間差の算出精度の向上を図ることができる。
【００５８】
また、本実施形態によれば、生体情報が心電波形または呼吸波形であるので、心拍または呼吸に応じて動く臓器を対象としたＸ線画像および医用画像の表示に要する時間差を算出する際に、算出精度の向上を図ることができる。
【００５９】
また、本実施形態によれば、医用画像が超音波画像であるので、それぞれリアルタイムに取得されたＸ線画像と超音波画像とを重畳させて、時系列の揃った重畳画像を生成することができる。例えば、アンギオグラフィ法によるＸ線画像には、造影剤およびカテーテルが明瞭に含まれるが、心臓の弁が含まれない。超音波画像には、造影剤、カテーテル、および心臓の弁が含まれるが、不明瞭で視認しにくい場合がある。本実施形態では、このようなＸ線画像と超音波画像とを重畳させることにより、造影剤、カテーテル、および心臓の弁を含み、視認し易い重畳画像を生成することができる。
【００６０】
なお、本実施形態は、Ｘ線診断装置の処理回路によって重畳画像を生成する例を述べたが、超音波診断装置の処理回路によって重畳画像が生成される構成に変形しても、同様の効果を得ることができる。
【００６１】
（第２の実施形態）  
図５は、第２の実施形態に係る画像処理装置２０の構成例を示すブロック図である。画像処理装置２０は、通信インタフェース回路２１と、入力インタフェース回路２２と、制御回路２３と、処理回路２４と、バッファ回路２５と、記憶回路２６と、表示回路２７とを備える。
【００６２】
通信インタフェース回路２１は、例えば、ネットワーク、Ｘ線診断装置ＸＲ、超音波診断装置ＵＬ、および図示しない外部記憶装置に関する回路である。通信インタフェース回路２１は、Ｘ線診断装置ＸＲからＸ線画像を受信することができ、超音波診断装置ＵＬから超音波画像を受信することができる。また、通信インタフェース回路２１は、Ｘ線透視またはＸ線撮影を実行中のＸ線診断装置ＸＲに代えて、ＣＴ透視（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ  Ｆｌｕｏｒｏｓｃｏｐｙ：ＣＴＦ）を実行中のＣＴ装置からＸ線画像を受信してもよい。尚、以降、通信インタフェース回路２１を介して情報がやりとりされる場合に、「通信インタフェース回路２１を介して」という記載を省略する。
【００６３】
入力インタフェース回路２２は、操作者からの各種指示、命令、情報、選択、および設定を、画像処理装置２０、或いは処理回路２４に取り込む。入力インタフェース回路２２は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、および表示画面とタッチパッドとが一体化されたタッチパネルディスプレイなどにより実現される。入力インタフェース回路２２は、制御回路２３に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路２３へと出力する。
【００６４】
本明細書において、入力インタフェース回路２２は、マウスおよびキーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路２３へ出力する電気信号の処理回路も入力インタフェース回路２２の例に含まれる。
【００６５】
制御回路２３は、画像処理装置２０における各回路などを制御するプロセッサである。制御回路２３は、入力インタフェース回路２２から入力された操作者の指示などの情報を、図示しないメモリに一時的に記憶する。制御回路２３は、メモリに記憶された操作者の指示などに従って、処理回路２４における重畳画像生成処理などを制御する。
【００６６】
処理回路２４は、操作者により入力インタフェース回路２２を介して入力された開始指示に応じて、記憶回路２６に記憶された制御プログラムを読み出す。処理回路２４は、読み出した制御プログラムに従って、Ｘ線画像と超音波画像とを重畳した重畳画像を生成するための各機能を実行する。上記各機能は、例えば、第１の取得機能２４ａ、第２の取得機能２４ｂ、算出機能２４ｃ、バッファ機能２４ｄ、および重畳画像生成機能２４ｅなどがある。
【００６７】
第１の取得機能２４ａは、第１モダリティであるＸ線診断装置ＸＲから、被検体のＸ線画像をリアルタイムに取得する機能である。上記Ｘ線画像には、Ｘ線診断装置ＸＲを利用する被検体の生体情報が対応付けられている。生体情報は、例えば、被検体の心電波形や呼吸波形などに相当する。また、生体情報は、図示しない心電計や呼吸センサにより取得される。第１の取得機能２４ａは、取得したＸ線画像をバッファ機能２４ｄへと出力する。
【００６８】
第２の取得機能２４ｂは、第１モダリティとは異なる第２モダリティである超音波診断装置ＵＬから、被検体の医用画像である超音波画像をリアルタイムに取得する機能である。具体的には、第２の取得機能２４ｂは、第１の取得機能２４ａによるＸ線画像の取得と並行して、Ｘ線画像に時系列が一致する超音波画像をリアルタイムに取得する。上記超音波画像には、被検体の生体情報が対応付けられている。第２の取得機能２４ｂは、取得した超音波画像を重畳画像生成機能２４ｅへと出力する。
【００６９】
ここで、取得されるＸ線画像および超音波画像は、どちらも生体情報に関する位相（例えば、心電位相や呼吸位相など）が一致した状態で画像の生成が開始されたものとする。また、Ｘ線画像および超音波画像にそれぞれ対応付けられている生体情報は、同一の装置（例えば、心電計や呼吸センサなど）から取得されるものとする。
【００７０】
算出機能２４ｃは、被検体の生体情報に基づいて、Ｘ線画像がディスプレイに表示されるまでの時間と超音波画像がディスプレイに表示されるまでの時間との間の時間差を算出する機能である。例えば、算出機能２４ｃは、Ｘ線画像に付帯された生体情報と、超音波画像に付帯された生体情報とに基づいて時間差を算出する。尚、算出方法の具体例は、算出機能１２ｃと同様であるため説明を省略する。
【００７１】
バッファ機能２４ｄは、算出機能２４ｃから時間差の情報を受け取り、第１の取得機能２４ａから受けたＸ線画像を当該時間差が経過した後に重畳画像生成機能２４ｅへと出力する。例えば、バッファ機能２４ｄは、Ｘ線画像をバッファ回路２５に保存し、時間差が経過した後にバッファ回路２５内のＸ線画像を出力する。尚、バッファ機能２４ｄは、バッファ回路２５に代えて、記憶回路２６内のバッファエリア（図示せず）にＸ線画像を保存してもよい。
【００７２】
重畳画像生成機能２４ｅは、バッファ機能２４ｄから出力されたＸ線画像と、第２の取得機能２４ｂから出力された超音波画像とを重畳することによって重畳画像を順次生成する機能である。重畳画像生成機能２４ｅが受け取ったＸ線画像および超音波画像は、バッファ機能２４ｄによって位相が揃えられている。従って、重畳画像生成機能２４ｅは、Ｘ線画像および超音波画像の重畳において、時間的なずれのない重畳画像を生成することができる。
【００７３】
バッファ回路２５は、Ｘ線画像を一時的に保存する記憶回路である。バッファ回路２５としては、半導体メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成される。
【００７４】
記憶回路２６は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）など電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成される。メモリとしては、ＨＤＤに限らず、ＳＳＤ（ソリッドステートドライブ）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）など）、および半導体メモリなどが適宜、使用可能となっている。
【００７５】
記憶回路２６は、処理回路２４で生成された重畳画像、入力インタフェース回路１０から送られてくる操作者の指示および通信インタフェース回路２１とネットワークとを介して送られてくる種々のデータなどを記憶する。
【００７６】
表示回路２７は、医用画像などを表示するディスプレイ、当該ディスプレイに表示用の信号を供給する内部回路、およびディスプレイと内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成される。ディスプレイは、処理回路２４によって順次生成された重畳画像を動画像表示する。また、ディスプレイは、Ｘ線画像および超音波画像の少なくとも一方と、重畳画像とを並べて動画像表示してもよい。
【００７７】
次に、以上のように構成された画像処理装置２０の動作について、図４のフローチャートを用いて説明する。以下の説明は、主に、処理回路２４による重畳画像生成処理について述べる。重畳画像生成処理は、操作者の操作によって開始する。
【００７８】
始めに、前述同様に、心電計（図示せず）は、被検体の心電波形を取得し、この心電波形を時間情報と共に、Ｘ線診断装置ＸＲおよび超音波診断装置ＵＬへと出力する。
【００７９】
また同様に、超音波診断装置ＵＬは、経食道プローブの出力に基づいて、超音波画像を発生し、超音波画像に心電波形および時間情報を付帯させる。しかる後、超音波診断装置ＵＬは、心電波形および時間情報を付帯させた超音波画像を画像処理装置２０に向けて送信する。
【００８０】
Ｘ線診断装置ＸＲは、操作者の操作により、被検体の撮影条件などを設定した後、被検体のＸ線透視またはＸ線撮影を開始し、被検体のＸ線画像を逐次、生成する。また、Ｘ線診断装置ＸＲは、心電波形および時間情報を付帯させたＸ線画像を画像処理装置２０に向けて送信する。この状態で、画像処理装置２０は、ステップＳＴ１を開始する。
【００８１】
ステップＳＴ１において、第１の取得機能２４ａは、Ｘ線診断装置ＸＲから被検体のＸ線画像をリアルタイムに取得する。また、第１の取得機能２４ａは、取得したＸ線画像をバッファ機能２４ｄに出力する。バッファ機能２４ｄは、Ｘ線画像をバッファ回路２５に保存する。
【００８２】
ステップＳＴ２において、第２の取得機能２４ｂは、ステップＳＴ１によるＸ線画像の取得と並行して、被検体の超音波画像を超音波診断装置ＵＬからリアルタイムに取得する。即ち、ステップＳＴ１およびステップＳＴ２は、同時に行われてもよい。
【００８３】
ステップＳＴ３において、算出機能２４ｃは、被検体の生体情報に基づいて、Ｘ線画像が表示されるまでの時間と超音波画像が表示されるまでの時間との間の時間差Δｔを算出する。
【００８４】
ステップＳＴ４において、バッファ機能２４ｄは、バッファ回路２５内のＸ線画像を時間差Δｔが経過した後に出力する。
【００８５】
ステップＳＴ５において、重畳画像生成機能２４ｅは、ステップＳＴ４で出力されたＸ線画像と、ステップＳＴ２で取得された超音波画像とを重畳することによって重畳画像を順次生成する。
【００８６】
ステップＳＴ６において、表示回路２７は、処理回路２４によって順次生成された重畳画像を動画像表示する。ステップＳＴ６の後、重畳画像生成処理は終了する。
【００８７】
以上説明したように第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。
【００８８】
上記各実施形態において、超音波画像は、二次元画像でもよいし、三次元画像でもよい。また、算出機能による時間差の算出以降の処理は、所定の時間間隔で行われてもよいし、フィードバックを利用してもよい。
【００８９】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。
【００９０】
プロセッサは、記憶回路に保存されたプログラムを読み出して実行することで、各種機能を実現する。尚、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成してもよい。この場合、プロセッサは、回路内に組み込まれたプログラムを読み出して実行することで、各種機能を実現する。
【００９１】
なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その各種機能を実現するようにしてもよい。更に、複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【００９２】
第１の実施形態および第２の実施形態における第１の取得機能と、第２の取得機能と、算出機能と、バッファ機能およびバッファ回路と、重畳画像生成機能と、表示回路とは、特許請求の範囲における第１の取得部と、第２の取得部と、算出部と、バッファ部と、重畳画像生成部と、表示部との一例である。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９４】
１…Ｘ線診断装置、２…Ｘ線高電圧装置、３…Ｘ線管、４…Ｘ線検出器、５…サポートフレーム、６…天板、７…心電計、８…画像発生回路、９，２１…通信インタフェース回路、１０，２２…入力インタフェース回路、１１，２３…制御回路、１２，２４…処理回路、１２ａ，２４ａ…第１の取得機能、１２ｂ，２４ｂ…第２の取得機能、１２ｃ，２４ｃ…算出機能、１２ｄ，２４ｄ…バッファ機能、１２ｅ，２４ｅ…重畳画像生成機能、１３，２５…バッファ回路、１４，２６…記憶回路、１５，２７…表示回路、２０…画像処理装置、ＥＷ１，ＥＷ２…心電波形、ＯＬ１，ＯＬ２…網掛け部分、Ｐ…被検体、ＵＬ…超音波診断装置、ＸＲ…Ｘ線診断装置。
【図１】
2018117778.tif 000003
【図２】
2018117778.tif 000004
【図３】
2018117778.tif 000005
【図４】
2018117778.tif 000006
【図５】
2018117778.tif 000007