(57)【要約】【課題】患者の身体活動による変化を反映させ、第１医療装置によって撮影されるリアルタイム医療画像と、第２医療装置によって既に撮影された三次元医療画像とを正確に整合する医療画像を整合する方法及びその装置を提供する。【解決手段】医療画像を整合する方法において、第１医療装置によって撮影されるリアルタイム医療画像と第２医療装置によって既に撮影された三次元医療画像とを用いて、第１医療装置と第２医療装置とで用いられる仮想座標系をマッピングする段階と、マッピングされた結果に基づいて、第１医療装置のプローブが位置した地点を第２医療装置で用いられる仮想座標系から検出する段階と、既に撮影された三次元医療画像から、検出された地点に対応するボリューム画像を決定する段階と、決定されたボリューム画像から、患者の身体活動によって変化するリアルタイム医療画像に対応する断面画像を抽出する段階とを有する。【選択図】      図２
2014161734.tif 000002
【特許請求の範囲】
【請求項１】
医療画像を整合（ｒｅｇｉｓｔｒａｔｉｏｎ）する方法において、
第１医療装置によって撮影されるリアルタイム医療画像と第２医療装置によって既に撮影された三次元医療画像とを用いて、前記第１医療装置と前記第２医療装置とで用いられる仮想座標系をマッピングする段階と、
前記マッピングされた結果に基づいて、前記第１医療装置のプローブが位置した地点を前記第２医療装置で用いられる仮想座標系から検出する段階と、
前記既に撮影された三次元医療画像から、前記検出された地点に対応するボリューム画像を決定する段階と、
決定された前記ボリューム画像から、患者の身体活動によって変化する前記リアルタイム医療画像に対応する断面画像を抽出する段階とを有することを特徴とする医療画像を整合する方法。
【請求項２】
前記断面画像を抽出する段階は、前記患者の身体活動によって、前記プローブのスキャニング平面が、患者の体内で相対的に移動する場合、前記断面画像を更新することを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項３】
前記ボリューム画像を決定する段階は、前記プローブが静止した状態で、前記患者の身体活動による前記プローブのスキャニング平面の相対的な移動範囲を予測する段階と、
前記予測された移動範囲に基づいて、前記三次元医療画像から、前記ボリューム画像のサイズを決定する段階とを含むことを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項４】
前記ボリューム画像を決定する段階は、前記検出された地点の座標値を用いて、前記プローブのスキャニング平面に対応する基準断面を、前記三次元医療画像から選択する段階と、
前記基準断面及び前記基準断面に隣接した断面を、前記三次元医療画像から選択する段階とを含むことを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項５】
前記ボリューム画像を決定する段階は、前記基準断面と、前記隣接した断面とを累積させ、前記ボリューム画像を再構成することを特徴とする請求項４に記載の医療画像を整合する方法。
【請求項６】
前記仮想座標系をマッピングする段階は、前記リアルタイム医療画像の第１断面画像を生成する段階と、
前記第１断面画像で現れる解剖学的特徴に基づいて、前記三次元医療画像を構成する複数の二次元医療画像の内から前記第１断面画像に対応する二次元医療画像を選択する段階と、
前記選択された二次元医療画像と前記第１断面画像とに基づいて、前記第１医療装置で用いられる座標系を前記第２医療装置で用いられる座標系に変換するための座標変換関数を生成する段階とを含むことを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項７】
前記プローブが位置した地点を検出する段階は、前記プローブが移動した場合、前記第１医療装置で用いられる座標系で前記移動したプローブの座標値を受信する段階と、
前記マッピングされた結果を用いて、前記移動したプローブの座標値を前記第２医療装置で用いられる座標系の座標値に変換する段階とを含むことを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項８】
前記断面画像を抽出する段階は、前記リアルタイム医療画像と前記決定されたボリューム画像とで現れる複数の解剖学的個体の類似度に基づいて、前記断面画像を抽出することを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項９】
前記断面画像を抽出する段階は、前記リアルタイム医療画像と前記ボリューム画像とで現れる複数の解剖学的個体を、それぞれセグメンテーションする段階と、
前記リアルタイム医療画像と前記ボリューム画像とでセグメンテーションされた解剖学的個体間の類似度が最大になる断面を前記ボリューム画像から抽出する段階とを含むことを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項１０】
前記断面画像を抽出する段階は、前記プローブが静止した状態で変化するリアルタイム医療画像を取得し、前記取得されたリアルタイム医療画像で現れる解剖学的特徴に基づいて前記断面画像を抽出することを特徴とする請求項１に記載の医療画像を整合する方法。
【請求項１１】
請求項１乃至１０のいずれか一項に記載の医療画像を整合する方法を実行するためのプログラムを記録したことを特徴とするコンピュータ読取可能記録媒体。
【請求項１２】
医療画像を整合（ｒｅｇｉｓｔｒａｔｉｏｎ）する装置において、
第１医療装置によって撮影されるリアルタイム医療画像を取得するリアルタイム医療画像取得部と、
第１医療装置で用いられる仮想座標系と第２医療装置で用いられる仮想座標系とをマッピングし、該マッピングされた結果を用いて、前記第１医療装置のプローブが位置した地点を前記第２医療装置で用いられる座標系から検出する座標変換部と、
前記第２医療装置によって既に撮影された三次元医療画像から、前記検出された地点に対応するボリューム画像を決定するボリューム画像決定部と、
決定された前記ボリューム画像から、患者の身体活動によって変化する前記リアルタイム医療画像に対応する断面画像を抽出する画像出力部とを有することを特徴とする医療画像を整合する装置。
【請求項１３】
前記画像出力部は、前記身体活動によって、前記プローブのスキャニング平面が、患者の体内で相対的に移動する場合、前記断面画像を更新することを特徴とする請求項１２に記載の医療画像を整合する装置。
【請求項１４】
前記ボリューム画像決定部は、前記プローブが静止した状態で、前記患者の身体活動による前記プローブのスキャニング平面の相対的な移動範囲を予測し、前記予測された移動範囲に基づいて、前記三次元医療画像から、前記ボリューム画像のサイズを決定することを特徴とする請求項１２に記載の医療画像を整合する装置。
【請求項１５】
前記ボリューム画像決定部は、前記検出された地点の座標値を用いて、前記プローブのスキャニング平面に対応する基準断面を、前記三次元医療画像から選択し、前記基準断面及び前記基準断面に隣接した断面を、前記三次元医療画像から選択することを特徴とする請求項１２に記載の医療画像を整合する装置。
【請求項１６】
前記基準断面と、前記隣接した断面とを累積させ、前記ボリューム画像を再構成するモデル再構成部をさらに有することを特徴とする請求項１５に記載の医療画像を整合する装置。
【請求項１７】
前記リアルタイム医療画像の第１断面画像を生成し、前記第１断面画像で現れる解剖学的特徴に基づいて、前記三次元医療画像を構成する複数の二次元医療画像の内から前記第１断面画像に対応する二次元医療画像を選択する二次元画像選択部をさらに有し、
前記座標変換部は、前記選択された二次元医療画像と前記第１断面画像とに基づいて、前記第１医療装置で用いられる座標系を前記第２医療装置で用いられる座標系に変換するための座標変換関数を生成することを特徴とする請求項１２に記載の医療画像を整合する装置。
【請求項１８】
前記座標変換部は、前記プローブが移動した場合、前記第１医療装置で用いられる座標系で前記移動されたプローブの座標値を受信し、前記マッピングされた結果を用いて、前記移動したプローブの座標値を前記第２医療装置で用いられる座標系の座標値に変換することを特徴とする請求項１２に記載の医療画像を整合する装置。
【請求項１９】
前記画像出力部は、前記リアルタイム医療画像と前記決定されたボリューム画像とで現れる複数の解剖学的個体の類似度に基づいて、前記断面画像を抽出することを特徴とする請求項１２に記載の医療画像を整合する装置。
【請求項２０】
前記リアルタイム医療画像と前記ボリューム画像とで現れる複数の解剖学的個体をそれぞれセグメンテーションする画像分離部をさらに有し、
前記画像出力部は、前記リアルタイム医療画像と前記ボリューム画像とでセグメンテーションされた解剖学的個体間の類似度が最大になる断面を前記ボリューム画像から抽出することを特徴とする請求項１２に記載の医療画像を整合する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数個の医療画像を整合する方法及びその装置に関し、特にリアルタイム医療画像と既に撮影された三次元医療画像とを正確に整合する医療画像を整合する方法及びその装置に関する。
【背景技術】
【０００２】
近年、医療技術の発達によって、高解像度の医療画像を得ることができ、医療器具の微細な操作が可能になることにより、人体の直接的な切開をせずとも、皮膚に小孔をあけた後、血管あるいはその他所望の身体部位に、直接カテーテルや医療用針を入れ、医学画像装備で体内を観察しながら治療する方法が開発されている。
これを、「画像を利用する施術法」、「インターベンション（ｉｎｔｅｒｖｅｎｔｉｏｎａｌ）画像施術法」又は「仲裁的画像施術法」と呼ぶ。
【０００３】
施術者は、臓器や病変の位置を画像を介して把握する。
さらに、施術を行う間、患者は呼吸をしたり動いたりするものであるが、それによる変化を把握しなければならない。
従って、施術者は、リアルタイム医療画像を基に、呼吸や動きを正確に迅速に把握し、施術を施さなければが、そのとき、リアルタイム医療画像で、臓器や病変の形状を肉眼で把握し難い。
超音波画像と対照的に、ＭＲ（ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ）画像又はＣＴ（ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像は、臓器や病変を明確に識別することができる。
【０００４】
しかしながら、ＭＲ画像又はＣＴ画像は、医療施術中に、リアルタイムで画像が取得され得るものではないため、医療施術中に発生する患者の呼吸や動きが反映されにくいという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は上記従来の画像を利用する施術法における問題点に鑑みてなされたものであって、本発明の目的は、患者の身体活動（ｐｈｙｓｉｃａｌ  ｍｏｖｅｍｅｎｔ）による変化を反映させ、第１医療装置によって撮影されるリアルタイム医療画像と、第２医療装置によって既に撮影された三次元医療画像とを正確に整合する医療画像を整合する方法及びその装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明による医療画像を整合する方法は、医療画像を整合（ｒｅｇｉｓｔｒａｔｉｏｎ）する方法において、第１医療装置によって撮影されるリアルタイム医療画像と第２医療装置によって既に撮影された三次元医療画像とを用いて、前記第１医療装置と前記第２医療装置とで用いられる仮想座標系をマッピングする段階と、前記マッピングされた結果に基づいて、前記第１医療装置のプローブが位置した地点を前記第２医療装置で用いられる仮想座標系から検出する段階と、前記既に撮影された三次元医療画像から、前記検出された地点に対応するボリューム画像を決定する段階と、決定された前記ボリューム画像から、患者の身体活動によって変化する前記リアルタイム医療画像に対応する断面画像を抽出する段階とを有することを特徴とする。
【０００７】
上記目的を達成するためになされた本発明によるコンピュータ読取可能記録媒体は、前述医療画像を整合する方法を実行するためのプログラムを記録したことを特徴とする。
【０００８】
上記目的を達成するためになされた本発明による医療画像を整合する装置は、医療画像を整合（ｒｅｇｉｓｔｒａｔｉｏｎ）する装置において、第１医療装置によって撮影されるリアルタイム医療画像を取得するリアルタイム医療画像取得部と、第１医療装置で用いられる仮想座標系と第２医療装置で用いられる仮想座標系とをマッピングし、該マッピングされた結果を用いて、前記第１医療装置のプローブが位置した地点を前記第２医療装置で用いられる座標系から検出する座標変換部と、前記第２医療装置によって既に撮影された三次元医療画像から、前記検出された地点に対応するボリューム画像を決定するボリューム画像決定部と、決定された前記ボリューム画像から、患者の身体活動によって変化する前記リアルタイム医療画像に対応する断面画像を抽出する画像出力部とを有することを特徴とする。
【発明の効果】
【０００９】
本発明に係る医療画像を整合する方法及びその装置によれば、第１医療装置のプローブの物理的な移動によるリアルタイム医療画像の変化と、患者の身体活動によるリアルタイム医療画像の変化とをいずれも考慮して、第２医療装置の三次元医療画像と整合することにより、より正確な整合画像を得ることができ、医療画像の整合工程を自動化することにより、迅速に整合が行われるという効果がある。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による医療画像整合システムの構成の概略を示す概略図である。
【図２】本発明の一実施形態による医療画像の整合方法を説明するためのフローチャートである。
【図３】本発明の一実施形態による第１医療装置と第２医療装置とが用いる仮想座標系をマッピングする工程を説明するためのフローチャートである。
【図４】本発明の一実施形態による第１医療装置のプローブが位置した地点を第２医療装置が使用する仮想座標系から検出する工程を説明するためのフローチャートである。
【図５】本発明の一実施形態によるボリューム画像を決定する工程を説明するためのフローチャートである。
【図６】本発明の一実施形態による患者の身体活動を考慮して三次元医療画像から断面画像を抽出する工程を説明するためのフローチャートである。
【図７】本発明の一実施形態によるボリューム画像を決定する工程を説明するためのグラフである。
【図８】本発明の一実施形態による医療画像整合装置の構成を示すブロック図である。
【図９】本発明の他の一実施形態による医療画像整合装置の構成を示すブロック図である。
【図１０】本発明の一実施形態による医療画像の整合方法で、平面整合工程の医療画像を示す図である。
【図１１】患者の身体活動によるリアルタイム医療画像の変化を示す図である。
【図１２】患者の身体活動によるリアルタイム医療画像の変化を示す図である。
【発明を実施するための形態】
【００１１】
次に、本発明に係る医療画像を整合する方法及びその装置を実施するための形態の具体例を図面を参照しながら説明する。
【００１２】
図１は、本発明の一実施形態による医療画像整合（ｍｅｄｉｃａｌ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ）システムの構成の概略を示す概略図である。
図１を参照すると、医療画像整合システム１００は、第１医療装置１２０、第２医療装置１１０、医療画像整合装置１３０及び画像表示装置１４０を含む。
【００１３】
第２医療装置１１０は、医療施術前に、対象体の関心ボリューム（ＶＯＩ：ｖｏｌｕｍｅ  ｏｆ  ｉｎｔｅｒｅｓｔ）に対する第２医療画像のセットを生成する。
例えば、第２医療装置１１０は、ＣＴ（ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像装置、ＭＲ（ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ）画像装置、Ｘ線画像装置又はＰＥＴ（ｐｏｓｉｔｒｏｎ  ｅｍｉｓｓｉｏｎ  ｔｏｍｏｇｒａｐｈｙ）画像装置の内のいずれか一つによって構成される。
以下では、説明の便宜のために、第２医療画像は、ＭＲ画像又はＣＴ画像であると仮定する。
【００１４】
第２医療装置１１０で生成したＣＴ画像又はＭＲ画像の場合、臓器の位置や病変の位置が明確に区別されるという長所がある。
しかし、ＣＴ画像やＭＲ画像は、施術の間、患者が呼吸をしたり、あるいは体を動かしたとき、臓器が変形したり、あるいは位置が変わることがあるが、このようなリアルタイム的な変化が反映されないという短所がある。
リアルタイム的な変化を反映させることができない理由は、ＣＴ画像の場合、放射線を利用した撮影方法であるので、患者と施術者とが長時間放射線に曝される恐れがあるので、短時間の撮影が勧められ、また、ＭＲ画像の場合、１回撮影するのに時間が長くかかるためである。
【００１５】
第１医療装置１２０は、対象体の関心ボリュームに関わって、リアルタイムで医療画像を提供する。
例えば、第１医療装置１２０は、患者に対する仲裁的医療施術工程で、リアルタイム医療画像を生成する超音波画像装置（ｕｌｔｒａｓｏｎｏｇｒａｐｈｙ  ｍａｃｈｉｎｅ）で構成される。
第１医療装置１２０は、該装置に装着されたプローブ（ｐｒｏｂｅ）１２１を用いて、超音波信号を関心領域（ａｒｅａ  ｏｆ  ｉｎｔｅｒｅｓｔ）に照射し、反射する超音波信号を検出することにより、超音波画像を生成する。
【００１６】
プローブ１２１は、一般的に、圧電変換器（ｐｉｅｚｏｅｌｅｃｔｒｉｃ  ｔｒａｎｓｄｕｃｅｒ）によって製造される。
プローブ１２１から、数ＭＨｚ〜数百ＭＨｚの範囲の超音波が、患者体内の特定部位に伝達すれば、その超音波は、さまざまな異なる組織（ｔｉｓｓｕｅ）間の階層から部分的に反射される。
特に、超音波は、患者体内での密度変化があるところ、例えば、血漿（ｂｌｏｏｄ  ｐｌａｓｍａ）内の血球（ｂｌｏｏｄ  ｃｅｌｌｓ）、臓器（ｏｒｇａｎｓ）内の小組織（ｓｔｒｕｃｔｕｒｅｓ）などで反射する。
そのように反射した超音波は、プローブ１２１の圧電変換器を振動させ、圧電変換器は、その振動による電気的パルス（ｅｌｅｃｔｒｉｃａｌ  ｐｕｌｓｅｓ）を出力する。そのような電気的パルスが画像に変換される。
【００１７】
このように、第１医療装置１２０によって得ることができる第１医療画像、例えば、超音波画像は、リアルタイム医療画像を得ることができるという長所があるが、多数のノイズが含まれるので、臓器の輪郭、内部構造や病変を識別し難いという短所がある。
なぜならば、病変と周辺組織は、互いに類似した超音波反射特性を有するので、超音波画像では、病変と周辺組織との境界を表す明暗の対比、すなわち、個体のエッジコントラスト（ｅｄｇｅ  ｃｏｎｔｒａｓｔ）が相対的に低い。
【００１８】
また、超音波の干渉及び散乱によるノイズとアーティファクト（ａｒｔｉｆａｃｔ）とが存在する。
すなわち、超音波医療画像は、ＭＲ画像又はＣＴ画像より早く取得可能である代わりに、信号対ノイズ比（ＳＮＲ）と個体のエッジコントラストとが低いので、ＭＲ画像又は医療画像では、識別可能な臓器及び病変が、周辺組織と明確に区分されないという短所がある。
【００１９】
第１医療装置１２０及び第２医療装置１１０が撮影する医療画像は、初めは、二次元の断面画像に該当する。
しかし、二次元の断面画像を累積させることにより、三次元医療画像を生成することもできる。例えば、第２医療装置１１０は、断面画像の位置（ｌｏｃａｔｉｏｎ）と方向（ｏｒｉｅｎｔａｔｉｏｎ）とを変化させながら、複数の断面画像を撮影する。
このような断面画像が蓄積されれば、患者の体の特定部位を三次元的に示す三次元ボリューム（ｖｏｌｕｍｅ）の画像データが生成される。
【００２０】
このように、断面画像を蓄積させて三次元ボリュームの画像データを生成する方式をＭＰＲ（ｍｕｌｔｉｐｌａｎａｒ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）方式という。
特に、第２医療画像それぞれは、二次元画像に該当するが、画像のピクセルには深度値（ｄｅｐｔｈ  ｖａｌｕｅ）が存在する。
すなわち、第２医療画像は、ボクセル（ｖｏｘｅｌ）によって構成される。従って、第２医療画像を縮尺すれば、関心ボリュームに対する三次元モデルが生成される。
以下では、第２医療装置によって撮影された第２医療画像のセットを、三次元医療画像と呼ぶ。
【００２１】
医療画像整合装置１３０は、第２医療装置１１０で取得した第２医療画像と、第１医療装置１２０で取得した第１医療画像とを整合（ｒｅｇｉｓｔｒａｔｉｏｎ）する。
本発明で、第１医療画像及び第２医療画像の整合は、第１医療装置１２０と第２医療装置１１０とが使用する仮想の座標系を互いに対応させる工程を含む。
整合された医療画像は、第１医療画像及び第２医療画像がオーバレイされた医療画像でもあり、第１医療画像及び第２医療画像が並んで配置された画像でもある。医療画像整合装置１３０が整合した医療画像は、画像表示装置１４０によって表示される。
【００２２】
第１医療装置１２０と第２医療装置１１０は、それぞれ互いに異なる仮想の座標系を使用する。
医療画像整合装置１３０は、互いに異なる第１医療装置１２０と第２医療装置１１０との仮想座標系を互いにマッピングさせることにより、第１医療装置１２０と第２医療装置１１０とが撮影した医療画像を整合することができる。
第１医療装置１２０と第２医療装置１１０とが使用する仮想の座標系で、医療画像が撮影された断面を特定するには、３軸の位置情報（ｘ，ｙ，ｚ）と共に、３軸の回転情報（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）が使用される。
【００２３】
図１０は、本発明の一実施形態による医療画像の整合方法で、平面整合工程の医療画像（イメージ）を示す図である。
例えば、図１０のイメージ（符号１０１０）を参照すると、第１医療装置１２０と第２医療装置１１０は、三次元空間上の位置を識別するために、仮想の座標系を用いる。
第１医療装置１２０と第２医療装置１１０とが用いる仮想の座標系を用いれば、撮影された医療画像が、三次元空間上のどの地点で撮影されたかを把握することができる。
ＭＲ画像又はＣＴ画像の場合、第２医療装置１１０が撮影する断面を選択する工程で、仮想の座標系の座標値が用いられる。従って、第２医療装置１１０によって撮影された医療画像に関わる座標値は、別途にセンシングせずとも把握することができる。
【００２４】
これとは対照的に、第１医療装置１２０は、プローブ１２１の動きによって撮影する断面の位置が変化する。
ここで、プローブ１２１の動きは、第１医療装置１２０の制御によって動くのではなく、医療施術者の制御によって任意に動くのである。
従って、第１医療装置１２０が撮影した医療画像が、仮想の座標系でどの位置に該当するかということを把握するためには、プローブ１２１の動きをセンシングしなければならない。
【００２５】
プローブ１２１の動きをセンシングする方式としては、例えば、プローブ１２１にマグネチック・トラッカ（ｍａｇｎｅｔｉｃ  ｔｒａｃｋｅｒ）を利用して、磁場の変化をセンシングする方式、プローブ１２１にオプティカルマーカー（ｏｐｔｉｃａｌ  ｍａｒｋｅｒ）を付着させ、赤外線又はカラーカメラで光学的変化をセンシングする方式が使用されてもよい。
【００２６】
第１医療装置１２０と第２医療装置１１０は、一般的に、互いに異なる三次元座標系を使用し、第１医療装置１２０が使用する座標系での断面（符号１０１１）は、Ｂ１地点の３軸位置情報（ｘ，ｙ，ｚ）と、プローブ１２１の３軸回転情報（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）とを用いて特定される。
【００２７】
本発明で、リアルタイム医療画像は、第１医療装置１２０によって撮影される第１医療画像を意味し、三次元医療画像は、第２医療装置１１０によって撮影される第２医療画像のセットを意味する。
医療画像整合装置１３０は、第１医療装置１２０によって撮影されるリアルタイム医療画像を周期的に更新する。
第２医療装置１１０によって既に撮影された三次元医療画像は、医療画像整合装置１３０にあらかじめ保存されていると仮定する。
【００２８】
本発明の一実施形態によれば、第１医療装置１２０と第２医療装置１１０とが使用する仮想の座標系は、後述する方法によってマッピングされる。
仮想の座標系がマッピングされれば、第１医療装置１２０のプローブ１２１が位置した地点が、第２医療装置１１０が使用する仮想の座標系上で検出される。
従って、第２医療装置１１０によって撮影された三次元医療画像で、プローブ１２１の移動を追跡し、それに対応する断面画像を提供することができる。
すなわち、プローブ１２１が移動される場合、リアルタイム医療画像が変化し、変化するリアルタイム医療画像に対応する断面画像が、三次元医療画像から抽出される。すなわち、リアルタイム医療画像と三次元医療画像とが互いに同期化される。
【００２９】
しかし、プローブ１２１が移動しない場合にも、リアルタイム医療画像は、患者の身体活動（ｐｈｙｓｉｃａｌ  ｍｏｖｅｍｅｎｔ）によって続けて変化することもある。
例えば、患者の呼吸によって臓器が移動し、プローブ１２１が静止した状態でも、リアルタイム医療画像は、続けて変化する。
【００３０】
図１１は、患者の身体活動によるリアルタイム医療画像の変化を示す図である。
図１１を参照すると、臓器（肝臓）１１１０は、息吸い（ｉｎｈａｌａｔｉｏｎ）と息吐き（ｅｘｈａｌａｔｉｏｎ）との中間状態に位置していて、息吸い状態で下側（ｉｎｆｅｒｉｏｒ）に移動して符号１１２０の位置に位置していて、息吐き状態では、上側（ｓｕｐｅｒｉｏｒ）に移動し、符号１１３０の位置に位置する。
そのとき、プローブ１１４０の超音波スキャニング面１１５０が物理的に移動しないにもかかわらず、プローブ１１４０によって撮影されるリアルタイム医療画像は、呼吸によって変わる。言い換えれば、超音波スキャニング面１１５０と臓器（肝臓）１１１０との相対的な位置関係が変化するので、リアルタイム医療画像が変化する。
【００３１】
本発明の医療画像整合装置１３０は、第１医療装置１２０のプローブ１２１が静止した状態で、患者の身体活動によって示されるリアルタイム医療画像の変化を考慮して、リアルタイム医療画像と三次元医療画像とを整合する。
すなわち、リアルタイム医療画像が息吸い状態を示す場合、三次元医療画像でも、息吸い状態に対応する断面画像を抽出し、リアルタイム医療画像と整合する。
リアルタイム医療画像が息吐き状態を示す場合、三次元医療画像でも、息吐き状態に対応する断面画像を抽出し、リアルタイム医療画像と整合する。
従って、本発明で医療画像を整合する方法は、二種に大別される。第一は、プローブ１２１の物理的な移動を考慮して整合する方法であり、第二は、プローブ１２１が静止した状態で、患者の身体活動による超音波スキャニング面の相対的な移動を考慮して整合する方法である。
【００３２】
図２は、本発明の一実施形態による医療画像の整合方法を説明するためのフローチャートである。
図２を参照すれば、まず、医療画像整合装置１３０は、第１医療装置１２０によって撮影されるリアルタイム医療画像と、第２医療装置１１０によって既に撮影された三次元医療画像とを用いて、第１医療装置１２０と、第２医療装置１１０とで用いられる仮想座標系をマッピングする（Ｓ２０５段階）。
すなわち、医療画像整合装置１３０は、第１医療装置１２０が用いる仮想座標系である第１座標系と第２医療装置１１０が用いる仮想座標系である第２座標系とを互いに対応させる。
【００３３】
Ｓ２０５段階について、図３を参照して、さらに詳細に説明する。
図３は、本発明の一実施形態による第１医療装置と第２医療装置とが用いる仮想座標系をマッピングする工程を説明するためのフローチャートである。
医療画像整合装置１３０は、第１医療装置によって撮影されるリアルタイム医療画像を取得する（Ｓ３０５段階）。
そのとき取得されるリアルタイム医療画像は、持続的に更新される。一方、医療画像整合装置１３０は、リアルタイム医療画像を取得するとき、第１座標系でプローブ１２１が位置した地点に関わる座標値を共に取得する。
【００３４】
医療画像整合装置１３０は、リアルタイム医療画像の第１断面画像を生成する（Ｓ３１０段階）。
すなわち、リアルタイム医療画像は、プローブ１２１の動き又は患者の身体活動によって変化する。
従って、静止したイメージを得るために、リアルタイム医療画像の第１断面画像を生成する。
第１断面画像は、第１医療装置１２０を介して撮影している最中に、ユーザの入力に基づいて生成される。
【００３５】
第１断面画像が撮影された方向と、三次元医療画像を構成する第２医療画像が撮影された方向とが平行になるように、第１断面画像を生成することが望ましい。
その理由は、後述するように、第１断面画像に対応する二次元医療画像を、三次元医療画像から検出するとき、その検出の正確度を高めるためである。
ユーザは、第１断面画像の生成命令を、第１医療装置１２０を介して入力するか、あるいは医療画像整合装置１３０を介して入力する。
図１０には、符号１０２０のイメージは、生成された第１断面画像であり、断面１０１１は、第１断面画像を生成するときの、プローブ１２１の超音波スキャニング面を示す。
【００３６】
医療画像整合装置１３０は、第１断面画像に現れる解剖学的特徴に基づいて、三次元医療画像を構成する複数の二次元医療画像のうち、第１断面画像に対応する二次元医療画像を選択する（Ｓ３１５段階）。
すなわち、医療画像整合装置１３０は、第１断面画像に現れる解剖学的特徴と、三次元医療画像を構成する二次元医療画像に現れる解剖学的特徴とを互いに比較する。
医療画像整合装置１３０は、比較の結果、第１断面画像と類似度（ｓｉｍｉｌａｒｉｔｙ）が最大になる二次元医療画像を、三次元医療画像から検出する。
【００３７】
図１０を参照すると、符号１０３０の三次元医療画像は、複数の二次元医療画像（１０３１、１０３２、１０３３）を含む。
医療画像整合装置１３０は、符号１０３０の三次元医療画像から、符号１０２０のイメージ（第１断面画像）と最も類似した解剖学的特徴が現れる符号１０３３の二次元医療画像を検出する。
【００３８】
Ｓ３１５段階についてさらに詳細に説明すれば、医療画像整合装置１３０は、第１断面画像で現れる解剖学的個体と、三次元医療画像で現れる解剖学的個体とをそれぞれセグメンテーションする。
ここで、解剖学的個体とは、臓器、血管、病変、骨、臓器と臓器との境界面など、第１医療画像で識別可能な人体の構成物をいう。
セグメンテーションとは、そのような解剖学的個体それぞれを、背景の画像と分離することをいう。
医療画像整合装置１３０には、セグメンテーションを行う解剖学的個体に係わる情報が事前に入力されている。例えば、超音波医療画像の場合、血管組織は、背景に比べてさらに暗い明度値を有し、横隔膜の場合、所定値以下の曲率を有する平面であり、下大静脈は、１０ｍｍ以上の直径を有する血管であるいう解剖学的特徴に関わる情報が、事前に入力されている。
【００３９】
医療画像整合装置１３０は、グラフカット（ｇｒａｐｈ  ｃｕｔ）技法又は混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌ）技法を用いて、セグメンテーションを行う。
グラフカット技法によれば、医療画像整合装置１３０は、背景のシード（ｓｅｅｄ）値と、解剖学的個体のシード値とを用いて、背景のシードポイントと、解剖学的個体のシードポイントとの領域を徐々に拡張させる。
医療画像整合装置１３０は、ポイント領域を拡張させる間、背景領域と、解剖学的個体の領域とが出合う境界領域を切り取る方式で、解剖学的個体をセグメンテーションする。
【００４０】
混合ガウスモデル技法によれば、医療画像整合装置１３０は、医療画像のカラーヒストグラムを、複数個のガウシアン分布モデルで表現する。
次に、医療画像整合装置１３０は、ヒストグラムで、特定バンドのガウシアン分布モデルを選択する方式で、解剖学的個体をセグメンテーションする。
それ以外にも、他のセグメンテーション方式が医療画像整合装置１３０に適用されるということは、当業者であるならば、理解することができるであろう。
【００４１】
医療画像整合装置１３０は、第１断面画像でセグメンテーションされた解剖学的個体と、三次元医療画像でセグメンテーションされた解剖学的個体との類似度を計算する。
さらに直観的に言えば、医療画像整合装置１３０は、第１断面画像で観察される解剖学的個体が、三次元医療画像を構成する二次元医療画像で、いかほど類似して観察されるかということを数値的に表現する。
【００４２】
医療画像整合装置１３０は、ガボール・ウェーブレット（Ｇａｂｏｒ  ｗａｖｅｌｅｔ）技法又はローカルバイナリパターンマッチング（ｌｏｃａｌ  ｂｉｎａｒｙ  ｐａｔｔｅｒｎ  ｍａｔｃｈｉｎｇ）技法を利用して、類似度を計算することができる。
ガボール・ウェーブレット技法によれば、医療画像整合装置１３０は、解剖学的個体を、互いに異なるフィルタリング特性を有する複数個のガボールフィルタによってフィルタリングする。医療画像整合装置１３０は、フィルタリングされた結果を比較して、解剖学的個体間の類似度を計算する。
【００４３】
ローカルバイナリパターンマッチング技法によれば、医療画像整合装置１３０は、１つの中心ピクセルに対する周辺ピクセルの関係を規定する。
すなわち、医療画像整合装置１３０は、周辺ピクセルの値を中心ピクセルの値を基準に二値化し、その結果を予め定義した方向に整列して示す。
医療画像整合装置１３０は、二値化された結果を互いに比較することにより、解剖学的個体間の類似度を定量的に評価することができる。
【００４４】
医療画像整合装置１３０は、三次元医療画像で計算された類似度が最大になる二次元医療画像を選択する。
医療画像整合装置１３０は、第１断面画像と、三次元医療画像で選択された二次元医療画像とを用いて、第１医療装置１２０で用いられる第１座標系を、第２医療装置１１０で用いられる第２座標系に変換するための座標変換関数を生成する（Ｓ３２０段階）。
【００４５】
Ｓ３２０段階について、さらに詳細に説明する。
医療画像整合装置１３０は、第２医療装置１１０の仮想座標系である第２座標系上で、第１医療装置１２０のプローブ１２１の座標値に対応する地点を検出する。
すなわち、医療画像整合装置１３０は、第１医療装置１２０の仮想座標系である第１座標系上で、プローブ１２１の位置の座標値に対応する地点を、第２座標系上で検出する。
【００４６】
図１０を参照すると、符号１０１０のイメージに表示されたプローブ１２１が位置した地点Ｂ１に対応する地点は、符号１０３０のイメージで、地点Ｂ２に該当し、医療画像整合装置１３０は、地点Ｂ２を検出する。
医療画像整合装置１３０は、符号１０２０の第１断面画像でセグメンテーションされた解剖学的個体の位置が、Ｓ３１５段階で選択された符号１０３３の二次元医療画像において一致するように、符号１０３３の二次元医療画像と符号１０２０の第１断面画像とをオーバレイする。
【００４７】
もし符号１０２０の第１断面画像と符号１０３０の三次元医療画像との解像度が互いに異なる場合には、解像度を一致させるために、いずれか一方の画像をアップスケーリングするか、あるいはダウンスケーリングする。
医療画像整合装置１３０は、符号１０３３の二次元医療画像と符号１０２０の第１断面画像とがオーバレイされた状態で、プローブ１２１が位置した地点Ｂ１を、符号１０３３の二次元医療画像で指定する。
従って、医療画像整合装置１３０は、プローブ１２１が位置した地点Ｂ１に対応する地点Ｂ２の位置を、第２座標系上で検出することができる。
【００４８】
医療画像整合装置１３０は、検出された地点Ｂ２の座標値を利用して、第１座標系を第２座標系に変換するための座標変換関数を生成する。
言い換えれば、医療画像整合装置１３０は、第１座標系上の座標値を、第２座標系上の座標値に変換するための座標変換関数を生成する。
第２座標系で、地点Ｂ２の座標をＴｉｎｉｔとする。
【００４９】
その後、プローブ１２１が一定変位ほど移動したとき、プローブ１２１の移動をＴ（ｘ，ｙ，ｚ）とし、プローブ１２１の回転をＲ（Ψ，θ，φ）とすれば、Ｔ（ｘ，ｙ，ｚ）とＲ（Ψ，θ，φ）は、下記の数式１及び２で表現される。
【００５０】
【数１】
2014161734.tif 000003
【数２】
2014161734.tif 000004
【００５１】
医療画像整合装置１３０は、Ｔｉｎｉｔ、Ｔ（ｘ，ｙ，ｚ）及びＲ（Ψ，θ，φ）を用いて、座標変換関数Ｍを、下記の数式３のように生成することができる。
【数３】
2014161734.tif 000005
【００５２】
図２に戻って説明を続ける。
医療画像整合装置１３０が、Ｓ２０５段階で、第１座標系と第２座標系とがマッピングされた結果を用いて、第１医療装置１２０のプローブ１２１が位置した地点を、第２医療装置１１０で用いられる座標系から検出する（Ｓ２１０段階）。
第１座標系上でプローブ１２１が位置した地点は、Ｓ２０５段階で、プローブが位置した地点と異なる地点でもある。すなわち、Ｓ２１０段階では、第１座標系でプローブ１２１が位置した地点が移動すれば、医療画像整合装置１３０は、数式３の座標変換関数を用いて、プローブ１２１の移動を第２座標系で追跡する。
【００５３】
一方、Ｓ２０５段階で、座標系がマッピングされれば、プローブ１２１の物理的な移動によるリアルタイム医療画像の変化を、三次元医療画像で追跡することができる。
すなわち、医療画像整合装置１３０は、第２座標系から検出されたプローブ１２１の座標値を用いて、プローブ１２１の物理的移動によって変化したリアルタイム医療画像に対応する断面画像を、三次元医療画像から抽出して出力する。
【００５４】
図４は、本発明の一実施形態による第１医療装置のプローブが位置した地点を第２医療装置が使用する仮想座標系から検出する工程を説明するためのフローチャートである。
図４を参照して詳細に説明すれば、第１医療装置１２０は、第１医療装置１２０が用いる第１座標系上で、プローブ１２１が位置した地点をセンシングする（Ｓ４０５段階）。
本発明の他の実施形態によれば、医療画像整合装置１３０が、直接プローブ１２１が位置した地点をセンシングすることも可能である。
【００５５】
医療画像整合装置１３０は、センシングされたプローブ１２１の座標値を受信する（Ｓ４１０段階）。医療画像整合装置１３０は、プローブ１２１が物理的に移動すれば、移動した地点Ｂ３の座標値を受信する。
ここで、第１座標系上の地点Ｂ３の座標値は、リアルタイム医療画像と別途に受信されるか、あるいは共に受信される。
医療画像整合装置１３０は、座標変換関数を利用して、第１座標系上の地点Ｂ３の座標値を、第２座標系上の地点Ｂ４の座標値に変換する（Ｓ４２０段階）。
【００５６】
医療画像整合装置１３０は、第２座標系上の地点Ｂ４から、プローブ１２１の超音波スキャニング面を決定する。
次に、医療画像整合装置１３０は、決定された超音波スキャニング面に該当する断面画像を、三次元医療画像から抽出して出力する。
このとき、医療画像整合装置１３０は、リアルタイム医療画像と、抽出された断面画像とを共に出力する。
ここで、抽出された断面画像と、リアルタイム医療画像は、オーバレイされて出力されるか、あるいは並列に並んで配置されて出力される。
【００５７】
図２に戻って説明を続ける。
医療画像整合装置１３０は、三次元医療画像から、第２座標系から検出されたプローブ１２１が位置した地点と対応するボリューム画像を決定する（Ｓ２１５段階）。
プローブ１２１が位置した地点に対応するボリューム画像とは、プローブ１２１が静止した状態で、患者の呼吸などの身体活動によってプローブ１２１の超音波スキャニング面が、臓器から相対的に移動する範囲に存在する三次元医療画像をいう。
【００５８】
Ｓ２１５段階については、図５及び図７を参照して詳細に説明する。
図５は、本発明の一実施形態によるボリューム画像を決定する工程を説明するためのフローチャートであり、図７は、本発明の一実施形態によるボリューム画像を決定する工程を説明するためのグラフである。
【００５９】
医療画像整合装置１３０は、第２座標系から検出されたプローブ１２１の座標値を用いて、プローブ１２１の超音波スキャニング面に対応する基準断面を、三次元医療画像から選択する（Ｓ５０５段階）。
図７で、符号７１０の六面体は、第２座標系における三次元医療画像が存在する領域（全体三次元医療画像）を示す。
第２座標系から検出されたプローブ１２１の座標値が「ｃ１」であると仮定する。
医療画像整合装置１３０は、地点Ｃ１から、プローブ１２１の超音波スキャニング面を予測することができる。次に、医療画像整合装置１３０は、プローブ１２１の超音波スキャニング面を含む基準断面７２２を選択する。
【００６０】
医療画像整合装置１３０は、患者の身体活動によるプローブ１２１の超音波スキャニング面の相対的な移動範囲を予測する（Ｓ５１０段階）。
プローブ１２１の超音波スキャニング面が実際に物理的に移動するものではないが、図１１に示したように、患者の身体活動によって、臓器１１１０が、符号１１２０の位置から符号１１３０の位置まで移動することがある。
従って、プローブ１２１の超音波スキャニング面１１５０は、臓器１１１０との関係から相対的に移動すると理解される。
【００６１】
医療画像整合装置１３０には、臓器１１１０が、患者の身体活動によって移動する範囲に関わる情報が事前に保存されている。
例えば、臓器１１１０が、上下には、最大４０ｍｍ、前後には、最大１２ｍｍ、左右には、最大３ｍｍ移動するということが医療画像整合装置１３０に事前に保存されている。
ただし、説明の便宜のために、本実施形態では、臓器１１１０が上下のみに移動すると仮定する。
【００６２】
医療画像整合装置１３０は、そのような事前情報を用いて、超音波スキャニング面の相対的な移動範囲を予測する。
図７を参照すれば、医療画像整合装置１３０は、超音波スキャニング面が＋Ｚ’方向、すなわち、上側には、「ｄ１」ほど移動可能であり、下側には、「ｄ２」ほど移動可能であるということを予測する。
一方、超音波スキャニング面が相対的に移動するということは、結局、地点Ｃ１が相対的に移動すると理解される。
【００６３】
図５に戻って説明を続ける。
医療画像整合装置１３０は、基準断面７２２（図７参照）から予測された移動範囲（ｄ１、ｄ２）内に存在する隣接断面（７２１、７２３）を選択する（Ｓ５２０段階）。
図７では、説明の便宜のために、２個の隣接断面（７２１、７２３）のみを選択したが、予測された移動範囲（ｄ１、ｄ２）内で、Ｍ（Ｍ＞２）個の隣接断面が選択されてもよい。
【００６４】
医療画像整合装置１３０は、基準断面７２２と隣接断面（７２１、７２３）とを累積させ、ボリューム画像７２０を再構成する（Ｓ５２５段階）。
すなわち、前述のＭＰＲ技法により、符号７１０の全体三次元医療画像からボリューム画像７２０を再構成する。
【００６５】
図２に戻って説明を続ける。
医療画像整合装置１３０は、ボリューム画像７２０から、患者の身体活動によって変化するリアルタイム医療画像に対応する断面画像を抽出する（Ｓ２２０段階）。
図７に示したように、ボリューム画像７２０は、符号７１０の全体三次元医療画像に比べて、小さなボリュームを有する。
【００６６】
従って、符号７１０の三次元医療画像で、リアルタイム医療画像に対応する断面画像を探索する時間に比べ、ボリューム画像７２０で、断面画像を探索する時間がさらに少なくなる。
一方、医療画像整合装置１３０は、身体活動によって、プローブ１２１の超音波スキャニング面が移動すれば、断面画像を更新する。
すなわち、プローブ１２１の超音波スキャニング面が移動すれば、それに対応する断面画像がさらに抽出される。
【００６７】
図６及び図１２を参照し、Ｓ２２０段階について詳細に説明する。
図６は、本発明の一実施形態による患者の身体活動を考慮して三次元医療画像から断面画像を抽出する工程を説明するためのフローチャートであり、図１２は、患者の身体活動によるリアルタイム医療画像の変化を示す図である。
【００６８】
医療画像整合装置１３０は、ボリューム画像１２１０とリアルタイム医療画像とで現れる解剖学的個体をそれぞれセグメンテーションする（Ｓ６０５段階）。
ここで、セグメンテーションのために、前述のグラフカット技法又は混合ガウスモデル技法が使用される。
医療画像整合装置１３０は、二次元ではない三次元ボリューム画像１２１０で、解剖学的個体をセグメンテーションする。
図１２に示す臓器１２２０は、ボリューム画像１２１０でセグメンテーションされた解剖学的個体である。
また、医療画像整合装置１３０は、リアルタイム医療画像で現れる解剖学的個体をセグメンテーションする。
【００６９】
医療画像整合装置１３０は、リアルタイム医療画像とボリューム画像１２１０とでセグメンテーションされた解剖学的個体間の類似度を計算する（Ｓ６１０段階）。
ボリューム画像１２１０でセグメンテーションされた解剖学的個体１２２０は、三次元オブジェクトであり、リアルタイム医療画像でセグメンテーションされた解剖学的個体は、二次元オブジェクトに該当する。
従って、医療画像整合装置１３０は、三次元オブジェクトと二次元オブジェクトとを互いに比較する。
すなわち、医療画像整合装置１３０は、三次元オブジェクト内で、二次元オブジェクトを回転及び移動させながら、二次元オブジェクトと最も類似した断面を、三次元オブジェクト内で探索する。
このとき、類似度が最大である断面を見い出すために、前述のガボール・ウェーブレット技法又はローカルバイナリパターンマッチング技法が使用される。
【００７０】
医療画像整合装置１３０は、ボリューム画像１２１０で類似度が最大になる断面を抽出する（Ｓ６１５段階）。
すなわち、医療画像整合装置１３０は、Ｓ６１０段階で探索された断面に関わる二次元断面画像をボリューム画像１２１０から再構成する。
【００７１】
医療画像整合装置１３０は、抽出された断面画像を出力する（Ｓ６２０段階）。
このとき、医療画像整合装置１３０は、リアルタイム医療画像と抽出された断面画像とを共に出力する。
ここで、抽出された断面画像とリアルタイム医療画像は、オーバレイされて出力されるか、あるいは並列に並んで配置されて出力される。
【００７２】
医療画像整合装置１３０は、プローブ１２１が静止した状態で、患者の身体活動によって、プローブ１２１の超音波スキャニング面が、患者の体内で相対的に移動すれば、断面画像を更新する（Ｓ６２５段階）。
すなわち、プローブ１２１が静止した状態で、リアルタイム医療画像が変化すれば、Ｓ６０５段階〜Ｓ６２０段階を反復する。
ただし、Ｓ６０５段階で、ボリューム画像１２１０に対するセグメンテーションがすでに行われているので、Ｓ６２５段階で、ボリューム画像１２１０に対するセグメンテーションは省略可能である。
【００７３】
図１２を参照すれば、符号（１２３２、１２４２、１２５２）のイメージ（リアルタイム医療画像）は、患者の身体活動によって変化するリアルタイム医療画像を簡略的に示した図である。
符号１２５２のリアルタイム医療画像は息吸い状態、符号１２３２のリアルタイム医療画像は息吐き状態、符号１２４２のリアルタイム医療画像は、息吸いと息吐きとの中間状態を示す。
図１２では、符号（１２３２、１２４２、１２５２）のイメージ（リアルタイム医療画像）に対するセグメンテーションがすでに行われ、臓器は、輪郭線で示され、血管は点で示される。
【００７４】
符号（１２３２、１２４２、１２５２）のイメージ（リアルタイム医療画像）前述のように、Ｓ６１０段階（図６参照）で、医療画像整合装置１３０は、息吸い状態で取得した符号１２５２のリアルタイム医療画像に対応する断面を、ボリューム画像１２１０から探索する。
符号１２５０の断面は、符号１２５２のリアルタイム医療画像に対応する断面に該当する。すなわち、符号１２５０の断面は、相対的に移動する仮想の超音波スキャニング面に該当する。
従って、符号１２５１の地点は、プローブ１２１が実際に位置している地点を示すのではなく、仮想の超音波スキャニング面から誘導された地点である。
【００７５】
次に、医療画像整合装置１３０は、ボリューム画像１２１０から、符号１２５０の断面に関わる断面画像を抽出及び出力する。
一方、時間の流れによって、呼吸が吸い込みと吐き出しとの中間状態になれば、医療画像整合装置１３０は、変化した符号１２４２のリアルタイム医療画像を取得する。
医療画像整合装置１３０は、符号１２４２のリアルタイム医療画像に対応する符号１２４０の断面を探索し、断面画像を更新する。
同様に工程に従って、息吐き状態になれば、医療画像整合装置１３０は、符号１２３２のリアルタイム医療画像に対応する符号１２３０の断面に係わる断面画像を、ボリューム画像１２１０から抽出及び出力する。
【００７６】
一方、実施形態によっては、医療画像整合装置１３０は、符号（１２５２、１２４２、１２３２）のリアルタイム医療画像に対応する断面画像を抽出するとき、符号（１２５１、１２４１、１２３１）の地点の座標値を用いて、ボリューム画像１２１０から断面画像を抽出することもできる。
すなわち、医療画像整合装置１３０は、プローブ１２１が物理的に移動したときと同様に、符号（１２５１、１２４１、１２３１）の地点の座標値を用いて、符号（１２５２、１２４２、１２３２）のリアルタイム医療画像に対応する断面画像を抽出することもできる。
【００７７】
図８は、本発明の一実施形態による医療画像整合装置の構成を示すブロック図であり、図９は、本発明の他の一実施形態による医療画像整合装置の構成を示すブロック図である。
図８及び図９の医療画像整合装置８００、９００は、上述の医療画像の整合方法を遂行する装置であるので、前述の内容と重複する内容は、記載を省略する。従って、図８及び図９の実施形態のために、上述の説明を参照する。
【００７８】
図８を参照すると、医療画像整合装置８００は、リアルタイム医療画像取得部８１０、ボリューム画像決定部８２０、座標変換部８４０、及び画像出力部８３０を含む。
リアルタイム医療画像取得部８１０は、第１医療装置１２０によって撮影されるリアルタイム医療画像を取得する。
リアルタイム医療画像取得部８１０は、第１医療装置１２０から周期的にリアルタイム医療画像を取得する。
【００７９】
座標変換部８４０は、第１医療装置１２０で用いられる第１座標系と第２医療装置１１０で用いられる第２座標系とをマッピングする。
座標変換部８４０は、座標系をマッピングした結果を用いて、第１医療装置１２０のプローブ１２１が位置した地点を第２座標系から検出する。
【００８０】
ボリューム画像決定部８２０は、第２医療装置１１０によって既に撮影された三次元医療画像から第２座標系から検出されたプローブ１２１が位置した地点に対応するボリューム画像を決定する。
画像出力部８３０は、ボリューム画像から患者の身体活動によって変化するリアルタイム医療画像に対応する断面画像を抽出する。
画像出力部８３０は、患者の身体活動によって、プローブ１２１の超音波スキャニング面が患者の体内で相対的に移動される場合、断面画像を更新する。
【００８１】
図９を参照すると、医療画像整合装置９００は、リアルタイム医療画像取得部９１０、ボリューム画像決定部９２０、画像出力部９３０、座標変換部９４０、画像分離部９５０、二次元画像選択部９６０、及び三次元医療画像保存部９７０を含む。
図８と重複する部分は、説明を省略する。
【００８２】
三次元医療画像保存部９７０は、第２医療装置１１０が、医療施術前に撮影した三次元医療画像を保存する。
保存された三次元医療画像は、複数個の二次元医療画像のセットによって構成されており、それぞれの二次元医療画像には、第２座標系上の位置を示す座標値がマッピングされている。
【００８３】
二次元画像選択部９６０は、リアルタイム医療画像の第１断面画像を生成し、第１断面画像に現れる解剖学的特徴に基づいて、三次元医療画像を構成する複数の二次元医療画像のうち、第１断面画像に対応する二次元医療画像を選択する。
そのとき、第１断面画像と三次元医療画像とで現れる解剖学的な特徴を比較するために、前述のセグメンテーションが行われる。
【００８４】
画像分離部９５０は、第１断面画像で現れる解剖学的個体と、三次元医療画像で現れる解剖学的個体とをそれぞれセグメンテーションする。
画像分離部９５０には、セグメンテーションを行う解剖学的個体に係わる情報が事前に入力されている。
画像分離部９５０は、グラフカット技法又は混合ガウスモデル技法を使用して、セグメンテーションを行う。
【００８５】
二次元画像選択部９６０は、第１断面画像でセグメンテーションされた解剖学的個体と、三次元医療画像でセグメンテーションされた解剖学的個体との類似度を計算する。
二次元画像選択部９６０は、ガボール・ウェーブレット技法又はローカルバイナリパターンマッチング技法を用いて、類似度を計算する。
二次元画像選択部９６０は、三次元医療画像で計算された類似度が最大になる二次元医療画像を選択する。
【００８６】
座標変換部９４０は、基準点検出部９４１及び変換関数生成部９４２を含む。
基準点検出部９４１は、第１医療装置１２０の仮想座標系で、第１医療装置１２０のプローブ１２１が位置した地点Ｂ１に対応する地点Ｂ２を、第２医療装置１１０の仮想座標系から検出する。
変換関数生成部９４２は、地点Ｂ２の座標値を用いて、第１医療装置１２０の仮想座標系を、第２医療装置１１０の仮想座標系に変換するための座標変換関数を生成する。
【００８７】
座標変換部９４０は、プローブ１２１が物理的に移動すれば、第１医療装置１２０で用いられる座標系で移動したプローブの座標値を受信する。
座標変換部９４０は、マッピングされた結果、すなわち、座標変換関数を用いて、移動されたプローブの座標値を、第２医療装置１１０で用いられる座標系の座標値に変換する。
このとき、座標変換関数が生成されれば、プローブ１２１の物理的な移動によるリアルタイム医療画像の変化を、三次元医療画像で追跡することができる。
すなわち、医療画像整合装置９００は、第２座標系から検出されたプローブ１２１の座標値を用いて、プローブ１２１の物理的移動によって変化したリアルタイム医療画像に対応する断面画像を三次元医療画像から抽出して出力する。
【００８８】
ボリューム画像決定部９２０は、三次元医療画像から、第２座標系から検出されたプローブ１２１が位置した地点と対応するボリューム画像を決定する。
プローブ１２１が位置した地点に対応するボリューム画像とは、プローブ１２１が静止した状態で、患者の呼吸などの身体活動によって、プローブ１２１の超音波スキャニング面が、臓器から相対的に移動する範囲に存在する三次元医療画像をいう。
【００８９】
ボリューム画像決定部９２０は、第２座標系から検出されたプローブ１２１の座標値を用いて、プローブ１２１の超音波スキャニング面に対応する基準断面を三次元医療画像から選択する。
ボリューム画像決定部９２０は、プローブ１２１が静止した状態で、患者の身体活動によるプローブ１２１のスキャニング平面の相対的な移動範囲を予測する。
ボリューム画像決定部９２０は、予測された移動範囲に基づいて、三次元医療画像からボリューム画像のサイズを決定する。
【００９０】
ボリューム画像決定部９２０は、第２座標系から検出されたプローブ１２１が位置した地点の座標値を用いて、プローブ１２１のスキャニング平面に対応する基準断面を三次元医療画像から選択し、基準断面及び基準断面に隣接した断面を三次元医療画像から選択する。
このとき、モデル再構成部９３１は、基準断面と隣接した断面を累積させ、ボリューム画像を再構成する。
【００９１】
画像出力部９３０は、ボリューム画像から患者の身体活動によって変化するリアルタイム医療画像に対応する断面画像を抽出する。
画像出力部９３０は、リアルタイム医療画像と決定されたボリューム画像とで現れる解剖学的個体の類似度に基づいて、断面画像を抽出する。
画像出力部９３０は、患者の身体活動によって、プローブ１２１の超音波スキャニング面が患者の体内で相対的に移動される場合、断面画像を更新する。
【００９２】
画像出力部９３０は、断面画像の抽出のために、画像分離部９５０に対しリアルタイム医療画像とボリューム画像とで現れる解剖学的個体を、それぞれセグメンテーションすることを要請する。
次に、画像出力部９３０は、リアルタイム医療画像とボリューム画像とでセグメンテーションされた解剖学的個体間の類似度が最大になる断面を、ボリューム画像から抽出する。
このとき、類似度が最大である断面を見つけるために、前述のガボール・ウェーブレット技法又はローカルバイナリパターンマッチング技法が使用される。
画像出力部９３０は、モデル再構成部９３１、断面再構成部９３２、及び画像整合部９３３を含む。
【００９３】
モデル再構成部９３１は、第２医療装置１１０が撮影した第２医療画像のセット、すなわち、三次元医療画像を用いて、三次元モデルを再構成する。
モデル再構成部９３１は、三次元医療画像から、ボリューム画像決定部９２０によって決定されたボリューム画像を三次元モデルとして再構成する。
【００９４】
断面再構成部９３２は、モデル再構成部９３１が再構成した三次元モデルから断面画像を再構成する。
言い換えれば、断面再構成部９３２は、三次元モデルを横切る断面に係わる画像データを三次元モデルから抽出し、それを断面画像に再構成する。
断面再構成部９３２は、変化するリアルタイム医療画像に対応する断面に係わる画像データを三次元モデルから抽出し、断面画像を再構成する。
リアルタイム医療画像が変化する原因としては、上述のように、プローブ１２１の物理的な移動又は患者の身体活動を例示する。
【００９５】
画像整合部９３３は、リアルタイム医療画像と、三次元医療画像から抽出された断面画像とを整合して出力する。
断面画像とリアルタイム医療画像は、オーバレイされて出力するか、あるいは並んで配置して出力する。
画像出力部９３０が出力した画像は、画像表示装置１４０に表示される。
【００９６】
上述の本発明の医療画像を整合する方法に係る実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を用いて、プログラムを動作させる汎用デジタル・コンピュータで具現してもよい。
また、上記実施形態で用いられるデータの構造は、コンピュータで読み取り可能な記録媒体に、多くの手段を介して記録される。
コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ（ｃｏｍｐａｃｔ  ｄｉｓｃ）−ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ）など）のような記録媒体を含む。
【００９７】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【００９８】
本発明による医療画像を整合する方法及びその装置は、リアルタイム医療画像と三次元医療画像とを整合して用いる医療画像装置やシステムに好適に使用される。
【符号の説明】
【００９９】
１００    医療画像整合システム
１１０    第２医療装置
１２０    第１医療装置
１２１、１１４０    プローブ
１３０    医療画像整合装置
１４０    画像表示装置
７１０    六面体（全体三次元医療画像）
７２０    ボリューム画像
７２１、７２３    隣接断面
７２２    基準断面
８００、９００    医療画像整合装置
８１０、９１０    リアルタイム医療画像取得部
８２０、９２０    ボリューム画像決定部
８３０、９３０    画像出力部
８４０、９４０    座標変換部
９３１    モデル再構成部
９３２    断面再構成部
９３３    画像整合部
９４１    基準点検出部
９４２    変換関数生成部
９５０    画像分離部
９６０    二次元画像選択部
９７０    三次元医療画像保存部
１０１０、１０２０    イメージ
１０１１    座標面での断面
１０３０    三次元医療画像
１０３１、１０３２、１０３３    二次元医療画像
１１１０    臓器
１１５０    超音波スキャニング面
１２１０    ボリューム画像
１２２０    臓器
１２３０、１２４０、１２５０    断面
１２３１、１２４１、１２５１    地点
１２３２、１２４２、１２５２    イメージ（リアルタイム医療画像）
【図１】
2014161734.tif 000006
【図２】
2014161734.tif 000007
【図３】
2014161734.tif 000008
【図４】
2014161734.tif 000009
【図５】
2014161734.tif 000010
【図６】
2014161734.tif 000011
【図７】
2014161734.tif 000012
【図８】
2014161734.tif 000013
【図９】
2014161734.tif 000014
【図１０】
2014161734.tif 000015
【図１１】
2014161734.tif 000016
【図１２】
2014161734.tif 000017