(57)【特許請求の範囲】
【請求項１】
被検体内部に挿入され観察部位の画像を取得する内視鏡と、
該内視鏡の位置および観察方向を検出する内視鏡検出部と、
前記観察部位近傍の３次元画像と該３次元画像上の複数の代表点における立体的特徴量とを対応づけて記憶する記憶部と、
前記内視鏡検出部により検出された内視鏡の位置および観察方向に基づいて、前記記憶部に記憶されている前記３次元画像上の前記代表点を前記内視鏡の観察方向に直交する平面に投影し、平面上に投影された各代表点の位置に前記立体的特徴量を表示した特徴量画像を生成する画像処理部とを備える内視鏡システム。
【請求項２】
前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを合成した合成画像を生成する請求項１に記載の内視鏡システム。
【請求項３】
前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを並列させた状態に合成する請求項２に記載の内視鏡システム。
【請求項４】
前記３次元画像を取得する３次元測定装置を備え、
前記画像処理部が、前記３次元測定装置から送られてきた３次元画像に基づいて、前記立体的特徴量を算出する請求項１から請求項３のいずれかに記載の内視鏡システム。
【請求項５】
前記内視鏡による観察部位が臓器の表面であり、
前記３次元測定装置が、前記内視鏡により取得される前記観察部位より広い範囲の前記臓器の３次元画像を取得し、
前記画像処理部が、前記３次元測定装置により取得された３次元画像に前記内視鏡検出部により検出された内視鏡の位置および方向を重畳した画像を生成する請求項４に記載の内視鏡システム。
【請求項６】
前記内視鏡による観察部位が心臓の表面であり、
前記立体的特徴量が前記心臓の心室収縮期に取得されている請求項１から請求項５のいずれかに記載の内視鏡システム。
【請求項７】
前記立体的特徴量が、組織の厚さ寸法である請求項１から請求項６のいずれかに記載の内視鏡システム。
【請求項８】
記憶部が、観察部位近傍の３次元画像と該３次元画像上の複数の代表点における立体的特徴量とを対応づけて記憶しておき、
内視鏡検出部が、内視鏡の位置および観察方向を検出し、
画像処理部が、前記記憶部に記憶されている前記３次元画像上の前記代表点を前記内視鏡の観察方向に直交する平面に投影し、平面上に投影された各代表点の位置に前記立体的特徴量を表示した特徴量画像を生成する内視鏡画像生成方法。
【請求項９】
前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを合成した合成画像を生成する請求項８に記載の内視鏡画像生成方法。
【請求項１０】
前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを並列させる請求項９に記載の内視鏡画像生成方法。
【請求項１１】
前記画像処理部が、前記３次元画像を取得する３次元測定装置から送られてきた３次元画像に基づいて、前記立体的特徴量を算出する請求項８から請求項１０のいずれかに記載の内視鏡画像生成方法。
【請求項１２】
前記内視鏡による観察部位が臓器の表面であり、
前記画像処理部が、前記３次元測定装置により取得された、前記内視鏡により取得される前記観察部位より広い範囲の前記臓器の３次元画像に、前記内視鏡検出部によって検出された内視鏡の位置および方向を重畳した画像を生成する請求項１１に記載の内視鏡画像生成方法。
【請求項１３】
前記内視鏡による観察部位が心臓の表面であり、
前記立体的特徴量が前記心臓の心室収縮期に取得されている請求項８から請求項１２のいずれかに記載の内視鏡画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡システムおよび内視鏡画像生成方法に関するものである。
【背景技術】
【０００２】
従来、内視鏡画像上にＣＴやＭＲＩ等で取得した３Ｄ画像を合成表示する装置が知られている（例えば、特許文献１参照。）。
この装置は、内視鏡の位置を逐次検出し、その位置に基づいて決定される内視鏡の観察面に、ＣＴやＭＲＩ等で取得した３Ｄ画像を投影して２Ｄ画像を作成し、該２Ｄ画像と内視鏡画像とを重畳している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１５２４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置では、３Ｄ画像は、任意の位置に配される内視鏡によって取得された内視鏡画像に対しても重畳可能な２Ｄ画像を生成するために用いられ、立体情報を利用することができないという不都合がある。例えば、心外膜側からの高周波通電による心室頻拍アブレーションの際に、心筋上の脂肪層が厚い（５ｍｍ以上）と、心外膜を介して十分にアブレーションが行えない。このような場合に、特許文献１の装置により得られる２Ｄ重畳画像では脂肪層の厚さを確認できず、手技が困難になるという不都合がある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、ＣＴやＭＲＩ等で取得された３Ｄ画像に含まれる立体情報を有効利用して手技を容易にすることができる内視鏡システムおよび内視鏡画像生成方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被検体内部に挿入され観察部位の画像を取得する内視鏡と、該内視鏡の位置および観察方向を検出する内視鏡検出部と、前記観察部位近傍の３次元画像と該３次元画像上の複数の代表点における立体的特徴量とを対応づけて記憶する記憶部と、前記内視鏡検出部により検出された内視鏡の位置および観察方向に基づいて、前記記憶部に記憶されている前記３次元画像上の前記代表点を前記内視鏡の観察方向に直交する平面に投影し、平面上に投影された各代表点の位置に前記立体的特徴量を表示した特徴量画像を生成する画像処理部とを備える内視鏡システムを提供する。
【０００７】
また、本発明の他の態様は、観察部位近傍の３次元画像と該３次元画像上の複数の代表点における立体的特徴量とを対応づけて記憶しておき、内視鏡の位置および観察方向を検出し、記憶されている前記３次元画像上の前記代表点を前記内視鏡の観察方向に直交する平面に投影し、平面上に投影された各代表点の位置に前記立体的特徴量を表示した特徴量画像を生成する内視鏡画像生成方法を提供する。
【０００８】
本態様によれば、被検体の内部に挿入されて被検体の内部に配されている観察部位の画像を取得している内視鏡の位置および観察方向が、内視鏡検出部により検出される。画像処理部においては、検出された内視鏡の位置および観察方向と、記憶部に記憶されている観察部位近傍の３次元画像位置情報および立体的特徴量とを用いて、内視鏡の位置から観察方向にみた３次元画像上の代表点の立体的特徴量が特徴量画像として生成される。
【０００９】
すなわち、本態様によれば、内視鏡と同一方向から見た観察部位の立体的特徴量の分布を特徴量画像として観察することができる。立体的特徴量としては、観察部位が臓器等の場合には、組織の厚さ等を挙げることができる。すなわち、内視鏡を用いた臓器の組織観察を行う際に、その観察部位近傍の脂肪組織や筋肉組織の厚さ等の立体的特徴量を確認することができ、処置を容易にすることができる。
【００１０】
上記態様においては、前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを合成した合成画像を生成してもよい。
このようにすることで、観察者は合成画像を確認するだけで、内視鏡により取得された画像および特徴量画像の両方を切り替えることなく対照して確認することができる。
【００１１】
また、上記態様においては、前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを並列させた状態で表示させてもよい。
このようにすることで、観察者は並列表示された画像を確認するだけで、内視鏡により取得された画像および特徴量画像の両方を対比して確認することができる。
【００１２】
また、上記態様においては、前記３次元画像を取得する３次元測定装置を備え、前記画像処理部が、前記３次元測定装置から送られてきた３次元画像に基づいて、前記立体的特徴量を算出してもよい。
【００１３】
また、上記態様においては、前記内視鏡による観察部位が臓器の表面であり、前記３次元測定装置が、前記内視鏡により取得される前記観察部位より広い範囲の前記臓器の３次元画像を取得し、前記画像処理部が、前記３次元測定装置により取得された３次元画像に前記内視鏡検出部により検出された内視鏡の位置および方向を重畳した画像を生成してもよい。
【００１４】
また、上記態様においては、前記内視鏡による観察部位が心臓の表面であり、前記立体的特徴量が前記心臓の心室収縮期に取得されていてもよい。
このようにすることで、心嚢内における視野が最も広くなる心室収縮期に、内視鏡の画像と立体的特徴量の分布とを対比観察することができる。
【００１５】
また、上記態様においては、前記立体的特徴量が、組織の厚さ寸法や厚さ寸法比あるいは組織損傷領域寸法であってもよい。
このようにすることで、内視鏡を用いた手技に際して、観察部位における脂肪組織や筋肉組織の厚さの分布を確認でき、手技を容易に行うことができる。
【００１６】
また、本発明の他の態様は、記憶部が、観察部位近傍の３次元画像と該３次元画像上の複数の代表点における立体的特徴量とを対応づけて記憶しておき、内視鏡検出部が、内視鏡の位置および観察方向を検出し、画像処理部が、前記記憶部に記憶されている前記３次元画像上の前記代表点を前記内視鏡の観察方向に直交する平面に投影し、平面上に投影された各代表点の位置に前記立体的特徴量を表示した特徴量画像を生成する内視鏡画像生成方法を提供する。
【００１７】
上記態様においては、前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを合成した合成画像を生成してもよい。
また、上記態様においては、前記画像処理部が、前記内視鏡により取得された画像と前記特徴量画像とを並列させてもよい。
【００１８】
また、上記態様においては、前記画像処理部が、前記３次元画像を取得する３次元測定装置から送られてきた３次元画像に基づいて、前記立体的特徴量を算出してもよい。
また、上記態様においては、前記内視鏡による観察部位が臓器の表面であり、前記画像処理部が、前記３次元測定装置により取得された、前記内視鏡により取得される前記観察部位より広い範囲の前記臓器の３次元画像に、前記内視鏡検出部によって検出された内視鏡の位置および方向を重畳した画像を生成してもよい。
また、上記態様においては、前記内視鏡による観察部位が心臓の表面であり、前記立体的特徴量が前記心臓の心室収縮期に取得されていてもよい。
【発明の効果】
【００１９】
本発明によれば、ＣＴやＭＲＩ等で取得された３Ｄ画像に含まれる立体情報を有効利用して手技を容易にすることができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る内視鏡システムを示す全体構成図である。
【図２】図１の内視鏡システムによる特徴量および特徴量画像を説明する図である。
【図３】図１の内視鏡システムにより取得された内視鏡画像の一例を示す図である。
【図４】図１の内視鏡システムにより取得された特徴量画像の一例を示す図である。
【図５】図１の内視鏡システムの第１の変形例を示す全体構成図である。
【図６】図１の内視鏡システムの第２の変形例により取得される画像例を示す図である。
【図７】図６の画像を取得するための内視鏡システムを示す全体構成図である。
【発明を実施するための形態】
【００２１】
本発明の一実施形態に係る内視鏡システムおよび内視鏡画像生成方法について図面を参照して以下に説明する。
本実施形態においては、観察する対象として心臓を想定している。
【００２２】
本実施形態に係る内視鏡システム１は、図１に示されるように、患者の心嚢膜内に挿入されて心臓Ａを外表面Ｂ側から観察するための挿入部２ａを有する内視鏡２と、該内視鏡２の先端の位置および方向を検出する内視鏡検出部３と、ＭＲＩシステム４と、該ＭＲＩシステム４および内視鏡２および内視鏡検出部３に接続された画像処理部５と、該画像処理部５により処理された画像を表示するモニタ６，７とを備えている。
【００２３】
内視鏡２は、その挿入部２ａの先端面に図示しない対物光学系および照明光学系を備え、長手方向に沿う光軸に沿って前方に観察方向を有している。照明光学系からは、例えば、励起光が射出され、心臓Ａの各組織において発生した蛍光を対物光学系により集光し、蛍光画像として取得するようになっている。
【００２４】
内視鏡検出部３は、内視鏡２の先端に配置された磁気センサ３ａと、体外に配置された３つの磁場発生部材３ｂと、磁気センサ３ａにより検出された磁場の強度に基づいて、内視鏡２先端の位置および観察方向を算出する演算部３ｃとを備えている。内視鏡検出部３は、独自の座標系を有しており、その座標系において内視鏡２の先端の位置および方向を算出するようになっている。
【００２５】
ＭＲＩシステム４は、内視鏡２を体内に挿入して行われる内視鏡手術に先だって、患者の心臓Ａの３次元画像データ（３次元ボリュームレンダリングデータ）を取得するようになっている。ＭＲＩシステム４により取得される３次元画像データとしては、心臓Ａの外表面に位置する心外膜Ｂの３次元画像データおよび心臓Ａの表面に存在する脂肪組織Ｃとその裏側に存在する心筋Ｄとの境界面Ｅの３次元画像データである。
【００２６】
ＭＲＩシステム４による３次元画像データの取得は、例えば、心室収縮期に同期して行われることが好ましい。心室収縮期には、心嚢内に配置される内視鏡の視野が最も広くなるので、見やすい内視鏡画像が得られる。したがって、この時期における３次元画像データを取得しておくことにより、見やすい内視鏡画像と対照しやすい特徴量画像を生成することができる。
【００２７】
ＭＲＩシステム４も独自の座標系を有しており、その座標系に従って定義される３次元画像データを取得するようになっている。
ＭＲＩシステム４において取得された３次元画像データは画像処理部５に向けて送信されるようになっている。
【００２８】
画像処理部５は、ＭＲＩシステム４からの３次元画像データを受けるとともに、内視鏡検出部３により検出された内視鏡２の位置および観察方向を受け取って、立体的特徴量を算出する特徴量算出部８と、該特徴量算出部８により算出された立体的特徴量を記憶するメモリ９と、該メモリ９に記憶された立体的特徴量の分布を示す特徴量画像を生成する特徴量画像生成部１０とを備えている。また、画像処理部５は、内視鏡２により撮影された心臓Ａの画像信号を受け取って、図３に示されるような内視鏡画像Ｇ１を生成する内視鏡画像生成部１１を備えている。
【００２９】
さらに具体的には、画像処理部５の特徴量算出部８は、内視鏡検出部３の座標系とＭＲＩシステム４の座標系との対応関係が公知の方法でキャリブレーションされた状態で、内視鏡検出部３の演算部３ｃから送られてきた内視鏡２の位置および観察方向と、予め記憶されている内視鏡２の画角情報とに基づいて、ＭＲＩシステム４から送られてきた３次元画像データから、内視鏡画像Ｇ１として取得される撮影範囲に存在する３次元画像データの範囲を特定し、その範囲内に配置される複数の代表点について、３次元画像データから特徴量を算出するようになっている。
【００３０】
特徴量の算出は、例えば、図２に示されるように、３次元画像データとして、ＭＲＩシステム４から送られてきた心臓Ａの最外表面に位置する心外膜Ｂの３次元形状データと、心臓Ａの脂肪組織Ｃと心筋Ｄとの境界面Ｅの３次元形状データとを受け取る。そして、心外膜Ｂ上に複数の代表点ｐ１，ｐ２，ｐ３…を設定し、各代表点ｐ１，ｐ２，ｐ３…において、心臓Ａの心外膜Ｂに直交する方向の心外膜Ｂと境界面Ｅとの距離を算出する。
【００３１】
これにより特徴量としての脂肪組織Ｃの厚さが算出されるようになっている。算出された特徴量としての各代表点ｐ１，ｐ２，ｐ３…の位置における脂肪組織Ｃの厚さは、代表点ｐ１，ｐ２，ｐ３，…の座標とを対応づけてメモリ９に記憶されるようになっている。
【００３２】
特徴量画像生成部１０は、特徴量算出部８において、特徴量を算出するために設定した心外膜Ｂ上の代表点ｐ１，ｐ２，ｐ３…の座標を、内視鏡２の観察方向に直交する平面Ｆ上に投影した２次元的な座標に変換し、座標変換された各代表点ｐ１ａ、ｐ２ａ、ｐ３ａ…の位置に各代表点ｐ１，ｐ２，ｐ３…の特徴量を付与することにより、図４に示されるように、特徴量の分布を示す特徴量画像Ｇ２を生成するようになっている。
【００３３】
モニタ６，７としては、内視鏡画像Ｇ１を表示するための第１のモニタ６と特徴量画像Ｇ２を表示するための第２のモニタ７とが別々に用意されている。
内視鏡画像生成部１１において生成された内視鏡画像Ｇ１は第１のモニタ６に送られて表示され、特徴量画像生成部１０において生成された特徴量画像Ｇ２は第２のモニタ７に送られて表示されるようになっている。
【００３４】
このように構成された本実施形態に係る内視鏡システム１の作用について以下に説明する。
本実施形態に係る内視鏡システム１を用いて内視鏡手術を行うには、まず、手術に先立ってＭＲＩシステム４により患者の心臓Ａの３次元画像データを取得しておく。本実施形態においては、ＭＲＩシステム４により取得される３次元画像データとしては、心臓Ａの最外表面の心外膜Ｂの形状のみならず、脂肪組織Ｃと心筋Ｄとの境界面Ｅの３次元形状データが含まれる。
【００３５】
内視鏡２の挿入部２ａを患者の体内に挿入して、内視鏡手術が開始されると、内視鏡２により取得された心臓Ａの内視鏡画像Ｇ１が内視鏡画像生成部１１により生成され、第１のモニタ６に表示される。また、内視鏡検出部３の作動により、挿入部２ａの先端位置および観察方向が検出され、検出された情報が画像処理部５に送られる。
【００３６】
画像処理部５においては、特徴量算出部８により、特徴量が算出される。
すなわち、内視鏡検出部３から挿入部２ａの先端位置および観察方向が送られてくると、内視鏡２の画角情報から、内視鏡画像Ｇ１として取得される撮影範囲を算出することが可能となる。したがって、ＭＲＩシステム４から送られてきた３次元画像データの内、内視鏡画像Ｇ１の範囲に属することとなる３次元画像データの範囲を特定することができる。
【００３７】
このようにして特定された３次元画像データの範囲に含まれる３次元形状データから心外膜Ｂ上に定義された複数の代表点ｐ１，ｐ２，ｐ３，…について脂肪組織Ｃの厚さが算出され、算出された厚さが各代表点ｐ１，ｐ２，ｐ３，…の座標に対応づけてメモリ９に記憶される。
その後、特徴量画像生成部１０が、各代表点ｐ１，ｐ２，ｐ３，…を内視鏡２の観察方向に直交する平面Ｆ上に投影するように各代表点ｐ１，ｐ２，ｐ３，…の座標を変換し、変換された各代表点ｐ１ａ，ｐ２ａ，ｐ３ａ，…の座標位置に特徴量を付与することにより、特徴量画像Ｇ２を生成する。生成された特徴量画像Ｇ２は第２のモニタ７に表示される。
【００３８】
このようにして生成された特徴量画像Ｇ２は、第１のモニタ６に表示される内視鏡画像Ｇ１と略同一視野範囲で、内視鏡２と略同一位置から同一観察方向に向かって心臓Ａを観察した２次元画像上に特徴量の分布を表示した画像となっており、第１のモニタ６に表示された内視鏡画像Ｇ１と対照して観察することができる。
【００３９】
特に、本実施形態においては、特徴量画像Ｇ２として脂肪組織Ｃの厚さの分布画像が表示されているので、内視鏡画像Ｇ１により特定された患部にアブレーション等の手技を行う場合に、患部の位置に存在する脂肪組織Ｃの厚さを容易に確認することができ、手技を容易にすることができるという利点がある。
【００４０】
また、本実施形態においては、内視鏡検出部３により検出された内視鏡２の位置および観察方向に基づいて算出された撮影範囲に存在する３次元画像データについて特徴量を算出して記憶すればよいので、特徴量算出部８の演算量およびメモリ９の記憶容量を少なくすることができるという利点もある。
【００４１】
なお、本実施形態においては、被検体として患者を想定し、観察部位として心臓Ａを例示するとともに、特徴量として脂肪組織Ｃの厚さを例示したが、これに代えて、組織の厚さ寸法比、組織損傷領域寸法、他の任意の被検体、観察部位および特徴量を採用してもよい。
【００４２】
また、内視鏡検出部３により検出された内視鏡２の位置および観察方向により特定した範囲の３次元画像データから特徴量を算出することとしたが、これに代えて、図５に示されるように、ＭＲＩシステム４により３次元画像データが取得された全範囲の代表点について、特徴量算出部８がオフラインで特徴量を算出し、これをメモリ９に記憶することにしてもよい。このようにすることで、内視鏡検出部３により内視鏡２の先端部の位置および観察方向が検出されるごとに特徴量画像を生成する際には、既に計算されてメモリ９に記憶されている特徴量を参照すれば足りるので、計算量を減らすことができ、リアルタイム性を向上することができるという利点がある。
【００４３】
また、図１においては、内視鏡画像Ｇ１および特徴量画像Ｇ２を別個のモニタ６，７に表示することとしたが、これに代えて、画像処理部５内に画像合成部１２を設け、両画像Ｇ１，Ｇ２を重畳した合成画像Ｇ３を単一のモニタ６に表示してもよいし、両画像Ｇ１，Ｇ２を並列に単一のモニタ６に表示してもよい。この場合、等倍に表示してもよいし、一方を拡大表示し他方を縮小表示してもよい。
【００４４】
また、特徴量画像Ｇ２としては、特徴量の分布を示す等高線あるいは色分け画像を採用することができる。等高線の間隔や色分けの幅については任意に調節できることにすればよい。例えば、モニタに設けたダイヤル（図示略）等によって上限値および／または下限値を変更できるようにしてもよい。
【００４５】
また、本実施形態においては、内視鏡画像Ｇ１と特徴量画像Ｇ２とを並列あるいは重畳表示することとしたが、これに加えて、図６に示されるように、心臓Ａ全体の画像の中に内視鏡２の位置（例えば、図６では矢印で表示。）を表示した全体画像Ｇ４を並列に表示することにしてもよい。図中、符号１３は特徴量を示すゲージである。
【００４６】
この場合には、図７に示されるように、メモリ９に記憶された３次元画像データと内視鏡検出部３により検出された内視鏡２の位置および観察方向とに基づいて心臓Ａの画像の中における内視鏡２の位置を表示する全体画像Ｇ４を生成する全体画像生成部１４を設けることにすればよい。
【符号の説明】
【００４７】
Ａ  心臓（観察部位）
Ｆ  平面
Ｇ１  内視鏡画像（画像）
Ｇ２  特徴量画像
Ｇ３  合成画像
ｐ１，ｐ２，ｐ３  代表点
１  内視鏡システム
２  内視鏡
３  内視鏡検出部と、
４  ＭＲＩシステム（３次元測定装置）
５  画像処理部
９  メモリ（記憶部）
【図１】
0005993221.tif 000002
【図２】
0005993221.tif 000003
【図３】
0005993221.tif 000004
【図４】
0005993221.tif 000005
【図５】
0005993221.tif 000006
【図６】
0005993221.tif 000007
【図７】
0005993221.tif 000008