(57)【要約】      （修正有）【課題】術前画像をもとに３次元化されている三次元画像に医療器具の姿を三次元で表示することができる医療用画像処理装置を提供する。【解決手段】構造物の三次元画像に医療器具の三次元画像が重なった重畳画像を得るための画像情報を生成する画像情報生成部と、画像情報を出力する出力部と、を有し、医療器具が備える検知手段により検知された、構造物と医療器具との当接状態に基づいて、画像情報生成部が、重畳画像における構造物を補正し、出力部が、当該補正後の画像情報を出力することを特徴とする。【選択図】図１
2018011981.tif 000002
【特許請求の範囲】
【請求項１】
構造物の三次元画像に医療器具の三次元画像が重なった重畳画像を得るための画像情報を生成する画像情報生成部と、
前記画像情報を出力する出力部と、を有し、
前記医療器具が備える検知手段により検知された、前記構造物と前記医療器具との当接状態に基づいて、前記画像情報生成部が、前記重畳画像における前記構造物を補正し、
前記出力部が、当該補正後の画像情報を出力すること
を特徴とする医療用画像処理装置。
【請求項２】
前記画像情報生成部は、前記構造物と前記医療器具とが当接したことを前記検知手段が検知した場合に、前記構造物が前記医療器具に近づくように、前記重畳画像における前記構造物を補正することを特徴とする請求項１に記載の医療用画像処理装置。
【請求項３】
前記画像情報生成部は、前記重畳画像における前記構造物が大きくなるように補正することを特徴とする請求項２に記載の医療用画像処理装置。
【請求項４】
前記画像情報生成部は、大きくなるように補正される前記構造物の部分と、それ以外の部分とが連続的に表示されるように前記補正を行うことを特徴とする請求項３に記載の医療用画像処理装置。
【請求項５】
前記画像情報生成部は、前記構造物と前記医療器具とが当接していないことを前記検知手段が検知した場合に、前記重畳画像における前記構造物の視認性を下げる補正を行うことを特徴とする請求項１から４のいずれか１項に記載の医療用画像処理装置。
【請求項６】
前記重畳画像における前記構造物を縮小あるいは消去することにより、前記重畳画像における前記構造物の視認性を下げることを特徴とする請求項５に記載の医療用画像装置。
【請求項７】
前記検知手段は圧力センサであって、前記圧力センサが検知する圧力変化情報に基づいて、前記当接状態が取得されることを特徴とする請求項１から６のいずれか１項に記載の医療用画像装置。
【請求項８】
前記医療器具が、湾曲変形部を備えることを特徴とする請求項１から７のいずれか１項に記載の医療用画像装置。
【請求項９】
前記湾曲変形部が、複数の接輪が前記接輪の軸方向に連なった構造を有することを特徴とする請求項８に記載の医療用画像装置。
【請求項１０】
前記検知手段が前記湾曲変形部に設けられたことを特徴とする請求項８または９に記載の医療用画像装置。
【請求項１１】
前記検知手段が、前記湾曲変形部の姿勢を検知する姿勢センサであることを特徴とする請求項８から１０のいずれか１項に記載の医療用画像装置。
【請求項１２】
前記湾曲変形部の変形を制御する制御手段をさらに有することを特徴とする請求項８から１１のいずれか１項に記載の医療用画像装置。
【請求項１３】
前記制御手段が、前記医療器具と無線で通信することを特徴とする請求項１２に記載の医療用画像装置。
【請求項１４】
前記構造物の三次元画像はマーカーを有し、
前記画像情報生成部は、前記マーカーを用いて前記重畳画像を生成すること
を特徴とする請求項１から１３のいずれか１項に記載の医療用画像装置。
【請求項１５】
前記重畳画像の視点が変更可能であることを特徴とする請求項１から１４のいずれか１項に記載の医療用画像装置。
【請求項１６】
前記補正後の画像情報を表示する表示部をさらに備えることを特徴とする請求項１から１５のいずれか１項に記載の医療用画像装置。
【請求項１７】
構造物の三次元画像に医療器具の三次元画像が重なった重畳画像を得るための画像情報を生成する画像情報生成方法であって、
前記医療器具が備える検知手段により検知された、前記構造物と前記医療器具との当接状態に基づいて、前記重畳画像における前記構造物を補正する工程と、
当該補正後の画像情報を出力する工程と、を有すること
を特徴とする画像情報生成方法。
【請求項１８】
前記補正する工程において、前記構造物と前記医療器具とが当接したことを前記検知手段が検知した場合に、前記構造物が前記医療器具に近づくように、前記重畳画像における前記構造物を補正すること
を特徴とする請求項１７に記載の画像情報生成方法。
【請求項１９】
前記補正する工程において、前記重畳画像における前記構造物が大きくなるように補正することを特徴とする請求項１８に記載の画像情報生成方法。
【請求項２０】
前記補正する工程において、大きくなるように補正される前記構造物の部分と、それ以外の部分とが連続的に表示されるように前記補正を行うことを特徴とする請求項１９に記載の画像情報生成方法。
【請求項２１】
前記補正する工程において、前記構造物と前記医療器具とが当接していないことを前記検知手段が検知した場合に、前記重畳画像における前記構造物の視認性を下げる補正を行うことを特徴とする請求項１７から２０のいずれか１項に記載の画像情報生成方法。
【請求項２２】
前記重畳画像における前記構造物を縮小あるいは消去することにより、前記重畳画像における前記構造物の視認性を下げることを特徴とする請求項２１に記載の画像情報生成方法。
【請求項２３】
前記構造物の三次元画像はマーカーを有し、
前記マーカーを用いて前記重畳画像を生成する工程を有すること
を特徴とする請求項１７から２２のいずれか１項に記載の画像情報生成方法。
【請求項２４】
前記重畳画像の視点が変更可能であることを特徴とする請求項１７から２３のいずれか１項に記載の画像情報生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は内視鏡のような、対象物に挿入する医療器具の、使用環境を正確に可視化する医療用画像処理装置に関する。
【背景技術】
【０００２】
血管等の体内管腔構造内や体腔等に内視鏡やカテーテル等の術具を挿入する際、それらが複雑な形状をしている場合などでは、所望の部位に向けて挿入していくことが難しい。
【０００３】
そのために特許文献１は、術前にＸ線、ＣＴ、ＭＲＩ等で撮影した体内管腔構造画像から体内管腔構造の地図を作成しそれを利用して術具先端を体内所望の位置まで挿入していくナビゲーションをおこなっている。
【０００４】
術中ナビゲーションのために、術具の先端位置をＸ線により検出したり、術具の先端に発信手段を取り付け、その発信手段から発信された信号を受信手段で受信し、その受信信号より発信手段の位置をリアルタイムに求め地図に重畳して表示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５−１７７０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１が示す方法では二次元の地図を用いているため、術具が三次元的にどのような姿勢にあるかがわからない。
【課題を解決するための手段】
【０００７】
よって本発明は、
医療器具の形状変化情報を入力する入力部と、
入力された前記形状変化情報から画像信号を生成する画像信号生成部と
術前の構造物の三次元画像に前記医療器具の三次元画像が重なった重畳画像を得るための画像情報を生成する画像情報生成部と、
前記重畳画像情報を出力する出力部とを有する医療用画像処理装置を提供する。
【発明の効果】
【０００８】
本発明により、術前の構造物の三次元画像に前記医療器具の三次元画像が重なった重畳画像を得ることができる。これにより情報の正確な三次元画像を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第一の実施の形態に係る医療用画像表示装置を有するシステムを示す模式図である。
【図２】第一の実施の形態に係る医療用画像表示装置の構成を示す模式図である。
【図３】第一の実施の形態に係る医療用画像表示装置を有するシステムの、医療器具が有する湾曲変形部の模式図である。
【図４】湾曲変形部が角度センサを有することを示す模式図である。
【図５】湾曲変形部が姿勢センサを有することを示す模式図である。
【図６】湾曲変形部が圧力センサを有することを示す模式図である。
【図７】重畳画像において体内構造物の、湾曲変形部と当接する箇所が画像補正により大きく補正されていることを示す模式図である。
【発明を実施するための形態】
【００１０】
（第一の実施の形態）
本発明の第一の実施の形態に係る医療用画像処理装置は、対象物の術前（手術前および／または検査前）の三次元画像に医療器具の三次元画像を重ねて表示装置に表示させる画像情報生成部を有する。
【００１１】
図１は第１の実施の形態に係る医療用画像処理装置を用いたシステムの模式図である。対象物１００として被検体である人体に医療器具１が術時に挿入される。医療器具１は操作部３と挿入部２を有している。挿入部２はその先に湾曲変形部４を有している。湾曲変形部４は内蔵するワイヤ等で例えば図示するように紙面面内方向に湾曲（屈曲）変形する。医療器具が内視鏡の場合湾曲変形部には光ファイバ等の撮像光学系が内蔵されていたり、加えて処置具が内蔵されている。
【００１２】
医療器具１はケーブル８、９によってコントローラー５と接続する。コントローラー５は湾曲変形部４の変形をコントロールする以外に挿入部２の挿入深度、方向や角度、あるいは医療器具１自体の位置、回転方向等といった動作の諸条件を自動制御する。コントローラ５はケーブル１０、１１により、本実施形態に係る医療用画像処理装置であるナビゲーション部６と接続する。ナビゲーション部６が画像情報を出力し、画像表示装置７がそれを入力し画像を表示する。図１では画像表示装置７は観察する血管と挿入部２の一部と湾曲変形部４と三次元画像表示している。
【００１３】
図２は本実施形態に係る医療用画像処理装置であるナビゲーション部６の構成を示す模式図である。ナビゲーション部６は、術前画像入力部と、医療器具からの情報が入力される入力部と、医療器具からの情報から画像信号を生成する画像信号生成部と、画像情報生成部と画像情報生成部が生成した画像情報を表示装置へ出力する出力部を有している。
【００１４】
術前画像入力部には、術前に撮影した複数の二次元の断層画像が入力される。画像情報生成部は入力された複数の断層画像をセグメント化して三次元画像を作成する。
【００１５】
術前に撮影した二次元画像とは、例えばＣＴやＭＲＩ等の装置によって撮影された画像である。この画像は表示装置が表示する領域よりも広い領域の画像である。またこの二次元画像には、術前画像中に医療器具の湾曲変形部が正確な位置に表示されるように、撮影時に予め座標の基準となるマーカーが設けられている。
【００１６】
画像信号生成部は入力部に入力される医療器具１からの形状変化情報に基づいて画像信号を生成する。医療器具１からの形状変化情報とは、対象物に湾曲変形部が挿入されることで得られる湾曲変形部４の先端位置情報や角度変化情報や傾き変化情報や圧力変化情報である。コントローラ５を介して入力されるこれら少なくとも１つの情報から画像情報生成部は、医療器具１の湾曲変形部４の形状を三次元画像化するための画像情報を生成する。湾曲変形部４の形状とは、例えば湾曲変形部の太さ、先端部の輪郭のことである。
【００１７】
湾曲変形部の形状を決めるための他情報としては、湾曲変形部の構造、湾曲変形可能な角度、湾曲変形部が撮像光学系を有する場合の撮像可能な範囲、などといった対象物に湾曲変形部が挿入される前に既知である情報である。これら既知の情報は、コントローラ５からナビゲーション部６に入力されてもよいし、コントローラ５を介さずに不図示の入力手段でナビゲーション部に直接入力してもよい。
【００１８】
画像情報生成部は対象物の術前の三次元画像にこの湾曲変形部４の三次元画像を重ねた画像（重畳画像）を表示するための画像情報を作成する。重畳画像の画像情報は出力部から表示装置へ送られ、表示装置は重畳画像である三次元画像を表示する。
【００１９】
表示装置例えばＰＣ等のディスプレイである。ナビゲーション部６は観察者が見たい視点からの画像となるように、回転可能且つ並進移動可能な画像の画像情報を生成する。
【００２０】
このように本実施の形態に係る医療用画像処理装置は、術前画像をもとに３次元化されている三次元画像に医療器具の姿を三次元で表示することができる。
【００２１】
本実施形態に係る医療用画像処理装置が表示する医療器具の姿とは、先述した医療器具の湾曲変形部の形状であるが、本発明に係る医療用画像処理装置が表示する医療器具の姿は、湾曲変形部と挿入部の両方の姿でもよい。挿入部の姿も湾曲変形部と同様、湾曲変形部の挿入によって得られる情報や既知の情報から画像化すればよい。
【００２２】
本実施形態に係る医療用画像処理装置を用いたシステムは、コントローラ５が医療器具自体、挿入部あるいは湾曲変形部の、位置、深さ、角度、そして向きといった動作を自動で行う。これに対して本発明に係るシステムは、いずれかの動作をオペレータが手動で行ってもよい。
【００２３】
本実施形態に係る医療用画像処理装置を用いたシステムは、対象物１００として被検体である人体を挙げている。これに対して本発明に係る医療用画像処理装置を用いたシステムは、動物を対象物としてもよい。また  本実施形態に係る医療用画像処理装置を用いたシステムは、対象物１００として被検体である人体を挙げ、図中体腔部に医療器具が挿入されることを挙げている。これに対して本発明に係る医療用画像処理装置を用いたシステムは、口、耳等から体に侵入させてもよいし、脳の隙間や大腸、血管等の管腔に侵入させてもよい。
【００２４】
本実施形態に係る医療用画像処理装置を用いたシステムは、医療器具動作制御手段５とナビゲーション部６の間で移動する上述したような各情報はケーブルにより移動（受信および／または送信）するが、無線手段で移動してもよい。
【００２５】
本実施形態に係る医療用画像処理装置を用いたシステムは、ナビゲーション部６と表示装置７の間で移動する情報はケーブルにより移動するが、無線手段で移動してもよい。
【００２６】
本実施形態に係る医療用画像処理装置を用いたシステムは、ナビゲーション部６の各部間で移動する上述したような各情報はケーブルにより移動するが、無線手段で移動してもよい。
【００２７】
図３は医療用画像処理装置を用いたシステムの、医療器具１のうち、挿入部の一部（変形しない堅性部）２１とその先の湾曲変形部４を示す模式図である。図中ａは湾曲変形部４が湾曲している状態を示し、ｂは湾曲していない直線状態を示す。
【００２８】
湾曲変形部４は複数の節輪４１を長手方向に配置している。それぞれの節輪４１の間には支点４２がある。これら支点を中心に湾曲変形部４は湾曲に変形（回動）する。
【００２９】
本実施形態では本図中ｂのまっすぐな状態を初期状態とする。コントローラ５はこの状態を初期状態と認識し、湾曲変形した状態を二次元的にすなわち単純に形状認識する。
【００３０】
この状態と医療器具１の設置位置（傾きや対象物との距離等）と、術前画像が有するマーカーから、三次元画像における医療器具の位置をナビゲーション部６がレジストレーションするべく計算し、画像情報生成部が重畳画像情報を生成する。
【００３１】
図４乃至６は種々の湾曲変形部４の構成を示す模式図である。図４は湾曲変形部がポテンショメーターを有し角度変化情報を提供する形態、図５は湾曲変形部が姿勢センサを有し方向き姿勢の変化情報を提供する形態、そして図６は湾曲変形部が圧力センサを有し圧力変化情報を提供する形態である。
【００３２】
種々の湾曲変形部の構成を図４乃至６を挙げて説明する。
【００３３】
図４に示すように湾曲変形部は複数の節輪４１を有し、各支点にポテンショメータ４４１を有する。ポテンショメータ４１１は各節輪の角度を抵抗値として検出する。図中３つのポテンショメータの等価回路を本図ｂに示す。３つのポテンショメータ４４１はそれぞれ個別に角度に応じた電圧を角度変化情報としてコントローラ５に与える。
【００３４】
図５に示すように湾曲変形部は複数の節輪４１を有し、各節輪には側面の同じ位置に姿勢センサ４４２が設けられている。姿勢センサ４４２は例えば３軸加速度センサである。センサにかかる３方向の重力の方向、つまり各々の節輪の傾き（姿勢センサの傾き）を検出し、姿勢変化情報をコントローラ５に与える。姿勢センサは各節輪４１の三次元方向がわかるので、コントローラ５が湾曲変形部の姿勢を二次元的以外に三次元的に把握することができる。またコントローラ５が三次元的に姿勢を把握しなくても、ナビゲーション部６が姿勢変化情報を三次元画像を高速および／または正確に生成する際に役立たせることができる。
【００３５】
また姿勢センサは各節輪４１の三次元方向がわかるので、湾曲変形部が本実施形態のように二次元にのみ動く場合でも、湾曲変形部の姿勢を三次元的にわかる。それによって、湾曲変形部４が体内構造物によって圧迫され動作できない方向に姿勢が傾いた場合でも検出が可能である。
【００３６】
姿勢センサは加速度センサの他にエンコーダ、光学センサ等でもよい。
【００３７】
図６に示すように湾曲変形部は複数の節輪４１を有し、その間にポテンショメータ４４１と圧力センサ４４３を有する。圧力センサ４４３は圧力に応じて電圧を出力する。圧力センサは例えばＭＥＭＳ技術で作成されるピエゾ抵抗式の圧力センサである。
【００３８】
湾曲変形部の圧力変化情報はコントローラ５に与えられる。圧力変化情報に基づきナビゲーション部６からコントローラ５に与える動作制御情報を発信してもよい。例えばコントローラ５が自動で湾曲変形部を挿入する場合、圧力変化情報にもとづき、ナビゲーション部６が湾曲変形部が体内構造体に触れていると判断し、どの程度挿入を戻すかなどをコントローラ５に指示することができる。
【００３９】
（第二の実施の形態）
本発明の第二の実施の形態に係る医療用画像処理装置は、湾曲変形部が体内構造物に当接する場合、当接する部分の体内構造物の形状が大きくなるように、重畳画像中の体内構造物に相当する画像のうち、当接する部分の画像を補正する医療用画像処理装置である。それ以外は第１の実施の形態と同じである。
【００４０】
図７は本実施の形態に係る医療用画像処理装置が出力する画像情報に基づく三次元画像を示す模式図である。この図では体内構造物と湾曲変形部とが重畳された重畳画像が示されている。符号２０は挿入部２０、４０１は湾曲変形部、１０１は体内構造物である。図中ａは湾曲変形部先端が体内構造物と当接する直前を示す模式図であり、ｂは当接箇所の体内構造物の画像が大きくなるように補正された状態を示す模式図である。
【００４１】
自動制御された医療器具の挿入が途中で遅くなるなどの場合に、体内構造物と湾曲変形部とが当接していると考えられる。そのため挿入状況が変化した場合、医療器具の形状変化情報に基づきナビゲーション部が判断し、当接箇所の体内構造物（図中点線丸で囲んだところ）が大きくなるように画像補正する。
【００４２】
より具体的には先端部に圧力センサを有する湾曲変形部の先端が圧力を検知し且つその付近に体内構造物があることが術前画像あるいは重畳画像前の術前三次元画像からわかっている場合、そこの体内構造物が大きくなるように画像補正する。
【００４３】
このようにすることで、挿入中の対象物の構造が術前画像から把握できていた構造と大きさや位置などにおいて異なっていても、画像補正により、より正確な画像を提供することができる。
【００４４】
本実施形態は先端に圧力センサを有する湾曲変形部を有する医療器具を挙げて説明したが、本発明に係る医療画像処理装置は、湾曲変形部の管部や棒部の複数個所に圧力センサ等を設け、管部や棒部にかかる圧力から体内構造物の画像を大きく補正してもよい。
【００４５】
また本実施形態では体内構造物に湾曲変形部が当接する場合、その体内構造物の当接部の画像を大きくする画像補正をすることを説明した。これに対して本発明に係る医療画像処理装置は、術前画像から挿入や変形によって当接するであろうと予測していた場所において当接してなかった場合、当接するであろうと思われた体内構造物の当接予測箇所を画像から消去あるいは縮小する画像補正をしてもよい。
【符号の説明】
【００４６】
１  医療器具
４、４０１  湾曲変形部
５  コントローラ５
６  ナビゲーション部
１０１  体内構造物
【図１】
2018011981.tif 000003
【図２】
2018011981.tif 000004
【図３】
2018011981.tif 000005
【図４】
2018011981.tif 000006
【図５】
2018011981.tif 000007
【図６】
2018011981.tif 000008
【図７】
2018011981.tif 000009