(57)【要約】  医療用観察システムは、被検体の複数の断層画像を用いて生成された３次元画像上の所定の対象物の初期位置を示す情報である第１の位置情報を取得する第１の位置情報取得部と、被検体内に存在する所定の対象物を撮像した画像に基づき、所定の対象物の移動を検知する移動検知部と、所定の対象物の移動が検知された際に、３次元画像上の所定の対象物の現在位置を示す情報である第２の位置情報を取得する第２の位置情報取得部と、第１の位置情報及び第２の位置情報を時系列に格納する位置情報記憶部と、位置情報記憶部に格納されている各位置情報のうちの少なくとも最新の位置情報を３次元画像上または複数の断層画像に基づいて生成された擬似透視画像上のいずれかに示す位置情報提示部と、を有する。
2016042811.tif 000002
【特許請求の範囲】
【請求項１】
被検体の複数の断層画像を用いて生成された３次元画像に基づき、前記３次元画像上の所定の対象物の初期位置を示す情報である第１の位置情報を取得するための処理を行うように構成された第１の位置情報取得部と、
前記被検体内に存在する前記所定の対象物を撮像した画像に基づき、前記所定の対象物の移動を検知するように構成された移動検知部と、
前記所定の対象物の移動が前記移動検知部により検知された際に、前記３次元画像上の前記所定の対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された第２の位置情報取得部と、
前記第１の位置情報取得部により取得された前記第１の位置情報、及び、前記第２の位置情報取得部により取得された前記第２の位置情報を時系列に格納するように構成された位置情報記憶部と、
前記位置情報記憶部に格納されている各位置情報のうちの少なくとも最新の位置情報を、前記３次元画像上、または、前記複数の断層画像に基づいて生成された擬似透視画像上のいずれかに示すための処理を行うように構成された位置情報提示部と、
を有することを特徴とする医療用観察システム。
【請求項２】
前記移動検知部は、前記被検体内に挿入される内視鏡を用いて前記被検体内に存在する前記所定の対象物を撮像した内視鏡画像に基づいて前記所定の対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項３】
前記移動検知部は、前記所定の対象物を含む前記擬似透視画像と、前記被検体を透過する放射線を用いて前記被検体内に存在する前記所定の対象物を撮像した透視画像と、に基づいて前記所定の対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項４】
前記移動検知部は、前記内視鏡画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記所定の対象物の移動を検知する
ことを特徴とする請求項２に記載の医療用観察システム。
【請求項５】
前記移動検知部は、前記擬似透視画像及び前記透視画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記所定の対象物の移動を検知する
ことを特徴とする請求項３に記載の医療用観察システム。
【請求項６】
前記移動検知部は、前記内視鏡画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、
前記第２の位置情報取得部は、前記所定の対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項２に記載の医療用観察システム。
【請求項７】
前記移動検知部は、前記透視画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、
前記第２の位置情報取得部は、前記所定の対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項３に記載の医療用観察システム。
【請求項８】
前記第２の位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項４に記載の医療用観察システム。
【請求項９】
前記第２の位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項５に記載の医療用観察システム。
【請求項１０】
前記被検体内に挿入される内視鏡の先端部の実空間上の位置を所定の時間間隔毎に検出するように構成された位置検出部と、
前記位置検出部により検出された前記先端部の実空間上の位置を、前記３次元画像上の位置を示す情報である先端位置情報に変換するための処理を行うように構成された位置情報変換部と、
前記先端位置情報を時系列に格納するように構成された先端位置情報記憶部と、をさらに有し、
前記第２の位置情報取得部は、前記所定の対象物の移動が前記移動検知部により検知された際に、前記先端位置情報記憶部から最新の先端位置情報を読み込み、当該読み込んだ最新の先端位置情報を前記第２の位置情報として取得する
ことを特徴とする請求項１に記載の医療用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療用観察システムに関し、特に、生体内に存在する所定の対象物の位置を特定するために用いられる医療用観察システムに関するものである。
【背景技術】
【０００２】
腎臓内の結石を除去するための処置方法として、例えば、ＥＳＷＬ（体外衝撃波砕石術）、ＴＵＬ（経尿道的尿管砕石術）、及び、ｆ−ＴＵＬ（経尿道的結石砕石術）等の処置方法が従来知られている。【０００３】
また、例えば、日本国特表２０１３−５２７７８２号公報には、腎臓内の結石の除去を促進するための処置方法として、蛍光透視法等の既知の造影モダリティを用いて当該結石の位置を特定し、当該結石に対して所定の範囲の圧力振幅を有する押出超音波を当てる方法が開示されている。【０００４】
ところで、ＴＵＬまたはｆ−ＴＵＬにおいては、破砕前後における結石の現在位置を、内視鏡画像を確認しながら当該結石の除去に係る処置を行う術者の主観的判断に基づいて特定せざるを得ないため、当該術者に過度な負担を強いてしまう場合がある、という課題が生じている。【０００５】
また、日本国特表２０１３−５２７７８２号公報に開示された構成によれば、蛍光透視法等の既知の造影モダリティを用いて結石を可視化した際に、当該結石の現在位置を視覚的に特定し辛い画像が生成される場合があり、すなわち、当該結石の除去に係る処置を行う術者に過度な負担を強いてしまう場合がある、という課題が生じている。【０００６】
本発明は、前述した事情に鑑みてなされたものであり、結石の除去に係る処置を行う術者の負担を軽減することが可能な医療用観察システムを提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明の一態様の医療用観察システムは、被検体の複数の断層画像を用いて生成された３次元画像に基づき、前記３次元画像上の所定の対象物の初期位置を示す情報である第１の位置情報を取得するための処理を行うように構成された第１の位置情報取得部と、前記被検体内に存在する前記所定の対象物を撮像した画像に基づき、前記所定の対象物の移動を検知するように構成された移動検知部と、前記所定の対象物の移動が前記移動検知部により検知された際に、前記３次元画像上の前記所定の対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された第２の位置情報取得部と、前記第１の位置情報取得部により取得された前記第１の位置情報、及び、前記第２の位置情報取得部により取得された前記第２の位置情報を時系列に格納するように構成された位置情報記憶部と、前記位置情報記憶部に格納されている各位置情報のうちの少なくとも最新の位置情報を、前記３次元画像上、または、前記複数の断層画像に基づいて生成された擬似透視画像上のいずれかに示すための処理を行うように構成された位置情報提示部と、を有する。
【図面の簡単な説明】
【０００８】
【図１】実施例に係る医療用観察システムの要部の構成を示す図。
【図２】実施例に係る画像処理装置の構成の一例を説明するための図。
【図３】先端位置記憶部に格納される先端位置データの一例を示す図。
【図４】所定の管腔臓器の３次元モデルデータの一例を説明するための模式図。
【図５】所定の管腔臓器の３次元モデルデータの、図４とは異なる例を説明するための模式図。
【図６】表示装置に表示される画像の一例を説明するための図。
【図７】結石位置記憶部に格納される結石位置データの一例を示す図。
【図８】実施例に係る医療用観察システムにおいて行われる処理の一例を説明するためのフローチャート。
【図９】表示装置に表示される画像の他の例を説明するための図。
【図１０】表示装置に表示される画像の他の例を説明するための図。
【図１１】表示装置に表示される画像の他の例を説明するための図。
【図１２】表示装置に表示される画像の他の例を説明するための図。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。【００１０】
図１から図１２は、本発明の実施例に係るものである。図１は、実施例に係る医療用観察システムの要部の構成を示す図である。【００１１】
医療用観察システム１は、図１に示すように、内視鏡２と、内視鏡画像生成装置３と、位置検出装置４と、Ｘ線Ｃアーム装置５と、サーバ６と、画像処理装置７と、表示装置８と、入力装置９と、を有して構成されている。【００１２】
内視鏡２は、被検体内に挿入可能であるとともに可撓性を有して形成された細長の挿入部１１と、挿入部１１の基端部に連設された操作部１２と、操作部１２の側面より延設されたケーブル１３と、を有して構成されている。【００１３】
内視鏡２は、ケーブル１３を介して内視鏡画像生成装置３に接続されるとともに、ケーブル１４を介して位置検出装置４に接続されるように構成されている。【００１４】
挿入部１１の先端部１１Ａには、被検体内の被写体を撮像するための撮像部１０が設けられている。【００１５】
撮像部１０は、例えば、ＣＣＤ等の撮像素子により被写体を撮像し、当該撮像した被写体に応じた撮像信号を生成するように構成されている。そして、撮像部１０において生成された撮像信号は、操作部１２及びケーブル１３を経て内視鏡画像生成装置３へ出力される。【００１６】
挿入部１１の先端部１１Ａから基端部にかけての部分には、位置検出装置４から発せられる磁界を検出し、当該検出した磁界に応じた電気信号を生成する複数の磁気センサ５１が所定の間隔毎に配設されている。そして、複数の磁気センサ５１において生成された電気信号は、操作部１２及びケーブル１４を経て位置検出装置４へ出力される。【００１７】
内視鏡画像生成装置３は、ケーブル１３を介して内視鏡２に接続されるように構成されている。また、内視鏡画像生成装置３は、内視鏡２からケーブル１３を経て出力される撮像信号に対して所定の画像処理を施すことにより内視鏡画像データを生成し、当該生成した内視鏡画像データを画像処理装置７へ出力するように構成されている。【００１８】
位置検出装置４は、ケーブル１４を介して内視鏡２に接続されるように構成されている。また、位置検出装置４は、ケーブル１４を経て入力される電気信号の中から、挿入部１１の最も先端側に位置する磁気センサ５１において生成された電気信号を抽出し、当該抽出した電気信号に基づいて挿入部１１の先端部１１Ａの実空間上の位置及び方向を検出するための演算を所定の時間間隔毎に行い、当該演算により得られた演算結果を示す先端位置データ及び先端方向データを生成し、当該生成した先端位置データ及び先端方向データを画像処理装置７へ順次出力するように構成されている。【００１９】
位置検出装置４は、ケーブル１４を経て入力される電気信号に基づき、挿入部１１の挿入形状を検出するための演算を行い、当該演算により得られた演算結果を示す挿入形状データを生成し、当該生成した挿入形状データを画像処理装置７へ出力するように構成されている。【００２０】
位置検出装置４は、ケーブル１５を経て入力される電気信号に基づき、Ｘ線Ｃアーム装置５におけるＸ線Ｃアーム（後述）の位置等を検出するための演算を行い、当該演算により得られた演算結果を示すＸ線撮像位置データを生成し、当該生成したＸ線撮像位置データを画像処理装置７へ出力するように構成されている。【００２１】
Ｘ線Ｃアーム装置５は、被検体を透過するＸ線を発するＸ線発生部と、当該Ｘ線発生部から発せられたＸ線を検出するためのＸ線検出部を略対向する位置に設けたＸ線Ｃアームと、を具備して構成されている。また、Ｘ線Ｃアーム装置５は、Ｘ線Ｃアームを任意の角度に回転させることにより、多方向から術中のＸ線画像データを取得し、当該取得した術中のＸ線画像データを画像処理装置７へ出力するように構成されている。【００２２】
Ｘ線Ｃアーム装置５のＸ線Ｃアームには、位置検出装置４から発せられる磁界を検出し、当該検出した磁界に応じた電気信号を生成する磁気センサ（不図示）が設けられている。そして、前述の磁気センサにおいて生成された電気信号は、ケーブル１５を経て位置検出装置４へ出力される。【００２３】
サーバ６には、例えば、ＣＴまたはＭＲＩ等により被検体を撮像して取得した術前マルチスライス画像データ１６ａ〜１６ｎが格納されている。術前マルチスライス画像データ１６ａ〜１６ｎは、例えば、ローカルエリアネットワーク等のネットワーク回線を経て画像処理装置７へ出力される。【００２４】
なお、本実施例においては、術前マルチスライス画像データ１６ａ〜１６ｎがサーバ６から画像処理装置７へ出力されるように構成したものに限らず、例えば、ＣＤ−ＲＯＭ等の可搬型記憶媒体に予め格納された術前マルチスライス画像データ１６ａ〜１６ｎが画像処理装置７により読み込まれるようにしてもよい。【００２５】
表示装置８は、例えば、液晶ディスプレイ等を具備し、画像処理装置７から出力される画像を表示するように構成されている。【００２６】
入力装置９は、例えば、タッチパネルまたはキーボード等を具備し、術者等のユーザの操作に応じた情報の入力を画像処理装置７に対して行うことができるように構成されている。なお、本実施例によれば、例えば、内視鏡２の操作部１２のスコープスイッチ（不図示）等において、入力装置９と同様の情報を入力することができるようにしてもよい。【００２７】
次に、画像処理装置７の詳細な構成等について説明する。【００２８】
画像処理装置７は、図２に示すように、記憶部２１と、先端位置記憶部２２と、演算部２３と、先端座標変換部２４と、画像処理部２５と、結石位置記憶部２６と、を有して構成されている。図２は、実施例に係る画像処理装置の構成の一例を説明するための図である。【００２９】
記憶部２１は、例えば、ハードディスクドライブ等の記憶装置を具備し、サーバ６から出力される術前マルチスライス画像データ１６ａ〜１６ｎを格納するように構成されている。【００３０】
先端位置記憶部２２は、位置検出装置４から出力される挿入形状データを格納するように構成されている。【００３１】
先端位置記憶部２２は、位置検出装置４から出力される先端位置データ及び先端方向データにタイムスタンプＴＳＰを付与して格納するように構成されている。そして、このような先端位置記憶部２２の構成によれば、例えば、図３に示すように、位置検出装置４から出力される先端位置データのＸ座標値Ａ１、Ｙ座標値Ｂ１及びＺ座標値Ｃ１にタイムスタンプＴＳＰ１が付与された状態で格納される。なお、図３においては、簡単のため、先端方向データを省略して示している。図３は、先端位置記憶部に格納される先端位置データの一例を示す図である。【００３２】
演算部２３は、位置合わせを実施するための情報の入力が入力装置９において行われたことを検知した際に、先端位置記憶部２２に格納されている先端位置データの座標値と、画像処理部２５から出力される芯線データの座標値（後述）と、を比較することにより、実空間上の位置を示す座標値を３次元データ上の位置を示す座標値に変換するための変換式を算出するように構成されている。【００３３】
先端座標変換部２４は、演算部２３で算出された変換式に基づき、先端位置記憶部２２に格納されている先端位置データ及び先端方向データを３次元データ上の位置を示す座標値に変換するように構成されている。また、先端座標変換部２４は、変換後の先端位置データ及び先端方向データと、変換前の先端位置データ及び方向データと、タイムスタンプＴＳＰと、を併せて先端位置記憶部２２に格納するように構成されている。そして、このような先端座標変換部２４の処理によれば、例えば、図３に示すように、変換前の先端位置データである実空間上のＸ座標値Ａ１、Ｙ座標値Ｂ１及びＺ座標値Ｃ１と、変換後の先端位置データである３次元データ上のＸ座標値Ｄ１、Ｙ座標値Ｅ１及びＺ座標値Ｆ１と、タイムスタンプＴＳＰ１と、が併せて先端位置記憶部２２に格納される。また、前述のような先端座標変換部２４の処理によれば、３次元データ上の先端位置データが先端位置記憶部２２に時系列に格納される。【００３４】
すなわち、以上に述べたような演算部２３及び先端座標変換部２４の処理によれば、所定の管腔臓器の３次元モデルデータ上の座標位置と、位置検出装置４において取得された挿入部１１の先端の座標位置と、を合わせ込むことができる。【００３５】
画像処理部２５は、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎを用いて被検体の３次元モデルデータを生成し、当該生成した被検体の３次元モデルデータの中から、尿管４０、腎盂４１、腎杯４２〜４９及び結石ＳＴを含む所定の管腔臓器の３次元モデルデータ３１（図４参照）を抽出するように構成されている。また、画像処理部２５は、３次元モデルデータ３１における管腔の芯線データの座標値を抽出し、当該抽出した芯線データの座標値を演算部２３へ出力するように構成されている。また、画像処理部２５は、所定の管腔臓器を２方向から観察できるようにするために、前述のように抽出した３次元モデルデータ３１を任意の角度だけ回転させた３次元モデルデータ３２（図５参照）を生成するように構成されている。図４は、所定の管腔臓器の３次元モデルデータの一例を説明するための模式図である。図５は、所定の管腔臓器の３次元モデルデータの、図４とは異なる例を説明するための模式図である。【００３６】
なお、本実施例の画像処理部２５は、被検体の３次元モデルデータの中から、尿管４０、腎盂４１及び腎杯４２〜４９のみならず、例えば、膀胱や尿道を含めた３次元モデルデータを抽出するようにしてもよい。また、本実施例の画像処理部２５は、被検体の３次元モデルデータの中から所定の管腔臓器の３次元モデルデータを抽出するものに限らず、例えば、サーバ６または記憶部２１に予め格納されている当該所定の管腔臓器の３次元モデルデータを読み込むものであってもよい。【００３７】
一方、画像処理部２５は、擬似Ｘ線画像生成部２５ａと、移動検知部２５ｂと、結石位置取得部２５ｃと、表示用画像生成部２５ｄと、を有して構成されている。【００３８】
擬似Ｘ線画像生成部２５ａは、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎに基づいて擬似Ｘ線画像データを生成するように構成されている。【００３９】
移動検知部２５ｂは、結石ＳＴの初期位置の内視鏡画像データと、結石ＳＴの現在位置の内視鏡画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量として取得するように構成されている。または、移動検知部２５ｂは、擬似Ｘ線画像生成部２５ａにより生成された結石ＳＴを含む擬似Ｘ線画像データと、Ｘ線Ｃアーム装置５により被検体内に存在する結石ＳＴを撮像して得られたＸ線画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量として取得するように構成されている。【００４０】
なお、結石ＳＴの初期位置の内視鏡画像データは、例えば、被検体内に存在する結石ＳＴに対する処置が行われる前に当該結石ＳＴを撮像して得られた動画データまたは静止画データとして内視鏡画像生成装置３から出力され、画像処理部２５の図示しないメモリ等に格納されるものとする。また、結石ＳＴの現在位置の内視鏡画像データは、例えば、被検体内に存在する結石ＳＴに対する処置が行われている最中に当該結石ＳＴを撮像して得られた動画データまたは静止画データとして内視鏡画像生成装置３から出力され、画像処理部２５の図示しないメモリ等に格納されるものとする。【００４１】
移動検知部２５ｂは、前述のように取得した結石ＳＴの移動量と所定の閾値ＴＨとを比較した比較結果に基づき、または、入力装置９のスイッチＳＷ１（不図示）の操作に応じた情報の入力がなされたか否かを判定した判定結果に基づき、結石ＳＴが移動したか否かを検知するように構成されている。なお、スイッチＳＷ１は、例えば、処置に適した位置に結石ＳＴを移動させた場合等のような、ユーザの意図に応じて結石ＳＴを移動させたことが明白である場合において、結石ＳＴが移動したことを告知するための情報の入力を画像処理部２５に対して行うことが可能なスイッチとして構成されている。【００４２】
結石位置取得部２５ｃは、術前マルチスライス画像データ１６ａ〜１６ｎを用いて生成された被検体の３次元モデルデータに基づき、当該被検体の３次元モデルデータにおける結石ＳＴの初期位置を示す座標値を取得するように構成されている。【００４３】
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、演算部２３により算出された変換式と、位置検出装置４から出力されるＸ線撮像位置データと、に基づき、移動検知部２５ｂにより取得された移動量を、擬似Ｘ線画像生成部２５ａにより生成された擬似Ｘ線画像データ上に投影することにより、３次元データ上の結石ＳＴの現在位置を示す座標値を取得するように構成されている。【００４４】
または、結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、タイムスタンプＴＳＰｎが付与された最新の先端位置データのＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎ（図３参照）を先端位置記憶部２２から読み込み、当該読み込んだＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎを３次元データ上の結石ＳＴの現在位置を示す座標値として取得するように構成されている。【００４５】
結石位置取得部２５ｃは、３次元データ上の結石ＳＴの初期位置を示す座標値、及び、３次元データ上の結石ＳＴの現在位置を示す座標値を結石位置データとして結石位置記憶部２６へ順次出力するように構成されている。【００４６】
表示用画像生成部２５ｄは、結石位置記憶部２６に格納されている結石位置データに基づき、３次元データ上の結石ＳＴの位置を示す１つ以上のマーカーＭを生成し、当該生成したマーカーＭを３次元モデルデータ３１及び３２に合成するように構成されている。【００４７】
表示用画像生成部２５ｄは、マーカーＭを含む３次元モデルデータ３１及び３２と、内視鏡画像生成装置３から出力される内視鏡画像データに対して所定の画像処理を施すことにより生成した内視鏡画像３４と、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎの中からユーザにより選択された１つの術前マルチスライス画像データ１６ｉと、を合成することにより表示用画像を生成し、当該生成した表示用画像を表示装置８へ出力するように構成されている。そして、このような表示用画像生成部２５ｄの処理により、例えば、図６に示すような画像が表示装置８に表示される。図６は、表示装置に表示される画像の一例を説明するための図である。【００４８】
表示用画像生成部２５ｄは、入力装置９のスイッチＳＷ２（不図示）の操作に応じた情報の入力がなされたことを検知した際に、結石位置記憶部２６に格納されている結石位置データに基づき、３次元データ上の結石ＳＴの位置を示すマーカーの表示態様を変更するように構成されている。なお、スイッチＳＷ２は、例えば、３次元モデルデータ３１及び３２に表示されている１つ以上のマーカーを選択するための情報の入力、及び、当該選択した１つ以上のマーカーの表示態様を所望の表示態様に変更するための情報の入力を画像処理部２５に対して行うことが可能なスイッチとして構成されている。【００４９】
結石位置記憶部２６は、画像処理部２５から順次出力される結石位置データにタイムスタンプＴＳＱを付与して格納するように構成されている。そして、このような結石位置記憶部２６の構成によれば、例えば、図７に示すように、結石ＳＴの初期位置を示すＸ座標値Ｇ１、Ｙ座標値Ｈ１及びＺ座標値Ｉ１にタイムスタンプＴＳＱ１が付与された状態で格納される。また、前述のような結石位置記憶部２６の構成によれば、例えば、図７に示すように、結石ＳＴの最新の位置を示すＸ座標値Ｇｍ、Ｙ座標値Ｈｍ及びＺ座標値ＩｍにタイムスタンプＴＳＱｍが付与された状態で格納される。すなわち、前述のような結石位置記憶部２６の構成によれば、画像処理部２５から順次出力される結石位置データが時系列に格納される。図７は、結石位置記憶部に格納される結石位置データの一例を示す図である。【００５０】
続いて、本実施例の作用について説明する。図８は、実施例に係る医療用観察システムにおいて行われる処理の一例を説明するためのフローチャートである。【００５１】
画像処理部２５は、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎを用いて被検体の３次元モデルデータを生成し、当該生成した被検体の３次元モデルデータの中から、尿管４０、腎盂４１、腎杯４２〜４９及び結石ＳＴを含む所定の管腔臓器の３次元モデルデータ３１を抽出する。また、画像処理部２５は、前述のように抽出した３次元モデルデータ３１を任意の角度だけ回転させた３次元モデルデータ３２を生成する。【００５２】
結石位置取得部２５ｃは、術前マルチスライス画像データ１６ａ〜１６ｎを用いて生成された被検体の３次元モデルデータに基づき、当該被検体の３次元モデルデータにおける結石ＳＴの初期位置を示す座標値を取得し、当該取得した座標値を結石位置データとして結石位置記憶部２６へ出力する。【００５３】
表示用画像生成部２５ｄは、結石の初期位置を示す画像を生成するための処理として、以下に述べるような処理を行う（図８のステップＳ１）。【００５４】
表示用画像生成部２５ｄは、結石位置記憶部２６に格納されている結石位置データに基づき、３次元データ上の結石ＳＴの初期位置を示すマーカーＭ１を生成し、当該生成したマーカーＭ１を３次元モデルデータ３１及び３２に合成する。また、表示用画像生成部２５ｄは、マーカーＭ１を含む３次元モデルデータ３１及び３２と、内視鏡画像３４と、術前マルチスライス画像データ１６ｉと、を合成して表示用画像を生成し、当該生成した表示用画像を表示装置８へ出力する。【００５５】
そして、以上に述べたような処理が表示用画像生成部２５ｄにおいて行われることにより、例えば、図９に示すような画像が表示装置８に表示される。図９は、表示装置に表示される画像の他の例を説明するための図である。なお、図９においては、簡単のため、挿入部１１が被検体の内部に挿入される前に表示装置８に表示される内視鏡画像３４の詳細を省略しているものとする。【００５６】
ユーザは、表示装置８に表示される画像におけるマーカーＭ１の位置を確認しながら、挿入部１１を被検体の内部へ挿入してゆくことにより、挿入部１１の先端部１１Ａを腎杯４９の結石ＳＴの近傍に配置する。そして、このようなユーザの挿入操作に応じ、例えば、図１０に示すように、腎杯４９内に位置する結石ＳＴを含む内視鏡画像３４が表示装置８に表示される。図１０は、表示装置に表示される画像の他の例を説明するための図である。【００５７】
その後、ユーザは、表示装置８に表示される内視鏡画像３４を確認しながら、腎杯４９内に位置する結石ＳＴに対する処置を開始する。【００５８】
移動検知部２５ｂは、結石ＳＴの移動を検知するための処理として、以下に述べる各処理のうちのいずれか１つの処理を行う（図８のステップＳ２）。【００５９】
移動検知部２５ｂは、結石ＳＴの初期位置の内視鏡画像データと、結石ＳＴの現在位置の内視鏡画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量ＤＡとして取得する。そして、移動検知部２５ｂは、移動量ＤＡと所定の閾値ＴＨ１とを比較し、移動量ＤＡが所定の閾値ＴＨ１以上であるとの比較結果を得た場合に結石ＳＴの移動を検知する。【００６０】
移動検知部２５ｂは、擬似Ｘ線画像生成部２５ａにより生成された結石ＳＴを含む擬似Ｘ線画像データと、Ｘ線Ｃアーム装置５により被検体内に存在する結石ＳＴを撮像して得られたＸ線画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量ＤＢとして取得する。そして、移動検知部２５ｂは、移動量ＤＢと所定の閾値ＴＨ２を比較し、移動量ＤＢが所定の閾値ＴＨ２以上であるとの比較結果を得た場合に結石ＳＴの移動を検知する。【００６１】
移動検知部２５ｂは、入力装置９のスイッチＳＷ１の操作に応じた情報の入力がなされたか否かを判定し、スイッチＳＷ１の操作に応じた情報の入力がなされたとの判定結果を得た場合に結石ＳＴが移動したことを検知する。【００６２】
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、結石ＳＴの現在位置を取得するための処理として、以下に述べる各処理のうちのいずれか１つの処理を行う（図８のステップＳ３）。【００６３】
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、演算部２３により算出された変換式と、位置検出装置４から出力されるＸ線撮像位置データと、に基づき、移動検知部２５ｂにより取得された移動量ＤＡまたはＤＢを、擬似Ｘ線画像生成部２５ａにより生成された擬似Ｘ線画像データ上に投影することにより、３次元データ上の結石ＳＴの現在位置を示す座標値を取得する。そして、結石位置取得部２５ｃは、３次元データ上の結石ＳＴの現在位置を示す座標値を結石位置データとして結石位置記憶部２６へ出力する。【００６４】
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、タイムスタンプＴＳＰｎが付与された最新の先端位置データのＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎを先端位置記憶部２２から読み込み、当該読み込んだＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎを３次元データ上の結石ＳＴの現在位置を示す座標値として取得する。そして、結石位置取得部２５ｃは、３次元データ上の結石ＳＴの現在位置を示す座標値を結石位置データとして結石位置記憶部２６へ出力する。【００６５】
位置情報提示部としての機能を備えた表示用画像生成部２５ｄは、結石の現在位置を示す画像を生成するための処理として、以下に述べるような処理を行う（図８のステップＳ４）。【００６６】
表示用画像生成部２５ｄは、結石位置記憶部２６に格納されている最新の結石位置データに基づき、３次元データ上の結石ＳＴの現在位置を示すマーカーＭｎを生成し、当該生成したマーカーＭｎを３次元モデルデータ３１及び３２に合成するとともに、当該生成したマーカーＭｎよりも前に生成したマーカーを３次元モデルデータ３１及び３２から消去する。また、表示用画像生成部２５ｄは、マーカーＭｎを含む３次元モデルデータ３１及び３２と、内視鏡画像３４と、術前マルチスライス画像データ１６ｉと、を合成して表示用画像を生成し、当該生成した表示用画像を表示装置８へ出力する。【００６７】
そして、以上に述べたような処理が表示用画像生成部２５ｄにおいて行われることにより、例えば、図１１に示すような画像が表示装置８に表示される。図１１は、表示装置に表示される画像の他の例を説明するための図である。【００６８】
すなわち、本実施例によれば、図８のステップＳ２〜Ｓ４の処理を繰り返し行うことにより、結石ＳＴの現在位置を示すマーカーを、所定の管腔臓器の３次元モデルデータ上に略リアルタイムに表示させることができる。その結果、本実施例によれば、結石の除去に係る処置を行う術者の負担を軽減することができる。【００６９】
なお、本実施例の表示用画像生成部２５ｄは、結石ＳＴの位置を示すマーカーを、所定の管腔臓器の３次元モデルデータ３１に合成して表示用画像を生成するものに限らず、例えば、当該所定の管腔臓器の３次元モデルデータ３１を抽出する前の被検体の３次元モデルデータに合成して表示用画像を生成するものであってもよく、または、擬似Ｘ線画像生成部２５ａにより生成された擬似Ｘ線画像データに合成して表示用画像を生成するものであってもよい。【００７０】
また、本実施例の表示用画像生成部２５ｄは、図８のステップＳ４において、前述のような処理を行うものに限らず、例えば、入力装置９のスイッチＳＷ２の操作に応じた情報の入力を検出した際に、少なくともマーカーＭｎを含む複数のマーカーを相互に異なる色で着色し、当該着色した複数のマーカーを３次元モデルデータ３１及び３２に合成するような処理を行ってもよい。【００７１】
また、本実施例の表示用画像生成部２５ｄは、例えば、結石ＳＴの位置を示すマーカーと、入力装置９の操作に応じて当該マーカーに付与されたコメントと、を併せて表示させるような表示用画像を生成するものであってもよい。【００７２】
また、本実施例の表示用画像生成部２５ｄは、図８のステップＳ４において、前述のような処理を行うものに限らず、例えば、入力装置９のスイッチＳＷ２の操作に応じた情報の入力を検出した際に、３次元データ上の結石ＳＴの現在位置を示すマーカーＭｎと、マーカーＭ１からＭｎまでの３次元データ上の結石ＳＴの移動軌跡を示す線分ＬＳと、をそれぞれ生成し、当該生成したマーカーＭｎ及び線分ＬＳを３次元モデルデータ３１及び３２に合成するようにしてもよい。そして、このような処理が表示用画像生成部２５ｄにおいて行われた場合には、例えば、図１２に示すような画像が表示装置８に表示される。図１２は、表示装置に表示される画像の他の例を説明するための図である。【００７３】
なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。【００７４】
本出願は、２０１４年９月１９日に日本国に出願された特願２０１４−１９１７２７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
2016042811.tif 000003
【図２】
2016042811.tif 000004
【図３】
2016042811.tif 000005
【図４】
2016042811.tif 000006
【図５】
2016042811.tif 000007
【図６】
2016042811.tif 000008
【図７】
2016042811.tif 000009
【図８】
2016042811.tif 000010
【図９】
2016042811.tif 000011
【図１０】
2016042811.tif 000012
【図１１】
2016042811.tif 000013
【図１２】
2016042811.tif 000014
【手続補正書】
【提出日】平成28年6月8日(2016.6.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一態様の医療用観察システムは、被検体の３次元画像上の所定の対象物の初期位置を示す情報である第１の位置情報を記憶するための処理を行うように構成された位置情報記憶部と、前記所定の対象物の移動を検知するように構成された移動検知部と、前記所定の対象物の移動が前記移動検知部により検知された際に、前記３次元画像上の前記所定の対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された位置情報取得部と、前記位置情報取得部により前記第２の位置情報が取得された場合、前記３次元画像上における前記所定の対象物の位置を、前記第１の位置情報から前記前記第２の位置情報へ更新し、前記被検体の３次元画像上、または、前記被検体の複数の断層画像に基づいて生成された擬似透視画像上に提示する位置情報提示部と、を有する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体の３次元画像上の所定の対象物の初期位置を示す情報である第１の位置情報を記憶するための処理を行うように構成された位置情報記憶部と、
前記所定の対象物の移動を検知するように構成された移動検知部と、
前記所定の対象物の移動が前記移動検知部により検知された際に、前記３次元画像上の前記所定の対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された位置情報取得部と、
前記位置情報取得部により前記第２の位置情報が取得された場合、前記３次元画像上における前記所定の対象物の位置を、前記第１の位置情報から前記前記第２の位置情報へ更新し、前記被検体の３次元画像上、または、前記被検体の複数の断層画像に基づいて生成された擬似透視画像上に提示する位置情報提示部と、
を有することを特徴とする医療用観察システム。
【請求項２】
前記移動検知部は、前記被検体に存在する前記所定の対象物を撮像した画像に基づいて、前記所定の対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項３】
前記位置情報記憶部は、前記位置情報取得部により取得された前記第２の位置情報を時系列に格納する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項４】
前記移動検知部は、前記被検体内に挿入される内視鏡を用いて前記被検体内に存在する前記所定の対象物を撮像した内視鏡画像に基づいて前記所定の対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項５】
前記移動検知部は、前記所定の対象物を含む前記擬似透視画像と、前記被検体を透過する放射線を用いて前記被検体内に存在する前記所定の対象物を撮像した透視画像と、に基づいて前記所定の対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項６】
前記移動検知部は、前記内視鏡画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記所定の対象物の移動を検知する
ことを特徴とする請求項４に記載の医療用観察システム。
【請求項７】
前記移動検知部は、前記擬似透視画像及び前記透視画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記所定の対象物の移動を検知する
ことを特徴とする請求項５に記載の医療用観察システム。
【請求項８】
前記移動検知部は、前記内視鏡画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、
前記位置情報取得部は、前記所定の対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項６に記載の医療用観察システム。
【請求項９】
前記移動検知部は、前記透視画像に基づいて前記所定の対象物の前記初期位置からの移動量を取得し、
前記位置情報取得部は、前記所定の対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項７に記載の医療用観察システム。
【請求項１０】
前記位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項６に記載の医療用観察システム。
【請求項１１】
前記第２の位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項７に記載の医療用観察システム。
【請求項１２】
前記被検体内に挿入される内視鏡の先端部の実空間上の位置を所定の時間間隔毎に検出するように構成された位置検出部と、
前記位置検出部により検出された前記先端部の実空間上の位置を、前記３次元画像上の位置を示す情報である先端位置情報に変換するための処理を行うように構成された位置情報変換部と、
前記先端位置情報を時系列に格納するように構成された先端位置情報記憶部と、をさらに有し、
前記位置情報取得部は、前記所定の対象物の移動が前記移動検知部により検知された際に、前記先端位置情報記憶部から最新の先端位置情報を読み込み、当該読み込んだ最新の先端位置情報を前記第２の位置情報として取得する
ことを特徴とする請求項１に記載の医療用観察システム。
【手続補正書】
【提出日】平成28年11月24日(2016.11.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一態様の医療用観察システムは、被検体の複数の断層画像に基づいて生成される３次元画像上において、処置を施すための対象物の初期位置を示す情報である第１の位置情報を記憶するための処理を行うように構成された位置情報記憶部と、前記処置を施すための対象物の移動を検知するように構成された移動検知部と、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記３次元画像上における前記処置を施すための対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された位置情報取得部と、前記位置情報取得部により前記第２の位置情報が取得された場合、前記３次元画像上における前記処置を施すための対象物の位置を、前記第１の位置情報から前記前記第２の位置情報へ更新し、前記３次元画像上、または、前記複数の断層画像に基づいて生成された擬似透視画像上に重畳した画像を生成する表示用画像生成部と、を有する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体の複数の断層画像に基づいて生成される３次元画像上において、処置を施すための対象物の初期位置を示す情報である第１の位置情報を記憶するための処理を行うように構成された位置情報記憶部と、
前記処置を施すための対象物の移動を検知するように構成された移動検知部と、
前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記３次元画像上における前記処置を施すための対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された位置情報取得部と、
前記位置情報取得部により前記第２の位置情報が取得された場合、前記３次元画像上における前記処置を施すための対象物の位置を、前記第１の位置情報から前記前記第２の位置情報へ更新し、前記３次元画像上、または、前記複数の断層画像に基づいて生成された擬似透視画像上に重畳した画像を生成する表示用画像生成部と、
を有することを特徴とする医療用観察システム。
【請求項２】
前記移動検知部は、前記被検体に存在する前記処置を施すための対象物を撮像した画像に基づいて、前記処置を施すための対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項３】
前記位置情報記憶部は、前記位置情報取得部により取得された前記第２の位置情報を時系列に格納する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項４】
前記移動検知部は、前記被検体内に挿入される内視鏡を用いて前記被検体内に存在する前記処置を施すための対象物を撮像した内視鏡画像に基づいて前記処置を施すための対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項５】
前記移動検知部は、前記処置を施すための対象物を含む前記擬似透視画像と、前記被検体を透過する放射線を用いて前記被検体内に存在する前記処置を施すための対象物を撮像した透視画像と、に基づいて前記処置を施すための対象物の移動を検知する
ことを特徴とする請求項１に記載の医療用観察システム。
【請求項６】
前記移動検知部は、前記内視鏡画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記処置を施すための対象物の移動を検知する
ことを特徴とする請求項４に記載の医療用観察システム。
【請求項７】
前記移動検知部は、前記擬似透視画像及び前記透視画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記処置を施すための対象物の移動を検知する
ことを特徴とする請求項５に記載の医療用観察システム。
【請求項８】
前記移動検知部は、前記内視鏡画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、
前記位置情報取得部は、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項６に記載の医療用観察システム。
【請求項９】
前記移動検知部は、前記透視画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、
前記位置情報取得部は、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項７に記載の医療用観察システム。
【請求項１０】
前記位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項６に記載の医療用観察システム。
【請求項１１】
前記第２の位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
ことを特徴とする請求項７に記載の医療用観察システム。
【請求項１２】
前記被検体内に挿入される内視鏡の先端部の実空間上の位置を所定の時間間隔毎に検出するように構成された位置検出部と、
前記位置検出部により検出された前記先端部の実空間上の位置を、前記３次元画像上の位置を示す情報である先端位置情報に変換するための処理を行うように構成された位置情報変換部と、
前記先端位置情報を時系列に格納するように構成された先端位置情報記憶部と、をさらに有し、
前記位置情報取得部は、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記先端位置情報記憶部から最新の先端位置情報を読み込み、当該読み込んだ最新の先端位置情報を前記第２の位置情報として取得する
ことを特徴とする請求項１に記載の医療用観察システム。
【国際調査報告】
2016042811.tif 000015
2016042811.tif 000016
2016042811.tif 000017