(57)【要約】【課題】内視鏡画像の視認性を犠牲にすることなく、内視鏡手技等に係る指標を的確に表示し、直感的な操作を可能とする医用システムを提供する。【解決手段】被検体内を撮像する撮像手段を有するスコープ１０と、被検体内において処置を行う鉗子２０Ａ〜２０Ｄと、内視鏡画像５１をモニタ５０に表示するための画像を生成するプロセッサ３０と、内視鏡画像５１において、鉗子２０Ａ〜２０Ｄの先端処置部２１Ａ〜２１Ｄが表示される時間的割合を計測する位置・方向算出部３４と、位置・方向算出部３４の計測結果に応じて、基準方向に対する前記観察画像の回転量を示す指標を内視鏡画像５１における所定の位置に重畳した告知画像を生成する指標表示位置算出部３７、指標重畳部３８と、を備える。【選択図】図２
2014042660.tif 000002
【特許請求の範囲】
【請求項１】
被検体内に挿入され、当該被検体内を撮像する撮像手段を有する挿入手段と、
前記被検体内において所定の処置を行う処置手段と、
前記撮像手段で撮像された観察画像を表示手段に表示する画像表示制御手段と、
前記撮像手段で撮像された観察範囲内において、前記処置手段が表示される時間的割合を計測する時間的割合計測手段と、
前記計測手段の計測結果に応じて、前記挿入手段の状態を示す指標を前記観察範囲における所定の位置に重畳した告知画像を生成する画像生成手段と、
を具備したことを特徴とする医用システム。
【請求項２】
前記撮像手段の観察範囲を算出する観察範囲算出手段と、前記処置手段における先端位置を検出する位置検出手段と、
をさらに備え、
前記計測手段は、前記観察範囲算出手段の算出結果と、前記位置検出手段の検出結果とに基づいて前記時間的割合を計測することを特徴とする請求項１に記載の医用システム。
【請求項３】
前記画像生成手段は、前記観察範囲内において、前記処置手段が存在する時間的割合が相対的に小さいエリアに対して前記指標を重畳する告知画像を生成することを特徴とする請求項１に記載の医用システム。
【請求項４】
所定の基準方向と前記観察範囲とに基づいて、観察画像上における基準方向を算出する基準方向算出手段をさらに備え、
前記画像生成手段は、前記基準方向算出手段の算出結果に基づいて前記基準方向に対する前記撮像手段により撮像された前記観察画像の回転量を前記挿入手段の状態を示す指標として前記告知画像を生成する
ことを特徴とする請求項１に記載の医用システム。
【請求項５】
前記画像生成手段は、前記観察画像の回転量に対して設定された所定の範囲を超えて前記観察画像が回転した場合に前記指標を重畳することを特徴とする請求項４に記載の医用システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用システムに関し、特に、内視鏡手技等に係る指標を撮像画像に重畳して表示する医用システムに関する。
【背景技術】
【０００２】
近年、患者への侵襲を小さくするために開腹することなく、観察用の内視鏡を体腔内に導くトラカールと、鉗子等の処置具を処置部位に導くトラカールとを患者の腹部に穿刺し、当該内視鏡において処置具と処置部位とを観察しながら治療処置を行う外科手術として、例えば特許文献１に示される如き技術を用いた腹腔鏡下外科手術が行われている。
【０００３】
一方、鉗子チャンネルを備えた内視鏡について、例えば特許文献２等において開示されている。
【０００４】
なお、この特許文献２においては、内視鏡に設けられた処置具口の位置に従って処置具が出現する領域方向の優先順位を決め、この優先順位に基づいて患者名等の情報を表示する技術が開示されている。
【０００５】
また、上述したような腹腔鏡下外科手術を含めた内視鏡手技または内視鏡手術において、表示モニタの内視鏡画像上に内視鏡の視野角度、回転角度または挿入形状等の状態を示す指標を重畳して表示する技術が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１２５３９２号公報
【特許文献２】特開２００４−０３３４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、内視鏡手技または内視鏡手術において、内視鏡手技等に係る所定の指標を撮像画像に重畳して表示する場合、係る指標が常に同じ位置に重畳されると内視鏡画像自体の視認性を損ね、鉗子等の処置具による処置の妨げになる虞があった。
【０００８】
また、常に同じ位置に重畳されている指標を避けるためには内視鏡を動かして内視鏡画像を移動させる必要があるが、体腔内において内視鏡に自由度が無い場合には内視鏡画像の移動自体が困難であり、この場合一層処置に支障を来していた。
【０００９】
一方で、内視鏡画像上において鉗子等の処置具の出現位置が予め把握できていれば、この出現位置を外して上記指標を表示させることも可能であるが、鉗子等の処置具が湾曲機構等を備えることにより内視鏡画像上において自由度が高い場合、または、体腔内に複数の鉗子等を挿入する手技の場合等においては、内視鏡画像のどの位置にいつ処置具が現れるかを事前に知ることは困難である。
【００１０】
なお、上記特許文献２に示す技術は、上述したように鉗子チャンネルを備えた内視鏡であるため、内視鏡の先端の撮像素子に対して鉗子等の処置具の突出口の位置が構造上限定されることになり、すなわち、内視鏡画像上において鉗子等の処置具の出現位置を予め把握しやすい。しかしながら、特許文献２に示された技術は、処置具の内視鏡画像上における自由度が高い技術分野、および、体腔内に複数の処置具を挿入する手技に係る技術分野については何等考慮するものではなく、当然に、内視鏡画像上において処置具の出現位置が定まらない上記技術分野に係る手技について対応できるものではない。
【００１１】
本発明は、係る事情に鑑みてなされたものであり、内視鏡画像の視認性を犠牲にすることなく、内視鏡手技等に係る指標を的確に表示し、直感的な操作を可能とする医用システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成すべく、本発明の一態様の医用システムは、被検体内に挿入され、当該被検体内を撮像する撮像手段を有する挿入手段と、前記被検体内において所定の処置を行う処置手段と、前記撮像手段で撮像された観察画像を表示手段に表示する画像表示制御手段と、前記撮像手段で撮像された観察範囲内において、前記処置手段が表示される時間的割合を計測する時間的割合計測手段と、前記計測手段の計測結果に応じて、前記挿入手段の状態を示す指標を前記観察範囲における所定の位置に重畳した告知画像を生成する画像生成手段と、を具備する。
【発明の効果】
【００１３】
本発明は、内視鏡画像の視認性を犠牲にすることなく、内視鏡手技等に係る指標を的確に表示し、直感的な操作を可能とする医用システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の第１の実施形態の内視鏡システムの全体構成を示す図である。
【図２】図２は、第１の実施形態の内視鏡システムの電気的な構成を示したブロック図である。
【図３】図３は、第１の実施形態の内視鏡システムにおける指標の生成過程を示したフローチャートである。
【図４】図４は、第１の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を示したフローチャートである。
【図５】図５は、第１の実施形態の内視鏡システムにおける指標の重畳位置を示したモニタ画面の一例を示した図である。
【図６】図６は、第１の実施形態の内視鏡システムにおける指標の重畳位置を示したモニタ画面の他の例を示した図である。
【図７】図７は、本発明の第２の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を示したフローチャートである。
【図８】図８は、本発明の第３の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を示したフローチャートである。
【図９】図９は、本発明の第４の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を示したフローチャートである。
【図１０】図１０は、本発明の第７の実施形態の内視鏡システムにおける指標の重畳位置を示したモニタ画面の一例を示した図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態を説明する。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡システムの全体構成を示した図であり、図２は、当該第１の実施形態の内視鏡システムの電気的な構成を示したブロック図である。なお、ここでは、患者４０の消化器官４１の生体部位を摘出する内視鏡手術を例に説明する。
【００１７】
図１において、内視鏡システム１は、患者４０の腹腔に対してトラカールを経由して挿入し、被検体内を撮像する撮像手段を備えるスコープ１０と、前記スコープ１０が接続され、当該スコープ１０により撮像された観察画像に対して所定の画像処理を行うプロセッサ３０と、同患者４０の腹腔に対して他のトラカールを経由して挿入される処置具である複数の鉗子２０Ａ，２０Ｂと、前記プロセッサ３０に接続され、画像処理が施された観察画像を表示するモニタ５０と、前記鉗子２０Ａ，２０Ｂの先端位置および前記スコープ１０の先端位置を検出するための先端位置・方向検出手段である磁場発生器６０と、主要部が構成されている。
【００１８】
前記スコープ１０は、被検体である患者４０の腹腔に対してトラカールを経由して挿入される、いわゆる腹腔鏡により構成される。また、その先端部には、撮像手段であるＣＣＤ１１が配設されるとともに、当該スコープ１０の先端位置・方向を検出するためのスコープ用センサ１２が配設されている。
【００１９】
前記鉗子２０Ａ，２０Ｂは、いずれも被検体である患者４０の腹腔に対してトラカールを経由して挿入される処置具であって、それぞれ先端部には先端処置部２１Ａ，２１Ｂが形成されるととともに、当該鉗子２０Ａ，２０Ｂの先端位置・方向を検出するための鉗子用センサ２２Ａ，２２Ｂが配設されている。
【００２０】
なお、本実施形態では、スコープと鉗子の先端にセンサを配設したが、スコープまたは鉗子の把持部にセンサを配設し、把持部の位置・方向とスコープまたは鉗子の形状に基づいて先端位置・方向を推定しても良い。このとき、スコープまたは鉗子の形状は設計値から算出しても良く、またはリアルタイムに検出しても良い。
【００２１】
なお、図１に示す内視鏡システムを用いた内視鏡手術としては、鉗子として２つの鉗子２０Ａ，２０Ｂを採用する例を示したが、これに限らず、１つの鉗子、または、３つ以上の鉗子を採用した構成例であっても本願発明を適用することができる。たとえば、同じく第１の実施形態の例を示す図２においては、鉗子として５つの鉗子２０Ａ〜２０Ｄを採用した例を示している。
【００２２】
前記モニタ５０にはモニタ画面５０ａが配設され、後に詳述するプロセッサ３０において画像処理が施された被検体内の観察画像である内視鏡画像５１が表示される。また、プロセッサ３０における制御部３１の制御下において、当該観察画像（内視鏡画像５１）上の所定位置に、撮像手段（ＣＣＤ１１）の撮像画像の回転量を示す指標５２が内視鏡画像５１に重畳されて表示されるようになっている。
【００２３】
なお、モニタ５０における前記内視鏡画像５１および指標５２の関係等については、後に詳述するが、図１においては、指標５２は内視鏡画像５１の右下部に配置されており、当該内視鏡画像５１の左上部には、鉗子２０Ａ，２０Ｂの先端処置部２１Ａ，２１Ｂが表示されている。
【００２４】
次に、図２を参照して、前記プロセッサ３０の構成について説明する。
【００２５】
なお、上述したように、本第１の実施形態の内視鏡システムは複数の鉗子を備え、図１には２つの鉗子２０Ａ，２０Ｂを備えた例を示すが、本願発明はこれに限らず、図２に示すように、４つの鉗子２０Ａ〜２０Ｄを採用しても良い。
【００２６】
図２に示すように、プロセッサ３０は、各部の制御を司る制御部３１と、スコープ１０からの撮像信号を入力し、所定の内視鏡画像（観察画像）を生成するとともに所定の画像処理を施す内視鏡画像生成部３２と、当該内視鏡画像生成部３２において生成された内視鏡画像をモニタ５０に表示するための画像信号を生成する表示画像信号生成部３３と、前記磁場発生器６０から発生された磁場の影響により変位する前記スコープ１０に配設されたスコープ用センサ１２および前記鉗子２０Ａ〜２０Ｄに配設された鉗子用センサ２２Ａ〜２２Ｄからの位置信号を入力し、前記スコープ１０の先端位置・方向より実空間上の観察範囲を算出するとともに鉗子２０Ａ〜２０Ｄの実空間上の先端位置・方向を算出する位置・方向算出部３４と、当該位置・方向算出部３４における算出結果に基づいて内視鏡画像の回転量を算出する内視鏡画像回転量算出部３５と、当該内視鏡画像回転量算出部３５における算出結果に基づいて、前記モニタ５０に表示する前記指標５２を生成する指標生成部３６と、前記位置・方向算出部３４において検出した前記スコープ１０の実空間上の観察範囲および鉗子２０Ａ〜２０Ｄの実空間上の先端位置・方向に基づいて、前記モニタ画面５０ａに表示された前記内視鏡画像５１上における前記指標５２の重畳表示位置を算出する指標表示位置算出部３７と、当該指標表示位置算出部３７において算出した位置情報に基づいて前記指標生成部３６において生成した前記指標５２を前記内視鏡画像５１上の所定位置に重畳する指標重畳部３８と、で主要部が構成されている。
【００２７】
ここで、前記位置・方向算出部３４は、鉗子２０Ａ〜２０Ｄの位置・方向、特に、先端処置部２１Ａ〜２１Ｄの実空間上の位置・方向を算出するものである。
【００２８】
次に、本第１の実施形態の内視鏡システムの作用について説明する。
【００２９】
まず、図２および図３を参照して、前記指標５２の生成過程について説明する。
【００３０】
図３は、本第１の実施形態の内視鏡システムにおける指標の生成過程を説明したフローチャートである。
【００３１】
前記制御部３１の制御下において、前記位置・方向算出部３４は、前記磁場発生器６０から発生された磁場の影響により変位する前記スコープ１０に配設されたスコープ用センサ１２からの位置信号を入力し、スコープ１０の実空間上の観察範囲を算出する（ステップＳ１）。さらに位置・方向算出部３４は、前記鉗子２０Ａ〜２０Ｄに配設された鉗子用センサ２２Ａ〜２２Ｄからの位置信号を入力し、これら鉗子２０Ａ〜２０Ｄそれぞれの実空間上の先端位置・方向を算出する（ステップＳ２）。
【００３２】
次に、位置・方向算出部３４は、所定の基準方向（本第１の実施形態においては重力方向）を検出し（ステップＳ３）、前記ステップＳ１において算出したスコープ１０の実空間上の観察範囲と前記重力方向とから、内視鏡画像５１上に投影した重力方向を算出する（ステップＳ４）。
【００３３】
そして、制御部３１の制御下に前記内視鏡画像回転量算出部３５において、内視鏡画像５１の下方向と、投影した前記重力方向との角度差を“基準方向に対する内視鏡画像の回転量”として算出する（ステップＳ５）。
【００３４】
この後、制御部３１の制御下において前記指標生成部３６において、前記“基準方向に対する内視鏡画像の回転量”を半円形状であってかつ半透明の指標（前記指標５２）を生成し（ステップＳ６）、さらに、前記指標重畳部３８において、内視鏡画像５１上に重畳し、たとえば、図４前記表示画像信号生成部３３によりモニタ５０に表示する（ステップＳ７）。
【００３５】
なお、本実施形態においては、前記指標５２は、初期位置においては内視鏡画像５１の右下部に配置されるようになっている。
【００３６】
次に、図４、図５および図６を参照して、指標５２を内視鏡画像５１上に重畳する位置の算出過程について説明する。
【００３７】
図４は、本第１の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を説明したフローチャートであり、図５は、本第１の実施形態の内視鏡システムにおける指標の重畳位置を示したモニタ画面の一例を示した図であり、図６は、本第１の実施形態の内視鏡システムにおける指標の重畳位置を示したモニタ画面の他の例を示した図である。なお、図５および図６においては、前記鉗子２０Ａ〜２０Ｄのうち、鉗子２０Ａの先端処置部２１Ａが観察範囲に存在する場合を示している。
【００３８】
図４に示すように、前記制御部３１の制御下において前記指標表示位置算出部３７は、前記“基準方向に対する内視鏡画像の回転量”の指標５２を、内視鏡画像５１の所定位置、例えば図５に示すように右下の位置に表示するよう指標重畳部３８を制御する（ステップＳ１０１）。
【００３９】
さらに指標表示位置算出部３７は、図５に示すように内視鏡画像５１を５つのエリア、すなわち４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）と中央エリア１０５との５つのエリアに分割した領域を設定し（ステップＳ１０２）、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）の面積を初期値に設定する（ステップＳ１０３）。
【００４０】
ここで、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）は、鉗子２０Ａ〜２０Ｄの先端処置部２１Ａ〜２１Ｄの存在割合の判定に用いるエリアであると共に、指標５２を重畳表示するエリアとしての役目を果たす。
【００４１】
また、図５、図６においては、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）を画定する部分に破線を付したが、現実の内視鏡画像５１にはこの破線は表示されない。すなわち、これら破線は仮想線である。
【００４２】
次に位置・方向算出部３４において、鉗子２０Ａ〜２０Ｄの先端処置部２１Ａ〜２１Ｄが内視鏡画像５１におけるどのエリアに存在するかを算出する（ステップＳ１０４）。
【００４３】
続いて前記指標表示位置算出部３７は、前記位置・方向算出部３４の算出結果に基づいて、前記５つのエリアのうち前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）において先端処置部２１Ａ〜２１Ｄのいずれかが存在する時間的割合を算出する（ステップＳ１０５）。例えば、直前の３０秒間のうち何秒間存在したかを算出する。
【００４４】
そして指標表示位置算出部３７は、現在指標５２が表示されているエリア（今の場合、右下エリア１０４）において先端処置部２１Ａ〜２１Ｄのいずれかが存在する時間的割合が所定のしきい値以上であるか否かを判定する（ステップＳ１０６）。
【００４５】
前記ステップＳ１０６において、前記時間的割合が所定のしきい値以上でない場合は前記ステップＳ１０４に戻る。一方、図６に示すように、現在指標５２が表示されている右下エリア１０４において先端処置部２１Ａ〜２１Ｄのいずれか（例えば、先端処置部２１Ａ）が存在する前記時間的割合が所定のしきい値以上である場合、前記指標表示位置算出部３７は、前記位置・方向算出部３４の算出結果に基づいて、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）において前記先端処置部２１Ａ〜２１Ｄのいずれかが存在する時間的割合が所定のしきい値以下のエリアがあるか否かを判定する（ステップＳ１０７）。
【００４６】
そして、前記ステップＳ１０７において前記時間的割合が所定のしきい値以下のエリアがある場合、前記指標表示位置算出部３７は、当該所定のしきい値以下のエリアであって、かつ、前記４隅のエリアのうち前記先端処置部が存在する時間的割合が最も低いエリア（例えば図６に示す例においては左上エリア１０１）に前記指標５２を移動するよう、前記指標重畳部３８を制御して例えば図６に示す例においては内視鏡画像５１の左上エリア１０１に重畳して表示するよう表示画像信号生成部３３を制御し（ステップＳ１０８）、前記ステップＳ１０４に戻る。
【００４７】
一方、前記ステップＳ１０７において前記時間的割合が所定のしきい値以下のエリアがない場合、前記指標表示位置算出部３７は、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）の面積を狭めるよう設定し（ステップＳ１０９）、前記ステップＳ１０４に戻る。
【００４８】
以上説明したように本実施形態の内視鏡システムでは、内視鏡画像上に“基準方向に対する内視鏡画像の回転量”を示す指標を重畳して表示し、当該内視鏡画像上のおける鉗子等の処置具の位置に応じて前記指標を適正な位置に表示するようにしたので、内視鏡手術において内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とする内視鏡システムを提供するができる。
【００４９】
なお、本実施形態の内視鏡システムにおいては、スコープ１０と鉗子２０Ａ〜２０Ｄとは、被検体の患者４０に対して異なるトラカールから挿入されており、スコープ１０に対して鉗子２０Ａ〜２０Ｄは全く別の動きをすることになるが、この場合であっても、本実施形態の内視鏡システムは、内視鏡画像５１上の先端処置部２１Ａ〜２１Ｄの位置を的確に判別することができる。
【００５０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００５１】
本第２の実施形態の内視鏡システムは、その構成は前記第１の実施形態と同等であり、前記指標５２の重畳位置を移動する際、当該指標５２の大きさを変更する工程を備える点を特徴するものであり、その他の構成は前記第１の実施形態と同様であり、ここでは差異の部分のみの説明に留め、第１の実施形態と同様の部分についての説明は省略する。
【００５２】
図７は、本発明の第２の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を示したフローチャートである。
【００５３】
本第２の実施形態における制御部３１下において前記位置・方向算出部３４および指標表示位置算出部３７は、図７に示すステップＳ１０１〜ステップＳ１０９までは上述した第１の実施形態（図４参照）と同様の制御を行うが、前記ステップＳ１０８以降の工程を異にする。
【００５４】
図７に示すように、ステップＳ１０７において前記時間的割合が所定のしきい値以下のエリアがある場合、前記指標表示位置算出部３７は、上記第１の実施形態と同様に当該所定のしきい値以下のエリアであって、かつ、前記４隅のエリアのうち前記先端処置部が存在する時間的割合が最も低いエリア（例えば図６に示す例においては左上エリア１０１）に前記指標５２を移動するよう、前記指標重畳部３８を制御して内視鏡画像５１の左上エリア１０１に重畳して表示するよう表示画像信号生成部３３を制御するが（ステップＳ１０８）、その後、移動した先のエリアの面積に応じて指標５２の大きさを変更し（ステップＳ１１０）、前記ステップＳ１０３に戻る。
【００５５】
すなわち、前記ステップＳ１０７において前記時間的割合が所定のしきい値以下のエリアがない場合、本第２の実施形態においても上記第１の実施形態と同様の工程を行う。すなわち次のステップＳ１０９において、前記指標表示位置算出部３７は、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）の面積を狭めるよう設定するが、この後、再び、ステップＳ１０４以降の工程を進み、ステップＳ１０７において前記時間的割合が所定のしきい値以下のエリアがあると判定されるまで、ステップＳ１０９において、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）の面積を狭めるよう設定する。
【００５６】
そして、この狭められた移動先のエリアの面積に応じて指標５２を適正な大きさに変更し（ステップＳ１１０）、前記ステップＳ１０３に戻り、再び４隅のエリアの面積を初期値に戻す。
【００５７】
以上説明したように本第２の実施形態の内視鏡システムでは、第１の実施形態と同様に、内視鏡画像上に“基準方向に対する内視鏡画像の回転量”を示す指標を重畳して表示し、当該内視鏡画像上のおける鉗子等の処置具の位置に応じて前記指標を適正な位置に表示すると共に、内視鏡画像上における処置具の存在割合に応じて指標の大きさを適正な状態に変更することができるので、内視鏡画像上における処置具の存在割合が比較的大きくなった場合でも、内視鏡手術において内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とすることができる。
【００５８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５９】
本第３の実施形態の内視鏡システムは、その構成は前記第１の実施形態と同等であり、鉗子の先端処置部がどのエリアに存在するか否かの算出手法を異にするものであり、その他の構成は前記第１の実施形態と同様であり、ここでは差異の部分のみの説明に留め、第１の実施形態と同様の部分についての説明は省略する。
【００６０】
図８は、本発明の第３の実施形態の内視鏡システムにおける指標の重畳位置の算出過程を示したフローチャートである。
【００６１】
図８に示すように、前記制御部３１の制御下において前記指標表示位置算出部３７は、上記第１の実施形態と同様に、前記“基準方向に対する内視鏡画像の回転量”の指標５２を、内視鏡画像５１の所定位置に表示するよう指標重畳部３８を制御し（ステップＳ１０１）、さらに、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）と中央エリア１０５との５つのエリアに分割した領域を設定し（ステップＳ１０２）、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）の面積を初期値に設定する（ステップＳ１０３）。
【００６２】
次に前記指標表示位置算出部３７は、現在から過去に向けて一定時間の間の前記内視鏡画像５１の解析を行う（ステップＳ１２０）。本実施形態においては、この解析手法として、例えば、類似度分析法を採用する。
【００６３】
このステップＳ１２０における解析結果に基づいて、前記指標表示位置算出部３７は、前記４隅のエリアのうち、画像の変化がしきい値以下かつ画像の変化が最も少ないエリアに指標５２を移動するよう指標重畳部３８を制御する（ステップＳ１２１）。
【００６４】
以上説明したように本第３の実施形態の内視鏡システムにおいても、上記第１の実施形態と同様に、内視鏡画像上に“基準方向に対する内視鏡画像の回転量”を示す指標を重畳して表示し、当該内視鏡画像上のおける鉗子等の処置具の位置に応じて前記指標を適正な位置に表示するようにしたので、内視鏡手術において内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とする内視鏡システムを提供するができる。
【００６５】
また、画像の変化の少ない場所に指標を表示することで、鉗子が存在していてもほとんど動かない鉗子（言い換えると操作していない鉗子）の位置であれば、指標を重畳しても視認性を損なうことは少ない。そのため、４隅のどのエリアにも鉗子が存在する場合でも適切に指標を配置できる。
【００６６】
さらに、画像の変化の少ない場所に指標を表示することで、鉗子以外の臓器などの対象の動きの大きい位置に指標が重畳されにくくなる。このことにより、心拍や呼吸などによって動いている部分、鉗子で器官の一部を把持して動かす場合にそれにつられて動いている部分、または出血している部分等、特に注意すべき部分に指標が重畳され、視認性を損なうことを防止することができる。
【００６７】
一方、スコープを大きく移動させる場合には、鉗子の有無に拘わらず内視鏡画像のどの隅のエリアの視認性も重要となるが、本実施形態では斯様な場合においても、どの隅のエリアも変化が大きくなるため、指標が表示されず、内視鏡画像の視認性を確保することができる。
【００６８】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
【００６９】
本第４の実施形態の内視鏡システムは、その構成は前記第１の実施形態と同等であるが、複数の鉗子２０Ａ〜２０Ｄについて、それぞれ鉗子の重要度が事前に設定され優先順位が予め決められていることを特徴とする。その他の構成、作用は前記第１の実施形態と同様であり、ここでは差異の部分のみの説明に留め、第１の実施形態と同様の部分についての説明は省略する。
【００７０】
図９は、本発明の第４の実施形態の内視鏡システムにおける指標の重畳位置の算出過程の一部を示したフローチャートである。
【００７１】
なお、本第４の実施形態において、複数の鉗子の重要度は、例えば、術者右手鉗子＞術者左手鉗子＞第１助手右手鉗子＞第１助手左手鉗子、に設定されるものとする。
【００７２】
図９に示すように、前記制御部３１の制御下において前記指標表示位置算出部３７は、上記第１の実施形態と同様に、前記“基準方向に対する内視鏡画像の回転量”の指標５２を、内視鏡画像５１の所定位置に表示するよう指標重畳部３８を制御し（ステップＳ２０１）、さらに、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）と中央エリア１０５との５つのエリアに分割した領域を設定し（ステップＳ２０２）、前記４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）の面積を初期値に設定する（ステップＳ２０３）
次に前記指標表示位置算出部３７は、鉗子２０Ａ〜２０Ｄの先端処置部２１Ａ〜２１Ｄが前記４隅のエリアのうち、どのエリアに存在するかを前記鉗子毎に算出し（ステップＳ２０４）、前記４隅のエリアに先端処置部２１Ａ〜２１Ｄが存在する時間的割合をエリア毎に算出する（ステップＳ２０５）。
【００７３】
この後指標表示位置算出部３７は、指標が表示されているエリアにおいて、鉗子２０Ａ〜２０Ｄのうちいずれかの先端処置部が存在する時間的割合が所定のしきい値以上であるか否かを判定し（ステップＳ２０６）、所定のしきい値以上の場合は、４隅のエリアのうち、先端処置部が存在する時間的割合が所定のしきい値以下のエリアの有無を判定する（ステップＳ２０７）。そして、当該時間的割合が所定のしきい値以上である場合は、重要度が最も低い鉗子（この場合、第１助手左手鉗子）を除いた他の鉗子（この場合、術者右手鉗子、術者左手鉗子および第１助手右手鉗子）の先端処置部が存在する時間的割合を算出する（ステップＳ２０９）。
【００７４】
なお、ステップＳ２０７において時間的割合が所定のしきい値以下のエリアがある場合の指標５２のエリア移動等（ステップＳ２０８）については上記第１の実施形態と同様であるので、ここでの説明は省略する。
【００７５】
以上説明したように本第４の実施形態の内視鏡システムにおいても、上記第１の実施形態と同様に、内視鏡画像上に“基準方向に対する内視鏡画像の回転量”を示す指標を重畳して表示し、当該内視鏡画像上のおける鉗子等の処置具の位置に応じて前記指標を適正な位置に表示するようにしたので、内視鏡手術において内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とする内視鏡システムを提供するができる。
【００７６】
また、本実施形態の効果としては以下のようなものが考えられる。
【００７７】
手術によっては鉗子が多く存在する場合があり、内視鏡画像のどの隅にも鉗子が存在することが考えられる。そのような場合に４隅のエリアごとの鉗子の先端が存在する時間的割合の多少だけで指標の重畳位置を決定してしまうと、次のような状況が考えられる。
【００７８】
すなわち、助手が邪魔な臓器を押し上げるために使用するあまり重要で無い鉗子先端がある隅のエリアに常に存在し、術者が最も良く動かして作業している重要度の高い鉗子が別の隅のエリアにたまに存在することで、重要度の高い鉗子の存在するエリアに指標が重畳されてしまうことが発生する。
【００７９】
本実施形態ではこのような状況でも、内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示することができる。
【００８０】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
【００８１】
本第５の実施形態の内視鏡システムは、その構成は前記第１の実施形態と同等であり、前記指標５２を所定の条件を満たした場合にのみ内視鏡画像５１に対して表示することを特徴とする。その他の構成は前記第１の実施形態と同様であり、ここでは差異の部分のみの説明に留め、第１の実施形態と同様の部分についての説明は省略する。
【００８２】
上記第１の実施形態〜第４の実施形態の内視鏡システムは、モニタ画面５０ａにおける内視鏡画像５１上のいずれかの領域に、常に前記指標５２を重畳して表示するようになっているが、本第５の実施形態の内視鏡システムは、所定の条件により指標５２の表示／非表示を切り換えるようになっている。
【００８３】
具体的には、前記制御部３１の制御下に前記指標表示位置算出部３７が、内視鏡画像５１の表示情報に所定の変化が生じたときに、前記指標５２を内視鏡画像５１に重畳して表示する。一方、当該内視鏡画像５１の表示情報が一定期間変化の無い状態が続いた際には、表示していた指標５２を非表示とするよう制御する。
【００８４】
なお、指標５２の表示／非表示は、以下の条件により制御してもよい。
【００８５】
例えば、基準方向に対する内視鏡画像の回転量の基準範囲（例えば、±２０度の範囲）を設定し、一定時間当該基準範囲内に収まっている場合には、指標５２を非表示状態に切り換え、一方、一定時間当該基準範囲を外れた状態にある場合には、当該指標５２を非表示状態から表示状態に切り換えるよう制御してもよい。
【００８６】
または、前記位置・方向算出部３４によりスコープ１０の先端位置の移動量を算出し、当該移動量が所定のしきい値以下の状態の場合のみ指標５２を表示するように制御してもよい。
【００８７】
以上説明したように本第５の実施形態の内視鏡システムにおいては、所定の条件を満たす場合のみ、内視鏡画像上に“基準方向に対する内視鏡画像の回転量”を示す指標を重畳して表示するようにしたので、内視鏡手術において内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とする内視鏡システムを提供するができる。
【００８８】
（第６の実施形態）
次に、本発明の第６の実施形態について説明する。
【００８９】
上記第１の実施形態の内視鏡システムは、前記鉗子２０Ａ〜２０Ｄの先端部に配設した鉗子用センサ２２Ａ〜２２Ｄにより、先端処置部２１Ａ〜２１Ｄの位置・方向を検出することで、内視鏡画像５１上において、鉗子先端部がどのエリアに存在するかを算出するように構成したが、本第６の実施形態の内視鏡システムは、この鉗子先端部の存在判定のための先端部を１点ではなく、「所定の範囲」として鉗子先端部がどのエリアに存在するかを算出することにより、鉗子の存在判定を行うことを特徴とする。
【００９０】
その他の構成は前記第１の実施形態と同様であり、ここでは差異の部分のみの説明に留め、第１の実施形態と同様の部分についての説明は省略する。
【００９１】
具体的にこの「所定の範囲」は、本第６の実施形態においては、実空間上における前記鉗子用センサの位置２２Ａ〜２２Ｄを中心にした所定の半径の球の範囲とする。または、内視鏡画像５１上において、鉗子用センサの位置２２Ａ〜２２Ｄを中心にした所定の半径（画素数）の円の範囲にしても良い。
【００９２】
以上説明したように本第６の実施形態の内視鏡システムにおいては、鉗子の存在判定に用いる当該鉗子部位の範囲をより大きく設定したので、指標５２との干渉がより起こりづらくなり、内視鏡手術においてより内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とする内視鏡システムを提供するができる。
【００９３】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。
【００９４】
本第７の実施形態の内視鏡システムは、その構成は前記第１の実施形態と同等であり、内視鏡画像５１上において、鉗子の存在割合の判定に用いるエリアと指標を重畳表示するエリアの大きさを大小異ならせたことを特徴とする。その他の構成は前記第１の実施形態と同様であり、ここでは差異の部分のみの説明に留め、第１の実施形態と同様の部分についての説明は省略する。
【００９５】
図１０は、本発明の第７の実施形態の内視鏡システムにおける指標の重畳位置を示したモニタ画面の一例を示した図である。
【００９６】
上記第１の実施形態の内視鏡システムにおいては、前記指標表示位置算出部３７は、図５に示すように内視鏡画像５１において４隅のエリア（左上エリア１０１，右上エリア１０２，左下エリア１０３，右下エリア１０４）を設定し（図４、ステップＳ１０２参照）、前記４隅のエリアは、鉗子２０Ａ〜２０Ｄの先端処置部２１Ａ〜２１Ｄの存在割合の判定に用いるエリアであると共に、指標５２を重畳表示するエリアとしての役目を果たすようになっている。
【００９７】
これに対して本第７の実施形態の内視鏡システムにおいては、図１０に示すように、内視鏡画像５１において４隅のエリアとして、鉗子２０Ａ〜２０Ｄの先端処置部２１Ａ〜２１Ｄの存在割合の判定に用いる存在割合判定用エリア（２０１，２０２，２０３，２０４）を規定する一方で、これら存在割合判定用エリア（２０１，２０２，２０３，２０４）より内側に、指標５２を重畳表示する指標重畳表示エリア（２０１ａ，２０２ａ，２０３ａ，２０４ａ）を規定する。
【００９８】
すなわち、本第７の実施形態においては、実際に指標５２を重畳表示するエリアよりも広い領域において鉗子の存在割合の判定を行うこととなる。
【００９９】
なお、図１０においても、前記存在割合判定用エリア（２０１，２０２，２０３，２０４）および前記指標重畳表示エリア（２０１ａ，２０２ａ，２０３ａ，２０４ａ）を画定する部分にそれぞれ破線と実線を付したが、現実の内視鏡画像５１にはこれら線は表示されることはない。
【０１００】
その他の構成、作用・効果は上記第１の実施形態と同様であるので、ここでの説明は省略する。
【０１０１】
以上説明したように本第７の実施形態の内視鏡システムにおいても、上記第１の実施形態と同様に、内視鏡画像上に“基準方向に対する内視鏡画像の回転量”を示す指標を重畳して表示し、当該内視鏡画像上のおける鉗子等の処置具の位置に応じて前記指標を適正な位置に表示するようにしたので、内視鏡手術において内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を可能とする内視鏡システムを提供するができる。加えて、本第７の実施形態においては、実際に指標５２が重畳表示されるエリアよりも広い領域において鉗子の存在割合の判定を行うので、より効果的に内視鏡画像の視認性を犠牲にすることなく、基準方向に対する内視鏡画像の回転量情報を的確に表示し、直感的な操作を行うことができる。
【０１０２】
なお、上述した実施形態において、スコープ１０は硬性の腹腔鏡であるとしたが、これに限らず、挿入部先端部に湾曲機構を備えた軟性内視鏡を構成要素として医用システムに対しても本発明は適用することができる。加えてスコープ１０は、いわゆる直視タイプの硬性鏡に限らず、斜視または側視タイプの内視鏡であっても良いことはでもない。
【０１０３】
さらに、上述した実施形態において、スコープまたは鉗子の位置および方向は、磁場発生器と各鉗子およびスコープに配設したセンサとから構成される位置検出手段からの情報に基づいて前記位置・方向算出部３４により算出するようにしたが、これに限られない。
【０１０４】
すなわち、実空間におけるこれら鉗子またはスコープの位置および方向を求めることができれば良く、例えば、光学式、ロボットアーム式、光ファイバ式、地磁気センサもしくは加速度センサもしくはジャイロを組み合わせたモーションセンサ方式等を用いた技術手段を採用しても良い。
【０１０５】
また、位置検出をする代わりに、例えば内視鏡画像の画像解析を行うことで、内視鏡画像上における鉗子先端位置を検出する構成を採用しても良い。
【０１０６】
さらに、上述した実施形態においては、内視鏡画像の回転量の基準となる方向を重力方向としたが、これに限らず、被検体の体軸方向を当該基準方向としても良い。
【０１０７】
また、上述した実施形態においては、内視鏡画像に半透明で重畳する指標を内視鏡画像の回転量としたが、これに限らず、特開2006-288752号公報において開示される如き内視鏡の挿入形状若しくは湾曲形状または内視鏡の湾曲方向または湾曲量等を示す指標としても良く、さらには、特開2009-153863号公報において開示される如き内視鏡の視野方向または超音波内視鏡画像の位置若しくは方向等を示す指標としても良い。
【０１０８】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【０１０９】
１…内視鏡システム
１０…スコープ
１１…ＣＣＤ
１２…スコープ用センサ
２０Ａ〜２０Ｄ…鉗子
２１Ａ〜２１Ｄ…先端処置部
２２Ａ〜２２Ｄ…鉗子用センサ
３０…プロセッサ
３１…制御部
３２…内視鏡画像生成部
３３…表示画像信号生成部
３４…位置・方向算出部
３５…内視鏡画像回転量算出部
３６…指標生成部
３７…指標表示位置算出部
３８…指標重畳部
５０…モニタ
５１…内視鏡画像
５２…指標
１０１，１０２，１０３，１０４…４隅のエリア
【図１】
2014042660.tif 000003
【図２】
2014042660.tif 000004
【図３】
2014042660.tif 000005
【図４】
2014042660.tif 000006
【図５】
2014042660.tif 000007
【図６】
2014042660.tif 000008
【図７】
2014042660.tif 000009
【図８】
2014042660.tif 000010
【図９】
2014042660.tif 000011
【図１０】
2014042660.tif 000012