(57)【要約】【課題】内視鏡カメラの映像の中心点を常に所定の配置状態においての操作器具による所定位置に位置させることができる内視鏡の操縦システム及び操縦方法を提供する。【解決手段】制御ユニット４は、駆動部２２と内視鏡ユニット３と電気的に連結され、内視鏡ユニット３の映像をツール特徴データベース４１におけるツール姿勢データ４１１と照合して一致すると、ツール姿勢データ４１１に対応するターゲットポイント４２２を取得すると共に、内視鏡ユニット３の次に撮られる映像の中心点がターゲットポイント４２２と一致するために内視鏡ユニット３を移動連動するように駆動部２２を移動制御する。【選択図】図３
2018143560.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡カメラで撮られた複数の操作器具の映像で移動操縦される前記内視鏡カメラを有する内視鏡操縦システムであって、
基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、
前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、
前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位によって定められる位置をターゲット位置として有する位置情報を蓄積するターゲット位置データベースとが内蔵され、前記内視鏡ユニットにより撮られた映像を前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置データベースにおける前記ツール特徴情報に対応する前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるように前記駆動部を移動制御するよう前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットと、
を備えていることを特徴とする内視鏡操縦システム。
【請求項２】
前記ツール特徴データベースは、それぞれ前記操作器具の異なった配置状態に対応する複数のツール姿勢データを前記ツール特徴情報として蓄積し、
前記ターゲット位置データベースは、前記ツール姿勢データに対応する複数のターゲットポイントセットを蓄積し、
前記ターゲットポイントセットは、少なくとも１つのターゲットポイントを有することを特徴とする請求項１に記載の内視鏡操縦システム。
【請求項３】
前記ツール姿勢データは、前記操作器具が所定姿勢に互いに交差してなった前記配置状態に対応することを特徴とする請求項２に記載の内視鏡操縦システム。
【請求項４】
前記ターゲットポイントは、交差して配置された前記操作器具の交差した所、又は１つの前記操作器具の作業端によって定められることを特徴とする請求項２に記載の内視鏡操縦システム。
【請求項５】
内視鏡カメラで撮られた複数の操作器具の映像で前記内視鏡カメラを移動させるように操縦する方法であって、
基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位に基づいてターゲット位置として得る位置情報を蓄積するターゲット位置データベースとが内蔵され、前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットとを備えている内視鏡操縦システムを用意するステップと、
前記内視鏡ユニットの前記内視鏡カメラで前記操作器具の映像を撮るステップと、
前記内視鏡ユニットにより撮られた映像が前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記制御ユニットによって前記ターゲット位置データベースから前記ツール特徴情報に対応する前記ターゲット位置を得るステップと、
前記制御ユニットによって前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるよう前記駆動部を移動制御するステップとを有することを特徴とする内視鏡操縦方法。
【請求項６】
前記ツール特徴データベースは、それぞれ前記操作器具の配置状態に対応する複数のツール姿勢データを前記ツール特徴情報として蓄積し、
前記ターゲット位置データベースは、前記ツール姿勢データに対応する複数のターゲットポイントセットを蓄積し、
前記ターゲットポイントセットは、少なくとも１つのターゲットポイントを有することを特徴とする請求項５に記載の内視鏡操縦方法。
【請求項７】
前記ターゲットポイントセットは、複数のターゲットポイントを有し、
前記内視鏡ユニットにより撮られた映像が前記ツール姿勢データと一致した場合、前記制御ユニットの制御によって前記ターゲット位置データベースから複数の前記ターゲットポイントを有する前記ターゲットポイントセットを取得すると共に前記駆動部を移動作動させ、
前記内視鏡ユニットが前記駆動部の移動に連動して複数の前記ターゲットポイントに順番に移動されることを特徴とする請求項６に記載の内視鏡操縦方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡を移動操縦するシステム及び方法に関する。
【背景技術】
【０００２】
従来、ロボットアームを用いた内視鏡映像技術を用いて患者に対して予め大きな創口を必要とせずに手術を行うことができるため、患者の失血量を大幅に低減させるだけでなく傷口も小さく、患者が早期に回復できる低侵襲手術が実現されている。内視鏡を移動操縦する方法としては、例えば制御ユニットを用いて内視鏡カメラで撮られた映像を識別し、識別して得られた情報に基づいて映像の中心点が手術に用いられている複数本例えば２本の操作器具（手術用器具）の作業端の間のセンターに位置するように内視鏡カメラを移動させる（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１４／０２２８６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の内視鏡操縦システムは、内視鏡カメラが常に手術先に向かって映像を得ることができるので、手術の進行を良好に支援することができると共に、作業端同士の付近をも観察できる利便性を有する。しかし、手術している間、２本の操作器具の作業端は近づいたり遠ざかったりして頻繁に移動するが、これに連動して内視鏡カメラも移動するため、内視鏡の予想外の移動にユーザーが不意を突かれて混乱し、手術の進行が妨げられる問題点がある。
【０００５】
本発明は、上記問題点に鑑みてなされたもので、内視鏡カメラの映像の中心点を常に所定の配置状態においての操作器具による所定位置に位置させることができる内視鏡操縦システム及び内視鏡操縦方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、１の側面によれば、本発明は、内視鏡カメラで撮られた複数の操作器具の映像で移動操縦される前記内視鏡カメラを有する内視鏡操縦システムであって、基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位によって定められる位置をターゲット位置として有する位置情報を蓄積するターゲット位置データベースとが内蔵され、前記内視鏡ユニットにより撮られた映像を前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置データベースにおける前記ツール特徴情報に対応する前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるように前記駆動部を移動制御するよう前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットと、を備えていることを特徴とする内視鏡操縦システムを提供する。
【０００７】
また、他の側面によれば、内視鏡カメラで撮られた複数の操作器具の映像で前記内視鏡カメラを移動させるように操縦する方法であって、基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位に基づいてターゲット位置として得る位置情報を蓄積するターゲット位置データベースとが内蔵され前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットとを備えている内視鏡操縦システムを用意するステップと、前記内視鏡ユニットの前記内視鏡カメラで前記操作器具の映像を撮るステップと、前記内視鏡ユニットにより撮られた映像が前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記制御ユニットによって前記ターゲット位置データベースから前記ツール特徴情報に対応する前記ターゲット位置を得るステップと、前記制御ユニットによって前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるよう前記駆動部を移動制御するステップとを有することを特徴とする内視鏡操縦方法をも提供する。
【発明の効果】
【０００８】
内視鏡ユニットの撮られた映像が操作器具の互いに組まれた所定姿勢に対応して一致すると、ターゲット位置データベースの対応するターゲット位置が内視鏡ユニットの次に撮られる映像の中心点と一致するように内視鏡ユニットが移動操縦されることができる。これによって、ユーザーが所定の画面を見たい時には操作器具を交差して配置するように操作するだけで内視鏡ユニットを移動させることができる。これによって、内視鏡ユニットは予想外の移動がなくなり内視鏡ユニットが常にユーザーの見たい所例えば手術部位に向かって所望の映像を得ることができる。従って、手術の進行を良好に支援することができる。
【０００９】
本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る内視鏡操縦システムの一例を示す組立斜視図である。
【図２】図１の内視鏡操縦システムを用い、２本の操作器具が交わっていない状態を示す平面図である。
【図３】図１の内視鏡操縦システムの構成ブロック図である。
【図４】図１の内視鏡操縦システムにおける内視鏡ユニットによって撮られた交わっていない状態にある２本の操作器具の映像を示す図である。
【図５】図１の内視鏡操縦システムにおける内視鏡ユニットによって撮られた交差状態にある２本の操作器具の映像を示し、交差している操作器具のセンターが内視鏡カメラの映像の中心点からずれた状態を示す図である。
【図６】図１の内視鏡操縦システムにおける内視鏡ユニットによって撮られた交差状態にある２本の操作器具の映像を示し、交差している操作器具のセンターが内視鏡カメラの映像の中心点と一致した状態を示す図である。
【図７】図１の内視鏡操縦システムを用い、２本の操作器具が交わっている状態を示す平面図である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る内視鏡操縦システム及び内視鏡操縦方法の一実施例について図面を参照して説明する。
【００１２】
本発明に係る内視鏡操縦システム及び内視鏡操縦方法は、内視鏡カメラで撮られた、手術に用いられる複数本の操作器具、例えば２本の操作器具９の映像を識別した情報を用いて内視鏡カメラを移動させるように操縦するものである。各操作器具９は一つの作業端９１を有し、内視鏡操縦システムは、ロボットユニット２と内視鏡ユニット３と制御ユニット４とを備えている。
【００１３】
ロボットユニット２は、基部２１と駆動部２２と保持部２３とを有し、伸縮及び回転運動をするものであり、運動をしても被保持物例えば内視鏡が一定に定位されるように不動になる遠隔運動中心特性を有する。基部２１は、駆動部２２等が回動可能に枢結支持されるもので、例えば駆動部２２等を安定して支持したり所定の高さに調節したり所定の向きに転向可能に構成されたものである。駆動部２２は、移動制御されるように基部２１に設けられている。保持部２３は、駆動部２２に連動されて移動するように駆動部２２と連結されている。
【００１４】
内視鏡ユニット３は、操作器具９の映像を撮る内視鏡カメラを有し、保持部２３に設けられている。
【００１５】
制御ユニット４は、駆動部２２と内視鏡ユニット３と電気的に連結され、２本の操作器具９の所定姿勢に組まれるように配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベース４１と、操作器具９の配置状態に対応する所定のターゲット位置としての位置情報を蓄積するターゲット位置データベース４２とが内蔵されている。
【００１６】
ツール特徴データベース４１は、それぞれ２本の操作器具９による配置状態のそれぞれに対応する複数のツール姿勢データ４１１をツール特徴情報として蓄積している。
【００１７】
ターゲット位置データベース４２は、それぞれ該ツール姿勢データ４１１に対応するターゲット位置としての位置情報を含む複数のターゲットポイントセット４２１を蓄積している。ターゲットポイントセット４２１は少なくとも１つのターゲットポイント４２２を操作器具９の配置状態に関わるターゲット位置に対応して有する。この例では、各ツール姿勢データ４１１は、２本の操作器具９が所定姿勢に組まれてなった配置状態に対応するデータである。操作器具９が所定姿勢に組まれてなった配置状態とは、この例では２本の操作器具が互いに交差した状態をいう。また、ターゲットポイント４２２は、２本の操作器具９の交差した状態、又は２本の操作器具９における一方の作業端９１、又は操作器具９の予め定められた部分に対応したターゲット位置を指す。
【００１８】
なお、この例では、内視鏡ユニット３の移動は、例えば内視鏡ユニット３により撮られた映像（例えば患部を含む所定領域）の中心点がターゲットポイント４２２と一致するように実行操縦される形態を説明するが、これに制限されない。必要に応じて、内視鏡ユニット３により撮られた映像における例えば患部の周部の一部がターゲットポイント４２２と一致するように行われてもよい。
【００１９】
次に、図面を参照して上記のように構成された内視鏡操縦システムを用いた内視鏡操縦方法について説明する。本発明に係る内視鏡操縦方法は、内視鏡操縦システムを用い、制御ユニット４によって内視鏡ユニット３により撮られた映像を判定した結果に基づいて内視鏡ユニット３を動かす。
【００２０】
まず、上記のように構成された内視鏡操縦システムを用意する。そして、内視鏡ユニット３における内視鏡カメラを用いて操作器具９を撮り操作器具９の映像を得る。ユーザー８は、例えば手術室内で、内視鏡ユニット３により撮られた映像を内視鏡ユニット３と電気的に連結されたディスプレイ５に表示させた画面を見ながら手術を行う。
【００２１】
図４に示すように、ユーザー８に使われている操作器具９が交差していない場合、制御ユニット４によって内視鏡ユニット３で撮った映像がツール姿勢データ４１１と照合された結果一致しないと判定されると、駆動部２２を作動しないように制御する。こうして、駆動部２２が移動作動されないため、内視鏡ユニット３は動かない。内視鏡ユニット３が移動されない時は、内視鏡ユニット３によって撮られる映像の視野はそのままで変わらない。
【００２２】
図５は、内視鏡ユニット３で撮られた操作器具９が交差した状態の映像を示している。ユーザー８が操作器具９を交差するように操作すると、図５に示すように、制御ユニット４によって、操作器具９の交差した配置状態がツール特徴データベース４１におけるツール姿勢データ４１１と照合して一致することが判定される。制御ユニット４によって、操作器具９が互いに交差してなった配置状態によるツール姿勢データに基づいて、その撮られた映像が操作器具９の互いに交差してなった配置状態に対応するターゲット位置データベース４２のターゲットポイント４２２と一致されたターゲット位置を取得する。次に、制御ユニット４は、内視鏡ユニット３を移動操縦して内視鏡ユニット３の次に撮る映像の中心点（図５、×印）がターゲットポイント４２２と一致するように駆動部２２を作動制御する。
【００２３】
図６に示すように、内視鏡ユニット３が駆動部２２の移動に連動されて、内視鏡ユニット３の次に撮られる映像の中心点が所定のターゲットポイント４２２としてのターゲット位置データベース４２における２本の操作器具９の配置状態のターゲット位置と一致するように移動される。こうして、ターゲットポイント４２２が内視鏡カメラの映像の中心点と一致された患部の映像を常に操作器具の交差した作業端の間をセンターに位置させ、ターゲットポイント４２２にある例えば患部をはっきりと観察することができるので、ユーザー８の手術操作に利便性を与えることが可能である。
【００２４】
このように、操作器具９の移動で内視鏡カメラが患部の映像を撮っていない場合、ユーザー８が操作器具９が互いに交差するように操作すると、制御ユニット４によって内視鏡ユニット３により撮られた映像がツール姿勢データ４１１と照合されて一致すると判定される。制御ユニット４によって操作器具９が互いに交差してなった配置状態によるツール姿勢データに基づいて、その撮られた映像が操作器具９が互いに交差してなった配置状態に対応して一致されたターゲット位置によるターゲット位置データベース４２のターゲットポイント４２２を取得する。制御ユニット４は、該ターゲットポイント４２２に基づいて、駆動部２２を作動制御し、内視鏡ユニット３が連動して、内視鏡カメラの映像の中心点がターゲットポイント４２２と重なるように操作器具９の交差した配置状態が内視鏡カメラの映像の真ん中に来るように内視鏡ユニット３が移動操縦される。
【００２５】
上記のように構成された内視鏡操縦システムは、例えば、手術室で患者７に手術を行うために用いられるものである。２本の操作器具９は例えば医師等のユーザー８が用いるメスや剪刀である。ツール特徴データベース４１におけるツール姿勢データ４１１は、操作器具９の互いに交差した配置状態に対応する。ターゲット位置データベース４２におけるターゲットポイントセット４２１は、ターゲットポイント４２２を１つだけ有し、ターゲットポイント４２２は交差して配置された操作器具９の所定部位に対応する位置情報である。
【００２６】
ここでは、簡単に、制御ユニット４が内視鏡ユニット３により撮られた映像について判定する処理を説明する。まず、内視鏡ユニット３により撮られた映像についてカラー空間領域の変換処理と画像の２値化処理を行う。次に、２値化された画像は操作器具９に対応する予め定められたしきい値面積よりも大の判定領域の輪郭面積があるかどうかを判定する。２値化された画像は操作器具９に対応する予め定められたしきい値面積よりも大の判定領域の輪郭面積がないと判定された場合、新たに別の画像を判定する。その一方、２値化された画像は操作器具９に対応する予め定められたしきい値面積よりも大の判定領域の輪郭面積があると判定された場合、当該判定領域が操作器具９の映像位置であると認識する。そして、当該判定領域の４つの端点を算出し、算出された４つの端点に基づいて互いに交差した２本の線分を２本の操作器具９に対応する参照直線として算出する。こうして互いに交差して配置された操作器具９においての所定部位がターゲット位置として得られる。
【００２７】
以上のように、本発明は、図２、図３及び図６に示すように、制御ユニット４によって内視鏡ユニット３により撮られた映像がツール姿勢データ４１１と一致、つまり操作器具９が交差した配置状態に対応するツール特徴情報を含むと判定されると、該ツール特徴情報に対応してターゲット位置データベース４２からターゲットポイント４２２を取得すると共に、駆動部２２を作動して内視鏡ユニット３を移動させるように制御する。
【００２８】
なお、２本の操作器具９が通常使用されている状態とは、操作器具９が互いに所定姿勢に組まれるように配置された状態ではなく、２本の操作器具９が互いに交差した所定姿勢となる場合はまれであることから、内視鏡ユニット３が不意に動くことはない。従って、内視鏡ユニット３の予想外の移動に不意を突かれてユーザー８が混乱して手術の進行が妨げられることを避けることができる。
【００２９】
本発明に係る内視鏡操縦システムは、手術に適用される他、内視鏡ユニット３で映像を撮る必要のある作業環境にも適用する。
【００３０】
また、この例では、ターゲットポイントセット４２１はターゲットポイント４２２を１つだけ有する形態について説明したが、複数のターゲットポイント４２２を有してもよい。例えば、内視鏡ユニット３により撮られた映像がツール姿勢データ４１１と一致した場合、制御ユニット４の制御によってターゲット位置データベース４２から複数のターゲットポイント４２２を取得すると共に駆動部２２を移動作動させる。内視鏡ユニット３が駆動部２２の移動に連動して複数のターゲットポイント４２２に順番に移動される。
【００３１】
以上のように、内視鏡ユニット３により撮られた映像が操作器具９の互いに組まれた所定姿勢に対応して一致すると、ターゲット位置データベース４２の対応するターゲットポイント４２２が内視鏡ユニット３の次に撮られる映像の中心点と一致するように内視鏡ユニット３が移動操縦されることができる。これによって、ユーザー８が所定の位置の画面を見たい時に操作器具９を交差して配置するように操作するだけで内視鏡ユニット３を移動させることができるようになっているので、内視鏡ユニット３が予想外に移動することもなく内視鏡ユニット３が常にユーザー８が見たい所例えば手術部位に向かって所望の映像を得ることができるので、手術の進行を良好に支援することができ、また、作業端同士の付近をも観察できる利便性を有する。
【００３２】
以上、本発明の１つの実施例を説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００３３】
本発明に係る内視鏡操縦システム及び内視鏡操縦方法は、内視鏡手術を行う医療用機器に有用である。
【符号の説明】
【００３４】
２  ロボットユニット
２１  基部
２２  駆動部
２３  保持部
３  内視鏡ユニット
４  制御ユニット
４１  ツール特徴データベース
４１１  ツール姿勢データ
４２  ターゲット位置データベース
４２１  ターゲットポイントセット
４２２  ターゲットポイント
５  ディスプレイ
８  ユーザー
９  操作器具
９１  作業端
【図１】
2018143560.tif 000003
【図２】
2018143560.tif 000004
【図３】
2018143560.tif 000005
【図４】
2018143560.tif 000006
【図５】
2018143560.tif 000007
【図６】
2018143560.tif 000008
【図７】
2018143560.tif 000009