(57)【要約】      （修正有）【課題】カメラビューの向きと、コントローラの向きと、カテーテル先端の向きとの間のミスマッピングに起因する悪影響を防止することのできる内視鏡システムを提供する。【解決手段】内視鏡システムは、ロボット制御操縦可能カテーテルと、カテーテルのツールチャネルに取外し可能に配置されるイメージングデバイスとを備える。１つ以上のセンサ又はマーカは、イメージングデバイスの向きに関してカテーテルの位置関係をマッピングする。コントローラは、イメージングデバイスが画像を取得している間に、操縦可能カテーテルを駆動して、その遠位端を操作する。イメージングデバイスが画像を取得する間、プロセッサは、１つ以上のセンサ又はマーカによって提供される情報に基づいて、イメージングデバイスの向きに関するカテーテルの位置関係の変化を計算する。出力ユニットは、イメージングデバイスの向きに関しての情報を提供する。【選択図】図１
2022000141.tif 000002
【特許請求の範囲】
【請求項１】
体の管腔への挿入及びナビゲーションのために構成された遠位端と、前記管腔の外側からの操作のために構成された近位端とを有する操縦可能シースであって、前記近位端から前記遠位端へ延びるツールチャネルを有する、操縦可能シースと、
前記操縦可能シースの前記ツールチャネルの内側に取外し可能に配置されるイメージングデバイスと、
前記イメージングデバイスが前記管腔の画像を取得する間に、前記シースの少なくとも一部が前記管腔内で前記イメージングデバイスとともに動くように、前記管腔の外側から前記操縦可能シースを操作するように構成されたコントローラと、
前記操縦可能シースと前記イメージングデバイスの間の位置関係をマッピングするように配置された１つ以上のマーカ及び／又は１つ以上のセンサを有するねじれ検出システムと、
前記イメージングデバイス及び前記コントローラとデータ通信するプロセッサと、
を備える内視鏡システムであって、
前記プロセッサは、
前記イメージングデバイスによって取得された前記画像を処理し、
前記画像と、前記参照マーカ又は／又はセンサのうちの少なくとも１つからの信号との比較に基づいて、前記操縦可能シースと前記イメージングデバイスの間の位置関係の変化を決定し、
前記操縦可能シースと前記イメージングデバイスの間の前記位置関係をリマッピングすることにより、前記位置関係の変化を補償するように構成される、
内視鏡システム。
【請求項２】
前記プロセッサは、前記コントローラが前記操縦可能シースを第１の位置から第２の位置まで駆動し、前記操縦可能シースと前記イメージングデバイスの間の前記位置関係が変化した後に、前記位置関係の変化を補償するように更に構成される、
請求項１に記載の内視鏡システム。
【請求項３】
前記プロセッサは、前記位置関係の変化が所定の閾値以上であるかどうかを決定するように更に構成され、
前記プロセッサは、前記位置関係が前記所定の閾値よりも大きく変化した後に、前記位置関係の変化を補償する、
請求項２に記載の内視鏡システム。
【請求項４】
前記１つ以上のマーカは、電磁信号を発するか又は反射するように構成された複数のマーカを含み、
前記操縦可能シースと前記イメージングデバイスの間の位置関係をマッピングするために、前記複数のマーカは、前記複数のマーカのうちの１つ又は複数から発せられた又は反射された前記電磁信号に基づいて、前記イメージングデバイスの向きに関して前記操縦可能シースの前記遠位端の向きをマッピングする、
請求項１に記載の内視鏡システム。
【請求項５】
前記プロセッサは、
前記複数のマーカのうちの前記１つ又は複数から反射されかつ／又は発せられた前記電磁信号に基づいて、前記イメージングデバイスの位置及び／又は向きに関して、前記操縦可能シースの位置及び／又は向きの変化を計算し、
計算された前記変化を用いて、前記操縦可能シースの前記位置及び／又は向きと前記イメージングデバイスの位置及び／又は向きとの間のミスマッピングを補償するように更に構成される、
請求項４に記載の内視鏡システム。
【請求項６】
前記１つ以上のマーカは、前記操縦可能シースの前記遠位端に配置された複数のマーカと、前記イメージングデバイス上に配置された少なくとも１つのマーカとを含み、
前記イメージングデバイスは、前記管腔の生体構造と、前記操縦可能シースの前記遠位端に配置された前記複数のマーカのうちの少なくとも１つとを含む視野内で、前記画像を取得するように構成され、
前記プロセッサは、前記画像として、前記操縦可能シースの前記遠位端に配置された前記複数のマーカのうちの前記少なくとも１つのグラフィック表現を生成及び出力するように更に構成され、
前記グラフィック表現は、前記管腔の前記生体構造の画像に重ね合される、
請求項１に記載の内視鏡システム。
【請求項７】
前記１つ以上のマーカは、反射マーカ、蛍光マーカ、放射線不透過性マーカ、又はそれらの組合せを含み、かつ／又は、
前記複数のセンサは、電磁（ＥＭ）センサ、光学センサ、ホール効果センサ、磁気センサ、光ファイバ形状センサ、又はそれらの組合せを含む、
請求項１に記載の内視鏡システム。
【請求項８】
前記１つ以上のマーカは、前記操縦可能シースの前記遠位端に取り付けられるとともに少なくとも部分的に前記イメージングデバイスの視野（ＦＯＶ）まで延びる２つ以上のマーカを含む、
請求項１に記載の内視鏡システム。
【請求項９】
前記２つ以上のマーカは、前記イメージングデバイスの前記ＦＯＶの中心と実質的に同心に配置される、請求項８に記載の内視鏡システム。
【請求項１０】
前記２つ以上のマーカは、前記イメージングデバイスの前記ＦＯＶの縁の内側に対称又は非対称に分布する、請求項８に記載の内視鏡システム。
【請求項１１】
前記１つ以上のセンサは、前記イメージングデバイスを少なくとも部分的に囲むように前記操縦可能シースに埋め込まれた複数のセンサと、前記イメージングデバイスに取り付けられた少なくとも１つのセンサとを含む、
請求項１に記載の内視鏡システム。
【請求項１２】
前記イメージングデバイスは、前記イメージングデバイスが前記ツールチャネルの内壁に当たらないように、前記イメージングデバイスと前記ツールチャネルの内壁の間に隙間があるように、前記ツールチャネルを通して配置される、
請求項１に記載の内視鏡システム。
【請求項１３】
前記画像として、前記プロセッサは、前記イメージングデバイスによって前記管腔に沿った第１の位置で取得された第１の画像に重ね合されるとともに、前記コントローラが前記管腔を通して前記操縦可能シースを駆動した後に前記イメージングデバイスによって前記管腔に沿った第２の位置で取得された第２の画像に重ね合された、前記１つ以上のマーカのグラフィック表現を生成する、
請求項１に記載の内視鏡システム。
【請求項１４】
前記コントローラは、前記操縦可能シースの前記近位端に動作可能に接続され、
前記コントローラは、前記管腔に沿った蛇行進路を通して前記操縦可能シースの前記遠位端及び前記イメージングデバイスをナビゲートするように、前記操縦可能シースの前記少なくとも一部を曲げ、ねじり、かつ／又は回転させるように構成され、
前記プロセッサは、前記コントローラの向きに関して、前記操縦可能シースの向き又は前記イメージングデバイスの向きをリアルタイムでリマッピングするように更に構成される、
請求項１に記載の内視鏡システム。
【請求項１５】
前記コントローラはハンドヘルドコントローラである、請求項１に記載の内視鏡システム。
【請求項１６】
前記ハンドヘルドコントローラの向きは、前記イメージングデバイスの前記向き、及び、前記操縦可能シースの前記向きに対してマッピングされ、
前記プロセッサは、前記コントローラが前記操縦可能シースの前記少なくとも一部を曲げ、ねじり、かつ／又は回転させた後に、前記イメージングデバイスの前記向きに関して、前記操縦可能シースの前記向きに対して前記ハンドヘルドコントローラの前記向きをリマッピングするように更に構成される、
請求項１５に記載の内視鏡システム。
【請求項１７】
前記１つ以上のマーカは、前記イメージングデバイスの視野内の前記操縦可能シースの前記遠位端に配置された２つ以上の可視マーカを含み、
前記コントローラは、ジョイスティック及び／又は複数の方向ボタンを備えたゲームパッドコントローラであり、
前記操縦可能シースはカテーテルであり、前記イメージングデバイスはファイバカメラを含み、
前記カテーテルと前記ファイバカメラの間の前記位置関係の初期マッピングの後、前記ゲームパッドコントローラの上ボタン、又は前記ジョイスティックの上方向の動きは、前記ファイバカメラによって取得された前記画像の上方向とマッピングされ、
前記カメラの向きに関する前記カテーテルの向きがある程度の量だけ変化したとき、前記ゲームパッドコントローラの前記上ボタン、又は前記ジョイスティックの前記上方向は、前記程度の量だけオフセットされ、
前記ファイバカメラによって取得された前記画像の前記方向と前記ゲームパッドコントローラとの間のミスマッピングを補償するために、前記プロセッサは、前記２つ以上のマーカの前記位置を用いて前記程度の量を計算し、また、前記プロセッサは、リマッピングの後、前記ゲームパッドコントローラの前記上ボタン又は前記ジョイスティックの上方向が前記画像の前記上方向とリマッピングされ、それにより、ユーザが一人称視点（ＦＰＶ）で前記カテーテルの操縦方向を直感的に制御できるように、前記ゲームパッドコントローラの前記方向をリマッピングする、
請求項１に記載の内視鏡システム。
【請求項１８】
前記複数のセンサは、前記操縦可能シースの前記遠位端に配置された少なくとも第１のＥＭ電磁センサ（ＥＭ）と、前記イメージングデバイス上に配置されるか又は前記イメージングデバイスに隣接する第２のＥＭセンサとを含み、
前記コントローラは、ジョイスティック及び／又は複数の方向ボタンを備えたゲームパッドコントローラであり、
前記操縦可能シースはカテーテルであり、前記イメージングデバイスはファイバカメラを含み、
前記カテーテルと前記ファイバカメラの間の前記位置関係の初期マッピングの後、ユーザがボタンを押すか、又は前記ゲームパッドコントローラの前記ジョイスティックを所望の方向に動かしたとき、前記カテーテル及び前記カメラは、前記カメラが前記カメラの前の視野の前記ライブビュー画像を取得し続けている間に、前記所望の方向に曲がり、
前記第１のＥＭセンサと前記第２のＥＭセンサの各々は、それぞれ、前記カテーテルと前記カメラの互いに関する回転量を測定し、
前記プロセッサは、前記第１のＥＭセンサ及び前記第２のＥＭセンサによって測定された前記カテーテル及び前記カメラの前記回転量を減算し、前記減算の結果に基づいて、前記カメラビュー、前記ゲームパッドコントローラ及び前記カテーテルの向きをリマッピングすることにより、前記カテーテル及び／又はカメラにかかったねじれ、回転又は曲げの量を推定する、
請求項１に記載の内視鏡検査システム。
【請求項１９】
前記１つ以上のセンサは、前記操縦可能シースの前記遠位端に巻き付けられたファイバセンサ、及び／又は、前記イメージングデバイスに巻き付けられて配置されたファイバセンサを含み、
前記操縦可能シースの前記遠位端に巻き付けられた前記ファイバセンサ、及び／又は、前記イメージングデバイスに巻き付けられて配置された前記ファイバセンサは、前記管腔を通したナビゲーション中に前記操縦可能シース及び／又は前記イメージングデバイスがそれぞれねじれ、回転又は曲げを受けるときにかかる引張ひずみ又は圧縮ひずみの量に対応する信号を出力し、
前記プロセッサは、前記引張ひずみ又は圧縮ひずみの量に基づいて、前記操縦可能シース及び／又はイメージングデバイスにかかるねじれ、回転又は曲げの量を連続的に計算し、前記イメージングデバイスによって取得された前記画像を自動的に回転させて、前記位置関係の変化をリアルタイムで補償する、
請求項１に記載の内視鏡検査システム。
【請求項２０】
前記ねじれ検出システムは、前記イメージングデバイスに取り付けられた色分けされたマーカと、前記色分けされたマーカに電磁放射線を照射し、前記操縦可能シースと前記イメージングデバイスの間の前記位置関係を示す信号を出力するように構成された光学系とを含み、
前記色分けされたマーカは、前記イメージングデバイスの周りに巻き付けられて配置された複数のセクタを含み、
前記複数のセクタの各々は、前記管腔を通した前記操縦可能シースのナビゲーション中に、前記イメージングデバイスのねじれ、回転又は曲げの量に対応する信号を出力し、
前記プロセッサは、前記セクタのうちの１つ以上からの前記信号に基づいて、前記操縦可能シース及び／又は前記イメージングデバイスにかかるねじれ、回転又は曲げの量を連続的に計算し、前記イメージングデバイスによって取得された前記画像を自動的に回転させて、前記位置関係の変化をリアルタイムで補償する、
請求項１に記載の内視鏡検査システム。
【請求項２１】
シースであって、前記シースの近位端から遠位端まで、前記シースの端から端に沿って延びるツールチャネル及び複数のワイヤコンジットを有する、シースと、
前記ツールチャネルの内側に取外し可能に配置されるとともに、前記シースの前記遠位端から視野画像を取得するように構成されるイメージングデバイスと、
前記シースのワイヤコンジット内に配置されるとともに、前記ワイヤコンジットに沿ってスライド可能であるように構成される制御ワイヤと、
前記制御ワイヤに動作可能に接続されるアクチュエータユニットであって、前記シースの少なくとも一部を前記イメージングデバイスとともに曲げ、又はねじり、又は回転させるように、駆動力を加えるように構成されるアクチュエータユニットと、
前記イメージングデバイスの向きに関して前記シースの向きの位置関係をマッピングするように配置される複数のマーカ及び／又はセンサと、
前記イメージングデバイス及び前記アクチュエータユニットに動作可能に接続されるプロセッサと、
を備える操縦可能医用器具であって、
前記プロセッサは、
ハンドヘルドコントローラのユーザ操作に従って前記シースを曲げ、又はねじり、又は回転させるように、前記アクチュエータユニットに前記制御ワイヤに対して駆動力を加えさせ、
前記イメージングデバイスによって取得された前記ライブビュー画像を処理し、前記マーカのうちの少なくとも１つからの信号及び／又は前記センサのうちの少なくとも１つからの信号に基づいて、前記シースの前記向きと前記イメージングデバイスの前記向きとの間の前記位置関係の変化を決定し、
前記アクチュエータユニットが前記制御ワイヤに対して前記駆動力を加えて、前記シース及び前記イメージングデバイスを第１の位置の第２の位置まで動かし、前記位置関係が所定の閾値よりも大きく変化した後、前記イメージングデバイスの前記向きに関して前記シースの前記向きをリマッピングすることによって、前記位置関係の変化をリアルタイムで補償するように構成される、
操縦可能医用器具。
【請求項２２】
ロボット制御内視鏡によって取得される画像の向きを制御するためのシステムであって、
長手方向軸に沿って近位端から遠位端へ延びるツールチャネルを有する操縦可能シースと、
前記操縦可能シースの前記ツールチャネル内に取外し可能に配置されるように構成されたカメラと、
前記カメラに関する前記操縦可能シースの位置関係をマッピングするように構成された１つ以上のマーカ及び／又は１つ以上のセンサと、
前記カメラが好ましい方向に向けられた視野で管腔のライブビュー画像を取得している間に、前記操縦可能シースと、前記ツールチャネル内に配置された前記カメラとを前記管腔を通して駆動するように構成されたコントローラと、
を備え、
プロセッサは、
前記カメラによって取得された前記画像を処理し、
前記１つ以上のマーカ又は前記１つ以上のセンサから、前記カメラに関する前記操縦可能シースの前記位置関係についてマッピングデータを取得し、
前記マッピングデータに基づいて、前記操縦可能シースと前記カメラの間の前記位置関係の変化を決定し、
前記カメラ視野が実質的に常に前記好ましい方向に向いたままであるように、前記操縦可能シースと前記カメラの間の前記位置関係をリマッピングすることにより、前記位置関係の変化を補償するように構成される、
システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、２０２０年５月２６日に提出された米国仮特許出願第６３／０２９９５５号に対する優先権を主張する。上記の仮出願の開示は、あらゆる目的でその全体が参照により本明細書に組み込まれる。優先権の利益は、米国特許法第１１９条（ｅ）の下で主張される。
【０００２】
本開示は、概して、内視鏡イメージングデバイスに関する。より詳細には、本開示は、内視鏡ナビゲーション中に画像の向きを維持するための参照マーカを有するロボット内視鏡プローブの様々な実施形態を例示する。内視鏡プローブは、医療用途及び非医療用途の管腔内イメージングに適用可能である。
【背景技術】
【０００３】
内視鏡装置は、内視鏡検査と呼ばれる低侵襲処置において体の内部を検査するために使用される、照明付きの、典型的には細長い管状の器具である。医用イメージングの分野では、内視鏡イメージングプローブは、患者の快適さへの侵襲を最小限に抑えながら、患者の体の自然開口部又は小さな切開部を通して挿入されて、患者の体内から詳細な画像を提供することができる。例えば、医師が患者を診断及び治療するのを助けるために、腹腔鏡や胃腸鏡、気管支鏡等のビデオ内視鏡が一般に使用される。従来の手動の気管支鏡では、曲がりくねった気道進路内でスコープを操作することは困難である。
【０００４】
具体的には、ユーザが患者の生体構造内で内視鏡を操作するとき、カメラは、カメラの視野画像（ＦＯＶ画像）を、表示デバイス上の画像の直立軸として表示されるそれ自体の直立軸とともに表示されるように、表示デバイスに転送する。理想的には、これにより、ユーザは、ユーザ自身の目が実際に内視鏡の空洞内部にあるかのように、内視鏡画像と関わることができるはずである。しかしながら、患者の生体構造の蛇行進路を通して内視鏡を操作及びナビゲーションすると、視認される画像が回転してしまうことが多い。画像が回転すると、ユーザは、内視鏡腔内で実際に上下にあるものを見失ってしまう。具体的には、内視鏡処置中に、ユーザの視点は内視鏡の視点と異なるものになり、ユーザは常に、患者の生体構造の自身の心象をディスプレイ上に示される内視鏡画像と相関させようと努める必要がある。したがって、ユーザが見ているモニタ内のカメラビューがランダムかつ頻繁に回転するので、ディスプレイ上のカメラビューを見ているユーザは、動き酔いになってしまう。動き酔いを防ぐために、内視鏡がどのように操作されているかに関係なく、内視鏡画像の適切な直立重力レベルの向きを維持できる技術を提案する刊行物が、数多く存在する。表示画像の回転を制御するための技術としては、内視鏡の向きを測定し、次に内視鏡画像を光学的、機械的又は電子的に回転させて、内視鏡先端の向きを補償することが挙げられる。例えば、米国特許出願公開第２０１１／００２６７８７号及び第２０１３／０２０４１２６号、並びに米国特許第１０２７５８９９号を参照されたい。
【０００５】
更に最近では、ワイヤ腱によって操作されるロボット駆動内視鏡が提案されている。そのような提案の一例は、Ｂａｊｏ他による非特許文献（ＮＰＬ）の“Robotic-Assisted  Micro-Surgery  of  the  Throat：the  Trans-Nasal  Approach”(2013  IEEE  International  Conference  on  Robotics  and  Automation（ＩＣＲＡ））（以下ＮＰＬ１と呼ぶ）に記載されている。連続体ロボットの端から端に沿って複数の独立して制御されるセグメントを含む連続体ロボットの動きを制御するための方法及びシステムを記載している米国特許公開第９５３９７２６号も参照されたい。
【０００６】
ＮＰＬ１に記載されているようなロボットシステムでは、内視鏡プローブの直径を最小化するために、連続体ロボットのツールチャネルを通して、小型化されたイメージングデバイス（例えばファイバカメラ）が配置される。イメージングデバイス（イメージングプローブとも呼ばれる）は、典型的には、保護シース（カテーテル）に囲まれている。患者の体内での内視鏡ナビゲーションを制御するための、ユーザとロボットシステムの間の相互作用のためのインタフェースとしては、ハンドヘルドコントローラ（例えばゲームパッドコントローラ）が使用される。システムコンソールに設けられるか又は壁に取り付けられる液晶ディスプレイ（ＬＤＣ）モニタ等の表示デバイスは、カメラの視野の画像（ＦＯＶ画像）を表示して、ユーザが患者内の標的位置に到達するように患者の生体構造を通して内視鏡をナビゲートするのを支援する。
【０００７】
カメラビューの向きと、ゲームパッドコントローラの向きと、カテーテル先端の向きは、典型的には、患者の生体構造（例えば気道）内にカテーテルを挿入する前に、互いにマッピングされる。生検鉗子、生検針及び／又は超音波プローブ等の他のツールをカテーテルのツールチャネルを通して配置するために、ファイバカメラは、必要に応じて簡単に後退させたり再挿入したりできるように、カテーテルシースに固定されない。したがって、ファイバカメラとカテーテル内壁の間には小さな隙間がある。この隙間により、ユーザは、スムーズにファイバカメラを挿入及び後退させ、また、必要に応じてツールチャネルを通して他の器具を挿入することができる。更に、イメージング中、カメラとカテーテル内壁の間の隙間は、カメラビューを遮っている身体物質（例えば粘液）を除去するための流体（例えば液体やガス等）を通すのに用いられる。
【０００８】
しかしながら、カテーテルが患者内へと挿入され、患者の生体構造の蛇行進路を通ってナビゲートされるとき、カテーテルは、患者の生体構造と必然的に相互作用することになり、ねじれ、曲げ、回転及び／又は変形が生じてしまう。カテーテルのファイバカメラは固定されていないので、ファイバカメラとカテーテルは互いに独立して動く（回転する）傾向があり、結果として、内視鏡挿入の前に確立された較正されたパラメータのミスマッピングが生じる。結果として、ユーザにとって、患者の生体構造を通して内視鏡の先端を正確にナビゲートすることは困難である。
【０００９】
したがって、カメラビューの向きと、ゲームパッドコントローラの向きと、カテーテル先端の向きとの間のミスマッピングに起因するユーザ及び／又は患者に対する悪影響を防止することのできる、改善された内視鏡システムが、長年求められている。
【発明の概要】
【００１０】
本開示の一態様によれば、内視鏡イメージングシステムは、操縦可能シースと、シースのツールチャネル内に配置されたイメージングデバイスとを有する。イメージングデバイスの向きに関してシースの向きをマッピングするために、シースの遠位端に１つ以上の参照マーカが配置される。コントローラは、イメージングデバイスがシースの遠位端から視野（ＦＯＶ）画像を取得する間に、シースの遠位端を曲げ、又はねじり、又は回転させるように、操縦可能シースを駆動する。プロセッサは、ＦＯＶ画像に重ね合された１つ以上の参照マーカのグラフィック表現に基づいて、イメージングデバイスの向きに関する操縦可能シースの向きの変化を計算し、向きの変化をリアルタイムで補償する。出力ユニットは、イメージングデバイスの向きに関して操縦可能シースの向きをリマッピングするための指示を提供する。
【００１１】
本開示の別の態様によれば、内視鏡システムは、以下を備える：体への挿入のための遠位端と、体の外側からの操作のための近位端とを有する操縦可能シースであって、近位端から遠位端まで延びるツールチャネルを有する、操縦可能シース；操縦可能シースのツールチャネルの内側に取外し可能に配置されるイメージングデバイス；操縦可能シースとイメージングデバイスとの位置関係をマッピングするように配置される複数のマーカ；イメージングデバイスがシースの遠位端からのライブビュー画像を取得している間に、シースの少なくとも一部がイメージングデバイスとともに動くように、操縦可能シースを駆動するように構成されたコントローラ；及び、イメージングデバイス及びコントローラとデータ通信するプロセッサ。プロセッサは、イメージングデバイスによって取得されたライブビュー画像を処理し、参照マーカのうちの少なくとも１つからの信号に基づいて、操縦可能シースとイメージングデバイスの間の位置関係の変化を決定し、コントローラが操縦可能シースを第１の位置の第２の位置まで駆動し、位置関係が所定の閾値よりも大きく変化した後、操縦可能シースとイメージングデバイスの間の位置関係をリマッピングすることによって、位置関係の変化をリアルタイムで補償するように構成される。
【００１２】
本開示の更なる態様によれば、操縦可能医用器具（１００）は以下を備える：シースの近位端から遠位端まで、シースの端から端に沿って延びるツールチャネル及び複数のワイヤコンジットを有するシース；ツールチャネルとの間に隙間があるようにツールチャネルの内側に取外し可能に配置されるとともに、シースの遠位端から視野（ＦＯＶ）画像を取得するように構成されるイメージングデバイス；シースのワイヤコンジット（１０４）内に配置されるとともに、ワイヤコンジットに沿ってスライド可能であるように構成される制御ワイヤ（１１０）；制御ワイヤ（１１０）に動作可能に接続されるアクチュエータユニット（３１０）であって、シースの少なくとも一部をイメージングデバイスとともに曲げ、又はねじり、又は回転させるように、駆動力を加えるアクチュエータユニット；イメージングデバイスの向きに関してシースの向きの関係をマッピングするように配置される複数の参照マーカ；及び、イメージングデバイス及びアクチュエータユニットに動作可能に接続されるプロセッサ。プロセッサは、ユーザが所望の方向にコントローラを操作することに従ってシースを曲げ、又はねじり、又は回転させるように、アクチュエータユニットに、制御ワイヤに対して駆動力を加えさせ、イメージングデバイスによって取得されたライブビュー画像を処理し、参照マーカのうちの少なくとも１つからの信号に基づいて、操縦可能シースとイメージングデバイスの間の位置関係の変化を決定し、アクチュエータユニットが制御ワイヤに対して駆動力を加えて、シース及び／又はイメージングデバイスを第１の位置の第２の位置まで動かし、位置関係が所定の閾値よりも大きく変化した後、シースとイメージングデバイスの間の位置関係をリマッピングすることによって、位置関係の変化をリアルタイムで補償するように構成される。
【００１３】
本開示の更なる態様によれば、操縦可能器具は、少なくとも１つのワーキングチャネルを備えた連続体ロボット操縦可能カテーテルである。イメージングデバイスは、カメラとカテーテルの間に隙間があるようにワーキングチャネルを通って配置されるファイバカメラである。プロセッサは、カテーテルとカメラの間の曲げ、ねじれ又は回転を決定するための検出システムと、カメラに対してカテーテルの向きをリマッピングするためのリアルタイムの補償方法とを実施する。
【００１４】
本開示の追加の態様は、画像ベースのミスマッピング検出システムに用いられる参照マーカと、センサベースのミスマッピング検出システムに用いられる参照マーカと、光学ベースのミスマッピング検出システムとを対象とする。センサベースの検出システムでは、少なくとも２つの６ＤＯＦセンサが用いられ、第１のセンサがカテーテルの回転及び／又は向きを追跡し、第２のセンサがカメラの回転及び／又は向きを追跡する。一実施形態では、小型の電磁センサが用いられる。光学ベースの検出システムでは、カテーテル上に配置された色分けされたマーカと、カメラと統合された光学系とにより、カメラ向きに関するカテーテルの位置関係が追跡される。カテーテル先端の向きとカメラの向きの間のコントローラマッピングされた位置関係は、参照マーカ及び又はセンサに基づいて確立される。カテーテルとカメラの間の位置関係が変化したとき、プロセッサは、カメラビュー、ゲームパッドコントローラ及びカテーテルの向きをリマッピングする。これらのステップ（ミスマッピングの検出とリマッピング）は、カメラビューの全てのフレームにおいて、プロセッサによって自動的に実行される。一部の実施形態では、ユーザは、リマッピングをトリガするための具体的な閾値を設定することができる。一態様によれば、例えば、ユーザが向きについて５度の変化を閾値として設定した場合、ソフトウェアシステムは、推定ねじれが５度の閾値を超えるときのみ、カメラビュー、ゲームパッドコントローラ及びカテーテルの向きをリマッピングする。
【００１５】
より広い態様では、本開示は、ワーキングチャネルを備えたカテーテルと、カメラとカテーテルの内径の間に隙間があるようにワーキングチャネルを通って配置された内視鏡カメラとを対象とする。検出システムは、カテーテルとカメラの間のねじれ又はずれを検出するように構成される。プロセッサは、一人称視点制御に好ましい向きに内視鏡画像を維持するために、カテーテル及びカメラのリマッピングのためにリアルタイムで補償プロセスを実行するように構成される。検出システムは、参照マーク（例えば１つ以上のカラーフラップ）を用いた画像ベース検出システムを含んでよい。検出システムは、１つ以上の６ＤＯＦセンサを用いるセンサベースの検出システムを含んでよい。検出システムは、カテーテルシース及び／又はカメラフレームに統合された光学系を用いた光学ベースの検出システムを含み得る。リマッピングのために、プロセッサは、参照検出システムに基づくコントローラマッピングベースの信号を用いる。
【００１６】
本開示のこれら及び他の目的、特徴及び利点は、本開示の例示の実施形態の以下の詳細な説明を添付の図面及び提供された特許請求の範囲と併せて読むと、明らかになるであろう。
【図面の簡単な説明】
【００１７】
本開示の更なる目的、特徴及び利点は、本開示の例示の実施形態を示す添付の図と併せて解釈すると、以下の詳細な説明から明らかになるであろう。
【００１８】
【図１】図１は、湾曲した形状に適応するように構成されたマルチセグメントロボット操縦可能カテーテルであり得る操縦可能カテーテル１００をロボット制御するための、ロボット内視鏡システム１０００の例示の実施形態を示す図である。
【図２】図２は、ツールチャネル１０５及び複数のワイヤ誘導コンジット１０４を含む操縦可能カテーテル１００の構造をより詳細に示す図である。
【図３】図３Ａは、例示の一実施形態に係る操縦可能カテーテル１００の写真である。図３Ｂは、操縦可能セグメント１０１Ａの一部（Ｂ部分）の斜視図である。図３Ｃは、ツールチャネル１０５の周囲に形成された複数のワイヤ誘導コンジット１０４を有する例示のワイヤ誘導リング４０２（ワイヤ誘導部材）の斜視図である。
【図４】図４は、一実施形態に係る、操縦可能カテーテル１００の遠位セクション１０１の長さ方向断面図である。
【図５】図５は、カテーテルの遠位端から突出した異なる色のカラーフラップ（１９１及び１９２）としての参照マーカ１９０の例示の実装の写真である。
【図６】図６Ａ、図６Ｂ及び図６Ｃは、カテーテルの遠位端に配置された可視参照マーカのタイプの様々な例のグラフィック表現を示す図である。
【図７】図７は、別の実施形態に係る、カテーテルの遠位端にセンサベース参照マーカ１９０を有する操縦可能カテーテル１００の断面図である。
【図８】図８Ａ、図８Ｂ及び図８Ｃは、カテーテルの先端に埋め込まれたセンサベース参照マーカと、ファイバカメラ１８０付近に埋め込まれるか又は取り付けられた参照マーカの、軸方向ビューを示す図である。
【図９】図９Ａは、本開示の実施形態に係る、操縦可能カテーテル１００の曲げ、ねじれ又は回転の動作の能動制御リアルタイム補償及びリマッピングを実施するように構成された制御システム９００の例示のブロック図を示す。図９Ｂは、制御システム９００に係る機能ブロック図を実施するように構成されたコンピュータシステム４００の機能ブロックを示す図である。
【図１０】図１０は、操縦可能カテーテル１００のリアルタイムの補償及びリマッピングを実施するための例示のプロセスを示すフローチャートである。
【図１１】図１１Ａ、図１１Ｂ、図１１Ｃは、リアルタイムの画像補償及び向きリマッピングのために、ファイバカメラ１８０の向きに関するカテーテルの向きを追跡するための参照マークとして、参照マーカ１９０及び１９２が用いられた内視鏡画像の例を示す図である。
【図１２】図１２Ａ及び図１２Ｂは、本開示の実施形態に係る、カメラビューの向きと、ゲームパッドコントローラ向きと、カテーテル先端の向きとの間のミスマッピングを検出するための光学ベースセンサを示す図である。
【図１３】図１３Ａ、図１３Ｂ及び図１３Ｃは、ツールチャネル内部でのカメラのねじれ又は回転に起因する、ゲームパッドコントローラとカテーテルとカメラの間のミスマッピングを検出するための、光学ベースシステムの変更実施形態を示す図である。
【図１４】図１４Ａは、３つの湾曲セクションから成るロボットカテーテルの座標系及びキネマティック変数を示す図である。図１４Ｂは、ロボットカテーテルのｉ番目のセクションにおける曲げ方向φ及び曲げ角度θを表す曲げ変数を示す図である。
【発明を実施するための形態】
【００１９】
本明細書に開示される例示の実施形態は、カメラビューの向きと、ゲームパッドコントローラの向きと、内視鏡又はカテーテル先端の向きとの間のミスマッピングのリアルタイム補償を用いることにより、ユーザ及び／又は患者に対する悪影響を防止することのできる、改善された内視鏡システムを提供するという目的に基づく。
【００２０】
図全体を通して、別段の記載がない限り、同じ参照番号及び文字は、例示される実施形態の同様の特徴、要素、コンポーネント又は部分を示すために用いられる。更に、同封の図を参照して本開示を詳細に説明するが、それは、例示の実施形態に関連してなされる。添付の特許請求の範囲によって定義される本開示の真の範囲及び主旨から逸脱することなく、説明される例示の実施形態に対して変更及び修正を行うことができることが意図される。図面はいくつかの可能な構成及びアプローチを表すが、図面は必ずしも縮尺どおりではなく、本開示の特定の態様をより分かりやすく図示及び説明するために、特定の特徴が誇張、削除又は部分的に切断される場合がある。本明細書に記載の説明は、網羅的であること、そうでなければ、図面に示され以下の詳細な説明に開示される正確な形態及び構成に特許請求の範囲を限定又は制限することを意図するものではない。なお、以下の説明で用いられる図面の各々では、図面内で認識可能なサイズでそれぞれのコンポーネントを示すために、コンポーネントごとに縮尺が変化している。言い換えれば、本開示の範囲は、図面に示されるコンポーネントの数、コンポーネントの形状、コンポーネントのサイズの比率、及び、それぞれのコンポーネント間の相対的な位置関係に限定されない。
【００２１】
当業者には当然のことながら、一般に、本明細書、特に添付の特許請求の範囲（例えば添付の特許請求の範囲の本文）で使用される用語は、概して、“オープン”な用語として意図されている（例えば、「含む」という用語は「含むが、これに限定されない」と解釈されるべきであり、「有する」という用語は「少なくとも有する」と解釈されるべきであり、「備える」は「備えるが、これに限定されない」と解釈されるべきである、等）。更に、当業者には当然のことながら、導入された請求項記載の具体的な数字が意図されている場合、そのような意図は特許請求の範囲に明示的に記載され、また、そのような記載がない場合、そのような意図は存在しない。例えば、理解の助けとして、以下の添付の特許請求の範囲は、請求項記載を導入するために、「少なくとも１つの」や「１つ以上の」という導入句の使用を含む場合がある。ただし、そのような語句の使用は、同じ請求項に「１つ以上の」又は「少なくとも１つの」との導入句と、“ａ”又は“ａｎ”等の不定冠詞とが含まれている場合でも、不定冠詞“ａ”又は“ａｎ”による請求項記載の導入により、そのような導入された請求項記載を含む特定の請求項が、そのような記載を１つだけ含む請求項に限定されることを意味すると解釈されるべきではない（例えば、“ａ”及び／又は“ａｎ”は、典型的には、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである）。請求項記載を導入するために使用される定冠詞の使用についても、同じことが言える。
【００２２】
更に、導入された請求項記載の具体的な数字が明示的に記載されている場合であっても、当業者には当然のことながら、そのような記載は、典型的には、少なくとも記載された数を意味すると解釈されるべきである（例えば、他の修飾語を伴わずに「２つの記載」とだけ記載される場合、典型的には、少なくとも２つの記載、又は２つ以上の記載を意味する）。更に、「Ａ、Ｂ及びＣ等のうちの少なくとも１つ」に類似した規定が使用される場合、概して、そのような構文は、当業者が該規定を理解し得るという意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、Ａ単独で、Ｂ単独で、Ｃ単独で、ＡとＢを併せて、ＡとＣを併せて、ＢとＣを併せて、かつ／又は、Ａ、Ｂ及びＣを併せて有するシステム等を含み得る）。「Ａ、Ｂ又はＣ等のうちの少なくとも１つ」に類似した規定が使用される場合、概して、そのような構文は、当業者が該規定を理解し得るという意味で意図されている（例えば、「Ａ、Ｂ又はＣのうちの少なくとも１つを有するシステム」は、Ａ単独で、Ｂ単独で、Ｃ単独で、ＡとＢを併せて、ＡとＣを併せて、ＢとＣを併せて、かつ／又は、Ａ、Ｂ及びＣを併せて有するシステム等を含み得る）。更に、当業者には当然のことながら、典型的には、離接語、及び／又は２つ以上の代替用語を表す語句（明細書、特許請求の範囲、又は図面のいずれにおいても）は、文脈上別段の指示がない限り、該用語の一方、該用語のいずれか、又は該用語の両方を含む可能性を企図するものと理解されるべきである。例えば、「Ａ又はＢ」という表現は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むと理解される。
【００２３】
本明細書において、特徴又は要素が別の特徴又は要素の「上」にあるとして言及されるとき、それは、当該他の特徴又は要素の直上に存在してよく、又は、介在する特徴及び／又は要素も存在してよい。対照的に、特徴又は要素が別の特徴又は要素の「直上」にあるとして言及されるとき、介在する特徴又は要素は存在しない。また、当然のことながら、特徴又は要素が別の特徴又は要素に「接続される」、「取り付けられる」、「結合される」等として言及されるとき、それは、当該他の特徴に直接的に接続されてよく、取り付けられてよく、又は結合されてよく、又は、介在する特徴又は要素が存在してもよい。対照的に、特徴又は要素が別の特徴又は要素に「直接的に接続される」、「直接的に取り付けられる」又は「直接的に結合される」として言及されるとき、介在する特徴又は要素は存在しない。一実施形態に関して説明又は図示したが、一実施形態においてそのように説明又は図示された特徴及び要素は、他の実施形態に適用することができる。また、当業者であれば理解できるように、別の特徴に「隣接」して配置されている構造又は特徴への言及は、当該隣接する特徴にオーバーラップするかその下にある部分をもつ場合がある。
【００２４】
本明細書では、様々な要素、構成要素、領域、部品及び／又は部分を説明するために、第１、第２、第３等の用語が使用される場合がある。当然のことながら、これらの要素、コンポーネント、領域、部品及び／又は部分はこれらの指定の用語によって限定されない。これらの指定の用語は、ある要素、コンポーネント、領域、部品又は部分を別の領域、部品又は部分から区別するためにのみ使用されている。よって、後述する第１の要素、コンポーネント、領域、部品又は部分は、単に区別を目的として、しかし限定をすることなく、また、構造的又は機能的な意味から逸脱することなく、第２の要素、コンポーネント、領域、部品又は部分と呼ぶことができる。
【００２５】
本明細書において用いられる場合、単数形は、文脈上明確に別段の指示がない限り、複数形も含むことを意図している。更に、当然のことながら、「含む」、「備える」、「成る」という用語は、本明細書及び特許請求の範囲において用いられる場合、記載の特徴、整数、ステップ、動作、要素及び／又はコンポーネントの存在を指定するが、明示的に記載されていない１つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネント及び／又はそれらのグループの存在又は追加を排除するものではない。更に、本開示では、「〜から成る」という移行句は、クレームで指定されていないいかなる要素、ステップ又はコンポーネントも除外する。更に、留意すべきこととして、一部のクレーム又はクレームの一部の特徴は、任意の要素を除外するように起草される場合があり、このようなクレームは、クレーム要素の記載に関連して「単独で」、「〜のみ」等の排他的な用語を使用する場合があり、又は、「否定的な」限定を使用する場合がある。
【００２６】
本明細書で使用される「約」又は「およそ」という用語は、例えば１０％以内、５％以内又はそれ未満を意味する。一部の実施形態では、「約」という用語は、測定誤差内を意味することがある。これに関して、説明され又はクレームされる際に、用語が明示的に表示されていなくても、全ての数値は「約」又は「およそ」という語が前置されているかのように読まれてよい。「約」又は「およそ」という語句は、大きさ及び／又は位置を記述するとき、記載の値及び／又は位置が値及び／又は位置の妥当な予想範囲内にあることを示すために使用されることがある。例えば、数値は、記述された値（又は値の範囲）の±０．１％、記述された値（又は値の範囲）の±１％、記述された値（又は値の範囲）の±２％、記述された値（又は値の範囲）の±５％、記述された値（又は値の範囲）の±１０％等である値を含み得る。本明細書に記載されている場合、あらゆる数値範囲は、具体的に別段の記載がない限り、終了値を含むことを意図しており、そこに属する全ての部分範囲を含む。本明細書で用いられる場合、「実質的に」という用語は、意図された目的に悪影響を及ぼさない、記述子からの逸脱を許容することを意味する。例えば、測定値の限定に由来する逸脱、製造公差内の差異、又は５％未満の変動は、実質的に同じ範囲内にあると見なすことができる。指定された記述子は、絶対値（例えば、実質的に球形、実質的に垂直、実質的に同心等）又は相対語（例えば、実質的に類似、実質的に同じ等）であり得る。
【００２７】
具体的に別段の記載がない限り、以下の開示から明らかであるように、本開示を通して、「処理する」、「コンピュータで計算する」、「計算する」、「決定する」、「表示する」等の用語を用いた議論は、コンピュータシステム、又は同様の電子コンピューティングデバイス、又は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、同様にコンピュータシステムのメモリ又はレジスタ又は他のそのような情報の記憶、伝送又は表示用のデバイス内の物理量として表される他のデータに変換するデータ処理デバイスの、動作及びプロセスを指すものと理解される。本明細書に記載されているか、若しくは添付の特許請求の範囲に記載されているコンピュータ動作又は電子動作は、文脈上別段の指示がない限り、一般に、任意の順序で実行することができる。また、様々な動作フロー図が順番に提示されているが、当然のことながら、各種動作は、図示又は特許請求されている順序以外の順序で実行することができ、或いは、動作を同時に実行することができる。そのような代替の順序付けの例としては、文脈上別段の指示がない限り、重複、インターリーブ、中断、再順序付け、増分、準備、補足、同時、逆、又は他の変形の順序付けが挙げられる。更に、「〜に応答して」、「〜に応えて」、「〜に関連して」、「〜に基づいて」等の用語、又は他の同様の過去形容詞は、文脈上別段の指示がない限り、通常、そのような変形を除外することを意図していない。
【００２８】
本開示は、概して医療機器に関し、分光装置（例えば内視鏡）、光干渉断層法（ＯＣＴ）装置、又はそのような装置の組合せ（例えばマルチモダリティイメージングプローブ）に適用可能であるイメージングプローブの実施形態を例示する。プローブ及びその部分の実施形態を、三次元空間におけるそれらの状態に関して説明する。本明細書で用いられる場合、「位置」という用語は、３次元空間における物体又は物体の一部の位置（例えばデカルトＸ、Ｙ、Ｚ座標に沿った３自由度の並進自由度）を指し、「向き」という用語は、物体又は物体の一部の回転配置（回転の３自由度―例えばロール、ピッチ、ヨー）を指し、「姿勢」という用語は、少なくとも１つの並進自由度にある物体又は物体の一部の位置と、少なくとも１つの回転自由度にある物体又は一部の物体の向きとを指し（合計で最大６つの自由度）、「形状」という用語は、物体の長尺体に沿って測定された一連の姿勢、位置及び／又は方向を指す。
【００２９】
医療機器の分野において既知であるように、「近位」及び「遠位」という用語は、ユーザから手術部位又は診断部位まで延びる器具の端部の操作に関して用いられる。これに関して、「近位」という用語は、器具のユーザに近い部分（例えばハンドル）を指し、「遠位」という用語は、ユーザから離れており外科部位又は診断部位に近い器具の部分（先端）を指す。更に、当然のことながら、便宜上簡潔にするために、本明細書では、図面に関して「垂直」、「平行」、「上」、「下」等の空間用語が用いられる場合がある。ただし、手術器具は多くの向きと位置で使用されるものであり、これらの用語は限定的かつ／又は絶対的であることを意図していない。
【００３０】
本明細書で用いられる場合、「カテーテル」との用語は、概して、広範囲の医療機能を実行するために、狭い開口を通して体腔（例えば血管）の中に挿入されるように設計された、医療グレードの材料から作られる柔軟で薄い管状器具を指す。より具体的な「光学カテーテル」との用語は、医療グレード材料から作られた保護シース内に配置され光学イメージング機能をもつ１つ以上の軟性の光伝導ファイバの細長い束を含む医用器具を指す。光学カテーテルの特定の例は、シース、コイル、プロテクタ及び光学プローブを備える光ファイバカテーテルである。一部の用途では、カテーテルは、シースと同様に機能する「ガイドカテーテル」を含み得る。
【００３１】
本明細書で用いられる場合、「内視鏡」との用語は、光学プローブによって導かれる光を用いて体腔又は臓器の内部を観察する、硬性又は軟性の医用器具を指す。内視鏡が自然開口を通して挿入される医療処置は、内視鏡検査と呼ばれる。専用の内視鏡は、気管支鏡（口）、Ｓ状結腸鏡（直腸）、膀胱鏡（膀胱）、腎臓鏡（腎臓）、気管支鏡（気管支）、咽頭鏡（咽頭）、耳鏡（耳）、関節鏡（関節）、腹腔鏡（腹部）及び消化管内視鏡等、一般に、内視鏡の使用方法や使用場所にちなんで名付けられる。本開示の実施形態は、上記の内視鏡の１つ以上に適用可能である。本開示によれば、プローブの視野の向きと、ゲームパッドコントローラの向きと、カテーテル先端の向きとの間のミスマッピングのリアルタイム補償を用いることにより、ユーザ及び／又は患者に対する悪影響を防止することのできる、改善された連続体ロボットシステムによって、内視鏡又はカテーテルを動作させることができる。
【００３２】
＜連続体ロボット内視鏡＞
図１及び図２を参照して、連続体ロボットシステム１０００の例示の構成を説明する。図１は、ロボット制御操縦可能カテーテル１００（操縦可能管状シース）を動作させるように構成された連続体ロボットシステム１０００の実施形態を示す。図２は、操縦可能カテーテル１００の構造をより詳細に示す。ロボットシステム１０００は、患者の生体構造内部の蛇行進路を通してカテーテルをナビゲートするために、操縦可能カテーテル１００を曲線形状に適合させるように構成された連続体又はマルチセグメントのロボットを含む。連続体ロボットの例は、出願人の以前の米国特許第９１４４３７０号（あらゆる目的で参照により本明細書に組み込まれる）に記載されているような、ヘビ様内視鏡デバイスである。
【００３３】
図１に示されるように、連続体ロボットシステム１０００の全体構造は、コンピュータシステム４００（例えばコンソール）と、ロボット制御システム３００と、ハンドル２００及び支持プラットフォーム６００を介して制御システム３００に接続された操縦可能カテーテル１００とを含む。操縦可能医用カテーテル１００は、長手方向軸Ａｘに沿って配置された非操縦可能近位セクション１０２及び操縦可能遠位セクション１０１から成る管状シャフト（管状シース）を含む。管状シースは、長手方向軸Ａｘに沿って近位端から遠位端に延びるツールチャネル１０５を有する。慣例により、操縦可能カテーテル１００は、ｘ，ｙ，ｚデカルト座標の３Ｄ座標系によって定義される３次元（３Ｄ）空間で動作する。カテーテル１００の長手方向軸Ａｘは、座標系のｚ軸に平行であるものとして定義される。
【００３４】
遠位セクション１０１は、操縦可能カテーテル１００が管腔内の蛇行進路を通って前進するときに曲がり、湾曲し、ねじれ、又は回転するように構成された複数の湾曲セグメント１、２、３、…、Ｎに分けられる。カテーテル１００の遠位端は、長手方向軸Ａｘに垂直なイメージング表面及びイメージング平面をもつイメージングデバイス（ファイバカメラ１８０等）を有する。言い換えれば、カメラ１８０のイメージング平面は、座標系上のｘ−ｙ平面に平行であるものとして定義される。気道等の管腔に挿入された内視鏡の場合、イメージングデバイスが器具の視野（ＦＯＶ）から直接撮られた管腔のライブビュー画像を提供している間に、カテーテルの先端（遠位端）は管腔を通って前進する。大抵の場合、管腔内の所望の標的位置に到達するために、カテーテル１００は、第１の視野（ＦＯＶ1）から後続の視野（ＦＯＶ1+i）まで絶えず変化する視野で画像が撮られるように、異なる方向に曲がり、ねじれ、かつ／又は回転する必要がある（「ｉ」は、器具が患者の生体構造を通って標的位置まで進むにつれて＋１増加する）。
【００３５】
操縦可能カテーテル１００の曲げ、ねじれ及び／又は回転（操縦）は、ハンドル２００と、ロボット制御システム３００と、支持プラットフォーム６００とから成る作動システムによって制御される。制御システム３００は、概して、プロセッサ又は中央処理装置（ＣＰＵ）４１０によって動作させられる適切なソフトウェア、ファームウェア及び周辺ハードウェアを伴うコンピュータシステム４００を含み、又はコンピュータシステム４００に接続される。コンピュータシステム４００、ロボット制御システム及びハンドル２００は、ネットワーク又はケーブル束４２５によって、互いに動作可能に接続される。一部の実施形態では、制御システム３００は、ゲームパッドコントローラ等のハンドヘルドコントローラや、スマートフォンやタブレット等のポータブル処理デバイスによって、実装することができる。他の機能のうち、制御システム３００及びコンピュータシステム４００は、外科医又は他の操作者に、操縦可能カテーテル１００を操作するための画像表示デバイス４２０及びグラフィカルユーザインタフェース（ＧＵＩ）４２２を提供することができる。ディスプレイ４２０は、画像ガイダンス（プロンプト又は指示）と、操縦可能カテーテル１００のツールチャネルに配置されたイメージングデバイスによって取得されたリアルタイム画像（ライブビュー画像）とを表示する役割を果たすので、ユーザは適切な動作を行うことができる。
【００３６】
操縦可能カテーテル１００は、前述した近位セクション１０２及び遠位セクション１０１を有する管状シースから成る。管状シース内部の少なくとも１つのツールチャネルは、内視鏡光学系及び他の各種内視鏡ツール（エンドエフェクタ）のための通路を提供する。内視鏡光学系は、照明光学系及び検出光学系を含んでよい。照明光学系は、関心エリアに照射する照明光を発し、検出光学系は、関心エリアから反射及び／又は散乱された光を収集して、画像を形成する。関心エリアは、患者の体腔の内側に位置する場合がある。操縦可能カテーテル１００の遠位セクション１０１は、その遠位端に、とりわけ、カメラ１８０に関して器具の遠位先端の位置関係（位置及び／又は向き）をマッピングするように構成された１つ以上の参照マーカ１９０を含んでよい。例えば、操縦可能カテーテル１００の遠位端が、患者内の管腔内経路を通って前進する（挿入され、又は引き抜かれる）間に曲がり、又はねじれ、又は回転するように制御されるときに、参照マーカ１９０は、第１の視野（ＦＯＶ1）で取得された画像には第１の空間参照マーク（ＲＭ1）を提供し、後続の位置の視野（ＦＯＶ1+i）で取得された画像には後続の空間参照マーク（ＲＭ1+i）を提供することができる。
【００３７】
ハンドル２００は、操縦可能カテーテル１００と制御システム３００の間の電気機械インタフェースを提供する。例えば、ハンドル２００は、機械接続、電気接続及び／又は光学接続のためのインタフェースと、操縦可能カテーテル１００を制御システム３００とインタフェース接続するためのデータ／デジタル接続とを提供することができる。また、ハンドル２００は、外科医又は操作者がエンドエフェクタツールを挿入及び手動制御することのできる入力ポート２５０を提供することができる。ハンドル２００は、カテーテル１００の操縦可能セクション１０１を手動制御するための１つ以上のダイヤル２５２を含んでもよい。「エンドエフェクタ」との用語は、外科用の器具又はツールの作業部分を指す。エンドエフェクタと呼ばれる内視鏡手術ツールとしては、当業者に知られているように、クランプ、把持器、ハサミ、ステープラ、アブレーション又は生検用の針、検査又は手術中に身体部位（臓器や組織）を操作するのに役立つ他の同様のツールが挙げられる。
【００３８】
ロボット制御システム３００は、アクチュエータシステム３１０及びキネマティックコントローラ３２０を含む。アクチュエータシステム３１０は、図１にモータ１〜モータＭとして示される複数の作動モータ（又はアクチュエータ）を含んでよく、Ｍは、１よりも大きく、遠位セクション１０１の様々なセグメントの操縦に必要な制御ワイヤ１１０の数に等しい整数である。制御ワイヤ１１０は、以下に図２及び図３Ａ〜３Ｃを参照してより詳細に説明されるように、操縦可能セグメント１、２、３、…Ｎのアンカー部材に固定される。また、ロボット制御システム３００は、１つ以上のセンサ３０４を含んでもよい。センサ３０４は、制御ワイヤ１１０にかかる圧縮力又は張力を検出及び／又は測定し、各制御ワイヤ１１０の変位量を測定するように機能する、ひずみセンサ及び／又は変位センサを含むことができる。ひずみセンサは、例えばひずみゲージによって実装することができる。変位センサは、例えばリニアエンコーダ及び／又はホール効果センサによって実装することができる。センサ３０４は、各制御ワイヤ１１０に加えられている圧縮力又は張力の量（ひずみ量）、又は、カテーテル作動中の任意の時点での制御ワイヤの移動（変位）の量に対応する信号３０５を出力することができる。各制御ワイヤ１１０のセンサ３０４（ひずみセンサ及び／又は変位センサ）からの信号３０５は、各アクチュエータモータを個別に制御するために、コントローラ３２０に供給される。このように、各制御ワイヤ１１０は、患者の生体構造の管腔内の蛇行経路を通して操縦可能カテーテル１００をナビゲートするために適切なシャフト誘導を実施するように、能動的に制御することができる。ハンドル２００は、操縦可能カテーテル１００を直線方向ＬＤに動かすためのロボット支持プラットフォーム６００（例えばリニアステージ６０１）に取り付けられる。制御システム３００は、ハンドル２００及び／又は追加の接続２０５（ケーブル束やネットワーク接続等）を介して、支持プラットフォーム６００及び／又はリニアステージ６０１に制御信号を送る。
【００３９】
図２は、一般にスリーブ又はシースと呼ばれる細長い軟性シャフト（細長体）を有する操縦可能カテーテル１００を、より詳細に示す。また、図３Ａには、カテーテル１００の例示の実施形態が表示される。このスリーブ又はシースは円筒状の管状体を有し、管状体は、近位端から遠位端まで延びる１つ以上のツールチャネル１０５及び複数のワイヤコンジット１０４を含む。ツールチャネル１０５は、管状体の円筒状開口（すなわちシースの開口）に沿って（典型的には内側に）延び、複数のワイヤコンジット１０４は、シースの壁に沿って（典型的には内部に）延びる。
【００４０】
ツールチャネル１０５は、その中にイメージングデバイス（ファイバカメラ１８０等）を受け入れるような寸法をもつが、それはまた、シースの遠位端に送られ操作されるエンドエフェクタを通過させる。また、ツールチャネル１０５は、液体又は気体の物質（例えば空気、水、造影剤等）を標的エリアに送り、かつ／又は回収するために用いることができる。ワイヤコンジット１０４により、シースの操縦可能セクション１０１の操縦（曲げ、ねじり又は回転）に用いられる制御ワイヤ及び支持ワイヤの固定及び／又は通過が可能となる。一部のワイヤコンジット１０４は、光ファイバ及び／又は電気ケーブルを通すのに用いることができる。湾曲セグメント（図１に示される１、２、３、…Ｎ）は、変曲点１０７で互いに連結される。シースの近位端では、ハンドル２００は、遠位セクション１０１の様々なセグメントを操縦するのに用いられる１つ以上の制御ホイール又はダイヤル２５２を提供する。ポート２５０（チャネル１０５のアクセスポートとしても用いることができる）もまた、ハンドル２００に組み込まれる。入力ポート２５０を用いて、小さな鉗子、針又は電気焼灼器具等の小さな器具を挿入することができる。
【００４１】
操縦可能カテーテル１００は、一連の器具の柔軟なアクセスを提供し、遠隔のイメージング、操作、切断、縫合、患者内部の管腔内標的エリアへの／からの流体の送達及び回収を可能にするように構成される。そのために、医師がロボット制御システム３００を用いてシースの遠位端に位置する器具を遠隔操作することによって該器具を制御できるように、操縦可能カテーテル１００は、ねじり剛性と縦剛性を維持しながら、蛇行進路を通って進むための柔軟性を提供する必要がある。操縦可能機能を提供するために、操縦可能カテーテル１００は、１つ以上の支持ワイヤ１１１及び複数の制御ワイヤ１１０を備え、これらは、シースの壁に沿って（典型的には内側に）、ワイヤコンジット１０４の内側に配置される。制御ワイヤ１１０の一部は、ワイヤアンカー１１４を用いて、（操縦可能セクション１０１の）シースの遠位端に固定される。他の制御ワイヤ１１０は、ワイヤアンカー１１３を用いて、遠位端から一定の距離に（例えば、１つ以上の変曲点１０７に）固定することができる。
【００４２】
例示の一実施形態では、操縦可能カテーテル１００は、１対の支持ワイヤ１１１と２対の拮抗する制御ワイヤ１１０とを含む６本のワイヤによって操縦することができる。制御ワイヤ１１０の第１のペアは、ワイヤアンカー１１３により、シースの操縦可能セクション１０１の変曲点１０７に固定することができる。制御ワイヤ１１０の第２のペアは、ワイヤアンカー１１４により、操縦可能セクション１０１の遠位端に固定することができる。支持ワイヤ１１１は、近位端では固定（静止）構造２１１に固定され、操縦可能セクション１０１の遠位端（又は変曲点）では、支持アンカー１１５に固定される。支持ワイヤ１１１は、制御ワイヤ１１０によってかけられた操縦作用を回復（対抗）するための「腱」ワイヤとして機能することができる。このように、操縦可能カテーテル１００は、ワイヤコンジット１０４を通る拮抗ワイヤのペアによってそれぞれ制御される少なくとも２つの（すなわち、２つ以上の）湾曲セクションを備えた操縦可能セクション１０１を有することができる。ファイバカメラ１８０はツールチャネル１０５を通して配置されるので、ファイバカメラ１８０は、湾曲セグメントの少なくとも１つが制御ワイヤ１１０によって駆動される度に操縦可能カテーテル１００とともに動く光学コンポーネント及び電子コンポーネントを有することが理解される。更に、ファイバカメラ１８０は、患者の生体構造を通る操縦及びナビゲーションの間に、カメラ視野のライブビュー画像を連続的に取得することが理解される。そのために、ファイバカメラ１８０は、ハンドル２００又はコンソール３００に設けられた電源端子２１３に接続される。
【００４３】
操縦可能セクション１０１の１つ又は２つのセグメントを操縦するために制御ワイヤ１１０を駆動する場合を説明したが、全ての湾曲セグメントの制御ワイヤ１１０が運動学的に駆動される場合、各湾曲セグメントの姿勢は、個々の制御ワイヤ１１０の駆動量に従って、独立して制御することができる。更に、ワイヤ駆動操縦可能カテーテル１００を長手方向軸の周りでねじるか又は回転させる機構が設けられてよい。操縦可能器具に回転又はねじりの作用をもたらす場合、まず、１つの制御ワイヤ１１０のみを駆動することによって湾曲セクションを所望の方向に曲げることができ、次に、長手方向軸を中心にシース全体を回転させることにより、シースの遠位先端の平行移動を制御することができる。
【００４４】
操縦可能カテーテル１００の近位端では、ハンドル２００は、操縦可能カテーテル１００と制御システム３００の間の機械的リンク及び電気機械的インタフェースを提供するように構成される。一実施形態では、アクチュエータシステム３１０が各制御ワイヤ１１０を独立して機械的に動作させることができるように、ハンドル２００は、複数の電気機械接続２１０（制御ワイヤ１１０の各々に対して１つの接続）を提供する。更に、ハンドル２００は、支持ワイヤ１１１の固着又は固定構造２１１（機械的接地）を提供することができる。
【００４５】
一部の実施形態では、電気ケーブル１１２も、ワイヤコンジット１０４に通される。電気ケーブル１１２は、一端（近位端）では、ハンドル２００に設けられた電圧源端子２１２に接続され、他端（遠位端）では、電子参照マーカ１９０（例えば、シースの壁に（典型的には内側に）位置する電磁（ＥＭ）センサ）等の電子デバイスに接続することができる。例えば、操縦可能器具によっては、器具の先端に位置するＥＭセンサを用いて、器具の先端の位置及び／又は向きを感知するための電磁信号（ＥＭデータ）を取得し、そのようなＥＭデータに基づいて器具のナビゲーションを制御することができる。
【００４６】
より具体的には、前述したように、アクチュエータシステム３１０のアクチュエータ（モータ）を駆動して、各制御ワイヤ１１０に張力又はねじり力を加えることにより、各制御ワイヤ１１０の動作を電子制御するために、電子コントローラ３２０が用いられる。患者の生体構造の曲がりくねった管腔内進路を進むための適切なシャフト誘導を実施するために、センサ（３０４又は１９０）が制御ループ３２５を介してフィードバック信号を提供している間に、コントローラ３２０は、アクチュエータ又はモータ３１０を能動的に駆動することにより、各制御ワイヤ１１０を制御することができる。連続体ロボットの作動制御は、「位置推定（localization）」又は運動学的制御の既知の概念に基づくことができる。位置推定に基づく制御の概念は、当技術分野では、参照座標系におけるオブジェクト（医用器具等）の位置を決定及び／又はモニタリングするのに用いられる制御システムと関連して使用される。この点について、器具位置追跡システムと組み合せた器具位置推定ソフトウェアを用いて、リアルタイム又は準リアルタイムの位置情報（デカルト座標系のＸ−Ｙ−Ｚ座標）、及び／又は、所与の座標軸又は座標系に対する向き情報を提供することができる。市販の位置推定システムには、器具に埋め込まれたＥＭセンサと電磁界発生器との間の電磁関係を用いて、位置及び／又は向きを決定するものもあれば、関連器具に位置する導電性センサと患者の皮膚にくっつけられた一連のパッチの導電性部分との間で測定された電位差又は電圧を利用して、位置及び／又は向きを決定するものもある。
【００４７】
各種コンポーネントの位置／向きを決定するための位置推定システムを備えない他の実施形態では、システムの各種コンポーネント間の運動学的かつ／又は幾何学的な関係を利用して、あるコンポーネントの位置を、別のコンポーネントの位置に対して予測することができる。カテーテル器具の運動学的関係は、従来の力学関係を適用することによってモデル化することができる。要約すると、制御要素によって操縦されるカテーテル器具は、一連の作動入力を介して制御される。４つの制御要素のカテーテル器具では、例えば、２度の運動作動すなわちピッチとヨーがあり、どちらにも＋方向と−方向がある。他の電動張力関係は、他の器具、能動的引張り、又は、カテーテル器具の挿入若しくはロールを駆動する場合がある。作動入力と、作動入力に応じたカテーテルの終点位置との間の関係は、カテーテルの“キネマティクス”と呼ばれる。この点について、「フォワードキネマティクス」は、作動入力に応じたカテーテルの終点位置を表現し、一方、「インバースキネマティクス」は、所望の終点位置に応じた作動入力を表現する。ロボット制御カテーテルシステムの制御のためのフォワードキネマティクス及びインバースキネマティクスに基づく器具作動の例は、米国特許第９５３９７２６号や、George  Thuruthel  T他の“Learning  Closed  Loop  Kinematic  Controllers  for  Continuum  Manipulators  in  Unstructured  Environments”（Soft  Roboticsにより発行、２０１７年９月；４（３）：２８５−２９６．ＤＯＩ：１０．１０８９／ｓｏｒｏ．２０１６．００５１）等の、多くの刊行物によって開示されている。これらの刊行物は、参照によりその全体が本明細書に組み込まれる。一部の実施形態は、位置推定データと運動学的及び／又は幾何学的な関係との両方を利用して、各種コンポーネントの位置を決定することができる。
【００４８】
図３Ａ、図３Ｂ及び図３Ｃは、本開示の例示の実施形態に係る操縦可能カテーテル１００の更なる詳細を示す。図３Ａは、非操縦可能近位セクション１０２及び操縦可能遠位セクション１０１を有する操縦可能カテーテル１００の写真である。遠位セクション１０１は、近位端から遠位端への順で、第１の操縦可能セグメント１０１Ａ、第２の操縦可能セグメント１０１Ｂ及び第３の操縦可能セグメント１０１Ｃを有するように示されている。各操縦可能セグメントは、互いに所定の距離で、器具の長手方向軸に沿って同軸上に配置された複数のワイヤガイドリング４０２から成る。更に、操縦可能セグメントは、アンカー部材４０４によって互いに連結され、これによって変曲点１０７（図２に図示）が形成される。
【００４９】
図３Ｂは、操縦可能セグメント１０１Ａの部分１０１−０２の斜視表現である。図３Ｂは、電気ケーブル１１２、制御ワイヤ１１０及び支持ワイヤ１１１が、ワイヤコンジット１０４を通ってガイドリング４０２の壁を通って（壁の内部で）誘導される方法を示す。図３Ｃは、ツールチャネル１０５の周囲に形成された複数のワイヤコンジット１０４を有する例示のワイヤ誘導リング４０２（ワイヤ誘導部材）の斜視図である。各ワイヤ誘導部材４０２には、外径（ＯＤ）及び内径（ＩＤ）がある。
【００５０】
一実施形態によれば、例えば図３Ａ〜図３Ｃに示されるように、操縦可能カテーテル１００は約０．１４インチの外径（ＯＤ）を有してよく、遠位部１０１は長さがおよそ２．０インチであり、カテーテル１００の全長は約２４インチである。アンカー部材４０４は、ガイドリング４０２と同様のコンジット１０４及びツールチャネル１０５を有し、典型的には、商品名Ｐｅｂａｘ（登録商標）で知られているポリエーテルブロックアミドから構築される。カテーテル１００の大部分を覆うアウターシースも、Ｐｅｂａｘから作ることができる。ただし、ポリウレタン等、他の医療グレードのプラスチックや同様の合成物でも実現可能である。シースの典型的な材料としては、例えば、ポリイミド及び／又はポリエーテルエーテルケトン（ＰＥＥＫ）も挙げられ、任意の適切な数の層を含むことができる。他の材料としては、Ｐｅｂａｘ（登録商標）、フッ化エチレンプロピレン（ＦＥＰ）等の熱可塑性エラストマー、Ｐｅｌｌｅｔｈａｎｅ（登録商標）等の熱可塑性ポリウレタン、ＮｕＳｉｌ（商標）等のシリコーン生体材料も挙げられる。このような材料により、寸法が縮小されたカテーテルや内視鏡等の、柔軟でありながらねじり弾性のある操縦可能器具の製造が可能となる。例えば、操縦可能カテーテル１００の他のプロトタイプ寸法は、外径（ＯＤ）約３．３ｍｍ、内径（ツールチャネル）２．４ｍｍ、及び長さ約５５０ｍｍである。
【００５１】
図１に戻ると、参照マーカ１９０は、器具の遠位端が操縦される方向に関係なく、カメラの視野（ＦＯＶ）画像でグラフィック表現又は参照マーク（ＲＭ）を観察できるように、ファイバカメラ１８０によって撮像することができる。例えば、参照マークＲＭ1は、操縦可能カテーテル１００が曲げられていないとき、第１の視野（ＦＯＶ1）の平面ｘ−ｙに沿った「上（ｕｐ）」方向（ｙ方向）に観察することができる。しかしながら、操縦可能カテーテル１００が例えばその長手方向軸（Ａｘ）に関して９０度曲げられているとき、参照マーカ１９０は、平面ｘ−ｚに沿ったｚ方向にグラフィック表現ＲＭ1+iによって観察することができる。したがって、イメージングデバイスによって取得された内視鏡画像を適切に表示するためには、リアルタイム補償方法を用いることにより、コントローラ３００に関して、かつ操縦可能カテーテル１００に関して、イメージングデバイスの向きをリアルタイムで連続的に追跡することが有利であり、その結果ユーザは、カテーテルのねじれが生じたときに、一人称視点（ＦＰＶ）でカテーテルを操作することができる。
【００５２】
一実施形態では、異なる固有のインジケータ（例えば赤色と黒色）をもつ２つの参照マーカが、カメラのＦＯＶ内に存在するように、カテーテルの先端に含まれる。カメラビュー、ゲームパッドコントローラ及びカテーテルの向きは、最初に、カテーテルを患者の生体構造（例えば気道）に挿入する前に、一人称視点制御でカテーテルを曲げるようにマッピングされる。初期マッピングの後、ユーザがゲームパッドの上ボタン又は下ボタンを押したとき、カテーテルは、内視鏡ビューの上又は下（垂直）方向に向かって曲がる。同様に、ユーザがゲームパッドの左ボタン又は右ボタンを押したとき、カテーテルは、内視鏡ビューの左又は右（水平）方向に向かって曲がる。カテーテルと気道の間の相互作用によってカテーテルがねじれたとき、ユーザは、内視鏡画像の参照マークの回転によって、ねじれ運動を知ることができる。この時点で、ユーザは、参照マークの位置に基づいて、ねじれ量を推定することができる。この推定を用いて、ユーザは、カメラビュー、ゲームパッド及びカテーテルの向きをリマッピングすることができる。これらのステップ（検出、推定及びリマッピング）は、カメラビューのフレーム毎に（ビデオストリームのフレーム毎に）、実質的にリアルタイムで、ソフトウェアによって自動的に実行することができる。色は、照明条件によって変化し得る。ユーザは、ソフトウェアのＲＧＢ／ＨＳＶの範囲を使用して、マーカの色範囲として色を割り当てることができる。なお、参照マーカが１つしかない場合でも、検出、推定及びリマッピングのプロセスは機能する。しかしながら、２つ以上のマーカを用いることにより、システムは、ねじれの量だけでなく、カテーテルの中心とねじれの量及び方向も、より正確に推定することができる。
【００５３】
本明細書で用いられる場合、「リアルタイム」という用語は、伝達、表示、提示等されるプロセス又はイベントを、それらのプロセス又はイベントが実際に発生するのと実質的に同時に記述することを意味する。リアルタイムとは、ユーザが十分に即時であると感じる、又はコンピュータが外部プロセスに追い付くことを可能にする、コンピュータ応答性のレベルを指す。例えば、コンピュータ技術では、リアルタイムという用語は、何かが発生し、（それが入ってくるときに）コンピュータが少なくとも部分的にリアルタイムでデータを処理する可能性がある、実際の期間を指す。別の例として、信号処理では、「リアルタイム」処理は、入力データが、例えばミサイル誘導、航空会社予約システム、株式市場のリアルタイム相場（ＲＴＱ）において、フィードバックとして事実上即座に利用できるように、ミリ秒以内に処理されるシステムに関連する。
【００５４】
また、「一人称視点」又はＦＰＶという用語は、ユーザが、ユーザの実際の場所以外の特定の視覚的観点から見る能力を指す。例えば、操縦可能カテーテル１００のライブビューに適用された場合、カメラからのライブビュー画像（ビデオ）は表示装置４２０（又はヘッドセット）に送信され、ユーザには、体腔内部からのリアルタイム一人称視点が提供される。この前提に基づき、ＦＰＶ制御（図１のプロセッサ４１０において実行される）により、医師は、ロボット操縦可能カテーテル１００からの視覚的フィードバックを用いて、遠位セクションの運動を指揮することができる。具体的には、体腔を通した方向ナビゲーションでは、ユーザは、操縦可能カテーテル１００の最遠位セクションの水平運動及び垂直運動のみを指揮することができる。前進／引戻しでは、ユーザは最近位のセクションの線形運動のみを制御することができ、一方、器具の他のセクション（中央セクション）は、フォローザリーダー（ＦＴＬ）運動アルゴリズムによって制御することができる。
【００５５】
＜参照マーカの画像ベース検出＞
図４は、一実施形態に係る、操縦可能カテーテル１００の遠位セクション１０１の長手方向断面図を示す。遠位セクション１０１は複数の操縦可能セグメントを含み、例えば、変曲点１０７で互いに連結された３つのセグメント１０１Ａ、１０１Ｂ、１０１Ｃを含む。図４では、カメラ１８０は、ツールチャネル１０５との間に隙間（ＧＡＰ）があるように、操縦可能カテーテル１００のツールチャネル１０５内に配置される。カテーテル１００は、ツールチャネル１０５の遠位端（遠位先端）に配置された１つ以上の参照マーカ１９０を含むカテーテルシースである。この実施形態では、カテーテルシースの遠位先端には、異なるインジケータ特性（例えば、それぞれ赤色と黒色）をもつ第１の参照マーカ１９１及び第２の参照マーカ１９２を含む２つの参照マーカが取り付けられる。
【００５６】
カメラ１８０の一例は、Canon  Medical  Systems  USA  Inc.から入手可能なＩＫ−ＣＴ２カメラ等の、チップオンティップ（chip-on-tip：ＣＯＴ）超小型カメラである。ＩＫ−ＣＴ２カメラは、０．７ｍｍ×０．７ｍｍ、２２０×２２０ピクセルのＣＭＯＳセンサと、１２０度視野（ＦＯＶ）レンズ、３ｍｍ〜５０ｍｍの被写界深度、医療用及び産業用内視鏡への統合用の３．５ｍケーブルを備えた、ＣＯＴビデオカメラである。ＩＫ−ＣＴ２ＣＯＴカメラシステムは、φ１．０ｍｍティップ、２２０×２２０ピクセル、背面照明付きのＣＭＯＳセンサと、統合されたＦ４．５、１２０°ＦＯＶレンズ、３．５ｍケーブル、インターフェースボード、及び５９．９４Ｈｚ、ＤＶＩ−Ｄ及びＵＳＢ２．０出力を特徴とするカメラ制御ユニットを備えたセンサーアセンブリから成る。ＩＫ−ＣＴ２は、小径の医用内視鏡や産業用検査システムのコンポーネントとしての統合用に使用することができる。なお、操縦可能カテーテル１００のチャネル１０５に設けられるイメージングデバイスは、照明光源を備えたＣＭＯＳベースのカメラ等のカメラ１８０に限定されない。カメラ１８０の別の例は、超小型ＣＣＤカメラである。操縦可能カテーテル１００のチャネル１０５内に設けられたイメージングデバイスが、参照マーカのグラフィック表現を含むか、又は参照マークとして器具自体の少なくとも一部を含む視野画像を取得するように構成されさえすれば、カメラは、スペクトル符号化内視鏡（ＳＥＥ）プローブ、光干渉断層撮影法（ＯＣＴ）プローブ、近赤外自家蛍光（ＮＩＲＡＦ）プローブ、血管内超音波検査（ＩＶＵＳ）プローブ、又はそれらの組合せ等の他のイメージングデバイスと組み合せることができ、又はそのようなイメージングデバイスに置換することができる。
【００５７】
カメラ１８０は、例えば単色、ＲＧＢ、ＣＭＹＫ、ＬＡＢ、ＨＳＶ、ＨＳＬ及びＮＣＳを含む、任意のフォーマット又はスキームで写真を撮るように構成された任意のカメラであり得る。本開示の実施形態では、カメラ１８０は、カメラのＦＯＶ内の２つ以上の参照マーカを区別するために、カラー画像を撮ることができる。カメラが患者の体内にあるときに参照マーカを「見る」ために、カメラ１８０は、照明光を提供するための光源（１つ以上の発光ダイオード（ＬＥＤ）等）を含んでよい。一部の実施形態では、カテーテル外部からの光源からの照明光を提供するために、光ファイバを用いることができる。参照マーカ（図４の２つのカラーフラップ）は、マーカの少なくとも一部がカメラの視野にあるように、カテーテル先端に取り付けられる。カメラ１８０は、各フレームで参照マークを撮像することができ、プロセッサは、２つ以上のフレーム（画像）を解析することにより、カメラに対するカテーテル回転を検出するようにプログラムされている。
【００５８】
実施形態では、フラップは、透明なプラスチックシートでできており、所望の色で塗装されている。この実施形態では、シートは、カットされ、塗装されてから、カテーテルの先端に接着される。或いは、プラスチックシートは、最初に塗装されてから、必要な形状及び寸法に従って切断又はダイスカットされてよく、次に、フラップは、カテーテル１００の遠位端の所定の位置に接着される。更なる代替として、フラップは、所望の色のプラスチックシートで作製し、カットし、カテーテルの先端に接着することができる。当然のことながら、マーカがＦＯＶ内にあり、カメラがそのような可視参照マーカの画像を取得できさえすれば、マーカを作製して操縦可能カテーテル１００の先端に取り付けるための他の材料及びプロセスが企図される。
【００５９】
図５は、参照マーカ１９０の例示の実装の写真を示す。参照マーカは、カテーテルの遠位端から突出した異なる色の１組のカラーフラップ（１９１及び１９２）を含む。この実装では、第１の参照マーカ１９１は青色であり、第２の参照マーカ１９２は緑色である。ただし、カメラがマーカの画像を取得できさえすれば、任意の色のマーカを用いることができる。図５は、カテーテル先端から突出した異なる色のフラップ又はピンの形状のマーカを示す。或いは、参照マーカとして、カテーテル先端からカメラＦＯＶ上に突出する、異なる形状又はサイズのマーカを用いることができる。イルミネータ（例えばＬＥＤ）を備えたカメラを用いる場合、フラップによって反射された光がカメラセンサに戻らないように、予防措置を取ることが好ましい。これは、カメラのセンサが高輝度の光で飽和するのを防ぐために重要である。
【００６０】
他の実施形態では、参照マーカ１９１及び１９２は、電磁放射の１つ以上の形態を吸収、反射及び／又は散乱するように構成された材料を含んでよい。図５の実施形態では、カメラが、患者の生体構造の画像に重ね合されたマーカの画像をキャプチャすることができるように、参照マーカ１９１及び１９２は可視マーカである。視認性を高めるために、マーカは、カメラ１８０によって使用される照明光の波長等の特定の波長に対して、反射性及び／又は吸収性であってよい。参照マーカ１９１及び１９２のうちの１つ以上は、金属（例えば反射箔）又は蛍光材料で作ることができる。
【００６１】
一実施形態によれば、第１の参照マーカ１９１と第２の参照マーカ１９２の両方が、カメラ１８０の視野（ＦＯＶ）内にある。カメラビューの向きと、コントローラ３００（例えばゲームパッドコントローラ）の向き及び／又は位置と、カテーテルの向きは、処置前に操縦可能器具を組み立てて較正するときにマッピングされる。正確なマッピングを容易にするために、参照マーカ１９１及び１９２は、互いに関して、かつ／又はカメラＦＯＶに関して、所定の（又は好ましい）向きに配置することができる。例えば、参照マーカは、１つのマーカが“ＵＰ”方向を示し、別のマーカが“ＤＯＷＮ”方向を示すように、互いに１８０度に、重力の方向に沿って配置することができる。マーカ１９１及び１９２はまた、互いに９０度に、視野の中心から実質的に等距離に（すなわち器具軸Ａｘから等距離に）配置されてもよい。この場合、マーカのひとつは垂直方向（重力の方向に平行）を示すことができ、別のマーカは水平方向を示す。カテーテルの向きに関してカメラビューの向きを追跡できさえすれば、任意の数のマーカと任意の配置を容認することができる。
【００６２】
一人称制御でカテーテルを曲げるには、カテーテルを患者の生体構造（例えば気道）に挿入する前に、全てのデバイスの向き座標をマッピングすることが有利である。初期マッピングの後、ユーザが操縦可能カテーテル１００を患者の生体構造（図示なし）を進むように長手方向（ＬＤ）に動かすと、カメラ１８０はライブ画像フィード（ビデオ）の取得を開始し、これは表示装置４２０の画面４２２上にリアルタイムで表示され、かつ／又はメモリに格納される。ユーザがゲームパッドコントローラのボタン（例えば“ＵＰ”又は“ＤＯＷＮ”ボタン）を押すと、操縦可能カテーテル１００は、カメラの前の視野のライブ画像（ＦＯＶ画像）の取得を続けながら、内視鏡ビューの所望の方向（例えば上方向又は下方向）に向かってカテーテルを曲げる。カテーテル１００がコントローラの動作によって患者の生体構造を通って操縦されるとき、カメラ１８０はまた、操縦可能カテーテル１００のシースと一緒に曲がり、又はねじれ、又は回転することができる。曲げ、ねじれ又は回転の動作により、カメラは回転運動Ｒ１を受け、一方、カテーテルシースは、運動Ｒ１とは異なり得る回転運動Ｒ２によって曲がり、又はねじれ、又は回転することができる。この運動の違い（曲げ、ねじれ又は回転動作の違い）により、カテーテルの向きに関するカメラ１８０の向きのミスマッピング、及び／又は、カテーテルとカメラ１８０の両方に関するゲームパッドコントローラの向きのミスマッピングが生じる。ここで、Ｒ１とＲ２は、制御された回転運動（モータによる機械的回転等）ではないことに留意されたい。代わりに、Ｒ１及びＲ２は、操縦可能カテーテル１００の操縦及びナビゲーション中に発生する曲げ、ひねり、ねじれ、又はこれらの作用の組合せの全体的な効果を表す。より具体的には、Ｒ１及びＲ２は、カテーテルと患者の生体構造（例えば気道）との間の相互作用によってカテーテルがねじれるときにミスマッピングを引き起こす様々な力を表す。
【００６３】
向きのミスマッピングを修正するために、コンピュータシステム４００のＣＰＵ４１０（プロセッサ）は、カメラ１８０（イメージングデバイス）によって取得されたＦＯＶ画像に関連して１つ以上の参照マーカのグラフィック表現を生成するようにプログラムされる。ＣＰＵ４１０は、ＦＯＶ画像に関連した１つ以上の参照マーカのグラフィック表現（画像）の位置に基づいて、イメージングデバイスの向きに関する操縦可能シースの向きの変化、又は、操縦可能シースの向きに関するイメージングデバイスの向きの変化を計算する。ＣＰＵ４１０は、イメージングデバイスの向きに関して操縦可能シースの向きをリマッピングするための指示を出力することができる。
【００６４】
図１１Ａ、図１１Ｂ、図１１Ｃは、リアルタイムの画像補償及び向きリマッピングのために、カメラ１８０の向きに関するカテーテルの向きを追跡するための参照マークとして参照マーカ１９０及び１９２が用いられた、内視鏡画像の例を示す図である。実施形態によれば、患者の生体構造（例えば気道）を通して操縦可能カテーテル１００をナビゲートするために、カメラ１８０の向きに関してカテーテルの向きを追跡するための参照マークとして、参照マーカ１９１及び１９２（図５に図示）が用いられた。
【００６５】
図１１Ａ〜図１１Ｃに示されるように、第１の参照マークＲＭ１は、第１の参照マーカ１９０（赤いマーカ）のグラフィック表現であり、第２の参照マークＲＭ２は、カメラ１８０によって撮られた第２の参照マーカ１９２（黒いマーカ）のグラフィック表現である。図１１Ａは、患者の生体構造と初期マッピング後の参照マーカの画像を示す。図１１Ａでは、患者の生体構造は、ヒトの気道の気管の第１の気管分岐部であるので、気道の気管支分岐が示されており、第１の参照マークＲＭ１は上方向を示し、第２の参照マークＲＭ２は下方向を示す（重力の方向に関して）。この時点では、ゲームパッドコントローラの上／下ボタンは、画像の上／下（垂直）方向とマッピングされており、ゲームパッドコントローラの左／右ボタンは、画像の左／右（水平）方向とマッピングされているので、ユーザは、左気管支（ＬＢ）又は右気管支（ＲＢ）のいずれかに進むように、カテーテルの方向を直感的に制御することができる。しかしながら、カメラ１８０の向きに関するカテーテルの向きが方向１９９にβ度動く（回転）すると（図１１Ｃ参照）、ゲームパッドコントローラの上ボタンはβだけずれる。この場合、図１１Ｂに示されるように、ゲームパッドコントローラのボタンが画像の向きにマッピングされなくなったので、ユーザがカテーテルを直感的にナビゲートすることは困難である。例えば、ユーザは、どちらが左気管支（ＬＢ）か右気管支（ＲＢ）かを判断することができない。このミスマッピングを補償するために、βは、画像に示されたマークＲＭ１とＲＭ２の位置を用いて、回転後の画像を以前の回転前の画像と比較することによって計算される。次に、βを用いて、ゲームパッドコントローラの方向がリマッピングされる。リマッピングの後、ゲームパッドコントローラの上ボタンは画像の上方向に正確にマッピングされているので、ユーザは、患者の生体構造に関してカテーテルの方向を直感的に制御することができる。
【００６６】
図１１Ｃは、カメラ１８０によって撮られた画像を示し、プロセッサ（ＣＰＵ４１０）が、上方向ベクトル（ＵＰ）及び水平ベクトル（ＨＺ）を示すグラフィックインジケータを追加している。マーカ１９０及び１９２の位置は、カテーテルの挿入及び曲げの前にマッピングされているので、コンピュータシステム４００のプロセッサ又はＣＰＵ４１０は、画像を正しい向きに位置合せするためにＦＯＶ画像を回転させる回転の方向及び量を決定することができる。例えば、図１１Ｃでは、コンピュータは、方向１９９（方向）の矢印と、ＦＯＶ画像をデジタル回転させる程度の量（β）を追加している。
【００６７】
図４及び図５に戻ると、第１の参照マーカ１９０及び第２の参照マーカ１９２の使用は、特定の数の参照マーカや、特定の色のマーカに限定されない。参照マーカのグラフィック表現をカメラビュー画像と併用して、カテーテル、カメラ及び／又はゲームパッドコントローラのうちの少なくとも１つの向きのミスマッピングを決定できさえすれば、他の数、他の形状、又は他のタイプの参照マーカを用いることができる。
【００６８】
＜他の可視参照マーカ＞
図６Ａ、図６Ｂ及び図６Ｃは、他のタイプの可視参照マーカの一部の例を示す。他のタイプの参照マーカ（１つの長方形（図６Ａ）、異なる反射率／透明度／色の同じ形状（図６Ｂ）、異なる形状（図６Ｃ））を使用することができる。例えば図６Ｃに示されるように形状検出を用いる場合、ソフトウェアは、図４及び図５の例で必要とされるような照明条件（反射率や色等）を考慮する必要がない。
【００６９】
図６Ａは、カテーテルの先端（遠位端）に取り付けられた単一の参照マーカ６９０の内視鏡画像又はグラフィック表現を示す。この実施形態では、単一の参照マーカ６９０は、所定の形状、反射率、色等を有することができ、そのような単一のマーカを、既知の位置、例えば水平方向又は垂直（上）方向（重力の方向に関して）に沿って、カテーテルに取り付けることができる。そして、処置中、システムは、水平（ＨＺ）及び垂直（ＶＴ）のガイドベクトルとともに画面に示されるリアルタイム画像ストリームにおいて、マーカ６９０の位置をたどって、カテーテルの遠位端にかかるねじれ、曲げ又は回転の量を決定することができる。
【００７０】
なお、図６Ａに示されるように参照マーカが１つしかない場合、この実施形態は、画像の中心がカテーテルの軸又は中心と一致すると仮定することによって、機能することができる。しかしながら、図４及び図５に示されるように少なくとも２つのマーカを用いることにより、システムは、カテーテルの中心とねじれの量をより正確に推定することができる。これは、カテーテルの中心が２つのマーカの重心（又は中心位置）として推定されるからである。言い換えれば、全ての参照マーカは、重心（又はカテーテルの中心）からほぼ等距離に位置するものと仮定される。
【００７１】
＜センサベースの参照マーカ＞
図７は、別の実施形態に係る、操縦可能カテーテル１００の遠位セクション１０１の長さ方向断面図を示す。遠位セクション１０１は、図４に示されるものと同様に、変曲点１０７で互いに連結された複数の操縦可能セグメント１０１Ａ、１０１Ｂ及び１０１Ｃを含む。図７の実施形態は、カテーテルとカメラのフレームとに埋め込まれた１つ以上の電磁（ＥＭ）センサによって実施される参照マーカを用いる。具体的には、カメラ１８０には第１の参照センサ１８９（第１のＥＭセンサ）が取り付けられ、第２の参照センサ７９０（第２のＥＭセンサ）は、カテーテルシースの壁に取り付けられるか又は埋め込まれる。
【００７２】
この実施形態では、参照マーカの代わりに、センサベース検出システムを適用して、ゲームパッドコントローラ、操縦可能器具（カテーテル又は内視鏡）及びカメラの向きをマッピングすることができる。例えば、それぞれ６自由度（６ＤＯＦ）をもつ２つのＥＭトラッキングセンサを用いて、カテーテルとカメラのねじれ、曲げ及び／又は回転の量を、互いに独立して検出及び推定することができる。サブミリメートルの直径と約５ｍｍの長さをもつ典型的な６ＤＯＦ  ＥＭセンサは、該センサが取り付けられたオブジェクトの位置と向きの両方を測定することができる。したがって、第１のＥＭセンサ１８９は、カメラ１８０の回転Ｒ１を測定することができ、第２のＥＭセンサ７９０は、カテーテルの回転Ｒ２を測定することができる。更に、少なくとも１つ又は両方のＥＭセンサは、カテーテの壁に対するカメラ１８０の位置（逆も同様）を追跡することができる。したがって、このような２つのＥＭセンサの信号を用いて、カテーテルとカメラのねじれ、曲げ又は回転を、互いに独立して正確に追跡することができる。
【００７３】
動作中は、まず、前の実施形態と同様に、初期マッピングが実行される。初期マッピングの後、ユーザがゲームパッドコントローラのボタン（例えば“ＵＰ”ボタン）を押すと、操縦可能カテーテル１００は、カメラの前の視野のライブ画像（ＦＯＶ画像）の取得を続けながら、内視鏡ビューの所望の方向（例えば上方向又は下方向）に向かってカテーテル先端を曲げる。カテーテルとカメラ１８０に取り付けられた６ＤＯＦセンサは、それぞれ、長手方向軸に対する回転角度を測定する（図７のＲ１及びＲ２を参照）。ねじれの量βを推定するために、２つのＥＭセンサからの信号を考慮することにより、長手方向軸Ａｘ（ｚ軸）周りの回転（Ｒ１及びＲ２）が減算される。この推定を用いて、ソフトウェアは、図１１Ａ〜１１Ｃを参照して前述したのと同じ方法で、カメラビュー、ゲームパッド及びカテーテルの向きをリマッピングする。この実施形態では、ＥＭセンサを用いる場合、参照マーカがカメラ１８０の視野内にある必要はないが、ＦＯＶ画像に関する２つのＥＭセンサの相対的位置を追跡することが有利である。したがって、カメラ１８０のライブビュー画像上にセンサの位置を表示することが有利である。
【００７４】
図８Ａ、図８Ｂ及び図８Ｃは、カテーテルの先端に埋め込まれた他の参照マーカと、カメラ１８０上又はカメラ１８０付近に埋め込まれるか又は取り付けられた参照マーカの、軸方向ビュー（軸Ａｘの方向で遠位端から見たビュー）を示す。図８Ａに示される実施形態は、カテーテルシースの壁に埋め込まれるか又は取り付けられた第１のＥＭセンサ８９０と、カメラ１８０に取り付けられるか又はカメラ１８０付近に取り付けられた第２のＥＭセンサ８８９とを示す。当然のことながら、前の実施形態のように、カメラ及び／又は操縦可能カテーテル１００のシースに、２つ以上のマーカ又はセンサを用いることができる。例えば、図８Ｂに示される実施形態では、ＥＭセンサ８９０及び放射線不透過性マーカ８９２を用いることができる。更に、図８Ｃに示されるように、ＥＭセンサ８９０と、放射線不透過性マーカ８９２と、可視マーカ８９４との組合せを用いることもできる。図８Ｃの実施形態では、センサ及び／又はマーカは、操縦可能カテーテル１００のシースに、カメラのフレームに、ツールチャネル１０５の遠位端に、かつ／又は、ワイヤコンジット１０４に沿って、配置することができる。
【００７５】
＜画像補償方法及びリアルタイムリマッピング＞
カテーテルと気道の間の相互作用によってカテーテルがねじれたとき、ユーザは、内視鏡画像の参照マークの回転によってねじれ運動を知ることができ（これは図１１Ａ〜１１Ｃに示されている）、プロセッサは、参照マークの位置に基づいて、又はセンサからの信号に基づいて、ねじれの量を計算することができる。このプロセッサによる計算を用いて、ユーザは、カメラビュー、ゲームパッドコントローラ及びカテーテル先端の向きをリマッピングするためのパラメータを設定することができる。これらのステップ（検出、推定及びリマッピング）は、カメラビューのフレーム毎に（又は、特定数のフレーム毎に）、ソフトウェアによって自動的に実行することができる。マーカの色は、照明条件によって変化し得る。したがって、ユーザは、ソフトウェアのＲＧＢ（赤、緑、青）又はＨＳＶ（色相、彩度、明度）の範囲内で、既知の色空間表現技術を用いて、マーカの色範囲として色を割り当てることができる。
【００７６】
リアルタイム補償方法を用いることにより、ユーザは、カテーテルのねじれが生じたときに、一人称視点でカテーテルを操作することができる。検出システムのジッターが大きいと、ユーザが見ているモニタ内のカメラビューがランダムかつ頻繁に回転するので、カメラビューを見ているユーザは、動き酔いになってしまうおそれがある。動き酔いを防止するために、ユーザは、ソフトウェアでねじれ（画像回転）の閾値を設定することができる。例えば、ユーザが閾値として５度を設定した場合、ソフトウェアは、推定ねじれが５度の閾値を超えるときのみ、カメラビュー、ゲームパッドコントローラ及びカテーテルの向きをリマッピングする。ここで、補償とは、図１１Ａ〜図１１Ｃを参照して前述したように、内視鏡ビューの表示画像が好ましい向きを実質的に変化させずに維持できるように、各種コンポーネントの位置関係をリマッピングするプロセスを指す。
【００７７】
図９Ａは、本開示の実施形態に係る、操縦可能カテーテル１００の曲げの能動制御リアルタイム補償及びリマッピングを実施するように構成された制御システム９００の例示のブロック図を示す。図９Ｂは、制御システム９００に係る機能ブロック図を実施するように構成されたコンピュータシステム４００の機能ブロックを示す図である。制御システム９００は、以下のように操縦可能カテーテル１００を制御する：（１）ゲームパッドコントローラ、カテーテル及びカメラの座標をマッピングするために、操縦可能カテーテル１００に柔軟性が必要な場合に、制御ワイヤ１１０内の力が最小化される（ゼロになる）；（２）カテーテルが手動モードにあるかロボット制御モードにあるかに関わらず、内視鏡画像の回転が連続的にモニタリングされる；（３）内視鏡の挿入又は引戻し中に蛇行進路を通してカテーテルをナビゲートするときであっても、画像の回転と操作者の動き酔いが防止され、又は最低限に抑えられる；かつ、（４）操作者のストレスと患者の外傷を最小限に抑えるために、好ましい画像向きを実質的に変化しないように維持しながら、操縦可能カテーテル１００の遠位端を自由にナビゲートすることができる。
【００７８】
図９Ａにおいて、制御システム９００は、第１のモジュール９０２、第２のモジュール９０４、第３のモジュール９０６、第４のモジュール９０８、第５のモジュール９１０及び第６のモジュール９１２を含む。第１のモジュール９０２は、「初期マッピング」モジュールであり、内視鏡画像の好ましい向きに従って、カテーテル１００とカメラ１８０とキネマティックコントローラ３２０との間の初期位置関係を設定する。第２のモジュール９０４は、「コントローラ／ＣＰＵ」モジュールであり、主に制御ワイヤ１１０を制御して、処置の始めにコントローラ３２０について“較正された”位置／向きを確立する。第３のモジュール９０６は、「リアルタイム補償又はリマッピング」モジュールであり、各種コンポーネントの位置関係の変化を計算し、変化の特定のパラメータ（閾値等）に基づいて位置関係をリマッピングする。第４のモジュール９０８は、「出力」モジュールであり、好ましい向きの内視鏡画像を表示装置に送り、駆動信号を、カテーテル先端を駆動するためのキネマティックコントローラに送る。第５のモジュール９１０は、マーカ又はセンサから、画像のリアルタイムの向きを示す信号を受信する。第５のモジュール９１０から得られたリアルタイム信号は、コンパレータモジュール９１２へフィードバックされる。この制御システム９００は、初期の向き（モジュール９０２）と実際の位置／向き（第５のモジュール９１０によって提供される）との差から（コンパレータモジュール９１２で）ミスマッピング（エラー）信号を生成するフィードバックループの、非常に単純化されたバージョンである。コンパレータモジュール９１２によって出力されたミスマッピング信号は、コントローラ又はＣＰＵ（モジュール９０４）によって制御信号９０５に変換されて、第３のモジュール９０６に送られる。制御信号９０５に基づいて、第３のモジュール４０６は、補償及びリマッピングのパラメータを計算する。次に、第４のモジュール９０８は、内視鏡画像が好ましい向きを実質的に変化させずに維持できるように、内視鏡先端を修正された位置／向きに駆動する。これは、制御ワイヤ１１０（図１及び図２）の各々の閉ループ制御である。各制御ワイヤ１１０は、それ自体のフィードバックループをもつことができる。複数のモータ／アクチュエータを単一のフィードバックループで制御する必要がある場合は、複数の入出力システムも可能である。
【００７９】
当業者には当然のことながら、制御システム９００は、完全にハードウェアの実施形態の形を取ってもよいし、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）を取ってもよいし、又は、ソフトウェアとハードウェアの態様を組み合せた実施形態の形を取ってもよく、それらは全て、本明細書では概して「回路」、「モジュール」又は「システム」と呼ばれる場合がある。更に、制御システム９００の一部の態様は、コンピュータ実行可能プログラムコードが格納されている任意の有形表現媒体に具現化されたコンピュータプログラム製品の形を取ってよい。例えば、方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して後述されるフロー図によって制御システム９００を実施することのできる一部の態様は、コンピュータプログラム命令によって実施することができる。コンピュータプログラム命令はコンピュータ可読媒体に格納されてよく、また、コンピュータ可読媒体に格納された命令が、フローチャート及び／又はブロック図において指定された機能／動作／ステップを実施する命令及びプロセスを含む製造品を構成するように、コンピュータプログラム命令は、特定の方式で機能するようにコンピュータ又は他のプログラマブルデータ処理装置に指示することができる。
【００８０】
図９Ｂは、第２のモジュール９０４を動作させるか又は第２のモジュール９０４の一部であり得るコンピュータシステム４００の機能ブロックを示す。図９Ｂに示されるように、コンピュータシステム４００は、とりわけ、中央処理装置（ＣＰＵ）又はプロセッサ４１０と、揮発性ランダムアクセスメモリ（ＲＡＭ）及び不揮発性リードオンリーメモリ（ＲＯＭ）を含む記憶メモリ４１２と、ユーザ入出力（Ｉ／Ｏ）インタフェース４１３と、システムインタフェース４１４とを含んでよく、これらは、データバス４１５を介して動作可能に相互接続される。コンピュータシステム４００は、例えばユーザインタフェース４１３を介してユーザ入力を受信すると、制御システム９００の様々な部分に送信することのできる制御コマンドを発行するようにプログラムすることができる。ユーザインタフェース４１３の一部として、タッチパネルスクリーン、キーボード、マウス、ジョイスティック、ボールコントローラ及び／又はフットペダルを含むことができる。ユーザインタフェース４１３を用いて、ユーザは、制御システム９００に操縦可能カテーテル１００を能動的に操作させるコマンドを発行することができる。例えば、ユーザがユーザインタフェース４１３を介してコマンドを入力すると、コマンドは、所与のプログラムルーティンの実行のためにＣＰＵ又はプロセッサ４１０に送信され、これにより、プロセッサに、システムインタフェース４１４を介して制御ワイヤ１１０のうちの１つ以上にコマンドを送信させ、又は、１つ以上のひずみセンサ３０４、又は、参照マーカ１９０若しくはＥＭセンサ１８９、７９０から出力された信号を読み取らせる。
【００８１】
ＣＰＵ又はプロセッサ４１０は、記憶メモリ４１２に格納されたコンピュータ実行可能命令を読み取って実行するように構成された１つ以上のマイクロプロセッサ（プロセッサ）を含んでよい。コンピュータ実行可能命令は、本明細書に開示される新規のプロセス、方法及び／又は計算の実行のためのプログラムコードを含んでよい。特に、コンピュータ実行可能命令は、図１０及び図１１Ａ〜１１Ｃに示されたプロセスを実行して、操縦可能医用カテーテル１００、ゲームパッドコントローラ及びカメラ１８０のリアルタイムの補償及びリマッピングを実施するためのプログラムコードを含むことができる。
【００８２】
記憶メモリ４１２は、１つ以上のコンピュータ読取り可能及び／又は書込み可能媒体を含み、例えば、磁気ディスク（例えばハードディスク）、光ディスク（例えばＤＶＤ、Ｂｌｕ−ｒａｙ）、光磁気ディスク、半導体メモリ（例えば不揮発性メモリカード、フラッシュメモリ、ソリッドステートドライブ、ＳＲＡＭ、ＤＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ等が挙げられる。記憶メモリ４１２は、コンピュータ可読データ及び／又はコンピュータ実行可能命令を記憶することができる。
【００８３】
システムインタフェース４１４は、入出力デバイスに対する電子通信インタフェースを提供する。特に、システムインタフェース４１４は、制御ワイヤ１１０を動作させるキネマティックコントローラのモータ又はアクチュエータにコンピュータシステム４００をインタフェース接続するために、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路基板等の１つ以上の回路を含んでよい。システムインタフェース４１４は、通信ケーブル及びネットワーク（有線か無線のいずれか）インタフェースを含んでもよい。
【００８４】
図１０は、操縦可能医用カテーテル１００、ゲームパッドコントローラ及びカメラ１８０のリアルタイムの補償及びリマッピングを実施するための例示のプロセスを示すフローチャートである。図１０は、すなわち、以下のステップを含む：（ａ）操縦可能シースの遠位端に、かつ／又はカメラ付近に配置された１つ以上の参照マーカ又はセンサに基づいて、イメージングデバイスの向きに関して操縦可能シースの向きをマッピングする；（ｂ）カメラ視野の画像（ＦＯＶ画像）の取得中に、患者の生体構造内でカテーテルが曲がり、又はねじれ、又は回転した時を決定する；（ｃ）参照マーカ又はセンサからの信号を読み取る；（ｃ２：任意）ハンドル２００又は制御システム３００に位置するひずみ又は変位センサ３０４によって感知された張力／圧縮力を読み取る；（ｄ）ソフトウェアアルゴリズムを実行して、ＦＯＶ画像に対する１つ以上の参照マーカ又はセンサの信号（例えばグラフィック表現）に基づいて、イメージングデバイスの向きに関して操縦可能シースの向き（逆も同様）の変化を計算する；及び、（ｅ）制御ワイヤ１１０を所望の方向に駆動することにより、イメージングデバイスの向きに関して操縦可能シースの向きをリマッピングして、操縦可能器具のミスマッピング又はねじれをネゲートする。
【００８５】
より具体的には、図１０のフローは始めのステップ１７０１から始まり、ここで、ゲームパッドコントローラ（キネティックコントローラ）、ファイバカメラ及び操縦可能カテーテル１００の向き座標が互いにマッピングされる。確実に適切なマッピングにするために、ステップ１７０２において、システムは、ライブビュー画像取得を有効化することができる。これらのステップ１７０１及び１７０２は、較正ステップの一部として、例えば所与の処置前に内視鏡システムが準備されるときに、発生し得る。操縦可能カテーテル１００がアクティブシャフト誘導モードに入ると、ステップ１７０３において、制御システム９００は、操縦可能カテーテル１００のアクティブ誘導を実行している。すなわち、ステップ１７０３では、システム９００は、患者の生体構造を通したカテーテル挿入（又は引抜き）中に、カテーテル１００のナビゲーションをモニタリングする。
【００８６】
ステップ１７０４において、システム９００は、ナビゲーションセンサからの全ての関連信号を読み取る（例えば、ひずみセンサ３０４からの信号、操縦可能カテーテルの遠位端に位置する参照マーカ１９０又はＥＭセンサ７９０からの信号）。ステップ１７０６において、システム９００は、操縦可能カテーテル１００が曲がっているか、又はねじれているか、又は回転しているかどうかを決定するまで、１つ以上のマーカ又はセンサからの信号を連続的にモニタリングする。操縦可能カテーテル１００が曲がっているか、又はねじれているか、又は回転しているかどうかを決定することにより、コンピュータシステム４００のＣＰＵ４１０は、カメラビュー（ＦＯＶ画像）の画像回転を連続的に追跡することもできる。したがって、ステップ１７０６では、システム９００は、画像回転が検出されるかどうかを決定する。画像回転が検出されない場合（ステップ１７０６でＮＯ）、管腔を通した器具ナビゲーションは、中断されることなく継続する。一部の実施形態では、ＣＰＵ４１０は、画像回転が所定の閾値に等しく（又は、所定の閾値よりも大きく）なったかどうかを検出してもよい。例えば、ユーザが閾値として５度の回転を設定した場合、ソフトウェアは、推定ねじれが５度のミスマッピングを超えるときのみ、カメラビュー、ゲームパッドコントローラ及びカテーテルの向きをリマッピングする。
【００８７】
したがって、画像回転が検出された場合（又は、画像回転が閾値よりも大きい場合）（ステップ１７０６のＹＥＳ）、フローはステップ１７０８へ進む。ステップ１７０８において、システム９００は、操縦可能カテーテル１００のナビゲーションを一時的に停止する。ステップ１７１０において、システム９００は、ゲームパッドコントローラの向き及びカメラ１８０の向きに関して操縦可能カテーテル１００（操縦可能シース）の向きをリマッピングするためのアルゴリズムを開始する。向きをリマッピングするために、ＣＰＵ４１０は、画像回転の程度を用いて特定の制御ワイヤ１１０を制御して、操縦可能シースの遠位端の向きを変えたり、ゲームパッドコントローラに関して操縦可能シースの近位セクション１０２を回転させたりすることができる。ステップ１７１２において、リマッピングの後、システム９００は、画像回転の量が修正されたかどうかを決定する。例えば、画像回転が無視できる程度である（ほぼゼロに等しい）場合、又は、画像回転が予め設定された値を下回る場合、フローはステップ１７１４へ進み、制御システムは、操縦可能カテーテル１００の通常のナビゲーションを継続する。そうでなければ、画像回転が修正されなかった場合（ステップ１７１２のＮＯ）、ステップ１７１０及び１７１２のループが満たされるまで、リマッピング及び画像補償は継続して繰り返される。
【００８８】
＜ミスマッピングの光学ベース検出＞
図１２Ａ及び図１２Ｂは、ゲームパッドコントローラとカテーテルとカメラの間のミスマッピングを検出するための、光学ベースシステムの更なる実施形態を示す。図１２Ａは、操縦可能カテーテル１００の（遠位端から見た）正面図を示し、図１２Ｂは、操縦可能カテーテル１００の長手方向軸Ａｘに平行に取った長さ方向断面図を示す。この実施形態によれば、カメラ１８０と操縦可能カテーテル１００の間のミスマッピングを検出するための別の方式として、ロボット作動操縦可能カテーテル１００のシャフトに組み込まれた光学系の使用が挙げられる。図１２Ｂに示されるように、光学ベースのねじれ検出システムは、マーカ２９１、光配向コンポーネント２９２、光導波路２９３、及びコンピュータシステム４００に接続された分光計２９５を含む。
【００８９】
この実施形態では、マーカ２９１は、カメラ１８０の周りに配置された色分けされたリング又は色分けされたホイールによって実装することができる。光配向コンポーネント２９２は、カメラ１８０の位置及び／又は向きに対してコンジット１０４のうちの１つのカテーテルシャフトに取り付けられたミラー又はプリズム又は回折格子である。光導波路２９３は、図示されていない光源からの光２９９を色分けされたリング２９１へ誘導し、色分けされたリング２９１から反射された光を分光計２９５へ誘導するように構成された１つ以上の光ファイバを含む。図１２Ａに示されるように、色分けされたリング２９１は、カメラ１８０に関するカテーテル１００の位置関係（逆も同様）をマッピングするようにそれぞれ構成された複数のセクタを有することができる。例えば、色分けされたリング２９１は、第１のセクタ２９１Ａ、第２のセクタ２９１Ｂ、第３のセクタ２９１Ｃ及び第４のセクタ２９１Ｄを含む。４つのセクタの各々は、光２９９が各セクタによって反射されたときに固有の出力信号を提供するように、独自の特性をもつように設計することができる（例えば各セクタは、異なる色、又は異なる反射率若しくは吸収率を有することができる）。カメラ１８０と操縦可能カテーテル１００の間のミスマッピング又はねじれは、カラーリング２９１の各セクタに照射され（かつ各セクタから反射され）、導波路２９３を介して分光計２９５に送られた光を収集することによって、追跡することができる。分光計２９５は、光を反射したホイールセクタの固有のスペクトル（色）に対応する情報（信号）を抽出し、コンピュータシステム４００は、スペクトル信号をカメラ１８０の向きと相関させる。例えば、第１のセクタ２９１Ａが赤色に対応し、第２のセクタ２９１Ｂが青色に対応する場合、カテーテルがカメラ１８０に関して回転すると（又は、カメラ１８０がカテーテルシャフトの回転又はねじれに一致しないとき）、分光計２９５は、赤から青へのスペクトルの遷移を示す信号を提供することができ、コンピュータシステム４００は、この遷移信号をカメラ１８０の好ましい向き（例えば“ＵＰ”方向）と相関させることができる。この場合、信号がある色から次の色へ変化したとき、例えば、コンピュータシステムは、ねじれの量が最大でも９０度であると推定する。更に、回転の方向（ねじれの方向）は、色分けされたリング１９１のセクタを時計回り方向及び／又は時計回り方向の回転にマッピングすることによって、決定することができる。このように、コンピュータシステムは、回転の量を推定することができ、回転が時計回りであるか又は反時計周りであるかを決定することができ、ねじれと反対の方向（例えば−９０度）に向けてカメラ画像を回転させることができる。この実施形態では、色分けされたリング２９１は、それぞれ異なる色の４つのセクタを有する。しかしながら、色分けされたリング２９１のセクタの数や色の数に限定はない。ホイールのセクタ／色の数が多いほど、コンピュータシステムは、ねじれの量／ミスマッピング補償を、より正確に提供することができる。更に、システムが、ゲームパッドコントローラとカテーテルシャフトとカメラの間のミスマッピングの量及び方向を推定できさえすれば、色分けされたリング２９１は異なる色である必要はない。色分けされたリングは、同じ色で、異なる陰影、又は異なる反射率、又は異なる吸収率をもつことができる。
【００９０】
色分けされたリング２９１がカメラ１８０の側（周囲）に配置されるので、この光学ベースのねじれ検出システムの利点は、カメラ視野を遮るものがなく、ねじれを検出するのに用いられるカメラ画像（ライブビュー画像）からの情報がないことである。
【００９１】
図１３Ａ、図１３Ｂ及び図１３Ｃは、ツールチャネル内部でのカメラのねじれ又は回転に起因する、ゲームパッドコントローラとカテーテルとカメラの間のミスマッピングを検出するための、光学ベースシステムの変更実施形態を示す。図１３Ａは、カテーテル１００の操縦可能セクションの周りに巻き付けられて配置されるとともにコンピュータシステム４００に接続されたファイバセンサ３９０を含む、ねじれ検出システムを示す。ファイバセンサ３９０は、形状の変化、カテーテルシャフトのねじれ／回転の量、及び／又は、カテーテル長手方向軸Ａｘに関する回転の方向を検出することができる。この実施形態によれば、ゲームパッドコントローラ、カテーテル及びカメラの間のリマッピング、並びに／又は、画像回転の補償は、ファイバセンサ３９０によって提供されるシステムフィードバックに基づく。
【００９２】
図１３Ａに示されるように、ファイバセンサ３９０は、１つ以上の部分がカテーテル１００の周りに巻かれているとともに、全体としてカテーテルのねじれ又は回転の量に対応する信号を提供するように構成されたファイバ３９１から、構成することができる。一実施形態では、ファイバセンサ３９０は、カメラ１８０に対して操縦可能カテーテル１００の外表面の周りに巻き付けられ、固定されている。操縦可能カテーテル１００が、カテーテルの近位側の視点から見て時計回り方向にねじれているとき、ファイバセンサ３９０は引張応力を受け、その結果引張ひずみが生じ得る。一方、操縦可能カテーテル１００が、近位側の視点から見て反時計回り方向にねじれているとき、ファイバセンサ３９０には圧縮ひずみが生じ得る。したがって、ファイバセンサ３９０は、カテーテル１００のねじれを検出することができる。出力信号は、前の実施形態と同様に、ファイバ３９１を通ってコンピュータシステム４００に送られる。
【００９３】
ファイバベースのセンサは、当技術分野では周知である。商業的かつ学術的に利用可能なファイバベースのセンサは、ファイバ形状センサとしても知られており、ファイバベースの光学形状センサ（ＯＳＳ）としても知られている場合がある。ファイバ形状センサの例としては、限定ではないが、光ファイバの高密度ひずみ測定値を抽出するために、光周波数領域リフレクトメトリ（ＯＦＤＲ）の原理の下で構造的に構成された光ファイバが挙げられ、高密度ひずみは、光ファイバ内の制御された回折格子パターン（例えばファイバブラッググレーティング、すなわちＦＢＧ）、光ファイバの特徴的な後方散乱（例えばレイリー後方散乱）、又は、光ファイバに埋め込まれた、又はエッチングされた、又はインプリンティングされた、又は他の方法で形成された反射要素及び／又は透過要素のその他の配置を介して、光ファイバ内に放出されて光ファイバを通って伝搬され、光ファイバ内で伝搬光の反対方向に反射され、かつ／又は伝搬光の方向に光ファイバから伝達される光に由来する。図１３Ａ〜１３Ｃに示されるようなファイバによるひずみインテロゲーション（interrogation）にＯＦＤＲ（及び概して干渉技術）を用いることの際立った特徴は、このようなファイバセンサは、カテーテルのきつい曲げの影響を受けることなく、非常に高い解像度（ミクロン単位）でＦＢＧセクション上のファイバのひずみ（引張又は圧縮）を測定するように構成できることである。ＦＢＧセンサの例は、米国特許第１０９３９８８９号及び第９７２６４７６号に開示されており、これらはあらゆる目的で参照により本明細書に組み込まれる。これらの特許は、カテーテルの端から端に沿って直線的に配置されたＦＢＧセンサについて記述している。
【００９４】
対照的に、図１３Ａに示されるようにカテーテル１００の周りに巻かれたファイバセンサ３９０では、その検出原理は、カテーテルのねじれ又は回転によって生じる光学効果に基づくので、この実施形態により、様々な環境におけるカテーテルのねじれ／回転の検出が可能となる。例えば、ファイバセンサ３９０は、推論なしで、磁気共鳴画像法（ＭＲＩ）又はＸ線照射（Ｘ線透視法）の下であっても、カテーテルねじれを検出するように構成することができる。具体的には、カテーテルねじれ検出は光信号に基づくので、カテーテル１００は、ＭＲＩ画像を用いてＭＲＩスキャナ下で安全に誘導することができ、光信号に干渉することなく、ＭＲＩ画像に基づく手術計画を使用することができる。また、この実施形態におけるファイバセンサ３９０の巻付け構成により、湾曲セグメントのきついカーブが可能となる。ファイバセンサ３９０をカテーテルシャフトの周りに巻き付けることは、カテーテルの長さ方向に沿って真っ直ぐに配置された周知の線形ＦＢＧセンサとは、実質的に異なる。巻付け（コイル状）構成では、操縦可能カテーテルの湾曲セグメントがきついカーブで曲がるときに、ファイバセンサの長さの変化を相殺することができる。特に、ＦＢＧセンサがカテーテル本体に沿って真っ直ぐな進路をたどって配置され、カテーテルが曲がるときに内側の弧上にある場合、そのようなＦＢＧセンサの長さは短くなるか、過度に曲がるおそれがある。これは圧縮ひずみにつながり、また、カメラに関してカテーテルの実際のねじれ又は回転を検出する際にエラーが生じてしまうおそれがある。対称的に、本実施形態によれば、カテーテルシャフトの１つ以上のセクションにおいてファイバセンサ３９０をコイル状に巻き付けることにより、ファイバセンサ３９０の長さは実質的に影響を受けないので、湾曲セグメントが曲がるときのねじれ検出の精度が向上する。また、ファイバセンサ３９０の巻付け構成は、湾曲セグメントがきついカーブで曲がるときに過度のひずみからセンサを保護するための専用のストレインリリーフを必要としない。更に、代替の実施形態では、ファイバセンサ３９０は、カメラ１８０の本体の周りに巻き付けることもできる。
【００９５】
図１３Ｂ及び図１３Ｃは、ファイバベースのねじれ検出システムを示し、システムは、カメラ１８０の本体１８１の周りに配置されるとともにコンピュータシステム４００に接続されるファイバ形状センサ３９０を含む。図１３Ｂは、操縦可能カテーテル１００の（遠位端から見た）正面図を示し、図１３Ｃは、操縦可能カテーテル１００の長手方向軸Ａｘに平行に取った長さ方向断面図を示す。図１３Ｂから分かるように、ファイバセンサ３９０は、カテーテル１００の遠位端から始まって、カメラ１８０の周りにコイル状に（例えば螺旋状に）巻くことができる。ファイバセンサ３９０は、カメラ本体１８１の端から端に沿った様々な位置で巻くことができ、ファイバセンサ３９０からの信号をファイバ３９１に沿ってコンピュータシステム４００まで転送するために、ツールチャネル１０５に沿って光ファイバアタッチメント（光ファイバＰＶＣジャケット）を配置することができる。この実施形態によれば、カメラ１８０と操縦可能カテーテル１００の間のミスマッピングを検出するための別の方式として、カメラ１８０の本体１８１内に組み込まれたファイバ形状センサ３９０の使用が挙げられる。図１３Ｃに示されるように、カメラ１８０がカテーテル１００のシャフトに関してねじれるか又は回転したときに、ファイバセンサ３９０が、時計回り又は反時計周りの回転の量に対応する信号を出力できるように、ファイバセンサ３９０は、カメラ１８０の周りにコイル状に巻かれてよい。コンピュータシステム４００は、前の実施形態のように、このカメラ回転量をゲームパッドコントローラの初期マッピングと相関させ、画像回転又はカメラねじれを補償することができる。図１３Ａ〜図１３Ｃに示されるように、ファイバベースのねじれ検出システムは、カテーテルシャフトの周囲及び／又はカメラの周囲にファイバ形状センサ３９０を配置することと、ファイバ形状センサの出力をコンピュータシステム４００に接続することとを含む。前の実施形態のように、カメラ１８０は、カメラ本体とツールチャネル１０５の内表面との間に隙間があるように、ツールチャネル１０５内に配置される。したがって、蛇行進路を通して操縦可能カテーテル１００をナビゲートするときに、画像回転と同様に、ゲームパッドコントローラとカテーテルとカメラの間のミスマッピングが予測される。しかしながら、ファイバセンサ３９０は、ミスマッピングを有利に追跡することができ、コンピュータシステム４００は、このミスマッピングによって生じた画像回転を効果的に補償することができる。
【００９６】
＜検証例＞
本開示によれば、３セクションのロボット気管支鏡を開発し、ファントム生体構造（例えばヒトの気道）での検証のために試験した。ロボット気管支鏡の詳細な機構（連続体ロボットのキネマティック構成を含む）は、図１〜図３に示されるシステムと同様である。ロボット気管支鏡の近位セクション、中間セクション、遠位セクション（第１、第２、第３のセクション）の長さは、それぞれ２０ｍｍ、２０ｍｍ、１０ｍｍであった。ロボット気管支鏡の外径は３．３ｍｍであり、ロボット気管支鏡のツールチャネルの直径は２．１ｍｍであった。各セクションは、３本のステンレス鋼の制御ワイヤによって制御した。各ワイヤの一端は各セクションの遠位端で固定し、各ワイヤの他端は、ワイヤ作動ユニット（図１の番号３１０を参照）に収容されたＤＣモータに接続した。外径１．４ｍｍのチップオンティップカメラ（ＩＫ−ＣＴ２）をツールチャネルに配置し、ゲームパッドコントローラ（Logitech  Gamepad  F310）を、ロボットに接続し、医師が一人称視点（ＦＰＶ）制御でロボット気管支鏡を制御することを可能にするように構成した。カメラビューはコンソールモニタに表示した。ロボット気管支鏡をファントム内で前進及び後退させるために、ロボット気管支鏡は、ステッピングモータを備えたリニアステージ上に配置した。
【００９７】
ロボット気管支鏡に適用されるフォワードキネマティクスの原理は、等式１〜３に従う定曲率制御の周知の医学的応用から導出された。フォワードキネマティクスモデルについて、直列に接続された定曲率（ＣＣ）のｎ個のセクションから成るマルチセクション連続体ロボットのｉ番目のセクションを検討する。図１４Ａは、３つの湾曲セクションから成るロボットカテーテルの表現を示し、座標系Ｓ1、Ｓ2、Ｓ3、Ｓeが、それぞれ第１、第２、第３のセクションとエンドエフェクタに割り当てられている。図１４Ｂは、ロボット気管支鏡のｉ番目のセクションにおける曲げ方向φ及び曲げ角度θを表す曲げ変数を示す。基準フレーム｛Ｓi｝は、ｉ番目のセクションのベース（近位端）に固定され、曲げ方向φi及び曲げ角度θiは、図１３Ｂに示されるように定義される。回転行列
【数１】
2022000141.tif 000003
と、基準フレーム｛Ｓi｝から宛先フレーム｛Ｓi+1｝への変換行列
【数２】
2022000141.tif 000004
は、等式（１）によって表される：
【数３】
2022000141.tif 000005
【００９８】
式中、ｓθ、ｓφ、ｃθ、ｃφはｓｉｎθ、ｓｉｎφ、ｃｏｓθ、ｃｏｓφであり、Ｌiとｒiは、ｉ番目のセクションの長さと曲げ半径であり、Ｔi＝Ｌi／θiとして表される。
【００９９】
基準フレーム｛Ｓi｝のセクションの中心線に沿ったｉ番目のセクションのポーズ全体
【数４】
2022000141.tif 000006
は、セクションの中心線に沿ったｉ番目のセクションの原点からの長さとして定義される
【数５】
2022000141.tif 000007
を用いて、以下の等式（２）のように表される。
【数６】
2022000141.tif 000008
【０１００】
ロボット気管支鏡では、基準フレーム｛Ｓi｝のポーズは、中心軸から等距離に１２０度離れて配置された３本の駆動ワイヤ（ａ、ｂ及びｃ）を動作させることにより、各セクションの先端を押し引きすることによって達成される。３本の駆動ワイヤを備えた単一セクション連続体ロボットのフォワードキネマティクスは、刊行物［２５］から知られている。３本のワイヤ（ｌａ；ｌｂ及びｌｃ）の移動長さは、以下の等式（３）によって定義されるように、湾曲セクションの曲げ角度θと曲げ平面φを用いて記述される：
【数７】
2022000141.tif 000009
【０１０１】
式中、ｒsは、ロボットカテーテルの中心と駆動ワイヤの間の距離である。
【０１０２】
前述の内容から、ＦＰＶ制御（プロセッサによって実行される）により、ユーザ（医師）は、ロボット気管支鏡画像からの視覚的フィードバックを使用して、遠位セクションの運動を指揮することができる。具体的には、前進では、ユーザは、最遠位セクション（３セクション気管支鏡の第３のセクション）の水平及び垂直の運動と、ロボット気管支鏡の前進／引戻しについてのみ指揮することができ、一方、他の２つのセクション（第１及び第２のセクション）は、第３のセクションの入力履歴を用いてＦＴＬ運動によって制御される。引戻しでは、全ての３つのセクションが、前進中に記録された３つのセクションの入力履歴を用いて、逆ＦＴＬ運動によって制御される。
【０１０３】
カメラの座標フレームが｛Ｃ｝であるとすると、座標フレーム｛Ｃ｝でのカメラの視軸は、座標フレーム｛Ｓｅ｝でのエンドエフェクタのｚ軸に対して同軸であり、両座標系の原点は、カメラがルーメン出口（カテーテルの遠位端）の縁にあるときに一致する。次に、｛Ｃ｝と｛Ｓｅ｝の水平軸と垂直軸は、ゲームパッドコントローラのジョイスティックを介したロボット気管支鏡の制御により、カメラによってデジタル化されたロボット気管支鏡のルーメンの出口に配置された参照マーカを用いて、位置合せされる。
【０１０４】
ロボットカテーテルに対して生じ得るカメラの回転によって引き起こされる操作中の較正ミスを回避するために、ソフトウェアは、カメラ画像を連続的に処理してカラーマーカの位置を特定し、また、カメラビューを自動的に回転させて初期較正を維持して、操作者がＦＰＶ制御下でロボット気管支鏡をナビゲートできるようにする。同様に、ＥＭベース又は光学ベースのねじれ検出システムでは、ロボットカテーテルに対して生じ得るカメラの回転によって引き起こされる操作中のマッピングミスを補償するために、ソフトウェアは、個々のセンサからの信号を連続的に処理し、また、カメラビューを自動的に回転させて初期較正を維持して、操作者がＦＰＶ制御下でロボット器具（例えば気管支鏡）をナビゲートできるようにする。ロボット制御は、ライブビュー画像で観察されたカラーマーカ、６ＤＯＦ  ＥＭベースのセンサ、カメラ１８０の周りに配置された色分けされたリング、及び／又は、カテーテルシャフト若しくはカメラの周りに巻き付けられて組み込まれたＦＯＲＳセンサから取得された信号の組合せに基づくこともできる。
【０１０５】
キネマティクス処理の目的は、ユーザインタフェースデバイス（ゲームパッド）からの入力を作動処理の変数に変換して、モータの運動コマンドを計算し、制御ワイヤを動かして、等式１〜３に記述されたキネマティクスを達成することである。特に、キネマティクス処理ユニットの役割は、タスク空間から配置空間（configuration  space）へのマッピングと、配置空間から記述されたアクチュエータ空間へのマッピングについての知識があまりなくても、タスク空間でヒューマンマシンインタフェースを扱うことである。そのために、ゲームパッドコントローラのジョイスティック及びトリガボタンは、ジョイスティックの方向がエンドエフェクタ座標系のｘ−ｙ平面での方向にマッピングされるように、構成された。また、ソフトウェアプログラムは、ゲームパッドコントローラと、内視鏡画像と、モニタに表示されるキネマティックビューを統合するように開発された。アプリケーションは、ゲームパッドコントローラを介したロボットの一人称視点制御を可能にするために、ロボット気管支鏡のベース座標フレーム｛Ｓｂ｝と局所エンドエフェクタ座標フレーム｛Ｓｅ｝の間で変換を実行する。
【０１０６】
ソフトウェア関連の開示
本明細書に開示される実施形態の特定の態様は、記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」と呼ぶこともできる）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行し、かつ／又は、前述の実施形態のうち１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むシステム又は装置のコンピュータによって実現することもできるし、また、システム又は装置のコンピュータが、記憶媒体からコンピュータ実行可能命令を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行すること、及び／又は１つ以上の回路を制御して、前述の実施形態のうち１つ以上の機能を実行することによって実行される方法によって実現することもできる。コンピュータは、１つ以上のプロセッサ（例えば中央処理装置（ＣＰＵ）、マイクロ処理ユニット（ＭＰＵ））を含んでよく、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータ又は別個のプロセッサのネットワークを含んでよい。コンピュータ実行可能命令は、例えばネットワーク又は記憶媒体から、コンピュータに提供することができる。記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、分散コンピューティングシステムのストレージ、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）又はＢｌｕ−ｒａｙ  Ｄｉｓｃ（ＢＤ）（商標）等）、フラッシュメモリデバイス、メモリカード等のうち１つ以上を含んでよい。入出力デバイスに通信インタフェースを提供するためにＩ／Ｏインタフェースを用いることができ、キーボード、ディスプレイ、マウス、タッチスクリーン、タッチレスインタフェース（例えばジェスチャー認識デバイス）、印刷デバイス、ライトペン、光学式ストレージデバイス、スキャナ、マイクロフォン、カメラ、ドライブ、通信ケーブル及びネットワーク（有線又は無線）を含んでよい。
【０１０７】
他の実施形態又は変更
説明に言及する際、開示する例を完全に理解できるようするために、具体的な詳細が記載される。他の例では、本開示を不必要に長くしないように、周知の方法、手順、構成要素及び回路は、詳細には説明されない。本明細書において別段の定義がされない限り、本明細書で使用される全ての技術用語及び科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本発明の広さは、本明細書によって限定されるのではなく、むしろ、採用される特許請求の範囲の用語の平易な意味によってのみ限定される。
【０１０８】
図面に示された例示の実施形態を説明する際、分かりやすくするために、具体的な専門用語が使用される。しかしながら、本特許明細書の開示はそのように選択された具体的な専門用語に限定されることを意図するものではなく、当然ながら、具体的な要素の各々は、同様に動作する技術的な均等物を全て含む。
【０１０９】
本開示は、例示の実施形態を参照して説明されたが、当然のことながら、本開示は、開示された例示の実施形態に限定されない。例えば、本開示は、例示の実施形態に関して前述された。しかしながら、本開示が適用可能であり得る、具体的に記載されていない多くの変形が存在し得る。例えば、医療処置で使用するためのカテーテルシャフトに関して様々な実施形態を記載したが、本開示は、様々な機械的構造内で使用するための産業上の利用可能性のある機械的手順に関しても、適用可能である。したがって、以下の特許請求の範囲は、そのような変更並びに均等の構造及び機能を全て包含するように、最も広い解釈が与えられるべきである。
【図１】
2022000141.tif 000010
【図２】
2022000141.tif 000011
【図３】
2022000141.tif 000012
【図４】
2022000141.tif 000013
【図５】
2022000141.tif 000014
【図６】
2022000141.tif 000015
【図７】
2022000141.tif 000016
【図８】
2022000141.tif 000017
【図９】
2022000141.tif 000018
【図１０】
2022000141.tif 000019
【図１１】
2022000141.tif 000020
【図１２】
2022000141.tif 000021
【図１３】
2022000141.tif 000022
【図１４】
2022000141.tif 000023
【手続補正書】
【提出日】令和3年9月22日(2021.9.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
体の管腔への挿入及びナビゲーションのために構成された遠位端と、前記管腔の外側からの操作のために構成された近位端とを有する操縦可能シースであって、前記近位端から前記遠位端へ延びるツールチャネルを有する、操縦可能シースと、
前記操縦可能シースの前記ツールチャネルの内側に取外し可能に配置されるイメージングデバイスと、
前記イメージングデバイスが前記管腔の画像を取得する間に、前記シースの少なくとも一部が前記管腔内で前記イメージングデバイスとともに動くように、前記管腔の外側から前記操縦可能シースを操作するように構成されたコントローラと、
前記操縦可能シースと前記イメージングデバイスの間の位置関係をマッピングするように配置された１つ以上のマーカ及び／又は１つ以上のセンサを有するねじれ検出システムと、
前記イメージングデバイス及び前記コントローラとデータ通信するプロセッサと、
を備える内視鏡システムであって、
前記プロセッサは、
前記イメージングデバイスによって取得された前記画像を処理し、
前記画像と、前記マーカ及び／又はセンサのうちの少なくとも１つからの信号との比較に基づいて、前記操縦可能シースと前記イメージングデバイスの間の位置関係の変化を決定し、
前記操縦可能シースと前記イメージングデバイスの間の前記位置関係をリマッピングすることにより、前記位置関係の変化を補償するように構成される、
内視鏡システム。
【請求項２】
前記プロセッサは、前記コントローラが前記操縦可能シースを第１の位置から第２の位置まで駆動し、前記操縦可能シースと前記イメージングデバイスの間の前記位置関係が変化した後に、前記位置関係の変化を補償するように更に構成される、
請求項１に記載の内視鏡システム。
【請求項３】
前記プロセッサは、前記位置関係の変化が所定の閾値以上であるかどうかを決定するように更に構成され、
前記プロセッサは、前記位置関係が前記所定の閾値よりも大きく変化した後に、前記位置関係の変化を補償する、
請求項２に記載の内視鏡システム。
【請求項４】
前記１つ以上のマーカは、電磁信号を発するか又は反射するように構成された複数のマーカを含み、
前記操縦可能シースと前記イメージングデバイスの間の位置関係をマッピングするために、前記複数のマーカは、前記複数のマーカのうちの１つ又は複数から発せられた又は反射された前記電磁信号に基づいて、前記イメージングデバイスの向きに関して前記操縦可能シースの前記遠位端の向きをマッピングする、
請求項１に記載の内視鏡システム。
【請求項５】
前記プロセッサは、
前記複数のマーカのうちの前記１つ又は複数から反射されかつ／又は発せられた前記電磁信号に基づいて、前記イメージングデバイスの位置及び／又は向きに関して、前記操縦可能シースの位置及び／又は向きの変化を計算し、
計算された前記変化を用いて、前記操縦可能シースの前記位置及び／又は向きと前記イメージングデバイスの位置及び／又は向きとの間のミスマッピングを補償するように更に構成される、
請求項４に記載の内視鏡システム。
【請求項６】
前記１つ以上のマーカは、前記操縦可能シースの前記遠位端に配置された複数のマーカと、前記イメージングデバイス上に配置された少なくとも１つのマーカとを含み、
前記イメージングデバイスは、前記管腔の生体構造と、前記操縦可能シースの前記遠位端に配置された前記複数のマーカのうちの少なくとも１つとを含む視野内で、前記画像を取得するように構成され、
前記プロセッサは、前記画像として、前記操縦可能シースの前記遠位端に配置された前記複数のマーカのうちの前記少なくとも１つのグラフィック表現を生成及び出力するように更に構成され、
前記グラフィック表現は、前記管腔の前記生体構造の画像に重ね合される、
請求項１に記載の内視鏡システム。
【請求項７】
前記１つ以上のマーカは、反射マーカ、蛍光マーカ、放射線不透過性マーカ、又はそれらの組合せを含み、かつ／又は、
前記１つ以上のセンサは、電磁（ＥＭ）センサ、光学センサ、ホール効果センサ、磁気センサ、光ファイバ形状センサ、又はそれらの組合せを含む、
請求項１に記載の内視鏡システム。
【請求項８】
前記１つ以上のマーカは、前記操縦可能シースの前記遠位端に取り付けられるとともに少なくとも部分的に前記イメージングデバイスの視野（ＦＯＶ）まで延びる２つ以上のマーカを含む、
請求項１に記載の内視鏡システム。
【請求項９】
前記２つ以上のマーカは、前記イメージングデバイスの前記ＦＯＶの中心と実質的に同心に配置される、請求項８に記載の内視鏡システム。
【請求項１０】
前記２つ以上のマーカは、前記イメージングデバイスの前記ＦＯＶの縁の内側に対称又は非対称に分布する、請求項８に記載の内視鏡システム。
【請求項１１】
前記１つ以上のセンサは、前記イメージングデバイスを少なくとも部分的に囲むように前記操縦可能シースに埋め込まれた複数のセンサと、前記イメージングデバイスに取り付けられた少なくとも１つのセンサとを含む、
請求項１に記載の内視鏡システム。
【請求項１２】
前記イメージングデバイスは、前記イメージングデバイスが前記ツールチャネルの内壁に当たらないように、前記イメージングデバイスと前記ツールチャネルの内壁の間に隙間があるように、前記ツールチャネルを通して配置される、
請求項１に記載の内視鏡システム。
【請求項１３】
前記画像として、前記プロセッサは、前記イメージングデバイスによって前記管腔に沿った第１の位置で取得された第１の画像に重ね合されるとともに、前記コントローラが前記管腔を通して前記操縦可能シースを駆動した後に前記イメージングデバイスによって前記管腔に沿った第２の位置で取得された第２の画像に重ね合された、前記１つ以上のマーカのグラフィック表現を生成する、
請求項１に記載の内視鏡システム。
【請求項１４】
前記コントローラは、前記操縦可能シースの前記近位端に動作可能に接続され、
前記コントローラは、前記管腔に沿った蛇行進路を通して前記操縦可能シースの前記遠位端及び前記イメージングデバイスをナビゲートするように、前記操縦可能シースの前記少なくとも一部を曲げ、ねじり、かつ／又は回転させるように構成され、
前記プロセッサは、前記コントローラの向きに関して、前記操縦可能シースの向き又は前記イメージングデバイスの向きをリアルタイムでリマッピングするように更に構成される、
請求項１に記載の内視鏡システム。
【請求項１５】
前記コントローラはハンドヘルドコントローラである、請求項１に記載の内視鏡システム。
【請求項１６】
前記ハンドヘルドコントローラの向きは、前記イメージングデバイスの前記向き、及び、前記操縦可能シースの前記向きに対してマッピングされ、
前記プロセッサは、前記コントローラが前記操縦可能シースの前記少なくとも一部を曲げ、ねじり、かつ／又は回転させた後に、前記イメージングデバイスの前記向きに関して、前記操縦可能シースの前記向きに対して前記ハンドヘルドコントローラの前記向きをリマッピングするように更に構成される、
請求項１５に記載の内視鏡システム。
【請求項１７】
前記１つ以上のマーカは、前記イメージングデバイスの視野内の前記操縦可能シースの前記遠位端に配置された２つ以上の可視マーカを含み、
前記コントローラは、ジョイスティック及び／又は複数の方向ボタンを備えたゲームパッドコントローラであり、
前記操縦可能シースはカテーテルであり、前記イメージングデバイスはファイバカメラを含み、
前記カテーテルと前記ファイバカメラの間の前記位置関係の初期マッピングの後、前記ゲームパッドコントローラの上ボタン、又は前記ジョイスティックの上方向の動きは、前記ファイバカメラによって取得された前記画像の上方向とマッピングされ、
前記カメラの向きに関する前記カテーテルの向きがある程度の量だけ変化したとき、前記ゲームパッドコントローラの前記上ボタン、又は前記ジョイスティックの前記上方向は、前記程度の量だけオフセットされ、
前記ファイバカメラによって取得された前記画像の前記方向と前記ゲームパッドコントローラとの間のミスマッピングを補償するために、前記プロセッサは、前記２つ以上のマーカの前記位置を用いて前記程度の量を計算し、また、前記プロセッサは、リマッピングの後、前記ゲームパッドコントローラの前記上ボタン又は前記ジョイスティックの上方向が前記画像の前記上方向とリマッピングされ、それにより、ユーザが一人称視点（ＦＰＶ）で前記カテーテルの操縦方向を直感的に制御できるように、前記ゲームパッドコントローラの前記方向をリマッピングする、
請求項１に記載の内視鏡システム。
【請求項１８】
前記１つ以上のセンサは、前記操縦可能シースの前記遠位端に配置された少なくとも第１の電磁（ＥＭ）センサと、前記イメージングデバイス上に配置されるか又は前記イメージングデバイスに隣接する第２のＥＭセンサとを含み、
前記コントローラは、ジョイスティック及び／又は複数の方向ボタンを備えたゲームパッドコントローラであり、
前記操縦可能シースはカテーテルであり、前記イメージングデバイスはファイバカメラを含み、
前記カテーテルと前記ファイバカメラの間の前記位置関係の初期マッピングの後、ユーザがボタンを押すか、又は前記ゲームパッドコントローラの前記ジョイスティックを所望の方向に動かしたとき、前記カテーテル及び前記カメラは、前記カメラが前記カメラの前の視野のライブビュー画像を取得し続けている間に、前記所望の方向に曲がり、
前記第１のＥＭセンサと前記第２のＥＭセンサの各々は、それぞれ、前記カテーテルと前記カメラの互いに関する回転量を測定し、
前記プロセッサは、前記第１のＥＭセンサ及び前記第２のＥＭセンサによって測定された前記カテーテル及び前記カメラの前記回転量を減算し、前記減算の結果に基づいて、カメラビュー、前記ゲームパッドコントローラ及び前記カテーテルの向きをリマッピングすることにより、前記カテーテル及び／又はカメラにかかったねじれ、回転又は曲げの量を推定する、
請求項１に記載の内視鏡システム。
【請求項１９】
前記１つ以上のセンサは、前記操縦可能シースの前記遠位端に巻き付けられたファイバセンサ、及び／又は、前記イメージングデバイスに巻き付けられて配置されたファイバセンサを含み、
前記操縦可能シースの前記遠位端に巻き付けられた前記ファイバセンサ、及び／又は、前記イメージングデバイスに巻き付けられて配置された前記ファイバセンサは、前記管腔を通したナビゲーション中に前記操縦可能シース及び／又は前記イメージングデバイスがそれぞれねじれ、回転又は曲げを受けるときにかかる引張ひずみ又は圧縮ひずみの量に対応する信号を出力し、
前記プロセッサは、前記引張ひずみ又は圧縮ひずみの量に基づいて、前記操縦可能シース及び／又はイメージングデバイスにかかるねじれ、回転又は曲げの量を連続的に計算し、前記イメージングデバイスによって取得された前記画像を自動的に回転させて、前記位置関係の変化をリアルタイムで補償する、
請求項１に記載の内視鏡システム。
【請求項２０】
前記ねじれ検出システムは、前記イメージングデバイスに取り付けられた色分けされたマーカと、前記色分けされたマーカに電磁放射線を照射し、前記操縦可能シースと前記イメージングデバイスの間の前記位置関係を示す信号を出力するように構成された光学系とを含み、
前記色分けされたマーカは、前記イメージングデバイスの周りに巻き付けられて配置された複数のセクタを含み、
前記複数のセクタの各々は、前記管腔を通した前記操縦可能シースのナビゲーション中に、前記イメージングデバイスのねじれ、回転又は曲げの量に対応する信号を出力し、
前記プロセッサは、前記セクタのうちの１つ以上からの前記信号に基づいて、前記操縦可能シース及び／又は前記イメージングデバイスにかかるねじれ、回転又は曲げの量を連続的に計算し、前記イメージングデバイスによって取得された前記画像を自動的に回転させて、前記位置関係の変化をリアルタイムで補償する、
請求項１に記載の内視鏡システム。
【請求項２１】
シースであって、前記シースの近位端から遠位端まで、前記シースの端から端に沿って延びるツールチャネル及び複数のワイヤコンジットを有する、シースと、
前記ツールチャネルの内側に取外し可能に配置されるとともに、前記シースの前記遠位端から視野画像を取得するように構成されるイメージングデバイスと、
前記シースのワイヤコンジット内に配置されるとともに、前記ワイヤコンジットに沿ってスライド可能であるように構成される制御ワイヤと、
前記制御ワイヤに動作可能に接続されるアクチュエータユニットであって、前記シースの少なくとも一部を前記イメージングデバイスとともに曲げ、又はねじり、又は回転させるように、駆動力を加えるように構成されるアクチュエータユニットと、
前記イメージングデバイスの向きに関して前記シースの向きの位置関係をマッピングするように配置される複数のマーカ及び／又はセンサと、
前記イメージングデバイス及び前記アクチュエータユニットに動作可能に接続されるプロセッサと、
を備える操縦可能医用器具であって、
前記プロセッサは、
ハンドヘルドコントローラのユーザ操作に従って前記シースを曲げ、又はねじり、又は回転させるように、前記アクチュエータユニットに前記制御ワイヤに対して駆動力を加えさせ、
前記イメージングデバイスによって取得されたライブビュー画像を処理し、前記マーカのうちの少なくとも１つからの信号及び／又は前記センサのうちの少なくとも１つからの信号に基づいて、前記シースの前記向きと前記イメージングデバイスの前記向きとの間の前記位置関係の変化を決定し、
前記アクチュエータユニットが前記制御ワイヤに対して前記駆動力を加えて、前記シース及び前記イメージングデバイスを第１の位置の第２の位置まで動かし、前記位置関係が所定の閾値よりも大きく変化した後、前記イメージングデバイスの前記向きに関して前記シースの前記向きをリマッピングすることによって、前記位置関係の変化をリアルタイムで補償するように構成される、
操縦可能医用器具。
【請求項２２】
ロボット制御内視鏡によって取得される画像の向きを制御するためのシステムであって、
長手方向軸に沿って近位端から遠位端へ延びるツールチャネルを有する操縦可能シースと、
前記操縦可能シースの前記ツールチャネル内に取外し可能に配置されるように構成されたカメラと、
前記カメラに関する前記操縦可能シースの位置関係をマッピングするように構成された１つ以上のマーカ及び／又は１つ以上のセンサと、
前記カメラが好ましい方向に向けられた視野で管腔のライブビュー画像を取得している間に、前記操縦可能シースと、前記ツールチャネル内に配置された前記カメラとを前記管腔を通して駆動するように構成されたコントローラと、
を備え、
プロセッサは、
前記カメラによって取得された前記画像を処理し、
前記１つ以上のマーカ又は前記１つ以上のセンサから、前記カメラに関する前記操縦可能シースの前記位置関係についてマッピングデータを取得し、
前記マッピングデータに基づいて、前記操縦可能シースと前記カメラの間の前記位置関係の変化を決定し、
カメラ視野が実質的に常に前記好ましい方向に向いたままであるように、前記操縦可能シースと前記カメラの間の前記位置関係をリマッピングすることにより、前記位置関係の変化を補償するように構成される、
システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
更に、導入された請求項記載の具体的な数字が明示的に記載されている場合であっても、当業者には当然のことながら、そのような記載は、典型的には、少なくとも記載された数を意味すると解釈されるべきである（例えば、他の修飾語を伴わずに「２つの記載」とだけ記載される場合、典型的には、少なくとも２つの記載、又は２つ以上の記載を意味する）。更に、「Ａ、Ｂ及びＣ等のうちの少なくとも１つ」に類似した規定が使用される場合、概して、そのような構文は、当業者が該規定を理解し得るという意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、Ａ単独で、Ｂ単独で、Ｃ単独で、ＡとＢを併せて、ＡとＣを併せて、ＢとＣを併せて、かつ／又は、Ａ、Ｂ及びＣを併せて有するシステム等を含み得る）。更に、当業者には当然のことながら、典型的には、離接語、及び／又は２つ以上の代替用語を表す語句（明細書、特許請求の範囲、又は図面のいずれにおいても）は、文脈上別段の指示がない限り、該用語の一方、該用語のいずれか、又は該用語の両方を含む可能性を企図するものと理解されるべきである。例えば、「Ａ又はＢ」という表現は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むと理解される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
図８Ａ、図８Ｂ及び図８Ｃは、カテーテルの先端に埋め込まれた他の参照マーカと、カメラ１８０上又はカメラ１８０付近に埋め込まれるか又は取り付けられた参照マーカの、軸方向ビュー（軸Ａｘの方向で遠位端から見たビュー）を示す。図８Ａに示される実施形態は、カテーテルシースの壁に埋め込まれるか又は取り付けられた第１のＥＭセンサ８９０と、カメラ１８０に取り付けられるか又はカメラ１８０付近に取り付けられた第２のＥＭセンサ１８９とを示す。当然のことながら、前の実施形態のように、カメラ及び／又は操縦可能カテーテル１００のシースに、２つ以上のマーカ又はセンサを用いることができる。例えば、図８Ｂに示される実施形態では、ＥＭセンサ８９０及び放射線不透過性マーカ８９２を用いることができる。更に、図８Ｃに示されるように、ＥＭセンサ８９０と、放射線不透過性マーカ８９２と、可視マーカ８９４との組合せを用いることもできる。図８Ｃの実施形態では、センサ及び／又はマーカは、操縦可能カテーテル１００のシースに、カメラのフレームに、ツールチャネル１０５の遠位端に、かつ／又は、ワイヤコンジット１０４に沿って、配置することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
図９Ａにおいて、制御システム９００は、第１のモジュール９０２、第２のモジュール９０４、第３のモジュール９０６、第４のモジュール９０８、第５のモジュール９１０及び第６のモジュール９１２を含む。第１のモジュール９０２は、「初期マッピング」モジュールであり、内視鏡画像の好ましい向きに従って、カテーテル１００とカメラ１８０とキネマティックコントローラ３２０との間の初期位置関係を設定する。第２のモジュール９０４は、「コントローラ／ＣＰＵ」モジュールであり、主に制御ワイヤ１１０を制御して、処置の始めにコントローラ３２０について"較正された"位置／向きを確立する。第３のモジュール９０６は、「リアルタイム補償又はリマッピング」モジュールであり、各種コンポーネントの位置関係の変化を計算し、変化の特定のパラメータ（閾値等）に基づいて位置関係をリマッピングする。第４のモジュール９０８は、「出力」モジュールであり、好ましい向きの内視鏡画像を表示装置に送り、駆動信号を、カテーテル先端を駆動するためのキネマティックコントローラに送る。第５のモジュール９１０は、マーカ又はセンサから、画像のリアルタイムの向きを示す信号を受信する。第５のモジュール９１０から得られたリアルタイム信号は、コンパレータモジュール９１２へフィードバックされる。この制御システム９００は、初期の向き（モジュール９０２）と実際の位置／向き（第５のモジュール９１０によって提供される）との差から（コンパレータモジュール９１２で）ミスマッピング（エラー）信号を生成するフィードバックループの、非常に単純化されたバージョンである。コンパレータモジュール９１２によって出力されたミスマッピング信号は、コントローラ又はＣＰＵ（モジュール９０４）によって制御信号９０５に変換されて、第３のモジュール９０６に送られる。制御信号９０５に基づいて、第３のモジュール９０６は、補償及びリマッピングのパラメータを計算する。次に、第４のモジュール９０８は、内視鏡画像が好ましい向きを実質的に変化させずに維持できるように、内視鏡先端を修正された位置／向きに駆動する。これは、制御ワイヤ１１０（図１及び図２）の各々の閉ループ制御である。各制御ワイヤ１１０は、それ自体のフィードバックループをもつことができる。複数のモータ／アクチュエータを単一のフィードバックループで制御する必要がある場合は、複数の入出力システムも可能である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
より具体的には、図１０のフローは始めのステップ１７０１から始まり、ここで、ゲームパッドコントローラ（キネマティックコントローラ）、ファイバカメラ及び操縦可能カテーテル１００の向き座標が互いにマッピングされる。確実に適切なマッピングにするために、ステップ１７０２において、システムは、ライブビュー画像取得を有効化することができる。これらのステップ１７０１及び１７０２は、較正ステップの一部として、例えば所与の処置前に内視鏡システムが準備されるときに、発生し得る。操縦可能カテーテル１００がアクティブシャフト誘導モードに入ると、ステップ１７０３において、制御システム９００は、操縦可能カテーテル１００のアクティブ誘導を実行している。すなわち、ステップ１７０３では、システム９００は、患者の生体構造を通したカテーテル挿入（又は引抜き）中に、カテーテル１００のナビゲーションをモニタリングする。
【外国語明細書】
2022000141000001.pdf