【手続補正書】
【提出日】令和1年9月17日(2019.9.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
患者の管状網に挿入される細長状医療器具と、
前記細長状医療器具の器具先端部の近傍に配置される撮像装置と、
前記器具先端部の近傍に配置されるＥＭ（Electromagnetic）センサと、
プロセッサと、
を有し、
前記プロセッサは、
患者の管状網に挿入される前記細長状医療器具の物理的操作に関するロボットデータにアクセスすることと、
前記細長状医療器具の器具先端部の近傍に配置される前記撮像装置により撮影される画像データにアクセスすることと、
前記器具先端部の近傍に配置される前記ＥＭセンサおよび前記患者の体外に配置される少なくともオンの外部ＥＭセンサまたは前記患者の外部で生成されるＥＭを使用して撮影されるＥＭデータにアクセスすることと、
前記ロボットデータに基づいて前記器具先端部のロボットベース推定状態を特定することであって、前記ロボットベース推定状態は第１の信頼値に関連する、特定することと、
前記画像データに基づいて前記器具先端部の画像ベース推定状態を特定することであって、前記画像ベース推定状態は第２の信頼値に関連する、特定することと、
前記ＥＭデータに基づいて前記器具先端部のＥＭベース推定状態を特定することであって、前記ＥＭベース推定状態は第３の信頼値に関連する、特定することと、
前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態および信頼値に基づいて、前記器具先端部の推定状態を特定することと
を実行する、システム。
【請求項２】
前記細長状医療器具は、内視鏡構造と、様々に引っ込められ得、または前記器具先端部の方向の変更に関連し得る複数のケーブルとを備える可撓性内視鏡であり、前記内視鏡は器具装置マニピュレータ（ＩＤＭ）に結合されて、前記内視鏡を前記管状網からまたは前記管状網内で様々に挿入、退避、およびロールさせる、請求項１に記載のシステム。
【請求項３】
前記ロボットデータは、
前記細長状医療器具の複数のケーブルの少なくとも１つの引っ張りに基づく前記器具先端部のピッチ、ロール、およびヨー、ならびに
前記管状網への前記細長状医療器具の挿入距離
の少なくとも一方を含む、請求項１または２に記載のシステム。
【請求項４】
前記画像データは、時間的に順次撮影された一連の画像に基づき、前記一連の画像のそれぞれにはタイムスタンプが関連付けられる、請求項１〜３のいずれか一項に記載のシステム。
【請求項５】
前記ＥＭセンサは導電材料のコイルを含む、請求項１〜４のいずれか一項に記載のシステム。
【請求項６】
前記推定状態は、三次元（３Ｄ）空間での位置、３Ｄ空間での向き、前記管状網内の前記器具先端部の絶対深さ、前記管状網の分岐内の前記器具先端部の相対深さ、および前記管状網の対応する３Ｄモデルに対する分岐位置の少なくとも１つを含む前記管状網内の前記器具先端部の位置を示す、請求項１〜５のいずれか一項に記載のシステム。
【請求項７】
前記器具先端部の前記推定状態は、前記ロボットベース推定状態、前記ＥＭベース推定状態、および前記画像ベース推定状態に基づく結合推定状態であり、前記結合推定状態は、前記ロボットベース推定状態、前記ＥＭベース推定状態、および前記画像ベース推定状態のそれぞれについて、
１組の可能な値を含む確率分布として前記対応する推定状態を表現し、
前記１組の可能な値の各値に適用される前記対応する信頼値を使用して、前記１組の可能な値により表現される前記対応する推定状態を加重すること
により生成される、請求項６に記載のシステム。
【請求項８】
前記推定状態の対応する１つの前記信頼値は、前記対応する推定状態の特定における信頼の程度を表し、前記信頼値は以下の要因：
前記対応する推定状態の生成に使用されるプロセス、
前記対応する推定状態の生成に使用される受信データ、および
前記器具先端部が前記管状網内に配置される可能領域
の少なくとも１つに基づく、請求項７に記載のシステム。
【請求項９】
前記プロセッサは、
前の時間に撮影されたデータに基づいて前記器具先端部の前の推定状態にアクセスすることと、
前記前の推定状態に基づいて、前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態の少なくとも１つを特定することと
をさらに実行する、請求項１〜８のいずれか一項に記載のシステム。
【請求項１０】
前記プロセッサは、
３ＤモデルへのＥＭシステムの位置合わせを実行することであって、前記ＥＭシステムは、受信されるＥＭデータに基づく座標を含み、前記３Ｄモデルは、前記管状網の３Ｄモデルに基づく座標を含む、位置合わせを実行することと、
前記実行された位置合わせに基づいて前記ＥＭベース推定状態を生成することと
を実行することにより前記ＥＭベース推定状態を特定する、請求項１〜９のいずれか一項に記載のシステム。
【請求項１１】
前記管状網の前記３Ｄモデルは、前記管状網のコンピュータ断層撮影（ＣＴ）スキャンに基づいて生成される、請求項１０に記載のシステム。
【請求項１２】
前記プロセッサは、
前記管状網内の可能な分岐に対する前記器具先端部の位置および向きの推定を特定する
こと
を実行することにより前記ＥＭベース推定状態を特定する、請求項１〜１１のいずれか一項に記載のシステム。
【請求項１３】
前記ＥＭベース推定状態は、離散確率分布として表現され、前記確率分布の各値は、前記器具先端部が前記可能な分岐の中の対応する分岐内部にある確率を示す、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサは、
前記アクセスされた画像データに基づいて、前記管状網内の前記細長状医療器具の移動を測定することと、
前記測定された移動に基づいて前記画像ベース推定状態を生成することと
を実行することにより前記画像ベース推定状態を特定する、請求項１〜１３のいずれか一項に記載のシステム。
【請求項１５】
前記画像ベース推定状態は、
前記管状網内の前記器具先端部の絶対深さ、
対応する分岐に対する前記器具先端部の深さ、および
前記管状網に対する前記器具先端部のロール
の少なくとも１つの連続確率分布として表現される、請求項１４に記載のシステム。
【請求項１６】
物体検出は、
少なくとも１つの物体を検出することと、
前記検出された少なくとも１つの物体に基づいて前記画像ベース推定を生成することとをさらに含む、請求項１〜１５のいずれか一項に記載のシステム。
【請求項１７】
前記少なくとも１つの物体は二次元形状として表現される、請求項１６に記載のシステム。
【請求項１８】
前記プロセッサは、
実際の画像において物理的に検出される物体と前記管状網の３Ｄモデルにより生成される仮想物体とをマッピングすることであって、前記仮想物体は前記物理的に検出される物体に対応する、マッピングすることと、
前記マップされた情報に基づいて前記画像ベース推定状態を生成することと
を実行することにより前記画像ベース推定状態を特定する、請求項１〜１７のいずれか一項に記載のシステム。
【請求項１９】
前記プロセッサは、
前記器具先端部が前記管状網内に配置される領域のトポロジを特定することと、
前記特定されるトポロジに基づいて画像ベース推定状態を生成することと
を実行することにより前記画像ベース推定状態を特定する、請求項１〜１８のいずれか一項に記載のシステム。
【請求項２０】
前記特定されるトポロジは、前記器具先端部が面する複数の分岐への分割である、請求項１９に記載のシステム。
【請求項２１】
前記プロセッサは、
前記管状網における目標位置へのナビゲーション経路にアクセスすることと、
前記推定状態に基づいて、前記器具先端部を前記目標位置に向けるナビゲーション命令を決定することと、
前記ナビゲーション命令をオペレータへの提示のために提供することと
をさらに実行する、請求項１〜２０のいずれか一項に記載のシステム。
【請求項２２】
コンピュータプログラム命令を含む非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、前記プロセッサに、
患者の管状網に挿入される細長状医療器具の物理的操作に関するロボットデータにアクセスするステップと、
前記細長状医療器具の器具先端部の近傍に配置される撮像装置により撮影される画像データにアクセスするステップと、
前記器具先端部の近傍に配置されるＥＭセンサおよび前記患者の体外に配置される少なくともオンの外部ＥＭセンサまたは前記患者の外部で生成されるＥＭを使用して撮影される電磁（ＥＭ）データにアクセスするステップと、
前記ロボットデータに基づいて前記器具先端部のロボットベース推定状態を特定するステップであって、前記ロボットベース推定状態は第１の信頼値に関連する、特定するステップと、
前記画像データに基づいて前記器具先端部の画像ベース推定状態を特定するステップであって、前記画像ベース推定状態は第２の信頼値に関連する、特定するステップと、
前記ＥＭデータに基づいて前記器具先端部のＥＭベース推定状態を特定するステップであって、前記ＥＭベース推定状態は第３の信頼値に関連する、特定するステップと、
前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態および信頼値に基づいて、前記器具先端部の推定状態を特定するステップと
を実行させる、非一時的コンピュータ可読記憶媒体。
【請求項２３】
患者の管状網に挿入される細長状医療器具の物理的操作に関するロボットデータにアクセスすることと、
前記細長状医療器具の器具先端部の近傍に配置される撮像装置により撮影される画像データにアクセスすることと、
前記器具先端部の近傍に配置されるＥＭ（Electromagnetic）センサおよび前記患者の
体外に配置される少なくともオンの外部ＥＭセンサまたは前記患者の外部で生成されるＥＭを使用して撮影されるＥＭデータにアクセスすることと、
前記ロボットデータに基づいて前記器具先端部のロボットベース推定状態を特定することであって、前記ロボットベース推定状態は第１の信頼値に関連する、特定することと、
前記画像データに基づいて前記器具先端部の画像ベース推定状態を特定することであって、前記画像ベース推定状態は第２の信頼値に関連する、特定することと、
前記ＥＭデータに基づいて前記器具先端部のＥＭベース推定状態を特定することであって、前記ＥＭベース推定状態は第３の信頼値に関連する、特定することと、
前記ロボットベース推定状態、前記画像ベース推定状態、および前記ＥＭベース推定状態および信頼値に基づいて、前記器具先端部の推定状態を特定することと
を含む、方法。