(57)【要約】本開示は、改善されたロボット外科システムを提供し、またロボット外科システムを制御するための改善された方法およびコンピュータ可読媒体を提供する。ロボット外科システムは、ユーザ体験およびユーザ制御を向上させる様式で操作される。ロボット外科システムシステムは、運搬モード、カメラ再配置モード、および／またはターゲティングモードを有するように構成されており、そのうちの１つ以上がユーザによって選択可能である。【選択図】図１
2020532404.tif 000002
【特許請求の範囲】
【請求項１】
ロボット外科システムであって、
手術器具を含む、ロボットアームと、
手術部位の画像をキャプチャするように構成された、患者画像キャプチャデバイスと、
コンソールであって、
前記手術部位の前記キャプチャされた画像を表示するための、ディスプレイと、
入力ハンドルと、
作動され、かつ前記作動に基づいて、前記ロボット外科システムにカメラ再配置モードを開始または終了させるための信号を提供するように構成された、入力デバイスと、を含む、コンソールと、
前記ロボットアーム、前記患者画像キャプチャデバイス、および前記コンソールに連結されたコントローラであって、
プロセッサと、
前記プロセッサに連結されたメモリであって、その上に記憶された命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記入力デバイスの作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記カメラ再配置モードを開始させることと、
前記ロボット外科システムが前記カメラ再配置モードにあるときに、前記入力ハンドルの作動と前記ロボットアームの動きとの関連付けを解除することと、
前記ユーザの頭部の位置を追跡することと、を行わせる、メモリと、を含む、コントローラと、を含む、ロボット外科システム。
【請求項２】
前記入力デバイスが、前記入力ハンドル上のボタンを含む、請求項１に記載のロボット外科システム。
【請求項３】
前記入力デバイスが、フットペダルを含む、請求項１に記載のロボット外科システム。
【請求項４】
前記メモリが、前記プロセッサによって実行されたときに、前記コントローラに、
前記フットペダルの第１の作動に基づく第１の信号の受信に応じて、前記カメラ再配置モードを開始することと、
前記第１の信号の前記受信の所定時間内の前記フットペダルの第２の作動に基づく第２の信号の受信に応じて、前記カメラ再配置モードを終了することと、を行わせる、その上に記憶された命令をさらに有する、請求項３に記載のロボット外科システム。
【請求項５】
前記メモリは、前記プロセッサによって実行されたときに、前記コントローラに、
前記フットペダルが押し下げられたことを示す信号の受信に応じて、前記カメラ再配置モードを開始することと、
前記フットペダルが解放されたことを示す信号の受信に応じて、前記カメラ再配置モードを終了することと、を行わせる、その上に記憶された命令をさらに有する、請求項３に記載のロボット外科システム。
【請求項６】
前記ユーザの頭部の動きを追跡するために、前記ユーザの画像をキャプチャするように構成されたユーザ画像キャプチャデバイスを、さらに含む、請求項１に記載のロボット外科システム。
【請求項７】
前記メモリが、前記プロセッサによって実行されたときに、前記コントローラに、
前記ユーザ画像キャプチャデバイスによってキャプチャされた前記ユーザの画像から、前記ユーザの頭部の前記位置を検出することと、
前記ユーザの前記キャプチャされた画像から、前記ユーザの頭部の左または右の傾きが発生したかどうかを決定することと、
前記ユーザの頭部の前記傾きが左傾きまたは右傾きであるという決定に応じて、前記患者画像キャプチャデバイスを、対応して前記左または前記右にパンさせることと、を行わせる、その上に記憶された命令をさらに有する、請求項６に記載のロボット外科システム。
【請求項８】
前記メモリが、前記プロセッサによって実行されたときに、前記コントローラに、
前記ユーザの前記キャプチャされた画像から、前記ユーザの頭部の前記位置を検出することと、
前記ユーザの頭部の回転が発生したかどうかを決定することと、
前記ユーザの頭部の前記回転の前記決定に応じて、前記患者画像キャプチャデバイスを、前記ユーザの頭部の前記回転に対応する動きで回転させることと、を行わせる、その上に記憶された命令をさらに有する、請求項６に記載のロボット外科システム。
【請求項９】
前記メモリが、前記プロセッサによって実行されたときに、前記コントローラに、前記カメラ再配置モードにあるときに、前記入力ハンドルの作動に基づいて受信した信号と、前記手術器具による出力の動きとの間のスケーリング係数を増加させること、を行わせる、その上に記憶された命令をさらに有する、請求項１に記載のロボット外科システム。
【請求項１０】
前記メモリは、前記プロセッサによって実行されたときに、前記コントローラに、前記ロボット外科システムが前記カメラ再配置モードにあるときに、力フィードバック信号またはトルクフィードバック信号のうちの少なくとも１つを提供して、前記入力ハンドルの前記作動に基づいて受信した前記信号に対応する前記手術器具による出力の動きを低減し、前記入力ハンドルの操縦によって前記手術器具が動くことを防ぐこと、を行わせる、その上に記憶された命令をさらに有する、請求項１に記載のロボット外科システム。
【請求項１１】
ロボット外科システムを制御する方法であって、
前記ロボット外科システムの入力デバイスの作動に基づいて、少なくとも１つの信号を生成することであって、前記少なくとも１つの信号が前記ロボット外科システムに、カメラ再配置モードを開始または終了させる、生成することと、
前記少なくとも１つの信号に応じて、前記ロボット外科システムに前記カメラ再配置モードを開始させることと、を含み、
前記ロボット外科システムが前記カメラ再配置モードにあるときに、前記ロボット外科システムの入力ハンドルの作動が、前記ロボット外科システムのロボットアームの動きとの関連付けを解除し、ユーザの頭部の位置が、ユーザ画像キャプチャデバイスによって追跡される、方法。
【請求項１２】
前記入力デバイスが、フットペダルを含み、
前記方法が、
前記フットペダルの第１の作動によって生成された第１の信号の受信に応じて、前記カメラ再配置モードを開始することと、
前記第１の信号を生成する所定時間内の前記フットペダルの第２の作動によって生成された第２の信号の受信に応じて、前記カメラ再配置モードを終了することと、をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記入力デバイスが、フットペダルを含み、
前記方法は、
前記フットペダルが押し下げられたことを示す生成された信号に応じて、前記カメラ再配置モードを開始することと、
前記フットペダルが解放されたことを示す生成された信号に応じて、前記カメラ再配置モードを終了することと、をさらに含む、請求項１１に記載の方法。
【請求項１４】
前記ユーザの頭部の画像をキャプチャすることと、
前記ユーザの頭部の前記位置で左または右傾きが発生したかどうかを決定することと、
前記ユーザの頭部の前記傾きが左傾きまたは右傾きであるという決定に応じて、前記ロボット外科システムの患者画像キャプチャデバイスを、対応して前記左または前記右にパンさせることと、をさらに含む、請求項１１に記載の方法。
【請求項１５】
前記ユーザの頭部の画像をキャプチャすることと、
前記ユーザの頭部の回転が発生したかどうかを決定することと、
前記ユーザの頭部の回転が発生したという決定に応じて、前記ロボット外科システムの患者画像キャプチャデバイスを、前記ユーザの頭部の前記回転に対応する動きで回転させることと、をさらに含む、請求項１１に記載の方法。
【請求項１６】
前記カメラ再配置モードにあるときに、前記入力ハンドルの作動に基づいて受信した前記少なくとも１つの信号と、前記ロボット外科システムの手術器具による出力の動きとの間のスケーリング係数を増加させること、をさらに含む、請求項１１に記載の方法。
【請求項１７】
前記カメラ再配置モードにあるときに、力フィードバック信号またはトルクフィードバック信号のうちの少なくとも１つを提供して、前記入力ハンドルの前記作動に基づいて受信した前記信号に対応する前記手術器具への出力を低減し、前記入力ハンドルの作動によって前記ロボット外科システムの手術器具が動くことを防ぐこと、をさらに含む、請求項１１に記載の方法。
【請求項１８】
非一時的なコンピュータ可読媒体であって、その上に記憶された命令を有し、前記命令は、プロセッサによって実行されたときに、前記プロセッサに、ロボット外科システムを制御するための方法を実行させ、前記方法は、
前記ロボット外科システムの入力デバイスの作動に基づいて、少なくとも１つの信号を受信することであって、前記少なくとも１つの信号が前記ロボット外科システムに、カメラ再配置モードを開始または終了させる、受信することと、
前記少なくとも１つの信号の受信に応じて、前記ロボット外科システムに前記カメラ再配置モードを開始させることと、
前記ロボット外科システムが前記カメラ再配置モードにあるときに、前記ロボット外科システムの入力ハンドルの作動と、前記ロボット外科システムのロボットアームの動きとの関連付けを解除すること、およびユーザの頭部の位置を、ユーザ画像キャプチャデバイスによって追跡することと、を含む、非一時的なコンピュータ可読媒体。
【請求項１９】
前記入力デバイスが、フットペダルを含み、前記方法が、
前記フットペダルの第１の作動に基づく第１の信号の受信に応じて、前記カメラ再配置モードを開始することと、
前記第１の信号の前記受信の所定時間内の前記フットペダルの第２の作動に基づく第２の信号の受信に応じて、前記カメラ再配置モードを終了することと、をさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２０】
前記入力デバイスが、フットペダルを含み、前記方法は、
前記フットペダルが押し下げられたことを示す信号の受信に応じて、前記カメラ再配置モードを開始することと、
前記フットペダルが解放されたことを示す信号の受信に応じて、前記カメラ再配置モードを終了することと、をさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２１】
前記方法は、
前記ユーザ画像キャプチャデバイスからキャプチャされた画像に基づいて、前記ユーザの頭部の前記位置で左傾きまたは右傾きが発生したかどうかを決定することと、
前記ユーザの頭部の前記傾きが左傾きまたは右傾きであるという決定に応じて、前記ロボット外科システムの患者画像キャプチャデバイスを、対応して前記左または前記右にパンさせることと、をさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２２】
前記方法は、
前記ユーザ画像キャプチャデバイスからキャプチャされた画像に基づいて、前記ユーザの頭部の回転が発生したかどうかを決定することと、
前記ユーザの頭部の回転が発生したという決定に応じて、前記ロボット外科システムの患者画像キャプチャデバイスを、前記ユーザの頭部の前記回転に対応する動きで回転させることと、をさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２３】
前記方法が、前記カメラ再配置モードにあるときに、前記入力ハンドルの作動に基づいて受信した前記少なくとも１つの信号と、前記ロボット外科システムの手術器具による出力の動きとの間のスケーリング係数を増加させること、をさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２４】
前記方法が、前記カメラ再配置モードにあるときに、力フィードバック信号またはトルクフィードバック信号のうちの少なくとも１つを提供して、前記入力ハンドルの作動に基づいて受信した前記少なくとも１つの信号に対応する前記ロボット外科システムの手術器具への出力を低減し、前記入力ハンドルの作動が前記手術器具を動かすのを防ぐこと、をさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
【請求項２５】
ロボット外科システムであって、
手術器具を含む、ロボットアームと、
調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、
コンソールであって、
前記手術部位の前記キャプチャされた画像を表示するための、ディスプレイと、
入力ハンドルと、
作動され、かつ前記作動に基づいて、前記ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成された、入力デバイスと、を含む、コンソールと、
前記ロボットアーム、前記患者画像キャプチャデバイス、および前記コンソールに連結されたコントローラであって、
プロセッサと、
前記プロセッサに連結されたメモリであって、その上に記憶された命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記手術部位のキャプチャされた画像を受信することと、
前記入力ハンドルの作動に基づいて信号を受信して、前記手術器具を動かすことと、
前記入力デバイスの作動に基づいて信号を受信することと、
前記入力デバイスの作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記運搬モードを開始させることであって、前記運搬モードが、
前記手術部位の前記キャプチャされた画像内の手術器具を検出することと、
前記手術器具が前記患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、
前記手術器具が前記患者画像キャプチャデバイスの前記視野内にないという決定に応じて、前記患者画像キャプチャデバイスに前記視野を調節させることと、
前記手術器具が前記患者画像キャプチャデバイスの前記視野内にあるという決定に応じて、前記手術器具が前記キャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む、開始させることと、を行わせる、メモリと、を含む、コントローラと、を含む、ロボット外科システム。
【請求項２６】
前記メモリは、前記プロセッサによって実行されたときに、前記コントローラに、
前記手術器具が動いているという前記決定に応じて、前記患者画像キャプチャデバイスの姿勢を調節すること、を行わせる、その上に記憶された命令をさらに有する、請求項２５に記載のロボット外科システム。
【請求項２７】
ロボット外科システムを制御する方法であって、前記方法は、
前記ロボット外科システムの入力デバイスの作動に基づいて信号を受信することであって、前記ロボット外科システムが、
ロボットアームであって、それに連結された手術器具を含む、ロボットアームと、
調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、
コンソールであって、前記手術部位の前記キャプチャされた画像を表示するための、ディスプレイと、
入力ハンドルとを含み、
前記入力デバイスが、作動され、かつ前記作動に基づいて、前記ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成される、受信することと、
前記手術部位のキャプチャされた画像を受信することと、
前記入力ハンドルの作動に基づいて信号を受信して、前記手術器具を動かすことと、
前記入力デバイスの作動に基づいて信号を受信することと、
前記入力デバイスの作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記運搬モードを開始させることであって、前記運搬モードが、
前記手術部位の前記キャプチャされた画像内の手術器具を検出することと、
前記手術器具が前記患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、
前記手術器具が前記患者画像キャプチャデバイスの前記視野内にないという決定に応じて、前記患者画像キャプチャデバイスに前記視野を調節させることと、
前記手術器具が前記患者画像キャプチャデバイスの前記視野内にあるという決定に応じて、前記手術器具が前記キャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む、開始させることと、を含む、方法。
【請求項２８】
前記手術器具が動いているという前記決定に応じて、前記患者画像キャプチャデバイスの姿勢を調節すること、をさらに含む、請求項２７に記載の方法。
【請求項２９】
非一時的なコンピュータ可読媒体であって、その上に記憶された命令を含み、前記命令は、プロセッサによって実行されたときに、前記プロセッサに、ロボット外科システムを制御するための方法を実行させ、前記方法は、
前記ロボット外科システムの入力デバイスの作動に基づいて信号を受信することであって、前記ロボット外科システムが、
ロボットアームであって、それに連結された手術器具を含む、ロボットアームと、
調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、
コンソールであって、前記手術部位の前記キャプチャされた画像を表示するための、ディスプレイと、入力ハンドルとを含む、コンソールと、を含み、
前記入力デバイスが、作動され、かつ前記作動に基づいて、前記ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成される、受信することと、
前記手術部位のキャプチャされた画像を受信することと、
前記入力ハンドルの作動に基づいて信号を受信して、前記手術器具を動かすことと、
前記入力デバイスの作動に基づいて信号を受信することと、
前記入力デバイスの作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記運搬モードを開始させることであって、前記運搬モードが、
前記手術部位の前記キャプチャされた画像内の手術器具を検出することと、
前記手術器具が前記患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、
前記手術器具が前記患者画像キャプチャデバイスの前記視野内にないという決定に応じて、前記患者画像キャプチャデバイスに前記視野を調節させることと、
前記手術器具が前記患者画像キャプチャデバイスの前記視野内にあるという決定に応じて、前記手術器具が前記キャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む、非一時的なコンピュータ可読媒体。
【請求項３０】
前記方法は、第２の時間での追跡された位置が前記患者画像キャプチャデバイスの初期の視野のエッジから所定の距離内にあるという決定に応じて、前記患者画像キャプチャデバイスに、前記初期の視野から調節されたビューまで、前記視野を拡大させること、をさらに含み、前記手術器具が、前記調節されたビュー内で検出される、請求項２９に記載の非一時的なコンピュータ可読媒体。
【請求項３１】
ロボット外科システムであって、
調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、
コンソールであって、
前記手術部位の前記キャプチャされた画像を表示するための、ディスプレイと、
入力ハンドルと、
１つ以上の入力デバイスであって、前記１つ以上の入力デバイスのうちの第１の入力デバイスが、作動され、かつ前記作動に基づいて、前記ロボット外科システムにターゲティングモードを開始または終了させるための信号を提供するように構成されている、１つ以上の入力デバイスと、を含む、コンソールと、
ユーザの画像をキャプチャするように構成された、ユーザ画像キャプチャデバイスと、
前記患者画像キャプチャデバイス、前記コンソール、および前記ユーザ画像キャプチャデバイスに連結されたコントローラを含み、前記コントローラは、プロセッサおよび前記プロセッサに連結されたメモリを含み、前記メモリは、その上に記憶された命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記ユーザの前記キャプチャされた画像から、前記ユーザの頭部の位置を追跡することと、
前記第１の入力デバイスの作動に基づいて信号を受信することと、
前記第１の入力デバイスの作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記ターゲティングモードを開始させることと、を実行させ、前記ターゲティングモードは、
前記ディスプレイ上に、ユーザインターフェースキューを表示させることと、
前記ユーザの頭部の初期位置を検出することと、
前記ユーザの頭部の前記初期位置から、前記ユーザの頭部の前記位置に変化が生じたかどうかを決定することと、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が速度変化であるかどうかを決定することと、を含み、
前記変化が速度変化であるという決定に応じて、前記表示されたユーザインターフェースキューのサイズが、正の速度変化に対応するように増加するか、または前記表示されたユーザインターフェースキューの前記サイズが、負の速度変化に対応するように減少する、ロボット外科システム。
【請求項３２】
前記１つ以上の入力デバイスのうちの第２の入力デバイスが、前記患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されており、前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記１つ以上のプロセッサによって実行されたときに、前記コントローラに、
前記第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記速度の変化が負の速度変化であるという前記決定に応じて、前記患者画像キャプチャデバイスに、初期の視野から、前記初期の視野よりも大きい第１の調節された視野に調節させることと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記速度の変化が正の速度変化であるという前記決定に応じて、前記患者画像キャプチャデバイスに、前記初期の視野から、前記初期の視野よりも小さい第２の調節された視野に調節させることと、を行わせる、請求項３１に記載のロボット外科システム。
【請求項３３】
前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が前記ユーザの頭部の回転の動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部の回転の動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記ユーザの前記頭部の回転の動きに対応する様式で回転させることと、を行わせる、請求項３１に記載のロボット外科システム。
【請求項３４】
前記１つ以上の入力デバイスのうちの第２の入力デバイスが、前記患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されており、前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づく入力を受信した前記信号、および前記変化が前記ユーザの頭部の回転の動きを示すという前記決定に応じて、前記患者画像キャプチャデバイスを、前記ユーザの前記頭部の回転の動きに対応する様式で回転させることと、を行わせる、請求項３３に記載のロボット外科システム。
【請求項３５】
前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が頭部のうなずきの動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部のうなずきの動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記頭部のうなずきの動きに対応する方向に動かすことと、を行わせる、請求項３１に記載のロボット外科システム。
【請求項３６】
前記１つ以上の入力デバイスのうちの第２の入力デバイスが、前記患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されており、前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が前記ユーザの頭部のうなずきの動きを示すという決定に応じて、前記患者画像キャプチャデバイスの姿勢を、前記ユーザの前記頭部のうなずきの動きに対応する様式で調節することと、を行わせる、請求項３５に記載のロボット外科システム。
【請求項３７】
前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が頭部の傾きの動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部の傾きの動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記頭部の傾きの動きに対応する方向において前記画像にわたって動かすことと、を行わせる、請求項３１に記載のロボット外科システム。
【請求項３８】
前記１つ以上の入力デバイスのうちの第２の入力デバイスが、前記患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されており、前記メモリは、その上に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が、前記頭部の傾きの動きが左傾きの動きであることを示すという決定に応じて、前記患者画像キャプチャデバイスに、対応する左方向におけるパンの動きを実行させることと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が、前記頭部の傾きの動きが右傾きの動きであることを示すという決定に応じて、前記患者画像キャプチャデバイスに、対応する右方向におけるパンの動きを実行させることと、を行わせる、請求項３７に記載のロボット外科システム。
【請求項３９】
前記１つ以上の入力デバイスが、ボタンおよびフットペダルを含む、請求項３１に記載のロボット外科システム。
【請求項４０】
ロボット外科システムを制御する方法であって、前記方法は、
ユーザ画像キャプチャデバイスによってキャプチャされたユーザの画像から、前記ユーザの頭部の位置を追跡することと、
視野を有し、かつ手術部位の画像をキャプチャするように構成されている患者画像キャプチャデバイスを含む、前記ロボット外科システムの第１の入力デバイスの作動に基づいて信号を受信することであって、コンソールが、前記手術部位の前記患者画像キャプチャデバイスからの画像を表示するためのディスプレイ、入力ハンドル、および前記第１の入力デバイスを含む１つ以上の入力デバイス、を含み、前記１つ以上の入力デバイスのうちの前記第１の入力デバイスは、前記ロボット外科システムがターゲティングモードを開始または終了するための信号を提供するように構成されている、受信することと、
前記第１の入力デバイスの前記作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記ターゲティングモードを開始させることであって、前記ターゲティングモードが、
前記ディスプレイ上に、ユーザインターフェースキューを表示させることと、
前記ユーザの頭部の初期位置を検出することと、
前記ユーザの頭部の前記初期位置から、前記ユーザの頭部の前記位置に変化が生じたかどうかを決定することと、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が速度変化であるかどうかを決定することと、を含み、
前記変化が速度変化であるという決定に応じて、前記表示されたユーザインターフェースキューのサイズが、正の速度変化に対応するように増加するか、または前記表示されたユーザインターフェースキューの前記サイズが、負の速度変化に対応するように減少する、開始させることと、を含む、方法。
【請求項４１】
前記第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記速度の変化が負の速度変化であるという前記決定に応じて、前記患者画像キャプチャデバイスに、初期の視野から、前記初期の視野よりも大きい第１の調節された視野に調節させることと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記速度の変化が正の速度変化であるという前記決定に応じて、前記患者画像キャプチャデバイスに、前記初期の視野から、前記初期の視野よりも小さい第２の調節された視野に調節させることと、をさらに含む、請求項４０に記載の方法。
【請求項４２】
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が前記ユーザの頭部の回転の動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部の回転の動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記ユーザの前記頭部の回転の動きに対応する様式で回転させることと、をさらに含む、請求項４１に記載の方法。
【請求項４３】
第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が前記ユーザの頭部の回転の動きを示すという前記決定に応じて、前記患者画像キャプチャデバイスを、前記ユーザの前記頭部の回転の動きに対応する様式で回転させることと、をさらに含む、請求項４２に記載の方法。
【請求項４４】
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が頭部のうなずきの動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部のうなずきの動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記頭部のうなずきの動きに対応する方向に動かすことと、をさらに含む、請求項４０に記載の方法。
【請求項４５】
第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が前記ユーザの頭部のうなずきの動きを示すという決定に応じて、前記患者画像キャプチャデバイスの姿勢を、前記ユーザの前記頭部のうなずきの動きに対応する様式で調節することと、をさらに含む、請求項４４に記載の方法。
【請求項４６】
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が頭部の傾きの動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部の傾きの動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記頭部の傾きの動きに対応する方向において前記画像にわたって動かすことと、をさらに含む、請求項４０に記載の方法。
【請求項４７】
第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が、前記頭部の傾きの動きが左傾きの動きであることを示すという決定に応じて、前記患者画像キャプチャデバイスに、対応する左方向におけるパンの動きを実行させることと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が、前記頭部の傾きの動きが右傾きの動きであることを示すという決定に応じて、前記患者画像キャプチャデバイスに、対応する右方向におけるパンの動きを実行させることと、をさらに含む、請求項４６に記載の方法。
【請求項４８】
非一時的なコンピュータ可読媒体であって、その上に記憶された命令を含み、前記命令は、プロセッサによって実行されたときに、前記プロセッサに、ロボット外科システムを制御するための方法を実行させ、前記方法は、
前記ロボット外科システムの第１の入力デバイスの作動に基づいて信号を受信することであって、前記ロボット外科システムが、視野を有し、かつ手術部位の画像をキャプチャするように構成されている患者画像キャプチャデバイスを含み、コンソールが、前記手術部位の前記患者画像キャプチャデバイスからの画像を表示するためのディスプレイ、入力ハンドル、および１つ以上の入力デバイスを含み、前記１つ以上の入力デバイスのうちの前記第１の入力デバイスは、前記ロボット外科システムがターゲティングモードを開始または終了するための信号を提供するように構成されており、ユーザ画像キャプチャデバイスが、ユーザの画像をキャプチャするように構成されている、受信することと、
前記ユーザの前記キャプチャされた画像から、前記ユーザの頭部の位置を追跡することと、
前記第１の入力デバイスの作動に基づいて受信した前記信号に応じて、前記ロボット外科システムに、前記ターゲティングモードを開始させることであって、前記ターゲティングモードが、
前記ディスプレイ上に、ユーザインターフェースキューを表示させることと、
前記ユーザの頭部の初期位置を検出することと、
前記ユーザの頭部の前記初期位置から、前記ユーザの頭部の前記位置に変化が生じたかどうかを決定することと、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が速度変化であるかどうかを決定することと、を含み、
前記変化が速度変化であるという決定に応じて、前記表示されたユーザインターフェースキューのサイズが、正の速度変化に対応するように増加するか、または前記表示されたユーザインターフェースキューの前記サイズが、負の速度変化に対応するように減少する、開始させることと、を含む、非一時的なコンピュータ可読媒体。
【請求項４９】
前記方法は、
前記第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記速度の変化が負の速度変化であるという前記決定に応じて、前記患者画像キャプチャデバイスに、初期の視野から、前記初期の視野よりも大きい第１の調節された視野に調節させることと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記速度の変化が正の速度変化であるという前記決定に応じて、前記患者画像キャプチャデバイスに、前記初期の視野から、前記初期の視野よりも小さい第２の調節された視野に調節させることと、をさらに含む、請求項４８に記載の非一時的なコンピュータ可読媒体。
【請求項５０】
前記方法は、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が前記ユーザの頭部の回転の動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部の回転の動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記ユーザの前記頭部の回転の動きに対応する様式で回転させることと、をさらに含む、請求項４８に記載の非一時的なコンピュータ可読媒体。
【請求項５１】
前記方法は、
第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が前記ユーザの頭部の回転の動きを示すという前記決定に応じて、前記患者画像キャプチャデバイスを、前記ユーザの前記頭部の回転の動きに対応する様式で回転させることと、をさらに含む、請求項５０に記載の非一時的なコンピュータ可読媒体。
【請求項５２】
前記方法は、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が頭部のうなずきの動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部のうなずきの動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記頭部のうなずきの動きに対応する方向に動かすことと、をさらに含む、請求項４８に記載の非一時的なコンピュータ可読媒体。
【請求項５３】
前記方法は、
第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が前記ユーザの頭部のうなずきの動きを示すという決定に応じて、前記患者画像キャプチャデバイスの姿勢を、前記ユーザの前記頭部のうなずきの動きに対応する様式で調節することと、をさらに含む、請求項５２に記載の非一時的なコンピュータ可読媒体。
【請求項５４】
前記方法は、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が頭部の傾きの動きを示しているかどうかを決定することと、
前記変化が前記ユーザの頭部の傾きの動きを示すという決定に応じて、前記表示されたユーザインターフェースキューを、前記頭部の傾きの動きに対応する方向において前記画像にわたって動かすことと、をさらに含む、請求項４８に記載の非一時的なコンピュータ可読媒体。
【請求項５５】
前記方法は、
第２の入力デバイスの作動に基づいて信号を受信することと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が、前記頭部の傾きの動きが左傾きの動きであることを示すという決定に応じて、前記患者画像キャプチャデバイスに、対応する左方向におけるパンの動きを実行させることと、
前記第２の入力デバイスの作動に基づいて受信した前記信号、および前記変化が、前記頭部の傾きの動きが右傾きの動きであることを示すという決定に応じて、前記患者画像キャプチャデバイスに、対応する右方向におけるパンの動きを実行させることと、をさらに含む、請求項５４に記載の非一時的なコンピュータ可読媒体。
【請求項５６】
ロボット外科システムであって、
手術器具を含む、ロボットアームと、
手術部位の画像をキャプチャするように構成された、患者画像キャプチャデバイスと、
コンソールであって、
前記手術部位の前記キャプチャされた画像を表示するための、ディスプレイと、
入力ハンドルと、
作動され、かつ前記作動に基づいて、前記ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成されている、第１の入力デバイスと、
作動され、かつ前記作動に基づいて、前記ロボット外科システムにカメラ再配置モードを開始または終了させるための信号を提供するように構成されている、第２の入力デバイスと、を含む、コンソールと、
前記ロボットアーム、前記患者画像キャプチャデバイス、および前記コンソールに連結されたコントローラであって、
プロセッサと、
前記プロセッサに連結されたメモリであって、その上に記憶された命令を有し、前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
前記第１の入力デバイスの作動に基づいて受信した信号に応じて、前記ロボット外科システムに、前記運搬モードを開始させることであって、前記運搬モードが、
前記手術部位の前記キャプチャされた画像内の手術器具を検出することと、
前記手術器具が前記患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、
前記手術器具が前記患者画像キャプチャデバイスの視野内にないという決定に応じて、前記患者画像キャプチャデバイスに前記視野を調節させることと、
前記手術器具が前記患者画像キャプチャデバイスの視野内にあるという決定に応じて、前記手術器具が前記キャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む、開始させることと、
前記第２の入力デバイスの作動に基づいて受信した信号に応じて、前記ロボット外科システムに、前記カメラ再配置モードを開始させることであって、前記カメラ再配置モードが、
前記入力ハンドルの作動と、前記ロボットアームの動きとの関連付けを解除することと、
ユーザの頭部の位置を追跡することと、を含む、開始させることと、を行わせる、メモリと、を含む、コントローラと、を含む、ロボット外科システム。
【請求項５７】
前記ロボット外科システムに、ターゲティングモードを開始または終了させるための信号を提供するように構成されている、第３の入力デバイスをさらに含み、前記メモリが、前記プロセッサによって実行されたときに、前記コントローラに、前記カメラ再配置モードにあるときに、前記第３の入力デバイスの作動に基づいて信号を受信することと、前記第３の入力デバイスの作動に基づいて受信した前記信号に応じて、前記ターゲティングモードを開始させることであって、前記ターゲティングモードが、
前記ユーザの前記キャプチャされた画像から、前記ユーザの頭部の前記位置を追跡することと、
前記ディスプレイ上に、ユーザインターフェースキューを表示させることと、
前記ユーザの頭部の初期位置を検出することと、
前記ユーザの頭部の前記初期位置から、前記ユーザの頭部の前記位置に変化が生じたかどうかを決定することと、
前記ユーザの頭部の前記位置に変化が生じたという決定に応じて、前記変化が速度変化であるかどうかを決定することと、を含み、
前記変化が速度変化であるという決定に応じて、前記表示されたユーザインターフェースキューのサイズが、正の速度変化に対応するように増加するか、または前記表示されたユーザインターフェースキューの前記サイズが、負の速度変化に対応するように減少する、開始させることと、を行わせる、その上に記憶されたさらなる命令を有する、請求項５６に記載のロボット外科システム。
【発明の詳細な説明】
【技術分野】
【０００１】
ロボット外科システムは、低侵襲手術処置でますます使用されている。典型的には、ロボット外科システムは、手術器具および／またはカメラが連結される１つ以上のロボットアームから遠隔に位置する臨床医コンソールを含む。例えば、臨床医コンソールは、手術室のロボットアームとは別の側、別の部屋、または別の建物に位置し、かつ臨床医によって作動される入力ハンドルおよび／または他の入力デバイスを含み得る。入力ハンドルの作動に基づく信号は、中央コントローラに伝達され、中央コントローラは、信号を、ロボットアームおよび／または例えば、手術部位内でそれに連結された手術器具を操作するためのコマンドに変換する。
【背景技術】
【０００２】
入力ハンドルおよび入力デバイスに加えて、臨床医コンソールにはディスプレイが含まれている。ディスプレイは、ロボットアームのうちの１つ以上に取り付けられたカメラでキャプチャされた画像を表示することにより、手術部位のビューを提供する。手術部位内にカメラを配置および／または再配置するために、臨床医は、入力ハンドルの作動を手術器具から切り離し、入力ハンドルの作動をカメラと関連付けることができる。その結果、臨床医が入力ハンドルを作動させると、作動に基づく信号はコマンドに変換されて、カメラの対応する動きを実現する。現在のロボット外科システムは適切であるが、改善される可能性がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示は、改善されたロボット外科システムを提供し、またロボット外科システムを制御するための改善された方法およびコンピュータ可読媒体を提供する。
【０００４】
本開示の一態様では、ロボット外科システムは、手術器具を含むロボットアームと、手術部位の画像をキャプチャするように構成された患者画像キャプチャデバイスと、コンソールと、を含む。コンソールは、手術部位のキャプチャされた画像を表示するためのディスプレイと、入力ハンドルと、作動され、かつ作動に基づいて、ロボット外科システムにカメラ再配置モードを開始または終了させるための信号を提供するように構成されている、入力デバイスと、を含む。コントローラは、ロボットアーム、患者画像キャプチャデバイス、およびコンソールに連結されている。コントローラは、プロセッサと、プロセッサに連結されたメモリと、を含む。メモリは、プロセッサによって実行されたときに、コントローラに、入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、カメラ再配置モードを開始させること、を行わせる、その上に記憶された命令を有する。ロボット外科システムがカメラ再配置モードにあるときに、コントローラは、入力ハンドルの作動とロボットアームの動きとの関連付けを解除し、かつユーザの頭部の位置を追跡する。
【０００５】
本開示の別の態様では、入力デバイスは、入力ハンドル上のボタンを含む。
【０００６】
本開示の別の態様では、入力デバイスは、フットペダルを含む。
【０００７】
本開示のさらに別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、フットペダルの第１の作動に基づく第１の信号の受信に応じて、カメラ再配置モードを開始することと、第１の信号の受信の所定時間内のフットペダルの第２の作動に基づく第２の信号の受信に応じて、カメラ再配置モードを終了することと、を行わせる、その上に記憶された命令をさらに有する。
【０００８】
本開示のさらに別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、フットペダルが押し下げられたことを示す信号の受信に応じて、カメラ再配置モードを開始することと、フットペダルが解放されたことを示す信号の受信に応じて、カメラ再配置モードを終了することと、を行わせる、その上に記憶された命令をさらに有する。
【０００９】
本開示の別の態様では、ロボット外科システムはまた、ユーザの頭部の動きを追跡するために、ユーザの画像をキャプチャするように構成されたユーザ画像キャプチャデバイスを含む。
【００１０】
本開示のさらに別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、ユーザ画像キャプチャデバイスによってキャプチャされたユーザの画像から、ユーザの頭部の位置を検出することと、ユーザのキャプチャされた画像から、ユーザの頭部の左または右の傾きが発生したかどうかを決定することと、ユーザの頭部の傾きが左傾きまたは右傾きであるという決定に応じて、患者画像キャプチャデバイスを、対応して左または右にパンさせることと、を行わせる、その上に記憶された命令をさらに有する。
【００１１】
本開示のさらに別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、ユーザのキャプチャされた画像から、ユーザの頭部の位置を検出することと、ユーザの頭部の回転が発生したかどうかを決定することと、ユーザの頭部の回転の決定に応じて、患者画像キャプチャデバイスを、ユーザの頭部の回転に対応する動きで回転させることと、を行わせる、その上に記憶された命令をさらに有する。
【００１２】
本開示の別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、カメラ再配置モードにあるときに、入力ハンドルの作動に基づいて受信した信号と、手術器具による出力の動きとの間のスケーリング係数を増加させること、を行わせる、その上に記憶された命令をさらに有する。
【００１３】
本開示の別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、ロボット外科システムがカメラ再配置モードにあるときに、力フィードバック信号またはトルクフィードバック信号のうちの少なくとも１つを提供して、入力ハンドルの作動に基づいて受信した信号に対応する手術器具による出力の動きを低減し、入力ハンドルの操縦によって手術器具が動くことを防ぐこと、を行わせる、その上に記憶された命令をさらに有する。
【００１４】
本開示の一態様によれば、ロボット外科システムを制御する方法は、ロボット外科システムの入力デバイスの作動に基づいて、少なくとも１つの信号を生成することであって、少なくとも１つの信号がロボット外科システムに、カメラ再配置モードを開始または終了させる、生成することを含む。少なくとも１つの信号に応じて、ロボット外科システムは、カメラ再配置モードを開始する。ロボット外科システムがカメラ再配置モードにあるときに、ロボット外科システムの入力ハンドルの作動は、ロボット外科システムのロボットアームの動きとの関連付けを解除し、ユーザの頭部の位置は、ユーザ画像キャプチャデバイスによって追跡される。
【００１５】
本開示の別の態様では、入力デバイスは、フットペダルを含む。方法は、フットペダルの第１の作動によって生成された第１の信号の受信に応じて、カメラ再配置モードを開始することと、第１の信号を生成する所定時間内のフットペダルの第２の作動によって生成された第２の信号の受信に応じて、カメラ再配置モードを終了することと、をさらに含む。
【００１６】
本開示の別の態様では、入力デバイスは、フットペダルを含み、方法は、フットペダルが押し下げられたことを示す生成された信号に応じて、カメラ再配置モードを開始することと、フットペダルが解放されたことを示す生成された信号に応じて、カメラ再配置モードを終了することと、をさらに含む。
【００１７】
本開示の別の態様では、方法は、ユーザの頭部の画像をキャプチャすることをさらに含む。決定は、ユーザの頭部の位置で左または右傾きが発生したかどうかを行う。ユーザの頭部の傾きが左傾きまたは右傾きであるという決定に応じて、ロボット外科システムの患者画像キャプチャデバイスを、対応して左または右にパンさせる。
【００１８】
本開示の別の態様では、方法は、ユーザの頭部の画像をキャプチャすることをさらに含む。決定は、ユーザの頭部の回転が発生したかどうかを行う。ユーザの頭部の回転が発生したという決定に応じて、ロボット外科システムの患者画像キャプチャデバイスを、ユーザの頭部の回転に対応する動きで回転させる。
【００１９】
本開示の別の態様では、方法は、カメラ再配置モードにあるときに、入力ハンドルの作動に基づいて受信した少なくとも１つの信号と、ロボット外科システムの手術器具による出力の動きとの間のスケーリング係数を増加させること、をさらに含む。
【００２０】
本開示の別の態様では、方法は、カメラ再配置モードにあるときに、力フィードバック信号またはトルクフィードバック信号のうちの少なくとも１つを提供して、入力ハンドルの作動に基づいて受信した信号に対応する手術器具への出力を低減し、入力ハンドルの作動によってロボット外科システムの手術器具が動くことを防ぐこと、をさらに含む。
【００２１】
本開示のさらに別の態様によれば、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、プロセッサに、ロボット外科システムを制御するための方法を実行させるその上に記憶された命令を有する。方法は、ロボット外科システムの入力デバイスの作動に基づいて、少なくとも１つの信号を受信することであって、少なくとも１つの信号がロボット外科システムに、カメラ再配置モードを開始または終了させる、受信することと、少なくとも１つの信号の受信に応じて、ロボット外科システムにカメラ再配置モードを開始させることと、を含む。ロボット外科システムがカメラ再配置モードにあるときに、ロボット外科システムの入力ハンドルの作動は、ロボット外科システムのロボットアームの動きとの関連付けを解除し、ユーザの頭部の位置は、ユーザ画像キャプチャデバイスによって追跡される。
【００２２】
本開示の別の態様では、入力デバイスは、フットペダルを含む。方法は、フットペダルの第１の作動に基づく第１の信号の受信に応じて、カメラ再配置モードを開始することと、第１の信号の受信の所定時間内のフットペダルの第２の作動に基づく第２の信号の受信に応じて、カメラ再配置モードを終了することと、をさらに含む。
【００２３】
本開示の別の態様では、入力デバイスはフットペダルを含み、方法は、フットペダルが押し下げられたことを示す信号の受信に応じて、カメラ再配置モードを開始することと、フットペダルが解放されたことを示す信号の受信に応じて、カメラ再配置モードを終了することと、をさらに含む。
【００２４】
本開示の別の態様では、方法は、ユーザ画像キャプチャデバイスからキャプチャされた画像に基づいて、ユーザの頭部の位置で左傾きまたは右傾きが発生したかどうかを決定することと、ユーザの頭部の傾きが左傾きまたは右傾きであるという決定に応じて、ロボット外科システムの患者画像キャプチャデバイスを、対応して左または右にパンさせることと、をさらに含む。
【００２５】
本開示の別の態様では、方法は、ユーザ画像キャプチャデバイスからキャプチャされた画像に基づいて、ユーザの頭部の回転が発生したかどうかを決定することと、ユーザの頭部の回転が発生したという決定に応じて、ロボット外科システムの患者画像キャプチャデバイスを、ユーザの頭部の回転に対応する動きで回転させることと、をさらに含む。本開示のさらに別の態様では、カメラ再配置モードにあるときに、入力ハンドルの作動に基づいて受信した少なくとも１つの信号と、ロボット外科システムの手術器具による出力の動きとの間のスケーリング係数を増加させる。
【００２６】
本開示の別の態様では、方法は、カメラ再配置モードにあるときに、力フィードバック信号またはトルクフィードバック信号のうちの少なくとも１つを提供して、入力ハンドルの作動に基づいて受信した少なくとも１つの信号に対応するロボット外科システムの手術器具への出力を低減し、入力ハンドルの作動によって手術器具が動くことを防ぐこと、をさらに含む。
【００２７】
本開示のさらに別の態様によれば、ロボット外科システムは、手術器具を含むロボットアームと、調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、コンソールと、を含む。コンソールは、手術部位のキャプチャされた画像を表示するためのディスプレイと、入力ハンドルと、入力デバイスと、を含む。入力デバイスは、作動され、かつ作動に基づいて、ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成されている。コントローラは、ロボットアーム、患者画像キャプチャデバイス、およびコンソールに連結されている。コントローラは、プロセッサと、プロセッサに連結されたメモリと、を含む。方法は、プロセッサによって実行されたときに、手術部位のキャプチャされた画像を受信することと、入力ハンドルの作動に基づいて信号を受信して、手術器具を動かすことと、入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、運搬モードを開始させることと、を行わせる、その上に記憶された命令を有する。運搬モードは、手術部位のキャプチャされた画像内の手術器具を検出することと、手術器具が患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、手術器具が患者画像キャプチャデバイスの視野内にないという決定に応じて、患者画像キャプチャデバイスに視野を調節させることと、手術器具が患者画像キャプチャデバイスの視野内にあるという決定に応じて、手術器具がキャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む。
【００２８】
本開示の別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、手術器具が動いているという決定に応じて、患者画像キャプチャデバイスの姿勢を調節すること、を行わせる、その上に記憶された命令をさらに有する。
【００２９】
本開示の別の態様によれば、ロボット外科システムを制御する方法は、ロボット外科システムの入力デバイスの作動に基づいて信号を受信することを含む。ロボット外科システムは、ロボットアームであって、それに連結された手術器具を含む、ロボットアームと、調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、を含む。コンソールは、手術部位のキャプチャされた画像を表示するためのディスプレイと、入力ハンドルと、を含む。入力デバイスは、作動され、かつ作動に基づいて、ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成されている。方法は、手術部位のキャプチャされた画像を受信することと、入力ハンドルの作動に基づいて信号を受信して、手術器具を動かすことと、入力デバイスの作動に基づいて信号を受信することと、入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、運搬モードを開始させることと、を含む。運搬モードは、手術部位のキャプチャされた画像内の手術器具を検出することと、手術器具が患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、手術器具が患者画像キャプチャデバイスの視野内にないという決定に応じて、患者画像キャプチャデバイスに視野を調節させることと、手術器具が患者画像キャプチャデバイスの視野内にあるという決定に応じて、手術器具がキャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む。
【００３０】
本開示の別の態様では、手術器具が動いているという決定に応じて、患者画像キャプチャデバイスの姿勢が調節される。
【００３１】
本開示のさらに別の態様によれば、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、プロセッサに、ロボット外科システムを制御するための方法を実行させるその上に記憶された命令を含む。方法は、ロボット外科システムの入力デバイスの作動に基づいて信号を受信することを含む。ロボット外科システムは、ロボットアームであって、それに連結された手術器具を含む、ロボットアームと、調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、コンソールであって、手術部位のキャプチャされた画像を表示するためのディスプレイ、および入力ハンドルを含む、コンソールと、を含む。入力デバイスは、作動され、かつ作動に基づいて、ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成されている。方法はまた、手術部位のキャプチャされた画像を受信することと、入力ハンドルの作動に基づいて信号を受信して、手術器具を動かすことと、入力デバイスの作動に基づいて信号を受信することと、入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、運搬モードを開始させることと、を含む。運搬モードは、手術部位のキャプチャされた画像内の手術器具を検出することと、手術器具が患者画像キャプチャデバイスの視野内にあるかどうかを決定することと、手術器具が患者画像キャプチャデバイスの視野内にないという決定に応じて、患者画像キャプチャデバイスに視野を調節させることと、手術器具が患者画像キャプチャデバイスの視野内にあるという決定に応じて、手術器具がキャプチャされた画像内で経時的に動いているかどうかを決定することと、を含む。
【００３２】
本開示の別の態様では、方法は、手術器具が動いているという決定に応じて、患者画像キャプチャデバイスの姿勢を調節すること、をさらに含む。
【００３３】
別の態様によれば、ロボット外科システムは、調節可能な視野を有し、かつ手術部位の画像をキャプチャするように構成されている、患者画像キャプチャデバイスと、コンソールと、ユーザの画像をキャプチャするように構成された、ユーザ画像キャプチャデバイスと、を含む。コンソールは、手術部位のキャプチャされた画像を表示するためのディスプレイと、入力ハンドルと、１つ以上の入力デバイスであって、１つ以上の入力デバイスのうちの第１の入力デバイスが、作動され、かつ作動に基づいて、ロボット外科システムにターゲティングモードを開始または終了させるための信号を提供するように構成されている、１つ以上の入力デバイスと、を含む。コントローラは、患者画像キャプチャデバイス、コンソール、およびユーザ画像キャプチャデバイスに連結されている。コントローラは、プロセッサと、プロセッサに連結されたメモリと、を含む。メモリは、プロセッサによって実行されたときに、コントローラに、ユーザのキャプチャされた画像から、ユーザの頭部の位置を追跡することと、第１の入力デバイスの作動に基づいて信号を受信することと、第１の入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、ターゲティングモードを開始させること、を行わせる、その上に記憶された命令を有する。ターゲティングモードは、ディスプレイ上に、ユーザインターフェースキュー（例えば、グラフィカル、音声、または触覚）を対応して表示および／または修正させることと、ユーザの頭部の初期位置を検出することと、ユーザの頭部の初期位置から、ユーザの頭部の位置に変化が生じたかどうかを決定することと、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が速度変化であるかどうかを決定することと、を含む。変化が速度変化であるという決定に応じて、表示されたユーザインターフェースキューのサイズは、正の速度変化に対応するように増加するか、または表示されたユーザインターフェースキューのサイズは、負の速度変化に対応するように減少する。
【００３４】
本開示の別の態様では、１つ以上の入力デバイスのうちの第２の入力デバイスは、患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されている。メモリは、１つ以上のプロセッサによって実行されたときに、コントローラに、第２の入力デバイスの作動に基づいて信号を受信することと、を行わせる、その上に記憶されたさらなる命令を有する。第２の入力デバイスの作動に基づいて受信した信号、および速度の変化が負の速度変化であるという決定に応じて、患者画像キャプチャデバイスは、初期の視野から、初期の視野よりも大きい第１の調節された視野に調節する。第２の入力デバイスの作動に基づいて受信した信号、および速度の変化が正の速度変化であるという決定に応じて、患者画像キャプチャデバイスは、初期の視野から、初期の視野よりも小さい第２の調節された視野に調節する。
【００３５】
本開示の別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、ユーザの頭部の位置に変化が生じたという決定に応じて、変化がユーザの頭部の回転の動きを示しているかどうかを決定すること、を行わせる、その上に記憶されたさらなる命令を有する。変化がユーザの頭部の回転の動きを示すという決定に応じて、表示されたユーザインターフェースキューは、ユーザの頭部の回転の動きに対応する様式で回転する。本開示のさらに別の態様では、１つ以上の入力デバイスのうちの第２の入力デバイスは、患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されている。メモリは、プロセッサによって実行されたときに、コントローラに、第２の入力デバイスの作動に基づく信号を受信することと、第２の入力デバイスの作動に基づく入力を受信した信号、および変化がユーザの頭部の回転の動きを示すという決定に応じて、患者画像キャプチャデバイスを、ユーザの頭部の回転の動きに対応する様式で回転させることと、を行わせる、その上に記憶されたさらなる命令を有する。
【００３６】
本開示の別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が頭部のうなずきの動きを示しているかどうかを決定すること、を行わせる、その上に記憶されたさらなる命令を有する。加えて、変化がユーザの頭部のうなずきの動きを示すという決定に応じて、表示されたユーザインターフェースキューは、頭部のうなずきの動きに対応する方向に動かされる。本開示のさらに別の態様では、１つ以上の入力デバイスのうちの第２の入力デバイスは、患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されている。メモリは、プロセッサによって実行されたときに、コントローラに、第２の入力デバイスの作動に基づいて信号を受信することと、を行わせる、その上に記憶されたさらなる命令を有する。第２の入力デバイスの作動に基づいて受信した信号、および変化がユーザの頭部のうなずきの動きを示すという決定に応じて、患者画像キャプチャデバイスの姿勢は、ユーザの頭部のうなずきの動きに対応する様式で調節される。
【００３７】
本開示の別の態様では、メモリは、プロセッサによって実行されたときに、コントローラに、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が頭部の傾きの動きを示しているかどうかを決定すること、を行わせる、その上に記憶されたさらなる命令を有する。変化がユーザの頭部の傾きの動きを示すという決定に応じて、表示されたユーザインターフェースキューは、頭部の傾きの動きに対応する方向において画像にわたって動かされる。本開示のさらに別の態様では、１つ以上の入力デバイスのうちの第２の入力デバイスは、患者画像キャプチャデバイスにコマンドを提供するための確認を示すように作動されるように構成されている。メモリは、プロセッサによって実行されたときに、コントローラに、第２の入力デバイスの作動に基づいて信号を受信することと、を行わせる、その上に記憶されたさらなる命令を有する。第２の入力デバイスの作動に基づいて受信した信号、および変化が、頭部の傾きの動きが左傾きの動きであることを示すという決定に応じて、患者画像キャプチャデバイスは、対応する左方向におけるパンの動きを実行し、第２の入力デバイスの作動に基づいて受信した信号、および変化が、頭部の傾きの動きが右傾きの動きであることを示すという決定に応じて、患者画像キャプチャデバイスは、対応する右方向におけるパンの動きを実行する。
【００３８】
本開示の別の態様では、１つ以上の入力デバイスは、ボタンおよびフットペダルを含む。
【００３９】
本開示のさらに別の態様によれば、ロボット外科システムを制御する方法は、ユーザ画像キャプチャデバイスによってキャプチャされたユーザの画像から、ユーザの頭部の位置を追跡することを含む。方法はまた、視野を有し、かつ手術部位の画像をキャプチャするように構成されている患者画像キャプチャデバイスを含む、ロボット外科システムの第１の入力デバイスの作動に基づいて信号を受信することであって、コンソールが、手術部位の患者画像キャプチャデバイスからの画像を表示するためのディスプレイ、入力ハンドル、および第１の入力デバイスを含む１つ以上の入力デバイス、を含み、１つ以上の入力デバイスのうちの第１の入力デバイスは、ロボット外科システムがターゲティングモードを開始または終了するための信号を提供するように構成されている、受信すること、を含む。第１の入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、ターゲティングモードを開始させる。ターゲティングモードは、ディスプレイ上に、ユーザインターフェースキューを表示させることと、ユーザの頭部の初期位置を検出することと、ユーザの頭部の初期位置から、ユーザの頭部の位置に変化が生じたかどうかを決定することと、を含む。加えて、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が速度変化であるかどうかの決定が行われる。変化が速度変化であるという決定に応じて、表示されたユーザインターフェースキューのサイズは、正の速度変化に対応するように増加するか、または表示されたユーザインターフェースキューのサイズは、負の速度変化に対応するように減少する。
【００４０】
本開示の別の態様では、方法は、第２の入力デバイスの作動に基づいて信号を受信することをさらに含む。第２の入力デバイスの作動に基づいて受信した信号、および速度の変化が負の速度変化であるという決定に応じて、患者画像キャプチャデバイスは、初期の視野から、初期の視野よりも大きい第１の調節された視野に調節される。第２の入力デバイスの作動に基づいて受信した信号、および速度の変化が正の速度変化であるという決定に応じて、患者画像キャプチャデバイスは、初期の視野から、初期の視野よりも小さい第２の調節された視野に調節される。
【００４１】
本開示の別の態様では、方法は、ユーザの頭部の位置に変化が生じたという決定に応じて、変化がユーザの頭部の回転の動きを示しているかどうかを決定すること、をさらに含む。加えて、変化がユーザの頭部の回転の動きを示すという決定に応じて、表示されたユーザインターフェースキューは、ユーザの頭部の回転の動きに対応する様式で回転する。
【００４２】
本開示の別の態様では、方法は、第２の入力デバイスの作動に基づいて信号を受信することをさらに含む。第２の入力デバイスの作動に基づいて受信した信号、および変化がユーザの頭部の回転の動きを示すという決定に応じて、患者画像キャプチャデバイスを、ユーザの頭部の回転の動きに対応する様式で回転させる。
【００４３】
本開示の別の態様では、方法は、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が頭部のうなずきの動きを示しているかどうかを決定することと、変化がユーザの頭部のうなずきの動きを示すという決定に応じて、表示されたユーザインターフェースキューを、頭部のうなずきの動きに対応する方向に動かすことと、をさらに含む。本開示のさらに別の態様では、方法はまた、第２の入力デバイスの作動に基づいて信号を受信することと、第２の入力デバイスの作動に基づいて受信した信号、および変化がユーザの頭部のうなずきの動きを示すという決定に応じて、患者画像キャプチャデバイスの姿勢を、ユーザの頭部のうなずきの動きに対応する様式で調節することと、を含む。
【００４４】
本開示の別の態様では、方法は、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が頭部の傾きの動きを示しているかどうかを決定することと、変化がユーザの頭部の傾きの動きを示すという決定に応じて、表示されたユーザインターフェースキューを、頭部の傾きの動きに対応する方向において画像にわたって動かすことと、をさらに含む。本開示のさらに別の態様では、第２の入力デバイスの作動に基づいて信号が受信され、第２の入力デバイスの作動に基づいて受信した信号、および変化が、頭部の傾きの動きが左傾きの動きであることを示すという決定に応じて、患者画像キャプチャデバイスは、対応する左方向におけるパンの動きを実行する。第２の入力デバイスの作動に基づいて受信した信号、および変化が、頭部の傾きの動きが右傾きの動きであることを示すという決定に応じて、患者画像キャプチャデバイスは、対応する右方向におけるパンの動きを実行する。
【００４５】
本開示のさらに別の態様によれば、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、プロセッサに、ロボット外科システムを制御するための方法を実行させるその上に記憶された命令を含む。方法は、ロボット外科システムの第１の入力デバイスの作動に基づいて信号を受信することを含む。ロボット外科システムは、視野を有し、かつ手術部位の画像をキャプチャするように構成されている患者画像キャプチャデバイスを含み、コンソールは、手術部位の患者画像キャプチャデバイスからの画像を表示するためのディスプレイ、入力ハンドル、および１つ以上の入力デバイスを含む。１つ以上の入力デバイスのうちの第１の入力デバイスは、ロボット外科システムがターゲティングモードを開始または終了するための信号を提供するように構成されており、ユーザ画像キャプチャデバイスは、ユーザの画像をキャプチャするように構成されている。方法はまた、ユーザのキャプチャされた画像から、ユーザの頭部の位置を追跡することと、第１の入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、ターゲティングモードを開始させることと、を含む。ターゲティングモードは、ディスプレイ上に、ユーザインターフェースキューを表示させることと、ユーザの頭部の初期位置を検出することと、ユーザの頭部の初期位置から、ユーザの頭部の位置に変化が生じたかどうかを決定することと、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が速度変化であるかどうかを決定することと、を含む。変化が速度変化であるという決定に応じて、表示されたユーザインターフェースキューのサイズは、正の速度変化に対応するように増加するか、または表示されたユーザインターフェースキューのサイズは、負の速度変化に対応するように減少する。
【００４６】
本開示の別の態様では、方法は、第２の入力デバイスの作動に基づいて信号を受信することと、第２の入力デバイスの作動に基づいて受信した信号、および速度の変化が負の速度変化であるという決定に応じて、患者画像キャプチャデバイスに、初期の視野から、初期の視野よりも大きい第１の調節された視野に調節させることと、第２の入力デバイスの作動に基づいて受信した信号、および速度の変化が正の速度変化であるという決定に応じて、患者画像キャプチャデバイスに、初期の視野から、初期の視野よりも小さい第２の調節された視野に調節させることとをさらに含む。
【００４７】
本開示の別の態様では、方法は、ユーザの頭部の位置に変化が生じたという決定に応じて、変化がユーザの頭部の回転の動きを示しているかどうかを決定することと、変化がユーザの頭部の回転の動きを示すという決定に応じて、表示されたユーザインターフェースキューを、ユーザの頭部の回転の動きに対応する様式で回転させることと、をさらに含む。
【００４８】
本開示の別の態様では、方法は、第２の入力デバイスの作動に基づいて信号を受信することと、第２の入力デバイスの作動に基づいて受信した信号、および変化がユーザの頭部の回転の動きを示すという決定に応じて、患者画像キャプチャデバイスを、ユーザの頭部の回転の動きに対応する様式で回転させることと、をさらに含む。
【００４９】
本開示の別の態様では、方法は、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が頭部のうなずきの動きを示しているかどうかを決定することと、変化がユーザの頭部のうなずきの動きを示すという決定に応じて、表示されたユーザインターフェースキューを、頭部のうなずきの動きに対応する方向に動かすことと、をさらに含む。本開示のさらに別の態様では、方法は、第２の入力デバイスの作動に基づいて信号を受信することと、第２の入力デバイスの作動に基づいて受信した信号、および変化がユーザの頭部のうなずきの動きを示すという決定に応じて、患者画像キャプチャデバイスの姿勢を、ユーザの頭部のうなずきの動きに対応する様式で調節することと、をさらに含む。
【００５０】
本開示の別の態様では、方法は、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が頭部の傾きの動きを示しているかどうかを決定することと、変化がユーザの頭部の傾きの動きを示すという決定に応じて、表示されたユーザインターフェースキューを、頭部の傾きの動きに対応する方向において画像にわたって動かすことと、をさらに含む。本開示のさらに別の態様では、方法は、第２の入力デバイスの作動に基づいて信号を受信することをさらに含む。第２の入力デバイスの作動に基づいて受信した信号、および変化が、頭部の傾きの動きが左傾きの動きであることを示すという決定に応じて、患者画像キャプチャデバイスは、対応する左方向におけるパンの動きを実行し、第２の入力デバイスの作動に基づいて受信した信号、および変化が、頭部の傾きの動きが右傾きの動きであることを示すという決定に応じて、患者画像キャプチャデバイスは、対応する右方向におけるパンの動きを実行する。
【００５１】
本開示の別の態様によれば、ロボット外科システムは、手術器具を含むロボットアームと、手術部位の画像をキャプチャするように構成された患者画像キャプチャデバイスと、コンソールと、を含む。コンソールは、手術部位のキャプチャされた画像を表示するための、ディスプレイと、入力ハンドルと、作動され、かつ作動に基づいて、ロボット外科システムに運搬モードを開始または終了させるための信号を提供するように構成されている、第１の入力デバイスと、作動され、かつ作動に基づいて、ロボット外科システムにカメラ再配置モードを開始または終了させるための信号を提供するように構成されている、第２の入力デバイスと、を含む。コントローラは、ロボットアーム、患者画像キャプチャデバイス、およびコンソールに連結されている。コントローラは、プロセッサと、プロセッサに連結されたメモリと、を含む。メモリは、プロセッサによって実行されたときに、コントローラに、第１の入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに運搬モードを開始させること、を行わせる、その上に記憶された命令を有する。運搬モードは、一定期間にわたって、手術部位のキャプチャされた画像から初期の視野内の手術器具の位置を追跡することと、第１の時間での手術器具の追跡された位置を、第２の時間での初期の視野内の手術器具の追跡された位置と比較することと、第１の時間での追跡された位置と第２の時間での追跡された位置との間の距離が所定の閾値距離よりも大きいかどうかを決定することと、を含む。追跡された位置間の距離が所定の閾値距離よりも大きいという決定に応じて、第２の時間での手術器具の追跡された位置が患者画像キャプチャデバイスの初期の視野のエッジから所定の距離内にあるかどうかについての決定が行われる。第２の時間での追跡された位置が患者画像キャプチャデバイスの初期の視野のエッジから所定の距離内にないという決定に応じて、患者画像キャプチャデバイスの姿勢は、第２の時間での追跡された位置に対応するように調節され、第２の時間での追跡された位置が患者画像キャプチャデバイスの初期の視野のエッジから所定の距離内にあるという決定に応じて、患者画像キャプチャデバイスの初期の視野は、初期の視野よりも大きい調節された視野に拡大される。第２の入力デバイスの作動に基づいて受信した信号に応じて、ロボット外科システムに、カメラ再配置モードを開始させる。カメラ再配置モードは、入力ハンドルの作動と、ロボットアームの動きとの関連付けを解除することと、ユーザの頭部の位置を追跡することと、を含む。
【００５２】
本開示の別の態様では、ロボット外科システムは、ロボット外科システムに、ターゲティングモードを開始または終了させるための信号を提供するように構成されている、第３の入力デバイスをさらに含む。メモリは、プロセッサによって実行されたときに、コントローラに、カメラ再配置モードにあるときに、第３の入力デバイスの作動に基づいて信号を受信することと、第３の入力デバイスの作動に基づいて受信した信号に応じて、ターゲティングモードを開始させることと、を行わせる、その上に記憶されたさらなる命令を有する。ターゲティングモードは、ユーザのキャプチャされた画像から、ユーザの頭部の位置を追跡することと、ディスプレイ上に、ユーザインターフェースキューを表示させることと、ユーザの頭部の初期位置を検出することと、ユーザの頭部の初期位置から、ユーザの頭部の位置に変化が生じたかどうかを決定することと、ユーザの頭部の位置に変化が生じたという決定に応じて、変化が速度変化であるかどうかを決定することと、を含む。変化が速度変化であるという決定に応じて、表示されたユーザインターフェースキューのサイズは、正の速度変化に対応するように増加するか、または表示されたユーザインターフェースキューのサイズは、負の速度変化に対応するように減少する。
【００５３】
本開示の上記態様および実施形態のいずれも、本開示の範囲から逸脱することなく組み合わせることができる。
【図面の簡単な説明】
【００５４】
本開示の種々の態様および特徴は、図面を参照して、本明細書に後述される。
【００５５】
【図１】本開示の一実施形態による、ロボット外科システムの簡略図である。
【図２】本開示の実施形態による、図１のロボット外科システムのシステムアーキテクチャのブロック図である。
【図３】本開示の一実施形態による、ロボット外科システムの方法のフロー図である。
【図４】本開示の一実施形態による、図３の方法の実行中に選択された場合、運搬モードでロボット外科システムを操作する方法のフロー図である。
【図５】本開示の一実施形態による、図３の方法の実行中に選択された場合、カメラ再配置モードでロボット外科システムを操作する方法のフロー図である。
【図６】本開示の一実施形態による、図３の方法の実行中にターゲティングモードが選択されていない場合に、頭部追跡モードを実行する方法のフロー図である。
【図７】本開示の一実施形態による、図３の方法の実行中にターゲティングモードが選択された場合に、頭部追跡モードを実行する方法のフロー図である。
【発明を実施するための形態】
【００５６】
ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書に使用される際、「ユーザ」および「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。この説明全体を通して、「近位」という用語は、患者から最も離れたデバイスまたはその構成要素の部分を指し、「遠位」という用語は、患者に最も近いデバイスまたはその構成要素の部分を指す。
【００５７】
本開示は、ロボット外科システム、方法、およびユーザ体験およびユーザ制御を改善する様式でロボット外科システムを制御するためのコンピュータ可読媒体を対象とする。一実施形態では、ロボット外科システムは、単一または複数の入力デバイスを介してユーザが選択可能な１つ以上のモードで動作可能に構成されている。例えば、ロボット外科システムは、特定のモードをオンまたはオフにするために、単一の入力デバイスで、ユーザがシステムをオン位置とオフ位置との間で切り替えることができるように構成され得る。別の実施例では、システムは、複数のモードで動作するように構成されており、異なる入力デバイスは各々、異なるモードと関連付けられている。これに関して、一実施形態では、２つのモードが同時に動作する。別の実施形態では、システムが前提条件モードで動作していない限り、モードでの動作は、選択されない場合がある。ロボット外科システムは、運搬モード、カメラ再配置モード、および／またはターゲティングモードのうちの１つ以上で動作するように構成され得る。
【００５８】
運搬モードが選択されている場合、ユーザがモードを選択解除するまで、ユーザ入力なしで、患者画像キャプチャデバイスは手術部位の手術器具を追う。より詳細には、運搬モードの選択により、ロボット外科システムのコントローラは、手術部位に配置された患者画像キャプチャデバイスからキャプチャされた画像から手術器具の存在を検出することができる。検出された手術器具の動きは、キャプチャされた画像から追跡される。動きが所定の閾値距離より大きく、かつ動きが患者画像キャプチャデバイスの視野のエッジに近づいていないという決定に応じて、患者画像キャプチャデバイスは、検出された手術器具の動きに対応する様式で調節される。動きが所定の閾値距離よりも大きく、かつ動きが患者画像キャプチャデバイスの視野のエッジに近づいているという決定に応じて、患者画像キャプチャデバイス内のレンズの焦点距離が、調節されて（例えば、患者画像キャプチャデバイスがズームアウトするようにコマンドが提供される）、キャプチャされた画像が手術器具を引き続き含むように視野を拡大する。
【００５９】
カメラ再配置モードが選択されている場合、入力ハンドルへのユーザ入力が、ロボットアーム、したがって手術器具に変換されないようにする。結果として、ユーザは、ロボットアームおよび／または手術器具を再配置することなく、コンソールの入力ハンドルの位置を調節することができる。さらに、患者画像キャプチャデバイスの動きを駆動するために頭部追跡を使用して、患者画像キャプチャデバイスを再配置することができる。
【００６０】
カメラ再配置モードでは、ターゲティングモードを選択することができる。ターゲティングモードが選択されている場合、ユーザは頭部追跡中に患者画像キャプチャデバイスをより細かく制御することができる。例えば、ターゲティングモードにあるとき、システムは、例えば、画像上にユーザインターフェースキューまたはアイコンを重ね合わせることにより、患者画像キャプチャデバイスによってキャプチャされた画像と同時にユーザインターフェースキュー、アイコンなどを表示する。システムが、ユーザがユーザ画像キャプチャデバイスなどの固定された配置に近づいたり、または遠ざかったりすると決定した場合、表示されるユーザインターフェースのキューまたはアイコンのサイズが、それに応じて増減する。頭部の回転が検出された場合、表示されるユーザインターフェースのキューまたはアイコンは、それに応じて回転する。頭部の傾きが左または右のいずれかで検出された場合、表示されるユーザインターフェースのキューまたはアイコンは、それに応じて左または右に移動する。頭部のうなずきが検出された場合、表示されるユーザインターフェースのキューまたはアイコンは、それに応じてディスプレイ上で上または下に移動する。ユーザの頭部の追跡された動きのうちの１つ以上と同時に、またはその後に、ユーザは、例えば、ボタンを介してロボット外科システムの入力デバイスを作動させ、そのことはユーザの頭部の追跡された動きに従って、患者画像キャプチャデバイスを移動させる信号を提供する。別の実施形態では、ロボット外科システムは、手術部位内の患者画像キャプチャデバイスの元の配置を決定し、次いで保存し、ユーザは、異なる入力デバイスを使用して、患者画像キャプチャデバイスを元の配置に戻す選択を行うことができる。
【００６１】
図１を参照すると、本開示の実施形態に従って、以下により詳細に説明されるモードのうちの１つ以上が実装され得るロボット外科システム１００が提供されている。ロボット外科システム１００は、一般に、手術ロボット１０と、ロボットベース１８と、複数の画像キャプチャデバイス４８、５０、５２と、コンソール４０と、コントローラ３０と、を含む。手術ロボット１０は、リンケージの形態であり得る、１つ以上のロボットアーム２０ａ、２０ｂ、２０ｃを有する。一実施形態では、ロボットアーム２０ａ、２０ｂ、２０ｃのうちの１つ以上、例えば、アーム２０ｂは、その遠位端部２２に交換可能に固定された手術器具１６を有してもよい。別の実施形態では、ロボットアーム２０ａ、２０ｂ、２０ｃのうちの１つ以上は、それに取り付けられた画像キャプチャデバイス５０、５２を有してもよい。例えば、ロボットアーム２０ａは、患者画像キャプチャデバイス５２を含むことができ、かつ／またはロボットアーム２０ｃは、画像キャプチャデバイス５０を含むことができる。ロボットアーム２０ａ、２０ｂ、２０ｃの各々は、患者「Ｐ」の周りの手術部位「Ｓ」の周りを移動可能である。
【００６２】
各コンソール４０は、コントローラ３０を介してロボットベース１８と通信し、画像を表示するように構成された表示デバイス４４を含む。単一のロボットベース１８が示されているが、他の実施形態では、アーム２０ａ、２０ｂ、２０ｃの各々は、対応するベースを有する。一実施形態によれば、表示デバイス４４は、手術部位「Ｓ」の３次元画像を表示し、３次元画像は、撮像デバイス（以下で、患者画像キャプチャデバイス５０とも称される）によりキャプチャされたデータを含み、かつ／または手術現場の周りに位置付けられた撮像デバイス（図示せず）（例えば、手術部位「Ｓ」内に位置付けられた撮像デバイス、患者「Ｐ」に隣接して位置付けられた撮像デバイス、または撮像アーム２０ｃの遠位端部に位置付けられた撮像デバイス５２）によりキャプチャされたデータを含むことができる。撮像デバイス（例えば、撮像デバイス５０、５２）は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像をキャプチャすることができ、カメラまたは内視鏡などであってもよい。撮像デバイス５０、５２は、キャプチャされた撮像データをコントローラ３０に送信し、コントローラ３０は、撮像データからリアルタイムで手術部位「Ｓ」の３次元画像を作成し、その３次元画像を表示するために表示デバイス４４に送信する。別の実施形態では、表示された画像は、撮像デバイス５０、５２によってキャプチャされたデータの２次元レンダリングである。
【００６３】
コンソール４０は、臨床医がロボットシステム１０（例えば、アーム２０ａ、２０ｂ、２０ｃ、アーム２０ａ、２０ｂ、２０ｃの端部２２ａ、２２ｂ、２２ｃ、および／または手術器具１６）を操作することを可能にする入力ハンドル４３および入力デバイス４２を含む。入力ハンドル４３および入力デバイス４２の各々は、コントローラ３０と通信して、制御信号をコントローラ３０に送信し、フィードバック信号をコントローラ３０から受信する。追加的または代替的に、入力ハンドル４３の各々は、外科医がアーム２０ａ、２０ｂ、２０ｃの端部２２ａ、２２ｂ、２２ｃで支持された手術器具１６を操縦（例えば、クランプ、把持、発射、開放、閉鎖、回転、スラスト、スライスなど）することをできるようにする、制御インターフェース（図示せず）を含み得る。
【００６４】
一実施形態では、入力ハンドル４３は、手術部位「Ｓ」内でアーム２０ａ、２０ｂ、２０ｃの端部２２ａ、２２ｂ、２２ｃを移動させるために、所定の作業空間を通して移動可能である。ワークスペースは図１では２次元で示されているが、ワークスペースは３次元ワークスペースであることが理解されよう。表示デバイス４４上の３次元画像は、入力ハンドル４３の移動により、アーム２０ａ、２０ｂ、２０ｃの端部２２ａ、２２ｂ、２２ｃが表示デバイス４４上で見られるように移動するように配向される。表示デバイス４４上の３次元画像の配向は、患者「Ｐ」の上方からの視界に対して鏡映または回転させることができることが理解されよう。加えて、表示デバイス４４上の３次元画像のサイズは、臨床医が手術部位「Ｓ」内の構造をよりよく見ることができるように、手術部位の実際の構造よりも大きくまたは小さくスケーリングされ得ることを認識するであろう。入力ハンドル４３が動かされると、手術器具１６は、後述するように、手術部位「Ｓ」内を動く。手術器具１６の移動はまた、手術器具１６を支持するアーム２０ａ、２０ｂ、２０ｃの端部２２ａ、２２ｂ、２２ｃの移動を含み得る。ハンドルとして図示されているが、入力ハンドル４３は、クラッチスイッチを含み、および／またはジンバルおよびジョイントを含むことができる。
【００６５】
入力デバイス４２は、臨床医からの入力を受信するために使用される。単一の構成要素として描かれているが、複数の構成要素が、入力デバイス４２の部分として含まれていてもよい。例えば、コンソール４０の部分として複数の入力デバイス４２を含めることができ、各入力デバイス４２は、異なる目的に使用することができる。一実施例では、各入力デバイス４２は、ロボット外科システム１００が各々異なる動作モードを開始することができるように構成されてもよい。別の実施形態では、入力デバイス４２は、ユーザが、ドロップダウンメニュー、ポップアップウィンドウ、または任意のその他の表示機構などから、ディスプレイ４４（本明細書では「自動立体視ディスプレイ」または単に「ディスプレイ」とも称される）またはタッチスクリーン（含まれる場合）上に表示された選択を行えるように構成されている。別の実施形態では、入力デバイス４２は、ユーザが手術部位画像をズームインまたはズームアウトし、手術部位画像上の位置を選択するなどして、手術部位画像を操縦することを可能にするように構成されている。他の実施形態では、入力デバイス４２は、タッチパッド、ジョイスティック、キーボード、マウス、もしくは他のコンピュータアクセサリのうちの１つ以上のもの、および／またはフットスイッチ、ペダル、トラックボール、もしくは臨床医からの物理的な動きをコントローラ３０に送信される信号に変換するように構成された他の作動可能なデバイスを含み得る。
【００６６】
手術器具１６の移動は、入力ハンドル４３の移動に対してスケーリングされる。入力ハンドル４３を所定のワークスペース内で移動させたときに、入力ハンドル４３は、制御信号をコントローラ３０に送信する。コントローラ３０は、制御信号に応じて、制御信号を分析して手術器具１６を移動させる。コントローラ３０は、入力ハンドル４３の移動に応じて、スケーリングした制御信号をロボットベース１８に送信して、手術器具１６を移動させる。
【００６７】
一実施形態では、コンソール４０は、ユーザ（図１には示されていない）の１つ以上の画像または動画をキャプチャするためのユーザ画像キャプチャデバイス４８（一実施例では、１つ以上のカメラ）を含む。例えば、ユーザ画像キャプチャデバイス４８は、ユーザの静止画像、ユーザの動画などを周期的にキャプチャするように構成されてもよい。別の実施形態では、ユーザ画像キャプチャデバイス４８は、ユーザの目、顔、頭部または他の特徴（複数可）を追跡するために使用される。一実施形態では、ユーザ画像キャプチャデバイス４８は、視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像をキャプチャする。
【００６８】
ユーザ画像キャプチャデバイス４８は、ユーザ画像キャプチャデバイス４８とディスプレイ４４との間の位置関係が分かり、かつ様々な計算において、コントローラ３０に依存することができるように、ディスプレイ４４と一体化され、かつ／またはディスプレイ４４に位置的に固定され得る。ユーザの画像が処理されるときに検出され得るマーカー４７の形態で固定された位置を提供するために、ユーザによって装着されるウェアラブル４５の使用によって、追跡が強化され得る。ウェアラブル４５は、眼鏡、ヘッドバンド、ユーザ上の位置に配置された１組のステッカーなどとして提供されてもよい。別の実施例では、コントローラ３０は、例えば、ユーザの位置を取得するために、キャプチャ画像内のマーカー４７を検出し、かつマーカー４７の位置を決定する認識および追跡アルゴリズムを採用することにより、ユーザ画像キャプチャデバイス４８によりキャプチャされた画像を利用して、ユーザの位置を決定する。次に、コントローラ３０は、決定されたユーザの位置を、所定の位置基準と比較する。別の実施形態では、コントローラ３０は、ユーザの動きに基づいて制御信号をさらに提供し、それは、ユーザの動きが、ロボットアーム２０ａ、２０ｂ、２０ｃ、および／または患者画像キャプチャデバイス５０などのロボット外科システム１００の構成要素を操作するための追加の制御機構として機能することを可能にする。
【００６９】
図２は、図１のロボット外科システム１００の簡略ブロック図である。ロボット外科システム２００は、コントローラ２２０と、タワー２３０と、コンソール２４０と、を含む。コントローラ２２０は、コンソール２４０から受信された入力に応じて、タワー２３０と通信し、それにより動作の指示を提供するように構成されている。
【００７０】
コントローラ２３０は、概して、処理ユニット２２２と、メモリ２２４と、タワーインターフェース２２６と、コンソールインターフェース２２８と、を含む。処理ユニット２２２は、特にメモリ２２４内に記憶されたコンピュータプログラムによって、タワー２３０の構成要素に、コンソール２４０の入力デバイス２４２によって定義された移動によるアーム２３６ａ〜ｃの所望の移動を実行させるように機能する。これに関して、処理ユニット２２２は、１組の命令に従って、計算を実行し、および／または動作するように適合された任意の適切な論理制御回路を含む。処理ユニット２２２は、マイクロプロセッサタイプの処理デバイス、またはメモリ２２４内に記憶された命令を実行および／またはデータを処理することができる他の物理的なデバイスなどの、１つ以上の処理デバイスを含み得る。メモリ２２４は、一時的なタイプのメモリ（例えば、ＲＡＭ）および／または非一時的タイプのメモリ（例えば、フラッシュメディア、ディスクメディアなど）を含んでもよい。タワーインターフェース２２６およびコンソールインターフェース２２８は、それぞれ無線（例えば、Ｗｉ−Ｆｉ、ブルートゥース（登録商標）、ＬＴＥなど）および／または有線構成のいずれかを介して、タワー２３０およびコンソール２４０と通信する。別個のモジュールとして示されているが、インターフェース２２６、２２８は、他の実施形態では単一の構成要素であってもよい。
【００７１】
タワー２３０は、モータ機構２３４を操縦し、それにより、アーム２３６ａ〜ｃを移動させるために、通信および／またはタワーインターフェース２２６からのデータを受信するように構成された通信インターフェース２３２を含む。一実施形態に従って、モータ機構２３４は、処理ユニット２２２からの命令に応じて、アーム２３６ａ〜ｃに取り付けられたケーブル（図示せず）の機械的操縦のための電流の印加を受容して、アーム２３６ａ〜ｃのうちの選択された１つおよび／またはアーム２３６ａ〜ｃに連結された器具の所望の移動を行わせるように構成されている。タワー２３０はまた、手術部位のリアルタイム画像をキャプチャし、かつ通信インターフェース２３２を介してコントローラ２３０に画像を表すデータを送信する、画像デバイス２３８を含む。
【００７２】
タワー２３０のデバイスを操縦するために、各コンソール２４０は、入力デバイス２４２と、ディスプレイ２４４と、コンピュータ２４６と、を有する。入力デバイス２４２は、コンピュータ２４６に連結され、臨床医によって作動される。これに関して、入力デバイス２４２は、ハンドルもしくはペダル、またはキーボード、ジョイスティック、マウス、ボタン、タッチスクリーン、トラックボールもしくは他の構成要素などのコンピュータアクセサリのうちの１つ以上であってもよい。ディスプレイ２４４は、コントローラ２２０から受信した画像または他のデータを表示し、それによりデータを臨床医に伝達する。コンピュータ２４６は、タワー２３０の様々な構成要素、アルゴリズム、および／または動作に関するデータ、命令、および／または情報を含む処理ユニットおよびメモリを含み、任意の適切な電子サービス、データベース、プラットフォーム、クラウドなどを使用して操作され得る。
【００７３】
例えば、ウェアラブル２５０を使用して、コンソール２４０でのユーザの動きを追跡するために、画像キャプチャデバイス２４８がシステム２００の部分として含まれる。画像キャプチャデバイス２４８は、ユーザの画像および／または動画をキャプチャし、キャプチャされた画像および／または動画を表すデータをコントローラ２２０に送信し、コントローラ２２０は、ユーザの動きを追跡するために、キャプチャされた画像および／または動画を処理するように構成される。
【００７４】
上述のように、ロボット外科システム１００、２００は、運搬モード、カメラ再配置モード、および／またはターゲティングモードのうちの１つ以上で動作するように構成され得る。選択された場合、モードは、臨床医が手術処置中に使用されている手術器具の動きに画像キャプチャデバイス５０を自動的に追従させ、入力ハンドル４３の信号が、その作動に基づいて、ロボットアーム２０ａ〜ｃの動きに影響を及ぼさないようにすること、および／または頭部追跡機能をオンにすることを許可することのうちの１つ以上を提供するように構成されている。ロボット外科システム１００、２００を動作させる過程で、モードのうちの１つ以上を選択することができる。図３は、一実施形態による、運搬モード、カメラ再配置モードおよび／またはターゲティングモードのうちの１つ以上を開始するオプションを有する、ロボット外科システム１００、２００を操作するためのコンピュータ実装手順３００のフローチャートである。手順３００は、少なくとも部分的に、メモリ２２４（図２）に記憶された命令を実行する処理ユニット２２２によって実装され得る。さらに、図３の手順３００に示される特定の一連のステップは、限定ではなく、実施例として提供されている。したがって、手順３００のステップは、本開示の範囲から逸脱することなく、図３に示されるシーケンス以外のシーケンスで実行されてもよい。さらに、図３の手順３００に示されるいくつかのステップは、互いに対して順次に実行されるのではなく、互いに対して同時に実行されてもよい。
【００７５】
最初の問題として、臨床医は、電源スイッチをオンにするなどの適切なアクションを提供することにより、外科医コンソール４０から手術ロボット１０を起動することができ、「電源オン」信号をコントローラ３０に送信することができる。一実施形態では、臨床医は、選択されたロボットアーム２０ａ、２０ｂ、または２０ｃの手術部位「Ｓ」への配置のために、ロボットアーム２０ａ、２０ｂ、または２０ｃのうちの１つを選択および操縦するために作動に基づいて信号を提供する、入力ハンドル４３および／または入力デバイス４２を作動させる。ロボットアーム２０ａ、２０ｂ、または２０ｃのうちの少なくとも１つは、患者画像キャプチャデバイス５０を含む。手術器具１６が患者画像キャプチャデバイス５０のロボットアームとは別個のロボットアーム２０ａ、２０ｂ、または２０ｃのうちの１つにある実施形態では、臨床医は、他のロボットアーム２０ａ、２０ｂ、または２０ｃを選択し、手術部位「Ｓ」への配置のために他の選択されたロボットアーム２０ａ、２０ｂ、または２０ｃを操縦するために、作動に基づいて追加の信号を提供する、入力ハンドル４３および／または入力デバイス４２を作動させる。
【００７６】
ステップ３０２から始まり、手術部位「Ｓ」の画像が、連続的にキャプチャされる。これに関して、臨床医によって手術部位「Ｓ」内の所望の位置に配置された患者画像キャプチャデバイス５０は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／またはいくつかの他の既知のリアルタイム画像をキャプチャする。画像を表すデータは、コントローラ３０に送信され、コントローラ３０は、ディスプレイ４４にコマンドを提供して、ステップ３０４でキャプチャされた画像を表示させる。このようにして、キャプチャされた画像は、手術処置の実行中に、臨床医に手術部位「Ｓ」のリアルタイムビューを提供する。キャプチャされた画像は、組織および臨床医によって手術部位「Ｓ」に配置されたものなどの１つ以上の手術器具１６の画像を含み得る。
【００７７】
手術処置中のある時点で、臨床医は、様々なモードのうちの１つ以上を開始することを選択することができる。特に、ステップ３０６で、臨床医は、ステップ３０６で運搬モードを開始することを選択することができる。運搬モードを開始することは、入力デバイス４２のうちの１つの対応する作動に基づいて、対応する信号を提供することにより選択される。例えば、運搬モードを開始または終了するコマンドは、フットペダルのシングルタップが開始を引き起こし、および／またはフットペダルのダブルタップが終了を引き起こすように、フットペダルの作動と関連付けられてもよい。別の実施例では、運搬モードの開始または終了は、ボタン、グリッパー、または入力ハンドル４３上に、もしくはそれに隣接して配置された他の機構の持続的な押し下げ、または解放と関連付けられる。さらに別の実施形態では、運搬モードの開始または終了は、タップ、ドラッグ、またはトラックパッドを横切るその他の動きと関連付けられる。運搬モードを開始するための信号に応じて、手順３００は、図４に関連して以下により詳細に説明されるように、運搬モードで外科システム１０を制御するための方法を含むプロセス「Ａ」に進む。プロセス「Ａ」を実行した後、手順３００はステップ３１６に続き、そこで手術処置が完了したかどうかについての決定が行われる。そうである場合、手順３００は終了する。ステップ３１６で手術処置が完了していない場合、ステップ３０２で、手順３００が繰り返される。
【００７８】
しかしながら、運搬モードが選択されていない場合、例えば、運搬モードを開始することと関連付けられた信号が受信されていない場合、または運搬モードの選択解除を示す信号が受信された場合、手順３００は、ステップ３０８に進むことができ、その間、臨床医はカメラ再配置モードを開始することを選択することができる。カメラ再配置モードを開始することは、入力デバイス４２のうちの１つを作動させて、それにより、対応する信号を提供することによって選択される。カメラ再配置モードの開始または終了は、運搬モードを実装するために使用される構成とは異なる構成を使用して実装され得ることを理解されたい。例えば、フットペダルのタッピングが運搬モードの開始または終了と関連付けられる一実施形態では、入力ハンドル４３のボタンの押下／解放は、カメラ再配置モードの開始または終了と関連付けられてもよい。他の実施形態では、他の関連付けが採用されてもよい。
【００７９】
カメラ再配置モードを開始することが選択されていない場合、例えば、カメラ再配置モードを開始することと関連付けられた信号が受信されていない場合、またはカメラ再配置モードの選択解除を示す信号が受信されている場合、ステップ３１０で、患者画像キャプチャデバイス５０は静止したままである。さらに、患者画像キャプチャデバイス５０は、手順３００の実行前に配置された位置と同じ位置を維持するので、入力ハンドル４３のうちの１つ以上が作動して、ステップ３１２で、手術部位「Ｓ」において手術器具１６を動かす信号を提供し、ステップ３１４で、信号はコントローラ３０により変換され、それにより手術器具１６の動きがもたらされ得る。ステップ３１６で、手術処置が完了しているかどうかに関する決定が行われる。そうである場合、手順３００は終了する。ステップ３１６で手術処置が完了していない場合、ステップ３０２で、手順３００が繰り返される。
【００８０】
ステップ３０８に戻って、カメラ再配置モードを開始することが選択された場合、手順３００は、図５を参照して以下で説明するように、カメラ再配置モードにおいてロボット外科システムを制御するためのステップを含む処理「Ｂ」を続ける。カメラ再配置モードにある間、ステップ３１８で、ターゲティングモードを開始するための選択を行うことができる。ターゲティングモードを開始することは、入力デバイス４２のうちの１つの対応する作動を提供することにより選択される。他のモードと同様に、ターゲティングモードの開始または終了は、運搬モードおよびカメラ再配置モードを実装するために使用される構成とは異なる構成を使用して実装されることを理解されたい。ターゲティングが選択されていない場合、手順３００は、図６の処理「Ｃ」に進む。選択された場合、手順は、図７の処理「Ｄ」を続ける。ターゲティングモードを開始することが選択されたかどうかにかかわらず、各場合において、ステップ３１６で手術処置が完了したかどうかに関する決定が行われる。そうである場合、手順３００は終了する。ステップ３１６で手術処置が完了していない場合、ステップ３０２で、手順３００が繰り返される。
【００８１】
ここで図４を参照すると、運搬モードにあるときにロボット外科システムを制御するためのコンピュータ実施手順４００のフローチャートが提供されている。上記で簡単に述べたように、運搬モードにある間、画像キャプチャデバイス５０は、手術部位「Ｓ」内で動かされるときに手術器具を「追跡」する。手順４００は、メモリ２２４（図２）に記憶された命令を処理ユニット２２２が実行することによって、少なくとも部分的に実装され得る。さらに、図４の手順４００に示される特定の一連のステップは、限定ではなく、実施例として提供されている。したがって、手順４００のステップは、本開示の範囲から逸脱することなく、図４に示されるシーケンス以外のシーケンスで実行されてもよい。さらに、図４の手順４００に示されるいくつかのステップは、互いに対して順次に実行されるのではなく、互いに対して同時に実行されてもよい。
【００８２】
ステップ４０２で始まり、入力デバイスの作動に基づく信号が受信されて、手術器具１６を動かす。例えば、臨床医は、入力ハンドル４３を操縦して、その操縦に基づいて信号を提供し、手術器具１６のうちの選択された１つを動かす。受信された信号に応じて、コントローラ３０は、対応するロボットアーム２０ａ、２０ｂ、２０ｃにコマンドを提供して、選択された手術器具１６を対応する方法で動かす。ステップ４０４では、ロボットアーム２０ａ、２０ｂ、２０ｃの動きと実質的に同時に、手術器具１６が、ステップ３０２でキャプチャされた画像で検出される。例えば、手術器具１６の動きは、コントローラ３０などによって検出された、手術部位「Ｓ」でキャプチャされた画像から検出される。
【００８３】
手術器具１６の動きが患者画像キャプチャデバイス５０の調節を正当化するかどうかを決定するために、ステップ４０６で、手術器具が患者画像キャプチャデバイス５０の視野内にあるかどうかについての決定が行われる。特に、患者画像キャプチャデバイス５０によりキャプチャされた画像は、光学的または画像認識により処理されて、画像内で手術器具１６を見つけることができるかどうかを識別する。手術器具１６がキャプチャ画像内で検出される場合、コントローラ３０は、ステップ４１０で、手術器具１６が画像内で動いているかどうかを決定するために、患者画像キャプチャデバイス５０にコマンドを提供する。例えば、コントローラ３０は、経時的に画像を分析し、キャプチャされた画像を連続的に比較して、手術器具１６が画像内で動いたかどうかを評価する。そうである場合、患者画像キャプチャデバイス５０は、ステップ４１２でその姿勢を調節する。例えば、患者画像キャプチャデバイス５０は、手術器具１６の動きに対応する方向に回転するか、または患者画像キャプチャデバイス５０がその視野を手術器具１６の所定の位置もしくは特定の識別子１６上にセンタリングすることができるようにする位置に移動することによって、その姿勢を調節する。手術部位「Ｓ」に複数の手術器具１６が存在する実施形態では、患者画像キャプチャデバイス５０の姿勢の調節は、手術部位「Ｓ」における手術器具１６のうちの１つ以上の位置に依存し得、また手術器具１６のうちの指定された１つに患者画像キャプチャデバイス５０の視野をセンタリングすること、全ての手術器具１６の平均位置で患者画像撮影デバイス５０の視野をセンタリングすること、または手術器具１６の重み付けに応じた位置に患者画像キャプチャデバイス５０の視野をセンタリングすることによって、実装され得る。次に、方法４００はステップ４２０に進み、その間、手順が完了したかどうかについての決定が行われる。手順が完了していない場合、ステップ４０２で、方法４００が繰り返される。手順が完了すると、方法４００は終了する。
【００８４】
ステップ４１０で、手術器具１６が画像内で動いていない場合、方法４００は、ステップ４２０に進み、その間、手順が完了したかどうかについての決定が行われる。手順が完了していない場合、ステップ４０２で、方法４００が繰り返される。手順が完了すると、方法４００は終了する。
【００８５】
ステップ４０６に戻って、手術器具１６が患者画像キャプチャデバイス５０の視野外にあるという決定がなされた場合、コントローラ３０は、ステップ４０８で、その焦点距離を減少させるためにコマンドを患者画像キャプチャデバイス５０に提供し、それにより、手術器具１６が視野内に入るまで、倍率を下げ、手術部位「Ｓ」のズームアウトされたビューを提供する。いずれの場合でも、方法４００はステップ４２０に進み、その間、手順が完了したかどうかについての決定が行われる。手順が完了していない場合、ステップ４０２で、方法４００が繰り返される。手順が完了すると、方法４００は終了する。
【００８６】
運搬モードには、以下の追加的な機能が含まれるが、これらに限定されないことが想定される。
入力としてマスターハンドルの動き、または命令された器具の動きの使用、画像処理から器具の実際の位置は測定されず、ここで、システムは運動学による器具の相対的な動きを知っているため、画像処理は必ずしも必要でない。
フィルタリングスキームの使用。
器具の動きからカメラの動きへの非線形マッピングの使用。
２つの（２）器具の動きのマッピングの使用、例えば、両方の器具の重心に基づいてカメラを動かす、または一方もしくは他方の器具だけを追跡する、またはその両方の任意の組み合わせを行う。
パン対ズームの異なるマッピングの使用。
外科医が選択することができる複数のタイプの運搬モードの使用（例えば、異なるスケーリング係数、フィルタ、Ｒ／Ｌ手路など）。および／または
運搬モードを切り替えるためのハンドルボタンまたはペダルの使用。
【００８７】
上記で簡単に述べたように、運搬モードが選択されていない場合に、臨床医は、カメラ再配置モードを開始することを選択してもよい。カメラ再配置モードにより、臨床医は、手術器具１６の動きに影響を与えることなく、または最小限の影響しか与えずに、入力ハンドル４３を動かすことができる。このようなオプションは、臨床医が入力ハンドル４３を作動させると、その作動により、入力ハンドル４３が外科医コンソール４０内の中立位置を離れる可能性があるので望ましい場合がある。入力ハンドル４３の運動器具１６に対する動きの比率は一般に小さいため、入力ハンドル４３の大きな動きは、外科器具１６の小さな動きをもたらす。しかしながら、入力ハンドル４３が中立位置からさらに延長されると、臨床医が入力ハンドル４３を操縦することはより難しくなり、かつより厄介になる。したがって、臨床医は、随時、入力ハンドル４３の位置決めをより集中化された位置にリセットして、手順の実行を継続する。
【００８８】
図５を参照すると、別の実施形態による、ロボット外科システム１０を操作するためのコンピュータ実装手順５００のフローチャートが提供されている。手順５００は、少なくとも部分的に、メモリ２２４（図２）に記憶された命令を実行する処理ユニット２２２によって実装され得る。さらに、図５の手順５００に示される特定の一連のステップは、限定ではなく、実施例として提供されている。したがって、手順５００のステップは、本開示の範囲から逸脱することなく、図５に示されるシーケンス以外のシーケンスで実行されてもよい。さらに、図５の手順５００に示されるいくつかのステップは、互いに対して順次に実行されるのではなく、互いに対して同時に実行されてもよい。
【００８９】
ステップ５０２で、受信したモード選択に応じて、入力ハンドル４３の作動をロボットアーム２０ａ、２０ｂ、２０ｃの動きから関連付け解除するためのコマンドが提供される。選択は、例えば、フットペダルを介するなど、入力デバイス４２のうちの１つを作動させることにより受信されてもよい。一実施形態では、フットペダルが押し下げられたことを示す作動に基づいて受信される信号、またはフットペダルが解放されたことを示す作動に基づいて受信される信号は、コントローラ３０によって受信され得る。一実施形態によれば、コントローラ３０は、受信したモード選択に応じて、関連付け解除コマンドを提供し、ロボットアーム２０ａ、２０ｂ、２０ｃの動きから入力ハンドル４３の作動を関連付け解除するためのプロトコルを開始する。一実施形態において、入力ハンドル４３の動きと関連付けられたギアは回転し続けるが、ロボットアーム２０ａ、２０ｂ、２０ｃの動きと関連付けられたギアに接触または係合しないように、ギアの位置を変更することによって、モータ１８内のギアの関連付けを解除するコマンドを提供することにより、関連付けが解除される。別の実施形態では、入力ハンドル４３での受信された入力から生じる信号は、コントローラ３０によって受信されるが、ロボットアーム２０ａ、２０ｂ、２０ｃに送達されず、それにより、受信された入力にもかかわらずロボットアーム２０ａ、２０ｂ、２０ｃの動きを防止する。
【００９０】
ステップ５０４に加えて、またはその代替として、受信したモード選択に応じて、入力ハンドル４３の動きとロボットアーム２０ａ、２０ｂ、２０ｃおよび／または手術器具１６の動きとの間のスケーリング係数を調節するためのコマンドが提供される。例えば、臨床医が入力ハンドル４３を作動させたときに、その作動に基づいて、信号がコントローラ３０によって運動に変換される。入力ハンドル４３のジョイント角度は、信号から測定されて、信号の運動学を取得することを可能にし、入力ハンドル４３の姿勢に基づいて、スケーリングおよびクラッチングが、入力ハンドル４３の姿勢に適用されて、ロボットアーム２０ａ、２０ｂ、２０ｃおよび／または手術器具１６の所望の姿勢を出力する。一実施例では、通常の動作中、入力ハンドル４３の動きとロボットアームおよび／または器具の動きとの間のスケーリング係数は、１０：１であり得る（例えば、入力ハンドル４３の１０ｍｍの動きは、ロボットアーム、ロボットアームおよび／または器具の１ｍｍの動きを引き起こす）。ステップ５０４の結果としてスケーリング係数が調節される場合、スケーリング係数は、ロボットアームおよび／または器具の動きをもたらすために入力ハンドル４３のより大きな動きが必要とされるように調節され得る（例えば、入力ハンドル３４の１０ｍｍの動きは、ロボットアームおよび／または器具の０．０００１ｍｍの動きを引き起こす。）その結果、ロボットアーム２０および従って手術器具１６は、入力ハンドル４３の作動に応じてほとんど感知できない量で動き、それにより、臨床医は、入力ハンドル４３を動かして、入力ハンドル４３をより快適な位置により簡単に動かすことができる。
【００９１】
ステップ５０４および５０６に加えて、またはその代替として、受信したモード選択に応じて、ステップ５０８で、トルクフィードバックが供給される。例えば、臨床医が入力ハンドル４３を作動させたときに、その作動に基づいて、信号がコントローラ３０によって運動に変換される。入力ハンドル４３のジョイント角度は、信号から測定されて、入力の運動学を取得することを可能にし、入力ハンドル４３の姿勢に基づいて、必要に応じて、スケーリングおよびクラッチングが入力ハンドル４３の姿勢に適用されて、ロボットアームおよび／または器具の所望の姿勢を出力する。力／トルクフィードバックレンチは、ロボットアームおよび／または器具によって出力される実際のスレーブジョイント角度に基づいて計算される。スレーブジョイントの制限、速度制限、および衝突の力／トルクフィードバックは、メモリに記憶され、したがって、専門の臨床医の好みに応じて専門の臨床医によって事前に設定され得、または工場でインストールされたパラメータとして含まれ得る。力／トルクコマンド（Ｆ／Ｔレンチ）出力は、転置ヤコビアン関数を使用して処理されて、入力デバイスで必要なジョイントトルクを計算し、それにより、所望のスレーブレンチコマンドを出力し、次に、必要な入力デバイスのジョイントトルクは、保持／再配置モード、ならびに受信したモードの選択、および重力および摩擦の補償（必要な場合）に応じて提供される所定の値であり得る、動作制限の範囲に必要なジョイントトルクと組み合わされる。いずれの場合でも、組み合わせの結果として、入力ハンドル４３のジョイントトルクが得られ、かつ臨床医がハンドル４３を作動するときに考慮され、その結果、追加の動きが受信されると、コントローラ３０は、入力力に等しくかつ反対の力をモータに出力させ、それにより、臨床医による入力ハンドル４３の作動にもかかわらず、ロボットアームおよび／または器具の動きを相殺する。
【００９２】
関連付け解除ステップのうちの１つ以上の実行に加えて、手順５００は、ステップ５０８でユーザの頭部を追跡することを含む。一実施形態では、ユーザの頭部は、ユーザおよびマーカー２７に向けられ、かつそれらの画像をキャプチャする、ユーザ画像キャプチャデバイス４８を介して追跡される。具体的には、ユーザのキャプチャされた画像は、コントローラ３０によって処理され、マーカー２７は、キャプチャされた画像から分離され、かつ経時的に追跡され得る。例えば、マーカー２７は、１つ以上の赤外線インジケーターを画像化し、かつコントローラ３０に画像データを提供する、ユーザ画像キャプチャデバイス４８により知覚可能な１つ以上の赤外線マーカー（図示せず）を含む。コントローラ３０は、ユーザ画像キャプチャデバイス４８によって提供された画像を処理し、かつ２次元平面内の１つ以上の赤外線マーカーの位置を決定する。ユーザの頭部の動きは、１つ以上の赤外線マーカーの位置の経時的な変化を処理することによって検出される。例えば、ロボットシステム１００を操作する臨床医の頭部に取り付けられたウェアラブル４５上の１つ以上のマーカー２７の動きを追跡することにより、コントローラ３０は、ユーザの頭部の動きを追跡する。
【００９３】
ステップ５０８の頭部追跡中に検出された頭部の動きは、システム１００に信号を提供するために使用され得、それを受信すると、コントローラ３０は、患者画像キャプチャデバイス５０にコマンドを提供して、その姿勢を変更し、かつ／またはズームインもしくはズームアウトして、ディスプレイ４４上に表示するための所望の画像をキャプチャする。例えば、ターゲティングモードが選択されていない一実施形態では、追跡された頭部の動きを使用して、患者画像キャプチャデバイス５０の動きを直接的に駆動する。一実施形態による、ターゲティングモードにないときにロボット外科システムを制御するためのコンピュータ実装手順６００の一実施例を図６に提供する。手順６００は、少なくとも部分的に、メモリ２２４（図２）に記憶された命令を実行する処理ユニット２２２によって実装され得る。さらに、図６の手順６００に示される特定の一連のステップは、限定ではなく、実施例として提供されている。したがって、手順６００のステップは、本開示の範囲から逸脱することなく、図６に示されるシーケンス以外のシーケンスで実行されてもよい。さらに、図６の手順６００に示されるいくつかのステップは、互いに対して順次に実行されるのではなく、互いに対して同時に実行されてもよい。
【００９４】
一実施形態では、ステップ６０２で、頭部位置が検出される。頭部位置は、ステップ５０８（図５）の頭部追跡からのユーザのキャプチャされた画像から決定され、図５のステップ５０８に関して上述したもののうちの１つと同様の様式で実行される。一実施形態では、初期頭部位置が検出される。
【００９５】
次に、ステップ６０４で、ユーザの頭部位置が変化したかどうかについての決定が行われる。より具体的には、画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、画像を連続的に処理して、マーカー２７を検出し、一定の時間にわたってマーカー２７の位置を決定し、かつ一定の期間にわたって検出されたマーカー２７の重心を計算する。重心の位置が変化していない場合、手順はステップ６３０に続き、そこで手術処置が完了したかどうかについての決定が行われる。そうである場合、手順６００は終了する。そうでない場合、ステップ６０２で、手順６００が繰り返される。しかしながら、重心の位置が変化すると、ユーザの頭部の位置が変化したという決定がなされる。位置の検出された変化に応じて、ステップ６０６で、頭部位置の変化が速度変化であるかどうかに関する決定が行われる。そうである場合、次に、ステップ６０８で、速度が正の変化を含むか負の変化を含むかについての決定が行われる。
【００９６】
速度が正の変化を示す場合、臨床医の頭部がユーザ画像キャプチャデバイス４８に向かって前方に動いているという決定が行われ、ステップ６１２で、コントローラ３０は、患者画像キャプチャデバイス５０にコマンドを提供し、それに応じて手術部位「Ｓ」のキャプチャされた画像を拡大する。同様に、速度が負の変化を示す場合、臨床医の頭部がユーザ画像キャプチャデバイス４８から逆方向に動いているという決定が行われ、ステップ６１４で、コントローラ３０は、コマンドを患者画像キャプチャデバイス５０に提供し、それに応じて手術部位「Ｓ」からキャプチャされた画像をズームアウトする。一実施形態では、患者画像キャプチャデバイス５０内のレンズの焦点距離によってもたらされる倍率の量は、前方または後方方向の頭部の動きに正比例する。別の実施形態において、倍率の量は、前方または後方の方向への頭部の動きに対してスケーリングされる。
【００９７】
ステップ６１２および６１４の別の実施形態では、操作は、異なる様式で実装される。例えば、別の実施形態によれば、ディスプレイ４４の平面からのユーザの頭部位置の間の距離は、マーカー２７の速度および検出された位置から決定され、その距離は、手術部位「Ｓ」の画像のキャプチャにおける患者画像キャプチャデバイス５０によって使用される倍率を決定するために使用される。この実施形態では、メモリ２２４は、ディスプレイ４４からの頭部位置距離および対応する倍率量を含むデータベースを記憶することができ、その結果、コントローラ３０は、ステップ６０８の間に、ズームインするかズームアウトするかどうか（およびどれだけズームするかズームアウトするか）を決定する際にデータベースを参照することができる。別の実施形態では、キャプチャされた画像で検出されたマーカー２７のサイズは、ディスプレイ４４の平面からのユーザの頭部の位置の距離を決定するために使用される。したがって、マーカー２７が一定の期間にわたって次第にサイズが大きくなっているという検出に応じて、ユーザの頭部が前方方向に移動しているという決定がなされる。同様に、マーカー２７が一定の期間にわたって次第にサイズが小さくなっているという検出に応じて、ユーザの頭部が後方方向に移動しているという決定がなされる。ステップ６１２または６１４のいずれかの後、手順６００はステップ６１６に続く。さらに、ステップ６０６で速度変化が検出されない一実施形態では、手順６００はまた、ステップ６１６に続く。
【００９８】
ステップ６１６で、頭部の回転が検出されたかどうかに関する決定が行われる。頭部の回転は、右側で、臨床医の右耳を臨床医の右肩に近づけることによって、または左側で、臨床医の左耳を臨床医の左肩に近づけることによって、臨床医が行うことができる。一実施形態では、頭部の回転は、３０°の内視鏡などの角度の付いた首部を有する患者画像キャプチャデバイス５０を回転させるためのコマンドと関連付けられてもよい。一実施例では、画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、連続的に画像を処理して、マーカー２７を検出し、かつマーカー２７の位置を決定する。マーカー２７の位置に基づいて、コントローラ３０は、頭部の回転が検出されたかどうかを決定することができる。例えば、２つ以上のマーカーが含まれる一実施形態では、２つ以上のマーカーは、時計回りの動きで回転して、右側への頭部の回転を示すか、または反時計回りの動きで回転して、左側への頭部の回転を示す。頭部の回転の検出に応じて、コントローラ３０は、ステップ６１８で、同様に回転するように患者画像キャプチャデバイス５０にコマンドを提供する。特に、患者画像キャプチャデバイス５０は、右側で行われる頭部の回転に応じて時計回りの動きで回転されるか、または左側で行われる頭部の回転に応じて反時計回りの動きで回転される。患者画像キャプチャデバイス５０が回転する量は、正比例し、頭部の回転の動きに対してスケーリングされ、または他の数学的関数に基づいて回転されるような量であってもよい。方法６００は、ステップ６２０に進む。同様に、頭部の回転が検出されていない一実施形態では、手順６００はステップ６２０に続く。
【００９９】
ステップ６２０で、頭部のうなずきが検出されたかどうかに関する決定が行われる。頭部のうなずきは、臨床医のあごを上下方向に動かすことによって臨床医が実行し得る。一実施例では、画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、連続的に画像を処理して、マーカー２７を検出し、かつマーカー２７の位置を決定する。マーカー２７の位置に基づいて、コントローラ３０は、頭部のうなずきが検出されたかどうかを決定することができる。例えば、マーカー２７は、画像のｙ軸に沿って位置を変えることができ、それに応じて、コントローラ３０は、臨床医が頭部のうなずきを実行していると決定することができる。検出された頭部のうなずきに応じて、コントローラ３０は、ステップ６２２で、患者画像キャプチャデバイス５０に、対応する様式で手術部位「Ｓ」の視界を調節するためのコマンドを提供する。例えば、マーカー２７が画像のｙ軸に沿って上方に動いていると検出されたことに応じて、コントローラ３０は、同じ様式で患者画像キャプチャデバイス５０を動かすコマンドを提供する。方法６００は、ステップ６２４に進む。同様に、頭部のうなずきが検出されていない一実施形態では、手順６００はステップ６２４に続く。
【０１００】
ステップ６２４で、頭部の傾きが検出されたかどうかに関する決定が行われる。頭部を振る動作と同様に、臨床医は、臨床医の頭部を左または右のいずれかに動かすことにより、頭部の傾きを実行することができる。一実施例では、画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、連続的に画像を処理して、マーカー２７を検出し、かつマーカー２７の位置を決定する。マーカー２７の位置に基づいて、コントローラ３０は、頭部の傾きが検出されたかどうかを決定することができる。例えば、マーカー２７は、画像のｘ軸に沿って位置を変えることができ、それに応じて、コントローラ３０は、臨床医が頭部の傾きを実行していると決定することができる。検出された頭部の傾きに応じて、コントローラ３０は、ステップ６２６で、頭部の傾きの方向が右に向かっている場合は右にパンするように、またはステップ６２８で、頭部タイルの方向が左に向かっている場合は左にパンするように、患者画像キャプチャデバイス５０にコマンドを提供する。一実施形態では、ステップ６２６および６２８は、頭部位置の速度を患者画像キャプチャデバイス５０の速度にマッピングすることにより実施される。ステップ６２４に戻って、頭部の傾きが検出されなかった場合、手順はステップ６３０に続き、そこで手術処置が完了したかどうかについての決定が行われる。そうである場合、手順６００は終了する。そうでない場合、ステップ６０２で、手順６００が繰り返される。本明細書では、頭部の回転、傾き、およびうなずきについて詳細に説明したが、本開示によるシステムは、肩部に対する頭部の並進運動（例えば、肩部によって画定された軸に対して平行な軸に沿って頭部を左右にスライドさせる、または肩部によって画定された軸に対して垂直な軸に沿って頭部を上下／前後にスライドさせる）について適応し、かつ調節することができることがさらに想定される。
【０１０１】
ステップ５０８の頭部追跡中に検出された頭部の動きを使用する別の実施形態では、臨床医は、ターゲティングモードを開始することを選択することができる。上記で簡単に述べたように、ターゲティングモードにより、臨床医はディスプレイ４４上に表示されるユーザインターフェースキューまたはアイコンを駆動し、かつボタン、フットペダル、タッチパッドまたは他の入力デバイスの作動により選択を提供して、患者画像キャプチャデバイス５０の動きの要望を確認することを許可される。一実施形態による、ターゲティングモードにあるときにロボット外科システムを制御するためのコンピュータ実装手順７００の一実施例を図７に提供する。手順７００は、少なくとも部分的に、メモリ２２４（図２）に記憶された命令を実行する処理ユニット２２２によって実装され得る。さらに、図７の手順７００に示される特定の一連のステップは、限定ではなく、実施例として提供されている。したがって、手順７００のステップは、本開示の範囲から逸脱することなく、図７に示されるシーケンス以外のシーケンスで実行されてもよい。さらに、図７の手順７００に示されるいくつかのステップは、互いに対して順次に実行されるのではなく、互いに対して同時に実行されてもよい。
【０１０２】
一実施形態では、ステップ７０１で、ディスプレイ上にユーザインターフェースキューまたはアイコンが表示される。例えば、ユーザインターフェースキューまたはアイコンは、患者画像キャプチャデバイス５０によってキャプチャされた手術部位「Ｓ」の画像に重ねられ、かつ３角形、プリズム、または臨床医が見ると方向を示すことができる他の適切な表現などの、２次元または３次元の形状であってもよい。ユーザインターフェースキューまたはアイコンは、患者画像キャプチャデバイス５０の視野の中心を示すために画像の中心に表示されてもよい。ユーザインターフェースキューまたはアイコンの表示に加えて、ユーザの頭部の位置が、ステップ７０２で検出される。頭部位置は、ステップ５０８（図５）の頭部追跡からのユーザのキャプチャされた画像から決定され、図５のステップ５０８に関して上述したもののうちの１つと同様の様式で実行される。一実施形態では、初期頭部位置が検出される。任意選択で、ステップ７０３で、患者画像キャプチャデバイス５０の初期位置が取得される。取得された初期位置は、後で使用するためにメモリ２２４に記憶される。
【０１０３】
ステップ７０４で、ユーザの頭部位置が変化したかどうかについての決定が行われる。例えば、画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、画像を連続的に処理して、画像におけるマーカー２７を検出し、一定の時間にわたってマーカー２７の位置を決定し、かつ一定の期間にわたって検出されたマーカー２７の重心を計算する。重心の位置が変化していない場合、手順はステップ７３０に続き、そこで手術処置が完了したかどうかについての決定が行われる。そうである場合、手順７００は終了する。そうでない場合、手順７００はステップ７３２に進み、ここで作動に基づいて、患者画像キャプチャデバイス５０を初期位置に戻すための信号を受信したかどうかについての決定が行われる。そのため、コントローラ３０は、メモリ２２４から初期位置を取得し、ステップ７３４で、初期位置に戻るように患者画像キャプチャデバイス５０にコマンドを提供する。信号が受信されていない場合、手順７００はステップ７０２で繰り返される。
【０１０４】
重心の位置が変化した場合、ユーザの頭部の位置が変化したと決定され、それに応じて、ステップ７０６で頭部の位置の速度が変化したかどうかの決定が行われる。そうである場合、次に、ステップ７０８で、速度が正の変化を含むか負の変化を含むかについての決定が行われる。
【０１０５】
速度が、臨床医の頭部が前方方向に移動することと関連付けられた正の変化を示す一実施形態では、コントローラ３０は、ステップ７０９で、前方移動に対応する様式で、ユーザインターフェースキューまたはアイコンのサイズを増加させるコマンドを提供する。次いで、入力デバイス４２のうちの１つ以上の作動に基づいて、臨床医による確認を示す信号を受信したかどうかについての決定が行われ、それにより、ステップ７１０で、患者画像キャプチャデバイス５０に、手術部位「Ｓ」のキャプチャされた画像を対応して拡大させる。一実施形態では、臨床医は、例えば、ボタン、フットペダル、タッチスクリーンなどのユーザ入力デバイスを押下または解放する。別の実施形態では、コントローラ３０は、作動に基づいて、例えばタイマー満了によって確認信号が受信されたことを決定する。受信された信号に応じて、コントローラ３０は、ステップ７１１で、患者画像キャプチャデバイス５０に、手術部位「Ｓ」のキャプチャされた画像を対応して拡大またはズームするためのコマンドを提供する。同様に、臨床医の頭部が逆方向に動いていることを示す負の変化を速度が示す場合、コントローラ３０は、ステップ７１２で、後方移動に対応する様式で、ユーザインターフェースキューまたはアイコンのサイズを減少させるためのコマンドを患者画像キャプチャデバイス５０に提供する。臨床医による確認を示す信号を受信したかどうかについての決定が行われ、それにより、ステップ７１３で、患者画像キャプチャデバイス５０に、手術部位「Ｓ」のキャプチャされた画像を対応して縮小させる。受信された信号に応じて、コントローラ３０は、ステップ７１４で、患者画像キャプチャデバイス５０に、手術部位「Ｓ」から対応してズームアウトするためのコマンドを提供する。手順６００に関連して説明した実施形態と同様に、患者画像キャプチャデバイス５０内のレンズの焦点距離によってもたらされる倍率の量は、前方または後方方向の頭部の動きに正比例することができ、倍率の量は、前方または後方方向の頭部の動きなどに対してスケーリングされる。さらに、ステップ７１２および７１４は、それぞれ手順６００のステップ６１２および６１４に関して上述した様式と同様の様式で実装されてもよい。
【０１０６】
ステップ７１２または７１４のいずれかの後、手順７００はステップ７１５に続く。さらに、ステップ７０６で頭部位置の速度変化が検出されない一実施形態では、手順７００はまた、ステップ７１５に続く。
【０１０７】
ステップ７１５で、頭部の回転が検出されたかどうかに関する決定が行われる。画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、連続的に画像を処理して、マーカー２７を検出し、かつマーカー２７の位置を決定する。マーカー２７の位置に基づいて、コントローラ３０は、マーカー２７が右側への頭部の回転を示すように、時計回りに回転運動しているか、または左側への頭部の回転を示すように、反時計回りに回転運動しているかどうかを決定することにより、頭部の回転が検出されたかどうかを決定する。頭部の回転の検出に応じて、コントローラ３０は、ステップ７１６で、検出された頭部の回転に対応する様式で、ユーザインターフェースキューまたはアイコンを回転させるコマンドを提供する。一実施例では、マーカー２７が時計回りの動きで回転することに応じて、ディスプレイ４４上のユーザインターフェースキューまたはアイコンを時計回りの動きで回転させるコマンドが提供される。同様に、マーカー２７が反時計回りの動きで回転することに応じて、ディスプレイ４４上のユーザインターフェースキューまたはアイコンを反時計回りの動きで回転させるコマンドが提供される。
【０１０８】
臨床医による確認を示す信号を受信したかどうかについての決定が行われ、ステップ７１７で、それに応じて患者画像キャプチャデバイス５０を回転させる。確認信号を示す決定に応じて、コントローラ３０は、ステップ７１８で、同様に回転するように患者画像キャプチャデバイス５０にコマンドを提供する。特に、患者画像キャプチャデバイス５０は、右側の動きで行われる頭部の回転に応じて時計回りの動きで回転されるか、または左側の動きで行われる頭部の回転に応じて反時計回りの動きで回転される。方法７００は、ステップ７１９に進む。同様に、頭部の回転が検出されていない一実施形態では、手順７００はステップ７１９に続く。
【０１０９】
ステップ７１９で、頭部のうなずきが検出されたかどうかに関する決定が行われる。例えば、画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、連続的に画像を処理して、マーカー２７を検出し、かつマーカー２７の位置を決定する。マーカー２７の位置に基づいて、コントローラ３０は、マーカー２７が画像のｙ軸に沿って位置を変えたかどうかを決定することなどにより、頭部のうなずきが検出されたかどうかを決定することができる。頭部のうなずきの検出に応じて、コントローラ３０は、画像のｙ軸に沿ってなど、ステップ７２０で、頭部のうなずきに対応する様式でディスプレイ４４上のユーザインターフェースキューまたはアイコンを動かすコマンドを提供することができる。臨床医による確認を示す信号が受信されたかどうかについて決定が行われ、それにより、ステップ７２１で、頭部のうなずきの動きに対応する様式で患者画像キャプチャデバイス５０が動かされる。信号の受信に応じて、コントローラ３０は、ステップ７２２で、患者画像キャプチャデバイス５０に、対応する様式で手術部位「Ｓ」の視界を調節するためのコマンドを提供する。方法７００は、ステップ７２３に進む。頭部のうなずきが検出されていない一実施形態では、手順７００はステップ７２３に続く。
【０１１０】
ステップ７２３で、頭部の傾きが検出されたかどうかに関する決定が行われる。画像がユーザ画像キャプチャデバイス４８によって経時的にキャプチャされると、コントローラ３０は、連続的に画像を処理して、マーカー２７を検出し、かつマーカー２７の位置を決定する。例えば、画像のｘ軸に沿ったマーカー２７の位置に基づいて、コントローラ３０は、頭部の傾きが検出されたかどうかを決定することができる。検出された頭部の傾きに応じて、コントローラ３０は、ユーザインターフェースキューまたはアイコンを対応する様式で画像にわたって動かすコマンドを提供する。例えば、頭部の傾きが右に向かって検出されたことに応じて、コントローラ３０は、ステップ７２４で、画像にわたってユーザインターフェースキューまたはアイコンを右に動かすコマンドを提供する。臨床医による確認を示す信号が受信されたかどうかについて決定が行われ、それにより、ステップ７２５で、頭部の傾きに対応する様式で患者画像キャプチャデバイス５０が動かされる。受信した信号に応じて、コントローラ３０は、ステップ７２６で、患者画像キャプチャデバイス５０に、右にパンするコマンドを提供する。
【０１１１】
ステップ７２３に戻り、検出された頭部の傾きが左に向かっていることに応じて、コントローラ３０は、ステップ７２７で、画像にわたってユーザインターフェースキューまたはアイコンを左に動かすコマンドを提供する。臨床医による確認を示す信号が受信されたかどうかについて決定が行われ、それにより、ステップ７２８で、頭部の傾きに対応する様式で患者画像キャプチャデバイス５０が動かされる。受信した信号に応じて、コントローラ３０は、ステップ７２９で、患者画像キャプチャデバイスに、左にパンするコマンドを提供する。ステップ７２３に戻って、頭部の傾きが検出されなかった場合、手順はステップ７３０に続き、そこで手術処置が完了したかどうかについての決定が行われる。そうである場合、手順７００は終了する。そうでない場合、手順７００は、上述のようにステップ７３２に続く。
【０１１２】
本明細書で説明するシステムはまた、１つ以上のコントローラを利用して、様々な情報を受信し、受信した情報を変換して出力を生成することができる。コントローラは、メモリ内に記憶された一連の命令を実行することが可能な、任意のタイプのコンピューティングデバイス、演算回路、または任意のタイプのプロセッサまたは処理回路を含み得る。コントローラは、複数のプロセッサおよび／またはマルチコア中央処理装置（ＣＰＵ）を含んでもよく、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または同類のものなどの任意のタイプのプロセッサを含んでもよい。コントローラはまた、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに１つ以上の方法および／またはアルゴリズムを実行させるデータおよび／または命令を記憶するメモリも含んでもよい。
【０１１３】
本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれもが、プログラミング言語またはコンピュータプログラムに変換されるか、または表現されてもよい。「プログラミング言語」および「コンピュータプログラム」は、コンピュータへの命令を特定するために使用される任意の言語を含み、これらの言語およびその派生物は（限定されないが）Ａｓｓｅｍｂｌｅｒ、Ｂａｓｉｃ、Ｂａｔｃｈ  ｆｉｌｅｓ、ＢＣＰＬ、Ｃ、Ｃ＋、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｍａｃｈｉｎｅ  ｃｏｄｅ、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、Ｖｉｓｕａｌ  Ｂａｓｉｃ、プログラム自体を特定するメタ言語、および全ての第１、第２、第３、第４、第５世代、またはそれ以降のコンピュータ言語を含む。また、データベースおよび他のデータスキーマ、ならびに任意の他のメタ言語も含まれる。解釈され、コンパイルされ、またはコンパイルおよび解釈されたアプローチの両方を使用する言語間で、区別はなされない。プログラムのコンパイル済みバージョンとソースバージョンとの間でも、区別はなされない。このため、プログラミング言語が、プログラミング言語が複数の状態（ソース、コンパイル済み、オブジェクト、またはリンク等）で存在し得る、プログラムへの参照は、かかる状態のいずれか、および全てへの参照である。プログラムへの参照は、実際の命令および／またはそれらの命令の意図を包含し得る。
【０１１４】
本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれも、１つ以上の機械可読媒体またはメモリ上に収容され得る。「メモリ（ｍｅｍｏｒｙ）」という用語は、プロセッサ、コンピュータ、またはデジタル処理デバイス等の機械によって読み取り可能な形式で情報を提供（例えば、記憶および／または送信）する機構を含み得る。例えば、メモリは、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、または他の揮発性または不揮発性メモリ記憶デバイスを含み得る。収容されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表されることができる。
【０１１５】
本開示の幾つかの実施形態が図面に示されているが、本開示は当該技術分野が許容するのと同程度に広い範囲であるとされるべきであり、本明細書が同様に読み取られるべきであると意図されているので、本開示はこれらの実施形態に限定されることを意図していない。したがって、上記の説明は、限定として解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者は本明細書に添付される特許請求の範囲の範囲および主旨内での他の修正を想定するであろう。
【図１】
2020532404.tif 000003
【図２】
2020532404.tif 000004
【図３】
2020532404.tif 000005
【図４】
2020532404.tif 000006
【図５】
2020532404.tif 000007
【図６】
2020532404.tif 000008
【図７】
2020532404.tif 000009
【国際調査報告】
2020532404.tif 000010
2020532404.tif 000011