(57)【要約】  ロボットシステムによって実施される医療手術のためのナビゲーション方法は、ロボットシステムのプロセッサにおいて、少なくとも１組のナビゲーションデータを受信するステップと、ナビゲーションデータ内の仮想物体の少なくとも１つの３次元モデルを受信又は生成するステップと、仮想環境及び少なくとも１つのナビゲーション指示を生成するためにナビゲーションデータを計算するステップと、ロボットシステムに関連付けられたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、ロボットシステムのユーザに仮想環境及び／又はナビゲーション指示を提示するステップと、を含む。
2022500204.tif 000002
【特許請求の範囲】
【請求項１】
ロボットシステムによって実施される医療手術のためのナビゲーション方法であって、
前記ロボットシステムのプロセッサにおいて、少なくとも１組のナビゲーションデータを受信するステップであって、少なくとも１組の登録データを受信するステップと、少なくとも１組の器具データを受信するステップと、少なくとも１組の空間センサデータを受信するステップと、少なくとも１組の医療手術計画データを受信するステップとを備え、前記器具データは前記ロボットシステムの少なくとも１組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも１つの仮想物体を含む、受信するステップ（Ｓ１）と、
前記ロボットシステムの前記プロセッサにおいて、前記ナビゲーションデータ内の前記仮想物体の少なくとも１つの３次元モデルを受信又は生成するステップ（Ｓ２）と、
前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記ナビゲーションデータを処理するステップ（Ｓ３）と、
前記ロボットシステムの前記プロセッサにおいて、少なくとも１つのナビゲーション指示を生成するように前記ナビゲーションデータ及び前記仮想環境を処理するステップ（Ｓ４）と、
前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ（Ｓ５）と、を含む、
ナビゲーション方法。
【請求項２】
前記ステップ（Ｓ１）は、少なくとも１組の解剖学的データを受信するステップ（Ｓ１−１）をさらに含む、請求項１に記載のナビゲーション方法。
【請求項３】
前記ステップ（Ｓ１−１）は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも１組の内視鏡画像データを受信するステップをさらに含み、
ステップ（Ｓ５）は、内視鏡画像データを表示するステップをさらに含み、前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する、請求項２に記載のナビゲーション方法。
【請求項４】
前記仮想アクティブ空間は、第１の仮想アクティブ空間及び第２の仮想アクティブ空間をさらに含み、前記第１の仮想アクティブ空間のサイズ又は形状は、前記第２の仮想アクティブ空間のサイズ又は形状とは異なる、請求項１に記載のナビゲーション方法。
【請求項５】
前記ロボットシステムは、マニピュレータ又はツールを有する器具システムに電気的に接続され、前記第１の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの１つに関連付けられ、前記第２の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの１つに関連付けられる、請求項４に記載のナビゲーション方法。
【請求項６】
前記ステップ（Ｓ４）は、前記仮想環境内の少なくとも２つの仮想物体間の少なくとも１つの空間関係を決定するステップを含む、請求項１に記載のナビゲーション方法。
【請求項７】
前記少なくとも２つの仮想物体の第１の仮想物体は、前記器具データからの仮想作業空間又は仮想アクティブ空間であり、前記少なくとも２つの仮想物体の第２の仮想物体は、前記医療手術計画データからの仮想計画物体である、請求項６に記載のナビゲーション方法。
【請求項８】
前記少なくとも１つの空間関係は、少なくとも１つの補償評価を含み、前記補償評価は、前記医療手術データ及び前記仮想作業空間から、又は前記医療手術データ及び前記仮想アクティブ空間から計算される、請求項７に記載のナビゲーション方法。
【請求項９】
前記ステップ（Ｓ４）は、少なくとも１つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも１つの仮想計画物体属性を処理するステップを含む、請求項１に記載のナビゲーション方法。
【請求項１０】
前記ロボットシステムの少なくとも１つの機能を制御するための少なくとも１つの組の制御信号を生成するステップをさらに含む、請求項１に記載のナビゲーション方法。
【請求項１１】
前記制御信号は、第１の制御信号と第２の制御信号とを含み、前記第１の制御信号は、前記ナビゲーションデータの計算の第１の計算結果に基づいて生成され、前記第２のナビゲーション指示は、前記ナビゲーションデータの計算の第２の計算結果に基づいて生成される、請求項１０に記載のナビゲーション方法。
【請求項１２】
前記ステップ（Ｓ５）は、前記プロセッサに電気的に接続された表示装置上に３次元グラフィックスをレンダリングするステップを含み、
前記３次元グラフィックスは、前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を含む、請求項１に記載のナビゲーション方法。
【請求項１３】
前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる、請求項１２に記載のナビゲーション方法。
【請求項１４】
前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、
前記２次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記器具の方位、前記ナビゲーション指示、及び前記器具の有効な方位の範囲を表す、請求項１に記載のナビゲーション方法。
【請求項１５】
前記ナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される、請求項１に記載のナビゲーション方法。
【請求項１６】
前記ナビゲーション指示は、ツールの方向によって提示され、前記ツールは、前記ロボットシステムに電気的に接続されたマニピュレータに接続される、請求項１に記載のナビゲーション方法。
【請求項１７】
前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、
前記２次元アイコンは、作業空間プログレスバーを表す、請求項１に記載のナビゲーション方法。
【請求項１８】
医療手術を支援するためのロボットシステムであって、
ユーザインタフェースと、
前記ユーザインタフェースに電気的に接続されたコンピュータシステムと、を含み、
前記コンピュータシステムは、医療手術をナビゲートするためのプログラムを記憶する非一時的なコンピュータ可読媒体を備え、前記プログラムは、前記コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記プロセッサによって実行されると、前記ロボットシステムに以下のステップを実行させる命令を含み、
前記ステップは、
前記ロボットシステムのプロセッサにおいて、少なくとも１組のナビゲーションデータを受信するステップであって、少なくとも１組の登録データを受信するステップと、少なくとも１組の器具データを受信するステップと、少なくとも１組の空間センサデータを受信するステップと、少なくとも１組の医療手術計画データを受信するステップとを備え、前記器具データは前記ロボットシステムの少なくとも１組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも１つの仮想物体を含む、受信するステップ（Ｓ１）と、
前記ロボットシステムの前記プロセッサにおいて、前記ナビゲーションデータ内の前記仮想物体の少なくとも１つの３次元モデルを受信又は生成するステップ（Ｓ２）と、
前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記ナビゲーションデータを処理するステップ（Ｓ３）と、
前記ロボットシステムの前記プロセッサにおいて、少なくとも１つのナビゲーション指示を生成するように前記ナビゲーションデータ及び前記仮想環境を処理するステップ（Ｓ４）と、
前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ（Ｓ５）と、を含む、ロボットシステム。
【請求項１９】
前記ステップ（Ｓ１）は、少なくとも１組の解剖学的データを受信するステップ（Ｓ１−１）をさらに含む、請求項１８に記載のロボットシステム。
【請求項２０】
前記ステップ（Ｓ１−１）は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも１組の内視鏡画像データを受信するステップをさらに含み、
ステップ（Ｓ５）は、内視鏡画像データを表示するステップをさらに含み、表示された前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する、請求項１９に記載のロボットシステム。
【請求項２１】
前記仮想アクティブ空間は、第１の仮想アクティブ空間及び第２の仮想アクティブ空間を含み、前記第１の仮想アクティブ空間のサイズ又は形状は、前記第２の仮想アクティブ空間のサイズ又は形状とは異なる、請求項１８に記載のロボットシステム。
【請求項２２】
前記ロボットシステムは、マニピュレータ又はツールを有する器具システムに電気的に接続され、前記第１の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの１つに関連付けられ、前記第２の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの１つに関連付けられる、請求項２１に記載のロボットシステム。
【請求項２３】
前記ステップ（Ｓ４）は、前記仮想環境内の少なくとも２つの仮想物体間の少なくとも１つの空間関係を決定するステップを含む、請求項１８に記載のロボットシステム。
【請求項２４】
前記少なくとも２つの仮想物体の第１の仮想物体は、前記器具データからの仮想作業空間又は仮想アクティブ空間であり、前記少なくとも２つの仮想物体の第２の仮想物体は、前記医療手術計画データからの仮想計画物体である、請求項２３に記載のロボットシステム。
【請求項２５】
前記少なくとも１つの空間関係は、少なくとも１つの補償評価を含み、前記補償評価は、前記医療手術データ及び前記仮想作業空間から、又は前記医療手術データ及び前記仮想アクティブ空間から計算される、請求項２４に記載のロボットシステム。
【請求項２６】
前記ステップ（Ｓ４）は、少なくとも１つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも１つの仮想計画物体属性を処理するステップを含む、請求項１８に記載のロボットシステム。
【請求項２７】
前記ナビゲーション方法は、前記ロボットシステムの少なくとも１つの機能を制御するための少なくとも１つの組の制御信号を生成するステップをさらに含む、請求項１８に記載のロボットシステム。
【請求項２８】
前記制御信号は、第１の制御信号と第２の制御信号とを含み、前記第１の制御信号は、前記ナビゲーションデータの計算の第１の計算結果に基づいて生成され、前記第２のナビゲーション指示は、前記ナビゲーションデータの計算の第２の計算結果に基づいて生成される、請求項２７に記載のロボットシステム。
【請求項２９】
前記ステップ（Ｓ５）は、前記プロセッサに電気的に接続された表示装置上に３次元グラフィックスをレンダリングするステップを含み、
前記３次元グラフィックスは、前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を含む、請求項１８に記載のロボットシステム。
【請求項３０】
前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる、請求項２９に記載のロボットシステム。
【請求項３１】
前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、
前記２次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記ナビゲーション指示、及び前記器具の有効な方位の範囲を表す、請求項１８に記載のロボットシステム。
【請求項３２】
前記ナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される、請求項１８に記載のロボットシステム。
【請求項３３】
前記ナビゲーション指示は、ツールの方向によって提示され、前記ツールは、前記ロボットシステムに電気的に接続されたマニピュレータに接続される、請求項１８に記載のロボットシステム。
【請求項３４】
前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、
前記２次元アイコンは、作業空間プログレスバーを表す、請求項１８に記載のロボットシステム。
【請求項３５】
前記コンピュータシステムに電気的に接続され、ツールと前記ツールに接続されるマニピュレータとを備える器具システムをさらに含む、請求項１８に記載のロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はロボットシステムに関し、より詳細には、ロボットシステムによって実行されるコンピュータ支援手術において、ユーザにナビゲーション指示を提供するための方法に関する。
【背景技術】
【０００２】
多くの医療手術（例えば、外科手術）は、外科医の側で高い手動精度を必要とする。例えば、外科的整形外科手術では、特定のインプラントを骨に適合させるため、又は骨を成形して所望の幾何学的プロファイルを作成するために、外科医が対象の骨を正確な位置及び正確な角度でミル加工、ドリル加工、又は鋸で切る必要がある。このような手術は通常、外科医が特定の外科手術器具を持ち、解剖学的目印に基づいた軌跡をたどることにより、フリーハンドで行われる。したがって、外科手術の精度は、手持ち式外科手術器具を用いて所定の計画に従う際の外科医のスキルに依存している。
【０００３】
コンピュータ支援手術は、情報技術及びロボット工学の利点を利用して、医療手術の正確度（ａｃｃｕｒａｃｙ）及び精度（ｐｒｅｃｉｓｉｏｎ）を改善する際に信頼できる選択肢を提供してきた。米国特許公開第２０１２０１４３０８４号にＳｈｏｈａｍによって開示されているような現存のロボットシステムのいくつかの事例は、外科手術器具の位置を制御するための手段を提供する。１つのコンピュータ支援アプローチは、器具が外科医によってデフォルトの解剖学的領域内又はそれを越えて移動されるときに、器具の移動をブロックするように、ロボットアームによって機械的拘束を生成することを含む。別のアプローチは、器具の操作ツールに接続されたロボット制御プラットフォームを利用して、操作ツールが移動し、その方位を調整して、計画された軌跡からの外科医の手の動きの偏差を補償することを可能にする。
【０００４】
しかしながら、自己調整可能な操作ツールを有する外科手術器具は、理論的には従来の器具よりも操作上の柔軟性を提供するが、器具の操縦性及び正確度は理想的ではない。一方では、器具を操作するとき、外科医が手術部位に対して器具を配置すべき好ましい範囲を決定することは困難である。言い換えれば、操作ツールの許容可能な移動に対応する空間範囲、又は偏差を補償するツールの能力を知ることなく、外科医は、外科手術部位からどれだけ離れているか、又はどれだけ近くに器具を配置すべきかを推測することしかできない。他方、操作ツールの好ましい又は許容可能な空間範囲の境界を知らないことによって、外科医は、好ましい手術範囲からの器具の意図しない偏差に気付かないであろう。
【０００５】
したがって、外科手術器具の許容範囲を外科医に通知する自己調整可能なツールを有する外科手術器具用に設計されたナビゲーションシステムが必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、操作ツールの偏差をリアルタイムで補正する器具の能力を決定し、医療手術中に外科医に高精度で手術環境の空間情報を提示する信頼性のあるナビゲーションシステムを提供することである。
【０００７】
本発明の別の目的は、医療手術中に手術器具の偏差をリアルタイムで補正する器具の能力を視覚化し、外科手術器具の操縦について外科医に明確な案内を提供する直感的ナビゲーションシステムを提供することである。
【課題を解決するための手段】
【０００８】
本開示の一実施形態は、ロボットシステムによって実施される医療手術のためのナビゲーション方法を提供する。ナビゲーション方法は、前記ロボットシステムのプロセッサにおいて、少なくとも１組のナビゲーションデータを受信するステップであって、少なくとも１組の登録データを受信するステップと、少なくとも１組の器具データを受信するステップと、少なくとも１組の空間センサデータを受信するステップと、少なくとも１組の医療手術計画データを受信するステップとを備え、前記器具データは前記ロボットシステムの少なくとも１組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも１つの仮想物体を含む、受信するステップ（Ｓ１）と、前記ロボットシステムの前記プロセッサにおいて、前記ナビゲーションデータ内の前記仮想物体の少なくとも１つの３次元モデルを受信又は生成するステップ（Ｓ２）と、前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記ナビゲーションデータを処理するステップ（Ｓ３）と、前記ロボットシステムの前記プロセッサにおいて、少なくとも１つのナビゲーション指示を生成するように前記ナビゲーションデータ及び前記仮想環境を処理するステップ（Ｓ４）と、前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ（Ｓ５）と、を含む。
【０００９】
好ましい実施形態では、前記ステップ（Ｓ１）は、少なくとも１組の解剖学的データを受信するステップ（Ｓ１−１）をさらに含む。
【００１０】
好ましい実施形態では、前記ステップ（Ｓ１−１）は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも１組の内視鏡画像データを受信するステップをさらに含み、ステップ（Ｓ５）は、内視鏡画像データを表示するステップをさらに含み、前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する。
【００１１】
好ましい実施形態では、前記仮想アクティブ空間は、第１の仮想アクティブ空間及び第２の仮想アクティブ空間をさらに含み、前記第１の仮想アクティブ空間のサイズ又は形状は、前記第２の仮想アクティブ空間のサイズ又は形状とは異なる。
【００１２】
好ましい実施形態では、前記ロボットシステムは、マニピュレータ又はツールを有する器具システムに電気的に接続され、前記第１の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの１つに関連付けられ、前記第２の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの１つに関連付けられる。
【００１３】
好ましい実施形態では、前記ステップ（Ｓ４）は、前記仮想環境内の少なくとも２つの仮想物体間の少なくとも１つの空間関係を決定するステップを含む。
【００１４】
好ましい実施形態では、前記少なくとも２つの仮想物体の第１の仮想物体は、前記器具データからの仮想作業空間又は仮想アクティブ空間であり、前記少なくとも２つの仮想物体の第２の仮想物体は、前記医療手術計画データからの仮想計画物体である。
【００１５】
好ましい実施形態では、前記少なくとも１つの空間関係は、少なくとも１つの補償評価を含み、前記補償評価は、前記医療手術データ及び前記仮想作業空間から、又は前記医療手術データ及び前記仮想アクティブ空間から計算される。
【００１６】
好ましい実施形態では、前記ステップ（Ｓ４）は、少なくとも１つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも１つの仮想計画物体属性を処理するステップを含む。
【００１７】
好ましい実施形態では、前記ロボットシステムの少なくとも１つの機能を制御するための少なくとも１つの組の制御信号を生成するステップをさらに含む。
【００１８】
好ましい実施形態では、前記制御信号は、第１の制御信号と第２の制御信号とを含み、前記第１の制御信号は、前記ナビゲーションデータの計算の第１の計算結果に基づいて生成され、前記第２のナビゲーション指示は、前記ナビゲーションデータの計算の第２の計算結果に基づいて生成される。
【００１９】
好ましい実施形態では、前記ステップ（Ｓ５）は、前記プロセッサに電気的に接続された表示装置上に３次元グラフィックスをレンダリングするステップを含み、前記３次元グラフィックスは、前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を含む。
【００２０】
好ましい実施形態では、前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる。
【００２１】
好ましい実施形態では、（前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、前記２次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記器具の方位、前記ナビゲーション指示、及び前記器具の有効な方位の範囲を表す。
【００２２】
好ましい実施形態では、前記ナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される。
【００２３】
好ましい実施形態では、前記ナビゲーション指示は、ツールの方向によって提示され、前記ツールは、前記ロボットシステムに電気的に接続されたマニピュレータに接続される。
【００２４】
好ましい実施形態では、前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、前記２次元アイコンは、作業空間プログレスバーを表す。
【００２５】
本開示の別の実施形態は、医療手術を支援するためのロボットシステムを提供する。前記ロボットシステムは、ユーザインタフェースと、前記ユーザインタフェースに電気的に接続されたコンピュータシステムと、を含み、前記コンピュータシステムは、医療手術をナビゲートするためのプログラムを記憶する非一時的なコンピュータ可読媒体を備え、前記プログラムは、前記コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記プロセッサによって実行されると、前記ロボットシステムに以下のステップを実行させる命令を含み、前記ステップは、前記ロボットシステムのプロセッサにおいて、少なくとも１組のナビゲーションデータを受信するステップであって、少なくとも１組の登録データを受信するステップと、少なくとも１組の器具データを受信するステップと、少なくとも１組の空間センサデータを受信するステップと、少なくとも１組の医療手術計画データを受信するステップとを備え、前記器具データは前記ロボットシステムの少なくとも１組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも１つの仮想物体を含む、受信するステップ（Ｓ１）と、前記ロボットシステムの前記プロセッサにおいて、前記ナビゲーションデータ内の前記仮想物体の少なくとも１つの３次元モデルを受信又は生成するステップ（Ｓ２）と、前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記ナビゲーションデータを処理するステップ（Ｓ３）と、前記ロボットシステムの前記プロセッサにおいて、少なくとも１つのナビゲーション指示を生成するように前記ナビゲーションデータ及び前記仮想環境を処理するステップ（Ｓ４）と、前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ（Ｓ５）と、を含む。
【００２６】
好ましい実施形態では、前記ステップ（Ｓ１）は、少なくとも１組の解剖学的データを受信するステップ（Ｓ１−１）をさらに含む。
【００２７】
好ましい実施形態では、前記ステップ（Ｓ１−１）は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも１組の内視鏡画像データを受信するステップをさらに含み、ステップ（Ｓ５）は、内視鏡画像データを表示するステップをさらに含み、表示された前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する。
【００２８】
好ましい実施形態では、前記仮想アクティブ空間は、第１の仮想アクティブ空間及び第２の仮想アクティブ空間を含み、前記第１の仮想アクティブ空間のサイズ又は形状は、前記第２の仮想アクティブ空間のサイズ又は形状とは異なる。
【００２９】
好ましい実施形態では、前記ロボットシステムは、マニピュレータ又はツールを有する器具システムに電気的に接続され、前記第１の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの１つに関連付けられ、前記第２の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの１つに関連付けられる。
【００３０】
好ましい実施形態では、前記ステップ（Ｓ４）は、前記仮想環境内の少なくとも２つの仮想物体間の少なくとも１つの空間関係を決定するステップを含む。
【００３１】
好ましい実施形態では、前記少なくとも２つの仮想物体の第１の仮想物体は、前記器具データからの仮想作業空間又は仮想アクティブ空間であり、前記少なくとも２つの仮想物体の第２の仮想物体は、前記医療手術計画データからの仮想計画物体である。
【００３２】
好ましい実施形態では、前記少なくとも１つの空間関係は、少なくとも１つの補償評価を含み、前記補償評価は、前記医療手術データ及び前記仮想作業空間から、又は前記医療手術データ及び前記仮想アクティブ空間から計算される。
【００３３】
好ましい実施形態では、前記ステップ（Ｓ４）は、少なくとも１つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも１つの仮想計画物体属性を処理するステップを含む。
【００３４】
好ましい実施形態では、前記ナビゲーション方法は、前記ロボットシステムの少なくとも１つの機能を制御するための少なくとも１つの組の制御信号を生成するステップをさらに含む。
【００３５】
好ましい実施形態では、前記制御信号は、第１の制御信号と第２の制御信号とを含み、前記第１の制御信号は、前記ナビゲーションデータの計算の第１の計算結果に基づいて生成され、前記第２のナビゲーション指示は、前記ナビゲーションデータの計算の第２の計算結果に基づいて生成される。
【００３６】
好ましい実施形態では、前記ステップ（Ｓ５）は、前記プロセッサに電気的に接続された表示装置上に３次元グラフィックスをレンダリングするステップを含み、前記３次元グラフィックスは、前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を含む。
【００３７】
好ましい実施形態では、前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる。
【００３８】
好ましい実施形態では、前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、前記２次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記ナビゲーション指示、及び前記器具の有効な方位の範囲を表す。
【００３９】
好ましい実施形態では、前記ナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される。
【００４０】
好ましい実施形態では、前記ナビゲーション指示は、ツールの方向によって提示され、前記ツールは、前記ロボットシステムに電気的に接続されたマニピュレータに接続される。
【００４１】
好ましい実施形態では、前記ステップ（Ｓ５）は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションにより、複数の２次元アイコンを生成及び表示するステップを含み、前記２次元アイコンは、作業空間プログレスバーを表す。
【００４２】
好ましい実施形態では、システムは、前記コンピュータシステムに電気的に接続され、ツールと前記ツールに接続されるマニピュレータとを備える器具システムをさらに含む。
【発明の効果】
【００４３】
要約すると、本開示の様々な実施形態によれば、ロボットシステムは、器具のマニピュレータの作業空間に関するデータを利用して、ロボットシステムのユーザにナビゲーション指示を提供する。ユーザは、ナビゲーション指示を参照することにより、器具の位置及び／又は方位に基づいて、所定の医療手術計画からのツールの位置又は方位の偏差を補正する器具の能力の感覚を提供される。さらに、ナビゲーション指示はまた、器具の位置及び／又は方位に基づいて、器具を最適な位置又は方位に手動で操作する方法に関する提案をユーザに通知して、所定の医療手術計画からのツールの位置又は方位の偏差を補正する器具の能力を改善する。
【００４４】
添付の図面は本発明の１つ又は複数の実施形態を示し、記述された説明とともに、本発明の原理を説明する。可能な限り、実施形態の同じ又は類似の要素を指すために、図面全体を通して同じ参照符号が使用される。
【図面の簡単な説明】
【００４５】
【図１】本開示の一実施形態に係るロボットシステムのブロック図である。
【図２】本開示の一実施形態に係るロボットシステムの概略図である。
【図３】本開示の一実施形態に係るロボットシステムの手持ち器具の斜視図である。
【図４】本開示の一実施形態に係るロボットシステムの手持ち器具の側面図である。
【図５】本開示の一実施形態に係るロボットシステムの手持ち器具のマニピュレータの側面図である。
【図６】本開示の一実施形態に係る、ロボットシステムの手持ち器具の別のマニピュレータの側面図である。
【図７】本開示の一実施形態に係るロボットシステムの動作状態の概略図である。
【図８】本開示の一実施形態に係るロボットシステムの空間センサシステムの動作状態の概略図である。
【図９】本開示の一実施形態に係るロボットシステムの動作状態の概略図である。
【図１０】本開示の一実施形態に係るロボットシステムのナビゲーション方法のフロー図である。
【図１１】本開示の一実施形態に係るナビゲーション方法においてナビゲーションデータを受信するステップを示すブロック図である。
【図１２】本開示の一実施形態に係るナビゲーション方法において仮想環境及びナビゲーション指示を生成するステップを示すブロック図である。
【図１３】本開示の一実施形態に係る仮想環境を生成するステップを示すブロック図である。
【図１４】本開示の一実施形態に係るナビゲーション方法において仮想環境及びナビゲーション指示を提示するステップの概略図である。
【図１５】本開示の一実施形態に係るロボットシステムのユーザインタフェースの概略図である。
【図１６】本開示の一実施形態に係る、ロボットシステムのグラフィックユーザインタフェース（ＧＵＩ）アプリケーションによって生成された２次元アイコンの概略図である。
【図１７】本開示の一実施形態に係る、ＧＵＩアプリケーションによって生成された２次元アイコンの別の概略図である。
【発明を実施するための形態】
【００４６】
一般的な慣行によれば、様々な説明された特徴は、縮尺通りに描かれておらず、本開示に関連する特徴を強調するために描かれている。類似の参照符号は、図や本文中では類似の要素を表す。
【００４７】
以下、本発明の様々な例示的な実施形態を示す添付の図面を参照して、本発明をより全体的に説明する。しかしながら、本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が十全であり、本開示の範囲を当業者に十分に伝えるように提供される。全体を通して、類似の参照符号は類似の要素を指す。
【００４８】
本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、本開示を限定することを意図するものではない。本明細書で使用されるように、単数を表す用語、例えば、「１つ」は、他の文脈が明確に示されない限り、複数も含むように意図される。「含む」、「備え」などの用語は、本明細書で使用される場合、特徴、領域、整数、ステップ、操作、要素、及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、領域、整数、ステップ、操作、構成要素、及び／又はそれらのグループの存在又は追加を妨げるものではない。
【００４９】
用語「及び／又は」と「少なくとも一つ」は、関連する列挙された項目のうちの１つ又は複数の任意の組合せ及び全ての組合せを含むことが理解されるであろう。第１、第２、第３などの用語は、様々な要素、構成要素、領域、部分及び／又はセクションを説明するために本明細書で使用され得るが、これらの要素、構成要素、領域、部分及び／又はセクションは、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、１つの要素、構成要素、領域、部分又はセクションを別の要素、構成要素、領域、層又はセクションから区別するためにのみ使用される。したがって、以下で説明する第１の要素、構成要素、領域、部分、又はセクションは、本開示の教示から逸脱することなく、第２の要素、構成要素、領域、層、又はセクションと呼ぶことができる。
【００５０】
本明細書で使用される「医療手術」という用語は、特定の医療目的のために患者に適用される手順又は手順の一部を指す。例えば、医療手術はコンピュータ支援手術であってもよく、又は医療手術はコンピュータ支援手術の一部である登録処理であってもよい。
【００５１】
本明細書で使用される「仮想物体」という用語は、記憶媒体に記憶可能な１組のコンピュータ実行可能データを指す。仮想物体は、現実世界の物体の表現／シミュレーション又は幾何学的概念を含むことができる。
【００５２】
本明細書で使用される「物体プロパティ」という用語は、仮想物体の少なくとも１つの属性を指す。言い換えると、物体プロパティは、データファイルに符号化され、データ構造又はメモリ構成に格納された仮想物体のコンテンツである。
【００５３】
本明細書で使用される「仮想環境」という用語は、現実世界の環境の表現／シミュレーションを含む１組のデータを指す。仮想環境には、少なくとも１つの明確に定義された座標系と、少なくとも１つの仮想物体が含まれる。少なくとも１つの仮想物体の明確に定義された座標系に対する空間プロパティも明確に定義される。
【００５４】
本明細書で使用される「空間プロパティ」という用語は物体の位置／方位を指し、本明細書で使用される「空間関係」という用語は、２つの物体間の相対位置又は相対方位を指す。
【００５５】
本開示では、データ構造の例示的な説明がデータ属性を説明するためのものである。言い換えれば、データに符号化された必要なコンテンツ及び対応する処理ステップは、例示的な説明において説明される。これらの例示的な説明は、データ構造、記憶方法、読み取り方法、処理方法、測定方法、及びデータに符号化されたこれらの必要なコンテンツの説明方法を限定すべきではないことが理解されるであろう。これらの例示的な説明は、対応する処理プログラム、コンピューティングプログラム、測定プログラム、又は他のアプリケーションのプログラミング方法又はプログラミング言語を限定すべきではないことも理解されよう。
【００５６】
別段の定義がない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本開示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。さらに、一般的に使用される辞書で定義されるような用語は、関連技術及び本開示の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想化された又は過度に形式的な意味で解釈されないことが理解されるであろう。
【００５７】
図１及び図２を参照する。本開示の一実施形態によれば、外科手術前及び外科手術のためのロボットシステム１０００は、電子モジュール及びプロセッサ実行可能命令に結合された外科手術ハードウェアを含む。ロボットシステム１０００は、器具システム１１００と、空間センサシステム１５００と、ユーザインタフェース１８００と、器具システム１１００と空間センサシステム１５００とユーザインタフェース１８００とに電気的に接続されたコンピュータシステム１７００とを含む。この実施形態では、ロボットシステム１０００は、ユーザ（例えば、外科医）がユーザインタフェース１８００を参照して、器具システム１１００によって対象（例えば、患者）に対して手術を行うことを可能にする。少なくとも１つの医用イメージャ１９１０は、ロボットシステム１０００と通信し、対象の医用画像を取得し、画像をロボットシステム１０００に送信するように構成される。空間センサシステム１５００は、対象及び環境の空間情報を生成するように構成される。コンピュータシステム１７００は、医用画像に基づいて仮想解剖学的モデルを生成し、仮想解剖学的モデルに基づいて手術計画を生成し、空間センサシステム１５００から受信した空間情報に基づいて手術環境を追跡し、マニピュレータ１２１０の移動を制御する又は運動状態を変更するように構成される。ユーザインタフェース１８００は、解剖学的モデルを視覚化し、ユーザが手術計画に基づいて手術野をナビゲートすることを可能にする。
【００５８】
図２に示されるように、ロボットシステム１０００の器具システム１１００は、対象に手術を施すための手持ち器具１２００を含む。この実施形態では、器具システム１１００は、手持ち器具１２００に接続された支持アーム１４５０をさらに含み、ユーザの手の重量負荷を低減し、任意選択で、手術中により多くの動作安定性を提供することができる。
【００５９】
図３及び図４を参照する。一実施形態によると、手持ち器具１２００は、ツール１２５０と、ツール設置ベース１２６０と、マニピュレータ１２１０と、器具ハウジング１２８０とを含む。ツール１２５０は、対象の身体部分上の解剖学的表面に接触又は修正するように構成される。ツール設置ベース１２６０がツール１２５０の端部とマニピュレータ１２１０とに接続されることにより、ツール１２５０は、マニピュレータ１２１０に安定して接続される。マニピュレータ１２１０は、ツール１２５０の位置及び方位を操作するために、コンピュータシステム１７００によって制御される機構である。器具ハウジング１２８０は、マニピュレータ１２１０に接続されて、マニピュレータ１２１０の少なくとも一部を収容し、ロボットシステム１０００の動作中に、ユーザが器具１２００を保持したり操作したりすることを可能にするための１つ又は複数のハンドル１２８４を提供する。
【００６０】
この実施形態では、ツール１２５０が対象の解剖学的部位に接触するか又は評価し、解剖学的部位の構造又は状態を検出するためのプローブ又はインジケータであってもよい。ツール１２５０は、ドリルビット、バー、キュレット、こぎり、スクリュードライバ、又は穿孔、フライス削り、切断、又は削り取りによって解剖学的部位の組織の一部を修正又は除去する外科医学で一般に使用される他のツールであってもよい。いくつかの実施形態では、ツール１２５０は、表面マッチング登録を実行するための機械的、光学的、又は超音波プローブであり、剛性プローブ、圧力センサ、圧電センサ、エラストマーセンサ、光学カメラ、レーザスキャナ、又は超音波スキャナであってもよいが、これらに限定されない。
【００６１】
この実施形態では、ツール設置ベース１２６０は、ツール１２５０と、マニピュレータ１２１０のロボット制御プラットフォーム１２３０の第１の側面とに接続される。ツール設置ベース１２６０は、ツールアダプタ１２６５と、ツールアダプタ１２６５に接続されたモータ１２７０とを含む。ツールアダプタ１２６５は、ツール１２５０の端部を強固に保持して、動作中にツールの変位を回避するためのクランプ又は他の締結構造であってもよい。モータ１２７０は、直流（ＤＣ）モータ又は交流（ＡＣ）モータであってもよく、電気エネルギーを機械エネルギーに変換し、ツール１２５０の移動を駆動するための線形又は回転力を生成する。代替の実施形態では、モータは、器具の動作中のマニピュレータ１２１０への負荷を低減し、ユーザの人間工学を改善するために器具１２００の重量を再配分するように、器具の後端に配置されてもよい。加えて、図５及び図６に示されるように、ツール設置ベース１２６０は、手術中にツール１２５０によって持続される力及び／又はトルクを検出するために、プラットフォーム１２３０の第１の側部に接続される力センサ１２３５をさらに含んでもよい。他の実施形態では、力センサ１２３５が器具のプローブ又はツール内に配置されてもよい。代替的に、器具１２００は、プローブ又はツール内に配置された別の力センサ（図示せず）をさらに含んでもよい。力センサは、歪みゲージ、力感応抵抗器、圧力変換器、圧電センサ、電気活性ポリマー、又は光ファイバ曲げセンサであってもよいが、これらに限定されない。
【００６２】
この実施形態では、マニピュレータ１２１０は、ベース１２２０と、ツール設置ベース１２６０に接続されたプラットフォーム１２３０と、ツール１２５０から離れたプラットフォーム１２３０の第２の側、及びプラットフォーム１２３０に面するベース１２２０の第１の側に取り付けられた複数のジョイント１２４５ａ、１２４５ｂと、プラットフォーム１２３０から離れたベース１２２０の第２の側にベース１２２０に接続された複数のアクチュエータ１２４０とを含む。図４に示されるように、ベース１２２０は、器具ハウジング１２８０上に固定されても、又はその中に収容されてもよい。マニピュレータ１２１０は、より高い空間効率及び操縦性のために、６自由度（ＤＯＦ）を有するスチュワートマニピュレータなどの平行マニピュレータであってもよい。加えて、マニピュレータは、ステンレス鋼又は炭素繊維で作られ、特定の機械的構造に配置されることが好ましい。これにより、マニピュレータ１２１０は、手術中に対象に接触するツール１２５０から発生する力及び／又はトルクに対して十分な持続性を有することができる。
【００６３】
この実施形態では、マニピュレータ１２１０のジョイントは、回転ジョイント、プリズムジョイント、球形ジョイント、自在ジョイント、シリンダジョイント、又は所望のＤＯＦを可能にするこれらの任意の組み合わせであってもよいが、これらに限定されない。図５及び図６に例示されるように、６ＤＯＦを有する一般的なスチュワートプラットフォームを有するマニピュレータ１２１０は、マニピュレータ１２１０の広範囲の運動及び様々な運動状態を可能にするように、自在ジョイント１２４６と球形ジョイント１２４７とを含んでもよい。マニピュレータ１２１０は、複数のコネクタをさらに含んでもよく、各コネクタは、ジョイント１２４５ａのうちの１つ及びジョイント１２４５ｂのうちの１つに接続され、ツール１２５０のより広範囲の移動を可能にしてもよい。
【００６４】
この実施形態では、マニピュレータ１２１０のアクチュエータ１２４０は、ジョイントと反対側のベース１２２０に接続され、コンピュータシステム１７００から送信される制御信号に基づいて、ジョイントやコネクタを駆動するように構成される。代替の実施形態では、アクチュエータ１２４０及びジョイントは、ベース１２２０の同じ側に配置されてもよい。図６に例示されるように、アクチュエータ１２４０は、ベース１２２０とプラットフォーム１２３０との間に配置され、アクチュエータ１２４０のそれぞれは、自在ジョイント１２４６及び球形ジョイント１２４７によって接合される。複数のアクチュエータ１２４０は、より高い精度及びより強い持続性を有する線形アクチュエータであってもよい。
【００６５】
再び図３及び図４を参照する。この実施形態では、マニピュレータ１２１０を収容し、ハンドル１２８４を提供することに加えて、器具ハウジング１２８０は、ユーザがツール１２５０の動作をトリガ、停止、又は調整すること、又は器具１２００の他の機能を実行することを可能にするための制御モジュール１２８２をさらに含んでもよい。
【００６６】
実施形態において、手持ち器具１２００は、器具１２００の幾何学的精度を保証するように、器具ハウジング１２８０に関してマニピュレータ１２１０の運動状態を校正するように構成された校正装置１３００とともに使用されてもよい。
【００６７】
図７を参照する。器具１２００は、特に低侵襲手術において、トロカール１４００とともに使用されて、器具１２００のツール１２５０が解剖学的関心部位に到達するための物理的ポータルを提供することができる。代替の実施形態では、トロカール１４００は、マニピュレータ１２１０のプラットフォーム１２３０に取り外し可能に接続されて、トロカール１４００及びツール１２５０の解剖学的部位への同時進入を可能にしてもよい。
【００６８】
次に、図８を参照する。本開示の一実施形態によれば、ロボットシステム１０００の空間センサシステム１５００は、少なくとも１つの目標物体の空間情報（例えば、位置及び方位）を検出して追跡するように構成され、目標物体に取り外し可能に取り付けられる少なくとも１つの空間マーカフレーム１５５０と、空間マーカフレーム１５５０から送信される信号を受信するための、少なくとも１つのカメラを有する空間センサ１５１０とを含む。
【００６９】
図７及び図８に例示されるように、目標物体は、器具１２００、トロカール１４００、又は選択された解剖学的部位であってもよい。この実施形態では、空間マーカフレーム１５５０は、電磁信号、音波、熱、又は他の知覚可能な信号を発するための複数のマーカ１５５５と、マーカ１５５５を保持するために目標物体に取り外し可能に取り付けられたアダプタ１５６０とを含み、目標物体が空間センサ１５１０によって追跡可能になる。別の実施形態では、空間センサシステム１５００は、空間センサ１５１０上又は所定の位置に配置された信号発生器（図示せず）をさらに含んでもよい。その結果、マーカ１５５５による信号伝送は能動的又は受動的であってもよく、言い換えれば、マーカ１５５５によって発せられる信号は、マーカ球によって生成されてもよく、又はマーカ１５５５は、信号発生器によって生成される信号がマーカ１５５５によって空間センサ１５１０に反射されるように、反射材料で覆われてもよい。
【００７０】
この実施形態では、空間センサ１５１０によって受信された信号が目標物体の空間情報としてコンピュータシステム１７００に送信される。さらに、空間マーカフレーム１５５０のマーカ１５５５は、図８に例示されるように、特定のパターンでアダプタ１５６０上に配置されてもよく、したがって、コンピュータシステム１７００が、それに応じて目標物体の方位情報を生成することを可能にする。コンピュータシステム１７００は、器具１２００のマニピュレータ１２１０の移動を制御するか、又は運動状態を変更するか、又は指定された位置又は方位に器具１２００を移動させるようにユーザに促すためにユーザインタフェース１８００上に示される命令を生成するために、空間情報及び方位情報に基づいて制御信号を生成することができる。
【００７１】
本開示の一実施形態によれば、ロボットシステム１０００のコンピュータシステム１７００は、プロセッサ１７１０と記憶ユニットとを含む。プロセッサ１７１０は、汎用プロセッサ、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、又は記憶ユニットや他のデータストリームなどのデータソース上で動作を実行する特定用途向け集積回路（ＡＳＩＣ）であってもよい。例えば、プロセッサは、ＡＲＭベースのプロセッサ又は８０８６ｘのプロセッサである。いくつかの実施形態では、プロセッサ１７１０は、複数のデジタル又はアナログ入力／出力をさらに含み、リアルタイムオペレーティングシステム（ＲＴＯＳ）プロセッサであってもよい。記憶ユニットは、コンピュータシステムで即時に使用するためにプロセッサによって割り当てられたデジタルデータを記憶することができる。記憶ユニットは、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能な読み取り専用メモリ（ＥＰＲＯＭ）などの揮発性、又はダイナミックランダムアクセスメモリ（ＤＲＡＭ）及びスタティックランダムアクセスメモリ（ＳＲＡＭ）などの不揮発性であってもよい。
【００７２】
一実施形態によれば、ユーザインタフェース１８００は、ユーザに情報を提示するための少なくとも１つの出力装置と、少なくとも１つの入力装置とを含む。ユーザインタフェース１８００によって提示される情報は、手術計画、２次元（２Ｄ）又は３Ｄ再構成画像、２Ｄ又は３Ｄ穿孔状態（例えば、ツールの位置、角度、深さ、又は曲げ）、ツールの補償範囲、ユーザガイダンス、警告領域、手術計画からのツール偏差の通知、及びツールの力持続可能限界の通知を含んでもよいが、これらに限定されない。出力装置は、ディスプレイ、光インジケータ、又は他の視覚的手段であってもよい。代替的に、出力装置は、スピーチシンセサイザ又は他のオーディオ手段であってもよく、或いはスピーチシンセサイザ又は他のオーディオ手段をさらに含んでもよい。入力装置は、ユーザによって入力されたコマンドを電気信号に変換することができ、ペダル、キーボード、マウス、タッチパネル、音声認識インタフェース、又はジェスチャ認識インタフェースであってもよい。
【００７３】
一実施形態によれば、ロボットシステム１０００は、低侵襲画像センサシステム４１００をさらに含むことができる。低侵襲画像センサシステムは、患者の解剖学的部位１９６０の光学画像を感知し、処理し、出力するように構成される。低侵襲画像センサシステム４１００は内視鏡装置４１１０と、内視鏡画像プロセッサ４１２０と、内視鏡ホルダ、内視鏡導入器、及び内視鏡位置検出ユニットなどの他のアクセサリとを含んでもよいが、これらに限定されない。
【００７４】
低侵襲画像センサシステム４１００は、データの交換のためにプロセッサ１７１０に電気的に接続される。内視鏡装置４１１０の位置及び方位は、空間センサシステム１５００によって追跡されてもよい。
【００７５】
いくつかの実施形態では、内視鏡装置４１１０は、器具１２００のマニピュレータ１２１０に機械的に連結されてもよい。これらの実施形態では、内視鏡装置４１００の位置及び方位はマニピュレータ１２１０によって制御される。
【００７６】
いくつかの実施形態では、内視鏡装置４１１０は、内視鏡装置が器具の長手方向軸（即ち、マニピュレータが初期姿勢又は初期運動状態にあるときのツールの回転軸）に平行なカメラ角度を有するように、器具１２００に機械的に結合されてもよい。
【００７７】
図９を参照する。ユーザインタフェース１８００はまた、器具１２００の操作を容易にするように、コンピュータ生成ナビゲーション指示及び／又はコンピュータ生成仮想環境３６００をユーザ（例えば、外科医）に提示してもよい。
【００７８】
仮想環境３６００は、明確に定義された座標系と、少なくとも１つの仮想物体とを含む。一実施形態では、仮想物体は、仮想器具３６０４と、仮想解剖学的構造２１１０と、仮想医療手術計画３６０１と、器具１２００のマニピュレータ１２１０の仮想作業空間３６０３とを含んでもよい。仮想環境３６００において、仮想物体の各々と明確に定義された座標系との間の空間関係は、現実世界の手術環境をシミュレートするように明確に定義される。仮想物体間の空間関係を定義するために、空間センサシステム１５００は、現実世界の物体の空間プロパティをコンピュータシステム１７００に提供するように構成される。空間プロパティは、位置又は方向であってもよい。
【００７９】
ユーザは、提示されたナビゲーション指示及び仮想環境内の仮想物体間の空間関係を参照することにより、マニピュレータ１２１０の状態と仮想物体の空間プロパティとの間の複雑な関係を容易に理解することができる。
【００８０】
図９に例示されるように、仮想環境３６００は、動作の目標スポット１９６５に対応する仮想医療手術計画３６０１を含む。目標スポット１９６５は、器具１２００のツール１２５０によって影響を受ける。ユーザは、仮想作業空間３６０３及び仮想医療手術計画３６０１の位置／方位を参照することにより、ツール１２５０が解剖学的部位３７０１上の目標スポット１９６５に到達できる空間範囲内に器具１２００を位置決めすることができる。さらに、ユーザインタフェース１８００は、ユーザにツール１２５０の提案された移動方向などの移動提案を通知するように、ナビゲーション指示３６０２を提示することもできる。
【００８１】
図１０を参照すると、本開示の実施形態に係る、医療手術を支援するためのナビゲーション方法３０００のフロー図が提供される。この実施形態では、ロボットシステム１０００によって実行されるナビゲーション方法３０００は、様々なデータソースからナビゲーションデータを受信するステップ（Ｓ３１００）と、仮想環境３６００及びナビゲーション指示３６０２を生成するステップ（Ｓ３３００）と、ユーザインタフェース１８００上に仮想環境３６００及びナビゲーション指示３６０２を提示するステップ（Ｓ３５００）とを含む。ナビゲーション方法３０００は、ユーザインタフェース１８００上の仮想環境３６００及びナビゲーション指示３６０２を参照して、器具システム１１００を使用することにより、ユーザが対象に対して医療手術を実行することを可能にする。
【００８２】
いくつかの実施形態では、ナビゲーション方法３０００が繰り返し実行されてもよい。他の実施形態では、ナビゲーション方法３０００のステップＳ３１１０、Ｓ３３００、Ｓ３５００の順序を変更することができる。例えば、医療手術（例えば、外科手術）中に、患者及び器具のリアルタイムの位置／方位を外科医に提供するために、ナビゲーション方法３０００は、ステップＳ３１００、Ｓ３３００、及びＳ３５００を繰り返し実行することにより、患者／器具の位置／方位を更新することができる。
【００８３】
ステップＳ３１００において、プロセッサ１７１０は、様々なデータソースからナビゲーションデータを受信する。ナビゲーションデータには、様々な仮想物体が含まれる場合がある。各仮想物体には、１組の物体プロパティを含めることができる。例えば、１組の物体プロパティは、アイデンティティ、空間プロパティ、又は形状を含むことができる。
【００８４】
仮想物体のアイデンティティは、仮想物体が表す実際の物体に対応する。例えば、器具１２００のアイデンティティを含む仮想物体は、器具１２００を表すように構成される。仮想物体のアイデンティティは、仮想物体が表す幾何学的概念に対応することができ、幾何学的概念は、コンピュータグラフィックスを生成するために、又は空間関係を計算するために使用することができる。例えば、仮想物体のアイデンティティは、器具１２００の作業空間に対応することができる。別の例では、仮想物体のアイデンティティは、器具１２００の所望の軌跡に対応することができる。
【００８５】
仮想物体の空間プロパティは、仮想物体の位置、方位、又はサイズを含むことができる。仮想物体ごとに、空間プロパティは、基準座標系に対する相対値とすることができる。
【００８６】
仮想物体の形状は、仮想物体の幾何学的境界を記述する。仮想物体の形状は、３次元モデルを形成するために用いられる。形状は、点群、ワイヤ−フレームモデル、境界表現、空間分割ツリー、又はその他のような種々の３次元モデリングデータ構造で構成されてもよい。
【００８７】
一実施形態では、ナビゲーションデータ３１０５は、医療におけるデジタル画像と通信（ＤＩＣＯＭ）の規格又は他の医療画像規格に適合する画像データであってもよい。別の実施形態では、ナビゲーションデータは、物体の方位を表すベクトル、マトリックスの形態の１組の画像データ、又は物体の位置及び方位を表す四元数とすることができる。
【００８８】
図１１を参照する。一実施形態によれば、ナビゲーションデータを受信するステップ（Ｓ３１００）は、解剖学的データを受信するステップ（Ｓ３１１０）と、器具データを受信するステップ（Ｓ３１３０）と、空間センサデータを受信するステップ（Ｓ３１５０）と、登録データを受信するステップ（Ｓ３１７０）と、医療手術計画データを受信するステップ（Ｓ３１９０）とを含むことができる。Ｓ３１１０、Ｓ３１３０、Ｓ３１５０、Ｓ３１７０、Ｓ３１９０のステップは本明細書では特定の順序なしに提示されており、言い換えれば、ステップは個別に、同時に、又は特定の順序で連続して実行され得ることを理解されたい。
【００８９】
ステップＳ３１１０において、プロセッサ１７１０は、解剖学的データソース３１１３から解剖学的データの少なくとも１組を受信する。解剖学的データソース３１１３は、ロボットシステム１０００の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。解剖学的データは、解剖学的部位３７０１（例えば、患者の脊椎）を表すための仮想物体を含むことができる。解剖学的データ内の仮想物体は、解剖学的部位３７０１のアイデンティティ、サイズ、形状、機械的特徴、又は生理学的特徴などの物体プロパティを含むことができる。本開示では、「仮想解剖学的構造」という用語は、解剖学的部位を表すための仮想物体を指す。仮想解剖学的構造は、解剖学的部位のアイデンティティを含む。解剖学的データは、手術前又は手術中に生成されてもよい。例えば、解剖学的データは、脊椎のコンピュータ断層撮影（ＣＴ）画像、脳の磁気共鳴画像（ＭＲＩ）、又は筋肉の超音波画像のような、解剖学的部位の手術前又は手術中の医学的断層画像であってもよい。
【００９０】
本開示の一実施形態によれば、解剖学的データは、内視鏡画像データ（即ち、低侵襲画像センサシステム４１００によって出力される画像データ及び／又はビデオデータ）を含むことができる。例えば、解剖学的データは、内視鏡装置４１１０によって取得された患者の脊椎のビデオデータであってもよい。
【００９１】
ステップＳ３１３０において、プロセッサ１７１０は、器具データソース３１３３から少なくとも１組の器具データを受信する。器具データソース３１３３は、ロボットシステム１０００の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。器具データは、器具システム１１００又は器具システム１１００の構成要素を表す少なくとも１つの仮想物体を含むことができる。本開示では、「器具仮想物体」という用語は、器具データ内の仮想物体を指す。器具仮想物体は、器具システム１１００のアイデンティティ、サイズ、形状、機械的特徴などの物体プロパティを含むことができる。
【００９２】
図２〜６に示されるように、器具仮想物体のアイデンティティは、器具１２００、マニピュレータ１２１０、ベース１２２０、プラットフォーム１２３０、アクチュエータ１２４０、ジョイント１２４５、ツール１２５０、プローブ１２５５、ツール設置ベース１２６０、ツールアダプタ１２６５、モータ１２７０、器具ハウジング１２８０、校正装置１３００、ツールガイド１３１０、マニピュレータガイド１３２０、充電モジュール１３３０、校正装置１３００のベース１３４０、トロカール１４００、吊下げアーム１４５０、空間センサ１５１０、空間マーカ１５５０、マーカ１５５５、インプラント１４７５、及び内視鏡装置４１１０を含んでもよい。器具仮想物体のアイデンティティはまた、器具１２００のマニピュレータ１２１０の作業空間、及び器具１２００のアクティブ空間であってもよい。
【００９３】
本開示では、「仮想作業空間」という用語は、作業空間を表すための仮想物体を指す。器具１２００のマニピュレータ１２１０の作業空間は、マニピュレータ１２００のベースが静止したままであるときのエンドエフェクタ（例えば、ツール１２５０）の１組の全ての到達可能な点である。一実施形態では、マニピュレータ１２１０の作業空間は、ツール１２５０の１組の全ての到達可能な点（例えば、ドリルビットの先端の到達可能な点）である。さらに、マニピュレータ１２１０の作業空間の形状及びサイズは、マニピュレータの自由度（ＤＯＦ）の数によって変化してもよい。例えば、６ＤＯＦを有するマニピュレータの作業空間は、３次元形状のボリュームであってもよい。別の例では、１ＤＯＦのみを有するマニピュレータの作業空間が点、１次元曲線、又は１次元直線とすることができる。
【００９４】
仮想作業空間は、器具１２００の作業空間に対応する物体プロパティを含むことができる。例えば、物体プロパティは、特定の作業空間を表すためのアイデンティティ、作業空間の形状／サイズ、及び作業空間の空間プロパティを含むことができる。
【００９５】
器具１２００のマニピュレータ１２１０のアクティブ空間は、作業空間のサブセットであってもよい。言い換えれば、アクティブ空間は、マニピュレータ１２１０のベースが静止したままであるときのエンドエフェクタの１組の全ての到達可能な点の一部である。本開示において、「仮想アクティブ空間」又は「仮想作業空間」という用語は、アクティブ空間を表すための仮想物体を意味する。仮想アクティブ空間は、アクティブ空間のアイデンティティを含む。
【００９６】
仮想作業空間（又は仮想アクティブ空間）は、他の仮想物体と相互作用する場合がある。仮想作業空間３６０３（又は仮想アクティブ空間）と他の仮想物体との相互作用は、それらの空間関係を計算することによって定義されてもよい。プロセッサ１７１０は、仮想作業空間３６０３（又は仮想アクティブ空間）と他の仮想物体との相互作用に基づいて、ロボットシステム１０００を制御するための制御信号を生成することができる。例えば、器具１２００のロボット操作の機能は、仮想作業空間３６０３（又は仮想アクティブ空間）が別の仮想物体を含むときに起動されてもよい。別の例では、別の仮想物体を有する仮想作業空間３６０３（又は仮想アクティブ空間）を、器具１２００のロボット操作の機能をアクティブ化するための基準の１つとして設定することができる。
【００９７】
また、器具１２００のロボット操作の機能は、仮想作業空間３６０３（又は仮想アクティブ空間）空間にターゲット仮想物体が含まれていない場合には非アクティブ化される可能性がある。別の例では、目標仮想物体のない仮想作業空間３６０３（又は仮想アクティブ空間）を、器具１２００のロボット操作の機能を非アクティブ化するための基準として設定することができる。
【００９８】
器具仮想物体のサイズ、形状、及び機械的特徴は、器具仮想物体のアイデンティティに対応してもよい。例えば、特定の器具を表す器具仮想物体は、その特定の器具のサイズ属性及び形状属性を含むことができる。例えば、器具データ２２７５は、マニピュレータ１２１０の一連のコンピュータ生成設計図を含むことができる。
【００９９】
一実施形態では、アクティブ空間は、ロボットシステム１０００のユーザによって定義されてもよい。別の実施形態では、アクティブ空間は、第１のアクティブ空間及び第２のアクティブ空間を含むことができる。第１のアクティブ空間は、マニピュレータの少なくとも１つの機能をアクティブ化／オンにするための第１の基準を設定するように構成される。第２のアクティブ空間は、少なくともマニピュレータのオン機能を非アクティブ化／オフにするための第２の基準を設定するように構成される。第１のアクティブ空間及び第２のアクティブ空間の形状は、同一であっても異なっていてもよい。
【０１００】
器具データは、様々なコンピュータファイルフォーマットで符号化され、記憶されてもよい。例えば、器具仮想物体は、形状、サイズ、及び他の物体プロパティを含むコンピュータ支援設計（ＣＡＤ）ファイルであってもよい。
【０１０１】
再び図１１を参照する。ステップＳ３１５０において、プロセッサ１７１０は、空間センサデータソース３１５３から少なくとも１組の空間センサデータを受信する。空間センサデータソース３１５３は、空間センサシステム１５００、ロボットシステム１０００の記憶ユニット、他の外部メモリ装置又は他の外部処理装置であってもよい。空間センサデータは、空間マーカを表すための仮想物体を含むことができる。本開示では、「仮想空間マーカ」という用語が空間マーカを表すための仮想物体を指す。
【０１０２】
仮想空間マーカは、アイデンティティ、形状、サイズ、及び空間プロパティなどの物体プロパティを含むことができる。仮想空間センサのアイデンティティは、少なくとも１つの空間マーカであってもよい。空間プロパティは、位置及び方位であってもよい。位置及び方位は、１次元アレイ又は２次元アレイなどの様々なデータ構造によって表すことができる。仮想空間センサの形状は、空間マーカの形状を表すことができる。したがって、一例では、空間センサデータが物体の位置及び方位を含む四元数を表すための２次元アレイであってもよい。
【０１０３】
ステップＳ３１７０において、プロセッサ１７１０は、登録データソース３１７３から少なくとも１組の登録データを受信する。登録データソース３１７３は、ロボットシステム１０００の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。登録データは、少なくとも２つの異なる座標系間の変換関係を定義するように構成される。登録データは、２つ以上の異なる座標系に関する基準点の空間プロパティを含むことができる。例えば、２つの異なる座標系で基準点の座標を定義することによって、２つの座標間の変換行列を導出することができる。登録データを導入することにより、第１の座標系に関する仮想物体の空間プロパティを、第２の座標系に関する別の形式に変換することができる。
【０１０４】
登録データは、様々なタイプの座標系の変換関係を定義するように構成することができる。例えば、登録データは、仮想空間センサマーカの座標系と仮想器具の座標系との間の変換関係を定義することができる。この例では、仮想器具に関する空間プロパティが仮想空間センサマーカに関する空間プロパティに変換されてもよい。
【０１０５】
別の例では、登録データは、仮想解剖学的構造の座標系と仮想環境の座標系との間の変換関係を定義することができる。この例では、仮想解剖学的構造に関する空間プロパティを、仮想環境に関する空間プロパティに変換することができる。仮想解剖学的構造は、座標変換を採用することにより、仮想環境と同じ座標系を共有する。したがって、仮想解剖学的構造は、仮想環境内に配置されることを可能にする。
【０１０６】
ステップＳ３１９０において、プロセッサ１７１０は、医療手術計画データソース３１９３から少なくとも１組の医療手術計画データを受信する。医療手術計画データソース３１９３は、ロボットシステム１０００の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。医療手術計画データは、ロボットシステム１０００によって実行される所定の医療手術を表すように構成される。医療手術計画データは、解剖学的部位を表すための仮想物体と、所定の医療手術を表すための仮想物体とを含むことができる。医療手術計画データの仮想物体は、アイデンティティ、空間プロパティ（例えば、位置又は方位）、形状、サイズ、又は他の物体プロパティを含むことができる。具体的には、医療手術計画データの仮想物体のアイデンティティは、計画物体、器具、解剖学的部位、又は他の物体とすることができる。
【０１０７】
計画物体は、器具１２００又は解剖学的部位１９６０との所定の相互作用を表す幾何学的概念である。計画物体には、計画物体境界（ＰＯＢ）と計画物体属性（ＰＯＡ）を含めることができる。ＰＯＢは、計画物体の幾何学的境界である。ＰＯＡは、計画物体と器具との間の相互作用の特性を定義するように構成される。
【０１０８】
医療手術計画は、ロボットシステム１０００のコンピュータシステムの計画モジュールによって生成されてもよい。ロボットシステム１０００のユーザは、計画物体のＰＯＢ及びＰＯＡを割り当てて、医療手術計画を生成し、１組の医療手術計画データとして医療手術計画を出力することができる。
【０１０９】
本開示では、「仮想計画物体」という用語は、計画物体を表すための仮想物体を指す。仮想解剖学的構造は、解剖学的部位のアイデンティティを含む。仮想計画物体は、アイデンティティ、空間プロパティ（例えば、位置及び方位）、３次元グラフィックスプロパティ（例えば、形状及びサイズ）、ならびに仮想計画物体属性（ＶＰＯＡ）などの様々な物体プロパティを含むことができる。
【０１１０】
仮想計画物体のアイデンティティは、ロボットシステム１０００のユーザによって、又はロボットシステム１０００自体によって、又はその両方によって定義される計画物体とすることができる。例えば、仮想計画物体のアイデンティティは、脊椎手術の人間が定義した穿孔軌跡であってもよい。別の例として、仮想計画物体のアイデンティティは、登録データを生成するための登録処理におけるコンピュータ生成のサンプリングルートであってもよい。
【０１１１】
仮想計画物体の空間プロパティ（例えば、位置及び／又は方位）は、ロボットシステム１０００のユーザによって定義されてもよい。通常、仮想計画物体の位置／方位は、仮想解剖学的構造と固定空間関係を有する。例えば、軌跡の仮想計画と仮想解剖学的構造との間に、それらの空間関係を表す変換行列が存在してもよい。
【０１１２】
仮想計画物体の形状は、仮想計画物体境界（ＶＰＯＢ）を含むことができる。ＶＰＯＢは、仮想計画物体の領域の範囲を定義するように構成される。ＶＰＯＢは、様々な幾何学的空間システムにおける境界であってもよい。例えば、ＶＰＯＢは、１次元空間内の点、２次元空間内の閉ループ、又は３次元空間内の閉表面であってもよい。ＰＯＢは、様々な形状を形成することができる。例えば、ＶＰＯＢは、球形の閉じた表面、又は任意の形状の表面を形成することができる。
【０１１３】
ＶＰＯＡは、少なくとも１つのＶＰＯＢによって包囲される地域の特性を定義するように構成される。特性は、ＰＯＡのリストから選択することができる。ＰＯＡのリストは、器具１２００と解剖学的部位との間の相互作用（例えば、穿孔、フライス削り、切断、登録のためのサンプリング）を含む。例えば、ＰＯＡは、穿孔軌跡としてＰＯＢ内の曲線直線領域を定義することができる。ＰＯＡのリストは、器具が領域内に存在すべきでないことを示すための、又はツール１２５０によって影響されるべきでない制限領域を示すための特性をさらに含んでもよい。このような例では、ＶＰＯＡは、仮想ＶＰＯＢ内のボリュームをツール１２５０の制限領域として定義することができる。さらに、ＰＯＡのリストは、ツール１２５０の有効な方位を表すための１組のベクトルデータを含むこともできる。
【０１１４】
計画物体属性のリストは、ロボットシステム１０００の機能をオン又はオフに切り替えるべきであることを示すための特性をさらに含むことができる。例えば、計画物体属性（ＰＯＡ）２３５９は、計画物体境界（ＰＯＢ）２３５７によって包囲されるボリュームを自動パイロット領域として定義することができる。自動パイロット領域は、マニピュレータ１２１０がツール１２５０の位置及び方位を自動的に制御し得る領域である。
【０１１５】
図１２を参照する。一実施形態によれば、仮想環境及びナビゲーション指示を生成するステップ（Ｓ３３００）は、３次元モデルを準備するステップ（Ｓ３３１０）と、仮想環境を生成するステップ（Ｓ３３３０）と、仮想作業空間又は仮想アクティブ空間の空間関係を決定するステップ（Ｓ３３５０）と、ナビゲーション指示を生成するステップ（Ｓ３３７０）とを含むことができる。Ｓ３１１０、Ｓ３１３０、Ｓ３１５０、Ｓ３１７０、Ｓ３１９０のステップは本明細書では特定の順序なしに提示されており、言い換えれば、ステップは個別に、同時に、又は特定の順序で連続して実行され得ることを理解されたい。
【０１１６】
ステップＳ３３１０において、形状を有する少なくとも１つの仮想物体が取得される。例えば、ロボットシステム１０００は、３次元コンピュータグラフィックス処理を実行して、少なくとも１つの仮想物体の形状を定義することができる。別の例では、ロボットシステム１０００は、ユーザの入力から、又はナビゲーションデータから、明確に定義された形状を有する仮想物体をロードすることができる。
【０１１７】
より具体的には、一実施形態では、ロボットシステム１０００は、３次元コンピュータグラフィックス処理を実行して、仮想解剖学的構造の形状を定義する。この実施形態では、３次元コンピュータグラフィックス処理は、断層撮影再構成及びセグメンテーションを含むことができる。断層撮影再構成では、ロボットシステム１０００は、１組の解剖学的画像を利用して３次元モデルを生成する。１組の解剖学的画像は、１組のＣＴスライスであってもよい。一方、セグメンテーションでは、ロボットシステム１０００は、解剖学的構造の３次元モデルを、それらの対応する生理学的情報に基づいて少なくとも２つのパーティションに分離することができる。例えば、脊椎を表す仮想解剖学的構造は、複数の仮想椎骨に分離されることができる。
【０１１８】
別の実施形態では、ロボットシステム１０００は、３次元コンピュータグラフィックス処理を実行して、仮想解剖学的構造の部分形状を定義してもよい。例えば、３次元メッシュは、仮想物体の１組の特定の境界のみを描写することができる。１組の特定の境界は、仮想解剖学的構造の外面、又はロボットシステムのユーザによって割り当てられた任意の境界を含むことができる。別の例では、３次元メッシュは例えば、矢印アイコンを使用して仮想物体の方位を表すことにより、仮想物体の空間プロパティを表す単純なモデルのみを表すことができる。
【０１１９】
図１３を参照する。一実施形態によれば、ロボットシステム１０００は、ステップ（Ｓ３３３０）において、医療手術環境を表す仮想環境を生成する。ステップＳ３３３０は、明確に定義された座標系を定義するステップ（Ｓ３３３１）と、仮想物体を登録するステップ（Ｓ３３３３）と、仮想物体の空間プロパティを更新するステップ（Ｓ３３３５）とを含むことができる。Ｓ３１１０、Ｓ３１３０、Ｓ３１５０、Ｓ３１７０、Ｓ３１９０のステップは本明細書では特定の順序なしに提示されており、言い換えれば、ステップは個別に、同時に、又は特定の順序で連続して実行され得ることを理解されたい。
【０１２０】
ステップＳ３３３１において、ロボットシステム１０００は、明確に定義された座標系３３３２を定義することにより、仮想空間を生成することができる。仮想空間では、原点と軸／座標の単位とが明確に定義されている。例えば、仮想空間の座標系は、空間センサシステム１５００の観測座標系によって定義されてもよい。例えば、仮想空間の座標系の原点は、解剖学的部位上に位置する空間センサマーカの位置によって定義されてもよい。
【０１２１】
ステップＳ３３３３において、ロボットシステム１０００は、仮想物体と仮想空間との間の空間関係を定義することができる。言い換えれば、仮想空間の座標系に関する少なくとも１つの仮想物体の空間プロパティは、ロボットシステム１０００によって明確に定義される。例えば、ロボットシステム１０００は、１組の登録データに基づいて、仮想空間に対する仮想解剖学的構造２１１０及び仮想器具３６０４の位置を定義することができる。別の例では、ロボットシステム１０００は、対応する登録データを介して内視鏡画像データの位置及び方位を定義することができる。仮想環境への内視鏡画像データの登録は、内視鏡画像データの画像／ビデオが仮想解剖学的構造上に表示されることを可能にし、その結果、内視鏡画像データは、仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する。
【０１２２】
ステップＳ３３３５において、ロボットシステム１０００は、空間センサデータを更新することにより、仮想空間内の全ての仮想物体の空間プロパティを自動的に修正することができる。例えば、医療手術中に、仮想解剖学的構造２１１０及び仮想器具３６０４の位置／方位が変化する可能性がある。したがって、ロボットシステム１０００は、空間センサデータを継続的に受信し、位置／方位を更新してもよい。その結果、仮想空間内の仮想物体は、実際の医療手術環境を動的に模倣することができる。
【０１２３】
再び図１２を参照すると、ステップＳ３３５０において、ロボットシステム１０００は、ステップＳ３３３０で生成された仮想環境３６００に基づいて仮想物体の空間関係を決定する。空間関係は、関心のある仮想物体の物体プロパティの計算に基づいて決定される。例えば、仮想アクティブ空間と仮想計画物体との間の空間関係を決定するために、空間プロパティ（例えば、位置又は方位）、形状、及びＶＰＯＢなどの物体プロパティを計算することができる。この例では、ロボットシステム１０００は、仮想計画物体が仮想アクティブ空間とオーバーラップするか否かを判定することができる。さらに、仮想環境３６００は動的システムであるため、ステップＳ３３５０で決定された空間関係も、仮想環境３６００内の仮想物体の動的に変更された物体プロパティに基づいて動的に更新される。
【０１２４】
いくつかの実施形態では、空間関係は数値的に決定されてもよい。例えば、ロボットシステム１０００は、器具１２００の補償評価を取得することができる。補償評価は、複数の独立変数の関数であり、複数の独立変数は器具１２００に対応する仮想器具の空間プロパティ（例えば、位置及び方位）、器具１２００の仮想作業空間又は仮想アクティブ空間の形状（又は幾何学的境界）、少なくとも１つの仮想計画物体の空間プロパティ、及び少なくとも１つの仮想計画物体の形状を含む。補償評価の値は、器具１２００の現在の空間プロパティに基づいて、所定の医療手術計画からの器具の空間偏差を補正するために、ツール１２５０の空間プロパティを操作する器具１２００のマニピュレータ１２１０の能力を表す。
【０１２５】
例えば、仮想器具３６０４の位置、方位、又は位置及び方位の両方が範囲にない、即ち、仮想器具３６０４の仮想作業空間が仮想計画物体をカバーしない場合、補償評価の値は、ゼロから１０までのスケールでゼロなどの最小値に設定されてもよい。したがって、器具１２００が所定の医療手術計画に基づいて、ツール１５００を操作するためにマニピュレータ１２１０を効果的に使用することを禁止する。別の例では、仮想器具３６０４の位置、方位、又は位置及び方位の両方が範囲内にある、即ち、仮想器具３６０４の仮想作業空間が仮想計画物体をカバーする場合、補償評価の値は、ゼロから１０までのスケールで１０などの最大値に設定されてもよい。したがって、器具１２００が医療手術計画に基づいて、ツール１５００を操作するためにマニピュレータ１２１０を効果的に使用することを可能にする。
【０１２６】
再び図１２を参照する。ロボットシステム１０００は、ステップＳ３３７０において、ナビゲーション指示３６０２を生成し、及び／又はナビゲーション指示３６０２を出力する。ナビゲーション指示３６０２は、ロボットシステム１０００のユーザに提示されるように、ユーザインタフェース１８００によって受信されてもよい。
【０１２７】
ステップＳ３３７０において、ロボットシステム１０００は、少なくとも１つのナビゲーション指示３６０２を生成し、ロボットシステム１０００のユーザに提示するためのナビゲーション指示３６０２を出力する。ナビゲーション指示３６０２は、ステップＳ３３５０で決定された空間関係に基づいて、器具１２００の手動操作のコンピュータ生成提案である。例えば、ステップＳ３３７０において、ロボットシステム１０００は、ナビゲーション指示３６０２を生成して、ロボットシステム１０００のユーザに、器具１２００を手動で特定の位置に移動させるように、又は器具１２００の方位を特定の方位の範囲内に維持するように提案することができる。
【０１２８】
この実施形態では、ロボットシステム１０００のユーザは、空間関係を観察し、その後、操作の対応するアクションを得ることによって通知されてもよい。例えば、医療手術中に、ユーザは、器具の作業空間が目標の解剖学的部位に含まれていないことを指摘するナビゲーション指示を受け取ることができる。したがって、ユーザは、それに応じて器具１２００の位置／方位を手動で調整することができる。別の例では、医療手術中に、ユーザは、器具１２００の現在の位置／方位に関する補償評価を受け取ることができる。したがって、ユーザは、医療手術計画に基づいて、器具１２００の現在の位置／方位に関する器具１２００の補償の能力を理解することができ、その後、それに応じて器具１２００の位置／方位を手動で調整することができる。
【０１２９】
いくつかの実施形態では、ロボットシステム１０００は、仮想環境内の仮想物体間の位置関係又は方位関係に基づいてナビゲーション指示３６０２を生成する。例えば、ナビゲーション指示は、ロボットシステム１０００のユーザに、器具の位置／方位を変更するように通知することができる。別の例では、ロボットシステム１０００は、仮想器具と仮想計画物体との間の位置関係、及び仮想計画物体の仮想計画物体属性（ＶＰＯＡ）に基づいて、ナビゲーション指示３６０２を生成することができる。
【０１３０】
いくつかの実施形態では、ロボットシステム１０００は、ロボットシステム１０００が安全状態にあることをロボットシステム１０００のユーザに通知するように構成されたナビゲーション指示３６０２を生成することができる。安全状態は、ロボットシステム１０００が所定の医療手術計画に準拠している状態であってもよい。例えば、安全状態は、器具が望ましくない位置にない状態であってもよい。
【０１３１】
いくつかの実施形態では、ロボットシステム１０００は、ロボットシステム１０００が不安全状態にあることをロボットシステム１０００のユーザに通知するように構成されたナビゲーション指示３６０２を生成することができる。不安全状態は、ロボットシステム１０００が所定の医療手術計画に準拠していない状態であってもよい。例えば、安全状態は、器具が望ましくない位置にある状態であってもよい。
【０１３２】
ステップＳ３３７０において、ロボットシステム１０００によって生成されたナビゲーション指示３６０２は、テキスト、スクリプト、２次元又は３次元画像のデータとして出力されてもよい。
【０１３３】
いくつかの実施形態では、ステップＳ３３００は、制御信号（図示せず）を生成するステップ（Ｓ３３９０）をさらに含んでもよい。ステップＳ３３９０において、ロボットシステム１０００は、ステップＳ３３５０で決定された少なくとも１つの空間関係に基づいて、少なくとも１つの制御信号セットを生成してもよい。例えば、ロボットシステム１０００は、ステップＳ３３５０で決定される空間関係に基づいて、器具１２００の少なくとも１つの機能をアクティブ化又は非アクティブ化するための制御信号を生成してもよい。
【０１３４】
ステップＳ３５００において、仮想環境及び／又はナビゲーション指示は、ユーザインタフェース１８００を介してロボットシステム１０００のユーザに提示される。仮想環境の提示及びナビゲーション指示は、視覚的に、聴覚的に、及び／又は他の手段によって実行されてもよい。
【０１３５】
図１４を参照する。本開示の一実施形態によれば、ステップＳ３５００は、仮想環境３６００及び／又はナビゲーション指示３６０２をレンダリングするステップ（Ｓ３５１０）を含む。この実施形態では、仮想環境３６００及びナビゲーション指示３６０２は、仮想環境３６００及び／又はナビゲーション指示３６０２の３次元グラフィックスをレンダリング及び表示することにより、視覚的に提示される。ステップＳ３５１０で生成されたレンダリング３５０１は、表示装置１８１３に表示されてもよい。
【０１３６】
ステップＳ３５１０において、プロセッサ１７１０は、特定の視点から仮想環境の画像を生成することができる。例えば、通常、特定の位置にある仮想カメラは、仮想環境を取り込むように構成される。次いで、仮想カメラによって取り込まれた仮想環境の画像又はビデオが表示装置上に表示される。レンダリング処理によって生成された画像は、レンダリング３５０１と呼ばれることができる。
【０１３７】
レンダリング処理は、当業者には３次元コンピュータグラフィックスとして知られているはずである。レンダリングは、コンピュータグラフィックスパイプラインによって記述されることが多い。アプリケーションプログラミングインタフェース（ＡＰＩ）は、様々なタイプの３次元グラフィックスハードウェアのためのグラフィックパイプラインのステップを統一するために作成された。例えば、ＡＰＩは、ＶＴＫ（Ｖｉｓｕａｌｉｚａｔｉｏｎ  Ｔｏｏｌｋｉｔ）システム、Ｄｉｒｅｃｔ３Ｄシステム、又はＯｐｅｎＧＬシステムなどである。レイアウトを表示装置１８１３に表示するために、グラフィックパイプラインが実行されてもよい。表示装置１８１３は、テレビセット、コンピュータモニタ、パネル、又はヘッドマウントディスプレイであってもよい。
【０１３８】
いくつかの実施形態では、レンダリング処理によって生成されたレンダリングは、グラフィカルユーザインタフェースアプリケーション３５０３と統合されてもよい。ロボットシステム１０００のＧＵＩアプリケーション３５０３は、３次元レンダリングを表示するための領域を含んでもよい。他の領域は、手術前の解剖学的画像を表示するための機能、マニピュレータ制御のための機能、又は他の機能など、他の機能を提供することができる。
【０１３９】
いくつかの実施形態では、ロボットシステム１０００のＧＵＩアプリケーションは、レンダリングに加えて、グラフィックスを生成するために、ナビゲーション方法３０００のナビゲーションデータ、仮想環境３６００、及びナビゲーション指示３６０１を利用してもよい。
【０１４０】
図１４を参照すると、表示装置１８１３上に表示される、ＧＵＩアプリケーション１８１５の例示的な実施形態が示されている。ＧＵＩアプリケーション１８１５は、仮想環境のレンダリング３５０１を含む。レンダリング３５０１は、仮想解剖学的構造２１１０及び仮想計画物体３６０３を含む。この実施形態では、レンダリングが器具１２００の方位の方向に平行な視角から行われる。
【０１４１】
この実施形態では、ＧＵＩアプリケーション１８１５は、ＧＵＩアプリケーション１８１５によって生成された１組の２次元アイコンも表示する。１組の２次元アイコンはレンダリング３５０１とオーバーラップし、相互作用する。１組の２次元アイコンは、ドーナツアイコン３５０５、円形ポイントアイコン３５０７、及び円アイコン３５０９を含んでもよい。ドーナツアイコン３５０５の位置は、実空間における器具によるアクティブ空間の位置を表す。円形ポイントアイコン３５０７の位置は、器具１２００のツール１２５０の先端の位置を表す。
【０１４２】
この実施形態では、ＧＵＩアプリケーション１８１５はまた、ナビゲーション指示３６０２を表示して、器具１２００の提案された移動方向を提供してもよい。ナビゲーション指示３６０２は、３次元モデルレンダリング又はＧＵＩ生成２次元アイコンとされてもよい。
【０１４３】
本実施形態では、円アイコン３５０９は、ドーナツアイコン３５０５に対して移動可能である。ドーナツアイコン３５０５に対する円アイコン３５０９の相対位置は、器具１２００の方位を表す。図１５、図１６、及び図１７に例示されるように、器具１２００の方位は、器具１２００の空間センサデータから取得され、次いで、ドーナツアイコン３５０５に対する円アイコン３５０９の相対位置によって提示されてもよい。図１５において、円アイコン３５０９は、器具１２００がｚ軸に平行に向けられることで、ドーナツアイコン３５０５の中心に配置される。図１６において、器具１２００がｚ軸に対してｘ軸上の角度で配向されることで、円アイコン３５０９はｘ方向に沿って、ドーナツアイコン３５０５の中心からの変位として位置付けられる。図１７において、器具１２００がｚ軸に対してｘ軸上の角度で配向され、この角度は、器具１２００の有効な方位３５１１の所定の範囲を超える。いくつかの実施形態では、器具１２００の有効な方位３５１１の所定の範囲は、仮想計画物体のＶＰＯＡ又は器具データに記述されて、例えば、脊椎を穿孔するなどの医療手術の所定の角度範囲を表してもよい。いくつかの他の実施形態では、器具１２００の有効な方位３５１１の所定の範囲は、仮想器具３６０４及び考慮中の仮想計画物体の相対位置を無視して、仮想作業空間又は仮想アクティブ空間が仮想器具３６０４の方位に基づいて仮想計画物体を完全にカバーしているか否かの範囲として定義されてもよい。円アイコン３５０９の色は、器具１２００の方位が有効な方位３５１１の範囲を超えることをユーザに通知するように変更することができる。
【０１４４】
いくつかの他の実施形態では、仮想環境又は２次元アイコンは、医療手術の作業空間プログレスバーを表してもよい。例えば、作業空間プログレスバーは、所定の穿孔計画ルートの終点と、器具の作業空間／アクティブ空間の点との間の距離の比率に基づいて生成されてもよい。作業空間プログレスバーを参照することにより、ユーザには、器具の現在の位置／方位で所定の医療手術を完了することができるか否か、又は所定の医療手術を完了するためにユーザが手動で器具を最適な位置又は方位に移動又は操作しなければならないか否かの感覚が提供される。
【０１４５】
実施形態において、作業空間プログレスバーは、円周方向においてドーナツアイコン３５０５上にカラーバーとして表示されてもよい。別の例では、作業空間プログレスバーは、３次元モデルレンダリングとして表示することができる。
【０１４６】
本発明の一実施形態によれば、仮想環境及びナビゲーション指示を提示するステップ（Ｓ３５００）は、内視鏡画像データを表示するステップをさらに含んでもよい。内視鏡画像データは、仮想環境に登録された仮想内視鏡表示面に表示されてもよい。或いは、内視鏡画像データは、仮想環境のレンダリングに重畳されたＧＵＩ生成領域に表示されてもよい。内視鏡画像データは特定のカメラ角度で内視鏡装置４１１０によって取得されるので、ユーザインタフェースは、ロボットシステムのユーザが仮想環境のレンダリングの視野角を操作することを可能にする制御パネルを提供してもよい。レンダリングの視野角がカメラ角度と一致する場合、ユーザは仮想環境上で拡張された内視鏡画像データを観察することが可能であり、換言すれば、内視鏡画像データは、仮想環境内の仮想解剖学的構造と空間的かつタイムリーに一致する。
【０１４７】
本開示の一実施形態によるナビゲーション方法３０００において、仮想環境及びナビゲーション指示を提示するステップ（Ｓ３５００）は、仮想環境及びナビゲーション指示を別のタイプの提示で提示するステップ（Ｓ３５２０）をさらに含んでもよい。
【０１４８】
一実施形態によると、ロボットシステム１０００は、マニピュレータを使用して、特定の目的地に向かう方向を示すことができ、その結果、ロボットシステム１０００のユーザは、指示された方向を参照して、器具１２００を移動させることができる。別の実施形態では、ロボットシステム１０００は、光インジケータを含んでもよい。光インジケータは、特定の方向を表すための少なくとも１つのサブグループ照明要素を含んでもよい。その結果、ロボットシステム１０００のユーザは、器具を動かす方向を参照することができる。例えば、光インジケータは、発光ダイオードのアレイを含む装置であってもよい。さらに別の実施形態では、ロボットシステム１０００は、オーディオ信号によってナビゲーション指示をユーザに通知するために、オーディオモジュールを使用してもよい。例えば、ロボットシステム１０００は、ナビゲーション指示を記述するための警告音を提供することができる。
【０１４９】
要約すると、本開示の様々な実施形態によれば、ロボットシステム１０００は、器具１２００のマニピュレータ１２１０の作業空間に関するデータを利用して、ロボットシステム１０００のユーザにナビゲーション指示３６０２を提供する。ロボットシステム１０００のユーザは、ナビゲーション指示３６０２を参照することにより、器具１２００の位置及び／又は方位に基づいて、所定の医療手術計画からのツール１２５０の位置又は方位の偏差を補正する器具の能力の感覚を提供される。さらに、ナビゲーション指示はまた、器具１２００の位置及び／又は方位に基づいて、所定の医療手術計画からのツール１２５０の位置又は方位の偏差を補正する器具の能力を改善するように、器具を最適な位置又は方位に手動で操作する方法に関する提案をユーザに通知する。
【０１５０】
上記説明は、本開示の実施形態にすぎず、本開示の範囲を限定することを意図しない。本開示の特許請求の範囲及び明細書による多くの変形及び修正は、依然として特許請求の範囲の開示の範囲内である。さらに、実施形態及び特許請求の範囲のそれぞれは、開示された利点又は特徴の全てを達成する必要はない。さらに、要約書及び発明の名称は、特許文献の調査を容易にするのに役立つだけであり、クレームされた開示の範囲を限定することを決して意図したものではない。
【図１】
2022500204.tif 000003
【図２】
2022500204.tif 000004
【図３】
2022500204.tif 000005
【図４】
2022500204.tif 000006
【図５】
2022500204.tif 000007
【図６】
2022500204.tif 000008
【図７】
2022500204.tif 000009
【図８】
2022500204.tif 000010
【図９】
2022500204.tif 000011
【図１０】
2022500204.tif 000012
【図１１】
2022500204.tif 000013
【図１２】
2022500204.tif 000014
【図１３】
2022500204.tif 000015
【図１４】
2022500204.tif 000016
【図１５】
2022500204.tif 000017
【図１６】
2022500204.tif 000018
【図１７】
2022500204.tif 000019
【国際調査報告】
2022500204.tif 000020
2022500204.tif 000021
2022500204.tif 000022