(57)【要約】  眼科手術システムは、外科手術用顕微鏡に光学的に結合されたカメラと、外科医が着用するバーチャルリアリティ（ＶＲ）ヘッドセットと、外科手術用顕微鏡、ＶＲヘッドセットおよび眼科手術装置と通信するように構成されたＶＲデータ処理ユニットとを備え、ＶＲデータ処理ユニットは、カメラから受信された映像のリアルタイム映像スクリーンをＶＲヘッドセットに投影するステップと、眼科手術の間に外科医に患者情報を直接提供するために、患者情報スクリーンをＶＲヘッドセットに投影するステップと、外科手術装置情報スクリーンをＶＲヘッドセットに投影するステップと、外科手術装置の直接制御を外科医に提供するために、外科手術装置入力制御スクリーンをＶＲヘッドセットに投影するステップと、ＶＲヘッドセットによって検出されるような外科医の頭の動きを示すＶＲヘッドセットベースの入力で、どのスクリーンを見えるようにするかを制御するステップとを行うように構成される。
2019523045.tif 000002
【特許請求の範囲】
【請求項１】
外科手術用顕微鏡に光学的に結合された３Ｄカメラと、
外科医が着用するバーチャルリアリティ（ＶＲ）ヘッドセットと、
患者の眼科手術を実行するために前記３Ｄカメラ、前記ＶＲヘッドセットおよび外科手術装置と通信するように構成されたＶＲデータ処理ユニットと
を備える眼科手術システムであって、前記ＶＲデータ処理ユニットが、
前記３Ｄカメラから受信された映像のリアルタイム映像スクリーンを前記ＶＲヘッドセットに投影するステップと、
眼科手術の間に前記外科医に患者情報を直接提供するために、患者情報スクリーンを前記ＶＲヘッドセットに投影するステップと、
前記外科手術装置の現コンテキストを示す外科手術装置情報スクリーンを前記ＶＲヘッドセットに投影するステップと、
前記外科手術装置の直接制御を前記外科医に提供する外科手術装置入力制御スクリーンを前記ＶＲヘッドセットに投影するステップと、
前記ＶＲヘッドセットによって検出されるような前記外科医の頭の動きを示すＶＲヘッドセットベースの入力で、前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンのうちのどれを見えるようにするかを制御するステップと
を行うように構成される、眼科手術システム。
【請求項２】
前記外科医には、
ジェスチャ解釈、
外科医の眼の追跡、
フットスイッチ、
トラックボール、および、
脳波パターン認識
の少なくとも１つを通じて、前記ＶＲヘッドセットからの前記外科手術装置の制御が提供される、請求項１に記載のシステム。
【請求項３】
前記ＶＲデータ処理ユニットが、
前記ＶＲヘッドセットに位置する加速度計からのフィードバックを受信するステップであって、前記フィードバックが、前記外科医の頭の前方または後方への動きを示す、ステップと、
前記受信されたフィードバックに基づいて、前記３Ｄカメラのズームを調整するステップと
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項４】
前記ＶＲデータ処理ユニットが、
前記ＶＲヘッドセットからセンサ出力を受信することと、
前記受信されたセンサ出力に基づいて、外科医の左右および上下の頭の動きを決定することと
によって、前記ＶＲヘッドセットにおいて、前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンのうちのどれを見えるようにするかを制御する、請求項１に記載のシステム。
【請求項５】
前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンの各々には、回転角度および／または傾斜角度の対応する範囲が割り当てられ、
前記ＶＲデータ処理が、
前記ＶＲヘッドセットからセンサ出力を受信することであって、前記センサ出力が、前記外科医の頭の測定された回転角度および／または傾斜角度を示す、受信することと、
前記外科医の頭の測定された回転角度および／または傾斜角度をカバーする回転角度および／または傾斜角度の対応する範囲を有する前記スクリーンの各々を表示することと
によって、前記ＶＲヘッドセットにおいて、前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンのうちのどれを見えるようにするかを制御する、請求項１に記載のシステム。
【請求項６】
前記患者情報スクリーンに表示される前記患者情報が、患者の病歴、医師の注記および画像の任意の組合せを含む、請求項１に記載のシステム。
【請求項７】
前記外科手術装置の現コンテキストが、デバイス動作パラメータを含む、請求項１に記載のシステム。
【請求項８】
前記ＶＲデータ処理ユニットが、手術室に位置するモニタ上に、前記３Ｄカメラから受信された前記映像を表示するようにさらに構成される、請求項１に記載のシステム。
【請求項９】
外科医の強化された手術経験を提供するための方法であって、
ＶＲデータ処理ユニットが外科手術用顕微鏡に光学的に結合された３Ｄカメラからリアルタイム映像を受信することに応答して、前記ＶＲデータ処理ユニットによって、前記３Ｄカメラから受信された前記映像のリアルタイム映像スクリーンをＶＲヘッドセットに投影するステップと、
前記ＶＲデータ処理ユニットがネットワーク上で患者データを受信することに応答して、前記ＶＲデータ処理ユニットによって、眼科手術の間に患者情報スクリーンを前記ＶＲヘッドセットに投影するステップと、
前記ＶＲデータ処理ユニットが前記患者の眼科手術を実行するために外科手術装置から外科手術装置の現コンテキスト情報を受信することに応答して、前記ＶＲデータ処理ユニットによって、前記外科手術装置の前記現コンテキストを示す外科手術装置情報スクリーンを前記ＶＲヘッドセットに投影するステップと、
前記ＶＲデータ処理ユニットが外科手術装置情報を受信することに応答して、前記ＶＲデータ処理ユニットによって、前記外科手術装置の直接制御を前記外科医に提供する外科手術装置入力制御スクリーンを前記ＶＲヘッドセットに投影するステップと、
前記ＶＲデータ処理ユニットによって、前記ＶＲヘッドセットによって検出されるような前記外科医の頭の動きを示すＶＲヘッドセットベースの入力で、前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンのうちのどれを見えるようにするかを制御するステップと
を含む、方法。
【請求項１０】
前記外科医には、
ジェスチャ解釈、
外科医の眼の追跡、
フットスイッチ、
トラックボール、および、
脳波パターン認識
の少なくとも１つを通じて、前記ＶＲヘッドセットからの前記外科手術装置の制御が提供される、請求項９に記載の方法。
【請求項１１】
前記ＶＲデータ処理ユニットが、前記ＶＲヘッドセットに位置する加速度計からのフィードバックを受信することであって、前記フィードバックが、前記外科医の頭の前方または後方への動きを示す、受信することに応答して、前記受信されたフィードバックに基づいて、前記３Ｄカメラのズームを調整するステップをさらに含む、請求項９に記載の方法。
【請求項１２】
前記ＶＲデータ処理ユニットが、
前記ＶＲヘッドセットからセンサ出力を受信することと、
前記受信されたセンサ出力に基づいて、外科医の左右および上下の頭の動きを決定することと
によって、前記ＶＲヘッドセットにおいて、前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンのうちのどれを見えるようにするかを制御する、請求項９に記載の方法。
【請求項１３】
前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンの各々には、回転角度および／または傾斜角度の対応する範囲が割り当てられ、
前記ＶＲデータ処理が、
前記ＶＲヘッドセットからセンサ出力を受信することであって、前記センサ出力が、前記外科医の頭の測定された回転角度および／または傾斜角度を示す、受信することと、
前記外科医の頭の測定された回転角度および／または傾斜角度をカバーする回転角度および／または傾斜角度の対応する範囲を有する前記スクリーンの各々を表示することと
によって、前記ＶＲヘッドセットにおいて、前記リアルタイム映像スクリーン、前記患者情報スクリーン、前記外科手術装置情報スクリーンおよび前記外科手術装置入力制御スクリーンのうちのどれを見えるようにするかを制御する、請求項９に記載の方法。
【請求項１４】
前記患者情報スクリーンに表示される前記患者情報が、患者の病歴、医師の注記および画像の任意の組合せを含む、請求項９に記載の方法。
【請求項１５】
前記外科手術装置の現コンテキストが、デバイス動作パラメータを含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、眼科手術に関し、より具体的には、バーチャルリアリティ頭部装着ディスプレイを使用した強化眼科手術経験に関する。
【背景技術】
【０００２】
現在の外科手術室は、典型的には、外科手術において３人の主要な人員、すなわち、外科医、器械出し看護師および外回り看護師を必要とする。外科医および器械出し看護師は殺菌消毒を行うが、外回り看護師はそうではない。典型的には、患者に隣接し且つ外科医の制御から離れて配置しなければならない物理的な外科手術装置が使用される。眼科手術では、例えば、外科手術装置は、後部および前部手術能力を有する硝子体網膜システムを備え得る。外科手術装置は、眼科顕微鏡と、高速切除を提供する硝子体切除術用プローブと、照明器と、ＧＵＩ（グラフィカルユーザインタフェース）を有するタッチパネルスクリーンと、モニタ上のシステムスクリーンから制御される埋め込みレーザとを含み得る。
【０００３】
現在、外科医は、典型的には、顕微鏡を覗き込んで患者の眼を見るだけであり、外科手術装置の制御は、外科医がフットスイッチを使用することによって、または、外科医から看護師へ口頭指示を行い、看護師がタッチパネル上のＧＵＩを使用して外科手術装置と手動で交信することによって行われる。すべての患者情報（例えば、注記、画像など）は、殺菌環境では外科医は利用できないため、手術が始まる前に再検討しなければならない。他のシステムまたは他の製品から来る他のタイプの手術データは、外科医に読んで知らせるか、または、外科医が顕微鏡から眼を離してデータを見なければならない。結果的に、外科医によって使用されるデータ源は、別個のおよび独立したものであり、医師が顕微鏡から彼または彼女の頭を持ち上げる度に手術の流れが中断される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
それに従って、特に眼科手術の間に、外科医の手術経験を強化する改善された外科手術システムを提供することが望ましい。
【課題を解決するための手段】
【０００５】
例示的な実施形態は、外科医の眼科手術経験を強化するための方法およびシステムを提供する。眼科手術システムは、外科手術用顕微鏡に光学的に結合されたカメラと、外科医が着用するバーチャルリアリティ（ＶＲ）ヘッドセットと、患者の眼科手術を実行するために外科手術用顕微鏡、ＶＲヘッドセットおよび眼科手術装置と通信するように構成されたＶＲデータ処理ユニットとを備え、ＶＲデータ処理ユニットは、カメラから受信された映像のリアルタイム映像スクリーンをＶＲヘッドセットに投影するステップと、眼科手術の間に外科医に患者情報を直接提供するために、患者情報スクリーンをＶＲヘッドセットに投影するステップと、外科手術装置情報スクリーンをＶＲヘッドセットに投影するステップと、外科手術装置の直接制御を外科医に提供するために、外科手術装置入力制御スクリーンをＶＲヘッドセットに投影するステップと、ＶＲヘッドセットによって検出されるような外科医の頭の動きを示すＶＲヘッドセットベースの入力で、どのスクリーンを見えるようにするかを制御するステップとを行うように構成される。
【０００６】
本明細書で開示される方法およびシステムによれば、例示的な実施形態は、ＶＲヘッドセットを覗き込みながら手術が実行される手術経験を提供し、ＶＲヘッドセットは、複数のバーチャルリアリティ手術用器具スクリーンを投影し、複数のバーチャルリアリティ手術用器具スクリーンは、手術の間に外科医に患者情報を提供し、外科医が外科手術装置に直接アクセスして制御できるようにし、すべてにおいて、看護師が介入することまたは手術の流れが邪魔されることはない。
【０００７】
本開示およびその利点のより完全な理解のため、ここでは、添付の図面と併せて以下の説明を参照し、添付の図面では、同様の参照番号は、同様の特徴を示す。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態を実装することができる例示的な眼科手術システムを示すブロック図である。
【図２】ＶＲヘッドセットを使用した外科医の改善された手術経験を提供するためのプロセスの一実施形態を示すフロー図である。
【図３】ＶＲヘッドセットで表示可能なスクリーンの例を示す図である。
【発明を実施するための形態】
【０００９】
例示的な実施形態は、手術経験を強化する眼科手術システムを提供することに関する。以下の説明は、当業者が本発明を作成したり使用したりできるようにするために提示され、特許出願およびその要件の文脈において提供される。本明細書で説明される例示的な実施形態ならびに一般的な原理および特徴の様々な変更形態は、容易に明らかであろう。例示的な実施形態は、主に、特定の実装形態で提供される特定の方法およびシステムの観点から説明される。しかし、方法およびシステムは、他の実装形態でも効果的に動作する。「例示的な実施形態」、「一実施形態」および「別の実施形態」などの記載は、同じまたは異なる実施形態を指し得る。実施形態は、一定のコンポーネントを有するシステムおよび／またはデバイスに関して説明される。しかし、システムおよび／またはデバイスは、示されるものより多いかまたは少ないコンポーネントを含み得、コンポーネントの配置およびタイプの変更は、本発明の範囲から逸脱することなく行うことができる。また、例示的な実施形態は、一定のステップを有する特定の方法の文脈においても説明される。しかし、方法およびシステムは、異なるおよび／または追加のステップならびに例示的な実施形態とは一致しない異なる順番のステップを有する他の方法に対しても効果的に動作する。従って、本発明は、示される実施形態に限定することは意図しないが、本明細書で説明される原理および特徴と一致する最も広い範囲を与えることを意図する。
【００１０】
例示的な実施形態は、手術を実行する間に外科手術マシンへの外科医のアクセスおよび情報制御を改善するために、バーチャルリアリティ（ＶＲ）ヘッドセットを使用した外科医の強化眼科手術経験を提供する。ＶＲヘッドセットは、着用者（すなわち、外科医）が外科手術装置を直接制御できるようにする。表示のために、いくつかのタイプのＶＲスクリーンをＶＲヘッドセットで同時に利用可能にすることができる。最小限に、高解像度または超高解像度の３Ｄ外科手術用顕微鏡ビデオ画像スクリーンがＶＲヘッドセットに投影される。また、患者およびマシン情報に関連するＶＲスクリーンは、ＶＲヘッドセットに提示するために、外科医によるアクセスが可能である。追加のバーチャル手術用器具スクリーンは、外科医が物理的な外科手術装置を制御できるようにするために、ＶＲヘッドセットで見ることができる。様々なＶＲスクリーンのナビゲーションは、外科医の頭の動きを通じてまたはフットスイッチコマンドを通じて実行することができる。
【００１１】
図１は、本発明の一実施形態を実装することができる例示的な眼科手術システムを示すブロック図である。眼科手術システム１０は、外科手術装置１２と、外科手術装置に結合された顕微鏡１４と、顕微鏡１４に光学的に結合されたカメラ（３Ｄカメラ１６など）と、外科医が着用するバーチャルリアリティ（ＶＲ）ヘッドセット１８と、外科手術装置１２、顕微鏡１４、３ＤカメラおよびＶＲヘッドセット１８に通信可能に結合された（有線または無線通信を介して）ＶＲデータ処理ユニット２０とを含み得る。一実施形態では、顕微鏡１４は、３Ｄ外科手術用顕微鏡を含み得る。
【００１２】
一実施形態では、外科手術装置１２は、従来のマイクロ手術システムを備え得る。例えば、外科手術装置１２は、前部手術（例えば、白内障手術）および後部手術（例えば、硝子体網膜手術）の一方または両方のためのものである眼科マイクロ手術システムを備え得る。例えば、外科手術装置１２が後部手術のためのものである実施形態では、外科手術装置１２は、高速切除を提供し、且つ、真空および切除とは無関係の流れ制御のためにデューティサイクルを修正する能力を提供する硝子体切除術用プローブと、組織を視覚化するための照明を提供するキセノン照明器と、埋め込みレーザとを含み得る。
【００１３】
例示的な実施形態の一態様によれば、外科手術装置１２には、顕微鏡１４に取り付けられたカメラ１６が提供される。また、外科手術装置１２には、ＶＲデータ処理ユニット２０とＶＲヘッドセット１８の両方を提供することもでき、ＶＲデータ処理ユニット２０は、１つまたは複数のバーチャルリアリティ手術用器具スクリーン（ＶＲスクリーン）をＶＲヘッドセット１８に投影するように構成することができる。例えば、ＶＲデータ処理ユニット２０は、カメラ１６からのビデオ画像のリアルタイムの映像スクリーンを少なくとも表示し、その結果、外科医は、顕微鏡１４を通じてというよりむしろ、ＶＲヘッドセット１８を覗き込むことによって手術を実行する。眼科手術の間にＶＲヘッドセット１８で利用可能になった他のバーチャル手術用器具スクリーンは、外科医が、外科手術装置を直接制御できるようにし、格納された患者情報を遠隔操作で見られるようにする。これらのＶＲスクリーンは、ＶＲヘッドセット１８によって検出されるような外科医による頭の動きを使用してまたは外科手術装置入力制御２２を用いて探索することができる。
【００１４】
ＶＲデータ処理ユニット２０は、イーサネットなどのネットワーク接続を通じて外科手術装置１２に結合することができ、外科手術装置１２およびＶＲデータ処理ユニット２０は、ネットワーク接続上で装置制御ステータスデータを交換する。また、外科手術装置入力制御２２は、外科医の（および／または看護師の）入力をＶＲデータ処理ユニット２０に中継する。さらなる実施形態では、ＶＲデータ処理ユニット２０は、有線または無線ネットワーク３０上で、リモートの患者データ２６に結合することができ、任意選択により、１つまたは複数の第三者データ源２８に結合することができる。患者データ２６は、患者情報および画像（例えば、病歴、医師の注記、Ｘ線写真など）を格納する患者データベースに格納することができる。
【００１５】
動作中、カメラ１６は、患者の眼の３Ｄ映像をＶＲデータ処理ユニット２０に送信し、ＶＲデータ処理ユニット２０は、外科医に表示するために３Ｄ映像をＶＲヘッドセット１８に渡す。また、ＶＲデータ処理ユニット２０は、３Ｄモニタ２４などのモニタ上に、３Ｄカメラ１６からの３Ｄ映像を表示することもでき、その結果、手術室の他の人々も患者の眼の３Ｄ映像を見ることができる。
【００１６】
様々なＶＲスクリーンのナビゲーションは、外科医の頭の動きを通じておよび／またはフットスイッチコマンドを通じて実行することができる。カメラ１６は、外科医が彼または彼女の頭を前方または後方に動かす際に、ＶＲヘッドセットに位置し得る加速度計からのフィードバックを使用して、プログラム制御の下でズームインおよびズームアウトすることができる。また、ＶＲヘッドセット１８は、外科医の左右および上下の頭の動きを検出するためにＶＲヘッドセット１８に接続されたＶＲデータ処理ユニット２０によって読み取られるＭＥＭＳ（微小電気機械システム）ジャイロスコープセンサ出力も含み得る。これらの動きは、所定の時刻にどのＶＲスクリーンをＶＲヘッドセット１８に表示するかを制御するために、ＶＲデータ処理ユニット２０によって使用することができる。別の実施形態では、ＶＲスクリーンのサイズを低減することによって、複数のＶＲスクリーンを一度に表示することができる。
【００１７】
外科手術装置１２は、外科手術装置入力制御２２によって制御することができる。一実施形態では、外科手術装置入力制御２２は、ＧＵＩ（グラフィカルユーザインタフェース）および任意選択のフットスイッチを有する連結式のタッチパネルスクリーンを備え得る。一実施形態では、外科手術装置入力制御２２は、外科医入力をＶＲデータ処理ユニット２０に送信することができる。外科医入力は、スワイプ、ボタン／スイッチ押し、ナビゲーションまたはピンチおよびストレッチであり得る。これらの外科医入力は、動作もしくはジェスチャ解釈、外科医の眼の追跡、フットスイッチ、トラックボールおよび／または脳波パターン認識を通じてＶＲヘッドセット１８から表すことができる。
【００１８】
ある実施形態では、ＶＲデータ処理ユニット２０は、１つまたは複数のプロセッサと、メモリとを含む。１つまたは複数のプロセッサは、図２に記載され且つ上記で説明されるプロセスを引き起こしたり制御したりするために、メモリに格納された命令を実行するように構成することができる。本明細書で使用される場合、プロセッサは、１つもしくは複数のマイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラまたは他の任意の適切なコンピューティングデバイスもしくはリソースを含み得、メモリは、揮発性または不揮発性メモリの形態を取ることができ、これらに限定されないが、磁気媒体、光媒体、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、取り外し可能媒体または他の任意の適切なメモリコンポーネントを含む。メモリは、プログラムおよびアルゴリズムのための命令を格納することができ、命令は、プロセッサによって実行されると、機能性の処理を含めて、そのようなプロセッサ、メモリまたはコンポーネントに関する本明細書で説明される機能性を実装する。
【００１９】
図２は、ＶＲヘッドセット１８を使用した外科医の強化または改善された眼科手術経験を提供するためのプロセスの一実施形態を示すフロー図である。ＶＲヘッドセット１８を使用する目的は、手術を実行する間に外科手術装置１２への外科医のアクセスおよび情報制御を改善することである。特に断りのない限り、以下で説明されるプロセスは、好ましくは、ＶＲデータ処理ユニット２０によって実行され、処理ステップは、並行して、順次におよび／または異なる順番で実行することができる。
【００２０】
ＶＲデータ処理ユニット２０が、外科手術用顕微鏡１４上で３Ｄカメラ１６からリアルタイム映像を受信し、再表示のために１つまたは複数のメモリに映像を格納することに応答して、ＶＲデータ処理ユニット２０は、３Ｄカメラから受信された映像のリアルタイム映像スクリーンをＶＲヘッドセット１８に投影する（ブロック２００）。一実施形態では、リアルタイム映像スクリーンは、高解像度または超高解像度（例えば、４ｋ以上）で３Ｄ映像を表示することができる。
【００２１】
ＶＲデータ処理ユニット２０がネットワーク３０上で患者データ２６を受信することに応答して、ＶＲデータ処理ユニット２０は、眼科手術の間に外科医に患者情報を直接提供するために、患者情報スクリーンをＶＲヘッドセット１８に投影する（ブロック２０２）。一実施形態では、患者情報は、リモート患者データベースに患者データ２６として格納することができ、患者の病歴、医師の注記、Ｘ線写真および写真画像、ならびに、同様のもののいかなる組合せも含み得る。
【００２２】
ＶＲデータ処理ユニット２０が、外科手術装置１２から外科手術装置の現コンテキスト情報を受信し、再表示のために１つまたは複数のメモリに情報を格納することに応答して、ＶＲデータ処理ユニット２０は、現コンテキストを示す外科手術装置情報スクリーンをＶＲヘッドセット１８に投影する（ブロック２０４）。一実施形態では、現コンテキスト情報は、デバイス動作パラメータおよび同様のものを含み得る。
【００２３】
ＶＲデータ処理ユニット２０が、外科手術装置ＧＵＩ情報を受信し、再表示のために１つまたは複数のメモリに情報を格納することに応答して、ＶＲデータ処理ユニット２０は、外科手術装置１２の直接制御を外科医に提供する外科手術装置入力制御スクリーンをＶＲヘッドセット１８に投影する（ブロック２０６）。外科手術装置入力制御スクリーンの表示を通じて、ＶＲデータ処理ユニット２０は、ジェスチャ解釈、外科医の眼の追跡、フットスイッチ、トラックボールおよび脳波パターン認識の少なくとも１つを使用して、外科医が外科手術装置１２を直接制御できるようにする。
【００２４】
ＶＲデータ処理ユニット２０は、ＶＲヘッドセットによって検出されるような外科医の頭の動きを示す入力に基づいてＶＲヘッドセットにどのスクリーンを見えるようにするかを制御するようにさらに構成される（ブロック２０８）。一実施形態では、外科医の頭の現在の回転および／または傾斜角度を示すＶＲヘッドセット１８からのセンサ出力は、ＶＲデータ処理ユニット２０に送信される。ＶＲデータ処理ユニット２０のもう１つのソフトウェアコンポーネントは、センサ出力ならびに検出された外科医の左右および上下の頭の動きを受信する。一実施形態では、ＶＲスクリーンの各々には、メモリで表または同様のものに格納された回転角度および／または傾斜角度の範囲を割り当てることができる。次いで、各ＶＲスクリーンは、スクリーンの割り当てられた回転および／または傾斜角度とＶＲヘッドセット１８からのセンサ出力によって示される現在の回転および傾斜角度との間に一致が検出された際に表示することができる。
【００２５】
図３は、ＶＲヘッドセットで表示可能なスクリーンの例を示す図である。図は、ＶＲヘッドセット１８を着用している間にＶＲデータ処理ユニット２０によって生成された表示の外科医のビューを示す。外科医が彼の頭を動かすと、ＶＲデータ処理ユニット２０は、バーチャルリアリティスクリーンの異なるビューを表示する。この実施形態では、ＶＲデータ処理ユニット２０は、ＶＲヘッドセット１８のディスプレイにおいて、いくつかのバーチャルリアリティスクリーンを利用可能にする。この特定の例では、ＶＲデータ処理ユニット２０は、ＶＲヘッドセット１８において、４つのバーチャルリアリティスクリーンを同時に利用可能にすることができる。
【００２６】
ＶＲヘッドセット１８内の視野の中央部分では、ＶＲデータ処理ユニット２０は、３Ｄカメラからのリアルタイム映像スクリーン３００を表示することができる。左側では、ＶＲデータ処理ユニット２０は、外科手術装置の現コンテキストを示す外科手術装置入力制御２２からの外科手術装置情報スクリーン３０２を表示することができる。右側では、ＶＲデータ処理ユニット２０は、患者情報スクリーン３０４を表示することができ、患者情報スクリーン３０４は、手術の間に外科医が参考にするための手術前データおよび画像ならびに医師の注記を含み得る。下側では、ＶＲデータ処理ユニット２０は、外科医が外科手術装置１２を直接制御できるようにする外科手術装置入力制御スクリーン３０６を表示することができる。ＶＲデータ処理ユニット２０により、手術室カメラを介した手術室のビデオ画像または手術室に関係がある他の任意の関連データもしくは機能（例えば、麻酔情報）などの他のスクリーンを生成して表示することができる。
【００２７】
例示的な実施形態の一特徴によれば、ＶＲヘッドセット１８に投影された複数のＶＲスクリーンは、手術の間に外科医に事実上無制限の情報を提供し、看護師の介入なしで、外科医が外科手術装置１２への直接アクセスおよび制御を行えるようにする。これらのＶＲスクリーンのバーチャルな性質は、非拡張型の通常の人間の知覚では物理的に不可能であろう外科医の接近感知を可能にする。ＶＲヘッドセット１８のＶＲスクリーンの使用により、外科手術装置のサイズによって課される物理的な制限および情報共有のための殺菌制限が排除される。
【００２８】
ＶＲヘッドセットを使用した外科医の強化された手術経験を提供するための方法およびシステムについて開示してきた。本発明は、示される実施形態に従って説明してきたが、それらの実施形態の変形形態も存在し得、あらゆる変形形態は、本発明の精神および範囲内にある。例えば、例示的な実施形態は、ハードウェア、ソフトウェア、プログラム命令を含むコンピュータ可読媒体またはそれらの組合せを使用して実装することができる。本発明に従って記載されるソフトウェアは、メモリ、ハードディスク、ＣＤ／ＤＶＤ−ＲＯＭなどのコンピュータ可読媒体の何らかの形態に格納されるものであり、プロセッサによって実行されるものである。それに従って、添付の請求項の精神および範囲から逸脱することなく、当業者によって、多くの変更を行うことができる。
【図１】
2019523045.tif 000003
【図２】
2019523045.tif 000004
【図３】
2019523045.tif 000005
【国際調査報告】
2019523045.tif 000006
2019523045.tif 000007