(57)【要約】本開示の実施形態に従って提供されるのは、ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体である。例示的な方法は、手術部位に配置された患者画像捕捉デバイスの右目用レンズを経由して捕捉された右目視野画像を受信することと、患者画像捕捉デバイスの左目用レンズを経由して捕捉された左目視野画像を受信することと、右目視野画像および左目視野画像を分析することと、分析の結果に基づいて、右目視野画像または左目視野画像が特徴を含むかどうかを判定することと、右目視野画像または左目用画像が特徴を含むと判定されたとき、立体視知覚通知を生成することと、右目視野画像および左目視野画像に基づいて、立体視知覚通知を含む立体画像を表示することと、を含む。【選択図】図８
2020534050.tif 000002
【特許請求の範囲】
【請求項１】
ロボット外科手技中に立体視知覚通知を提供する方法であって、
手術部位に配置された患者画像捕捉デバイスの右目用レンズを経由して捕捉された右目視野画像を受信することと、
前記手術部位に配置された前記患者画像捕捉デバイスの左目用レンズを介して捕捉された左目視野画像を受信することと、
前記右目視野画像および左目視野画像を分析することと、
前記分析の結果に基づいて、前記右目視野画像または前記左目視野画像に特徴が含まれるかどうかを判定することと、
前記右目視野画像または前記左目視野画像に前記特徴が含まれると判定されるとき、立体視知覚通知を生成することと、
前記右目視野画像および前記左目視野画像に基づいて、立体画像を表示することであって、前記立体画像が、前記立体視知覚通知を含む、表示することと、を含む、方法。
【請求項２】
前記右目視野画像または前記左目視野画像に含まれる前記特徴の原因を特定することをさらに含む、請求項１に記載の方法。
【請求項３】
前記右目視野画像または前記左目視野画像に含まれる前記特徴の原因を前記特定することは、前記特徴が画像捕捉デバイス要因に関連することを判定することを含む、請求項２に記載の方法。
【請求項４】
前記右目視野画像または前記左目視野画像に含まれる前記特徴の前記原因を前記特定することは、前記特徴がシステム待ち時間要因に関連することを判定することを含む、請求項２に記載の方法。
【請求項５】
前記右目視野画像または前記左目視野画像に含まれる前記特徴の前記原因を前記特定することは、前記特徴が、手術部位要因に関連することを判定することを含む、請求項２に記載の方法。
【請求項６】
前記右目視野画像または前記左目視野画像に含まれる前記特徴の前記原因を前記特定することが、両眼視差、色の不均衡、鮮鋭度の不均衡、焦点の不一致、深度の不連続、またはスケールの不一致のうちの少なくとも１つを検出することを含む、請求項２に記載の方法。
【請求項７】
前記右目視野画像または前記左目視野画像に含まれる前記特徴をどのように補正するかの推奨事項を提供することをさらに含む、請求項２に記載の方法。
【請求項８】
前記推奨事項が、前記特徴の前記原因に基づく、請求項７に記載の方法。
【請求項９】
前記立体視知覚通知を前記生成すること、または前記推奨事項を前記提供することのうちの少なくとも１つが、視覚的指標を表示することを含む、請求項７に記載の方法。
【請求項１０】
前記視覚的指標を前記表示することが、前記特徴の前記原因を示すメッセージを表示することを含む、請求項９に記載の方法。
【請求項１１】
前記立体視知覚通知を前記生成すること、または前記推奨事項を前記提供することのうちの少なくとも１つが、可聴信号を提供することを含む、請求項７に記載の方法。
【請求項１２】
前記立体視知覚通知を前記生成することが、触覚振動を生成することを含む、請求項１に記載の方法。
【請求項１３】
前記患者画像捕捉デバイスが、立体内視鏡である、請求項１に記載の方法。
【請求項１４】
ロボット外科手技中に立体視知覚通知を提供するシステムであって、
右目用レンズと左目用レンズを含む患者画像捕捉デバイスであって、手術部位に配置され、
前記右目用レンズを経由して前記手術部位の右目視野画像を捕捉するように、かつ、
前記左目用レンズを経由して前記手術部位の左目視野画像を捕捉するように構成されている、患者画像捕捉デバイスと、
ディスプレイデバイスと、
前記患者画像捕捉デバイスに結合された少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合されたメモリであって、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサに、
前記捕捉された右目視野画像と前記捕捉された左目視野画像を受信することと、
前記右目視野画像および左目視野画像を分析することと、
前記分析の結果に基づいて、前記右目視野画像または前記左目視野画像に特徴が含まれるかどうかを判定することと、
前記右目視野画像または前記左目視野画像に前記特徴が含まれると判定されるとき、立体視知覚通知を生成することと、
前記ディスプレイデバイスに、前記右目視野画像および前記左目視野画像に基づいて立体画像を表示することであって、前記立体画像が、前記立体視知覚通知を含む、表示することと、を行わせる命令を含むメモリと、を備える、システム。
【請求項１５】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサにさらに、前記右目視野画像または前記左目視野画像に含まれる前記特徴の原因を特定させる、請求項１４に記載のシステム。
【請求項１６】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサにさらに、前記特徴が画像捕捉デバイス要因に関連することを判定させる、請求項１５に記載のシステム。
【請求項１７】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサにさらに、前記特徴がシステム待ち時間要因に関連することを判定させる、請求項１５に記載のシステム。
【請求項１８】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサにさらに、前記特徴が手術部位要因に関連することを判定させる、請求項１５に記載のシステム。
【請求項１９】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサにさらに、両眼視差、色の不均衡、鮮鋭度の不均衡、焦点の不一致、深度の不連続、またはスケールの不一致のうちの少なくとも１つを検出させる、請求項１５に記載のシステム。
【請求項２０】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサにさらに、前記右目視野画像または前記左目視野画像に含まれる前記特徴をどのように補正するかの推奨事項を提供させる、請求項１５に記載のシステム。
【請求項２１】
前記推奨事項が、前記特徴の前記原因に基づく、請求項２０に記載のシステム。
【請求項２２】
前記命令が、前記少なくとも１つのプロセッサによって実行されるとき、前記ディスプレイデバイスに、前記立体視知覚通知または前記推奨事項のうちの少なくとも１つの視覚的指標を表示させる、請求項２０に記載のシステム。
【請求項２３】
前記視覚的指標が、前記特徴の前記原因を示すメッセージを含む、請求項２２に記載のシステム。
【請求項２４】
前記立体視知覚通知または前記推奨事項のうちの少なくとも１つが、可聴信号を含む、請求項２０に記載のシステム。
【請求項２５】
前記立体視知覚通知が、触覚振動を含む、請求項１４に記載のシステム。
【請求項２６】
前記患者画像捕捉デバイスが、立体内視鏡である、請求項１４に記載の方法。
【請求項２７】
命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されるとき、コンピューティングデバイスに、
右目用レンズを経由して捕捉された手術部位の右目視野画像を受信することと、
左目用レンズを経由して捕捉された前記手術部位の左目視野画像を受信することと、
前記右目視野画像および左目視野画像を分析することと、
前記分析の結果に基づいて、前記右目視野画像または前記左目視野画像に特徴が含まれるかどうかを判定することと、
前記右目視野画像または前記左目視野画像に前記特徴が含まれると判定されるとき、立体視知覚通知を生成することと
ディスプレイデバイスに、前記右目視野画像および前記左目視野画像に基づいて立体画像を表示することであって、前記立体画像が、前記立体視知覚通知を含む、表示することと、を行わせる、非一時的なコンピュータ可読記憶媒体。
【請求項２８】
前記プロセッサによって実行されるとき、前記プロセッサに、前記右目視野画像または前記左目視野画像に含まれる前記特徴の原因を特定させる命令をさらに格納する、請求項２７に記載の非一時的なコンピュータ可読媒体。
【請求項２９】
前記プロセッサによって実行されるとき、前記プロセッサに、前記特徴が画像捕捉デバイス要因に関連することを判定させる命令をさらに格納する、請求項２８に記載の非一時的なコンピュータ可読媒体。
【請求項３０】
前記プロセッサによって実行されるとき、前記プロセッサに、前記特徴がシステム待ち時間要因に関連することを判定させる命令をさらに格納する、請求項２８に記載の非一時的なコンピュータ可読媒体。
【請求項３１】
前記プロセッサによって実行されるとき、前記プロセッサに、前記特徴が手術部位要因に関連することを判定させる命令をさらに格納する、請求項２８に記載の非一時的なコンピュータ可読媒体。
【請求項３２】
前記右目視野画像または前記左目視野画像に含まれる前記特徴の前記原因を前記特定することが、両眼視差、色の不均衡、鮮鋭度の不均衡、焦点の不一致、深度の不連続、またはスケールの不一致のうちの少なくとも１つを検出することを含む、請求項２８に記載の非一時的なコンピュータ可読媒体。
【請求項３３】
前記プロセッサによって実行されるとき、前記プロセッサに、前記右目視野画像または前記左目視野画像に含まれる前記特徴をどのように補正するかの推奨事項を提供させる命令をさらに格納する、請求項２８に記載の非一時的なコンピュータ可読媒体。
【請求項３４】
前記推奨事項が、前記特徴の前記原因に基づく、請求項３３に記載の非一時的なコンピュータ可読媒体。
【請求項３５】
前記プロセッサによって実行されるとき、前記ディスプレイデバイスに、前記立体視知覚通知または前記推奨事項のうちの少なくとも１つの視覚的指標を表示させる命令をさらに格納する、請求項３３に記載の非一時的なコンピュータ可読媒体。
【請求項３６】
前記視覚的指標が、前記特徴の前記原因を示すメッセージを含む、請求項３５に記載の非一時的コンピュータ可読媒体。
【請求項３７】
前記立体視知覚通知または前記推奨事項のうちの少なくとも１つが、可聴信号を含む、請求項３３に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
ロボット外科システムは、低侵襲外科手技において使用されてきた。ロボット外科手技中、外科医はリモートコンソールのユーザインターフェースで１つ以上のロボット外科アームを制御する。ユーザインターフェースにより、外科医が、ロボットアームに連結された外科器具を操作し、カメラを制御して患者内の手術部位の画像を受信することができる。
【背景技術】
【０００２】
コンソールは、３次元（３Ｄ）ディスプレイと称されることもある立体ディスプレイを含むことができる。このようなディスプレイは、それぞれ左目と右目に別々に提供される一対の別個の画像として、外科医に画像を提示することにより、画像における奥行き知覚を容易にする。立体ディスプレイは、通常、立体画像をシミュレートするために整合される、左目視野画像および右目視野画像の各々に専用の２つの画像信号経路を採用する、立体内視鏡によって提供される画像を受信することができる。外科手技中、さまざまな要因により、立体内視鏡から受信された立体画像が、例えば左目用信号経路を経由して受信された画像と、右目用信号経路を経由して受信された画像との不一致が原因で、立体視知覚を妨げる１つ以上の特徴を有することがある。立体視知覚を妨げる１つ以上の特徴を立体画像に持たせる要因の追加の例については、Ｔｏｗａｒｄ  ａｎ  Ｏｂｊｅｃｔｉｖｅ  Ｓｔｅｒｅｏ−Ｖｉｄｅｏ  Ｑｕａｌｉｔｙ  Ｍｅｔｒｉｃ：  Ｄｅｐｔｈ  Ｐｅｒｃｅｐｔｉｏｎ  ｏｆ  Ｔｅｘｔｕｒｅｄ  Ａｒｅａｓ，ｂｙ  Ｍｉｋｈａｉｌ  Ｅｒｏｆｅｅｖ，Ｄｍｉｔｒｉｙ  Ｖａｔｏｌｉｎ，Ａｌｅｘａｎｄｅｒ  Ｖｏｒｏｎｏｖ，Ａｌｅｘｅｙ  Ｆｅｄｏｒｏｖ  （Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ３Ｄ  Ｉｍａｇｉｎｇ  （ＩＣ３Ｄ），ｐｐ．１−６），２０１２；  Ａｕｔｏｍａｔｉｃ  Ｌｅｆｔ−Ｒｉｇｈｔ  Ｃｈａｎｎｅｌ  Ｓｗａｐ  Ｄｅｔｅｃｔｉｏｎ，ｂｙ  Ｄ．Ａｋｉｍｏｖ，Ａ．Ｓｈｅｓｔｏｖ，Ａ．Ｖｏｒｏｎｏｖ，Ｄ．Ｖａｔｏｌｉｎ，（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ３Ｄ  Ｉｍａｇｉｎｇ  （ＩＣ３Ｄ），ｐｐ．１−６），２０１２；  Ｓｙｓｔｅｍ  ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｄｉｓｔｏｒｔｅｄ  Ｓｃｅｎｅｓ  ｉｎ  Ｓｔｅｒｅｏ  Ｖｉｄｅｏ，ｂｙ  Ａ．Ｖｏｒｏｎｏｖ，Ａ．Ｂｏｒｉｓｏｖ，Ｄ．Ｖａｔｏｌｉｎ，（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｉｘｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｑｕａｌｉｔｙ  Ｍｅｔｒｉｃｓ  （ＶＰＱＭ）），２０１２；  Ｔｏｗａｒｄｓ  Ａｕｔｏｍａｔｉｃ  Ｓｔｅｒｅｏ−ｖｉｄｅｏ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ  ａｎｄ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｃｏｌｏｒ  ａｎｄ  Ｓｈａｒｐｎｅｓｓ  Ｍｉｓｍａｔｃｈ，ｂｙ  Ａ．Ｖｏｒｏｎｏｖ，Ｄ．Ｖａｔｏｌｉｎ，Ｄ．Ｓｕｍｉｎ，Ｖ．Ｎａｐａｄｏｖｓｋｙ，Ａ．Ｂｏｒｉｓｏｖ，（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ３Ｄ  Ｉｍａｇｉｎｇ  （ＩＣ３Ｄ），ｐｐ．１−６），２０１２；  Ｍｅｔｈｏｄｏｌｏｇｙ  ｆｏｒ  ｓｔｅｒｅｏｓｃｏｐｉｃ  ｍｏｔｉｏｎ−ｐｉｃｔｕｒｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ，ｂｙ  Ａ．Ｖｏｒｏｎｏｖ，Ｄ．Ｖａｔｏｌｉｎ，Ｄ．Ｓｕｍｉｎ，Ｖ．Ｎａｐａｄｏｖｓｋｙ，ａｎｄ  Ａ．Ｂｏｒｉｓｏｖ，（Ｐｒｏｃ．ＳＰＩＥ  ８６４８，Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ＸＸＩＶ，ｖｏｌ．８６４８，ｐｐ．８６４８１０−１−８６４８１０−１４），Ｍａｒｃｈ  ２０１３；  ａｎｄ  Ａｕｔｏｍａｔｉｃ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ａｒｔｉｆａｃｔｓ  ｉｎ  ｃｏｎｖｅｒｔｅｄ  Ｓ３Ｄ  ｖｉｄｅｏ，ｂｙ  Ａ．Ｂｏｋｏｖ，Ｄ．Ｖａｔｏｌｉｎ，Ａ．Ｚａｃｈｅｓｏｖ，Ａ．Ｂｅｌｏｕｓ，ａｎｄ  Ｍ．Ｅｒｏｆｅｅｖ，（Ｐｒｏｃ．ＳＰＩＥ  ９０１１，Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ＸＸＶ，ｖｏｌ．９０１１，ｐｐ．９０１１１２−１−９０１１１２−１４），Ｍａｒｃｈ  ２０１４に記載されており、これらの各々の内容全体が、参照により本明細書に組み込まれる。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の実施形態に従って提供されるのは、ロボット外科手技中に立体視知覚通知および／または推奨事項を提供する方法である。本開示の一態様では、例示的な方法は、手術部位に配置された患者画像捕捉デバイスの右目用レンズを経由して捕捉された右目視野画像を受信することと、手術部位に配置された患者画像捕捉デバイスの左目用レンズを介して捕捉された左目視野画像を受信することと、右目視野画像および左目視野画像を分析することと、分析の結果に基づいて、右目視野画像または左目視野画像に特徴が含まれるかどうかを判定することと、右目視野画像または左目視野画像に特徴が含まれると判定されるとき、立体視知覚通知を生成することと、右目視野画像および左目視野画像に基づいて、立体視知覚通知を含む立体画像を表示することと、を含む。
【０００４】
本開示の別の態様では、本方法は、右目視野画像または左目視野画像に含まれる特徴の原因を特定することをさらに含む。
【０００５】
本開示のさらなる態様では、右目視野画像または左目視野画像に含まれる特徴の原因を特定することは、特徴が画像捕捉デバイス要因に関連することを判定することを含む。
【０００６】
本開示の別の態様では、右目視野画像または左目視野画像に含まれる特徴の原因を特定することは、特徴がシステム待ち時間要因に関連することを判定することを含む。
【０００７】
本開示のなお別の態様では、右目視野画像または前記左目視野画像に含まれる特徴の原因を特定することは、特徴が、手術部位要因に関連することを判定することを含む。
【０００８】
本開示のなお別の態様では、右目視野画像または左目視野画像に含まれる特徴の原因を特定することは、両眼視差、色の不均衡、鮮鋭度の不均衡、焦点の不一致、深度の不連続性、またはスケールの不一致のうちの少なくとも１つを検出することを含む。
【０００９】
本開示のなお別の態様では、方法は、右目視野画像または左目視野画像に含まれる特徴をどのように補正するかの推奨事項を提供することをさらに含む。
【００１０】
本開示のさらなる態様では、推奨事項は、特徴の原因に基づいている。
【００１１】
本開示の別の態様では、立体視知覚通知を生成すること、または推奨事項を提供することのうちの少なくとも１つは、視覚的指標を表示することを含む。
【００１２】
本開示のさらなる態様では、視覚的指標を表示することは、特徴の原因を示すメッセージを表示することを含む。
【００１３】
本開示の別の態様では、立体視知覚通知を生成すること、または推奨事項を提供することのうちの少なくとも１つは、可聴信号を提供することを含む。
【００１４】
本開示のなお別の態様において、立体視知覚通知を生成することは、触覚振動を生成することを含む。
【００１５】
本開示のなお別の態様において、患者画像捕捉デバイスは、立体内視鏡である。
【００１６】
本開示の実施形態に従って提供されるのは、ロボット外科手技中に立体視知覚通知を提供するためのシステムである。本開示の一態様では、例示的なシステムは、右目用レンズと左目用レンズを含む患者画像捕捉デバイスであって、手術部位に配置され、右目用レンズを経由して手術部位の右目視野画像を捕捉し、左目用レンズを経由して手術部位の左目視野画像を捕捉するように構成されている、患者画像捕捉デバイスを含む。システムは、ディスプレイデバイスと、患者画像捕捉デバイスに結合された少なくとも１つのプロセッサと、少なくとも１つのプロセッサに結合されたメモリであって、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサに、捕捉された右目視野画像と捕捉された左目視野画像を受信させ、右目視野画像および左目視野画像を分析させ、分析の結果に基づいて、右目視野画像または左目視野画像に特徴が含まれるかどうかを判定させ、かつ、右目視野画像または左目視野画像に特徴が含まれると判定されるとき、立体視知覚通知を生成させ、かつ、ディスプレイデバイスに、右目視野画像および左目視野画像に基づいて、立体視知覚通知を含む立体画像を表示させる、命令を含むメモリと、をさらに含む。
【００１７】
本開示のさらなる態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサにさらに、右目視野画像または左目視野画像に含まれる特徴の原因を特定させる。
【００１８】
本開示のなおさらなる態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサにさらに、特徴が画像捕捉デバイス要因に関連することを判定させる。
【００１９】
本開示の別の態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサにさらに、特徴がシステム待ち時間要因に関連することを判定させる。
【００２０】
本開示のなお別の態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサにさらに、特徴が手術部位要因に関連することを判定させる。
【００２１】
本開示のなお別の態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサにさらに、両眼視差、色の不均衡、鮮鋭度の不均衡、焦点の不一致、深度の不連続性、またはスケールの不一致のうちの少なくとも１つを検出させる。
【００２２】
本開示のなお別の態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサにさらに、右目視野画像または左目視野画像に含まれる特徴をどのように補正するかの推奨事項を提供させる。
【００２３】
本開示のさらなる態様では、推奨事項は、特徴の原因に基づいている。
【００２４】
本開示の別の態様では、命令は、少なくとも１つのプロセッサによって実行されるとき、ディスプレイデバイスに、立体視知覚通知または推奨事項のうちの少なくとも１つの視覚的指標を表示させる。
【００２５】
本開示のさらなる態様では、視覚的指標は、特徴の原因を示すメッセージを含む。
【００２６】
本開示の別の態様では、立体視知覚通知または推奨事項のうちの少なくとも１つは、可聴信号を含む。
【００２７】
本開示のなお別の態様において、立体視知覚通知は、触覚振動を含む。
【００２８】
本開示のなお別の態様において、患者画像捕捉デバイスは、立体内視鏡である。
【００２９】
本開示の実施形態に従って提供されるのは、命令を格納する非一時的なコンピュータ可読記憶媒体であって、命令は、プロセッサによって実行されるとき、コンピューティングデバイスに、右目用レンズを経由して捕捉された手術部位の右目視野画像を受信させ、左目用レンズを経由して捕捉された手術部位の左目視野画像を受信させ、右目視野画像および左目視野画像を分析させ、分析の結果に基づいて、右目視野画像または左目視野画像に特徴が含まれるかどうかを判定させ、右目視野画像または左目視野画像に特徴が含まれると判定されるとき、立体視知覚通知を生成させ、かつディスプレイデバイスに、右目視野画像および左目視野画像に基づいて、立体視知覚通知を含む立体画像を表示させる。
【００３０】
本開示のさらなる態様では、命令は、プロセッサによって実行されるとき、プロセッサにさらに、右目視野画像または左目視野画像に含まれる特徴の原因を特定させる。
【００３１】
本開示のなおさらなる態様では、命令は、プロセッサによって実行されるとき、プロセッサにさらに、特徴が画像捕捉デバイス要因に関連することを判定させる。
【００３２】
本開示の別の態様では、命令は、プロセッサによって実行されるとき、プロセッサにさらに、特徴がシステム待ち時間要因に関連することを判定させる。
【００３３】
本開示のなお別の態様では、命令は、プロセッサによって実行されるとき、プロセッサにさらに、特徴が手術部位要因に関連することを判定させる。
【００３４】
本開示のなお別の態様では、右目視野画像または左目視野画像に含まれる特徴の原因を特定することは、両眼視差、色の不均衡、鮮鋭度の不均衡、焦点の不一致、深度の不連続性、またはスケールの不一致のうちの少なくとも１つを検出することを含む。
【００３５】
本開示のなお別の態様では、命令は、プロセッサによって実行されるとき、プロセッサにさらに、右目視野画像または左目視野画像に含まれる特徴をどのように補正するかの推奨事項を提供させる。
【００３６】
本開示のさらなる態様では、推奨事項は、特徴の原因に基づいている。
【００３７】
本開示の別の態様では、命令は、プロセッサによって実行されるとき、ディスプレイデバイスにさらに、立体視知覚通知または推奨事項のうちの少なくとも１つの視覚的指標を表示させる。
【００３８】
本開示のさらなる態様では、視覚的指標は、特徴の原因を示すメッセージを含む。
【００３９】
本開示の別の態様では、立体視知覚通知または推奨事項の少なくとも１つは可聴信号を含む。
【００４０】
上記の態様および本開示の態様のいずれも、本開示の範囲から逸脱することなく組み合わせることができる。
【図面の簡単な説明】
【００４１】
本開示のシステム、方法、およびコンピュータ可読媒体の目的および特徴は、添付図面を参照して、そのさまざまな実施形態の説明を読むと、当業者には明らかになるであろう。
【００４２】
【図１】本開示によるユーザインターフェースを含む例示的なロボットシステムの概略図である。
【図２】本開示の実施形態による、患者画像捕捉デバイスおよび外科器具の簡略化された斜視図である。
【図３】本開示による、患者画像捕捉デバイスを経由して見られる手術部位の立体画像を示す。
【図４】本開示による、図１および／または図２の患者画像捕捉デバイスの右目視野または左目視野を経由して捕捉された、図３の手術部位の例示的な画像を示す。
【図５】本開示による、図１および／または図２の患者画像捕捉デバイスの右目視野または左目視野を経由して捕捉された、図３の手術部位の例示的な画像を示す。
【図６】本開示による、図１および／または図２の患者画像捕捉デバイスの右目視野または左目視野を経由して捕捉された、図３の手術部位の例示的な画像を示す。
【図７】本開示による、図１および／または図２の患者画像捕捉デバイスの右目視野または左目視野を経由して捕捉された、図３の手術部位の例示的な画像を示す。
【図８】本開示による、ロボット外科手技中に立体視知覚通知および／または推奨事項を提供する例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【００４３】
本開示は、概して、ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体に関する。ロボット外科手技中に、患者画像捕捉デバイスを使用して、手術部位の画像を連続的に捕捉する。立体画像は、立体内視鏡の右目用レンズ（または右目用信号経路）を経由して捕捉された右目視野画像と、立体内視鏡の左目用レンズ（または左目用信号経路）を経由して捕捉された左目視野画像に基づいて、臨床医に表示される。さまざまな要因のために、受信された右目視野画像、受信された左目視野画像、および／または立体画像は、立体視知覚を妨げる１つ以上の特徴を有する場合がある。例えば、立体視知覚は、（立体内視鏡レンズを閉塞する解剖学的物質や、立体内視鏡レンズへの外科器具の過度の近接など）環境要因、（ロボット外科手技を行っている間に、一方の信号経路からの画像の表示に他方よりも大きく影響するコンピュータシステムの待ち時間の増加など）設計要因、および／または他の要因によって妨げられる。ロボット外科手技中に受信された右目視野画像と、受信された左目視野画像を連続的または定期的に監視および処理することにより、立体視知覚を妨げる特徴を検出でき、通知および／または推奨事項が、例えば、特徴を最小限にするかまたは回避できるようにするために、動的に提供される。
【００４４】
本明細書で使用される場合、用語「臨床医」、「外科医」、および「オブザーバー」は、一般に、本明細書に記載の立体ディスプレイデバイスのユーザを指す。さらに、用語「第１の目」および「第２の目」は、本明細書では、それぞれ臨床医の左目および右目を指すために使用されているが、この使用は例として提供され、限定するものとして解釈されるべきではない。この説明を通じて、用語「近位」は、患者から最も遠い（したがって、臨床医および／または外科ロボットに最も近い）デバイスまたはそのコンポーネントの一部を指し、用語「遠位」は、患者に最も近い（したがって、臨床医および／または外科ロボットから最も遠い）デバイスまたはコンポーネントの一部を指す。さらに、本明細書で言及されるように、用語「信号経路」は、（右目であろうと左目であろうと）、画像が、光学的に捕捉され、送信される電気／デジタル信号に変換され、かつ、コンピューティングデバイスまたはディスプレイデバイスで受信されるとき、再び光学画像に変換される、光−電気−光信号経路を指す。
【００４５】
図１は、本開示による例示的なロボット外科システム１を示す。ロボット外科システム１は、外科ロボット１０、コントローラ３０、メモリ３５、およびユーザインターフェース４０を含む。外科ロボット１０は、概して、１つ以上のロボットアーム１２、およびベース１８を含む。ロボットアーム１２は、各々が、外科器具２５０を支持する端部１４を有するアームまたはリンケージの形態とすることができる。外科器具２５０は、エンドエフェクタ、把持器、ナイフ、はさみなどのロボットアーム１２と共に使用され得る任意のタイプの器具であり得る。１つ以上ロボットアーム１２は、手術部位「Ｓ」を撮像するための患者画像捕捉デバイス２００を含むことができる。
【００４６】
コントローラ３０は、１つ以上のプロセッサ３２（便宜上、本明細書では「プロセッサ」と呼ぶ場合がある）およびメモリ３５（便宜上、本明細書では「メモリ」と呼ぶ場合がある）を含み、および／または通信可能に結合され、ユーザインターフェース４０と統合されるか、または個別のスタンドアロンデバイスとして提供され得る。以下でさらに詳細に記載するように、プロセッサ３２は、メモリ３５に記憶された命令を実行して、本明細書のさまざまな実施形態の手順を行う。理解されるように、プロセッサ３２およびメモリ３５の実装形態は、例としてのみ提供されており、限定として解釈されるべきではない。例えば、本開示のいずれかの実施形態の手順は、ハードウェアコンポーネント、ファームウェアコンポーネント、ソフトウェアコンポーネント、および／またはそれらの任意の組み合わせによって実装されてもよい。
【００４７】
ユーザインターフェース４０は、コントローラ３０を通じてベース１８と通信し、手術部位「Ｓ」の立体画像を表示するように構成されているディスプレイデバイス４４を含む。実施形態において、ディスプレイデバイス４４は、自動立体ディスプレイデバイス、および／または、例えばアナグリフもしくは偏光システム、または他の受動立体ディスプレイシステムなどのメガネベースの立体ディスプレイであり得る。画像は、患者画像捕捉デバイス２００によって捕捉され、および／または手術領域の周りに置かれている撮像デバイス（例えば、患者「Ｐ」に隣接して置かれる、および／または撮像アーム５２の遠位部分に置かれる撮像デバイス）によって捕捉される。患者画像捕捉デバイス２００は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像を捕捉し得る。患者画像捕捉デバイス２００は、捕捉した画像をコントローラ３０に送信する。次に、捕捉された画像は、以下でさらに記載するように、プロセッサ３２によって処理および／または分析され、ディスプレイデバイス４４によって表示され得る。捕捉された画像の処理および／または分析は、捕捉された画像が表示される前に行われるため、場合によっては、捕捉された画像がディスプレイデバイス４４に表示されるまでわずかな遅延が生じ得る。代替的に、捕捉された画像がディスプレイデバイス４４によって表示されるときに、捕捉された画像の処理および／または分析がリアルタイムで行われてもよい。一実施形態では、図２に関連して以下でさらに記載するように、患者画像捕捉デバイス２００は、右目用レンズ２１０および左目用レンズ２２０を経由して、手術部位「Ｓ」の少なくとも一部の画像を捕捉することが可能である立体内視鏡である。
【００４８】
ユーザインターフェース４０はまた、臨床医が外科ロボット１０を操作することができる（例えば、ロボットアーム１２、ロボットアーム１２の端部１４、および／または外科器具２５０を動かせる）ようにするジンバル７０に取り付けられた入力ハンドルを含む。各ジンバル７０は、コントローラ３０およびプロセッサ３２と通信して、制御信号をそこに送信し、かつ、そこからフィードバック信号を受信する。追加的または代替的に、各ジンバル７０は、外科医がロボットアーム１２の端部１４で支持された外科器具２５０を操作（例えば、クランプ、把持、発射、開放、閉鎖、回転、スラスト、スライスなど）できるようにする制御インターフェースまたは入力デバイス（図示せず）を含むことができる。
【００４９】
ジンバル７０の各々は、手術部位「Ｓ」内でロボットアーム１２の端部１４を動かすために可動である。ディスプレイデバイス４４に表示される立体画像は、ジンバル７０の動きがディスプレイデバイス４４上で見られるように、ロボットアーム１２の端部１４を動かすように方向付けられている。ディスプレイデバイス上の立体画像の向きは、患者「Ｐ」の上方からの視野に対して鏡映または回転させることができることが理解されよう。加えて、ディスプレイデバイス４４上の立体画像のサイズは、手術部位「Ｓ」の実際の構造よりも大きくまたは小さくなるようにスケーリングされ、外科医が手術部位「Ｓ」内の構造のより良好な視野を有することを可能にすることが理解されよう。ジンバル７０を動かすと、外科器具２５０が手術部位「Ｓ」内で動く。外科器具２５０の動きは、外科器具２５０を支持するロボットアーム１２の端部１４の動きも含むことができる。ジンバル７０に加えて、クラッチスイッチ、タッチパッド、ジョイスティック、キーボード、マウス、または他のコンピュータクセサリーを含むハンドル、および／または、臨床医からの物理的な動きをプロセッサ３２に送信される信号に変換するように構成された、フットスイッチ、ペダル、トラックボール、または他の作動可能なデバイスなど、１つ以上の追加の入力デバイスをユーザインターフェース４０の一部として含めることができる。
【００５０】
上で簡単に述べたように、外科手技中に臨床医に手術部位「Ｓ」の視野を提供するために、（立体内視鏡など）患者画像捕捉デバイス２００が、外科器具２５０に隣接する手術部位「Ｓ」に配置され、ディスプレイ４４によって立体画像として表示される手術部位「Ｓ」の画像を捕捉するように構成されている。
【００５１】
ここで、図２に目を向けると、本開示の実施形態による、患者画像捕捉デバイス２００および外科器具２５０の簡略化された斜視図が提供されている。患者画像捕捉デバイス２００は、右目用レンズ２１０を介して手術部位「Ｓ」の少なくとも一部の右目視野画像を捕捉し、左目用レンズ２２０を介して手術部位「Ｓ」の少なくとも一部の左目視野画像を捕捉する。右目視野画像および対応する左目視野画像の各セットは、コントローラ３０に送信され、以下に記載するように、プロセッサ３２によって処理および／または分析され、ディスプレイデバイス４４によって表示される、それぞれ別個の視点画像を提供する。患者画像捕捉デバイス２００は、その遠位部分に、右目用レンズ２１０および左目用レンズ２２０を含むレンズアセンブリを含む本体２０２を含む。右目用レンズ２１０および左目用レンズ２２０は、レンズ２１０、２２０を使用する患者画像捕捉デバイス２００が手術部位「Ｓ」と位置合わせされ、手術部位「Ｓ」の画像を連続的に捕捉できるような位置に置かれる。例示目的のために、外科器具２５０は、いくつかの図では血管密封デバイスとして示されている。
【００５２】
ここで図３を参照すると、手術部位「Ｓ」の立体画像が示されている。手術部位「Ｓ」は、組織、骨、血管、外科手技関連物質および／または他の生物学的物質、ならびに外科器具２５０を含み得る解剖学的物質２３０を含む。単一の画像として示されているが、患者画像捕捉デバイス２００は、図４〜図７に示されるように、それぞれ右目用レンズ２１０および左目用レンズ２２０を介して捕捉された手術部位「Ｓ」の２つの別個の画像を受信する。プロセッサ３２は、ロボット外科手技の進行中に、手術部位「Ｓ」の右目視野画像および左目視野画像を、メモリ３５を介して記憶することがさらに企図される。
【００５３】
上で簡単に述べたように、右目用レンズ２１０および左目用レンズ２２０を経由して、患者画像捕捉デバイス２００によって捕捉された画像、および／またはディスプレイデバイス４４によって表示される立体画像は、立体視知覚を妨げる１つ以上の特徴を有し得る。例えば、立体視知覚を妨げる１つ以上の特徴は、限定されるものではないが、立体画像のぼやけ、または立体画像の他の視覚の問題を含み、立体画像を見る臨床医に不快感を与え、または臨床医が立体画像の特徴を解像するのを困難にする。立体視知覚を妨げる１つ以上の特徴は、（レンズ２１０、２２０を閉塞する解剖学的物質、またはレンズ２１０、２２０への外科器具２５０の過度の近接など）環境要因、（ロボット外科手技を行っている間に、一方の信号経路からの画像の表示に他方よりももっと大きく影響するコンピュータシステムの待ち時間の増加、および／または、信号経路の電気的部分によって生じる遅延など）設計要因、および／または他の要因と関連している場合がある。他のいくつかの要因には、最後に適切に動作してからの、患者画像捕捉デバイス２００の物理的側面の変化が含まれる場合があり、これには、レンズの劣化、レンズ２１０、２２０の一方または両方の故障、および／またはレンズ２１０、２２０の一方または両方の不正確なズーミングが含まれ得るが、これらに限定されない。これらの要因の例については、以下で詳しく記載する。
【００５４】
図４の図解４００に示されるように、手術部位「Ｓ」の右目用レンズ２１０および左目用レンズ２２０を経由して捕捉された両方の画像は、外科器具２５０および解剖学的物質２３０を含む。右目用レンズ２１０を経由して受信された画像は、右目用レンズ２１０の上または前に位置し、右目用レンズ２１０を経由して捕捉された画像を部分的に遮っている閉塞物質４１０の画像をさらに含む。閉塞物質４１０は、解剖学的物質２３０、外科手技関連物質、および／または他の生物学的物質であり得、右目用レンズ２１０および／または左目用レンズ２２０を完全にまたは部分的に遮る。閉塞物質４１０の存在のために、右目用レンズ２１０を介して捕捉された画像は、立体視知覚を妨げる特徴をもたらし、したがって、それぞれ右目用信号経路と左目用信号経路を経由して受信される右目視野画像および左目視野画像を組み合わせることにより形成される画像の立体視知覚が損なわれる場合がある。
【００５５】
ここで図５を参照すると、右目用レンズ２１０および左目用レンズ２２０を経由して捕捉された画像が図解５００に示されている。図５に示されるように、右目用信号経路と左目用信号経路を経由して受信された画像のぼやけによって示されるように、外科器具２５０は、患者用画像捕捉デバイス２００が外科器具２５０に近接するために、拡大されて焦点が合っていないように見える。これは、患者画像捕捉デバイス２００が外科器具２５０に近すぎるために発生する。加えて、患者画像捕捉デバイス２００の位置のため、立体画像の焦点はもはや外科器具２５０に位置せず、それにより、レンズ２１０、２２０を経由して捕捉された画像から臨床医が知覚する立体画像の両眼視差を歪める。左目用レンズ２２０と比較した場合の右目用レンズ２１０に対する外科器具２５０の異なる相対距離により、患者画像捕捉デバイス２００のレンズ２１０、２２０の一方または両方に近すぎる物体（例えば、外科器具２５０）に焦点を合わせようとするとき、画像を見ている臨床医の片方または両方の目が内側に回転することがあり得る。これは、臨床医に不快感および／または痛みを引き起こす場合があり、図５に示す例のように、外科器具２５０などの物体が左目用レンズ２２０と比較して右目用レンズ２１０に対して異なる相対距離を有するとき、立体画像が歪む場合があり、臨床医は両方の画像に同時に焦点を合わせるのに苦労する場合がある。
【００５６】
図６は、一方の信号経路からの画像の表示に他方よりももっと大きく影響する不一致のシステム待ち時間の問題による、右目レンズ２１０と左目レンズ２２０によって捕捉された手術部位「Ｓ」の画像の違いを示す。図６に示されるように、右目用レンズ２１０および左目用レンズ２２０を経由して捕捉された画像は、２つの異なる時間、例えば、図解６００に示されるように初期時間ｔ０と、図解６５０に示されるように初期時間ｔ０の後に生じる後続時間ｔ１で、コンソール３０により受信される。初期時間ｔ０では、右目用信号経路と左目用信号経路を経由して受信された画像は一致する。後続時間ｔ１において、右目用信号経路を経由して受信された画像に示される外科器具２５０は、初期時刻ｔ０に右目用信号経路を経由して受信された画像に示される外科器具２５０とは異なる位置に位置するように見え、一方、左目用信号経路を経由して受信された画像に示される外科器具２５０は、初期時間ｔ０で左目用信号経路を経由して受信された画像に示される外科器具２５０と同じ位置に位置するように見える。
【００５７】
別の実施形態では、手術部位「Ｓ」の図解７００が図７に示されており、レンズ２１０、２２０によって捕捉された画像は各々、外科器具２５０および解剖学的物質２３０を含む。図７に示されるように、右目用レンズ２１０によって捕捉された画像内の外科器具２５０は、左目用レンズ２２０によって捕捉された画像内の外科器具２５０よりもはるかに大きい。レンズ２１０、２２０によって捕捉された画像間の大きな違いは、右目用レンズ２１０の欠陥、または右目レンズ２１０を手術部位「Ｓ」の異なるズームレベルにあると誤って知覚させる解剖学的物質２３０もしくは他の物質の存在によって引き起こされる場合がある。
【００５８】
図８は、本開示の実施形態による、ロボット外科手技中に立体視知覚通知および／または推奨事項を提供する例示的な方法８００を示すフローチャートである。方法８００は、少なくとも部分的に、メモリ３５（図１）に記憶された命令を実行するプロセッサ３２によってなど、コンソール３０によって実装され得る。付加的に、図８の方法８００に示されるステップの特定のシーケンスは、例として提供され、限定するものではない。したがって、方法８００のステップは、本開示の範囲から逸脱することなく、図８に示されるシーケンス以外のシーケンスにおいて実行されてもよい。さらに、図８の方法８００に示されるいくつかのステップは、互いに対して順次実行される代わりに、互いに対して同時に実行されてもよく、本開示の範囲から逸脱することなく、いくつかのステップが繰り返されてもよく、および／または省略されてもよい。
【００５９】
ロボット外科システム１０は、ステップ８０５で、臨床医が手術部位「Ｓ」内で外科手技を開始することができるようにセットアップされる。たとえば、臨床医はジンバル７０を動かし、それにより、患者画像捕捉デバイス２００の視野を手術部位「Ｓ」に位置合わせするように、患者画像捕捉デバイス２００および外科器具２５０を位置付ける。
【００６０】
好適に位置付けされると、患者画像捕捉デバイス２００は、ステップ８１０で、右目用レンズ２１０を経由して手術部位「Ｓ」の右目視野画像、および左目用レンズ２２０を経由して手術部位「Ｓ」の左目視野画像を（例えば、連続的に、断続的に、または周期的に）捕捉する。患者画像捕捉デバイス２００の視野を手術部位「Ｓ」と位置合わせすることにより、患者画像捕捉デバイス２００は、レンズ２１０、２２０を経由して手術部位「Ｓ」の画像を捕捉することができる。手技が行われている組織および周囲の解剖学的物質２３０に加えて、受信された画像は、臨床医によって操作されるときの外科器具２５０の画像を含み得る。
【００６１】
ステップ８１５で、レンズ２１０、２２０を経由して捕捉された画像は、右目用信号経路と左目用信号経路を介してコントローラ３０に送信され、そこで画像が処理および／または分析される。レンズ２１０、２２０を経由して捕捉され、右目用信号経路および左目用信号経路を介してコンソール３０に送信された画像の処理および／または分析は、プロセッサ３２などを介して、コントローラ３０に、右目用信号経路と左目用信号経路を経由して受信された画像間の差を判定させる、さまざまな画像分析アルゴリズムおよび方法によって実装され得る。例えば、そのような画像分析方法の１つは、右目用信号経路と左目用信号経路を経由して受信された画像の対応する領域で複数の画素をサンプリングし、対応するサンプリングされた画素の色の違いを判定して、信頼できる画像と信頼できない画像を特定する。例えば、信頼できる画像は、サンプリングされた画素の色が一致するか、または互いの所定の色範囲内にある画像であり得、一方、信頼できない画像は、サンプリングされた画素の色が互いの所定の色範囲内にない画像であり得る。いくつかの実施形態では、画像の一部または領域のみが信頼できないものとして特定され得る、すなわち、色の不一致が画像全体ではなく画像の一部のみで検出され得る。例えば、信頼できない領域には、画像の少なくとも一部に極端な深度の差異が含まれる場合があるため、コントローラ３０は、信頼できる領域と信頼できない領域の差異指数をさらに計算し、画像全体の深度のヒストグラムを作成して、右目用信号経路を介して受信された画像と左目用信号経路を介して受信された画像の対応する領域間に、極端な深度差異があるかどうかを判定することができる。コントローラ３０はまた、信頼できる画像のサンプリングされた画素の色の違いを分析して、そのような信頼できる画像の１つ以上の領域に色の不一致が存在するかどうかを判定することができる。実施形態では、コントローラ３０は、平均二乗誤差閾値を計算し、サンプリングされた画素の色を閾値と比較して、極端な色の不一致が存在するかどうかを判定することができる。コントローラ３０は、右目用信号経路と左目用信号経路を経由して受信された画像にわたり、画素情報の高周波数解析を行って画像の高周波数マップを作成し、画像の高周波数マップを比較して、所定の閾値を超える偏差が存在するかどうかを判定することによって、鮮鋭度不一致が存在するかどうかをさらに判定し得る。さらなる例では、画像分析方法は、右目用信号経路と左目用信号経路を経由して受信された画像の一部に変調伝達関数を適用して、立体画像の立体視知覚が劣化し得ることを判定することを含むことができる。当業者は、本開示の範囲から逸脱することなく、本明細書に記載したアルゴリズムの代わりに、またはそれに加えて、さまざまな他の画像分析アルゴリズムを使用できることを認識するであろう。
【００６２】
次に、ステップ８１７で、コントローラ３０は、ステップＳ８１５で受信された右目視野画像と左目視野画像に基づいて（組み合わせることなどにより）ディスプレイデバイス４４に立体画像を表示させる。ステップ８１７の後、方法８００はステップ８２０に進み、ここで、コントローラ３０は、右目用信号経路と左目用信号経路を経由して受信された画像間の比較および差異に基づいて、右目視野画像と左目視野画像に基づき表示される立体画像に特徴が含まれているかどうかを判定する。立体画像に含まれる特徴は、限定されないが、３Ｄぼやけ、色の不均衡、不正確な焦点、または、右目用信号経路と左目用信号経路を経由して受信された画像間の差異が、コントローラ３０およびディスプレイデバイス４４による立体画像の表示に必要な、右目用信号経路と左目用信号経路を経由して受信された画像間の通常の差異の範囲外である、他の特徴を含む。ステップ８２０で、特徴が立体画像に含まれていない（ステップ８２０で「いいえ」）と判定された場合、方法８００はステップ８１０に戻る。
【００６３】
ステップ８２０で、特徴が立体画像に含まれていると判定された（ステップ８２０で「はい」）場合、方法８００はステップ８３０に進む。ステップ８３０では、左目視野画像と右目視野画像を組み合わせて表示される立体画像に含まれる特徴が特定される。例えば、特徴のタイプ（例えば、３Ｄぼやけ、色の不均衡、不正確な焦点など）を特定することができる。次に、ステップ８３５で、右目視野画像および左目視野画像の処理および／または分析の結果が分析され、ステップ８４０で、特徴の原因が特定される。不正確な焦点などの特徴は、右目用信号経路と左目用信号経路を経由して受信された画像の不一致、および／またはレンズ２１０、２２０によって捕捉された画像に関連する他の問題によって引き起こされる場合があり、限定されないが、垂直視差、深度バジェット、深度連続性、両眼視差、（図７に示すような）スケーリングの不一致、回転の不一致（例えば、レンズ２１０、２２０の一方または両方が回転する場合）、色の不一致、鮮鋭度の不一致、チャネルの不一致（スワップされた視野）、ステレオウィンドウ妨害の視認性、時間シフト、クロストークの視認性などから生じる問題を含む。実施形態では、メモリ３５は、立体画像特徴、推定原因、および考えられる解決策／推奨事項のデータベースを含み、コントローラ３０は、右目用信号経路と左目用信号経路を経由して受信された画像の処理および／または分析を使用し、データベースを参照することにより、立体視知覚を妨げる特徴の推定原因を判定する。加えて、立体画像に含まれる特徴は、（図４に示すような）閉塞物質４１０による一方または両方のレンズ２１０、２２０の閉塞などの手術部位の問題、（図６に示すように）右目用信号経路および／または左目用信号経路２２０を経由して受信される画像の遅れなどのシステム待ち時間の問題、および（図７に示すような）右目用レンズ２１０および／または左目用レンズ２２０の不正確なズーミングなどの撮像デバイスの問題によっても引き起こされ得る。例えば、右目用信号経路および左目用信号経路を経由して受信された画像の分析中に、右目用信号経路および／または左目用信号経路を経由して受信された画像（したがって、立体画像）の一部が、残りの部分よりも暗く見える場合、コントローラ３０は、この情報を使用してデータベースを参照し、画像の暗い部分の原因が、（図４に示すように）閉塞物質によって引き起こされているらしいと判定する。実施形態では、コントローラ３０は、立体視知覚を妨げる特定された特徴および原因を詳述するデータを、メモリ３５を介して記憶する。
【００６４】
次に、ステップ８４５で、立体画像に含まれる特徴と原因を特定する立体視知覚通知が生成される。通知は、ユーザインターフェース４０のディスプレイデバイス４４などを介して表示されてもよく、および／またはスピーカ（図示せず）などを介して可聴的に、またはジンバル７０などを介して触覚的に提供されてもよい。実施形態では、ステップ８１７で特定された特徴に対応する画素は、ディスプレイデバイス４４によって表示される立体画像で強調表示されるか別の方法で示される。ステップ８４５に続いて、方法８００はステップ８５０に進み、立体画像に含まれる特徴をどのように補正するかについての推奨事項が提供される。例えば、提供される推奨事項は、ディスプレイデバイス４４を介して表示される通知の形式であり得る。図４に示される実施形態では、推奨事項は、画像品質を改善するために、レンズ２１０、２２０の一方または両方を取り外しおよび／または洗浄することを臨床医への指示に含み得る。患者画像捕捉デバイス２００が損なわれていると示される代替的な実施形態では、推奨事項は、現在の患者画像捕捉デバイス２００を無傷のデバイスと交換することを臨床医への指示に含み得る。なお別の実施形態では、例えば、図６に示される実施形態に適用できるように、推奨事項は、レンズ２１０、２２０で捕捉される画像の焦点をより良く合わせるために、ジンバル７０を介して患者画像捕捉デバイス２００を外科器具２５０から遠ざけることを臨床医への指示に含むことができる。
【００６５】
次に、ステップ８５５で、ロボット外科手技中に推奨事項を実施できるかどうかの判定が行われる。この判定は、メモリ３５に記憶されている、考えられる解決策／推奨事項のデータベースに基づいている。例えば、レンズ２１０、２２０の欠陥または損傷により、推奨事項が臨床医に患者画像捕捉デバイス２００を交換することを要求する場合、推奨事項を実施する前にロボット外科手技を停止する必要があり得る。代替的に、推奨事項が、臨床医に、患者画像捕捉デバイス２００を手術部位「Ｓ」の物体から遠ざけることを要求する場合、推奨事項はロボット外科手技の進行中に実施することができる。ステップ８５５で、外科手技の進行中に推奨事項を実施することができると判定された場合（ステップ８５５で「はい」）、方法８００はステップ８１０に戻り、手術部位「Ｓ」の新しい画像が受信される。ステップ８５５で、外科手技の進行中に推奨事項を実施できないと判定された場合（ステップ８５５で「いいえ」）、方法８００はステップ８６５に進み、ロボット外科手技が終了する。別の実施形態では、外科手技の進行中に特徴を補正する方法の推奨事項を実施できない場合、ロボット外科手技を停止するために、ディスプレイデバイス４４を介して通知を提供することができる。
【００６６】
図１のコンピュータ可読媒体に戻って参照すると、メモリ３５は、プロセッサ３２によって実行可能であり、コントローラ３０の動作を制御するデータおよび／またはソフトウェアを記憶するための任意の非一時的なコンピュータ可読記憶媒体を含む。実施形態では、メモリ３５は、フラッシュメモリチップなどの１つ以上の固体記憶デバイスを含むことができる。１つ以上の固体記憶デバイスとは代替的に、またはそれに加えて、メモリ３５は、大容量記憶コントローラ（図示せず）および通信バス（図示せず）を通じてプロセッサ３２に接続された１つ以上の大容量記憶デバイスを含んでもよい。本明細書に含まれるコンピュータ可読媒体の説明は、固体記憶装置に言及しているが、コンピュータ可読記憶媒体は、プロセッサ３２によってアクセス可能な任意の利用可能な媒体とすることができることが当業者によって理解されるべきである。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された非一時的、揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含む。例えば、コンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他の固体メモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイもしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気記憶装置、または所望の情報を記憶するために使用することができ、かつワークステーション１８０がアクセスすることができる任意の他の媒体を含む。
【００６７】
デバイス、そのようなデバイスを組み込んだシステム、およびそれらを使用する方法の詳細な実施形態が本明細書に記載されてきた。しかしながら、これらの詳細な実施形態は、本開示の単なる例であり、さまざまな形態で実施することができる。したがって、本明細書に開示された具体的な構造的および機能的詳細は、限定するものと解釈されるべきではなく、当業者が本開示を事実上、任意の適切な詳細な構造で用いることを可能にするための、請求項の根拠として、および代表的な基本事項として解釈されるべきである。
【図１】
2020534050.tif 000003
【図２】
2020534050.tif 000004
【図３】
2020534050.tif 000005
【図４】
2020534050.tif 000006
【図５】
2020534050.tif 000007
【図６】
2020534050.tif 000008
【図７】
2020534050.tif 000009
【図８】
2020534050.tif 000010
【国際調査報告】
2020534050.tif 000011
2020534050.tif 000012