【手続補正書】
【提出日】平成30年8月10日(2018.8.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
医療従事者が医療処置中に医療関連情報を含む画像とインタラクトすることを可能にするためのシステムであって、
ユーザインタフェースメニュー画像を投影面上に投影するためのプロジェクタであって、前記ユーザインタフェースメニュー画像は、複数のユーザインタフェース画像セクションを含み、各ユーザインタフェース画像セクションは、前記ユーザインタフェースメニュー画像の異なる部分を占め、対応する機能に関連付けられている、プロジェクタと、
前記投影面を含む検知ボリューム内の複数の物体に関する３次元位置情報をキャプチャするための３次元光学撮像システムと、
前記３次元光学撮像システムから前記３次元位置情報を受け取るべく接続されているコントローラであって、
前記３次元光学撮像システムと前記投影面との間の空間における前記医療従事者の手の位置を推定するべく、前記３次元位置情報を解釈し、
前記複数のユーザインタフェース画像セクションの特定の１つに対する前記手の前記位置、および、前記手の前記位置と前記投影面からの距離によって定義される１つまたは複数の閾値面との比較のみに基づいて、前記医療従事者の前記手の前記位置を、前記複数のユーザインタフェース画像セクションの前記特定の１つ、および、前記対応する機能の選択であると解釈するように構成された、コントローラと、
医療関連情報を含む画像を表示するためのディスプレイと
を備え、
前記コントローラは更に、前記医療従事者の前記手の前記位置を、前記複数のユーザインタフェース画像セクションのうち前記特定の１つと、前記対応する機能との前記選択として解釈した後で、前記３次元光学撮像システムによってキャプチャされた前記３次元位置情報に基づいて、前記医療従事者の前記手によって作られる動きを含む１つまたは複数のジェスチャーを、医療関連情報を含む、表示される前記画像を操作するための１つまたは複数の対応するコマンドを示すものと解釈するように構成され、
前記コントローラは、
前記プロジェクタに、サブメニュー画像を前記投影面上に投影させ、前記サブメニュー画像は、複数のサブメニューインタフェースセクションを含み、各サブメニューインタフェースセクションは、前記１つまたは複数の対応するコマンドの対応する１つに関連付けられ、前記サブメニュー画像の異なる部分を占め、
前記１つまたは複数のジェスチャーを、前記複数のサブメニューインタフェースセクションの特定の１つに対する前記１つまたは複数のジェスチャーの位置に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの対応する１つとの選択を含むものとして解釈することによって、
前記１つまたは複数のジェスチャーを、１つまたは複数の対応するコマンドを示すものと解釈するように構成され、
前記コントローラは、前記ディスプレイに、前記１つまたは複数の対応するコマンドの前記対応する１つを有効にさせ、それにより、前記１つまたは複数の対応するコマンドの前記対応する１つに従って、医療関連情報を含む、表示される前記画像を操作するように構成される、
システム。
【請求項２】
前記投影面は、前記医療処置を受けている患者が位置する手術台の一部、および、前記医療処置が実施されている部屋にあるサイドテーブルのほぼ横方向の表面、のうちの少なくとも１つを含む、
請求項１に記載のシステム。
【請求項３】
前記コントローラは、前記プロジェクタに接続され、前記プロジェクタが前記ユーザインタフェースメニュー画像を前記投影面上に投影しないオフ状態から、前記プロジェクタが前記ユーザインタフェースメニュー画像を前記投影面上に投影するオン状態へと、前記プロジェクタを切り替えるように構成され、当該切り替えは、前記プロジェクタを前記オン状態へと切り替える前に、前記医療従事者の前記手が、前記検知ボリューム内の切り替え位置に位置することの検出に、少なくとも部分的に基づいており、前記切り替え位置の前記投影面からの距離は、閾値切り替え距離より小さい、請求項１または２に記載のシステム。
【請求項４】
前記コントローラは、前記医療従事者の前記手の前記位置を、前記複数のユーザインタフェース画像セクションの前記特定の１つの上にある前記手の位置、および、前記複数のユーザインタフェース画像セクションの前記特定の１つに対する前記手の近接度、のうちの少なくとも１つに基づく前記複数のユーザインタフェース画像セクションの前記特定の１つと、前記対応する機能との前記選択として解釈するように構成される、請求項１から３のいずれか一項に記載のシステム。
【請求項５】
前記コントローラは、前記１つまたは複数のジェスチャーを、前記複数のサブメニューインタフェースセクションの前記特定の１つの上の、前記１つまたは複数のジェスチャーの前記位置、および、前記複数のサブメニューインタフェースセクションの前記特定の１つに対する前記１つまたは複数のジェスチャーの近接度、のうちの少なくとも１つに基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの前記対応する１つとの前記選択を含むものとして解釈するように構成される、請求項１に記載のシステム。
【請求項６】
前記１つまたは複数の対応するコマンドは、前記ディスプレイ上に表示される画像をズームインするズームインコマンドと、前記ディスプレイ上に表示される画像をズームアウトするズームアウトコマンドと、前記ディスプレイ上に表示される画像の周囲で様々な方向にパンニングすること、前記ディスプレイ上に表示される複数の画像を第１方向にスクロールすること、および、前記ディスプレイ上に表示される画像を第２方向にスクロールすること、のうちの１つまたは複数を含む、請求項１に記載のシステム。
【請求項７】
前記１つまたは複数の対応するコマンドは、第１方向コマンド、および、前記第１方向コマンドと逆方向である第２方向コマンドを含み、前記第１方向コマンドは、第１方向の第１ジェスチャーに関連付けられ、前記第２方向コマンドは、第２方向の第２ジェスチャーに関連付けられ、前記第１方向および前記第２方向は、互いに対してほぼ逆である、請求項１に記載のシステム。
【請求項８】
前記コントローラは、前記３次元光学撮像システムによってキャプチャされる前記３次元位置情報に基づいて、前記第１方向における前記ジェスチャーに関連付けられた動きの量と、前記第１方向における前記ジェスチャーの位置と、前記第１方向における前記ジェスチャーの速度とのうち、少なくとも１つに基づく、前記第１ジェスチャーに関連付けられた大きさメトリックを決定するように構成され、
前記コントローラは、前記ディスプレイに、前記大きさメトリックに基づいて、前記ディスプレイ上に表示される、医療関連情報を含む前記画像上で、１つまたは複数の対応するコマンドを有効にさせるように構成される、請求項７に記載のシステム。
【請求項９】
前記１つまたは複数の対応するコマンドの各々は、方向性および大きさメトリックを含み、前記コントローラは、前記ディスプレイに、前記１つまたは複数の対応するコマンドの前記対応する１つの前記方向性および前記大きさメトリックに基づいて、前記ディスプレイ上に表示される、医療関連情報を含む前記画像上で、前記１つまたは複数の対応するコマンドの前記対応する１つを有効にさせるように構成される、請求項１に記載のシステム。
【請求項１０】
前記１つまたは複数のジェスチャーは、前記投影面の閾値距離内にある位置へ前記医療従事者の前記手を動かすことを含み、前記閾値距離は、前記投影面に関連付けられた基準点であって、前記投影面上の複数の点の平均を含む前記基準点、および、前記検知ボリュームにおけるベッドの検出に基づく、前記投影面の前記位置の推定、のうちの少なくとも１つに対して決定される、請求項１から９のいずれか一項に記載のシステム。
【請求項１１】
前記コントローラは、前記医療従事者の前記手の前記位置を、前記複数のユーザインタフェース画像セクションの前記特定の１つおよび前記対応する機能の前記選択として解釈した後で、前記プロジェクタに、前記複数のユーザインタフェース画像セクションの前記特定の１つ、および、前記対応する機能が選択されたという表示を、前記ユーザインタフェースメニュー画像内に投影させるように構成される、請求項１から１０のいずれか一項に記載のシステム。
【請求項１２】
前記投影面は、不規則な表面形状を含み、前記コントローラは、前記プロジェクタに、前記３次元光学撮像システムによってキャプチャされた前記３次元位置情報に基づいて、前記ユーザインタフェースメニュー画像の前記投影を調節し、前記投影面の前記不規則な表面形状を補償させるように構成され、
前記投影面の前記不規則な表面形状は、患者の身体の存在によって生じる複数の不規則性と、手術台の複数の被覆の存在によって生じる複数の不規則性と、１つまたは複数の医療器具の存在によって生じる複数の不規則性と、のうちの１種または複数種を含む、
請求項１から１１のいずれか一項に記載のシステム。
【請求項１３】
医療従事者が医療処置中に医療関連情報を含む画像とインタラクトすることを可能にする方法であって、
ユーザインタフェースメニュー画像を投影面に投影する段階であって、前記ユーザインタフェースメニュー画像は、複数のユーザインタフェース画像セクションを含み、各ユーザインタフェース画像セクションは、前記ユーザインタフェースメニュー画像の異なる部分を占め、対応する機能に関連付けられている、段階と、
前記投影面を含む検知ボリューム内の複数の物体に関する３次元位置情報をキャプチャする段階と、
前記検知ボリューム内の前記医療従事者の手の位置を推定するべく前記３次元位置情報を解釈する段階と、
前記複数のユーザインタフェース画像セクションの特定の１つに対する前記手の前記位置、および、前記手の前記位置と前記投影面からの距離によって定義される１つまたは複数の閾値面との比較のみに基づいて、前記医療従事者の前記手の前記位置を、前記複数のユーザインタフェース画像セクションの前記特定の１つ、および前記対応する機能の選択であると解釈する段階と、
ディスプレイに、医療関連情報を含む画像を表示させる段階と、
前記医療従事者の前記手の前記位置を、前記複数のユーザインタフェース画像セクションのうち前記特定の１つと、前記対応する機能との前記選択として解釈した後で、キャプチャされた前記３次元位置情報に基づいて、前記医療従事者の前記手によって作られる動きを含む１つまたは複数のジェスチャーを、医療関連情報を含む、表示される前記画像を操作するための１つまたは複数の対応するコマンドを示すものと解釈する段階であって、
サブメニュー画像を前記投影面上に投影させる段階であって、前記サブメニュー画像は、複数のサブメニューインタフェースセクションを含み、各サブメニューインタフェースセクションは、前記１つまたは複数の対応するコマンドの対応する１つに関連付けられ、前記サブメニュー画像の異なる部分を占める、段階、および、
前記１つまたは複数のジェスチャーを、前記複数のサブメニューインタフェースセクションの特定の１つに対する前記１つまたは複数のジェスチャーの位置に基づく、前記複数のサブメニューインタフェースセクションの前記特定の１つと、前記１つまたは複数の対応するコマンドの対応する１つとの選択を含むものとして解釈する段階
を含む、前記１つまたは複数のジェスチャーを１つまたは複数の対応するコマンドを示すものと解釈する段階と、
前記ディスプレイに、前記１つまたは複数の対応するコマンドの前記対応する１つを有効にさせ、それにより、前記１つまたは複数の対応するコマンドの前記対応する１つに従って、医療関連情報を含む、表示される前記画像を操作する段階と
を備える、方法。