(57)【特許請求の範囲】
【請求項１】
虚像を表示可能な医療システムであって、
操作者の位置と向きとの少なくとも１つに関する情報を検知する第１の検知部と、
前記情報に基づいて、空中に前記虚像を配置する領域を算出する算出部と、
手術室内の物体の位置を検知する第２の検知部と、
前記第２の検知部が検知した結果に基づいて、前記領域内に前記物体が存在するか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記虚像を前記領域内に配置する制御部と、
を具備することを特徴とする医療システム。
【請求項２】
前記第２の検知部は、前記領域内に存在する物体を検知し、
前記制御部は、前記判定部が前記領域内に前記物体が存在しないと判定した場合に、前記虚像を前記領域内に配置する、
ことを特徴とする請求項１に記載の医療システム。
【請求項３】
前記情報は、前記操作者の立ち位置、前記操作者の顔の位置又は前記操作者の顏の向きのうち少なくとも１つを含む、
ことを特徴とする請求項１に記載の医療システム。
【請求項４】
前記虚像は、操作画面を含み、
前記操作者の手指の位置を検知する第３の検知部を有し、
前記制御部は、前記手指の位置と前記操作画面とが一致するように前記虚像の位置及び向きを調整する、
ことを特徴とする請求項１に記載の医療システム。
【請求項５】
前記判定部は、前記情報に基づいて、前記操作者が前記虚像の視野範囲内にいるか否かを判定し、
前記制御部は、
前記操作者が前記虚像の視野範囲内にいると前記判定部が判定した場合、前記操作画面による操作を有効とし、
前記操作者が前記虚像の視野範囲外にいると前記判定部が判定した場合、前記操作画面による操作を無効とする、
ことを特徴とする請求項４に記載の医療システム。
【請求項６】
手術に係る情報を表示する表示部を有し、
前記制御部は、前記操作者が前記虚像の視野範囲外にいると前記判定部が判定した場合、前記虚像の視野範囲内に前記操作者を誘導する通知を、前記表示部に表示する、
ことを特徴とする請求項５に記載の医療システム。
【請求項７】
前記第１の検知部、前記第２の検知部及び前記第３の検知部は、ジェスチャセンサの出力に基づいて、それぞれ前記情報、前記物体、前記手指の位置を取得する、
ことを特徴とする請求項４に記載の医療システム。
【請求項８】
モニタと、光線の進む方向を変化させるプレートとを有し、
前記プレートを対称面とし、前記モニタの表示面に対して対称となる位置に、前記モニタの前記表示面から発する前記光線を結像することで、前記虚像を表示する、
ことを特徴とする請求項１に記載の医療システム。
【請求項９】
前記制御部からの指示に基づき、前記虚像が表示可能である位置に前記モニタを配置する配置部を有する、
ことを特徴とする請求項８に記載の医療システム。
【請求項１０】
前記配置部は、室内における天井又は壁から前記モニタを移動自在に支持する、
ことを特徴とする請求項９に記載の医療システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医療システムに関し、特に、空中に虚像のディスプレイ画面を表示可能な医療システムに関する。
【背景技術】
【０００２】
近年、技術の発展と共に、医療機器の種類は豊富となっており、また、その機能も充実してきている。また、手術室にはこれらの医療機器の他に、ルームライト、各種の表示装置、医療画像を撮像する内視鏡および記録装置等の各種機器が配置されている。【０００３】
さらに特開平７−２３１８９６号公報には、これらの装置を含む各種医療機器を通信により集中制御する集中制御装置（システムコントローラ）を備える内視鏡手術システムが示されている。【０００４】
この種の内視鏡手術システムにおける集中制御装置では、いわゆるタッチパネルにより構成された操作パネルにより、被制御機器のパラメータ等の設定または変更を行うことが一般的であるが、この操作パネルの操作を滅菌域に居る術者自らが行うことが望まれている。【０００５】
しかしながら、この種の操作パネル（タッチパネル）は不潔域に設置されたラックまたはカートに載置されることが多く、滅菌域に居る術者が直接当該操作パネルを操作することは困難となる場合が多い。【０００６】
したがって、術者は、不潔域に常在する看護師等に指示を出して、術者に代わって看護師に操作パネルを操作させる方法が採られることもあるが、指示が伝わるまでに時間を要し、また、指示の誤伝達若しくは誤認識による操作ミスが発生する虞もある。【０００７】
さらに、当該操作パネルにドレープを取り付け、術者が自ら操作パネルと操作することも考えられるが、タッチパネルである操作パネル自体に意図しない物理的な接触が生じ、誤動作が発生する虞がある。また、操作パネル自体により視界が遮られることもあり、手術進行の妨げになってしまうという課題もある。【０００８】
一方、特開２００５−０４０６１３号公報に開示されるように、滅菌域においても使用できる入力装置としてジェスチャ装置が知られるほか、近年、空中に虚像であるディスプレイを表示する技術が再公表２００９−１３１１２８号公報において提案されている。【０００９】
上述した特開２００５−０４０６１３号公報に記載された技術と再公表２００９−１３１１２８号公報に記載された技術（空中に虚像ディスプレイを表出する技術）を組み合わせることにより、手術室における所定の空間位置に恰もタッチパネルと同様なＧＵＩ機能を備えた虚像の空中ディスプレイを表出することが可能となる。【００１０】
このＧＵＩ（graphical user interface）機能を備えた虚像の空中ディスプレイは、その原理上、すなわち空間に表出された虚像であるが故に、入力操作面に対する物理的な接触を要しない。したがって、当該空中ディスプレイの表出が実現されることにより、滅菌域においても術者による入力操作が可能となる。【００１１】
さらに、この空中ディスプレイを任意のタイミングで表出させることで、操作パネルにより視界を遮ることを避けることができる。【００１２】
ところで、上述したＧＵＩ機能、すなわち入力操作機能を備えた空中ディスプレイは虚像であるが故に視野角が狭く、操作者（術者）が表示面の正面に立位しないと視認することができない。しかしながら手術シーンにおいては、術者はその立ち位置に制約があることが多いばかりか、常に同じ位置、同じ向きに位置できるとは限らず、すなわち、空中ディスプレイの表示面に容易にかつ常時立位することは困難であると考えられる。【００１３】
これに対して上述した再公表２００９−１３１１２８号公報に記載の技術は、そもそも上述した如き手術シーンにおける状況について考慮するものではなく、したがって、操作者と空中ディスプレイとを正対させる点については何等言及されていない。【００１４】
一方、手術室の空間において、上述した如き入力操作機能を備えた虚像空中ディスプレイを術者の意図しない空間、例えば術者には見えない位置等に表出させてしまった場合、誤って術者の手の操作により、または、表出箇所に存在した機器等により誤動作させてしまう虞もある。【００１５】
本発明は上述した事情に鑑みてなされたものであり、タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出可能とする医療システムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【００１６】
本発明の一態様の医療システムは、虚像を表示可能な医療システムであって、操作者の位置と向きとの少なくとも１つに関する情報を検知する第１の検知部と、前記情報に基づいて、空中に前記虚像を配置する領域を算出する算出部と、手術室内の物体の位置を検知する第２の検知部と、前記第２の検知部が検知した結果に基づいて、前記領域内に前記物体が存在するか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記虚像を前記領域内に配置する制御部と、を具備する。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施形態の医療システムの全体構成を示す図である。
【図２】図２は、第１の実施形態の医療システムにおける電気的な構成を示した図である。
【図３】図３は、第１の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。
【図４】図４は、第１の実施形態の医療システムにおける操作者の手指位置情報の検出動作を説明する図である。
【図５】図５は、本発明の第２の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。
【図６】図６は、本発明の第３の実施形態の医療システムにおける要部の構成を示した図である。
【図７】図７は、第３の実施形態の医療システムにおける電気的な構成を示した図である。
【図８】図８は、第３の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。
【図９】図９は、第３の実施形態の医療システムにおける操作パネルの一表示例を示した図である。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の実施形態を説明する。【００１９】
（第１の実施形態）
図１から図４を用いて第１の実施形態の医療システムについて説明する。図１は、本発明の第１の実施形態の医療システムの全体構成を示す図、図２は、第１の実施形態の医療システムにおける電気的な構成を示した図、図３は、第１の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャート、図４は、第１の実施形態の医療システムにおける操作者の手指位置情報の検出動作を説明する図である。【００２０】
図１に示すように、本実施形態の医療システム１は内視鏡下外科手術が行われる手術室に設けられたシステムであり、図１および図２に示すように、複数の医療機器で構成される被制御機器である周辺機器群２と、これら周辺機器群２を集中制御するとともに各種機器を制御するシステムコントローラ３と、看護師等の操作者による操作を受け付ける操作パネル４と、手術に係る所定の情報を選択的に表示する表示パネル５と、患者が載置される手術台６と、入力操作機能（ＧＵＩ機能）を備えた虚像空中ディスプレイ１５の元画像を表示する空中ディスプレイ用モニタ１１と、前記虚像空中ディスプレイを表示させるための空中ディスプレイ用プレート１２と、前記空中ディスプレイ用モニタ１１の位置および向きを変更せしめる移動式ロボットアーム１３と、術者(操作者)１００の所定部位および手術室内における機器等のジェスチャを認識するジェスチャセンサ１４と、術者等の音声を集音するマイク４１と、術者等に対して所定の音声を発するためのスピーカ４２と、で主要部が構成されている。【００２１】
周辺機器群２は、観察、検査及び処置等を行う複数の医療機器で構成されている。本実施形態の医療システムにおいて前記複数の医療機器は、例えば、内視鏡用カメラ装置２１、気腹装置２２、電気メス装置２３、光源装置２４、内視鏡モニタ２５等により構成される。なお、周辺機器群２はこれらの医療機器に限定されるものではなく、例えば、ビデオテープレコーダ（ＶＴＲ）等を備えていてもよい。【００２２】
システムコントローラ３は、周辺機器群２および当該医療システム１における各種装置の制御を司るものであり、図２に示すように、各種制御を行う制御部３１と、前記周辺機器群２の他、操作パネル４、表示パネル５、移動式ロボットアーム１３およびジェスチャセンサ１４等との通信信号のインターフェースである通信Ｉ／Ｆ３２と、前記空中ディスプレイ用モニタ１１と接続された表示Ｉ／Ｆ３３と、所定の情報を記録する記録部３４と、前記マイク４１およびスピーカ４２に接続された音声Ｉ／Ｆ３５と、で主要部が構成されている。【００２３】
ここでシステムコントローラ３における前記制御部３１は、前記虚像空中ディスプレイ１５の操作者たる術者の、出術室における位置と方向との少なくとも１つに関する情報に基づいて前記虚像空中ディスプレイ１５を配置する第１の領域を算出する算出部、前記第１の領域内に所定の物体が存在するか否かを判定する判定部、前記物体が前記第１の領域内に存在しないと前記判定部が判定した場合に、前記虚像空中ディスプレイ１５を前記第１の領域内に配置するよう空中ディスプレイ用モニタ１１および移動式ロボットアーム１３等を制御する制御部としての役目を果たす。【００２４】
通信Ｉ／Ｆ３２は、システムコントローラ３に接続される前記各周辺機器群２から各種データおよび設定パラメータを受信し、これらのデータおよびパラメータ等を制御部３１に入力し、または、周辺機器群２を操作するために制御部３１において生成した信号を当該周辺機器群２に出力するためのインターフェースである。また、記録部３４には、例えば、システムコントローラ３を動作させるためのプログラムおよびプログラムの実行に必要な各種データおよびパラメータ等が格納されている。【００２５】
なお、前記空中ディスプレイ用モニタ１１、移動式ロボットアーム１３、ジェスチャセンサ１４、マイク４１およびスピーカ４２に対するシステムコントローラ３における制御については後に詳述する。【００２６】
操作パネル４は、例えば、液晶ディスプレイと液晶ディスプレイに重ねて配置されたタッチパネルセンサとが一体となって構成された、いわゆるタッチパネルディスプレイにより構成される。当該操作パネル４は、非滅菌域にいる看護師等が周辺機器群２の操作を行うための操作装置であり、操作情報はシステムコントローラ３における通信Ｉ／Ｆ３２を介して制御部３１に入力されるようになっている。【００２７】
光源装置２４は、照明光を伝送するライトガイドケーブルを介して内視鏡（図示せず）に接続されている。光源装置２４からの照明光は内視鏡に供給され、内視鏡の挿入部が挿入された患者の腹部内の患部等を照明するようになっている。【００２８】
本実施形態における医療システムにおいては、内視鏡の挿入部の基端側には、撮像素子を備えたカメラヘッドが装着され、患部等の光学像をカメラヘッド内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、ケーブルを介して内視鏡用カメラ装置２１に伝送される。【００２９】
内視鏡用カメラ装置２１は、接続された内視鏡から伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。そして内視鏡用カメラ装置２１は、生成した映像信号を、システムコントローラ３を介してモニタ２５に出力するようになっている。なお、本実施形態において前記モニタ２５は天井１６から吊り下げられ移動自在に配設され、入力された映像信号、すなわち患部等の内視鏡画像が表示されるようになっている。【００３０】
気腹装置２２には、図示しない炭酸ガスボンベが接続されており、気腹装置２２から患者に伸びた気腹チューブを介して、患者の腹部内に炭酸ガスが供給されるようになっている。【００３１】
前記システムコントローラ３の他、操作パネル４、表示パネル５、内視鏡用カメラ装置２１、気腹装置２２、電気メス装置２３および光源装置２４は、ラック２６に設置されている。【００３２】
なお、前記システムコントローラ３は、上述した周辺機器群２のほかに、患者が横たわる手術台６、天井１６から吊り下げられた無影灯２７などの、手術室に常設された設備も、被制御機器として制御する。【００３３】
また、図１では、内視鏡下外科手術が行われる手術室に設けられた医療システム１を例示したが、医療システム１の用途は内視鏡下外科手術に限られず、他の手術や診察のために用いられてもよい。また、医療システム１は、診察室など手術室以外に設けられてもよい。【００３４】
医療システム１は、さらに、図１では図示しない種々の装置及び設備を含んでもよい。例えば、術野を観察する術野カメラなどを含んでもよく、これらをシステムコントローラ３で制御してもよい。【００３５】
次に、本発明を特徴づける入力操作機能（ＧＵＩ機能）を備えた虚像空中ディスプレイおよび当該空中ディスプレイの表示機構について図１および図２を参照して説明する。【００３６】
空中ディスプレイ用モニタ１１は、入力操作機能（ＧＵＩ機能）を備えた前記虚像空中ディスプレイ１５（図１参照）の元画像を表示するモニタであって、図１に示すように、天井１６から移動式ロボットアーム１３を介して配設される。【００３７】
この空中ディスプレイ用モニタ１１に表示される、前記虚像空中ディスプレイ１５のための「元画像」は、表示Ｉ／Ｆ３３を介してシステムコントローラ３における制御部３１に制御されるようになっている。なお、この「元画像」は、たとえばタッチパネルである前記操作パネル４に表示されるような操作パネル画面である。【００３８】
移動式ロボットアーム１３は、天井１６から延設され前記空中ディスプレイ用モニタ１１を天井１６に対して移動自在に支持する。そして、前記通信Ｉ／Ｆ３２を介して制御部３１に接続され、当該制御部３１の制御下に前記空中ディスプレイ用モニタ１１の表示面の位置および向きが制御されるようになっている。【００３９】
空中ディスプレイ用プレート１２は、空中ディスプレイ用モニタ１１に表示された映像を、前記虚像空中ディスプレイ１５として表示させるための機能を備えたプレートであり、当該医療システム１が配設される手術室における、前記空中ディスプレイ用モニタ１１の略下方の所定位置において固定して配設される。【００４０】
ここで、前記空中ディスプレイ用プレート１２は、再公表２００９−１３１１２８号公報において開示されるように、手術室の空間に虚像の空中ディスプレイを表示させるための機能を備える。【００４１】
そして、前記空中ディスプレイ用プレート１２を対称面として、前記空中ディスプレイ用モニタ１１の表示面の対称となる位置に、当該空中ディスプレイ用モニタ１１の表示面からの光線が空中において結像され、空中ディスプレイ用モニタ１１に表示された映像が空中に虚像（虚像空中ディスプレイ１５）として表出される。【００４２】
ジェスチャセンサ１４は、前記手術室の所定位置に配設され、術者等の、前記虚像空中ディスプレイ１５を操作する操作者の所定部位のジェスチャを認識することにより当該所定部位の手術室における位置または向きの情報を検出センサである。【００４３】
本実施形態において前記ジェスチャセンサ１４は、術者（操作者）の手術室における立ち位置、顔の位置、顔の向き（方向）の位置方向情報の他、図４に示すような術者の手指の位置を検出するようになっている。【００４４】
さらにジェスチャセンサ１４は、術者（操作者）に係る位置方向情報の他、手術室内に配置されている機器（前記周辺機器群２、操作パネル４、５等の他、手術室に存在する任意の機器または機材等）の位置情報を検出することもできるようになっている。【００４５】
すなわち、ジェスチャセンサ１４は、操作者の位置と方向との少なくとも１つに関する情報を検知する第１の検知部、および、前記情報に基づいて前記ディスプレイを配置する第１の領域に存在する物体を検知する第２の検知部としての役目を果たす。【００４６】
マイク４１は、術者等の音声を集音するマイクであって、本実施形態においては空中ディスプレイ用モニタ１１を制御する制御部３１に対して、当該システムコントローラ３の作用を制御するための音声を集音する。また、スピーカ４２は、術者等に対して所定の音声を発するためのスピーカであって、本実施形態においては、システムコントローラ３が空中ディスプレイ用モニタ１１を制御する際に、所定の警告音声を発する機能を有する。【００４７】
＜空中ディスプレイの位置制御＞
次に、本実施形態の医療システム１において、手術室の空間に表出される虚像空中ディスプレイ１５の位置制御の仕組みについて説明する。【００４８】
上述したように、虚像空中ディスプレイ１５は視野角が狭く、操作者（術者）が表示面の正面に立位しないと視認することができない。しかしながら手術シーンにおいては、術者はその立ち位置に制約があることが多いばかりか、常に同じ位置、同じ向きに位置できるとは限らず、すなわち、空中ディスプレイの表示面に容易にかつ常時立位することは困難であると考えられる。【００４９】
本発明は係る事情に鑑み、上述したように本実施形態においては手術室の所定位置に前記ジェスチャセンサ１４を備える。このジェスチャセンサ１４により、術者（操作者）の手術室における立ち位置、顔の位置、顔の向き（方向）の情報を検出し、この位置方向情報をシステムコントローラ３に送出する。【００５０】
当該位置方向情報を取得したシステムコントローラ３における制御部３１は、移動式ロボットアーム１３を駆動し、虚像空中ディスプレイ１５が操作者の正面に位置するように空中ディスプレイ用モニタ１１を移動せしめる。【００５１】
システムコントローラ３の制御下に空中ディスプレイ用モニタ１１が的確な位置に移動されたのち、この空中ディスプレイ用モニタ１１の表示面に対して前記空中ディスプレイ用プレート１２の面対称の位置に虚像空中ディスプレイ１５を表出することができるようになっている。すなわち、手術室の空間において操作者の正面の位置に虚像空中ディスプレイ１５が表出されることとなる。【００５２】
本実施形態においては、さらに、操作者の正面の位置に移動された前記虚像空中ディスプレイ１５を、操作者の手指の座標位置に応じて微調整するようになっている。すなわち、操作者の手指の座標位置と当該虚像空中ディスプレイ１５の表示面とをキャリブレーションすることを可能とする。【００５３】
ここでジェスチャセンサ１４は、上述したように、図４に示すように術者（操作者）の手指の位置を検出するようになっている。具体的にジェスチャセンサ１４は、操作者の手のひら５１における所定の特徴点５１ａの座標位置を検出し、この位置情報をシステムコントローラ３に送出する。【００５４】
ジェスチャセンサ１４から操作者の手のひら５１における前記特徴点５１ａの座標位置情報を取得したシステムコントローラ３は、移動式ロボットアーム１３を駆動制御して、操作者の手指の座標位置と虚像空中ディスプレイ１５の表示面とが一致するように空中ディスプレイ用モニタ１１の位置および向きを調整する。【００５５】
当該調整により操作者の手指の座標位置と当該虚像空中ディスプレイ１５の表示面とがキャリブレーションされるが、本実施形態においては、ジェスチャセンサ１４により随時当該操作者の手のひら５１における前記特徴点５１ａの座標位置を検出し、システムコントローラ３により空中ディスプレイ用モニタ１１の位置調整も随時行うことで、当該キャリブレーションも継続的に実行することが可能となっている。【００５６】
上述したように操作者の手指の座標位置と虚像空中ディスプレイ１５の表示面とのキャリブレーションが継続的に実行されている状態においては、例えば、操作者の手指が虚像空中ディスプレイ１５の操作画像に重ね配置され、ジェスチャセンサ１４が、操作者の手指である手のひら５１における特徴点５１aの座標位置を検知することにより、操作者は、手術室の空間に表出されている虚像空中ディスプレイ１５における表示面に表示されている操作パネル画面（ＧＵＩ画面）をあたかもその場に存在するタッチパネルのように操作することが可能となる。すなわち、これにより虚像空中ディスプレイ１５は、入力操作機能（ＧＵＩ機能）を備えることとなる。【００５７】
＜第１の実施形態の作用＞
次に本発明の第１の実施形態の医療システムの作用について説明する。【００５８】
図３は、第１の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。【００５９】
図３に示すように、システムコントローラ３における制御部３１は、マイク４１に入力された術者（操作者）１００からの「表示」の音声入力を受けると（ステップＳ１）、ジェスチャセンサ１４において検出された、操作者１００の手術室における立ち位置、顔の位置または顔の向き（方向）に係る位置方向情報を取得する（ステップＳ２）。【００６０】
この後制御部３１は、ステップＳ２において取得した操作者１００に係る位置方向情報に基づいて、虚像空中ディスプレイ１５が操作者１００に正対する領域を算出する（ステップＳ３）。【００６１】
さらに制御部３１は、ジェスチャセンサ１４からの情報に基づいて、手術室における前記虚像空中ディスプレイ１５を表出しようとする領域内に、何らかの機器・機材等の障害物が存在するか否かを判定する（ステップＳ４）。【００６２】
このステップＳ４において障害物が存在する場合は、制御部３１はスピーカ４２を制御し、障害物の影響で虚像空中ディスプレイ１５を表出することができない旨を音声出力する（ステップＳ５）。【００６３】
一方、ステップＳ４において、前記虚像空中ディスプレイ１５を表出しようとする領域内に障害物が存在しないと制御部３１が判定した際は、当該制御部３１は、移動式ロボットアーム１３を駆動制御し、ステップＳ２において取得した操作者１００に係る位置方向情報に基づいて、虚像空中ディスプレイ１５が操作者の正面に位置するように空中ディスプレイ用モニタ１１を移動せしめる（ステップＳ６）。【００６４】
このステップＳ６においてシステムコントローラ３（制御部３１）の制御下に空中ディスプレイ用モニタ１１が的確な位置に移動された後、空中ディスプレイ用モニタ１１の表示面に対して前記空中ディスプレイ用プレート１２の面対称の位置に虚像空中ディスプレイ１５を表出する（ステップＳ７）。【００６５】
この後制御部３１は、操作者の手指の座標位置と当該虚像空中ディスプレイ１５の表示面とをキャリブレーションする（ステップＳ８）。すなわち、本実施形態の医療システムにおいては、上述したように、まずジェスチャセンサ１４が操作者の手のひら５１における所定の特徴点５１ａの座標位置を検出し、この位置情報をシステムコントローラ３に送出する（図４参照）。【００６６】
その後制御部３１は、ジェスチャセンサ１４から操作者の手のひら５１における前記特徴点５１ａの座標位置情報を取得し、移動式ロボットアーム１３を駆動制御して、操作者の手指の座標位置と虚像空中ディスプレイ１５の表示面とが一致するように空中ディスプレイ用モニタ１１の位置および向きを調整しキャリブレーションする。【００６７】
本実施形態においては、上述したように操作者の手指の座標位置と虚像空中ディスプレイ１５の表示面とのキャリブレーションを継続的に実行し、これにより、操作者は、手術室の空間に表出されている虚像空中ディスプレイ１５における表示面に表示されている操作パネル画面（ＧＵＩ画面）をあたかもその場に存在するタッチパネルのように操作することが可能となる。【００６８】
そして、操作者の手指の座標位置と虚像空中ディスプレイ１５の表示面とのキャリブレーションが継続的に実行されている状態において制御部３１は、虚像空中ディスプレイ１５におけるＧＵＩ画面をタッチパネルのように操作する“コントローラの操作”を有効とする（ステップＳ９）。【００６９】
なお本実施形態においては、“コントローラの操作”が有効とされ虚像空中ディスプレイ１５におけるＧＵＩ画面の操作が可能になると、例えば、術者（操作者）が周辺機器群２等の各種機器を滅菌域において操作することが可能となる。【００７０】
ステップＳ９において、“コントローラの操作”が有効な状態にされた後、制御部３１は、術者（操作者）１００から「終了」の音声入力を受けるまで（ステップＳ１０）、ジェスチャセンサ１４からの情報に基づいて操作者１００の顔の位置を監視し、当該操作者１００の顔の位置および向きが虚像空中ディスプレイ１５の視野範囲内に位置するか否かを判定する（ステップＳ１１）。【００７１】
すなわち、術者（操作者）は手術の進行により手術室内を移動することもあるが、上述したように虚像空中ディスプレイ１５は視野範囲が狭いため、操作者１００が移動すると視認できなってしまう。この状態において虚像空中ディスプレイ１５に係る“コントローラの操作”が有効なままであると、操作者１００の手等が誤って虚像空中ディスプレイ１５の表示範囲に進入し、周辺機器群２等を誤動作させてしまう虞がある。【００７２】
本発明は係る点に鑑み、“コントローラの操作”が有効にされた後は操作者１００の顔の位置および向きを監視し、不慮の事故を防止するようにしている。すなわち、ステップＳ１１において、制御部３１は、当該操作者１００の顔の位置が虚像空中ディスプレイ１５の視野範囲から外れたと判定すると、当該“コントローラの操作”を無効とする（ステップＳ１２）。すなわち、空間に浮かぶタッチパネルのように機能していた虚像空中ディスプレイ１５に係るＧＵＩ操作を無効とする。【００７３】
加えて制御部３１は、スピーカ４２を駆動し、音声応答により当該“コントローラの操作”を無効にした旨を操作者１００に通知する（ステップＳ１３）。【００７４】
一方、ステップＳ１１において当該操作者１００の顔の位置が虚像空中ディスプレイ１５の視野範囲内に位置する限り、制御部３１は“コントローラの操作”の有効状態を継続し（ステップＳ１４）、また、ステップＳ１２において“コントローラの操作”が一旦無効とされた後、再び当該操作者１００の顔の位置が虚像空中ディスプレイ１５の視野範囲内に位置した場合は、“コントローラの操作”を再び有効に設定し（ステップＳ１５）、併せて、音声応答により当該“コントローラの操作”を有効にした旨を操作者１００に通知する（ステップＳ１６）。【００７５】
また、ステップＳ１０において、“コントローラの操作”が有効な状態において操作者１００から「終了」の音声入力を受けると、制御部３１は、空中ディスプレイ用モニタ１１における画面表示を停止し、これにより、それまで空間上に表出されていた虚像空中ディスプレイ１５も消失することとなる（ステップＳ１７）。【００７６】
以上説明したように本第１の実施形態の医療システムによると、タッチパネルの如き入力操作機能（ＧＵＩ機能）を備えた虚像の空中ディスプレイを、手術室における的確な空間位置に表出することができる。【００７７】
これにより、滅菌域に居る術者が、不潔域の装置に触れることなくタッチパネルを操作するように医療システムにおける各種周辺機器を操作することが可能となる。【００７８】
また、本第１の実施形態によると、上記効果に加えて、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、予め障害物の有無を確認したうえで表出するように空中ディスプレイ用モニタ１１等を制御するので、意図しない操作者の手指の動作または手術室にすでに存在する機器等による誤動作を防止することができる。【００７９】
さらに、本第１の実施形態によると、上記効果に加えて、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出した後においても、操作者の位置情報を監視することにより、操作者が虚像空中ディスプレイの視野範囲から外れた場合でも、意図しない操作者の手指の動作による誤動作を防止することができる。【００８０】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。【００８１】
上述した第１の実施形態の医療システムは、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、システムコントローラ３における制御部３１が術者（操作者）からの「表示」の音声入力を認識した後（図３におけるステップＳ１）、ジェスチャセンサ１４において操作者の手術室における立ち位置、顔の位置または顔の向き（方向）に係る位置方向情報を取得し（図３におけるステップＳ２）、制御部３１が前記操作者に係る位置方向情報に基づいて、虚像空中ディスプレイ１５が操作者に正対する位置を算出する（図３におけるステップＳ３）ことにより、制御部３１が手術室における前記虚像空中ディスプレイ１５を表出しようとする領域内に、何らかの機器・機材等の障害物が存在するか否かを判定して（図３におけるステップＳ４）、予め障害物の有無を確認したうえで表出するように空中ディスプレイ用モニタ１１等を制御した（図３におけるステップＳ５）。【００８２】
これに対して本第２の実施形態の医療システムは、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、制御部３１が操作者からの「表示」の音声入力を認識することで当該虚像空中ディスプレイの表出システムの稼働を開始する点では同じだが、この後、制御部３１が、ジェスチャセンサ１４において操作者１００の「手のひら」の位置または方向に係る位置方向情報を取得し、係る「手のひら」の位置方向情報に基づいて、当該「手のひら」の面に応じた虚像空中ディスプレイ１５の位置を算出することにより、以下、第１の実施形態と同様に、虚像空中ディスプレイ１５を表出しようとする領域内における障害物の有無を確認したうえで空中ディスプレイ用モニタ１１等を制御することを特徴とするものである。【００８３】
すなわち、本第２の実施形態の医療システムは、その基本的な構成は第１の実施形態と同様であるが、第１の実施形態に比して空中ディスプレイの制御作用の一部を異にするものである。したがって、ここでは、第１の実施形態と異なる部分の説明にとどめ、第１の実施形態と同様の部分についての説明は省略する。【００８４】
＜第２の実施形態の作用＞
ここで本発明の第２の実施形態の医療システムの作用について説明する。【００８５】
図５は、本発明の第２の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。【００８６】
図５に示すように、本第２の実施形態においては、システムコントローラ３における制御部３１は、マイク４１に入力された術者（操作者）１００からの「表示」の音声入力を受けると（ステップＳ１）、ジェスチャセンサ１４から位置情報に基づいて手術室における操作者１００の「手のひら」の特徴点を取得する（ステップＳ１０２）。【００８７】
すなわち、制御部３１は、ジェスチャセンサ１４が操作者の手のひら５１における所定の特徴点５１ａの座標位置を検出し（図４参照）、この位置情報をシステムコントローラ３に送出する。【００８８】
その後制御部３１は、ジェスチャセンサ１４から操作者の手のひら５１における前記特徴点５１ａの座標位置情報を取得し、この「手のひら」の座標位置情報に基づいて当該「手のひら」の位置に応じた（すなわち、手のひらの中心点および手のひらの面に応じた）虚像空中ディスプレイ１５の表出位置を算出する（ステップＳ１０３）。【００８９】
この後制御部３１は、ステップＳ１０３において算出した虚像空中ディスプレイ１５を表出しようとする領域内に、何らかの機器・機材等の障害物が存在するか否かを判定する（ステップＳ４）。【００９０】
このステップＳ４において障害物が存在する場合は、第１の実施形態と同様に、制御部３１はスピーカ４２を制御し、障害物の影響で虚像空中ディスプレイ１５を表出することができない旨を音声出力する（ステップＳ５）。【００９１】
一方、ステップＳ４において、前記虚像空中ディスプレイ１５を表出しようとする領域内に障害物が存在しないと制御部３１が判定した際は、当該制御部３１は、ステップＳ１０３において算出した領域に虚像空中ディスプレイ１５を表出すべく移動式ロボットアーム１３を駆動制御し、空中ディスプレイ用モニタ１１を移動せしめる（ステップＳ６）。【００９２】
このステップＳ６においてシステムコントローラ３（制御部３１）の制御下に空中ディスプレイ用モニタ１１が的確な位置に移動された後、空中ディスプレイ用モニタ１１の表示面に対して前記空中ディスプレイ用プレート１２の面対称の位置に虚像空中ディスプレイ１５を表出する（ステップＳ７）。【００９３】
この後制御部３１は、第１の実施形態と同様に、操作者の手指の座標位置と当該虚像空中ディスプレイ１５の表示面とをキャリブレーションし（ステップＳ８）、操作者の手指の座標位置と虚像空中ディスプレイ１５の表示面とのキャリブレーションが継続的に実行されている状態において制御部３１は、虚像空中ディスプレイ１５におけるＧＵＩ画面をタッチパネルのように操作する“コントローラの操作”を有効とする（ステップＳ９）。【００９４】
以下“コントローラの操作”については上述した第１の実施形態と同様なので、ここでの説明は省略する。【００９５】
以上説明したように本第２の実施形態の医療システムによると、第１の実施形態と同様に、タッチパネルの如き入力操作機能（ＧＵＩ機能）を備えた虚像の空中ディスプレイを、手術室における的確な空間位置に表出することができ、滅菌域に居る術者が、不潔域の装置に触れることなくタッチパネルを操作するように医療システムにおける各種周辺機器を操作することが可能となる。【００９６】
また、本第２の実施形態によると、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、予め障害物の有無を確認したうえで表出するように空中ディスプレイ用モニタ１１等を制御するので、手術室にすでに存在する機器等による誤動作を防止することができる。
【００９７】
さらに、本第２の実施形態によると、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出した後においても、操作者の位置情報を監視することにより、操作者が虚像空中ディスプレイの視野範囲から外れた場合でも、意図しない操作者の手指の動作による誤動作を防止することができる。
【００９８】
さらに、本第２の実施形態によると、操作者が自身の「手のひら」を翳した位置に虚像空中ディスプレイ１５を表出するようにしたので、すなわち、操作者の意思がより濃く反映した位置に虚像空中ディスプレイ１５を表出させることができる。【００９９】
（第３の実施形態）
次に本発明の第３の実施形態について説明する。【０１００】
上述した第１の実施形態の医療システムは、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出するための空中ディスプレイ用モニタ１１を、移動式ロボットアーム１３を介して移動自在とする。これにより手術室における虚像空中ディスプレイ１５の表出する位置も比較的自由度を高く設定することが可能となる。【０１０１】
これに対して本第３の実施形態の医療システムは、虚像空中ディスプレイの表出位置は比較的限定した位置に制限されるものの、空中ディスプレイ用モニタを手術室の所定箇所に固定したシンプルな構成をなすことを特徴とする。【０１０２】
また、空中ディスプレイ用モニタの位置が固定されることから上述した空中ディスプレイ用プレートも小型化したプレートを採用するものとする。【０１０３】
このように第３の実施形態の医療システムは、虚像空中ディスプレイの表出位置は第１の実施形態に比して限定されることとなるが、空中ディスプレイ用モニタの移動機構および制御機構を省くことができ、より小規模なシステムにより手術室における虚像空中ディスプレイの表出を実現することができるというメリットを有する。【０１０４】
図６は、本発明の第３の実施形態の医療システムにおける要部であって、虚像空中ディスプレイの表出に係る機構の要部構成を示した図であり、図７は、第３の実施形態の医療システムにおける電気的な構成を示した図である。【０１０５】
図６および図７に示すように、本第３の実施形態の医療システム１０１は、内視鏡下外科手術が行われる手術室に設けられたシステムであり、第１の実施形態と同様な複数の医療機器で構成される被制御機器である周辺機器群２と、これら周辺機器群２を集中制御するとともに各種機器を制御するシステムコントローラ１０３と、看護師等の操作者による操作を受け付ける操作パネル４と、手術に係る所定の情報を選択的に表示する表示部である表示パネル５と、患者が載置される手術台６（図６では図示せず）と、入力操作機能（ＧＵＩ機能）を備えた虚像空中ディスプレイ１１５の元画像を表示する空中ディスプレイ用モニタ１１１と、前記虚像空中ディスプレイを表示させるための空中ディスプレイ用プレート１１２と、前記空中ディスプレイ用モニタ１１１を手術室の所定位置に固定的に支持するアーム１１３と、術者(操作者)１００の所定部位および手術室内における機器等のジェスチャを認識するジェスチャセンサ１１４と、術者等の音声を集音するマイク４１と、術者等に対して所定の音声を発するためのスピーカ４２と、で主要部が構成されている。【０１０６】
すなわち、本第３の実施形態の医療システムは、第１の実施形態に比して虚像空中ディスプレイの表出のための空中ディスプレイ用モニタの移動機構および制御機構を異にするものであり、その他の構成は第１の実施形態と同様である。したがって、ここでは、第１の実施形態と異なる部分の説明にとどめ、第１の実施形態と同様の部分についての説明は省略する。【０１０７】
第３の実施形態においてシステムコントローラ１０３は、周辺機器群２および当該医療システム１０１における各種装置の制御を司るものであり、図７に示すように、各種制御を行う制御部１３１と、前記周辺機器群２の他、操作パネル４、表示パネル５およびジェスチャセンサ１１４等との通信信号のインターフェースである通信Ｉ／Ｆ３２と、前記空中ディスプレイ用モニタ１１１と接続された表示Ｉ／Ｆ３３と、所定の情報を記録する記録部３４と、前記マイク４１およびスピーカ４２に接続された音声Ｉ／Ｆ３５と、で主要部が構成されている。【０１０８】
次に、本第３の実施形態における虚像空中ディスプレイおよび当該空中ディスプレイの表示機構について図６および図７を参照して説明する。【０１０９】
本第３の実施形態において空中ディスプレイ用モニタ１１１は、入力操作機能（ＧＵＩ機能）を備えた前記虚像空中ディスプレイ１１５の元画像を表示するモニタであって、図６に示すように、当該医療システム１０１が配設される手術室における天井１１６の上面部（天井裏部）において、アーム１１３に支持され配設される。【０１１０】
この空中ディスプレイ用モニタ１１１に表示される、虚像空中ディスプレイ１１５のための「元画像」は、第１の実施形態と同様に、表示Ｉ／Ｆ３３を介してシステムコントローラ１０３における制御部１３１に制御されるようになっている。【０１１１】
空中ディスプレイ用プレート１１２は、第１の実施形態における前記空中ディスプレイ用プレート１２と同様の機能を備えたレートであって、すなわち、空中ディスプレイ用モニタ１１１に表示された映像を、虚像の前記虚像空中ディスプレイ１１５として表示させるための機能を備えたプレートである。【０１１２】
また、空中ディスプレイ用プレート１１２は、前記天井１１６における、手術室を上方から臨むように切り欠かれた箇所において、当該切り欠き部を塞ぐとともに当該天井１１６の張設面に対して略平行となる方向に位置するよう配設されている。なお、当該空中ディスプレイ用プレート１１２の機能は、第１の実施形態における空中ディスプレイ用プレート１２と同等であるのでその機能についての説明は省略する。【０１１３】
また、前記空中ディスプレイ用モニタ１１１は、その表示面が、前記天井１１６の切り欠き部において露出している前記空中ディスプレイ用プレート１１２を当該天井１１６の裏側から臨む位置に配置されるように配設されている。【０１１４】
これにより、本第３の実施形態においては、当該空中ディスプレイ用プレート１１２を対称面として、前記空中ディスプレイ用モニタ１１１の表示面の対称となる位置には、当該空中ディスプレイ用モニタ１１１の表示面からの光線が空中において結像され、空中ディスプレイ用モニタ１１１に表示された映像が手術室の空中に虚像（虚像空中ディスプレイ１１５）として表出されることとなる。【０１１５】
ところで、上述した如き虚像空中ディスプレイは虚像であるが故に視野角（視野範囲）が狭く、操作者（術者）が表示面の正面に立位しないと視認することができない。一方で、本第３の実施形態においては空中ディスプレイ用モニタ１１１が固定化されているがゆえに虚像空中ディスプレイ１１５の表出位置は限定的である。【０１１６】
係る事情に鑑み本第３の実施形態の医療システムは、現在の操作者の立ち位置と虚像空中ディスプレイ１１５の表出位置との位置関係を把握し、操作者の立ち位置が虚像空中ディスプレイ１１５の視野範囲を外れている場合に当該操作者を虚像空中ディスプレイ１１５の視野範囲内に案内すべく、操作者に対して所定の情報を提供することを特徴とするものである。【０１１７】
図６に戻って前記ジェスチャセンサ１１４は、第１の実施形態と同様に、前記手術室の所定位置に配設され、術者等の、前記虚像空中ディスプレイ１１５を操作する操作者の所定部位のジェスチャを認識することにより当該所定部位の手術室における位置または向きの情報を検出センサである。【０１１８】
また、本第３の実施形態において前記ジェスチャセンサ１１４は、図４に示すような術者（操作者）の手指の位置の他、操作者の手術室における立ち位置の情報等を検出し、この位置情報をシステムコントローラ１０３に送出するようになっている。【０１１９】
具体的に本第３の実施形態においてジェスチャセンサ１１４からの位置情報を取得したシステムコントローラ１０３は、操作者の手のひら５１における所定の特徴点５１ａの座標位置を検出することにより（図４参照）、操作者の手振り動作を検知するようになっている。【０１２０】
またシステムコントローラ１０３は、ジェスチャセンサ１１４からの、操作者の手術室における立ち位置情報を取得し、当該操作者の立ち位置と虚像空中ディスプレイ１１５の視野範囲までの距離を算出するようになっている。【０１２１】
そしてシステムコントローラ１０３は、操作者１００の現在の立ち位置が虚像空中ディスプレイ１１５の視野範囲内にあるときは空中ディスプレイ用モニタ１１１を作動させて空中に虚像空中ディスプレイ１１５を表出する。【０１２２】
一方で、操作者１００の立ち位置が虚像空中ディスプレイ１１５の視野範囲外にあるときは、システムコントローラ１０３は、前記操作パネル４に当該操作者１００の立ち位置と虚像空中ディスプレイ１１５の視野範囲との位置関係を示す情報を表示せしめるよう制御するとともに、音声応答により、操作者１００に対して虚像空中ディスプレイ１１５の視野範囲までの情報を提示するようスピーカ４２を制御する。【０１２３】
＜第３の実施形態の作用＞
次に本発明の第３の実施形態の医療システムの作用について説明する。【０１２４】
図８は、第３の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。また、図９は、第３の実施形態の医療システムにおける操作パネルの一表示例を示した図である。【０１２５】
図８に示すように、システムコントローラ１０３における制御部１３１は、ジェスチャセンサ１１４からの情報に基づき、操作者１００の手振り動作を検知すると（ステップＳ２１）、空中ディスプレイ用モニタ１１１の表示を制御して、当該空中ディスプレイ用モニタ１１１の表示面に対して前記空中ディスプレイ用プレート１１２の面対称の位置に虚像空中ディスプレイ１１５を表出せしめる（ステップＳ２２）。【０１２６】
この後制御部１３１は、ジェスチャセンサ１１４において検出された、操作者１００の手術室における立ち位置に係る情報を取得し（ステップＳ２３）、操作者１００の現在の立ち位置が虚像空中ディスプレイ１１５の視野範囲内にあるか否かを判定する（ステップＳ２４）。【０１２７】
このステップＳ２４において、操作者１００の立ち位置が虚像空中ディスプレイ１１５の視野範囲内にある限り、制御部１３１は、操作者１００が再び手振り動作により虚像空中ディスプレイ１１５の表出を停止する意思を確認するまでは虚像空中ディスプレイ１１５の表出を続ける（ステップＳ２８）。【０１２８】
一方、前記ステップＳ２４において、操作者１００の立ち位置が虚像空中ディスプレイ１１５の視野範囲外にあるとき、または、操作者１００が前記視野範囲内から視野範囲外に移動した際は、制御部１３１は、ジェスチャセンサ１１４からの、操作者１００の手術室における立ち位置情報を取得し、当該操作者１００の立ち位置と虚像空中ディスプレイ１１５の視野範囲までの距離を算出する（ステップＳ２５）。【０１２９】
次にシステムコントローラ１０３における制御部１３１は、前記操作パネル４に、当該操作者１００の立ち位置と虚像空中ディスプレイ１１５の視野範囲との位置関係を示す情報（たとえば図９に示す情報等）を表示せしめるよう制御する（ステップＳ２６）。【０１３０】
具体的にこの情報は、たとえば図９に示すように、操作者１００、虚像空中ディスプレイ１１５の視野範囲および虚像空中ディスプレイ１１５自体の位置関係を模式的に表示するとともに、操作者１００に対して現在位置から虚像空中ディスプレイ１１５の視野範囲に入るまでの距離または方向等の情報（ナビゲート情報）を提示する。たとえば、制御部１３１は、操作者１００が虚像空中ディスプレイ１１５の視野範囲外にいると判定部が判定する場合、虚像空中ディスプレイ１１５の視野範囲内に操作者１００を誘導する通知を表示パネル５に表示する。【０１３１】
さらにシステムコントローラ１０３における制御部１３１は、操作者１００に対して虚像空中ディスプレイ１１５の視野範囲に入るまでの情報、たとえば、上述したナビゲート情報を、音声応答により提示するようスピーカ４２を制御する（ステップＳ２７）。【０１３２】
一方、前記ステップＳ２８において制御部１３１が、操作者１００による再度の手振り動作（すなわち、虚像空中ディスプレイ１１５の表出を停止するという操作者１００の意思による動作）を確認した場合は、空中ディスプレイ用モニタ１１１を非表示として虚像空中ディスプレイ１１５の表示も停止する（ステップＳ２９）。【０１３３】
以上説明したように本第３の実施形態の医療システムによると、第１の実施形態と同様に、タッチパネルの如き入力操作機能（ＧＵＩ機能）を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出することができ、滅菌域に居る術者が、不潔域の装置に触れることなくタッチパネルを操作するように医療システムにおける各種周辺機器を操作することが可能となる。【０１３４】
また、本第３の実施形態の医療システムによると、手術室内における虚像空中ディスプレイの表出位置を限定的に制限した、上述した第１の実施形態に比して小規模なシステムであっても、操作者を虚像空中ディスプレイの視野範囲内に的確に案内することができる。【０１３５】
加えて、本第３の実施形態の医療システムは、第１の実施形態に比して小規模なシステムであるがゆえに第１の実施形態に比して低コストで虚像空中ディスプレイの表出を実現することができる。【０１３６】
なお、本第３の実施形態においては、空中ディスプレイ用プレート１１２を天井１１６の切り欠き部に配設し、空中ディスプレイ用モニタ１１１を天井１１６の天井裏部に配設するものとしたが、これに限らず、空中ディスプレイ用プレート１１２を手術室の所定の壁面の切り欠き部に配設し、空中ディスプレイ用モニタ１１１を当該壁の裏面側部に配設するようにしても同様の作用効果を奏する。【０１３７】
また、前記第１および第２の実施形態においては、操作者の「音声入力」をトリガーとして当該虚像空中ディスプレイの表出システムを稼働させるものとしたが、これに限らず、たとえば、「音声入力」の代わりにまたは「音声入力」と併せて第３の実施形態において示した如く操作者の「手振り動作」を当該表出システム稼働のトリガーとしてもよい。【０１３８】
一方、逆に第３の実施形態においても、操作者の「手振り動作」の代わりにまたは「手振り動作」と併せて「音声入力」を当該表出システム稼働のトリガーとしてもよい。【０１３９】
さらに、上述した実施形態における虚像空中ディスプレイの表出システム稼働のトリガーは、操作者である術者の「音声入力」もしくは「手振り動作」に限らず、術者による他の意思表示、または、術者以外による者の操作等であってもよい。【０１４０】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。【０１４１】
また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。【０１４２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。【０１４３】
これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。【０１４４】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。【０１４５】
本発明の医療システムによれば、タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出可能とする医療システムを提供することができる。【０１４６】
本出願は、２０１４年９月２４日に日本国に出願された特願２０１４−１９４２９４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
【要約】
タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出可能とする医療システムを提供する。タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイ１５の元画像を表示する空中ディスプレイ用モニタ１１と、虚像空中ディスプレイを表示させるための空中ディスプレイ用プレート１２と、空中ディスプレイ用モニタ１１を移動せしめる移動式ロボットアーム１３と、術者(操作者)１００の所定部位および手術室内における機器等の位置方向情報を検知するジェスチャセンサ１４と、前記情報に基づいて前記空中ディスプレイ用モニタ１１および移動式ロボットアーム１３を駆動制御し、虚像空中ディスプレイ１５を所定の空間に表出するシステムコントローラ３と、を具備する。【図１】
0005927366.tif 000002
【図２】
0005927366.tif 000003
【図３】
0005927366.tif 000004
【図４】
0005927366.tif 000005
【図５】
0005927366.tif 000006
【図６】
0005927366.tif 000007
【図７】
0005927366.tif 000008
【図８】
0005927366.tif 000009
【図９】
0005927366.tif 000010