(57)【要約】【課題】  複数の被制御装置に対応した複数のジェスチャー用カメラを利用した画像認識によって、複数の被制御装置を比較的少ない種類のジェスチャーによって制御する。【解決手段】医療システムは、複数の医療装置に夫々対応付けられた複数のジェスチャー用カメラと、前記複数のジェスチャー用カメラからの撮像画像を画像解析する画像解析部と、前記撮像画像中に含まれる操作者又はその一部の画像の前記解析結果に基づいて、前記複数のジェスチャー用カメラのうち前記操作者が操作対象としたジェスチャー用カメラを判別する第１の判別部と、前記撮像画像中に含まれる操作者又はその一部の画像の前記解析結果に基づいて、前記複数の医療装置のうち前記第１の判別部により判別された前記ジェスチャー用カメラに対応付けられた医療装置に対する制御の内容を判別する第２の判別部とを具備する。【選択図】図２
2014180337.tif 000002
【特許請求の範囲】
【請求項１】
複数の医療装置に夫々対応付けられた複数のジェスチャー用カメラと、
前記複数のジェスチャー用カメラからの撮像画像を画像解析する画像解析部と、
前記撮像画像中に含まれる操作者又はその一部の画像の前記解析結果に基づいて、前記複数のジェスチャー用カメラのうち前記操作者が操作対象としたジェスチャー用カメラを判別する第１の判別部と、
前記撮像画像中に含まれる操作者又はその一部の画像の前記解析結果に基づいて、前記複数の医療装置のうち前記第１の判別部により判別された前記ジェスチャー用カメラに対応付けられた医療装置に対する制御の内容を判別する第２の判別部と
を具備したことを特徴とする医療システム。
【請求項２】
前記第１の判別部は、前記撮像画像中に含まれる前記操作者又はその一部の画像部分の、面積、面積の変化、重心位置、画面内の位置及び指の数のうちの少なくとも１つに基づいて前記操作者が操作対象としたジェスチャー用カメラを判別する
ことを特徴とする請求項１に記載の医療システム。
【請求項３】
前記第１の判別部は、前記複数の医療装置と前記複数のジェスチャー用カメラとの対応関係を示すジェスチャー判定情報に基づいて、前記操作者が操作対象としたジェスチャー用カメラから前記操作者が操作対象とした医療装置を判別する
ことを特徴とする請求項１又は２に記載の医療システム。
【請求項４】
前記第２の判別部は、前記医療装置に対する複数の制御の内容を順序付け、前記撮像画像中に含まれる操作者又はその一部の画像の直線的な移動の移動量及び移動方向に応じて、１つの制御内容を選択する
ことを特徴とする請求項１乃至３のいずれか１つに記載の医療システム。
【請求項５】
前記第１及び第２の判別部は、前記撮像画像中に含まれる前記操作者又はその一部の画像部分の面積の変化が所定の割合を超えた場合に、確定操作が行われたものと判定する
ことを特徴とする請求項１乃至４のいずれか１つに記載の医療システム。
【請求項６】
前記第１及び第２の判別部の少なくとも一方が判別する内容に応じた表示を行い、前記操作者による操作に基づいて判別結果を表示する表示部
を具備したことを特徴とする請求項１乃至５のいずれか１つに記載の医療システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種医療機器を集中制御可能な医療システムに関する。
【背景技術】
【０００２】
近年、各種の医療機器は、医療技術の発展と共に豊富となり、その機能も充実傾向にある。各種医療機器としては、電気メス装置、超音波吸引装置、レーザーメス等様々なものが用意されている。これらの医療機器は、単体で用いられる場合もあるが、複合した医療システムとして用いられる場合もある。
【０００３】
更に、手術室には、これらの医療機器の他に、ルームライトやルームカメラ、ＬＣＤ（ Liquid Crystal Display）等の表示装置、医療画像を撮像する内視鏡や超音波内視鏡、撮像された医療画像を記録する記録装置等の各種装置が配置されている。これらの装置を含む各種医療機器を、集中制御装置（コントローラ）によって集中制御管理する医療システムも開発されている。
【０００４】
この種の医療システムの集中制御装置では、タッチ操作の信号を受信する操作パネルにより被制御装置のパラメータ等の変更を行うのが一般的である。しかしながら、操作パネルは不潔域にあるカートに載置されることが多く、術者が直接操作パネルを操作することができないことがある。この場合でも、操作パネルにドレープを被せることにより、ドレープの上から操作パネルを操作することは可能であるが、操作性が悪く準備が煩雑になる。
【０００５】
また、操作パネルを指で直接操作することなく、音声認識を利用して被制御装置のパラメータ等の変更を行う装置も開発されている。しかし、音声認識では、音声コマンドの全文字合致による判定が行われており、音声認識率は音声コマンドの文字数の長さに依存し、音声コマンドの文字数が多いと音声認識率が下がる場合がある。
【０００６】
そこで、特許文献１においては、制御対象装置（被制御装置）の設置場所へ行って直接操作する（触れる）ことなく被制御装置を制御する手段として、人の特定部位を抽出し、認識したジェスチャーに予め対応付けられた制御出力を制御対象装置へ与えるジェスチャースイッチが提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−６０３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、集中制御対象の装置及び各装置に割り付けられたコマンドの数は比較的多く、特許文献１の提案では、操作者は、装置の区別及び各装置の各操作コマンドに対応した多くのジェスチャーを覚える必要があり、操作性が悪いという問題があった。
【０００９】
また、特許文献１の提案において、各被制御装置毎にジェスチャースイッチを設定する方法も考えられる。しかしながら、特許文献１のジェスチャースイッチは、距離画像に基づいて検知対象工リアに存在する人の特定部位を抽出することでジェスチャーを認識しており、操作者は各ジェスチャースイッチの検知対象エリアを移動しながら操作する必要があり、操作性が悪い。
【００１０】
本発明は、複数の被制御装置に対応した複数のジェスチャー用カメラを利用した画像認識によって、複数の被制御装置を比較的少ない種類のジェスチャーによって制御することができる医療システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る医療システムは、複数の医療装置に夫々対応付けられた複数のジェスチャー用カメラと、前記複数のジェスチャー用カメラからの撮像画像を画像解析する画像解析部と、前記撮像画像中に含まれる操作者又はその一部の画像の前記解析結果に基づいて、前記複数のジェスチャー用カメラのうち前記操作者が操作対象としたジェスチャー用カメラを判別する第１の判別部と、前記撮像画像中に含まれる操作者又はその一部の画像の前記解析結果に基づいて、前記複数の医療装置のうち前記第１の判別部により判別された前記ジェスチャー用カメラに対応付けられた医療装置に対する制御の内容を判別する第２の判別部とを具備する。
【発明の効果】
【００１２】
本発明によれば、複数の被制御装置に対応した複数のジェスチャー用カメラを利用した画像認識によって、複数の被制御装置を比較的少ない種類のジェスチャーによって制御することができるという効果を有する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態に係る医療システムを示す構成部。
【図２】図１中のシステムコントローラ２２の具体的な構成の一例を示す説明図。
【図３Ａ】記録部５０に記録されたジェスチャー判定情報を説明するための説明図。
【図３Ｂ】記録部５０に記録されたジェスチャー判定情報を説明するための説明図。
【図３Ｃ】図３Ｂのジェスチャー判定情報によって判定される操作に応じてコマンドが選択される状態を説明するための説明図。
【図３Ｄ】ジェスチャー判定情報を変更する操作パネル２１の表示例を示す説明図。
【図４】システムコントローラ２２の処理を示すフローチャート。
【図５】ログイン画面７１の一例を示す説明図。
【図６】手技指定画面７３の一例を示す説明図。
【図７】ログインを説明するための説明図。
【図８】記録部５０に記録されているジェスチャー判定情報を示す説明図。
【図９】ジェスチャー用カメラの判別方法を説明するための説明図。
【図１０】図９に示す判別方法の処理の流れを示すフローチャート。
【図１１】図９に示す判別方法の処理の流れを示すフローチャート。
【図１２】図９に示す判別方法の処理の流れを示すフローチャート。
【図１３】記録部に記録するジェスチャー判定情報の他の例を示す説明図。
【図１４】図３Ｂのジェスチャー判定情報によって判定される操作に応じてコマンドが選択される状態を説明するための説明図。
【図１５】本発明の第２の実施の形態を示す構成図。
【図１６】図１５中のテーブル４９上のジェスチャー用カメラ３６ａ〜３６ｄの具体的な配置を示す斜視図。
【図１７】システムコントローラ２２の処理を示すフローチャート。
【図１８】被制御装置選択画面表示を示す説明図。
【図１９】本発明の第３の実施の形態を示す構成図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１５】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る医療システム３の構成図である。
【００１６】
まず、図１を用いて手術室２に配置される医療システム３の全体構成を説明する。
【００１７】
図１に示すように、手術室２内には、患者４８が横たわる患者ベッド１０、無影灯６、医療システム３が配置される。この医療システム３は、第１カート１１及び第２カート１２を有している。
【００１８】
第１カート１１には、被制御装置である医療機器として例えば電気メス装置１３、気腹装置１４、内視鏡用カメラ装置１５、光源装置１６及びビデオテープレコーダ（ＶＴＲ）１７等の装置類と、二酸化炭素を充填したガスボンベ１８が載置されている。内視鏡用カメラ装置１５は、カメラケーブル３１ａを介して第１の内視鏡３１に接続される。
【００１９】
光源装置１６は、ライトガイドケーブル３１ｂを介して第１の内視鏡３１に接続される。また、第１カート１１には、表示装置１９、第１の集中表示パネル２０、操作パネル２１等が載置されている。表示装置１９は、内視鏡画像等を表示する、例えばＴＶモニタである。
【００２０】
集中表示パネル２０は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段となっている。操作パネル２１は、例えば液晶ディスプレイ等の表示部とこの表示部上に一体的に設けられた例えばタッチセンサにより構成され、非滅菌域にいる看護師等が操作する集中操作装置になっている。
【００２１】
更に、第１カート１１には、集中制御装置であるシステムコントローラ２２が載置されている。このシステムコントローラ２２には、上述の無影灯６と電気メス装置１３と気腹装置１４と内視鏡用カメラ装置１５と光源装置１６とＶＴＲ１７とが、図示しない通信線を介して接続されている。システムコントローラ２２には、ヘッドセット型のマイク３３が接続できるようになっており、システムコントローラ２２はマイク３３から入力された音声を認識し、術者の音声により各機器を制御できるようになっている。
【００２２】
また、システムコントローラ２２には、ジェスチャー用カメラ３６ａ、３６ｂ、３６ｃが図示しない通信線を介して接続されており、システムコントローラ２２はジェスチャー用カメラからの画像情報から執刀医等のジェスチャーを検出し、ジェスチャーにより各機器を制御できるようになっている。このジェスチャー用カメラ３６ａ、３６ｂ、３６ｃは、例えば被制御装置近傍に設置されていてもよく、被制御装置から離れた位置に設置されていてもよい。
【００２３】
図１の例では、ジェスチャー用カメラ３６ａ〜３６ｄは、夫々表示装置１９の上面、気腹装置１４の上面、無影灯６の下端又は後述する光源装置２４の側面に配置されている。
【００２４】
また、第１カート１１には、第１の内視鏡３１や、電気メス装置１３の処置具などに埋め込まれているＩＤタグにより、物の個別ＩＤ情報を無線にて読み取り／書き取りできるＲＦＩＤ（Radio Frequency Identification）端末３５が設けられている。
【００２５】
一方、第２カート１２には、被制御装置である内視鏡用カメラ装置２３、光源装置２４、画像処理装置２５、表示装置２６及び第２の集中表示パネル２７が載置されている。内視鏡用カメラ装置２３はカメラケーブル３２ａを介して第２の内視鏡３２に接続される。光源装置２４はライトガイドケーブル３２ｂを介して第２の内視鏡３２に接続される。
【００２６】
表示装置２６は、内視鏡用カメラ装置２３でとらえた内視鏡画像等を表示する。第２の集中表示パネル２７は、手術中のあらゆるデータを選択的に表示させることが可能になっている。
【００２７】
これら内視鏡用カメラ装置２３と光源装置２４と画像処理装置２５とは、第２カート１２に載置された中継ユニット２８に図示しない通信線を介して接続されている。また、中継ユニット２８には、ジェスチャー用カメラである例えばジェスチャー用カメラ３６ｄが図示しない通信線を介して接続されている。そして、この中継ユニット２８は、中継ケーブル２９によって、上述の第１カート１１に搭載されているシステムコントローラ２２に接続されている。
【００２８】
こうして、システムコントローラ２２は、これらの第２カート１２に搭載されているカメラ装置２３、光源装置２４及び画像処理装置２５と、第１カート１１に搭載されている電気メス装置１３、気腹装置１４、カメラ装置１５、光源装置１６及びＶＴＲ１７とを集中制御することができるようになっている。このため、システムコントローラ２２とこれらの装置との間で通信が行われている場合、システムコントローラ２２は、上述の操作パネル２１の液晶ディスプレイ上に、接続されている装置の設定状態や操作スイッチ等の設定画面を表示できるようになっている．さらに、システムコントローラ２２は、所望の操作スイッチが触れられて所定領域のタッチセンサが操作されることによって設定値の変更等の操作入力が行えるようになっている。
【００２９】
リモートコントローラ３０は、滅菌域にいる執刀医等が操作する第２集中操作装置であり、通信が成立している他の装置を、システムコントローラ２２を介して操作することができるようになっている。
【００３０】
このシステムコントローラ２２は、ケーブル９により患者モニタシステム４に接続されており、患者モニタシステム４は生体情報を解析し、この解析結果を所要の表示装置に表示させることができる。
【００３１】
また、システムコントローラ２２には、通信手段である赤外線通信ポート（図示せず）が取り付けられている。この赤外線通信ポートは、表示装置１９の近傍等の赤外線が照射しやすい位置に設けられ、システムコントローラ２２との間がケーブルで接続されている。
【００３２】
図２は図１中のシステムコントローラ２２の具体的な構成の一例を示す説明図である。
【００３３】
システムコントローラ２２は、被制御装置である内視鏡用カメラ装置１５、光源装置１６、気腹装置１４及び電気メス装置１３との間で夫々通信を行う通信１／Ｆ４０を備えている。通信Ｉ／Ｆ４０は、例えば図２に示すように、ＲＳ−２３２Ｃのシリアル通信によって信号の伝送が可能である。通信１／Ｆ４０は、制御部４１から被制御装置を操作するための信号を被制御装置に送信することができる。
【００３４】
なお、図２では被制御装置として４種類を示したが、通信Ｉ／Ｆ４０を介してシステムコントローラ２２に接続される被制御装置の数はこれに限定されるものではない。
【００３５】
また、システムコントローラ２２は、ジェスチャー用カメラ３６ａ〜３６ｄと夫々通信を行うカメラ１／Ｆ２８を備えている。カメラＩ／Ｆ２８は、例えば図２に示すように、ＵＳＢ通信によってジェスチャー用カメラ３６ａ〜３６ｄとシステムコントローラ２２との間の信号の送受を行う。カメラ１／Ｆ２８はジェスチャー用カメラ３６ａ〜３６ｄからの画像データを例えばＵＳＢ通信にて受信し制御部４１に送信する。
【００３６】
また、システムコントローラ２２は、表示Ｉ／Ｆ５１を有している。表示Ｉ／Ｆ５１は、ＧＵＩのための操作表示を生成して操作パネル２１に与える。操作パネル２１は、ＧＵＩのための操作表示を表示することができると共に、表示画面の操作表示に対するタッチ操作に応じた操作信号を表示Ｉ／Ｆ５１に出力する。表示Ｉ／Ｆ５１は、操作パネル２１からの操作信号を受信して制御部４１に出力する。
【００３７】
制御部４１は、システムコントローラ全体の動作を制御する。制御部４１は、通信１／Ｆ４０を介して取得した機器のパラメータを表示１／Ｆ５１を介して操作パネル２１に与えて表示させることができる。また、制御部４１は、表示１／Ｆ５１を介して受信した操作パネル２１のタッチ操作信号に基づき、通信１／Ｆ４０を介して被制御装置を操作することができるようになっている。
【００３８】
更に、本実施の形態においては、制御部４１は、カメラ１／Ｆ２８を介して取得したジェスチャー用カメラ３６ａ〜３６ｄからの画像データを解析して、執刀医等のジェスチャーを検出する。制御部４１は、検出したジェスチャーに基づく制御信号を発生し、通信１／Ｆ４０を介して被制御装置に与えることで、被制御装置をジェスチャーに応じて操作するようになっている。
【００３９】
制御部４１は、記録部５０に記録された情報に基づいて、ジェスチャーの判定を行うようになっている。本実施の形態においては、各ジェスチャー用カメラ３６ａ〜３６ｄは、夫々各被制御装置に対応しており、記録部５０には、各ジェスチャー用カメラ３６ａ〜３６ｄと各被制御装置との対応を記述したテーブルが記録されている。
【００４０】
制御部４１は、表示Ｉ／Ｆ５１を制御して、記録部５０に記録されているジェスチャー判定のための情報（以下、ジェスチャー判定情報という）を修正するためのＧＵＩ操作表示を操作パネル２１に表示させることができる。この操作表示の操作によって、操作者は、ジェスチャー用カメラと被制御装置との対応関係、各被制御装置の制御コマンド等に対するジェスチャーの内容を適宜変更することができるようになっている。
【００４１】
図３Ａ及び図３Ｂは記録部５０に記録されたジェスチャー判定情報を説明するための説明図である。図３Ａのジェスチャー判定情報はジェスチャー用カメラと被制御装置との対応付けを規定するテーブルを示すものであり、図３Ｂのジェスチャー判定情報は、ジェスチャーの種類とそのジェスチャーによって判定される操作（判定操作）の内容を規定するテーブルを示すものである。図３Ａのジェスチャー判定情報は操作術者毎で手技毎に登録されており、図３Ｂのジェスチャー判定情報は操作術者、手技に拘わらず共通の設定が用いられる。なお、図３Ａにおいて符号は図１及び図２に対応させて示すものであり、実際には各機器に設定された名前やＩＤが用いられる。
【００４２】
図３Ａの例では、術者Ｄｒ．Ａの手技Ａについては、ジェスチャー用カメラ３６ａ〜３６ｄに夫々表示装置１９、気腹装置１４、無影灯６及び光源装置２４が割当てられていることを示している。同様に、術者Ｄｒ．Ａの手技Ｂについては、ジェスチャー用カメラ３６ａ〜３６ｄに夫々表示装置１９、表示装置２６、内視鏡用カメラ装置１５及び光源装置２４が割当てられており、術者Ｄｒ．Ｂの手技Ａについては、ジェスチャー用カメラ３６ａ〜３６ｄに夫々無影灯６、気腹装置１４、表示装置１９及び電気メス装置１３が割当てられている。
【００４３】
なお、各ジェスチャー用カメラ３６ａ〜３６ｄは、被制御装置の近傍や、術者から見て同一方向に配置した方がよいが、各ジェスチャー用カメラと各被制御装置との対応関係が術者に認識されていればいずれの位置に配置してもよい。なお、図１は、例えば、ジェスチャー用カメラ３６ａ〜３６ｄに夫々表示装置１９、気腹装置１４、無影灯６及び光源装置２４が割当てられている例である。
【００４４】
また、図３Ｂのジェスチャー判定情報により、操作者の手のひらを押し出すジェスチャーが確定操作と判定され、操作者の手のひらを移動するジェスチャーが移動方向の項目選択操作と判定されることを示している。そして、記録部５０には、各被制御装置毎に、ジェスチャーによって判定された操作に応じたコマンド等の設定情報や現在の状態等の情報も格納されている。
【００４５】
図３Ｃは図３Ｂのジェスチャー判定情報によって判定される操作に応じてコマンドが選択される状態を説明するための説明図であり、集中表示パネル２０の操作画面表示６２の表示例を示している。記録部５０には図３Ｃに対応する情報が記録されている。この情報は、被制御装置である無影灯６に対応しており、術者は、「戻る」表示６２ａ、「点灯／消灯」表示６２ｂ、「アップ」表示６２ｃ及び「ダウン」表示６２ｄの配列方向に沿って手のひらを移動させることで、これらの表示に対応した操作（コマンド）や機能等を選択することができる。なお、図３Ｃでは、斜線によって表示の色が他の部分と異なることを示しており、術者がジェスチャーによって「戻る」操作（コマンド）を選択したことを示している。記録部５０は現在の選択の状態、即ち、被制御装置の状態も記憶する。
【００４６】
なお、術者は、操作パネル２１を用いることで、ジェスチャー用カメラに対応する被制御装置を操作者毎に予め設定して登録することができるだけでなく、被制御装置の状態や設定値、登録された各被制御装置の設定状態等についても、設定更新して記録部５０に格納することができるようになっている。制御部４１は、手術前や手技の進行に応じて記録部５０から登録した情報を呼び出すことで、各被制御装置の設定値や状態、ジェスチャー用カメラに対応する被制御装置を一括し設定する機能を備えている。
【００４７】
図３Ｄはジェスチャー判定情報を変更する操作パネル２１の表示例を示す説明図であり、ジェスチャー用カメラと被制御装置との対応を設定するための表示を示している。最上部には設定するジェスチャー用カメラを特定する表示６３が表示されており、その下方には、現在の設定値を示す表示６４が表示されている。更に、ボタン６５に対する操作によって、表示６４の下方にプルダウンメニューが表示されて、選択可能な他の設定値が示される。操作者は、プルダウンメニューを表示させて希望する被制御装置を選択操作することで、ジェスチャー用カメラ３６ａに所望の被制御装置を割当てることができる。
【００４８】
次に、このように構成された実施の形態の動作について図４乃至図１２を参照して説明する。図４はシステムコントローラ２２の処理を示すフローチャートである。
【００４９】
システムコントローラ２２の電源が投入されると、制御部４１は、ステップＳ１において術者の特定処理を行い、ステップＳ２において手技の特定処理を行う。制御部４１は、操作パネル２１の表示画面上に術者を特定するためのログイン画面７１を表示させることができる。図５はログイン画面７１の一例を示す説明図である。図５の例では、ログイン画面７１には、Ｄｒ．Ａ〜Ｄｒ．Ｄの４人が登録されていることを示している。
【００５０】
また、制御部４１は、操作パネル２１の表示画面上に手技を特定するための手技指定画面７３を表示させることができる。図６は手技指定画面７３の一例を示す説明図である。図６の例では、手技指定画面７３には、手技Ａ〜Ｆの６つの手技が登録されていることを示している。
【００５１】
例えば、ログイン画面７１において、操作者がＤｒ．Ａを選択するものとする。図７はこの場合の表示を説明するための説明図であり、図７（ａ）では斜線によってＤｒ．Ａの表示部分が選択されたことを示している。そうすると、制御部４１は、記録部５０から術者Ｄｒ．Ａについて登録された手技を読み出して、手技指定画面７３を表示する。図７（ｂ）はこの場合の表示を示しており、図７（ｂ）では術者Ｄｒ．Ａについては２つの手技が登録されていることを示している。
【００５２】
手技が選択されると、制御部４１は、記録部５０のジェスチャー判定情報に基づいて、ジェスチャー用カメラと被制御装置との対応関係を設定する。いま、例えば、記録部５０に図８に示すジェスチャー判定情報が記録されているものとする。なお、図８の符号は図１に対応したものであり、実際には機器の名称やＩＤが登録されている。例えば、図７（ｂ）の手技指定画面７３において操作者が手技Ａを選択すると、制御部４１は、術者Ｄｒ．Ａの手技Ａについて登録された情報に基づいて、ジェスチャー用カメラ３６ａ〜３６ｄに夫々表示装置１９、気腹装置１４、無影灯６又は光源装置２４を割当てる。
【００５３】
制御部４１は、ステップＳ４，Ｓ５において、術者がいずれのジェスチャー用カメラに対して操作を行っているかを判別する。即ち、制御部４１は、ステップＳ４において、カメラ１／Ｆ２８を介して、各ジェスチャー用カメラ３６ａ〜３６ｄの撮像画像を取り込み、取り込んだ撮像画像に対する画像解析を行う。次に、制御部４１は、画像解析結果に従って、術者が操作対象にしているジェスチャー用カメラを判別する。
【００５４】
（操作対象のジェスチャー用カメラの判別）
図９はジェスチャー用カメラの判別方法を説明するための説明図であり、図１０乃至図１２は図９に示す判別方法の処理の流れを示すフローチャートである。なお、図１０乃至図１２において丸で囲った数字は処理の連結を示しており、次の処理が対応する数字の処理に移行することを示している。図１０〜図１２のフローは、夫々図９（ａ）〜（ｃ）に対応する。
【００５５】
本実施の形態においては、術者は、手のひらを操作対象のジェスチャー用カメラに向けることで、操作対象のジェスチャー用カメラを指定するようになっている。制御部４１は、各ジェスチャー用カメラによって撮像された撮像画像中の手のひらの重心、面積、面積の変化、指の数、画面内の位置等に基づいて、操作対象のジェスチャー用カメラを判別する。図９乃至図１２は、例えば、撮像された指の数、指の画面上での位置、手のひらの面積、面積の変化及び手のひらの重心によって、ジェスチャー用カメラを判別する例を示している。
【００５６】
術者は操作対象のジェスチャー用カメラを指定するために、腕を曲げた状態で、手のひらをジェスチャー用カメラの方向に向ける。図９は四角で囲った範囲が撮像範囲を示しており、図９（ａ）は各ジェスチャー用カメラによって撮像される手のひらの状態の例を示している。
【００５７】
制御部４１は、図１０のステップＳ２１〜Ｓ２４において、各ジェスチャー用カメラ３６ａ〜３６ｄの画像を解析する。次に、制御部４１はステップＳ２５において、画像中に５本の指が全て撮像されているか否かを求め、５本の指全てが撮像されている撮像画像が２つ以上有るか否かを判定する（ステップＳ２５）。
【００５８】
即ち、制御部４１は、各ジェスチャー用カメラの画像に対して、先ず指検出処理を行う。例えば、制御部４１は、予め持った指先の曲線データや指先領域と撮像した画像との比較によって、指に該当する画像部分が存在するか否かを検出することで、指検出が可能である。
【００５９】
図９（ａ）は左手の手のひらが撮像されている様子を示しており、四角で示す撮像範囲からはみ出した手のひらは、実際には手のひらの一部が撮像されていないことを示している。即ち、図９の５つの撮像画像のうち左端の撮像画像は親指が撮像されておらず、右端の撮像画像は小指及び薬指が撮像されていない。図９において指を囲った丸印は指が検出されたことを示し、破線丸印は指が検出されないことを示している。
【００６０】
制御部４１は、このように撮像範囲から外れていたり、手が傾いている等の理由によって、５本の指の全てを検出することができない場合には、手のひらは検出されないものと判別する。図９のＸ印は制御部４１が操作対象のジェスチャー用カメラではないと判別する例を示している。なお、図９において黒丸は後述する手のひらの重心位置を示している。
【００６１】
制御部４１は、この時点で、１つのジェスチャー用カメラの出力画像のみから５本の指全部が検出された場合には、このジェスチャー用カメラを操作対象に決定してもよい。図１０の例では、制御部４１は、更に、手のひらの面積の変化を求めて操作対象を決定する。
【００６２】
即ち、ジェスチャー用カメラ３６ａ〜３６ｄからの画像のうち、５本の指の全てが撮像された画像が１つしか存在しない場合には、制御部４１は、次のステップＳ２６において手のひらの面積を算出する。次に、制御部４１は、ステップＳ２７において手のひらの面積の変化量を算出する。
【００６３】
本実施の形態においては、術者は、操作対象のジェスチャー用カメラを決定するために、腕を曲げた状態で手のひらを操作対象のジェスチャー用カメラに向けた後、ジェスチャー用カメラに向かって腕を伸ばすようになっている。従って、操作対象のジェスチャー用カメラの撮像画像については、腕を伸ばすジェスチャーによって手のひらの画像の面積が増大する。また、操作対象以外のジェスチャー用カメラの撮像画像については、手のひらの画像部分の面積の変化は比較的小さいものと考えられる。
【００６４】
制御部４１は、ステップＳ２８において手のひらの画像部分の面積に変化があったか否かを判定する。制御部４１は、５本指を検出した１つの画像について手のひらの画像部分の面積に変化がない場合には、処理をステップＳ２１に戻して、画像解析を繰り返す。制御部４１は、手のひらの画像部分の面積に変化があった場合には、処理をステップＳ２９に移行して変化量が所定の割合以上で有るか否かを判定する。制御部４１は、変化量が所定の割合に到達していない場合には、処理をステップＳ２６に戻して、手のひらの画像部分の面積の変化量の検出を繰り返す。
【００６５】
制御部４１は、手のひらの画像部分の面積の変化量が所定の割合に到達すると、その画像を出力したジェスチャー用カメラを操作対象に確定する（ステップＳ３０）。
【００６６】
制御部４１は、ステップＳ２５において、ジェスチャー用カメラ３６ａ〜３６ｄからの画像のうち、５本の指の全てが撮像された画像が２つ以上存在するものと判定した場合には、処理を図１１のステップＳ３１に移行する。制御部４１は、ステップＳ３１において、図１０のステップＳ２５において５本指が検出されたものと判定された画像について、画像中の手の位置を算出し、手の画像が画像中の所定の領域内に存在するか否かを判定する。
【００６７】
例えば、制御部４１は、全ての指の位置が画像の所定範囲内に存在するか否かによって、手の画像が画像中の所定の領域内に存在するか否かを判定する。次に、制御部４１はステップＳ３２において、領域内に手が存在するか、即ち、領域内に５本の指が全て検出されたか否かを求め、５本の指が撮像されている撮像画像が２つ以上有るか否かを判定する。
【００６８】
図９（ｂ）は図９（ａ）の中央の３つの画像について、指の位置が縦の破線で示す領域内に存在するか否かを示している。図９（ｂ）の左端の画像は、親指が検出されておらず、制御部４１は、この画像を出力したジェスチャー用カメラは操作対象ではないと判別する。
【００６９】
即ち、制御部４１は、水平方向の判別領域を狭くし、その領域内に５本の指が検出されているかによって、操作対象を判定する。制御部４１は、この時点で、１つのジェスチャー用カメラの出力画像のみから５本の指が検出された場合には、このジェスチャー用カメラを操作対象に決定してもよい。図１１の例では、制御部４１は、更に、手のひらの面積の変化を求めて操作対象を決定する。
【００７０】
即ち、ジェスチャー用カメラ３６ａ〜３６ｄからの画像のうち、所定の領域内に５本の指の全てが撮像された画像が１つしか存在しない場合には、制御部４１は、次のステップＳ３３において手のひらの面積を算出する。次に、制御部４１は、ステップＳ３４〜Ｓ３６の処理を行う。ステップＳ３４〜Ｓ３６の処理は、夫々ステップＳ２７〜Ｓ２９の処理と同様であり、制御部４１は、手のひらの面積の変化によって、制御対象のジェスチャー用カメラであるか否かの判別を行う。制御部４１は、ステップＳ３６において、手のひらの画像部分の面積の変化量が所定の割合に到達したものと判定すると、その画像を出力したジェスチャー用カメラを操作対象に確定する（ステップＳ３０）。
【００７１】
制御部４１は、ステップＳ３２において、所定の領域内に５本の指の全てが撮像された画像が２つ以上存在するものと判定した場合には、処理を図１２のステップＳ４１に移行する。制御部４１は、ステップＳ３１において、図１１のステップＳ３２において所定の領域内に５本指が検出されたものと判定された画像について、画像中の手のひらの重心位置を算出し、手のひらの重心位置同士を比較する（ステップＳ４２）。
【００７２】
術者が手のひらを操作対象のジェスチャー用カメラに向けた場合、操作対象のジェスチャー用カメラからの画像中における手のひらの重心位置が他の画像中の手のひらの重心位置よりも最も画像中心に位置するものと考えられる。そこで、制御部４１は、手のひらの重心位置を求めた画像のうち、最も重心位置が画面中央に近い画像を、術者が操作対象として指定したジェスチャー用カメラからの画像であるものと判別する。
【００７３】
図９（ｃ）は図９（ｂ）の右側２つの画像について、手のひらの重心位置を黒丸にて示している。図９（ｃ）に示すように、右側の画像の方が左端の画像よりも手のひらの重心位置は画面中央に近い。従って、制御部４１は、図９（ｃ）の右側の画像を出力したジェスチャー用カメラを操作対象の候補であるものと判別する。
【００７４】
制御部４１は、次のステップＳ４３において、操作対象の候補であるジェスチャー用カメラからの画像について手のひらの画像部分の面積を算出する。次に、制御部４１は、ステップＳ４４〜Ｓ４６の処理を行う。ステップＳ４４〜Ｓ４６の処理は、夫々ステップＳ２７〜Ｓ２９の処理と同様であり、制御部４１は、手のひらの面積の変化によって、制御対象のジェスチャー用カメラであるか否かの判別を行う。制御部４１は、ステップＳ４６において、手のひらの画像部分の面積の変化量が所定の割合に到達したものと判定すると、その画像を出力したジェスチャー用カメラを操作対象に確定する（ステップＳ３０）。
【００７５】
このように、術者が腕を曲げた状態で手のひらを操作対象のジェスチャー用カメラに向けた後、曲げた腕を伸ばして手のひらを操作対象のジェスチャー用カメラに近づけることにより、制御部４１は、術者が指定する操作対象のジェスチャー用カメラを判別することが可能である。なお、確定操作のためには、術者は操作対象のジェスチャー用カメラに向けた手のひらを操作対象のジェスチャー用カメラに近づければよく、腕を曲げ伸ばさなくてもよい。
【００７６】
（被制御装置に対する操作）
制御部４１は、操作対象のジェスチャー用カメラを特定すると、図４のステップＳ６において、被制御装置の操作画面表示を表示する。例えば、制御部４１は、術者がジェスチャー用カメラ３６ｃを操作対象として指定した場合には、集中表示パネル２０に図３Ｃに示す操作画面表示６２を表示する。なお、上述したように、図３Ｃの例では、斜線によって「戻る」表示６２ａの色が他と異なり選択されていることを示している。
【００７７】
次に、制御部４１は、ジェスチャー用カメラ３６ｃによって撮像された画像を解析して、画像中の手の動きを検出する（ステップＳ７）。例えば、術者が手を右方向に移動させると、制御部４１は、手の移動距離に応じて、術者が、「点灯／消灯」表示６２ｂ、「アップ」表示６２ｃ又は「ダウン」表示６２ｄを選択したものと判定する。即ち、制御部４１は、術者の手の水平方向の移動に応じて、いずれの表示を術者が選択したかを判定する。制御部４１は、判定結果に応じて、各表示６２ａ〜６２ｄの例えば表示色を変化させる。操作画面表示６２によって、術者は、自分がどの表示を選択したかを把握することができる。
【００７８】
制御部４１は、ステップＳ８において、術者が手を押し出す動作があったか否かを判定する。例えば、制御部４１は、図１０のステップＳ２７〜Ｓ２９と同様の処理、即ち、手のひらの画像部分の面積の変化が所定の割合を超えたことによって、選択している表示を確定する操作を行ったものと判定する。術者によるこのような確定操作を検出すると、制御部４１は、次のステップＳ１０において、選択された表示に対応する制御信号（コマンド）を発生して、操作対象のジェスチャー用カメラに対応付けられた被制御装置に送信する（ステップＳ１１）。
【００７９】
例えば、操作画面表示６２において「点灯／消灯」表示６２ｂが選択されている状態で、術者が確定操作を行うと、制御部４１は、ジェスチャー用カメラ３６ｃに対応付けられた無影灯６に対して、点灯／消灯を制御する制御信号を送信する。こうして、複数の被制御装置を、少ないジェスチャーの種類で確実に制御することができる。
【００８０】
なお、制御部４１は、ステップＳ８において手を押し出す動作を検出しない場合には、ステップＳ９において規定時間カウントタイマを起動し、所定時間経過したか否かを判定する。制御部４１は、規定時間カウントタイマ起動後、ステップＳ８において手を押し出す動作が検出されると、規定時間カウントタイマをリセットする。
被制御装置の機能選択の後、確定操作を実行するか否かをユーザーが判断する時間が必要である。ステップＳ９においてはこの判断待ちの時間として所定時間の経過が判定される。所定時間経過するまではステップＳ８の処理が繰り返され、所定時間経過するまでに手を押し出す動作が検出されない場合には、処理をステップＳ１２に移行する。
制御部４１は、ステップＳ１２において手術が完了したか否かを判定し、完了するまでステップＳ４〜Ｓ１１の処理を繰り返す。操作対象のジェスチャー用カメラが確定していない状態において、術者が手を伸ばす動作を行わなければ、処理はステップＳ８からステップＳ９，Ｓ１２を経由してステップＳ４に戻り、操作対象のジェスチャー用カメラの判別処理が繰り返される。
【００８１】
なお、制御部４１は、記録部５０に保存してある人体部位のモデル情報と各ジェスチャー用カメラによって撮像した画像をリアルタイムに比較することで、上記各判定を行っている。
【００８２】
このように本実施の形態においては、複数の被制御装置に対して夫々各ジェスチャー用カメラを割当て、ジェスチャー用カメラを確定することで、術者が操作を希望する被制御装置への操作を可能にしている。術者は複数の被制御装置用の複数のコマンドに対応したジェスチャーを記憶する必要は無く、簡単なジェスチャー操作で被制御装置を特定し、簡単なジェスチャー操作で被制御装置に対する操作制御が可能である。これにより、少ないジェスチャーの種類で、複数の被制御装置を確実に制御することが可能である。また、術者が操作対象としている被制御装置が決定されると、この被制御装置を制御するための表示を集中表示パネル上に操作画面表示として表示し、この操作画面表示上の表示を手の移動方向によって選択することで被制御装置を制御するようになっており、簡単なジェスチャーだけで被制御装置を制御することができると共に、操作画面表示によって確実に操作が行われたことを確認することができる。また、被制御装置に対応するジェスチャー用カメラを被制御装置近傍又は術者からみて被制御装置と同一方向に配置することにより、複数の被制御装置がある場合でも、被制御装置を直感的に選択して操作することができ、操作性に優れている。
【００８３】
なお、上記実施の形態においては、ジェスチャー用カメラが４個の例について説明したが、ジェスチャー用カメラの個数を制限する必要が無いことは明らかである。
【００８４】
また、上記実施の形態においては、手のひらをジェスチャー用カメラに向けることで、術者が操作対象とするジェスチャー用カメラを判定する例について説明したが、術者が手の甲や手の側面をジェスチャー用カメラに向けることで、操作対象のジェスチャー用カメラを判定するようにしてもよいし、体全体や体の一部或いは特定の物等をジェスチャー用カメラに向けるようにしてもよい。更に、予め各ジェスチャー用カメラに番号を付し、術者が指を何本伸ばすかによって操作対象のジェスチャー用カメラを判別するようにしてもよい。例えば、術者がＶの字に指を２本伸ばすことによって、２番の番号が付されたジェスチャー用カメラが操作対象であると判別される。
【００８５】
（変形例）
図１３は記録部に記録するジェスチャー判定情報の他の例を示す説明図である。
【００８６】
図３Ａ及び図３Ｂに示したジェスチャ判定情報は、ジェスチャー用カメラと被制御装置とを１対１に対応付け、先ずジェスチャー用カメラを選択することで操作対象の被制御装置を選択し、次に、ジェスチャーによって、被制御装置を制御する制御信号を発生した。これに対し、本変形例は、図１３に示すように、ジェスチャー用カメラと各被制御装置の制御内容とを対応付け、先ずジェスチャー用カメラを選択することで被制御装置の制御内容を選択確定し、次に、ジェスチャーによって、操作対象の被制御装置を選択確定することで、選択した被制御装置に制御信号を送信するものである。
【００８７】
ジェスチャー用カメラを選択確定する手法、即ち、各被制御装置の制御内容を選択確定する手法は、上記説明と同様であり、例えば、制御部４１は、各ジェスチャー用カメラによって撮像された撮像画像中の手のひらの重心、面積、面積の変化、指の数、画面内の位置等に基づいて、操作対象のジェスチャー用カメラを判別する。
【００８８】
例えば、術者Ｄｒ．Ａの手技Ａについて、ジェスチャー用カメラ３６ｂが選択確定されたものとする。この場合には、図１３の例では、操作対象の被制御装置が、表示装置１９の場合には「Input」の制御信号が、気腹装置１４の場合には「開始／停止」の制御信号が、無影灯６の場合には「点灯／消灯」の制御信号が、光源装置２４の場合には「点灯／消灯」の制御信号が発生される。
【００８９】
制御対象の被制御装置は、図４のステップＳ６〜Ｓ８と同様の処理によって求められる。即ち、被制御装置を選択するためのジェスチャー判定情報は図３Ｂに示すものと同様である。図１４は図３Ｂのジェスチャー判定情報によって判定される操作に応じてコマンドが選択される状態を説明するための説明図であり、集中表示パネル２０の操作画面表示７２の表示例を示している。なお、図１４は術者Ｄｒ．Ａの手技Ａに関する情報であり、記録部５０にはこの情報も記録されている。
【００９０】
術者は、「表示装置」表示７２ａ、「気腹装置」表示７２ｂ、「無影灯」表示７２ｃ及び「光源装置」表示７２ｄの配列方向に沿って手のひらを移動させることで、これらの表示に対応した被制御装置を選択することができる。なお、図１４では、斜線によって表示の色が他の部分と異なることを示しており、術者がジェスチャーによって「気腹装置」を選択したことを示している。気腹装置が選択されると、図１３のテーブルに従って、制御部４１は、気腹装置１４に対する点灯／消灯操作の制御信号を送信する。
【００９１】
他の作用及び効果は上記説明と同様である。
【００９２】
（第２の実施の形態）
図１５は本発明の第２の実施の形態を示す構成図である。図１５において図１と同一の構成要素には同一符号を付して説明を省略する。図１５の医療システム８１は、ジェスチャー用カメラ３６ａ〜３６ｄをテーブル４９上に纏めて配置した点が図１の医療システム３と異なるのみである。
【００９３】
第１の実施の形態においては、ジェスチャー用カメラを手術室の任意の位置、例えば、被制御対象の近傍等に配置したことから、術者が操作対象としたジェスチャー用カメラを確実に判別するために、比較的複雑な処理が必要であった。これに対し、本実施の形態においては、ジェスチャー用カメラ３６ａ〜３６ｄをテーブル４９上に纏めて配置し、術者の近傍にテーブル４９を設置することで、術者が各ジェスチャー用カメラ３６ａ〜３６ｄに個別に手を撮像させることを可能にする。これにより、操作対象のジェスチャー用カメラの検出を比較的簡単な処理で確実に検出可能にしたものである。
【００９４】
図１６は図１５中のテーブル４９上のジェスチャー用カメラ３６ａ〜３６ｄの具体的な配置を示す斜視図である。図１６に示すように、各ジェスチャー用カメラ３６ａ〜３６ｄは、相互に所定の間隔離間させて、１列に配置されている。ジェスチャー用カメラ３６ａ〜３６ｄ同士を所定の距離離間させて配置することによって、術者の手を１つのジェスチャー用カメラのみに撮像させることが可能であり、術者が操作対象とするジェスチャー用カメラを簡単に識別することができる。なお、操作対象のジェスチャー用カメラを識別し易いように、相互に所定の間隔（例えば３０ｃｍ以内）だけ離間させてジェスチャー用カメラを配置すればよく、１列に配置する必要はない。
【００９５】
次に、このように構成された実施の形態の動作について図１７及び図１８を参照して説明する。図１７はシステムコントローラ２２の処理を示すフローチャートである。図１７において図４と同一の手順には同一符号を付して説明を省略する。図１８は被制御装置選択画面表示を示す説明図である。
【００９６】
本実施の形態は、操作対象のジェスチャー用カメラを識別する手法が第１の実施の形態と異なるのみである。制御部４１は、図１７のステップＳ３において各ジェスチャ用カメラ３６ａ〜３６ｄと被制御装置との対応関係を設定すると、次のステップＳ５１において集中表示パネル２０上に被制御装置選択画面を表示する。図１８はこの被制御装置選択画面表示８５を示している。
【００９７】
制御部４１は、各ジェスチャー用カメラ３６ａ〜３６ｄからの撮像画像を取込み、画像解析によっていずれのジェスチャー用カメラが操作対象として指定されているかを判別する。例えば、術者は操作対象とするジェスチャー用カメラに撮像されるように、手を当該ジェスチャー用カメラの撮像範囲に位置させる。各ジェスチャー用カメラ３６ａ〜３６ｄは、術者近傍のテーブル４９上に配置されており、また、各ジェスチャー用カメラ３６ａ〜３６ｄは相互に離間して配置されているので、術者は、各ジェスチャー用カメラの共通の撮像範囲ではなく個別の撮像範囲内に手を位置させることが可能である。従って、術者の手は主に操作対象のジェスチャー用カメラのみによって撮像される。
【００９８】
従って、制御部４１は、比較的簡単な処理によって、操作対象のジェスチャー用カメラを判別することができる（ステップＳ５２）。例えば、制御部４１は、画像中の手のひらの画像部分の面積が最も大きい画像を出力したジェスチャー用カメラを、術者が選択しているジェスチャー用カメラと判定してもよい。
【００９９】
図１８は術者の手を撮像したジェスチャー用カメラに対応する被制御装置の選択の様子を示している。図１８では、術者が選択中の被制御装置を、他の部分と異なる色（図１８の斜線)で表示することで示しており、図１８の例では、術者は光源装置に対応するジェスチャー用カメラの撮像範囲に手を位置させていることを示している。
【０１００】
次に、制御部４１は、ステップＳ５３において術者が手を押し出す動作、即ち、手を操作対象のジェスチャー用カメラに一層近づけるジェスチャーを検出する。上述したように、ジェスチャー用カメラの撮像画像中の手の面積の変化によって、術者が手を押し出す動作を判定することができる。制御部４１は、術者が手を押し出す動作を検出した時点で選択されているジェスチャー用カメラが、術者が操作対象として希望するジェスチャー用カメラであるものと確定する。
【０１０１】
こうして、本実施の形態においても、術者が手を操作対象のジェスチャー用カメラに撮像させるジェスチャーによって、ジェスチャー用カメラに対応付けられた被制御装置を特定することができる。以後、ステップＳ６〜Ｓ１２によって、選択された被制御装置に対するジェスチャー操作が判定され、対応する制御信号が選択された被制御装置に送信される。
【０１０２】
このように本実施の形態においても第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ジェスチャー用カメラを術者に近接配置しており、簡単な処理によって確実に操作対象のジェスチャー用カメラを識別することが可能である。また、術者は、比較的小さな動作で、ジェスチャー用カメラを選択することができる。
【０１０３】
（第３の実施の形態）
図１９は本発明の第３の実施の形態を示す構成図である。図１９において図１と同一の構成要素には同一符号を付して説明を省略する。図１９の医療システム９１は、ジェスチャー用カメラ３６ａ〜３６ｄを手術室２内の規定の位置に配置した点が図１の医療システム３と異なる。
【０１０４】
第１の実施の形態においては、ジェスチャー用カメラを手術室の任意の位置、例えば、被制御対象の近傍等に配置したことから、術者が操作対象としたジェスチャー用カメラを確実に判別するために、比較的複雑な処理が必要であった。これに対し、本実施の形態においては、ジェスチャー用カメラ３６ａ〜３６ｄを手術室２内の規定の位置に配置することで、術者が操作対象とする各ジェスチャー用カメラを比較的簡単な処理で判別可能にしたものである。
【０１０５】
本実施の形態においては、図１９に示すように、ジェスチャー用カメラ３６ａ〜３６ｄは、天井から延びた支持アーム７に取り付けられて、所定の間隔で配置されている。例えば、ジェスチャー用カメラ３６ａ〜３６ｄは、術者を中心とした円周上の位置であって、相互に約１ｍ離間した位置に配置される。ジェスチャー用カメラ３６ａ〜３６ｄ同士の間隔は、術者が手のひらを特定のジェスチャー用カメラに向けた場合に、特定のジェスチャー用カメラの画像中の手のひらの向きに対して、他のジェスチャー用カメラの画像中の手のひらの傾むきが比較的大きく、手のひらがいずれのジェスチャー用カメラに向けられているものかを判別可能な間隔に設定される。
【０１０６】
なお、判別性能を向上させるためには、ジェスチャー用カメラ３６ａ〜３６ｄを術者を中心とした円周上の中心角が９０度ずつずれた位置に配置することも考えられる。また、ジェスチャー用カメラの個数に合わせて、各ジェスチャー用カメラを術者を中心とした円周上の均等に中心角がずれた位置に配置してもよい。
【０１０７】
また、天井から延びた支持アーム７には、表示装置８も取り付けられている。表示装置８は、制御部４１に制御されて（図示省略）、被制御装置の操作画面表示を表示することができるようになっている。
【０１０８】
このように構成された実施の形態においても、第１の実施の形態と同様に、図４のフローに従って、ジェスチャー操作に応じた制御を行うことができる。なお、図４のステップＳ５におけるジェスチャー用カメラの判別処理においては図９乃至図１２に示す判別処理を行ったが、本実施の形態においては、簡略化した手法を採用してもよい。
【０１０９】
本実施の形態においては、ジェスチャー用カメラ３６ａ〜３６ｄの配置が決められており、各ジェスチャー用カメラ３６ａ〜３６ｄによって、術者の手のひらを撮像した場合、術者が手のひらを向けた方向に位置するジェスチャー用カメラにおいて最も大きく手のひらが撮像される。そこで、制御部４１は、例えば、各ジェスチャー用カメラ３６ａ〜３６ｄの画像中の手のひらの画像部分の面積が最も大きい画像を出力したジェスチャー用カメラを、術者が選択しているジェスチャー用カメラと判定してもよい。
【０１１０】
また、術者は、ジェスチャー用カメラ３６ａ〜３６ｄの配置位置に隣接した位置に配置された表示装置８によって、操作画面表示を確認することができ、ジェスチャー操作による選択確定操作の様子を確認しやすい。
他の作用は第１の実施の形態と同様である。
【０１１１】
このように本実施の形態においても第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ジェスチャー用カメラを手術室内の規定の位置に配置しており、簡単な処理によって確実に操作対象のジェスチャー用カメラを識別することが可能である。また、ジェスチャー用カメラを術者の近傍に配置する必要はなく、広い作業スペースを確保することが可能であり、術者の作業性を向上させることができる。
【０１１２】
なお、上記第２及び第３の実施の形態においても、第１の実施の形態の変形例を適用することができることは明らかである。
【０１１３】
また、本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１４】
２…手術室、３…医療システム、６…無影灯、１３…電気メス装置、１４…気腹装置、１９，２６…表示装置、２０…集中表示パネル、２１…操作パネル、２４…光源装置、３６ａ〜３６ｄ…ジェスチャー用カメラ、３１，３２…内視鏡、４１…制御部、５０…記録部。
【図１】
2014180337.tif 000003
【図２】
2014180337.tif 000004
【図３Ａ】
2014180337.tif 000005
【図３Ｂ】
2014180337.tif 000006
【図３Ｃ】
2014180337.tif 000007
【図３Ｄ】
2014180337.tif 000008
【図４】
2014180337.tif 000009
【図５】
2014180337.tif 000010
【図６】
2014180337.tif 000011
【図７】
2014180337.tif 000012
【図８】
2014180337.tif 000013
【図９】
2014180337.tif 000014
【図１０】
2014180337.tif 000015
【図１１】
2014180337.tif 000016
【図１２】
2014180337.tif 000017
【図１３】
2014180337.tif 000018
【図１４】
2014180337.tif 000019
【図１５】
2014180337.tif 000020
【図１６】
2014180337.tif 000021
【図１７】
2014180337.tif 000022
【図１８】
2014180337.tif 000023
【図１９】
2014180337.tif 000024