(57)【要約】【課題】各医療機器の操作状況に応じて音声操作を変更可能な手術システム及び画像表示方法を実現する。【解決手段】手術システムは、マイクからの音声入力を受けて音声コマンドを認識する音声認識部３４と、この音声認識部３４からの音声コマンド入力により各医療機器を制御するとともに、タッチパネル操作部３１及び表示パネル操作部３２を制御する制御部３５とを設けたシステムコントローラ８を有している。制御部３５は、タッチパネル操作部３１との通信を行うＰＳ／２通信部と、表示パネル操作部３２との通信を行うＶＧＡ部と、周辺機器通信部３３を介して各医療機器との通信を行うシリアル通信部と、ハードディスクに格納された制御プログラムに基づき、各医療機器と音声認識部３４とタッチパネル操作部３１及び、表示パネル操作部３２を制御するＣＰＵとから構成される。【選択図】  図２
2004267634.tif 000002
【特許請求の範囲】
【請求項１】
医療機器の動作を指示するための音声コマンドに基づき、前記医療機器を制御する手術システムであって、
前記医療機器の操作状態を検知する検知手段と、
複数の音声コマンドを表示するためのコマンド表示処理手段と、
前記検知手段で検知した前記医療機器の操作状態に応じて、入力される音声コマンドを認識するコマンド認識手段と、
前記コマンド認識手段で認識した結果に基づき、前記コマンド表示処理手段を制御する表示処理制御手段と、
を具備したことを特徴とする手術システム。
【請求項２】
医療機器の動作を指示するための音を認識する音認識手段を有し、
前記音認識手段により認識された指示情報に基づいて前記医療機器を制御する手術システムに設けられた画像表示方法であって、
前記音認識手段により認識可能な指示内容を示す所定のメニュー表示をする第１のメニュー表示工程と、
前記医療機器の操作状態を検知する検知工程と、
前記検知工程により前記医療機器が第１の操作状態にあることを検知したときにエラー表示をするエラー表示工程と、
前記検知工程により前記医療機器が第２の操作状態にあることを検知したときに前記所定のメニュー表示をする第２のメニュー表示工程と、
を有することを特徴とする画像表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、内視鏡周辺機器等の医療機器を集中制御する手術システム及び画像表示方法に関する。
【０００２】
【従来の技術】
近年、各種の医療機器は、医療技術の発展と共に豊富となり、その機能も充実傾向にある。各種医療機器は、電気メス装置、超音波吸引装置、レーザーメス等様々なものが用意されている。これらの内視鏡周辺機器等の医療機器は、単体で用いられる場合もあるが、複合した手術システムとして各種医療機器と通信して集中制御を可能にしたものが広く用いられている。
【０００３】
このような従来の手術システムは、例えば、特開平７−３０３６５４号公報に記載されているように、複数の医療機器と通信可能なシステムコントローラを設け、このシステムコントローラによる集中制御を可能にしたものが提案されている。
【０００４】
また、最近、手術システムは、システムコントローラに接続したマイクから音声命令を入力することにより、各医療機器を音声制御するものがある。
上記音声制御を行う手術システムは、音声コマンドで操作する場合、段階を踏んで音声コマンドを順次、指示するようになっている。
【０００５】
例えば、電気メスの切開出力を上げたい場合、上記手術システムは、『電気メス』、『切開出力』、『アップ』というように、３段階の音声コマンドを順次、音声指示しなければならない。尚、このとき、『切開出力』が電気メスの機能であると自明な場合、上記手術システムは、『電気メス』を省略してもよい場合もある。
【０００６】
【特許文献１】
特開平７−３０３６５４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記音声制御を行う従来の手術システムは、通常の操作パネルからの操作と異なり、現在どのようなコマンドを実施しているか、或いは次にどのようなコマンドを使用することができるか、を術者が認識するために、医療機器の音声制御状態を表示する必要がある。
【０００８】
例えば、この場合、術者は、電気メス装置を用いている際、『切開出力』という音声コマンドを指示したとする。このとき、従来の手術システムは、次に使用可能な音声コマンド、例えば、『アップ』か又は『ダウン』等のコマンドが表示パネルに表示されない。このため、術者は、次に何と言って指示したら良いかのかわからなくなる。
【０００９】
また、上記従来の手術システムは、上述した３段階のような複数段階の音声コマンドを用いる場合、その途中でシステムに異常などが発生することもある。    この場合、上記従来の手術システムは、上記異常表示を優先させるため、音声コマンドを一旦中止し、異常表示を行っていた。このため、上記従来の手術システムは、異常が解除されたとき、音声コマンドをまた最初から操作しなければならなかった。
【００１０】
また、従来の手術システムは、上記音声認識を行う場合、認識度合いを示すレベルをシステムの内部で設定されていることもある。
この場合、従来の手術システムは、認識度合いのレベルを低く設定すると、多少あいまいな発音でも、その単語をシステム側に認識させることが可能となるが、逆に、異なる単語として認識してしまう誤認識の問題が発生する。
【００１１】
一方、従来の手術システムは、認識度合いのレベルを高く設定すると、誤認識の問題はなくなるが、はっきりと発音しなければシステム側で認識しないため、何度も音声コマンドを発しなければならないという問題が発生してくる。
特に、医療機器において、誤認識を極力避ける必要があるために、従来の手術システムは、認識度合いレベルを標準より高く設定している。このため、従来の手術システムは、なかなか音声認識が困難になるという問題が見受けられる。
【００１２】
本発明は、これらの事情に鑑みてなされたものであり、各医療機器の操作状況に応じて音声操作を変更可能な手術システム及び画像表示方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の本発明は、医療機器の動作を指示するための音声コマンドに基づき、前記医療機器を制御する手術システムであって、前記医療機器の操作状態を検知する検知手段と、複数の音声コマンドを表示するためのコマンド表示処理手段と、前記検知手段で検知した前記医療機器の操作状態に応じて、入力される音声コマンドを認識するコマンド認識手段と、前記コマンド認識手段で認識した結果に基づき、前記コマンド表示処理手段を制御する表示処理制御手段とを具備したことを特徴としている。
また、請求項２に記載の本発明は、医療機器の動作を指示するための音を認識する音認識手段を有し、前記音認識手段により認識された指示情報に基づいて前記医療機器を制御する手術システムに設けられた画像表示方法であって、前記音認識手段により認識可能な指示内容を示す所定のメニュー表示をする第１のメニュー表示工程と、前記医療機器の操作状態を検知する検知工程と、前記検知工程により前記医療機器が第１の操作状態にあることを検知したときにエラー表示をするエラー表示工程と、前記検知工程により前記医療機器が第２の操作状態にあることを検知したときに前記所定のメニュー表示をする第２のメニュー表示工程と、を有することを特徴としている。
この構成により、各医療機器の操作状況に応じて音声操作を変更可能な手術システム及び画像表示方法を実現する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図１６は、本発明の第１の実施の形態に係り、図１は第１の実施の形態の手術システムを示す全体構成図、図２は図１のシステムコントローラの内部構成を示す回路ブロック図、図３は制御部の構成を示す回路ブロック図、図４はタッチパネルの表示画面例を示す図、図５は表示パネルの表示画面例を示す図、図６は音声コマンドの例を示す図、図７は医療機器を選択する際の音声コマンドエリアの表示例を示す図、図８はモードを選択する際の音声コマンドエリアの表示例を示す図、図９は設定値を選択する際の音声コマンドエリアの表示例を示す図、図１０はエラー情報を上書き表示している際の音声コマンドエリアの表示例を示す図、図１１は本発明の音声制御フローチャートを示す図、図１２は術者の名前等を入力可能なタッチパネルの表示画面例を示す図、図１３はスレッショルドレベルの設定模式図、図１４は音声認識フローチャートを示す図、図１５は確認画面を表示している際の音声コマンドエリアの表示例を示す図、図１６は図１４の変形例の音声認識フローチャートを示す図である。
尚、本実施の形態では、内視鏡下外科手術における手術システムに本発明を適用する。
【００１５】
図１に示すように第１の実施の形態の手術システム１は、患者の体腔内を観察する内視鏡２と、内視鏡２にライトガイドケーブル３ａを介して照明光を供給する光源装置３と、内視鏡２に取り付けられ、この内視鏡２で得た被写体像を撮像する撮像装置を内蔵する内視鏡用ＴＶカメラ（以下、ＴＶカメラ）４と、このＴＶカメラ４のカメラケーブル４ａを介して、撮像装置に対する信号処理を行うＣＣＵ（カメラコントロールユニット）５と、このＣＣＵ５で信号処理された内視鏡画像を表示するモニタ６と、患者の患部に処置を施す複数の医療機器７と、入力される音声により光源装置３、ＣＣＵ５及び複数の医療機器７を集中制御するシステムコントローラ８とで構成される。
【００１６】
システムコントローラ８は、図示しない配線により各医療機器７のそれぞれに接続されている。また、システムコントローラ８は、術者が各医療機器の操作を集中して行うタッチパネル１１や術者や看護士が各医療機器の操作、設定状況の確認などを行う表示パネル１２及び、手術の内容を記録保存するＶＴＲ１３に接続されている。
【００１７】
また、システムコントローラ８は、音声を取り込むマイクロフォン（以下、マイク）１４を有して構成される。また、システムコントローラ８は、フットスイッチやハンドスイッチ又はリモコン等の図示しない遠隔操作手段を取り付けるように構成しても良い。
【００１８】
マイク１４は、ヘッドセット１５から延出する信号ケーブル１５ａでシステムコントローラ８に着脱自在に接続されるようになっている。尚、マイク１４は、例えば、ピン方式のマイクでも良い。
更に、また、システムコントローラ８とヘッドセット１５とは、赤外線等の無線通信で音声情報の通信を行うように構成しても良い。また、マイク１４は、図示しない顔面装着型映像表示装置ＦＭＤ（  Ｆａｃｅ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ  又はＨＭＤ；  Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ  とも呼ばれる）と呼ばれるゴーグル型、眼鏡型の装置に取り付けて構成しても良い。
【００１９】
複数の医療機器７は、例えば、腹腔内の視野を確保するために、気腹チューブ２１ｂを介して患者の腹腔内に二酸化炭素などのガスを供給する気腹装置２１と、電気エネルギを超音波処置具２２ｂに供給し、この超音波処置具２２ｂで発生した超音波振動により患部を凝固／切開処置する超音波手術装置２２と、高周波電力を電気メス２３ｂに供給し、この電気メス２３ｂで高周波電流を患部に通電するとともに、この電気メス２３ｂからの高周波電流を患者対極板２３ｃで回収して患部を凝固／切開処置する電気メス装置２３とで構成される。
【００２０】
次に、図２を用いてシステムコントローラ８の内部構成を説明する。
図２は、システムコントローラ８の内部構成を示す回路ブロック図である。    図２に示すようにシステムコントローラ８は、タッチパネル１１を制御するタッチパネル操作部３１と、表示パネル１２を操作する表示パネル操作部３２と、各医療機器７と通信する周辺機器通信部３３と、マイク１４からの音声入力を受けて各医療機器７の動作を指示するための音声コマンドを認識する音声認識部３４と、この音声認識部３４からの音声コマンド入力により周辺機器通信部３３を介して各医療機器７を制御するとともに、タッチパネル操作部３１及び表示パネル操作部３２を制御する制御部３５とから構成される。また、システムコントローラ８は、電源部３６から各部へ電力が供給されるようになっている。
【００２１】
制御部３５は、図３に示すように構成されている。
図３に示すように制御部３５は、タッチパネル操作部３１との通信を行うＰＳ／２（  Ｐｅｒｓｏｎａｌ  Ｓｙｓｔｅｍ  ／  ２  ）通信部４１と、表示パネル操作部３２との通信を行うＶＧＡ（  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ  ）部４２と、周辺機器通信部３３を介して各医療機器７との通信を行うシリアル通信部４３と、制御プログラムを格納するハードディスク４４、このハードディスク４４に格納された制御プログラムに基づき、各医療機器７と音声認識部３４とタッチパネル操作部３１及び、表示パネル操作部３２を制御するＣＰＵ（  Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ  ）４５とから構成される。
【００２２】
ＣＰＵ４５は、検知手段として周辺機器通信部３３を介してシリアル通信部４３で各医療機器７と通信を行い、各医療機器７の操作状態を検知するとともに、コマンド認識手段として検知した各医療機器７の操作状態に基づき、入力される音声コマンドを認識する。そして、ＣＰＵ４５は、認識した音声コマンドに基づき、シリアル通信部４３を介して各医療機器７を制御するようになっている。
【００２３】
また、ＣＰＵ４５は、表示処理制御手段として認識した結果に基づき、ＶＧＡ部４２を介して表示パネル操作部３２を制御し、後述する音声制御フローチャートに示すように術者が次に言うべき音声コマンドを表示パネル１２に表示させて術者に告知するようになっている。即ち、ＶＧＡ部４２は、後述する音声コマンドエリア６２ｂを表示するためのコマンド表示処理手段を構成している。
【００２４】
次に、タッチパネル１１及び表示パネル１２の表示画面例を説明する。
先ず、タッチパネル１１の表示画面例を説明する。
タッチパネル１１の表示画面例を図４に示す。
【００２５】
タッチパネル１１の表示画面は、例えば、画面上部に表示されるタイトルエリア５１と、画面左側に表示される医療機器リスト５２と、画面右側に表示される機能リスト５３とから構成される。
【００２６】
タイトルエリア５１は、現在、どの医療機器７が選択されているかを表示するエリアである。医療機器リスト５２は、現在、システムコントローラ８に接続されている医療機器７のリストを表示するエリアである。
【００２７】
機能リスト５３は、医療機器リスト５２に表示されている各医療機器７の機能を表示するエリアである。この機能リスト５３は、機器リスト５２に表示されている各医療機器７のリストの中から術者が操作したい医療機器７の名称を押下操作することにより、表示されるようになっている。この操作と同時に、タイトルエリア５１には、現在どの医療機器７が選択されているかが表示される。
尚、図４は、電気メス装置２３を選択している際のタッチパネル１１の表示画面例を示している。
【００２８】
このとき、機能リスト５３には、６種類のリストが表示されている。
ここで、電気メス装置２３は、モノポーラとバイポーラとの２つの出力方式があり、リスト右端の選択ボタンを押下操作することにより、出力方式を切り換えることができる。
【００２９】
以下、同様に、電気メス装置２３は、切開モード、切開出力、凝固モード、凝固出力を設定することができる。尚、プリセットは、術者が以前に設定しておいたモードや出力値を呼び出して設定する機能であり、リスト右端のボタンを押下操作することによりプリセットが実行されるようになっている。
【００３０】
表示パネル１２の表示画面例を図５に示す。
表示パネル１２の表示画面は、例えば、画面上部に表示される医療機器表示エリア６１と、画面下部に表示されるコマンドエリア６２とで構成されている。
【００３１】
医療機器表示エリア６１は、例えば、左右２つに区切られており、現在、操作されている２つの医療機器７の現設定値（現在の設定値）を表示するエリアである。
尚、図５は、医療機器表示エリア６１は、気腹装置２１及び電気メス装置２３が表示されており、それぞれ気腹装置２１、電気メス装置２３の現設定値を表示している。
【００３２】
コマンドエリア６２は、例えば、内視鏡画像エリア６４ａと音声コマンドエリア６２ｂとで構成されている。内視鏡画像エリア６２ａは、内視鏡手術の様子を示す内視鏡画像を表示するエリアである。音声コマンドエリア６２ｂは、音声コマンドを表示するエリアである。
【００３３】
音声コマンドは、図６に示すように例えば、第１コマンドとして選択する医療機器の名称と、第２コマンドとして選択するモードの名称と、第３コマンドとして選択する設定値（アップ／ダウン等）と順番に３段階で構成されている。
【００３４】
音声コマンドエリア６２ｂには、次に受け付ける音声コマンドの一覧を表示するようになっている。即ち、音声コマンドエリア６２ｂは、音声認識部３４が第１コマンドを認識した場合、第２コマンドの一覧を表示し、音声認識部３４が第２コマンドを認識した場合、第３コマンドの一覧を表示するようになっている。
【００３５】
この音声コマンドエリア６２ｂの表示例を図７〜図９に示す。
図７は、医療機器を選択する際の音声コマンドエリア６２ｂの表示例であり、図８はモードを選択する際の音声コマンドエリア６２ｂの表示例であり、図９は設定値（アップ／ダウン等）を選択する際の音声コマンドエリア６２ｂの表示例である。
【００３６】
医療機器７を選択する際の音声コマンドエリア６２ｂは、図７に示すようにシステムコントローラ８に接続されている医療機器７のリストを表示している。    尚、ここでは、電気メス装置２３を例にすると、術者が電気メスの切開出力を１ステップ上昇させたい場合、『電気メス』、『切開出力』、『アップ』と順番に言うようになっている。
【００３７】
先ず、術者が、この音声コマンドエリア６２ｂに表示されている医療機器７のリストの中から、選択したい医療機器７の名称を『電気メス』と言う。
すると、図８に示すように音声コマンドエリア６２ｂは、次に受け付ける音声コマンドの一覧として、電気メス装置２３の選択するモードのリストを表示する。
【００３８】
次に、術者が、この音声コマンドエリア６２ｂに表示されているモードのリストの中から、選択したいモードの名称を『切開出力』と言う。
すると、図９に示すように音声コマンドエリア６２ｂは、次に受け付ける音声コマンドの一覧として、選択する設定値のリストを表示する。
【００３９】
次に、術者が、この音声コマンドエリア６２ｂに表示されている設定値のリストの中から、選択したい設定値を『アップ』と言う。
すると、ＣＰＵ４５は、音声認識部３４で認識された指示情報に基づき、シリアル通信部４３を介して出力を１ステップアップさせるように電気メス装置２３を制御する。
【００４０】
また、これらの音声制御中、各医療機器７に、何らかのエラー、例えば、電気メス２３ｂのプローブが外れた場合等、音声コマンドエリア６２ｂは、図１０に示すようにエラー情報を上書き表示するようになっている。
【００４１】
次に、このように構成された手術システム１の作用を説明する。
術者は、システムコントローラ８に各医療機器７をそれぞれ接続して図１のように設定し、ヘッドセット１５を装着して、手術を開始する。
【００４２】
術者は、所望の医療機器７を用いて患者の患部に処置を施す。
ここで、術者は、所望の処置具を片手又は両手で把持して患部に押し当て、モニタ６又は表示パネル１２を見ながら処置を行う。
【００４３】
このとき、内視鏡２で得た被写体像は、ＴＶカメラ４の内蔵する撮像装置で撮像される。この撮像装置からの撮像信号はＣＣＵ５の信号処理部で信号処理され、システムコントローラ８を介してモニタ６及び表示パネル１２に出力される。そして、モニタ６は、内視鏡画像が表示される。
また、タッチパネル１１は、機能リスト５３に現在、選択されている医療機器７の機能が表示される。
【００４４】
表示パネル１２は、内視鏡画像エリア６２ａに内視鏡画像が表示され、医療機器表示エリア６１に現在、操作されている医療機器７の現設定値が表示される。更に、表示パネル１２は、上述した図７に示すように音声コマンドエリア６２ｂに第１コマンドである医療機器７の名称が表示される。
【００４５】
このとき、術者は、表示パネル１２の医療機器表示エリア６１に表示されている医療機器７の現設定値を見て、設定値を変更しようする。
そして、術者は、マイク１４に向かって、図６に示す第１コマンドから第３コマンドまでの音声コマンドを順番に言う。
【００４６】
すると、システムコントローラ８は、マイク１４からの音声（音声信号）を音声認識部３４で受ける。そして、システムコントローラ８のＣＰＵ４５は、図１１の音声制御フローチャートに従って、音声制御を行う。
ここで、術者が電気メスの切開出力をアップさせたい場合、図６に示す音声コマンドを順番に『電気メス』（第１コマンド）、『切開出力』（第２コマンド）、『アップ』（第３コマンド）のように言う。
【００４７】
そして、ＣＰＵ４５は、ＶＧＡ部４２を介して表示パネル操作部３２を制御し、上述した図８〜図９に示すように音声コマンドの一覧を表示パネル１２の音声コマンドエリア６２ｂに表示させる。
即ち、ＣＰＵ４５は、音声認識部３４が第１コマンドとして、『電気メス』を認識した場合、次の第２コマンドであるモードの名称の一覧を表示パネル１２の音声コマンドエリア６２ｂに表示させる（ステップＳ２〜Ｓ３）。
【００４８】
そして、ＣＰＵ４５は、音声認識部３４が第２コマンドとして、『切開出力』を認識した場合、次の第３コマンドである設定値（アップ／ダウン等）の一覧を表示パネル１２の音声コマンドエリア６２ｂに表示させる（ステップＳ５〜Ｓ６）。
更に、ＣＰＵ４５は、音声認識部３４が第３コマンドとして、『アップ』を認識した場合、シリアル通信部４３を介して出力を１ステップアップさせるように電気メス装置２３を制御する（ステップＳ８〜Ｓ９）。
【００４９】
尚、ここで、表示パネル１２の音声コマンドエリア６２ｂに第１コマンドである医療機器７の名称が表示されたときを第１のメニュー表示工程とすると、Ｓ３の音声第２コマンド表示は、第２のメニュー表示工程となる。また、Ｓ３の音声第２コマンド表示を第１のメニュー表示工程とすると、Ｓ６の音声第３コマンド表示は、第２のメニュー表示工程となる。また、Ｓ６の音声第３コマンド表示を第１のメニュー表示工程とすると、Ｓ１０の音声第１コマンド表示は、第２のメニュー表示工程となる。
これら第１〜第３のメニュー表示工程は、音認識制御工程を構成している。
【００５０】
また、これらの音声操作中、例えば、電気メス２３ｂのプローブが外れた場合等の何らかのエラーが発生したとき（ステップＳ１，Ｓ４，Ｓ７）、ＣＰＵ４５は、検知工程として周辺機器通信部３３を介してシリアル通信部４３で各医療機器７と通信を行い、各医療機器７の操作状態を検知する。そして、ＣＰＵ４５は、エラー表示工程として上述した図１０に示すように音声コマンドエリア６２ｂがエラー情報を上書き表示するように制御する（ステップＳ１１，Ｓ４１，Ｓ７１）。これは、各コマンド待ちループでエラーが発生した場合の分岐に相当する。
【００５１】
エラーが解除されると（ステップＳ１２，Ｓ４２，Ｓ７２）、ＣＰＵ４５は、エラー表示を解除するエラー表示消去の制御を行い、音声コマンドが再度表示されるように制御する（ステップＳ１２〜Ｓ１３，Ｓ４２〜Ｓ４３，Ｓ７２〜Ｓ７３）。
【００５２】
ＣＰＵ４５は、音声第３コマンドを確認すると、その音声コマンドを実施するようにシリアル通信部４３を介して各医療機器７を制御し（ステップＳ９）、音声第１コマンドを表示させて（ステップＳ１０）、音声操作フローを終了する。
【００５３】
この結果、本実施の形態の手術システム１は、音声操作中にエラーが発生しても、エラー解除すれば、発生時点での確認ステップへ戻るので、音声操作をやり直す手間が省ける。
従って、本実施の形態の手術システム１は、各医療機器７の操作状況に応じて音声操作を変更可能であるという効果を得る。
【００５４】
尚、タッチパネル１１は、術者の名前等を入力可能なように図１２に示す画面構成としても良い。
図１２に示すようにタッチパネル１２の表示画面は、入力表示部６３とキーボード部６４から構成される。キーボード部６４は、日付、術者、患者名、患者ＩＤ、コメントを入力することができる。これらのデータが入力されたとき、ＣＰＵ４５は、入力データをハードディスク４４などに記録するようになっている。
また、音声操作を実施した場合、ＣＰＵ４５は、実施回数をカウントし、これもハードディスク４４などに記録するようになっている。
【００５５】
尚、手術システムは、図１３ないし図１５に示すようにマイク１４からの音声が予め設定したスレッショルドレベルを超えた否かで音声を認識するように構成しても良い。
この場合、ＣＰＵ４５は、マイク１４からの音声信号をハードディスク４４に記録されている音声データと比較するように構成されている。
【００５６】
そして、ＣＰＵ４５は、データ同士の比較の結果を数値化し、レベル化する。ここで、レベル化は、レベルが高ければ高いほど音声信号と音声データが似ていることを示す。
ＣＰＵ４５は、認識レベルが予め設定しておいたスレッショルドレベルを超えた場合、入力される音声信号を音声データと同じと判断する。
【００５７】
一方、ＣＰＵ４５は、認識レベルが予め設定しておいたスレッショルドレベルより低い場合、音声信号を入力される音声信号を音声データと異なると判断する。
ここで、スレッショルドレベルは、高レベル側の第１のスレッショルドと低レベル側の第２のスレッショルドとの２つを設定している。
【００５８】
これらスレッショルドレベルは、例えば、図１３に示すスレッショルドレベルの設定模式図のようにレベルが１０段階あるとし、第１のスレッショルドをレベル７、第２のスレッショルドをレベル４に設定している。
【００５９】
そして、ＣＰＵ４５は、図１４に示す音声認識フローチャートに従って動作する。
図１４に示すようにＣＰＵ４５は、音声信号が入力されると、認識レベルを算出する（ステップＳ２１）。そして、ＣＰＵ４５は、算出した認識レベルが０〜４の場合（ステップＳ２２）、音声データを破棄し（ステップＳ２３）、終了する。
【００６０】
一方、ＣＰＵ４５は、算出した認識レベルが７以上の場合（ステップＳ２４）、音声データを該当する音声コマンドと認識して実行し（ステップＳ２５）、終了する。
また、ＣＰＵ４５は、算出した認識レベルが４〜７の場合（ステップＳ２２，Ｓ２４）、音声データに該当する認識メッセージとして表示パネル１２の音声コマンドエリア６２ｂに図１５に示すように確認画面（『電気メス』の例）を表示して術者に確認を求める（ステップＳ２６）。
【００６１】
このとき、術者がマイク１４に向かって『ＹＥＳ』又は『ＮＯ』と言うことで、ＣＰＵ４５は、確認を認識できる。尚、『ＹＥＳ』又は『ＮＯ』の発音は、短いため、『電気メス』や『切開出力』のように複雑でない。
そして、『ＹＥＳ』の場合、ＣＰＵ４５は、該当する音声コマンドを実行する（ステップＳ２５）。一方、ＮＯの場合、ＣＰＵ４５は、音声データを破棄（ステップＳ２３）、終了する。
【００６２】
これにより、手術システム１は、認識しやすい単語の１つである『電気メス』を何度も発音して音声操作を試みようとするより、『ＹＥＳ』又は『ＮＯ』に置き換えて認識し易い単語に変更し、音声認識をスムーズに行えるという効果を得る。
【００６３】
尚、手術システムは、図１６に示すフローチャートに従って動作するようにしても良い。
図１６は、図１４の変形例の音声認識フローチャートを示す図である。
図１６に示すようにＣＰＵ４５は、音声信号が入力されると、認識レベルを算出し（ステップＳ２１）、認識レベルが４〜７の場合以外、上述した図１４のフローチャートと同様である。
【００６４】
そして、ＣＰＵ４５は、算出した認識レベルが４〜７の場合、音声データが再入力するまで待ち（ステップＳ３１）、再入力された新音声データの認識レベルを算出する（ステップＳ３２）。
【００６５】
そして、ＣＰＵ４５は、この再入力された新音声データの認識レベルが０〜４の場合、音声データを破棄し（ステップＳ２３）、それ以外の場合、音声データに該当する音声コマンドを実施し（ステップＳ２５）、終了する。
即ち、このフローチャートは、スレッショルドを一回目の音声入力と二回目の音声入力時で変更したものである。
【００６６】
尚、このスレッショルドの変更は、一回目の音声入力が認識レベルが４〜７の場合のほかに、例えば、『電気メス』はレベル６、『切開出力』はレベル４、『アップ』はレベル８などのように音声コマンドの単語ごとに設定しても良い。    また、このスレッショルドの変更は、例えば、音声操作を１００回以上の術者の場合、レベル７とし、初めての術者の場合レベル４にするなど音声操作を行った回数ごとに設定しても良い。
【００６７】
尚、本実施例では、ＣＰＵ３５とは別に音声認識部３４を設けて構成しているが、ＣＰＵ３５に音声認識を行わせるように構成しても良い。
これにより、手術システムは、音声認識操作を何度も繰り返さなくとも操作することができ、使い勝手が向上する。
【００６８】
（第２の実施の形態）
図１７ないし図１９は、本発明の第２の実施の形態に係り、図１７は第２の実施の形態の手術システムを示す全体構成図、図１８はタッチパネルの表示画面例、図１９は音声認識回路の構成を示す回路ブロック図である。
本第２の実施の形態は、医療機器７の警告音等により音声制御を行うように構成している。それ以外は、上記第１の実施の形態と同じ構成であり、同じ構成には同じ符号を付して説明を省略する。
【００６９】
図１７に示すように第２の実施の形態の手術システム１Ｂは、上記第１の実施の形態で説明した音声コマンドにより音声制御を行うことに加え、医療機器７の警告音等により音声制御を行うシステムコントローラ８Ｂを設けて構成される。
【００７０】
また、本実施の形態の手術システム１Ｂは、表示パネル１２Ｂが電動アーム７１により天井或いは壁などに固定されており、このパネル自身の機能を変更するための機能が設けられている。
【００７１】
この表示パネル１２Ｂの機能を、図１８に示すタッチパネル１１の表示画面例を用いて説明する。
図１８は、タッチパネル１１の表示画面例である。
図１８に示すようにタッチパネル１１の表示画面は、表示パネル１２Ｂの機能を変更するためのものである。
【００７２】
この表示パネル１２Ｂで表示パネルを選択すると、機能リスト５３は、例えば、表示のブライトネスを調整するボタン、コントラストを調整するボタン、前後左右上下のポジションを電動アームで調整するボタンが表示されるようになっている。
【００７３】
そして、手術システム１Ｂは、表示パネル１２Ｂを音声制御する場合、例えば、表示パネル１２Ｂの高さ位置を上げるとき、術者は、『表示パネル』、『高さ位置』、『アップ』或いは『ダウン』と順番に言う。また、表示パネル１２Ｂの左右の位置を調整するとき、術者は、『表示パネル』、『水平位置』、『右』或いは『左』と順番に言う。
【００７４】
また、本実施の形態では、システムコントローラ８Ｂは、上記第１の実施の形態で説明したのとほぼ同様な構成であるが、図１９に示す音声認識回路を設けて音声認識部を構成される。
【００７５】
図１９に示すように音声認識回路８０は、音入力手段としてマイク１４からの電気信号を増幅するアンプ８１と、このアンプ８１で増幅された電気信号から医療機器７から発する警告音の周波数成分を分離する分離回路８２と、この分離回路８２で分離された周波数成分が所定のレベルに達しているか否かを比較する周波数判別手段としての比較回路８３と、この比較回路８３で比較した結果に基づき、入力される音声信号を切り換えるスイッチ８４とから構成される。
そして、スイッチ８４で切り換えられた音声信号は、制御部３５へ伝達され、ＣＰＵ４５へ出力されるようになっている。
【００７６】
ここで、医療機器７から発する警告音は、例えば、電気メス装置２３の場合、周波数が１ｋＨｚ、音圧レベル６０ｄＢのブザー音である。
このとき、音声認識回路８０は、例えば、分離回路８２の分離周波数をこの１ｋＨｚに設定し、比較回路８３の比較レベルを半分の３０ｄＢと設定するようになっている。
【００７７】
次に、このように構成された手術システム１Ｂの作用を説明する。
術者は、上記第１の実施の形態で説明したのと同様にシステムを構成し、ヘッドセット１５を装着して、手術を開始する。
このとき、システムコントローラ８Ｂは、マイク１４から入力された音声信号をアンプ８１で増幅した後、分離回路８２で１ｋＨｚの信号が分離される。
そして、スイッチ８４は、周波数の音圧レベルが比較レベルである３０ｄＢを超えていないとき、閉じて音声信号を制御部３５のＣＰＵ４５へ出力する。
【００７８】
一方、スイッチ８４は、周波数の音圧レベルが比較レベルである３０ｄＢを超えたとき、開いて音声信号を制御部３５のＣＰＵ４５へ出力しない。
尚、比較レベルの周波数や音圧レベルは、上記のように医療機器７の警告音の他に、術者や、その他の人の声のかなり高音の領域などでも良い。
【００７９】
また、スイッチ８４は、開閉動作にヒステリシスを持たせてもよい。
このスイッチ８４は、この状態が制御部へ伝達されるので、開の場合、音声操作を一時停止の状態にすることができる。
【００８０】
そして、警告音が停止すると、システムコントローラ８Ｂは、スイッチ８４が閉じ、音声操作が再開できるようになる。
また、表示パネル１２Ｂは、例えば、位置調整の音声コマンドを言うと、電動アームが作動し、位置が調整される。
【００８１】
この結果、本実施の形態の手術システム１Ｂは、上記第１の実施の形態と同様な効果を得ることに加え、医療機器７が警告状態にあるとき、音声操作を一時停止の状態にし、警告が解除されたとき、音声操作を再開することができる。従って、本実施の形態の手術システム１Ｂは、音声操作のやり直しをする必要が無い。
【００８２】
また、本実施の形態の手術システム１Ｂは、医療機器７が警告状態にあるとき、不要な音声信号が制御部３５のＣＰＵ４５へ出力されないので、音声コマンドの誤認識がない。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００８３】
［付記］
（付記項１）  医療機器の動作を指示するための音声コマンドに基づき、前記医療機器を制御する手術システムであって、
前記医療機器の操作状態を検知する検知手段と、
複数の音声コマンドを表示するためのコマンド表示処理手段と、
前記検知手段で検知した前記医療機器の操作状態に応じて、入力される音声コマンドを認識するコマンド認識手段と、
前記コマンド認識手段で認識した結果に基づき、前記コマンド表示処理手段を制御する表示処理制御手段と、
を具備したことを特徴とする手術システム。
【００８４】
（付記項２）  医療機器の動作を指示するための音を認識する音認識手段を有し、
前記音認識手段により認識された指示情報に基づいて前記医療機器を制御する手術システムに設けられた画像表示方法であって、
前記音認識手段により認識可能な指示内容を示す所定のメニュー表示をする第１のメニュー表示工程と、
前記医療機器の操作状態を検知する検知工程と、
前記検知工程により前記医療機器が第１の操作状態にあることを検知したときにエラー表示をするエラー表示工程と、
前記検知工程により前記医療機器が第２の操作状態にあることを検知したときに前記所定のメニュー表示をする第２のメニュー表示工程と、
を有することを特徴とする画像表示方法。
【００８５】
（付記項３）  医療機器の動作を指示するための音を認識する音認識手段を有し、この音認識手段により認識された指示情報に基づいて前記医療機器を制御する手術システムであって、
前記医療機器の操作状態を検知する検知手段と、
前記検知手段の動作状態に基づいて前記音認識手段を制御する音認識制御手段と、
を具備したことを特徴とする手術システム。
【００８６】
（付記項４）  更に、前記音認識手段は音が入力可能でこの音に応じた電気信号に変換可能な音入力手段と、この音入力手段からの電気信号を入力し該電気信号の周波数を判別可能な周波数判別手段と、この周波数判別手段の判別結果に応じて開閉可能なスイッチとを具備したことを特徴とする付記項３に記載の手術システム。
【００８７】
（付記項５）  医療機器の動作を指示するための音を認識する音認識手段を有し、この音認識手段で認識された指示情報に基づいて前記医療機器を制御する手術システムの制御方法であって、
前記医療機器の操作状態を検知する検知工程と、
前記検知手段の動作状態に基づいて前記音認識手段を制御する音認識制御工程と、
を具備したことを特徴とする手術システムの制御方法。
【００８８】
【発明の効果】
以上説明したように本発明によれば、各医療機器の操作状況に応じて音声操作を変更可能な手術システム及び画像表示方法を実現できる。
【図面の簡単な説明】
【図１】第１の実施の形態の手術システムを示す全体構成図
【図２】図１のシステムコントローラの内部構成を示す回路ブロック図
【図３】制御部の構成を示す回路ブロック図
【図４】タッチパネルの表示画面例を示す図
【図５】表示パネルの表示画面例を示す図
【図６】音声コマンドの例を示す図
【図７】医療機器を選択する際の音声コマンドエリアの表示例を示す図
【図８】モードを選択する際の音声コマンドエリアの表示例を示す図
【図９】設定値を選択する際の音声コマンドエリアの表示例を示す図
【図１０】エラー情報を上書き表示している際の音声コマンドエリアの表示例を示す図
【図１１】本発明の音声制御フローチャートを示す図
【図１２】術者の名前等を入力可能なタッチパネルの表示画面例を示す図
【図１３】スレッショルドレベルの設定模式図
【図１４】音声認識フローチャートを示す図
【図１５】確認画面を表示している際の音声コマンドエリアの表示例を示す図
【図１６】図１４の変形例の音声認識フローチャートを示す図
【図１７】第２の実施の形態の手術システムを示す全体構成図
【図１８】タッチパネルの表示画面例
【図１９】音声認識回路の構成を示す回路ブロック図
【符号の説明】
１…手術システム
２…内視鏡
３…光源装置
４…ＴＶカメラ
５…ＣＣＵ
６…モニタ
７…医療機器
８…システムコントローラ
１１…タッチパネル
１２…表示パネル
１４…マイク
３１…タッチパネル操作部
３２…表示パネル操作部
３３…周辺機器通信部
３４…音声認識部
３５…制御部
４１…ＰＳ／２通信部
４２…ＶＧＡ部
４３…シリアル通信部
４４…ハードディスク
４５…ＣＰＵ
６１…医療機器表示エリア
６２…コマンドエリア
６２ａ…内視鏡画像エリア
６２ｂ…音声コマンドエリア
【図１】
2004267634.tif 000003
【図２】
2004267634.tif 000004
【図３】
2004267634.tif 000005
【図４】
2004267634.tif 000006
【図５】
2004267634.tif 000007
【図６】
2004267634.tif 000008
【図７】
2004267634.tif 000009
【図８】
2004267634.tif 000010
【図９】
2004267634.tif 000011
【図１０】
2004267634.tif 000012
【図１１】
2004267634.tif 000013
【図１２】
2004267634.tif 000014
【図１３】
2004267634.tif 000015
【図１４】
2004267634.tif 000016
【図１５】
2004267634.tif 000017
【図１６】
2004267634.tif 000018
【図１７】
2004267634.tif 000019
【図１８】
2004267634.tif 000020
【図１９】
2004267634.tif 000021