(57)【特許請求の範囲】
【請求項１】
被制御手術機器の動作状態に関する動作状態音声情報を入力する音声情報入力手段と、
前記音声情報入力手段で入力された前記動作状態音声情報と予め設定された動作状態標準音声データとの照合処理により前記動作状態音声情報を認識する音声認識処理手段と、
少なくとも、前記音声認識処理手段における認識状態に応じたガイダンスデータを格納したガイダンスデータ格納手段と、
前記ガイダンスデータに基づく音声データを生成するガイダンス音声生成手段と
を備え、
前記ガイダンス音声生成手段は、前記音声認識処理手段における前記照合処理で認識した前記動作状態音声情報が予め設定された照合率で正常認識できなかったとき、当該正常認識できないことに対するエラー原因と改善内容とからなるエラーガイダンスを前記音声データとして生成すると共に、
前記照合率に対する閾値として、前記動作状態音声情報を正常認識したか否かを判定するための第１の閾値と、当該第１の閾値よりも低い第２の閾値と、が予め設定され、且つ、
前記照合率が前記第１の閾値と前記第２の閾値との間にあるとき、前記音声認識処理手段で認識された前記動作状態音声情報の認識数が複数であるか否かを判定する認識数判定手段を有し、
前記認識数判定手段によって前記動作状態音声情報の認識数が１つであると判定された場合と、前記動作状態音声情報の認識数が複数であると判定された場合と、で異なる前記エラーガイダンスを前記音声データとして生成することを特徴とする手術システム制御装置。
【請求項２】
前記ガイダンス音声生成手段は、前記音声認識処理手段の音声認識結果に応じて、エラーを認識しエラー情報を作成するエラー情報作成手段を有し、
前記エラー情報作成手段の前記エラー情報の作成結果に応じて前記エラーガイダンスを作成する
ことを特徴とする請求項１に記載の手術システム制御装置。
【請求項３】
前記ガイダンス音声生成手段は、前記認識数判定手段において前記動作状態音声情報の認識数が１つであると判定した場合には、前記改善内容の音声データとして確認言語の発生を促す音声データを生成することを特徴とする請求項１または２に記載の手術システム制御装置。
【請求項４】
前記ガイダンス音声生成手段は、前記認識数判定手段において前記動作状態音声情報の認識数が複数であると判定した場合には、前記改善内容の音声データとしてコマンドの再発声を促す音声データを生成することを特徴とする請求項１−３のいずれか一項に記載の手術システム制御装置。
【請求項５】
前記ガイダンス音声生成手段は、前記照合率が前記第２の閾値よりも低い場合であって、且つ、前記動作状態音声情報の未確認部分が一部である場合には、前記改善内容の音声データとして前記未確認部分言語の発声を促す音声データを生成することを特徴とする請求項１−４のいずれか一項に記載の手術システム制御装置。
【請求項６】
前記音声認識処理手段は、前記動作状態音声情報を階層的に認識し、
前記ガイダンス音声生成手段は、前記音声認識処理手段が認識した階層的な前記動作状態音声情報毎に、前記ガイダンスデータに基づく音声データを生成する
ことを特徴とする請求項１−５のいずれか一項に記載の手術システム制御装置。
【請求項７】
前記認識状態は、前記音声認識処理手段における照合結果に基づくコードにより分類される
ことを特徴とする請求項１−６のいずれか一項に記載の手術システム制御装置。
【請求項８】
被制御手術機器の動作状態に関する動作情報を入力する動作情報入力手段を有し、
前記ガイダンス音声生成手段は、前記動作状態音声情報及び／または前記動作情報の変更に対応した前記ガイダンスデータに基づく音声データを生成する
ことを特徴とする請求項１−７のいずれか一項に記載の手術システム制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手術システム制御装置、更に詳しくは音声により医療機器を操作する音声処理部分に特徴のある手術システム制御装置に関する。
【背景技術】
【０００２】
近年では内視鏡装置を用いた外科手術なども行われており、この内視鏡外科手術では、腹腔内を膨張させるために用いる気腹装置や手技を行うための処置装置であり、生体組織を切除、あるいは凝固する高周波焼灼装置などの手術機器を前述の装置に加えることによって、内視鏡で観察しながら各種処置が行える。
【０００３】
また、これら複数の各種機器を備えた内視鏡手術システムにおいて、複数の装置を容易に操作、制御することができ、システムの操作力性を向上させるため、術者が滅菌域で各種機器の設定状態を確認するための表示手段として液晶パネルなどの表示パネルや、術者が滅菌域で操作し各種機器の機能または設定値を変更するための遠隔操作手段としてリモコン（リモートコントローラ）などの遠隔操作装置、さらには術者の指示に従って看護師等の補助者が非滅菌域で操作し各種機器の機能または設定値を変更するための各機器の操作スイッチをタッチパネルに設けた集中操作パネル、各種機器を音声で操作するためのマイク等を備えている。
【０００４】
従来の内視鏡手術システムにおいて音声にて各種機器を操作する場合、術者は機器操作のためのコマンドを階層的に、しかも意図的に発生しなければならず、手技を進めていく上で使い勝手が良くなかった。
【０００５】
そこで、例えば特開２００３−５７７７号公報では、機器の状態を会話的な文言により音声入力するだけで対象機器を制御することのできる内視鏡手術システムを提案している。
【特許文献１】特開２００３−５７７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
例えば、手術室の滅菌域にいる術者が、非滅菌域にある医療機器を音声認識処理にて操作する場合、術者が発した音声を音声標準モデルと照合し、所定の照合率を満たす必要がある。すなわち、術者が発した音声が所定の照合率を満たして音声標準モデルと一致しない場合には、音声認識されなかったり、所定の照合率を低く設定した場合は、術者が発した音声を誤認識しやすくなる。
【０００７】
本発明は、上述した点に鑑みてなされたもので、所定の照合率を維持して誤認識のリスクを軽減しつつ、かつ音声操作の操作性を向上させることのできる手術システム制御装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の手術システム制御装置は、被制御手術機器の動作状態に関する動作状態音声情報を入力する音声情報入力手段と、前記音声情報入力手段で入力された前記動作状態音声情報と予め設定された動作状態標準音声データとの照合処理により前記動作状態音声情報を認識する音声認識処理手段と、少なくとも、前記音声認識処理手段における認識状態に応じたガイダンスデータを格納したガイダンスデータ格納手段と、前記ガイダンスデータに基づく音声データを生成するガイダンス音声生成手段と、を備え、
前記ガイダンス音声生成手段は、前記音声認識処理手段における前記照合処理で認識した前記動作状態音声情報が予め設定された照合率で正常認識できなかったとき、当該正常認識できないことに対するエラー原因と改善内容とからなるエラーガイダンスを前記音声データとして生成すると共に、前記照合率に対する閾値として、前記動作状態音声情報を正常認識したか否かを判定するための第１の閾値と、当該第１の閾値よりも低い第２の閾値と、が予め設定され、且つ、前記照合率が前記第１の閾値と前記第２の閾値との間にあるとき、前記音声認識処理手段で認識された前記動作状態音声情報の認識数が複数であるか否かを判定する認識数判定手段を有し、前記認識数判定手段によって前記動作状態音声情報の認識数が１つであると判定された場合と、前記動作状態音声情報の認識数が複数であると判定された場合と、で異なる前記エラーガイダンスを前記音声データとして生成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、所定の照合率を維持して誤認識のリスクを軽減しつつ、かつ音声操作の操作性を向上させることができるという効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施例について述べる。
【実施例１】
【００１１】
図１ないし図３５は本発明の実施例１に係わり、図１は内視鏡外科手術システムの全体構成を示す構成図、図２は図１の内視鏡外科手術システムの各機器の接続関係を示すブロック図、図３は図２のシステムコントローラの構成を示すブロック図、図４は図２のシステムコントローラの変形例の構成を示すブロック図、図５は図３の言語ＤＢの構成を示す図、図６は図５の第１階層言語ＤＢに格納されている第１階層言語を示す図、図７は図５の第２階層言語ＤＢに格納されている第２階層言語を示す図、図８は図３のシステムコントローラによる音声処理の流れを示すフローチャート、図９ないし図２３は図８の音声処理を説明する説明図、図２４は図８の音声認識処理の流れを示す第１のフローチャート、図２５は図８の音声認識処理の流れを示す第２のフローチャート、図２６ないし図３０は音声認識処理における図５の言語ＤＢでのデータの流れを説明する図、図３１は図８の処理で実施されるエラーガイダンスを示す図、図３２はシステム内で発生したイベントに対する図２のシステムコントローラの処理の流れを示すフローチャート、図３３及び図３４は図３２の処理におけるシステムコントローラの制御状態遷移図、図３５は図３２の処理におけるガイダンスを示す図である。
【００１２】
図１及び図２に示すように、本実施例の内視鏡外科手術システムは、患者が横たわる手術用ベッド１の両側に配置した第１のカート２及び第２のカート３には複数の被制御装置である内視鏡周辺機器が搭載されている。
【００１３】
前記第１のカート２には、内視鏡カメラ装置４、光源装置５、高周波焼灼装置（電気メス）６、気腹装置７、ＶＴＲ８、第１モニタ９、集中表示パネル１０、看護婦などが遠隔的に操作する集中操作パネル１１及び、手術システム制御装置であるシステムコントローラ１２が搭載されている。
【００１４】
それぞれの機器は、図示しないシリアルインターフェイスケーブルで前記システムコントローラ１２に接続されて、双方向の通信を行えるようになっている。
【００１５】
また、内視鏡カメラ装置４には内視鏡カメラヘッド１３が、光源装置５にはライトガイド１４が接続されており、これら内視鏡カメラヘッド１３、ライトガイド１４は内視鏡１５にそれぞれ接続されている。前記気腹装置７にはＣＯ２ボンベ１６が接続され、気腹装置７から患者に伸びた気腹チューブ１７により、患者の腹腔内にＣＯ２ガスが供給されるようになっている。
【００１６】
一方、第２カート３には内視鏡カメラ装置１８、光源装置１９、超音波診断装置２０、画像処理装置２１、第２モニタ２２、集中表示パネル１０、及び中継ユニット２３が搭載され、それぞれの内視鏡周辺機器は図示しないシリアルインターフェイスケーブルで前記中継ユニット２３に接続されて、双方向の通信を行えるようになっている。
【００１７】
また、内視鏡カメラ装置１８には内視鏡カメラヘッド２４が、光源装置１９にはライトガイド２５が接続されており、これら内視鏡カメラヘッド２４、ライトガイド２５は内視鏡２６にそれぞれ接続されている。
【００１８】
また、前記システムコントローラ１２と前記中継ユニット２３とはシステムインターフェイスケーブル２７で接続されて双方向の通信を行えるようになっている。
【００１９】
前記集中操作パネル１１は液晶ディスプレイ等の表示部と、この表示部の上に一体的に設けられたタッチセンサとにより構成され、各装置の状態表示や、操作スイッチなどを設定画面として表示する表示機能とともに、タッチセンサの所定領域を触れることで操作スイッチによる操作機能を有し、この表示機能及び操作機能からなるタッチパネル機能（Ｔ．Ｐ）で、システムコントローラ１２を介して各内視鏡周辺機器の操作を直接行うのと同等の操作を行うことができるようになっている。
【００２０】
また、システムコントローラ１２には、音声入力を行うマイク３１が接続できるようになっており、システムコントローラ１５はマイク３１から入力された音声を後述する音声処理部１２ｂ（図３参照）により認識し、また、認識した音声に対応した音声ガイダンスを該音声処理部１２ｂにてスピーカ３２により音声出力することで、音声ガイダンスによる各機器の制御を確実に行うことができるようになっている。
【００２１】
このマイク３１は、術者が頻繁に使用する周辺機器を集中的に遠隔操作するための遠隔操作手段として用いられ、頻繁に使用する内視鏡周辺機器の設定や操作を、滅菌領域にいながらにして術者自身が音声により自在に行うためのものである。
【００２２】
システムコントローラ１２は、図３の機能ブロック図に示すように、システム制御部１２ａ、音声処理部１２ｂ及びアプリケーションＩ／Ｆ部１２ｃとからなり、アプリケーションＩ／Ｆ部１２ｃを介してシステム制御部１２ａ、音声処理部１２ｂ間でデータの送受が行われる。
【００２３】
システム制御部１２ａは、通信Ｉ／Ｆ部１００、ＧＵＩ表示・操作処理部１０１、画像Ｉ／Ｆ部１０２及び制御部１０３を備えて構成される。通信Ｉ／Ｆ部１００は、内視鏡カメラ装置４、光源装置５、高周波焼灼装置（電気メス）６、気腹装置７、ＶＴＲ８、及び中継ユニット２３からなる医療機器群との通信インターフェイスであり、ＧＵＩ表示・操作処理部１０１は集中操作パネル１１とのタッチパネルインターフェイスである。また、画像Ｉ／Ｆ部１０２は、表示画象を集中表示パネル１０に表示するためのインターフェイスである。制御部１０３は、これら各部を制御すると共に、データ管理部１０４、エラー判定部１０５、照合率設定部１０６及びガイダンスタイミング制御部１０７を用いて音声処理部１２ｂにおける音声処理を制御する。  
音声処理部１２ｂは、マイク３１からの音声入力信号をデジタル変換し音声認識処理を行う音声認識エンジン１１０と、制御部１０３からのガイダンスデータを音声信号に変換する音声合成エンジン１１３とを備えている。なお、ガイダンスデータは、データ管理部１０４に格納されている。
【００２４】
音声認識エンジン１１０は、マイク３１からの音声入力信号をデジタル変換し、母音及び子音からなる認識モデル１１１及び言語データベース（ＤＢ）１１２を用いて、音声入力信号と所定の照合率で一致する、言語ＤＢ１１２に格納されている言語を抽出し、抽出した言語をアプリケーションＩ／Ｆ部１２ｃを介して制御部１０３に出力し、データ管理部１０４が該抽出した言語を管理／格納する。
【００２５】
また、音声合成エンジン１１３は、ガイダンスタイミング制御部１０７によるタイミング制御で制御部１０３からアプリケーションＩ／Ｆ部１２ｃを介して出力されるガイダンスデータを発音ＤＢ１１４の音声データを用いて音声出力信号としてスピーカ３２に出力する。
【００２６】
本実施例では、音声合成エンジン部１１３よガイダンスを実現しているが、図４に示すように、録音された音声ファイル（ｗａｖファイル等）を音声データ格納部９９より読み出し、音声出力信号としてスピーカ３２に出力しても同様の効果得られる。
【００２７】
また、音声認識エンジン１１０は、音声入力信号の照合状態を後述するエラーコードとして制御部１０３に出力する。そして、制御部１０３では、該エラーコードに基づき、エラー判定部１０５にて照合状態を判定し、照合状態に応じたガイダンスデータを、ガイダンスタイミング制御部１０７によるタイミング制御で音声合成エンジン１１３に出力する。
【００２８】
本実施例では、音声入力信号は、音声認識エンジン１１０にて階層的に認識処理される。このため、言語ＤＢ１１２は、図５に示すように、第１階層言語ＤＢ１１２ａ、第２階層言語ＤＢ１１２ｂの階層構造のデータベースとなっており、第１階層言語の音声入力信号が入力され音声認識されると、第１階層言語ＤＢ１１２ａから対応する抽出言語が抽出言語ＤＢ１１２ｃに格納され、音声認識エンジン１１０は、抽出言語及びエラーコードを制御部１０３に出力する。
【００２９】
第１階層言語の抽出が終わると、第１階層言語の抽出言語に関連づけられた第２階層言語の言語が候補言語として候補言語ＤＢ１１２ｄに格納される。そして、第２階層言語の音声入力信号が入力され音声認識されると、候補言語ＤＢ１１２ｄから対応する抽出言語が抽出言語ＤＢ１１２ｃに格納され、音声認識エンジン１１０は、抽出言語及びエラーコードを制御部１０３に出力する。
【００３０】
第１階層言語の一例を図６に、また第２階層言語の一例を図７に示す。図６及び図７に示すように、例えば第１階層言語が「システム自動設定」と認識されると、第２階層言語ＤＢ１１２ｂから予め登録している、「システム自動設定」に関連づけられた、例えば術者名からなる複数の「［登録名１］」、「［登録名２］」、…、を候補言語として候補言語ＤＢ１１２ｄに格納する。
【００３１】
同様に、例えば第１階層言語が「気腹器送気」と認識されると、第２階層言語ＤＢ１１２ｂから予め登録している、「気腹器送気」に関連づけられた、「スタート」、「ストップ」を候補言語として候補言語ＤＢ１１２ｄに格納する。
【００３２】
第１階層言語としては、上記の他に、例えば「気腹器圧設定」、「気腹器モード」、「電気メス出力設定」、「ホワイトバランス」、「カメラ明るさ調整」、「ＶＴＲ録画」等がある。また、第２階層言語としては、上記の他に、「アップ」、「ダウン」、「高モード」、「中モード」、「低モード」等があり、これらは図７に示すように、第１階層言語と関連づけられている。
【００３３】
本実施例では、第１階層言語及び第２階層言語の両方が認識されると、１つのコマンドが決定される。例えば「気腹器送気」という第１階層言語と、「スタート」という第２階層言語とが認識されると、「気腹器送気スタート」というコマンドが決定される。
【００３４】
次に、このように構成された本実施例の作用の詳細を説明する。
【００３５】
システムコントローラ１２は、デフォルト時の音声認識処理の対象データベースを第１階層言語ＤＢ１１２ａとして、図８に示すように、ステップＳ１にて音声認識エンジン１１０で術者が発声した発声コマンドに対して第１階層言語ＤＢ１１２ａを用いて音声認識処理が実行される。この音声認識処理の詳細は後述する。音声認識処理の結果、ステップＳ２にて術者が発声した発声コマンドを第１階層言語として認識できたかどうか判断し、認識できた場合は、ステップＳ３にて音声合成エンジン１１３により第１階層言語に応じたガイダンスである第１階層ガイダンスをスピーカ３２から発声させる。
【００３６】
そして、ステップＳ４にて認識できた第１階層言語に関連づけられた第２階層言語の言語を候補言語として絞り込み、ステップＳ５にて候補言語を候補言語ＤＢ１１２ｄに格納する。
【００３７】
続いて、ステップＳ６にて音声認識エンジン１１０の音声認識処理の対象データベースを第１階層言語ＤＢ１１２ａから候補言語ＤＢ１１２ｄに切り替えて、ステップＳ７にて音声認識エンジン１１０で所定のインターバル時間（例えば３秒）以内に第１階層ガイダンスにより促された術者が発声した発声コマンドに対して候補言語ＤＢ１１２ｄを用いてステップＳ１と同様な音声認識処理が実行される。
【００３８】
音声認識処理の結果、ステップＳ８にて術者が発声した発声コマンドを第２階層言語として認識できたかどうか判断し、認識できた場合は、ステップＳ９にて第１階層言語及び第２階層言語により認識されたコマンドを実行し、ステップＳ１０にて所定のインターバル時間（例えば３秒）後に音声合成エンジン１１３により第２階層言語に応じたガイダンスである第２階層ガイダンスをスピーカ３２から発声させ、処理を終了する。
【００３９】
ステップＳ２及びステップＳ８にて認識できないと判断すると、エラーコードに基づきエラー判定を行い（ステップＳ１１、Ｓ１３）、エラーガイダンスをスピーカ３２から発声させる（ステップＳ１２、Ｓ１４）。
【００４０】
このように、本実施例では、術者が発声した発声コマンドが第１階層言語と認識されると、第１階層言語に応じたガイダンスである第１階層ガイダンスがスピーカ３２から出力され、第２階層言語の発声を術者に促す。そして、第１階層ガイダンスに応じて術者が発声した発声コマンドが第２階層言語と認識されると、第２階層言語に応じたガイダンスである第２階層ガイダンスがスピーカ３２から出力する。第１階層言語及び第２階層言語の両方が認識されると、１つのコマンドが決定される。例えば「気腹器送気」という第１階層言語と、「スタート」という第２階層言語とが認識されると、「気腹器送気スタート」というコマンドが決定される。
【００４１】
具体的な、各第１階層言語に対する第１階層ガイダンス及び第２階層言語に対する第２階層ガイダンスである応答ガイダンスの発声タイミングを図９ないし図２３に示すが、図９を例に応答ガイダンスの発声タイミングを簡略に説明する。
【００４２】
図９に示すように、術者が発声した発声コマンドが第１階層言語の「システム自動設定」と認識されると、第１階層ガイダンスとして例えば「自動設定を行います。名前をどうぞ。」という応答ガイダンスをスピーカ３２から出力する。
【００４３】
この第１階層ガイダンスである応答ガイダンスにより促された術者が所定のインターバル時間（例えば３秒）以内に対応した第２階層言語である、登録術者名「［登録名１］」（＝「Ｄｒ．ＴＡＮＡＫＡ」等）を発することで、第２階層言語の「［登録名１］」が認識される。
【００４４】
そして、第１階層言語及び第２階層言語よりコマンド「システム自動設定：［登録名１］」というコマンドを実行し、医療機器群に対して登録術者［登録名１］に応じた設定を行い、所定のインターバル時間（例えば３秒）後に第２階層ガイダンスとして例えば「自動設定を完了しました。設定値を確認して下さい。」という応答ガイダンスをスピーカ３２から出力する。
【００４５】
次に、上記ステップＳ１、Ｓ７における音声認識処理について図２４及び図２５のフローチャートを用いて説明する。
【００４６】
図２４に示すように、音声認識処理では、音声認識エンジン１１０は、ステップＳ２１にて入力した音声入力信号の音声波形を入力し、ステップＳ２２にて音声入力信号が所定音声レベル未満の入力エラーかどうか判断し、入力エラーならばステップＳ２３にてエラーコードを０１にセットして（ｅｒｒｏｒ  ｃｏｄｅ＝０１）、ステップＳ２８に進む。
【００４７】
入力エラーでない、すなわち、音声入力信号が所定音声レベル以上ならば、ステップＳ２４にて母音及び子音からなる認識モデル１１１と音声入力信号の音声波形とのマッチング処理を行う。
【００４８】
そして、ステップＳ２５にて照合率設定部１０６において設定された照合率の第１閾値（例えば照合率＝８０％）を超えて音声入力信号を認識できたかどうか判断し、第１閾値を超えた認識ができた場合には、ステップＳ２６にて正常認識としてエラーコードを００にセットして（ｅｒｒｏｒ  ｃｏｄｅ＝００）、ステップＳ２８にてエラーコードを制御部１０３に出力し、処理を終了する。
【００４９】
第１階層言語がｅｒｒｏｒ  ｃｏｄｅ＝００の場合、言語ＤＢ１１２では、図２６に示すように、第１階層言語ＤＢ１１２ａから対応する抽出言語、例えば「気腹器送気」が抽出言語ＤＢ１１２ｃに格納され、音声認識エンジン１１０は、抽出言語及びｅｒｒｏｒ  ｃｏｄｅ＝００を制御部１０３に出力し、データ管理部１０４に格納する。そして、第１階層言語の抽出が終わると、第１階層言語の抽出言語に関連づけられた第２階層言語の言語、例えば「スタート」、「ストップ」が候補言語として候補言語ＤＢ１１２ｄに格納される。
【００５０】
ステップＳ２５で第１閾値を超えた認識ができていないと判断すると、図２５のステップＳ３１に移行し、ステップＳ３１にて照合率設定部１０６において設定された照合率の第２閾値（例えば照合率＝６０％）以上で音声入力信号を認識できたかどうか判断する。
【００５１】
第２閾値以上で認識ができた場合には、音声入力信号の認識が６０％以上８０％以下の不確実な照合率での認識となるので、この認識では第１階層言語が一意的に決定しない場合があるので、ステップＳ３２にて認識数が複数かどうか判断する。
【００５２】
そして、認識数が１つの場合には、ステップＳ３３にて要確認認識エラーとしてエラーコードを０２にセットして（ｅｒｒｏｒ  ｃｏｄｅ＝０２）、ステップＳ３９に進む。
【００５３】
この場合は、言語ＤＢ１１２では、図２７に示すように、不確実な照合率での第１階層言語ＤＢ１１２ａから対応する抽出言語、例えば「気腹器送気」が抽出言語ＤＢ１１２ｃに格納され、音声認識エンジン１１０は、抽出言語及びｅｒｒｏｒ  ｃｏｄｅ＝０２を制御部１０３に出力し、データ管理部１０４に格納する。そして、不確実な照合率での第１階層言語の抽出が終わると、ステップＳ３９にて第１階層言語の抽出言語を確認するための確認言語、例えば「Ｙｅｓ」、「Ｎｏ」が候補言語として第２階層言語ＤＢ１１２ｂより候補言語ＤＢ１１２ｄに格納され、ステップＳ４０に進む。
【００５４】
ｅｒｒｏｒ  ｃｏｄｅ＝０２の場合、制御部１０３はスピーカ３２により術者に対して確認言語の発声を促し、確認言語により第１階層言語の確認が実施される。
【００５５】
一方、ステップＳ３２で認識数が複数と判断されると、ステップＳ３４にて複数認識エラーとしてエラーコードを０３にセットして（ｅｒｒｏｒ  ｃｏｄｅ＝０３）、ステップＳ３９に進む。
【００５６】
この場合は、言語ＤＢ１１２では、図２８に示すように、不確実な照合率での複数、例えば第１階層言語として３つの「気腹器送気」、「気腹器圧設定」、「気腹器モード」が抽出言語ＤＢ１１２ｃに格納され、音声認識エンジン１１０は、抽出言語及びｅｒｒｏｒ  ｃｏｄｅ＝０３を制御部１０３に出力し、データ管理部１０４に格納する。そして、不確実な照合率での第１階層言語の抽出が終わると、ステップＳ３９にて不確実な照合率での第１階層言語として３つの「気腹器送気」、「気腹器圧設定」、「気腹器モード」が候補言語として第２階層言語ＤＢ１１２ｂより候補言語ＤＢ１１２ｄに格納され、ステップＳ４０に進む。
【００５７】
ｅｒｒｏｒ  ｃｏｄｅ＝０３の場合、制御部１０３はスピーカ３２により術者に対してコマンドの再発声を促し、再発声言語により第１階層言語の抽出が実施される。
【００５８】
また、ステップＳ３１で第２閾値以上での認識ができない判断されると、ステップＳ３５にて音声波形を分析し、ステップＳ３６にて音声入力信号のうち未認識部分が一部であるかどうか判断し、未認識部分が一部であると判断されると、ステップＳ３７にて未認識部位発生エラーとしてエラーコードを０４にセットして（ｅｒｒｏｒ  ｃｏｄｅ＝０４）、ステップＳ３８にて未認識部位を制御部１０３に出力し、ステップＳ３９に進む。
【００５９】
この場合は、言語ＤＢ１１２では、図２９に示すように、未認識部分を含む第１階層言語として、例えば「気腹器＠＠」（＠＠部分が未認識部分）が抽出されたとすると、未認識部分を無視した３つの「気腹器送気」、「気腹器圧設定」、「気腹器モード」が抽出される。そこで、音声認識エンジン１１０は、「気腹器＠＠」を「気腹器」＋「＠＠」からなる階層言語とする。つまり、「気腹器送気」を「気腹器」＋「送気」、「気腹器圧設定」を「気腹器」＋「圧設定」、「気腹器モード」を「気腹器」＋「モード」とした階層言語として分離し、未認識部分言語「＠＠」に該当する「送気」、「圧設定」、「モード」を抽出言語ＤＢ１１２ｃに格納し、音声認識エンジン１１０は、未認識部分言語及びｅｒｒｏｒ  ｃｏｄｅ＝０４を制御部１０３に出力し、データ管理部１０４に格納する。そして、不確実な照合率での第１階層言語の抽出が終わると、ステップＳ３９にて不確実な照合率での第１階層言語として３つの「送気」、「圧設定」、「モード」が候補言語として候補言語ＤＢ１１２ｄに格納され、ステップＳ４０に進む。
【００６０】
ｅｒｒｏｒ  ｃｏｄｅ＝０４の場合、制御部１０３はスピーカ３２により術者に対して未認識部分言語の発声を促し、未認識部分言語の発声により第１階層言語の抽出が実施される。
【００６１】
テップＳ３６にて音声入力信号のうち未認識部分が一部ではなく全て認識できない判断されると、ステップＳ４１にて認識エラーとしてエラーコードを０５にセットして（ｅｒｒｏｒ  ｃｏｄｅ＝０５）、ステップＳ３８にて未認識部位を制御部１０３に出力し、図２４のステップＳ２８に戻る。
【００６２】
そして、ステップＳ４０にて、音声認識処理の対象データベースを抽出言語ＤＢ１１２ｃに切り替えて図２４のステップＳ２８に戻る。
【００６３】
なお、上記ｅｒｒｏｒ  ｃｏｄｅ＝０１あるいは０５の場合、言語ＤＢ１１２では、図３０に示すように、認識できないために対象言語の抽出ができない。そこで、制御部１０３はスピーカ３２により術者に対して再度、コマンドの発声を促し、コマンドの再発声により第１階層言語の抽出が実施される。
【００６４】
また、制御部１０３は、上記ｅｒｒｏｒ  ｃｏｄｅにおいて、術者に対し、図３１に示すようなエラー原因ガイダンス及び改善内容ガイダンスからなるエラーガイダンスを図７のステップＳ１２及びＳ１４にてスピーカ３２により実施する。
【００６５】
以上は術者の発声による医療機器群に対するコマンドの発生処理であるが、医療機器群に対するコマンド発生等のイベントは、術者の発声に限らず、医療機器群の各装置毎の操作、集中操作パネル１１に表示されているステータス（腹腔圧の測定値や警告情報等）が更新された場合も発生する。本実施例では、これらイベントの発生に対してスピーカ３２により適切なガイダンスが実施される。
【００６６】
具体的には、図３２に示すように、システムコントローラ１２は、ステップＳ５１にてイベントの発生を認識すると、ステップＳ５２にて複数のイベントが発生したかどうか判断する。
【００６７】
発生したイベントが１つの場合には、ステップＳ５３にてイベントに対応したガイダンスをスピーカ３２により実施し、ステップＳ５４に進む。
【００６８】
ステップＳ５４では、ガイダンス実行中に同一カテゴリのイベントが発生したかどうか判断し、同一カテゴリのイベントが発生しなければステップＳ５１に戻り、同一カテゴリのイベントが発生したならばステップＳ５５に進む。
【００６９】
ここで、同一カテゴリのイベントとは、例えば気腹器を例にすると、「気腹器送気スタート」に対するガイダンス実行中に「気腹器送気ストップ」という気腹器送気というカテゴリのイベントをいう。
【００７０】
そして、ステップＳ５５では、現在実行中のガイダンスの終了後に、最新のイベントに対応したガイダンスをスピーカ３２により実施し、ステップＳ５６にて手技が終了するまでステップＳ５１〜Ｓ５６をくり返す。
【００７１】
発生したイベントが１つで、ガイダンス実行中に同一カテゴリのイベントが発生しなかった場合のシステムコントローラの制御状態遷移図を図３３に示し、発生したイベントが１つで、ガイダンス実行中に同一カテゴリのイベントが発生した場合のシステムコントローラの制御状態遷移図を図３４に示す。
【００７２】
一方、ステップＳ５２にて複数のイベントが発生したと判断すると、ステップＳ５７にて発生した複数のイベントに同一カテゴリのイベントがあるかどうか判断し、同一カテゴリのイベントがある場合には、ステップＳ５及びステップＳ５９にて所定期間内にさらに、同一カテゴリのイベントが発生するかどうかを待ち、ステップＳ６０にて最終のイベントをガイダンス対象のイベントとして、ステップＳ５３に進む。また、ステップＳ５７にて同一カテゴリのイベントがないと判断すると、発生した順番のイベントに対応したガイダンスを実施し、ステップＳ５４に進む。図３５に発生したイベントに対するガイダンスの一例を示す。
【００７３】
以上説明したように本実施例によれば、術者が発声した発声コマンドが第１階層言語と認識されると、第１階層言語に応じたガイダンスである第１階層ガイダンスが出力され、第２階層言語の発声を術者に促し、第１階層ガイダンスに応じて術者が発声した発声コマンドが第２階層言語と認識されると、第２階層言語に応じたガイダンスである第２階層ガイダンスが出力され、第１階層言語及び第２階層言語の両方が認識されると、１つのコマンドが決定されので、所定の照合率を維持して誤認識のリスクを軽減しつつ、かつを音声操作の操作性を向上させることができる。
【００７４】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施例１に係る内視鏡外科手術システムの全体構成を示す構成図
【図２】図１の内視鏡外科手術システムの各機器の接続関係を示すブロック図
【図３】図２のシステムコントローラの構成を示すブロック図
【図４】図２のシステムコントローラの変形例の構成を示すブロック図
【図５】図３の言語ＤＢの構成を示す図
【図６】図５の第１階層言語ＤＢに格納されている第１階層言語を示す図
【図７】図５の第２階層言語ＤＢに格納されている第２階層言語を示す図
【図８】図３のシステムコントローラによる音声処理の流れを示すフローチャート
【図９】図８の音声処理を説明する第１の説明図
【図１０】図８の音声処理を説明する第２の説明図
【図１１】図８の音声処理を説明する第３の説明図
【図１２】図８の音声処理を説明する第４の説明図
【図１３】図８の音声処理を説明する第５の説明図
【図１４】図８の音声処理を説明する第６の説明図
【図１５】図８の音声処理を説明する第７の説明図
【図１６】図８の音声処理を説明する第８の説明図
【図１７】図８の音声処理を説明する第９の説明図
【図１８】図８の音声処理を説明する第１０の説明図
【図１９】図８の音声処理を説明する第１１の説明図
【図２０】図８の音声処理を説明する第１２の説明図
【図２１】図８の音声処理を説明する第１３の説明図
【図２２】図８の音声処理を説明する第１４の説明図
【図２３】図８の音声処理を説明する第１５の説明図
【図２４】図８の音声認識処理の流れを示す第１のフローチャート
【図２５】図８の音声認識処理の流れを示す第２のフローチャート
【図２６】音声認識処理における図５の言語ＤＢでのデータの流れを説明する第１の図
【図２７】音声認識処理における図５の言語ＤＢでのデータの流れを説明する第２の図
【図２８】音声認識処理における図５の言語ＤＢでのデータの流れを説明する第３の図
【図２９】音声認識処理における図５の言語ＤＢでのデータの流れを説明する第４の図
【図３０】音声認識処理における図５の言語ＤＢでのデータの流れを説明する第５の図
【図３１】図８の処理で実施されるエラーガイダンスを示す図
【図３２】システム内で発生したイベントに対する図２のシステムコントローラの処理の流れを示すフローチャート
【図３３】図３２の処理におけるシステムコントローラの第１の制御状態遷移図
【図３４】図３２の処理におけるシステムコントローラの第２の制御状態遷移図
【図３５】図３２の処理におけるガイダンスを示す図
【符号の説明】
【００７６】
１…手術用ベッド
２…第１のカート
３…第２のカート
４…内視鏡カメラ装置
５…光源装置
６…高周波焼灼装置（電気メス）
７…気腹装置
８…ＶＴＲ
９…第１モニタ
１０…集中表示パネル
１１…集中操作パネル
１２…システムコントローラ
１２ａ…システム制御部
１２ｂ…音声処理部
１２ｃ…アプリケーションＩ／Ｆ部
１３…内視鏡カメラヘッド
１４…ライトガイド
１５…内視鏡
１６…ＣＯ２ボンベ
１７…気腹チューブ
１８…内視鏡カメラ装置
１９…光源装置
２０…超音波診断装置
２１…画像処理装置
２２…第２モニタ
２３…中継ユニット
２４…内視鏡カメラヘッド
２５…ライトガイド
２６…内視鏡
２７…システムインターフェイスケーブル
３１…マイク
３２…スピーカ
１００…通信Ｉ／Ｆ部
１０１…ＧＵＩ表示・操作処理部
１０２…画像Ｉ／Ｆ部
１０３…制御部
１０４…データ管理部
１０５…エラー判定部
１０６…照合率設定部
１０７…ガイダンスタイミング制御部
１１０…音声認識エンジン
１１１…認識モデル
１１２…言語ＤＢ
１１２ａ…第１階層言語ＤＢ
１１２ｂ…第２階層言語ＤＢ
１１２ｃ…抽出言語ＤＢ
１１２ｄ…候補言語ＤＢ
１１３…音声合成エンジン
１１４…発音ＤＢ
【図１】
0004823687.tif 000002
【図２】
0004823687.tif 000003
【図３】
0004823687.tif 000004
【図４】
0004823687.tif 000005
【図５】
0004823687.tif 000006
【図６】
0004823687.tif 000007
【図７】
0004823687.tif 000008
【図８】
0004823687.tif 000009
【図９】
0004823687.tif 000010
【図１０】
0004823687.tif 000011
【図１１】
0004823687.tif 000012
【図１２】
0004823687.tif 000013
【図１３】
0004823687.tif 000014
【図１４】
0004823687.tif 000015
【図１５】
0004823687.tif 000016
【図１６】
0004823687.tif 000017
【図１７】
0004823687.tif 000018
【図１８】
0004823687.tif 000019
【図１９】
0004823687.tif 000020
【図２０】
0004823687.tif 000021
【図２１】
0004823687.tif 000022
【図２２】
0004823687.tif 000023
【図２３】
0004823687.tif 000024
【図２４】
0004823687.tif 000025
【図２５】
0004823687.tif 000026
【図２６】
0004823687.tif 000027
【図２７】
0004823687.tif 000028
【図２８】
0004823687.tif 000029
【図２９】
0004823687.tif 000030
【図３０】
0004823687.tif 000031
【図３１】
0004823687.tif 000032
【図３２】
0004823687.tif 000033
【図３３】
0004823687.tif 000034
【図３４】
0004823687.tif 000035
【図３５】
0004823687.tif 000036