(57)【要約】【課題】制御環境に応じて照合状態を可変して誤認識のリスクを軽減しつつ、かつ音声操作の操作性を向上させる。【解決手段】音声情報処理部２２は、音声出力I/F部１４に対して出力する音声データを生成する音声合成エンジン部３１と、音声入力I/F部１３からの音声入力情報を認識する音声認識エンジン部３２とを備えて構成される。音声認識エンジン部３２は、可変フィルタ部４１、照合部４２、コマンド変換部４３、フィルタ係数格納部４４、照合パターンテーブル格納部４５、パターン切替部４６、の各部を有している。【選択図】図２
2008216803.tif 000002
【特許請求の範囲】
【請求項１】
複数の被制御機器と、前記被制御機器を制御する制御機器とを備えた手術システム制御装置において、
前記被制御機器を制御する音声情報を入力する音声情報入力手段と、
前記音声情報を解析する音声情報解析手段と、
前記被制御機器からの制御状態情報に基づき、前記音声情報解析手段を制御する音声解析制御手段と、
前記音声解析制御手段による制御における、前記音声情報解析手段の解析結果に基づき音声認識する音声認識処理手段と
を備えたことを特徴とする手術システム制御装置。
【請求項２】
前記音声解析制御手段は、
前記被制御機器からの制御状態情報に基づき、前記音声情報の音声帯域の抽出制御を行う
ことを特徴とする請求項１に記載の手術システム制御装置。
【請求項３】
前記音声解析制御手段は、
前記被制御機器からの制御状態情報に基づき、前記音声情報の音声パターンの抽出制御を行う
ことを特徴とする請求項１に記載の手術システム制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手術システム制御装置、更に詳しくは音声により医療機器を操作する音声処理部分に特徴のある手術システム制御装置に関する。
【背景技術】
【０００２】
近年では内視鏡装置を用いた外科手術なども行われており、このような内視鏡外科手術では、腹腔内を膨張させるために用いる気腹装置や手技を行うための処置装置であり、生体組織を切除、あるいは凝固する高周波焼灼装置（電気メス）などの手術機器を前述の装置に加えることによって、内視鏡で観察しながら各種処置が行える。
【０００３】
また、これら複数の各種機器を備えた内視鏡手術システムにおいて、複数の装置を容易に操作、制御することができ、システムの操作力性を向上させるため、術者が滅菌域で各種機器の設定状態を確認するための表示手段として液晶パネルなどの表示パネルや、術者が滅菌域で操作し各種機器の機能または設定値を変更するための遠隔操作手段としてリモコン（リモートコントローラ）などの遠隔操作装置、さらには術者（医師）の指示に従って看護師等の補助者が非滅菌域で操作し各種機器の機能または設定値を変更するための各機器の操作スイッチをタッチパネルに設けた集中操作パネル、各種機器を音声で操作するためのマイク等を備えている。
【０００４】
従来の内視鏡手術システムにおいて音声にて各種機器を操作する場合、術者は機器操作のためのコマンドを階層的に、しかも意図的に発生しなければならず、手技を進めていく上で使い勝手が良くなかった。
【０００５】
そこで、例えば特開２００３−５７７７号公報では、機器の状態を会話的な文言により音声入力するだけで対象機器を制御することのできる内視鏡手術システムを提案している。
【０００６】
また例えば特開平６―２７９８６号公報では、入力音声の異常値を検出する際に、騒音レベルを検出し、検出した騒音レベルに応じた異常処理を実行する機器制御システムが提案されている。
【０００７】
さらに特開２００２−２５８８８２号公報では、音声認識レベルが騒音レベルの銃撃音等で変動する環境でも、音声検出の精度を上げて音声認識を行うことを可能とする音声認識システムが提案されている。
【特許文献１】特開２００３−５７７７号公報
【特許文献２】特開平６―２７９８６号公報
【特許文献３】特開２００２−２５８８８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、音声認識システムにおいては、使用環境により認識率が劣化するといった問題がある。
【０００９】
具体的には、例えば上述した内視鏡手術システムにおいては、電気メスの出力ノイズや機器の警告音により、術者が発声した音声入力の文言の照合率が低下するといった問題がある。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、制御環境に応じて照合状態を可変して誤認識のリスクを軽減しつつ、かつ音声操作の操作性を向上させることのできる手術システム制御装置を提供することである。
【００１１】
詳細には、例えば手術室に設けられた被制御機器、及び被制御機器を制御できる制御端末機器を、術者が発声した制御音声入力により制御する際の、被制御機器及び制御端末機器の制御状態を示すステータス情報に基づき、上記各機器からの外乱音等の影響を効果的に除去し、各機器に対する所望の上記制御音声入力の認識率を向上させることのできる手術システム制御装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の手術システム制御装置は、
複数の被制御機器と、前記被制御機器を制御する制御機器とを備えた手術システム制御装置において、
前記被制御機器を制御する音声情報を入力する音声情報入力手段と、
前記音声情報を解析する音声情報解析手段と、
前記被制御機器からの制御状態情報に基づき、前記音声情報解析手段を制御する音声解析制御手段と、
前記音声解析制御手段による制御における、前記音声情報解析手段の解析結果に基づき音声認識する音声認識処理手段と
を備えて構成される。
【発明の効果】
【００１３】
本発明によれば、制御環境に応じて照合状態を可変して誤認識のリスクを軽減しつつ、かつ音声操作の操作性を向上させることができるという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施例について述べる。
【実施例１】
【００１５】
図１に示すように、本実施例の手術システム制御装置であるシステムコントローラ１は、内視鏡装置２、光源装置３、電気メス４、気腹器５、患者モニタ装置６、T/P（タッチパネル）付きモニタ（集中制御装置）７、スピーカ８、マイク９及びネットワークサーバ１０等と接続可能に構成されている。
【００１６】
術者は各機器の制御情報を音声（以下、制御音声）として、マイク９を介してシステムコントローラ１に出力する。
【００１７】
一方、システムコントローラ１に接続される、内視鏡装置２、光源装置３、電気メス４、気腹器５、患者モニタ装置６は、術者に対して、上記制御音声に応じて制御状態を示す状態情報を音声（以下、音声ガイダンス）により、各機器に設けられたスピーカ（図示せず）を介して発声する。
【００１８】
システムコントローラ１は、内視鏡装置２、光源装置３、電気メス４、気腹器５及び患者モニタ装置６と、通信I/F（インターフェイス）部１１を介して接続している。
【００１９】
また、システムコントローラ１は、T/P付きモニタ７とT/P-I/F部１２を介して接続している。
【００２０】
さらに、システムコントローラ１は、スピーカ８とは音声入力I/F部１３を介して接続し、マイク９とは音声出力I/F部１４を介して接続し、ネットワークサーバ１０とはネットワークI/F部１５を介して接続している。
【００２１】
システムコントローラ１は、内視鏡装置２、光源装置３、電気メス４、気腹器５及び患者モニタ装置６からの、各機器の制御状態を示すステータス情報を通信I/F部１１を介して、ステータス管理部２１にて送受可能に構成されている。またネットワークI/F部１５はステータス管理部２１に接続されている。
【００２２】
また、システムコントローラ１は、音声入力I/F部１３からの音声入力情報を認識し、かつ音声出力I/F部１４に対して音声出力情報を出力する、音声情報処理部２２を備えている。そして、音声情報処理部２２は、上記ステータス管理部２１に接続されている。
【００２３】
ステータス管理部２１は、各機器からのステータス情報を解析するためのデータを保存し、解析したステータス情報を格納するための、ステータス情報格納部２３を備えている。
【００２４】
図２に示すように、音声情報処理部２２は、音声出力I/F部１４に対して出力する音声データを生成する音声合成エンジン部３１と、音声入力I/F部１３からの音声入力情報を認識する音声認識エンジン部３２とを備えて構成される。
【００２５】
音声認識エンジン部３２は、
音声入力I/F部１３からの音声入力信号より音声データを抽出する可変フィルタ部４１、
可変フィルタ部４１が抽出した音声データより音声入力情報を認識する照合部４２、
照合部４２が認識した音声入力情報をステータス管理部２１に制御コマンドとして出力するコマンド変換部４３、
上記可変フィルタ部４１に接続され、可変フィルタ部４１が用いるフィルタ係数を格納しているフィルタ係数格納部４４、
上記照合部４２が照合する照合パターンテーブルデータを格納している照合パターンテーブル格納部４５、
照合パターンテーブル格納部４５に格納されている複数のパターンを照合部４２に選択的に出力するパターン切替部４６、
の各部を有している。
【００２６】
このように構成された本実施例の作用について説明する。
【００２７】
上述したように本実施例では、手技中における術者の制御音声（術者入力音声）が、図３に示すように、マイク９を介して音声情報として、システムコントローラ１において認識される。
【００２８】
しかし、例えば電気メス４を制御するための術者の制御音声（術者入力音声）の発声中に
（１）電気メス４を用いた環境での手技中では出力ノイズ音、
（２）他の機器のエラー音、
等が発生すると、図４に示すように、マイク９を介して入力される音声である制御音声（術者入力音声）にこれらの音出力（ノイズ音、エラー音）が重畳され、システムコントローラ１における制御音声の音声認識処理の障害となる。
【００２９】
なお、各機器は、エラー音の発声と共に、エラーに関するステータス情報を、トリガ情報としてシステムコントローラ１に通信している。また、電気メス４は、術中の出力情報をトリガ情報としてシステムコントローラ１に通信している。
【００３０】
同様に、例えば電気メス４を制御するための制御音声（術者入力音声）の発声中に、他の機器からの機器ガイダンス音が発生すると、図５に示すように、マイク９を介して入力される音声である制御音声（術者入力音声）に機器ガイダンス音が重畳され、エラー音と同じように、システムコントローラ１における制御音声の音声認識処理の障害となる。
【００３１】
なお、各機器は、機器ガイダンス音の発声と共に、機器ガイダンス音の発生タイミング情報を、トリガ情報としてシステムコントローラ１に通信している。
【００３２】
そこで、本実施例では、図６から図１４に示すような処理をシステムコントローラ１において実行し、上記音声認識処理の障害の効果的に除去し、制御音声（術者入力音声）の認識率を向上させている。詳細を以下に示す。
【００３３】
システムコントローラ１のステータス管理部２１は、図６に示すように、ステップS１にて、起動処理（接続機器との通信開始＆各機器のステータス情報取得等）を実行する。
【００３４】
そして、システムコントローラ１のステータス管理部２１は、ステップS２にてトリガ情報の発生を監視し、ステップS３にて各機器からのトリガ情報を検知すると、ステップS４にて検知したトリガ情報を分析する。
【００３５】
次にシステムコントローラ１のステータス管理部２１は、ステップS５にて分析したトリガ情報がフィルタ係数の変更が必要な情報かどうか判断する。
【００３６】
トリガ情報がフィルタ係数の変更が必要な情報と判断すると、システムコントローラ１のステータス管理部２１は、可変フィルタ部４１を制御し、ステップS６にてフィルタ係数の変更による認識処理（後述）を実行し処理を終了する。
【００３７】
一方、トリガ情報がフィルタ係数の変更が必要のない情報と判断すると、システムコントローラ１のステータス管理部２１は、ステップS７にてトリガ情報が照合パターンの変更が必要な情報かどうか判断する。
【００３８】
トリガ情報が照合パターンの変更が必要な情報と判断すると、システムコントローラ１のステータス管理部２１は、パターン切替部４６を制御し、ステップS８にて照合パターンの変更による認識処理（後述）を実行し処理を終了する。
【００３９】
次にステップS６におけるフィルタ係数の変更による認識処理について説明する。
【００４０】
図７に示すように、フィルタ係数の変更による認識処理でのステータス管理部２１は、ステップS６１にて、ステップS５で取得したトリガ（ステータス）情報に基づき、可変フィルタ部４１を制御しフィルタ係数格納部４４のフィルタ係数を読み出し、可変フィルタ部４１での音声入力I/F部１３からの音声入力信号よる音声データの抽出処理を変更する。
【００４１】
なお、図８に可変フィルタ部４１での、フィルタ係数格納部４４からのフィルタ係数の種別の一例を示す。
【００４２】
次に、ステータス管理部２１は、ステップS６２にて制御音声（術者入力音声）を検知すると、ステップS６３にて可変フィルタ部４１にて変更されたフィルタ係数のフィルタによりノイズを除去し、ステップS６４にて各機器からのエラーが解除されたか判断する。
【００４３】
そして、エラーが解除されたと判断すると、ステータス管理部２１は、ステップS６５にて可変フィルタ部４１を制御しフィルタ係数格納部４４のフィルタ係数をデフォルトに戻し処理を終了する。
【００４４】
続いて、ステップS８における照合パターンの変更による認識処理について説明する。
【００４５】
図９に示すように、照合パターンの変更による認識処理でのステータス管理部２１は、ステップS８１にて、ステップS５で取得したトリガ（ステータス）情報に基づき、パターン切替部４６を制御し照合パターンテーブル格納部４５の照合パターンを読み出し、照合部４２での照合処理を変更する。
【００４６】
なお、図１０にパターン切替部４６及び照合部４２での、照合パターンテーブル格納部４５の照合パターンの種別の一例を示す。
【００４７】
次に、ステータス管理部２１は、ステップS８２にて制御音声（術者入力音声）を検知すると、ステップS８３にて照合部４２にて変更された照合パターンによりエラーを除去し、ステップS８４にて各機器からのエラーが解除されたか判断する。
【００４８】
そして、エラーが解除されたと判断すると、ステータス管理部２１は、ステップS８５にてパターン切替部４６を制御し照合パターンテーブル格納部４５の照合パターンをデフォルトに戻し処理を終了する。
【００４９】
なお、本実施例では、ステータス管理部２１は、各機器に対する制御音声（術者入力音声）を認識すると、認識した制御音声（術者入力音声）に基づき、図１１に示す照合パターンテーブル格納部４５を検索し、認識した制御音声（術者入力音声）に応じたウインドウ（図１２〜図１４）を表示し、「実行」ボタンの操作により制御音声による制御を実行するように構成することができる。このような作用（図１１〜図１４）により、外乱音声が重畳した音声認識処理結果の実行の最終決断を術者に委ねることができる。
【００５０】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施例１に係る手術システム制御装置であるシステムコントローラを有する内視鏡システムの構成を示すブロック図
【図２】図１のシステムコントローラの音声情報処理部の構成を示すブロック図
【図３】図１のシステムコントローラの作用を説明する第１の図
【図４】図１のシステムコントローラの作用を説明する第２の図
【図５】図１のシステムコントローラの作用を説明する第３の図
【図６】図１のシステムコントローラの作用を説明するフローチャート
【図７】図６のフローチャートの第１のサブフローを説明するフローチャート
【図８】図７の第１のサブフローを説明する図
【図９】図６のフローチャートの第２のサブフローを説明するフローチャート
【図１０】図９の第２のサブフローを説明する図
【図１１】図２の照合パターンテーブル格納部に格納される照合パターンデータの一例を示す図
【図１２】図１１の照合パターンにより展開されるウインドウを示す第１の図
【図１３】図１１の照合パターンにより展開されるウインドウを示す第２の図
【図１４】図１１の照合パターンにより展開されるウインドウを示す第３の図
【符号の説明】
【００５２】
１…システムコントローラ
２１…ステータス管理部
２２…音声情報処理部
３１…音声合成エンジン部
３２…音声認識エンジン部
４１…可変フィルタ部
４２…照合部
４３…コマンド変換部
４４…フィルタ係数格納部
４５…照合パターンテーブル格納部
４６…パターン切替部
【図１】
2008216803.tif 000003
【図２】
2008216803.tif 000004
【図３】
2008216803.tif 000005
【図４】
2008216803.tif 000006
【図５】
2008216803.tif 000007
【図６】
2008216803.tif 000008
【図７】
2008216803.tif 000009
【図８】
2008216803.tif 000010
【図９】
2008216803.tif 000011
【図１０】
2008216803.tif 000012
【図１１】
2008216803.tif 000013
【図１２】
2008216803.tif 000014
【図１３】
2008216803.tif 000015
【図１４】
2008216803.tif 000016