(57)【要約】【課題】自然に会話を行うような発声で機器を操作する。【解決手段】システムコントローラ１５は、通信Ｉ／Ｆ４１、ディスプレイＩ／Ｆ４２の他に、マイク１８からの音声信号を認識する音声認識回路４６と、リモコン３６とのデータの送受を行うリモコンＩ／Ｆ４４、音声を合成しスピーカ４８より音声を発せさせる音声合成回路４７、集中操作パネル１４とのデータの送受を行う集中操作パネルＩ／Ｆ４３とを備えて構成され、システムコントローラ１５には外部記録媒体４９が接続可能となっており、ＣＰＵ４５より画像データを外部記録媒体４９に記録・再生できるようになっている。【選択図】  図２
2004275360.tif 000002
【特許請求の範囲】
【請求項１】
１つ若しくは複数の機器を含む内視鏡システムにおいて、
音声を入力する音声入力手段と、
前記音声入力された音声を認識し、文字データに変換する音声文字変換手段と、
前記複数の機器に対して制御を行うシステムコントローラと、
階層化され、かつ、前記システムコントローラ内のメモリに予め記憶された複数の機器に対するコマンド群と、前記音声文字変換手段によって変換された文字データを監視する監視手段と、
該変換された文字データ中に、予め定められた一定時間間隔内に、複数のコマンド群中のコマンドが前記予め定められた階層に従って検出されたときは、予めそれら当該コマンドの組み合わせに割り当てられた命令を実行する実行手段と
を備えたことを特徴とする内視鏡システム。
【請求項２】
前記予めそれらコマンドの組み合わせに割り当てられた命令を実行した後に、その命令の実行結果を表示する
ことを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記予めそれらコマンドの組み合わせに割り当てられた命令が設定確認が必要な命令か否かを判断し、設定確認が必要な命令であるときは、その設定確認後当該命令を実行する
ことを特徴とする請求項１に記載の内視鏡システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は内視鏡システム、更に詳しくは音声により機器を操作する音声操作部分に特徴のある内視鏡システムに関する。
【０００２】
【従来の技術】
近年では内視鏡を用いた外科手術なども行われており、この内視鏡外科手術では、腹腔内を膨張させるために用いる気腹装置や手技を行うための処置装置である生体組織を切除、あるいは凝固する高周波焼灼装置などの手術機器、前述の装置に加えることによって、内視鏡で観察しながら各種処置が行える。
【０００３】
また、これら複数の各種機器を備えた内視鏡手術システムにおいて、複数の機器を容易に操作、制御することができ、システムの操作力性を向上させるため、術者が滅菌域で各種機器の設定状態を確認するための表示手段として液晶パネルなどの表示パネルや、術者が滅菌域で操作し各種機器の機能または設定値を変更するための遠隔操作手段としてリモコン（リモートコントローラ）などの遠隔操作装置、さらには術者の指示に従ってナース等の補助者が非滅菌域で操作し各種機器の機能または設定値を変更するための各機器の操作スイッチをタッチパネルに設けた集中操作パネル、各種機器を音声で操作するためのマイク等を備えている。
【０００４】
このような内視鏡システムとして、本出願人が先に出願した特願２００１−１５１０９４号がある。このシステムでは、操作を行うための操作コマンドを発声していくことで音声で機器の操作を行える。
【０００５】
【特許文献１】
特願２００１−１５１０９４号
【０００６】
【非特許文献１】
【０００７】
【発明が解決しようとする課題】
しかしながら、上記特願２００１−１５１０９４号には以下の問題がある。すなわち、音声コマンドを発声する際、離散的に操作コマンドを発生しなければならないため、使い勝手が悪いといった問題があった。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、自然に会話を行うような発声で機器を操作することのできる内視鏡システムを提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明の内視鏡システムは、１つ若しくは複数の機器を含む内視鏡システムにおいて、音声を入力する音声入力手段と、前記音声入力された音声を認識し、文字データに変換する音声文字変換手段と、前記複数の機器に対して制御を行うシステムコントローラと、階層化され、かつ、前記システムコントローラ内のメモリに予め記憶された複数の機器に対するコマンド群と、前記音声文字変換手段によって変換された文字データを監視する監視手段と、該変換された文字データ中に、予め定められた一定時間間隔内に、複数のコマンド群中のコマンドが前記予め定められた階層に従って検出されたときは、予めそれら当該コマンドの組み合わせに割り当てられた命令を実行する実行手段とを備えて構成される。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１１】
図１ないし図６は本発明の第１の実施の形態に係わり、図１は内視鏡外科手術システムの全体構成を示す構成図、図２は図１の内視鏡外科手術システムの各機器の接続関係を示すブロック図、図３は図２の音声認識回路の構成を示すブロック図、図４は図２のシステムコントローラによる音声制御の流れを示す第１のフローチャート、図５は図２のシステムコントローラによる音声制御の流れを示す第２のフローチャート、図６は図２のシステムコントローラによる音声制御の流れの変形例を示すフローチャートである。
【００１２】
図１に示すように、本実施の形態の内視鏡システムである内視鏡外科手術システム１は、患者３が横たわる手術台２の両側に第１のトロリー４及び第２のトロリー５とが配置され、これらの両トロリー４、５には観察、検査、処置、記録などを行う複数の内視鏡周辺機器が搭載されている。
【００１３】
第１のトロリー４には、第１のＴＶカメラ装置６、第１の光源装置７、高周波焼灼装置（以下、電気メス）８、気腹装置９、超音波観測装置１０、プリンタ１１、第１のモニタ１２、非滅菌域に配置されナースが医療機器の操作を集中して行う図示しないマウスとタッチパネル等のポインティングデバイスを有した集中操作パネル１４、システムコントローラ１５等が搭載され、それぞれの機器は、図示しないシリアルインターフェイスケーブルを介してシステムコントローラ１５と接続され、双方向通信を行えるようになっている。また、システムコントローラ１５には、マイク１８が接続できるようになっており、システムコントローラ１５はマイク１８から入力された音声を後述する音声認識回路４６（図２参照）により認識し、術者の音声により各機器を制御できるようになっている。
【００１４】
第１の光源装置７は照明光を伝送するライトガイドケーブル１６を介して第１の内視鏡１７に接続され、第１の光源装置７の照明光を第１の内視鏡１７のライトガイドに供給し、この第１の内視鏡１７の挿入部が刺入された患者３の腹部内の患部等を照明する。
【００１５】
この第１の内視鏡１７の接眼部には撮像素子を備えた第１のカメラヘッド１９が装着され、第１の内視鏡１７の観察光学系による患部等の光学像を第１のカメラヘッド１９内の撮像素子で撮像し、カメラケーブル２０を介して第１のＴＶカメラ装置６に伝送し、第１のＴＶカメラ装置６内の信号処理回路で信号処理して、映像信号を生成し、システムコントローラ１５を介して第１のモニタ１２に出力して患部等の内視鏡画像を表示できるようにしている。
【００１６】
システムコントローラ１５には、図示しないＭＯ等の外部媒体記録装置が内蔵されており、外部記録媒体（ＭＯ）に記録された画像を第１のモニタ１２に出力して表示できるようにしている。
【００１７】
また、システムコントコーラ１５には、図示しない病院内に設けられた院内ネットと図示しないケーブルで接続され、院内ネット上の画像データ等を第１のモニタ１２に出力して表示できるようにしている。
【００１８】
気腹装置９にはＣＯ２ボンベ２１が接続され、気腹装置９から患者３に延びた気腹チューブ２２を介して患者３の腹部内にＣＯ２ガスを供給できるようにしている。
【００１９】
第２のトロリー５には、第２のＴＶカメラ装置２３、第２の光源装置２４、超音波処置装置２５、ＶＴＲ２６  第２のディスプレイ２７、砕石装置２８、ポンプ３９、シェーバ３０及び中継ユニット２９等が搭載され、それぞれの機器は図示しないケーブルで中継ユニット２９に接続され、双方向の通信が可能になっている。
【００２０】
第２の光源装置２４は照明光を伝送するライトガイドケーブル３１を介して第２の内視鏡３２に接続され、第２の光源装置２４の照明光を第２の内視鏡３２のライトガイドに供給し、この第２の内視鏡３２の挿入部が刺入された患者３の腹部内の患部等を照明する。
【００２１】
この第２の内視鏡３２の接眼部には撮像素子を備えた第２のカメラヘッド３３が装着され、第２の内視鏡３２の観察光学系による患部等の光学像を第２のカメラヘッド３３内の撮像素子で撮像し、カメラケーブル３４を介して第２のＴＶカメラ装置２３に伝送し、第２のＴＶカメラ装置２３内の信号処理回路で信号処理して、映像信号を生成し、第２のモニタ２７に出力して患部等の内視鏡画像を表示できるようにしている。
【００２２】
システムコントローラ１５と中継ユニット２９はシステムケーブル３５で接続されている。
【００２３】
さらに、システムコントローラ１５には術者が滅菌域から機器操作を行う術者用リモートコントローラ（以下、リモコンと記す）３６が接続されている。
【００２４】
図２に示すように、集中操作パネル１４、リモコン３６、第１のＴＶカメラ装置６、第１の光源装置７、電気メス８、気腹装置９、プリンタ１１及び超音波観測装置１０はそれぞれ通信ケーブル３８によりシステムコントローラ１５の通信Ｉ／Ｆ４１と接続され、データの送受を行うようになっており、また、第１のモニタ１２、第１のＴＶカメラ装置６、プリンタ１１及び超音波観測装置１０は映像ケーブル３９によりシステムコントローラ１５のディスプレイＩ／Ｆ４２に接続され映像信号を送受できるようになっている。
【００２５】
第２のＴＶカメラ装置２３、第２の光源装置２４、超音波処置装置２５、ＶＴＲ２６、砕石装置２８、シェーバ３０及びポンプ３７は、通信ケーブル３８により中継ユニット２９に接続され、データの送受を行うようになっており、また、第２のモニタ２７、第２のＴＶカメラ装置２３及びＶＴＲ２６は映像ケーブル３９により中継ユニット２９接続され映像信号を送受できるようになっている。
【００２６】
また、中継ユニット２９はケーブル３５（図１参照）によりシステムコントローラ１５と接続され、ケーブル３５内の通信ケーブル３８を介してシステムコントローラ１５の通信Ｉ／Ｆ４１に接続され、ケーブル３５内の映像ケーブル３を介してシステムコントローラ１５のディスプレイＩ／Ｆ４２に接続されている。
【００２７】
システムコントローラ１５は、上記通信Ｉ／Ｆ４１、ディスプレイＩ／Ｆ４２の他に、マイク１８からの音声信号を認識する音声認識回路４６と、リモコン３６とのデータの送受を行うリモコンＩ／Ｆ４４、音声を合成しスピーカ４８より音声を発せさせる音声合成回路４７、集中操作パネル１４とのデータの送受を行う集中操作パネルＩ／Ｆ４３とを備え、これら各回路がＣＰＵ４５により制御されている。また、システムコントローラ１５には外部記録媒体４９が接続可能となっており、ＣＰＵ４５より画像データを外部記録媒体４９に記録・再生できるようになっている。
【００２８】
音声認識回路４６は、図３に示すように、マイク１８からの音声信号をＡ／Ｄ変換するＡ／Ｄ変換器５１と、Ａ／Ｄ変換機５１でＡ／Ｄ変換された入力音声データを認識し、認識結果を文字データに変換する音声認識エンジン５０と、文字データを記憶する入力音声メモリ５２と、ＣＰＵ４５が入力音声メモリ５２に記憶された音声データが所定のコマンドデータであるかどうかを比較するためのナビゲーションコマンドデータを格納しているナビゲーションコマンドメモリ５３とから構成される。
【００２９】
このナビゲーションコマンドメモリ５３には、機器に関するコマンド、例えば電気メス、気腹装置、ＴＶカメラ装置などといった機器コマンドと、機能に関するコマンド、例えば切開出力、凝固出力、送気、明るさ調整といった機能コマンドと、操作に関するコマンド、例えばアップダウン、スタート、ストップといった操作コマンドが階層化されて格納されている。各コマンドは、表１に示すような対応となっている。また、前記機器が同一装置内に統合して組み込まれているときでも、本発明は同様に作用することができる。
【００３０】
【表１】
2004275360.tif 000003
ＣＰＵ４５は、入力音声メモリ５２に格納された文字データを監視する処理を行うようになっており、監視結果に機器コマンドを確認した後、一定時間内に対応する機能コマンドを確認し、一定時間内に対応する操作コマンドを確認した場合に対応する機器の機能の操作を行うようになっている。
【００３１】
（作用）
システムコントローラー１５は、図４及び図５に示すように、ステップＳ１でマイク１８からの音声入力を待ち、音声入力がなされると、ステップＳ２で音声認識エンジン５０により文字データに変換する処理を開始する。
【００３２】
そして、ステップＳ３で入力音声メモリ５２に文字データの記憶を開始する。そして、ステップＳ４でＣＰＵ４５は音声入力メモリ５２の監視を開始する。
【００３３】
ステップＳ５でＣＰＵ４５が機器コマンドを確認すると、ステップＳ６で一定時間内の監視結果に対応する機能コマンドがあるかどうかＣＰＵ４５が音声入力メモリ５２の監視を行う。
【００３４】
ステップＳ７で対応する機能コマンドを確認すると、ステップＳ８で一定時間内の監視結果に対応する操作コマンドがあるかどうかＣＰＵ４５が音声入力メモリ５２の監視を行う。
【００３５】
そして、ステップＳ９で対応する操作コマンドを確認すると、ステップＳ１０に進み、ステップＳ１０で入力音声データがフィードバック対象音声操作コマンドかどうか判断する。
【００３６】
ステップＳ１０で入力音声データがフィードバック対象音声操作コマンドと判断されると、システムコントローラ１５は、ステップＳ１１でフィードバック処理のための承認要求音声信号を音声合成回路４７にて合成させ、ステップＳ１２でスピーカ４８よりフィードバックメッセージを再生する。例えば入力音声データが電気メスに対する「切開出力アップ」というフィードバック対象音声操作コマンドの場合、フィードバックメッセージとして「切開出力をアップしてもよろしいですか？」という音声を再生する。
【００３７】
そして、フィードバックメッセージ再生後、ステップＳ１３及びＳ１４で一定時間、承認のために音声入力を待ち、一定時間に音声入力がない場合はステップＳ１に戻り、一定時間に音声入力があると、ステップＳ１５に進む。
【００３８】
そして、システムコントローラ１５は、ステップＳ１５でＣＰＵ４５により入力音声メモリ５２に記憶した入力音声データとナビゲーションコマンドメモリ５３に格納されているナビゲーションコマンドデータとを比較して音声認識処理を行い、ステップＳ１６で入力音声データが操作承認コマンドデータかどうか判断し、入力音声データが操作承認コマンドデータでない場合はステップＳ１３に戻り、入力音声データが操作承認コマンドデータの場合はステップＳ１７に進む。
【００３９】
ステップＳ１７では、入力音声データが「はい」という操作承認コマンドデータか「いいえ」という操作承認コマンドデータかを判断し、入力音声データが「いいえ」という操作承認コマンドデータの場合はステップＳ１に戻り、入力音声データが「はい」という操作承認コマンドデータの場合はステップＳ１８でフィードバック対象音声操作コマンドによる操作を対象機器に対して行う対象機能操作処理を実行し処理を終了する。
【００４０】
なお、上記ステップＳ１０で入力音声データがフィードバック対象音声操作コマンドでないと判断された場合は、入力音声データがフィードバック非対象音声操作コマンドとなるので、ステップＳ１８に進み、フィードバック非対象音声操作コマンドによる操作を対象機器に対して行う対象機能操作処理を実行し処理を終了する。
【００４１】
このような制御を行うことで、例えば「電気メスの切開出力をアップして」と発声すると、機器コマンドである電気メス、対応する機能コマンドの切開出力、対応する操作コマンドのアップを認識して電気メスの切開出力のアップ操作を行うため、離散的に発声することなく機器の操作が行える。
【００４２】
（効果）
このように本実施の形態では、自然な会話を行うような発声で機器操作を行えるため、使い勝手が向上する。
【００４３】
なお、ステップＳ１〜Ｓ１６の処理に続き、図６に示すように、ステップＳ２１で第１のモニタ１２に音声操作コマンドに関する情報を表示するための情報データを生成する表示処理を実行し、ステップＳ２２で第１のモニタ１２に内視鏡画像と共に、音声操作コマンドの内容を示すコマンド情報及びステップＳ１６の対象機能操作処理の実行による実行結果を示す実行結果情報を表示して処理を終了するようにしてもよい。。
【００４４】
図７及び図８は本発明の第２の実施の形態に係わり、図７は音声認識回路の構成を示すブロック図、図８は図７の音声認識回路を用いた音声制御処理を示すフローチャートである。
【００４５】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００４６】
（構成・作用）
図７は、第２の実施形態の音声認識回路４６を示す。入力音声メモリ５２に記憶された文字データをテキストデータに変換するテキストデータ変換部１０１と、テキストデータを記憶する外部記憶媒体１０２を備えている。
【００４７】
図８は、第２の実施の形態の音声制御処理を示すフローチャートである。システムコントローラ１５は、図８に示すように、ステップＳ３１でリモコン３６あるいは集中操作パネル１４、または音声操作により記録開始操作を行われるのを待ち、記録開始操作が行われると、ステップＳ３２でマイク１８からの音声入力を待ち、音声入力がなされると、ステップＳ３３で音声認識エンジン５０により文字データに変換する処理を開始する。
【００４８】
そして、ステップＳ３４で入力音声メモリ５２に文字データの記憶を開始する。そして、ステップＳ３５でリモコン３６あるいは集中操作パネル１４または音声操作により記録停止処理が行われることを待ち、記録停止処理が行われると、ステップＳ３６でテキスト変換手段４９によって入力音声メモリ５２に記憶された文字データをテキストデータに変換する。
【００４９】
そして、ステップＳ３７で変換したテキストデータを外部記憶媒体１０２に記録する処理を行う。
【００５０】
（効果）
このように本実施の形態では、第１の実施の形態の効果に加え、操作の来歴や術中のコメントを控える作業を行わずに自動的に記録されるため、使い勝手が向上する。
【００５１】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００５２】
【発明の効果】
以上説明したように本発明によれば、自然に会話を行うような発声で機器を操作することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る内視鏡外科手術システムの全体構成を示す構成図
【図２】図１の内視鏡外科手術システムの各機器の接続関係を示すブロック図
【図３】図２の音声認識回路の構成を示すブロック図
【図４】図２のシステムコントローラによる音声制御の流れを示す第１のフローチャート
【図５】図２のシステムコントローラによる音声制御の流れを示す第２のフローチャート
【図６】図２のシステムコントローラによる音声制御の流れの変形例を示すフローチャート
【図７】本発明の第２の実施の形態に係る音声認識回路の構成を示すブロック図
【図８】図７の音声認識回路を用いた音声制御処理を示すフローチャート
【符号の説明】
１…内視鏡外科手術システム
４…第１のトロリー
５…第２のトロリー
６…第１のＴＶカメラ装置
７…第１の光源装置
８…電気メス
９…気腹装置
１０…超音波観測装置
１１…プリンタ
１２…第１のモニタ
１４…集中操作パネル
１５…システムコントローラ
１６、３１…ライトガイドケーブル
１７…第１の内視鏡
１８…マイク
１９…第１のカメラヘッド
２０…カメラケーブル
２１…ＣＯ２ボンベ
２３…第２のＴＶカメラ装置
２４…第２の光源装置
２５…超音波処置装置
２６…ＶＴＲ
２７…第２のモニタ
２８…砕石装置
２９…中継ユニット
３０…シェーバ
３２…第２の内視鏡
３３…第２のカメラヘッド
３６…リモコン
３７…ポンプ
３８…通信ケーブル
３９…映像ケーブル
４１…通信Ｉ／Ｆ
４２…ディスプレイＩ／Ｆ
４３…集中操作パネルＩ／Ｆ
４４…リモコンＩ／Ｆ
４５…ＣＰＵ
４６…音声認識回路
４７…音声合成回路
４８…スピーカ
４９…外部記憶媒体
５１…Ａ／Ｄ変換器
５２…入力音声メモリ
５３…ナビゲーションコマンドメモリ
【図１】
2004275360.tif 000004
【図２】
2004275360.tif 000005
【図３】
2004275360.tif 000006
【図４】
2004275360.tif 000007
【図５】
2004275360.tif 000008
【図６】
2004275360.tif 000009
【図７】
2004275360.tif 000010
【図８】
2004275360.tif 000011