(57)【要約】【課題】  本発明では、容易に音声操作機能とディクテーション機能の切り替えを行うことができる医療支援システムを提供する。【解決手段】  音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムであって、前記音声認識手段は、前記音声データが前記文字情報を生成させる旨の指示情報であると判断した場合には、前記制御手段は、前記音声認識手段を制御して文字情報を生成させることにより、上記課題の解決を図る。【選択図】      図１
2006223357.tif 000002
【特許請求の範囲】
【請求項１】
音声を取得して、電気信号に変換して音声データとする音声変換手段と、
前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、
前記音声認識手段を制御する制御手段と、
を備える医療支援システムであって、
前記音声認識手段は、前記音声データが前記文字情報を生成させる旨の指示情報であると判断した場合には、前記制御手段は、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システム。
【請求項２】
前記音声認識手段は、
前記音声変換手段により得られた前記音声データを認識して、該音声を文字列化する音声文字列化手段と、
前記音声変換手段により得られた前記音声データを認識して、該認識結果に対応する前記機器の動作を制御する音声操作手段と、
を備え、
前記制御手段は、前記音声文字列化手段と前記音声操作手段との駆動を制御する
ことを特徴とする請求項１に記載の医療支援システム。
【請求項３】
前記制御手段は、前記音声文字列化手段が駆動している間は、前記音声操作手段により操作される前記機器への動作指令を停止することを特徴とする請求項２に記載の医療支援システム。
【請求項４】
前記音声文字列化手段は、前記音声変換手段により得られた前記音声データが前記音声文字列化手段の駆動を停止させる旨の指示情報であると判断した場合には、前記制御手段は、該音声文字列化手段の駆動を停止することを特徴とする請求項２に記載の医療支援システム。
【請求項５】
前記音声文字列化手段は、前記音声変換手段により得られた前記音声データが前記音声文字列化手段の駆動を停止させる旨の指示情報であると判断した場合には、前記制御手段は、前記音声操作手段の駆動させることを特徴とする請求項４に記載の医療支援システム。
【請求項６】
前記音声認識手段は、
前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、
前記音声識別情報と、該音声識別情報に対応する前記機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、
を備え、
前記制御手段は、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御する
ことを特徴とする請求項１に記載の医療支援システム。
【請求項７】
音声を取得して、電気信号に変換して音声データとする音声変換手段と、
前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、
前記音声認識手段を制御する制御手段と、
を備える医療支援システムであって、
前記制御手段は、内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信した場合、前記制御手段は、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システム。
【請求項８】
前記音声認識手段は、
前記音声変換手段により得られた前記音声データを認識して、該音声を文字列化する音声文字列化手段と、
前記音声変換手段により得られた前記音声データを認識して、該認識結果に対応する前記機器の動作を制御する音声操作手段と、
を備え、
前記制御手段は、前記音声文字列化手段と前記音声操作手段との駆動を制御する
ことを特徴とする請求項７に記載の医療支援システム。
【請求項９】
前記音声文字列化手段が所定時間駆動した場合、または該音声文字列化手段が駆動中に所定時間音声が取得されなかった場合には、前記制御手段は、該音声文字列化手段の駆動を停止させることを特徴とする請求項８に記載の医療支援システム。
【請求項１０】
前記音声文字列化手段が所定時間駆動した場合、または該音声文字列化手段が駆動中に所定時間音声が取得されなかった場合には、前記制御手段は、該音声文字列化手段の駆動を停止させることを特徴とする請求項８に記載の医療支援システム。
【請求項１１】
前記医療支援システムは、さらに、
前記音声文字列化手段の駆動停止後に、前記音声文字列化手段により文字列化された音声文字の編集ができる音声文字編集手段と、
を備えることを特徴とする請求項８に記載の医療支援システム。
【請求項１２】
前記医療支援システムは、さらに、
前記音声文字列化手段が駆動中に、前記制御手段が、前記内視鏡画像撮像装置より再び前記内視鏡画像取得信号を受信した場合、前記音声文字列化手段の駆動を停止し、該前記音声文字列化手段の駆動中に文字列化された音声文字を、前回の前記内視鏡画像取得信号に対応する前記内視鏡画像に関連付けて記憶する記憶手段と、
を備えることを特徴とする請求項８に記載の医療支援システム。
【請求項１３】
前記音声認識手段は、
前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、
前記音声識別情報と、該音声識別情報に対応する前記機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、
を備え、
前記制御手段は、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御する
ことを特徴とする請求項７に記載の医療支援システム。
【請求項１４】
音声を取得して、電気信号に変換して音声データとする音声変換手段と、
前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、
前記音声認識手段を制御する制御手段と、
を備える医療支援システムであって、
前記音声認識手段は、前記音声データが前記文字情報を生成させる旨の指示情報であると判断したときに、前記制御手段は、内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信した場合には、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システム。
【請求項１５】
前記音声認識手段は、
前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、
前記音声識別情報と、該音声識別情報に対応する前記機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、
を備え、
前記制御手段は、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御する
ことを特徴とする請求項１４に記載の医療支援システム。
【請求項１６】
音声を取得して、電気信号に変換して音声データとする音声変換手段と、
前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、
前記音声識別情報と、該音声識別情報に対応する機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、
当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御する制御手段と、
を備えることを特徴とする音声認識装置。
【請求項１７】
音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムの制御方法であって、
前記音声認識手段により前記音声データが前記文字情報を生成させる旨の指示情報であると判断された場合には、前記制御手段により前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムの制御方法。
【請求項１８】
音声を取得して、電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムの制御方法であって、
前記制御手段により内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信して、前記制御手段により前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムの制御方法。
【請求項１９】
音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムの制御方法であって、
前記音声認識手段により前記音声データが前記文字情報を生成させる旨の指示情報であると判断されたとき、前記制御手段により内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信した場合には、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムの制御方法。
【請求項２０】
音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、前記音声識別情報と、該音声識別情報に対応する機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、を備えた音声認識装置の制御方法であって、
当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを特徴とする音声認識装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療機器に使用される電子機器を音声により制御可能な医療支援システムに関する。
【背景技術】
【０００２】
近年では内視鏡を用いた外科手術が行われている。この内視鏡外科手術では、腹腔内を膨張させるために用いる気腹装置や手技を行うための処置装置等を用いて、ある生体組織の切除をしたり、または高周波焼灼装置を用いて止血をしたりする場合、内視鏡で観察しながらこれらの処置を行うことができる。
【０００３】
内視鏡検査や内視鏡下外科手術に使用される光源装置やビデオプロセッサ、外科手術に必要な高周波焼灼装置や気腹装置、手技中の画像を記録する録画装置やプリンタ等の周辺機器を接続するシステムコントローラがある。前記システムコントローラは、操作パネルや設定値等の表示パネルが接続されており、システムコントローラに接続された周辺機器の集中制御が可能である（例えば、特許文献１）。
【０００４】
また、これら複数の各種機器を備えた内視鏡手術システムにおいて、複数の装置を容易に操作、制御することができ、またシステムの操作力性を向上させるため、例えば、表示パネル、遠隔操作装置、集中操作パネル、マイク等の機器を備えている（例えば、特許文献１、特許文献２、特許文献３。）。
【０００５】
表示パネルは、術者が滅菌域で各種機器の設定状態を確認するための表示手段であって、例えば液晶パネルなどである。遠隔操作装置は、術者が滅菌域で操作し各種機器の機能または設定値を変更するための遠隔操作手段であって、例えばリモコン（リモートコントローラ）である。集中操作パネルは、術者の指示に従って看護師等の補助者が非滅菌域で操作し各種機器の機能または設定値を変更するための各機器の操作スイッチをタッチパネルに設けた集ものである。マイクは、音声で各種機器を操作するために用いられる。
【０００６】
上記の通り、最近では、音声認識によりユーザの発音を認識し、接続機器の操作を行う機能（音声操作制御機能）や、術中・検査中に術者が発音した所見内容を音声認識しテキストデータに変換し電子カルテ等の作成に役立てるディクテーション（Ｄｉｃｔａｔｉｏｎ）機能を備える内視鏡システムが存在する。なお、このような機能を有するものを音声認識エンジンという。
【０００７】
図１３は、従来におけるディクテーション用マイク１１０を示す。ディクテーション用マイク１１０は、マイク本体１１３にマイク１１１と開始スイッチ１１４が設けられている。従来、ディクテーションによる内視鏡手術処置記録をする場合、音声マイク１１０に具備されている開始スイッチ１１４を押して、ディクテーションを開始していた。開始スイッチ１１４を押すことにより、通常の会話とディクテーション内容を識別しテキスト化処理を行っていた。
【０００８】
図１４は、従来における音声操作処理部１２０とディクテーション処理部１２３とを有する音声認識手段の概念図を示す。同図において、音声認識手段１３０は、モード切り替え手段により１２６により、音声操作制御モードとディクテーションモードを切り替える。
【０００９】
音声操作制御モードに切り替えられた場合、音声操作処理部１２０では、音声操作制御機能（音声操作）用の音声認識エンジン１２１により、マイク１２７から入力された音声を認識して、接続機器の操作を行う処理１２２を実行する。
【００１０】
ディクテーションモードに切り替えられた場合、音声操作処理部１２４では、ディクテーション用の音声認識エンジン１２４により、マイク１２７から入力された音声を認識して、その音声を文字列化する処理１２５を実行する。
【特許文献１】特開２００２−３３６１８４号公報
【特許文献２】特開２００１−３４４３４６号公報
【特許文献３】特開平８−５２１０５号公報
【特許文献４】特開平６−９６１７０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、図１３において、症例中の医師は内視鏡スコープや電気メス等を把持している為、開始スイッチ１１４を押すことが出来ないケースがあった。この場合、補助者がディクテーション開始スイッチ１１４を押したり、もしくは、フットスイッチを具備し医師が押したりして対応していた。このため、医師と補助者との連携が求められるが、タイムリーな音声の入力が困難であり、フットスイッチ等の新たな操作スイッチが必要となっていた。
【００１２】
また、音声認識エンジン（音声操作制御機能）が動作中に、ディクテーション開始スイッチ１１４を押さずに発音してしまうと、不用意に機器が動作してしまう問題があった。または、音声操作を回避しながらディクテーションを行った場合、医師所望の文字記録ができない問題があった。
【００１３】
上記問題を回避する為に、音声操作用のマイクとディクテーションマイクの双方を準備していたが、手技中にマイクを持ち替える必要があり煩雑な作用であった。
一方、上述の音声認識機能を有する内視鏡システムにおいて、音声操作制御機能とディクテーション機能の両方の機能を達成する為に、図１４に示すように音声操作制御機能用の音声認識エンジン１２１、ディクテーション用の音声認識エンジン１２４の両エンジンを備える必要があった。このため、プログラムの複雑さ、コスト高、検証工数の増大などを招いていた。
【００１４】
上記の課題に鑑み、本発明では、容易に音声操作機能とディクテーション機能の切り替えを行うことができる医療支援システムを提供する。さらに、音声操作用音声認識エンジンとディクテーション用音声認識エンジンの冗長した機能を共通化させた医療支援システムを提供する。
【課題を解決するための手段】
【００１５】
上記課題は、特許請求の範囲の請求項１に記載の発明によれば、音声を取得して、電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムであって、前記音声認識手段は、前記音声データが前記文字情報を生成させる旨の指示情報であると判断した場合には、前記制御手段は、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムを提供することによって達成できる。
【００１６】
上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記音声認識手段は、前記音声変換手段により得られた前記音声データを認識して、該音声を文字列化する音声文字列化手段と、前記音声変換手段により得られた前記音声データを認識して、該認識結果に対応する前記機器の動作を制御する音声操作手段と、を備え、前記制御手段は、前記音声文字列化手段と前記音声操作手段との駆動を制御することを特徴とする請求項１に記載の医療支援システムを提供することによって達成できる。
【００１７】
上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記制御手段は、前記音声文字列化手段が駆動している間は、前記音声操作手段により操作される前記機器への動作指令を停止することを特徴とする請求項２に記載の医療支援システムを提供することによって達成できる。
【００１８】
上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記音声文字列化手段は、前記音声変換手段により得られた前記音声データが前記音声文字列化手段の駆動を停止させる旨の指示情報であると判断した場合には、前記制御手段は、該音声文字列化手段の駆動を停止することを特徴とする請求項２に記載の医療支援システムを提供することによって達成できる。
【００１９】
上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記音声文字列化手段は、前記音声変換手段により得られた前記音声データが前記音声文字列化手段の駆動を停止させる旨の指示情報であると判断した場合には、前記制御手段は、前記音声操作手段の駆動させることを特徴とする請求項４に記載の医療支援システムを提供することによって達成できる。
【００２０】
上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記音声認識手段は、前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、前記音声識別情報と、該音声識別情報に対応する前記機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、を備え、前記制御手段は、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御することを特徴とする請求項１に記載の医療支援システムを提供することによって達成できる。
【００２１】
上記課題は、特許請求の範囲の請求項７に記載の発明によれば、音声を取得して、電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムであって、前記制御手段は、内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信した場合、前記制御手段は、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムを提供することによって達成できる。
【００２２】
上記課題は、特許請求の範囲の請求項８に記載の発明によれば、前記音声認識手段は、前記音声変換手段により得られた前記音声データを認識して、該音声を文字列化する音声文字列化手段と、前記音声変換手段により得られた前記音声データを認識して、該認識結果に対応する前記機器の動作を制御する音声操作手段と、を備え、前記制御手段は、前記音声文字列化手段と前記音声操作手段との駆動を制御することを特徴とする請求項７に記載の医療支援システムを提供することによって達成できる。
【００２３】
上記課題は、特許請求の範囲の請求項９に記載の発明によれば、前記音声文字列化手段が所定時間駆動した場合、または該音声文字列化手段が駆動中に所定時間音声が取得されなかった場合には、前記制御手段は、該音声文字列化手段の駆動を停止させることを特徴とする請求項８に記載の医療支援システムを提供することによって達成できる。
【００２４】
上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、前記音声文字列化手段が所定時間駆動した場合、または該音声文字列化手段が駆動中に所定時間音声が取得されなかった場合には、前記制御手段は、該音声文字列化手段の駆動を停止させることを特徴とする請求項８に記載の医療支援システムを提供することによって達成できる。
【００２５】
上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、前記医療支援システムは、さらに、前記音声文字列化手段の駆動停止後に、前記音声文字列化手段により文字列化された音声文字の編集ができる音声文字編集手段と、を備えることを特徴とする請求項８に記載の医療支援システムを提供することによって達成できる。
【００２６】
上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、前記医療支援システムは、さらに、前記音声文字列化手段が駆動中に、前記制御手段が、前記内視鏡画像撮像装置より再び前記内視鏡画像取得信号を受信した場合、前記音声文字列化手段の駆動を停止し、該前記音声文字列化手段の駆動中に文字列化された音声文字を、前回の前記内視鏡画像取得信号に対応する前記内視鏡画像に関連付けて記憶する記憶手段と、を備えることを特徴とする請求項８に記載の医療支援システムを提供することによって達成できる。
【００２７】
上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記音声認識手段は、前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、前記音声識別情報と、該音声識別情報に対応する前記機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、を備え、前記制御手段は、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御することを特徴とする請求項７に記載の医療支援システムを提供することによって達成できる。
【００２８】
上記課題は、特許請求の範囲の請求項１４に記載の発明によれば、音声を取得して、電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムであって、前記音声認識手段は、前記音声データが前記文字情報を生成させる旨の指示情報であると判断したときに、前記制御手段は、内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信した場合には、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムを提供することによって達成できる。
【００２９】
上記課題は、特許請求の範囲の請求項１５に記載の発明によれば、前記音声認識手段は、前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、前記音声識別情報と、該音声識別情報に対応する前記機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、を備え、前記制御手段は、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御することを特徴とする請求項１４に記載の医療支援システムを提供することによって達成できる。
【００３０】
上記課題は、特許請求の範囲の請求項１６に記載の発明によれば、音声を取得して、電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、前記音声識別情報と、該音声識別情報に対応する機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを制御する制御手段と、を備えることを特徴とする音声認識装置を提供することによって達成できる。
【００３１】
上記課題は、特許請求の範囲の請求項１７に記載の発明によれば、音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムの制御方法であって、前記音声認識手段により前記音声データが前記文字情報を生成させる旨の指示情報であると判断された場合には、前記制御手段により前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムの制御方法を提供することによって達成できる。
【００３２】
上記課題は、特許請求の範囲の請求項１８に記載の発明によれば、音声を取得して、電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムの制御方法であって、前記制御手段により内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信して、前記制御手段により前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムの制御方法。
【００３３】
上記課題は、特許請求の範囲の請求項１９に記載の発明によれば、音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声を文字列化して文字情報を生成、または該認識結果に対応する機器の動作を制御する音声認識手段と、前記音声認識手段を制御する制御手段と、を備える医療支援システムの制御方法であって、前記音声認識手段により前記音声データが前記文字情報を生成させる旨の指示情報であると判断されたとき、前記制御手段により内視鏡画像を撮像する内視鏡画像撮像装置から送信された該内視鏡画像を撮像する旨の信号である内視鏡画像取得信号を受信した場合には、前記音声認識手段を制御して文字情報を生成させることを特徴とする医療支援システムの制御方法。
【００３４】
上記課題は、特許請求の範囲の請求項２０に記載の発明によれば、音声を取得して電気信号に変換して音声データとする音声変換手段と、前記音声データを認識して、該音声データに対応する音声識別情報を出力する音声識別情報出力手段と、前記音声識別情報と、該音声識別情報に対応する機器の制御に関する機器制御情報と、該音声識別情報に対応する該音声が文字化された音声文字情報とが少なくとも記憶された音声関連記憶手段と、を備えた音声認識装置の制御方法であって、当該音声認識装置が前記機器の動作を前記音声により制御している状態かまたは該音声を文字列化している状態かを判別し、該判別結果及び前記音声識別情報により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御または前記音声を文字列化することを特徴とする音声認識装置の制御方法を提供することによって達成できる。
【発明の効果】
【００３５】
本発明を用いることにより、容易に音声操作機能とディクテーション機能の切り替えを行うことができる。また、音声操作用音声認識エンジンとディクテーション用音声認識エンジンの冗長した機能を共通化させることにより、ソフトウェア開発工数の低減を図ることができる。
【発明を実施するための最良の形態】
【００３６】
本発明の実施形態によれば、医療支援システムは、音声変換手段と、音声認識手段と、制御手段とを備える。音声変換手段は、音声を取得して、電気信号に変換して音声データとするものであり、例えば、Ａ／Ｄ変換器に相当する。音声認識手段は、ディクテーション機能（音声文字列化手段）と音声操作機能（音声操作手段）を有するものである。制御手段は、音声認識手段を制御するＣＰＵに相当する。
【００３７】
本発明の別の実施形態によれば、前記音声認識手段は、音声識別情報出力手段と、音声関連記憶手段とを備えている。音声識別情報出力手段は、図１１の音声認識エンジン９３に相当するものであり、前記音声データを認識して、この音声データに対応する音声識別情報（音声認識エンジン出力１００ｂ）を出力するものである。音声関連記憶手段は、図１２のテーブル１００に相当するものであり、前記音声識別情報（音声認識エンジン出力１００ｂ）と、該音声識別情報に対応する機器の制御に関する機器制御情報（音声制御モード１００ｃ）と、該音声識別情報に対応する該音声が文字化された音声文字情報（ディクテーションモード１００ｄ）とが少なくとも記憶されている。
【００３８】
このとき、制御手段（ＣＰＵ）は、医療支援システムが機器の動作を前記音声により制御している状態（音声操作モード）かまたは該音声を文字列化している状態（ディクテーションモード）かを判別し、この判別結果及び前記音声識別情報（音声認識エンジン出力１００ｂ）により特定される前記機器制御情報または音声文字情報に基づいて、前記機器の制御したりまたは前記音声を文字列化したりする。
【００３９】
本発明の別の実施形態によれば、ディクテーション機能（音声文字列化手段）が所定時間駆動した場合、またはディクテーション機能が駆動中に所定時間音声が取得されなかった場合には、前記制御手段は、ディクテーション機能の駆動を停止させる。このとき、所定時間の音声の取得は、所定時間録音を制御できる制御手段により行われる。
【００４０】
では、以下に本発明にかかる実施形態について説明する。
＜第１の実施形態＞
図１は、本実施形態における内視鏡手術システムの全体構成を示す。内視鏡手術システム１は、患者３０が横たわる患者ベッド１９の両側に、第１の内視鏡手術システム２及び第２の内視鏡手術システム３が配置されている。
【００４１】
これらの内視鏡手術システム２，３には、観察、検査、処置、記録などを行う複数の内視鏡周辺機器がそれぞれ第１の医療用トロリー１２及び第２の医療用トロリー２５に搭載されている。また、患者ベッド１９の周辺には、可動スタンドが配置され、その可動スタンドには内視鏡表示パネル２０が搭載されている。
【００４２】
第１の医療用トロリー１２には、最上段の天板のトロリートッププレート４１、中段に設けられたトロリー棚４０、最下段の底板部から構成されている。トロリートッププレート４１には、内視鏡表示パネル１１とシステムコントローラ２２が配置されている。トロリー棚４０にはＶＴＲ１７、ビデオプロセッサ１６、内視鏡光源装置１５が配置されている。底板部には、送気装置（気腹装置）１４、電気メス装置１３が配置されている。また、第１の医療用トロリー１２のアーム部には、集中操作パネル３３、集中表示パネル２１が配置されている。また、第１の医療用トロリー１２には、例えば不図示の超音波観測装置、またはプリンタ等を搭載しても良い。
【００４３】
集中操作パネル３３は、非滅菌域に配置され看護師等が各医療機器の操作を集中して行うものであって、図示しないマウスとタッチパネル等のポインティングデバイスを有したものであり、医療機器を集中管理・制御・操作するものである。
【００４４】
それぞれの医療機器は、図示しないシリアルインターフェイスケーブルを介してシステムコントローラ２２と接続され、双方向通信を行うことができる。また、システムコントローラ２２には、マイク５０を接続接続することができる。
【００４５】
システムコントローラ２２は、マイク５０から入力された音声を後述する音声認識回路５６及びＣＰＵ５５（図２参照）により認識する。そして、その音声を認識後にシステムコントローラ２２は、術者の音声により各機器を制御、もしくは認識結果をテキストとして表示したり、出力したりすることができる。
【００４６】
内視鏡光源装置１５は、照明光を伝送するライトガイドケーブルを介して第１の内視鏡３１に接続されている。内視鏡光源装置１５の照明光は、第１の内視鏡３１のライトガイドに供給されると、この第１の内視鏡３１の挿入部が刺入された患者３の腹部内の患部等を照明する。
【００４７】
この第１の内視鏡３１の接眼部には、撮像素子を備えた第１のカメラヘッド３１ａが装着されている。第１のカメラヘッド３１ａ内の撮像素子を用いて、第１の内視鏡３１の観察光学系による患部等の光学像が撮像される。そうすると、その撮像した光学像データがカメラケーブルを介してビデオプロセッサ１６に伝送される。その光学像データはビデオプロセッサ１６内の信号処理回路で信号処理されて、映像信号が生成される。そして、その映像信号がシステムコントローラ２２を介して内視鏡表示パネル１１に出力されて、内視鏡表示パネル１１に患部等の内視鏡画像が表示される。
【００４８】
システムコントローラ２２には、図示しないＭＯ等の外部媒体記録装置が内蔵されている。これにより、システムコントローラ２２は、外部記録媒体（ＭＯ）に記録された画像を読み出して、内視鏡表示パネル１１に出力して表示させることができる。また、システムコントコーラ２２には、図示しない病院内に設けられたネットワーク（院内ネット）と図示しないケーブルで接続されている。これにより、システムコントローラ２２は、院内ネット上の画像データ等を取得して第１の内視鏡表示パネル１１に出力して表示させることができる。
【００４９】
気腹装置１４には、例えばＣＯ2等のガスボンベ１８が接続されている。そして、この気腹装置１４から患者３０に延びた気腹チューブ１４ａを介して患者３０の腹部内にＣＯ2ガスを供給できる。
【００５０】
第２の医療用トロリー２５には、最上段の天板のトロリートッププレート４３、中段に設けられたトロリー棚４２、最下段の底板部から構成されている。トロリートッププレート４３には、内視鏡表示パネル３５と中継ユニット２８が配置されている。トロリー棚４２にはＶＴＲ６２、ビデオプロセッサ２７、内視鏡光源装置２６が配置されている。底板部には、その他の医療機器、例えば、超音波処置装置、砕石装置、ポンプ、シェーバ等が搭載されている。それぞれの機器は、図示しないケーブルで中継ユニット２８に接続され、双方向の通信が可能になっている。
【００５１】
内視鏡光源装置２６は、照明光を伝送するライトガイドケーブルを介して第２の内視鏡３２に接続されている。内視鏡光源装置２６の照明光が、第２の内視鏡３２のライトガイドに供給される。そうすると、この第２の内視鏡３２の挿入部が刺入された患者３０の腹部内の患部等を照明する。
【００５２】
この第２の内視鏡３２の接眼部には、撮像素子を備えた第２のカメラヘッド３２ａが装着されている。第２のカメラヘッド３２ａ内の撮像素子を用いて、第２の内視鏡３２の観察光学系による患部等の光学像が撮像される。そうすると、その撮像した光学像データがカメラケーブルを介してビデオプロセッサ２７に伝送される。その光学像データはビデオプロセッサ２７内の信号処理回路で信号処理されて、映像信号が生成される。そして、その映像信号がシステムコントローラ２２を介して内視鏡表示パネル３５に出力されて、内視鏡表示パネル３５に患部等の内視鏡画像が表示される。
【００５３】
システムコントローラ２２と中継ユニット２８は中継ケーブル２９で接続されている。
さらに、システムコントローラ２２は、術者が滅菌域から機器操作を行う術者用無線リモートコントローラ（以下、リモコンと記す）２４により制御することもできる。また、第１の医療用トロリー１２，第２の医療用トロリー２５には、その他の機器（例えば、プリンタ、超音波観測装置等）も搭載することができる。
【００５４】
図２は、図１の内視鏡手術システムを構成する各医療機器の接続関係を示すブロック図である。同図に示すように、集中操作パネル３３、リモコン２４、ＶＴＲ１７、ビデオプロセッサ１６、内視鏡光源装置１５、気腹装置１４、電気メス装置１３、プリンタ６０（図１では不図示）、及び超音波観察装置６１（図１では不図示）はそれぞれ通信ケーブル３８によりシステムコントローラ２２の通信インターフェース（以下、インターフェースをＩ／Ｆと称する）５１と接続されている。システムコントローラ２２とこれらの各装置間では、データの送受が行われる。
【００５５】
また、ＶＴＲ１７、内視鏡表示パネル１１、ビデオプロセッサ１６、プリンタ６０及び超音波観測装置６１は、映像ケーブル３９によりシステムコントローラ２２のディスプレイＩ／Ｆ５２と接続されており、映像信号を送受できるようになっている。
【００５６】
ＶＴＲ６２、ビデオプロセッサ２７、内視鏡光源装置２６、シェーバ６３（図１では不図示）、ポンプ６４（図１では不図示）、超音波処理装置６５（図１では不図示）は、通信ケーブル３８により中継ユニット２８に接続されている。中継ユニット２８とこれらの各装置間では、データの送受が行われる。また、内視鏡表示パネル３５、ビデオプロセッサ２７及びＶＴＲ６２は、映像ケーブル３９により中継ユニット２８と接続されており、映像信号を送受できるようになっている。
【００５７】
また、中継ユニット２８は、ケーブル２９（図１参照）によりシステムコントローラ２２と接続されている。中継ユニット２８は、ケーブル２９内の通信ケーブル３８を介してシステムコントローラ２２の通信Ｉ／Ｆ５１に接続されている。また、中継ユニット２８は、ケーブル２９内の映像ケーブル３９を介してシステムコントローラ２２のディスプレイＩ／Ｆ５２に接続されている。
【００５８】
システムコントローラ２２は、通信Ｉ／Ｆ５１、ディスプレイＩ／Ｆ５２の他に、集中操作パネルＩ／Ｆ５３、音声合成回路５７、ＣＰＵ５５、メモリ５９、スピーカ５８、音声認識回路５６、リモコンＩ／Ｆ５４を備えている。
【００５９】
音声認識回路５６は、マイク５０からの音声信号を認識する音声認識手段である。音声認識回路５６は、Ａ／Ｄ変換器と、入力音声メモリと、音声操作用メモリ、ディクテーション用のメモリ（または音声操作用兼ディクテーション用のメモリ）等から構成される。Ａ／Ｄ変換器では、マイク５０からの音声信号をＡ／Ｄ変換する。入力音声メモリでは、Ａ／Ｄ変換器でＡ／Ｄ変換された入力音声データを記憶する。音声操作用メモリには、ＣＰＵ５５が入力音声メモリに記憶された音声データが所定のコマンドデータであるかどうかを比較するための音声操作データを格納している。ディクテーション用のメモリには、ＣＰＵ５５が入力音声メモリに記憶された音声データが所定のディクテーションデータであるかどうか比較するための音声文言テーブルが格納されている。
【００６０】
リモコンＩ／Ｆ５４は、リモコン２４とのデータの送受を行うものである。音声合成回路５７は、音声を合成しスピーカ５８より音声を発せさせるものである。集中操作パネルＩ／Ｆ５３は、集中操作パネル３３とのデータの送受を行うものである。これら各回路がＣＰＵ５５により制御されている。
【００６１】
また、システムコントローラ２２には外部記録媒体が接続可能となっており、ＣＰＵ５５より画像データを外部記録媒体（図示せず）に記録・再生できる。また、システムコントローラ２２は、不図示のネットワークＩ／Ｆを備えている。これにより、ＷＡＮ（ワールドエリアネットワーク）、ＬＡＮ（ローカルエリアネットワーク）、インターネット、イントラネット、エクストラネット等のネットワークにも接続することができ、これら外部のネットワークとの間でデータの送受ができる。
【００６２】
（実施例１）
従来は、音声操作モードまたはディクテーションモードの際に、１つのマイクを共用していたが、このためマイクの使用が煩雑であった。そこで、本実施例では、このような弊害を対処し、１つのマイクで音声操作モードまたはディクテーションモードを共用する。
【００６３】
システムコントローラ２２は、設定により以下のモード１〜モード４を選択することができる。モード１は、音声操作機能とディクテーション機能の併用させるモードである。モード２は、通常はディクテーション機能のみが有効になり、音声操作は原則できないモードである。ただし、ディクテーションの開始終了のみ音声操作にて、「ディクテーション」及び「ディクテーション終了」のみをコマンドとして認識することができる。
【００６４】
モード３は、所定のスイッチを押下してディクテーション機能を有効にさせるモードである。例えばマイクに設けられたディクテーションボタンをＯＮ／ＯＦＦすることで、ディクテーション機能を有効にしたり無効にしたりという切り替えを行うことができる。モード４は、音声操作機能のみ有効にさせるモードである。
【００６５】
図３は、本実施例におけるモード１のフローを示す。症例を内視鏡等で診察しながら音声操作操作中（ステップ１、以下ステップをＳと称する）に、例えば術者がマイク５０に向かって「ディクテーション」と発声すると、システムコントローラ２２の音声認識エンジンは、それを認識し（Ｓ２）、ＣＰＵ５５は音声操作処理をディクテーション処理に切り替える。これについては後述する。
【００６６】
マイク５０より音声が入力されるので、ディクテーション処理に切り替えられた音声認識エンジンは、術者が発音した内容に従いディクテーションを行う（Ｓ３，Ｓ４）。そして、術者がマイク５０に向かって「ディクテーション終了」と発声すると、システムコントローラ２２の音声認識エンジンは、それを認識し（Ｓ５）、ＣＰＵ５５はディクテーション処理を終了させ（Ｓ６）、音声操作処理に切り替える。そうすると、再び音声認識操作が可能な状態になる（Ｓ１）。
【００６７】
図４は、本実施例におけるモード２のフローを示す。症例を内視鏡等で診察しながら（Ｓ１１）、例えば術者がマイク５０に向かって「ディクテーション」を発声すると、システムコントローラ２２の音声認識エンジンは、それを認識し（Ｓ１２）、ＣＰＵ５５はディクテーション処理を実行する。
【００６８】
マイク５０より音声が入力されるので、音声認識エンジンは、術者が発音した内容に従いディクテーションを行う（Ｓ１３，Ｓ１４）。そして、術者がマイク５０に向かって「ディクテーション終了」と発音すると、システムコントローラ２２の音声認識エンジンは、それを認識し（Ｓ１５）、ＣＰＵ５５はディクテーション処理を終了させる（Ｓ１６）。
【００６９】
以上より、「ディクテーション」という発声することをトリガーとして、音声操作機能とディクテーション機能の切り替え、またはディクテーション機能を有効にすることができるので、１つのマイクを用いる場合でもその操作が煩雑になることはない。
【００７０】
（実施例２）
本実施例では、レリーズ／キャプチャースイッチを押下した後、ディクテーションを自動で開始する場合について説明する。ここで、レリーズスイッチとは、内視鏡画像を電子データとして記憶する場合に押下するスイッチである。キャプチャースイッチとは、例えば紙等の所定の媒体にプリントアウトする場合に押下するスイッチである。
【００７１】
さて、ディクテーションを行う場合は、通常、レリーズスイッチ押下後またはキャプチャースイッチ押下後に集中している。そこで、実施例１のモード１及びモード２で述べた音声操作モードとディクテーションモードの切り替え操作に加えて、レリーズスイッチ押下後またはキャプチャースイッチ押下後に一定期間自動的にディクテーション機能がＯＮになり、所定時間経過後にＯＦＦになる技術について述べる。これは、上記のモード３の場合も同様である。
【００７２】
図５は、内視鏡スコープ７０の一部を示す。図５（ａ）において、７１はライトガイドコネクタ、７２はスコープケーブル、７３はスコープ操作部、７４はスコープ把持部を示す。図５（ｂ）はスコープ操作部７３の一部を拡大した図を示す。７５はスコープスイッチを示す。このスコープスイッチ７５のうちのいずれかは、レリーズスイッチ、またはキャプチャースイッチである。また、レリーズスイッチ、キャプチャースイッチは集中操作パネル３３に具備するようにしてもよい。
【００７３】
図６は、集中表示パネル２１の表示内容の一例を示す。図６（ａ）は、ディクテーションモード時の表示内容の一例である。集中表示パネル２１の表示領域は、内視鏡画像表示領域８０、メッセージ領域８１、ディクテーションテキスト表示領域８２から構成される。
【００７４】
内視鏡画像表示領域８０には、内視鏡スコープにより撮像された内視鏡画像が表示される。ディクテーションテキスト表示領域８２には、ディクテーションテキストデータが表示される。
【００７５】
メッセージ領域８１には、ディクテーション機能が有効になっていることを示す旨のメッセージが表示され、同図では「ディクテーション中」が表示されている。なお、表示内容はこれに類するものであれば、例えば「記録中」等と表示してもよい。また、「ディクテーション中」の表示は、医師に不快感を与えない程度に、低速で点滅させても良い。点滅速度は例えば１秒〜２秒である。
【００７６】
なお、「ディクテーション中」の表示は、ディクテーションテキストが表示される画面と同じ画面とすると、医師がディクテーションしたい画像とその画像に対応するディクテーション内容とが一致するので、誤り無くディクテーションテキストの記録が可能となる。但し、医師によっては内視鏡画像に集中したいケースも考えられるため、ディクテーションテキストは、別置き表示パネル２０や内視鏡表示パネル１１にも、ディクテーションしたい画像と同時に表示可能である。ディクテーション表示先の設定は、例えばシステムコントローラ２２で容易に設定可能である。
【００７７】
図６（ｂ）は、音声操作モード時の表示内容の一例である。音声操作モード中は、メッセージ領域８１に、例えば音声操作機能が有効になっている旨のメッセージ「音声操作中」を点灯表示する。点灯表示や点滅表示間隔は、システムコントローラ２２で容易に設定可能である。
【００７８】
図７は、ランプの点灯によりディクテーション機能または音声操作機能のいずれかが有効になっているかを通知する一例を示す。図７（ａ）において、内視鏡表示パネル１１の上部にはランプ８５，８６が搭載されている。
【００７９】
ランプ８５は、ディクテーション機能が有効（ＯＮ）になっている場合に点灯するものである。図７（ｂ）は、ランプ８５の表示内容を示す。ディクテーション機能がＯＮになると、ＣＰＵ５５からの命令信号によりランプ８５が点灯する。ランプ８５が点灯すると、「ディクテーション」が表示される。
【００８０】
ランプ８６は、音声操作機能が有効（ＯＮ）になっている場合に点灯するものである。図７（ｃ）は、ランプ８６の表示内容を示す。音声操作機能がＯＮになると、ＣＰＵ５５からの命令信号によりランプ８６が点灯する。ランプ８６が点灯すると、「音声操作中」が表示される。
【００８１】
そこで、図６（ａ）の代わりに、例えば内視鏡表示パネル１１や別置き表示パネル２０や集中表示パネル２１に「ディクテーション中」の表示灯が点灯してもよい（図７（ａ）参照）。ディクテーションが終了し、音声認識を行う場合は、図６（ｂ）の代わりに「音声操作中」の表示灯が点灯してもよい（図７（ｂ）参照）。
【００８２】
図８は、本実施例におけるフローを示す。このフローは、メモリに格納されているプログラムがＣＰＵにより読み込まれて、実行されるものである。まず、内視鏡手術や検査開始後、内視鏡画像を撮影する際、図５に示すように、内視鏡スコープ等に具備されているレリーズスイッチまたはキャプチャースイッチをＯＮし、レリーズ（画像データ記憶）またはキャプチャー（プリントアウト）をする（Ｓ２１）。なお、このとき、音声認識操作中であれば、例えば、「音声操作中」が内視鏡画像に表示してもよいし（図６（ｂ）参照）、またはランプ（パトライト）８６を内視鏡画像８０の近傍に配置しても良い（図７参照）。
【００８３】
Ｓ２１でレリーズスイッチ等がＯＮになると、その信号を受信したＣＰＵ５５はディクテーション機能を有効（ＯＮ）にさせる。このとき、これ以降でディクテーションされるテキストはレリーズスイッチにより撮影された画像に対して関連付けられている。
【００８４】
ディクテーション機能が有効（ＯＮ）になると、例えばビープ（Ｂｅｅｐ）音をスピーカ５８から出力させ、ディクテーションモードへ移行する（Ｓ２２）。ディクテーション機能が有効になっているので音声を入力する（Ｓ２３）。このとき、集中表示パネル２１は、図６（ａ）のようになる。また、ランプ８５を用いてディクテーション中であることを通知するようにしても良い（図７参照）。
【００８５】
Ｓ２４〜Ｓ２６は、所定時間ディクテーション機能がＯＮの状態を継続させるためのループ処理であり、この継続時間はディクテーション受付タイマのカウント数により計測している。すなわち、ディクテーション受付タイマが所定のカウント数をカウントすると、このループを抜けてディクテーション機能をＯＦＦにする処理へ移行する（Ｓ２６で「Ｙｅｓ」へ進む）。
【００８６】
さらに、Ｓ２４〜Ｓ２６のループ処理中（ディクテーション機能がＯＮ）に、無声状態が予め設定した秒以上続いた場合にも、このループを抜けてディクテーション機能をＯＦＦにする処理へ移行する（Ｓ２５で「Ｙｅｓ」へ進む）。この無声状態の継続時間は無声検出タイマのカウント数により計測している。すなわち、無声検出タイマが所定のカウント数をカウントすると、このループを抜けてディクテーション機能をＯＦＦにする処理へ移行する。
【００８７】
また、ディクテーション機能がＯＮ中に、例えば「終了」とマイク５０に音声を入力すると、ディクテーション受付タイマに左右されずにディクテーション機能をＯＦＦにする処理へ移行する（Ｓ２４で「Ｙｅｓ」へ進む）。
【００８８】
Ｓ２４で「Ｙｅｓ」、またはＳ２５で「Ｙｅｓ」へ進んだ場合、ディクテーションテキストの入力がされているか否かを判断する（Ｓ２７）。例えば、図６（ａ）のディクテーションテキスト表示領域８２にテキストが入力されたかを
検出することにより、ディクテーション機能がＯＮの間にディクテーションされたかを確認することができる。
【００８９】
ディクテーションテキストが入力されている場合（Ｓ２７で「Ｙｅｓ」へ進む）、例えば、「終了しますか？  修正しますか？」と表示パネル２１の画面上に表示される（Ｓ２８）。ここで、「終了」と音声入力すると、ディクテーションを終了する（Ｓ２８で「終了」へ進む）。
【００９０】
また、「修正」と入力した場合（Ｓ２８で「修正」へ進む）、ディクテーションテキスト表示領域８２に入力されたディクテーションテキストの修正を行う（Ｓ２９）。修正作業は、補助者が図示しないキーボードやタッチパネル等で実施する。または、ディクテーションソフトにて、誤入力候補語を表示し、候補語について入力修正をしても良い。
【００９１】
なお、入力修正作業は、当然ディクテーション中でも可能である。また、医師によっては、仮に誤入力があった場合でも手技を優先したい場合が想定できる。この為、修正モードに移るかをシステムコントローラで任意に選択することができる。
【００９２】
Ｓ２７において、ディクテーションテキストが未入力の場合（Ｓ２７で「Ｎｏ」へ進む）には、当該フローを終了する。
ディクテーション終了後、音声操作モードに戻る場合には、「音声操作中」が内視鏡画像に表示してもよいし（図６（ｂ）参照）、またはライト８６を点灯してもよい（図７参照）。なお、図８のフローにおいて、ディクテーション機能がＯＦＦになるタイミングで、ディクテーションテキストはこのテキストに対応する内視鏡画像と関連付けられてメモリ５９に格納される。
【００９３】
なお、ディクテーションのソフトウェアや音声認識の処理は、例えば、システムコントローラ２２にて処理されてもよい。また、ディクテーションＯＮタイマのタイマ設定や無声音検出時間設定や音声入力検出レベルはシステムコントローラ２２にて設定される。
【００９４】
本実施例では、カメラスイッチやリモートコントローラのスイッチによる切り替えであるが、音声操作による「レリーズ（写真撮影）」や「キャプチャー」を検出後に、ディクテーションモードに移行しても良い。
【００９５】
また、フリーズ処理を行った場合、Ｓ２１の処理終了後、フリーズ中についてのみ、ディクテーションを実施しても良い。これにより、フリーズ中の診断内容をディクテーションすることができる。なお、図８のフローで説明した各タイマの設定は、集中操作パネル３３で行うことができる。
【００９６】
以上より、レリーズスイッチまたはキャプチャースイッチ押下後に自動的にディクテーションモードに移るので、術者はスムーズにディクテーション動作に移ることができる。
＜第２の実施形態＞
（実施例１）
第１の実施形態の実施例２（図８参照）では、レリーズやキャプチャーの度にディクテーションモードに移るが、手技によっては、その度にディクテーションモードに移るのが煩わしい場合もある。
【００９７】
そこで、本実施例の医療支援システムは、以下を実現する。例えば「ディクテーション」と発声してから、設定秒以内にレリーズやキャプチャーを行った場合に限り、ディクテーションモードに移ることできる。また、「ディクテーション」と発声しない場合は、レリーズやキャプチャー実施後は、自動的に内視鏡観察画像に切り替わる。このようにするときにより、必要な場合にのみディクテーションモードに移行することができる。
【００９８】
図９は、本実施例におけるフローを示す。このフローは、メモリに格納されているプログラムがＣＰＵにより読み込まれて、実行されるものである。まず、内視鏡スコープにて対象部位を観察している（Ｓ３１）。このとき、術者がマイク５０に向かって「ディクテーション」と発音すると（Ｓ３２で「Ｙｅｓ」へ進む）、ディクテーション開始タイマのカウントが開始される（Ｓ３３）。ディクテーション開始タイマとは、ディクテーション機能が有効となっている時間を計測するものであり、予め所定時間に設定されている。
【００９９】
ディクテーション開始タイマは所定時間内にレリーズスイッチまたはキャプチャースイッチが押下されるまでカウントアップする（Ｓ３４）。このとき、レリーズスイッチまたはキャプチャースイッチが押下されると、ディクテーションモード（図８のＳ２２以降の処理）へ移行する。
【０１００】
所定時間内にレリーズスイッチまたはキャプチャースイッチが押下されない場合は（Ｓ３４で「Ｙｅｓ」へ進む）、ディクテーションモードへの以降は不要ということなので、レリーズボタンまたはキャプチャーボタンが押下され（Ｓ３６）、通常のレリーズまたはキャプチャーが行われる（Ｓ３７）。
【０１０１】
また、Ｓ３２で術者がマイク５０に向かって「ディクテーション」と発音しない場合（Ｓ３２で「Ｎｏ」へ進む）も同様に、レリーズスイッチまたはキャプチャースイッチが押下され（Ｓ３６）、通常のレリーズまたはキャプチャーが行われる（Ｓ３７）。
【０１０２】
なお、「ディクテーション」と発声する代わりに、特別なスイッチ（フットスイッチや別のカメラスイッチやキーボード）を押下しても良い。
以上より、必要な場合にのみディクテーションモードに移行することができる。
【０１０３】
（実施例２）
本実施形態は第１の実施形態の実施例２（図８）の変形例である。本実施例では、ディクテーションＯＮ中に再度レリーズやキャプチャーの処理を行った場合、ディクテーションする画像が新しい画像に自動的に切り替わり、新しい画像に対して図８のフローに従い処理を実行する。
【０１０４】
図１０は、本実施例におけるフローを示す。図１０は、図８のフローのＳ２５とＳ２６の間にＳ４１を追加したものである。Ｓ４１にてレリーズボタンまたはキャプチャーボタンが押下されると当該内視鏡画像についてのディクテーションを終了し（Ｓ４２）、次の内視鏡画像（新規画像）について、図８で説明したようにＳ２１以降の処理を行う。
【０１０５】
以上より、常に内視鏡画像とこの内視鏡画像に対応するディクテーションテキストとを関連させ、メモリ５９に記憶することができる。
＜第３の実施形態＞
本実施形態では、モード１（図３）及びモード２（図４）において、音声操作とディクテーションの音声認識エンジンの共用について述べる。上述したように従来例（図１４）では、音声操作用の認識エンジン１２１とディクテーション用の認識エンジン１２４とがそれぞれ独立して共存していたが、本実施形態では認識エンジンを共通化させることについて説明する。
【０１０６】
図１１は、本実施形態における音声認識手段の概念図を示す。これは、音声認識手段９５は、音声認識回路５６に相当するものである。音声認識手段９５には１つの音声認識エンジン９３が実装されている。また、音声認識エンジン９３は、図１２に示すように音声認識モードに応じた制御内容を格納したテーブル１００を備えている。また、モード切り替え手段９２（例えばＣＰＵ）のより、モードを切り替えることができる。すなわち、モード切り替え手段９２の切り替え動作により、音声操作処理９０を行ったり、ディクテーション処理９１を行ったりすることができる。
【０１０７】
図１２は、本実施形態における音声認識モードに応じた制御内容を格納したテーブルの概要を示す。このテーブル１００は、「認識フレーズ」１００ａ、「音声認識エンジン出力」１００ｂ、「音声制御モード」１００ｃ、「ディクテーションモード」１００ｄのデータ項目から構成されている。
【０１０８】
例えば、マイク５０に「記録」と発声するとマイクから入力された音声信号が音声認識エンジン９３に送信される。そうすると音声認識エンジン９３は音声認識を行い、図１２のように認識結果「１」番（音声認識エンジン出力１００ｂ＝「１」）を出力する。
【０１０９】
認識結果「１」を取得したＣＰＵ５５は、テーブル１００に従い、以下の動作を行う。例えば、現在の認識モードが音声操作制御モードの場合は、音声認識エンジン出力１００ｂ＝「１」より「レリーズ制御」であると判断し、システムコントローラ２２に接続されているレリーズ対象機器にレリーズ信号を出力する。そうすると、観察画像が各接続機器に記録される。また、現在の認識モードがディクテーションモードの場合には、ＣＰＵ５５は、音声認識エンジン出力１００ｂ＝「１」よりディクテーションテキストの「記録」を行う。
【０１１０】
また、マイク５０に「記録部位」と発声すると、上述と同様の処理により、音声認識エンジン９３は認識結果「４」番（音声認識エンジン出力１００ｂ＝「４」）を出力する。認識結果「４」を取得したＣＰＵ５５は、テーブル１００に従い、以下の動作を行う。例えば、現在の認識モードが音声操作制御モードの場合は、音声認識エンジン出力１００ｂ＝「４」より何も制御を行わない。また、現在の認識モードがディクテーションモードの場合には、「記録部位（テキスト出力）」であると判断し、内視鏡表示パネル１１や集中表示パネル２１の所定の表示領域（コメント欄）に「記録部位」とテキスト表示を行う。この時、レリーズボタンを押すと、意図したコメントを表示したまま各記録装置に内視鏡画像とともにコメントも記録される。
【０１１１】
両モード中において、マイク５０に「モード切り替え」と発声すると、音声認識エンジン出力１００ｂ＝「１００」より、モード切り替え手段９２は現在のモードから他方のモードにモードを切り替える。なお、音声認識エンジン９３には、滅菌エリアからシステムコントローラ２２経由にて自動設定等のコマンドも具備されている。なお、本実施形態は、第１及び第２の実施形態と組み合わせてもよい。
【０１１２】
以上より、音声認識エンジンを１つに共通化することができるので、音声認識エンジンの冗長性を解消することができ、より簡易かつ低コストで生成することができる。
【図面の簡単な説明】
【０１１３】
【図１】第１の実施形態における内視鏡手術システムの全体構成を示す図である。
【図２】図１の内視鏡手術システムを構成する各医療機器の接続関係を示すブロック図である。
【図３】第１の実施形態の実施例１における本実施例におけるモード１のフローを示す図である。
【図４】第１の実施形態の実施例１における本実施例におけるモード２のフローを示す図である。
【図５】第１の実施形態の実施例２における内視鏡スコープ７０の一部を示す図である。
【図６】第１の実施形態の実施例２における集中表示パネル２１の表示内容の一例を示す図である。
【図７】第１の実施形態の実施例２におけるディクテーション機能または音声操作機能のいずれかが有効になっているかを知らせるランプを内視鏡表示パネルに設けた状態を示す図である。
【図８】第１の実施形態の実施例２におけるフローを示す図である。
【図９】第２の実施形態の実施例１におけるフローを示す図である。
【図１０】第２の実施形態の実施例２におけるフローを示す図である。
【図１１】第３の実施形態における音声認識手段の概念図である。
【図１２】第３の実施形態における音声認識モードに応じた制御内容を格納したテーブルの概要を示す図である。
【図１３】従来におけるディクテーション用マイク１１０を示す図である。
【図１４】従来における音声認識手段の概念図である。
【符号の説明】
【０１１４】
１      内視鏡手術システム
２      第１の内視鏡手術システム
３      第２の内視鏡手術システム
１１    内視鏡表示パネル
１２    第１の医療用トロリー
１３    電気メス装置
１４    送気装置（気腹装置）
１５    内視鏡光源装置
１６    ビデオプロセッサ
１７    ＶＴＲ
１８    ガスボンベ
１９    患者ベッド
２０    内視鏡表示パネル
２１    集中表示パネル
２２    システムコントローラ
２４    リモコン
２５    第２の医療用トロリー
２６    内視鏡光源装置
２７    ビデオプロセッサ
２８    中継ユニット
２９    ケーブル
３０    患者
３１    第１の内視鏡
３１ａ  第１のカメラヘッド
３２    第２の内視鏡
３２ａ  第２のカメラヘッド
３３    集中操作パネル
３５    内視鏡表示パネル
３８    通信ケーブル
３９    映像ケーブル
４０    トロリー棚
４１    トロリートッププレート
４２    トロリー棚
４３    トロリートッププレート
５０    マイク
５１    通信Ｉ／Ｆ
５２    ディスプレイＩ／Ｆ
５３    集中操作パネルＩ／Ｆ
５４    リモコンＩ／Ｆ
５５    ＣＰＵ
５６    音声認識回路
５７    音声合成回路
５８    スピーカ
５９    メモリ
６０    プリンタ
６１    超音波観察装置
６２    ＶＴＲ
６３    シェーバ
６４    ポンプ
６５    超音波処理装置
７０    内視鏡スコープ
７１    ライトガイドコネクタ
７２    スコープケーブル
７３    スコープ操作部
７４    スコープ把持部
７５    スコープスイッチ
８５，８６  ランプ
９２    モード切り替え手段
９３    音声認識エンジン
９５    音声認識手段
【図１】
2006223357.tif 000003
【図２】
2006223357.tif 000004
【図３】
2006223357.tif 000005
【図４】
2006223357.tif 000006
【図５】
2006223357.tif 000007
【図８】
2006223357.tif 000008
【図９】
2006223357.tif 000009
【図１０】
2006223357.tif 000010
【図１１】
2006223357.tif 000011
【図１２】
2006223357.tif 000012
【図１４】
2006223357.tif 000013
【図６】
2006223357.tif 000014
【図７】
2006223357.tif 000015
【図１３】
2006223357.tif 000016