(57)【要約】【課題】  治療室内で交わされる会話や指示等から、特定の言語表現等を検出し、治療行為に対応するイベントを検出可能な医療音声情報処理装置を提供することを課題とする。【解決手段】  音声処理装置１は、医療音声情報３の記録等の処理を行う処理装置本体４と、発生した音声を音声情報５として取得するための複数のマイク６と、治療行為提示情報２１を提示するための液晶ディスプレイ８及びスピーカ９とによって主に構成されている。そして、マイク６によって取得された音声情報５から、言語データベース２８に記憶された治療行為に対する特徴的な言語表現２５が所定の時間幅で検出され、治療行為の要部を示すイベントが検出される。これにより、連続的に実施される治療行為で発生する各種イベントをリアルタイムで検出し、イベントインデックス２に記録することができる。【選択図】        図１
2006302057.tif 000002
【特許請求の範囲】
【請求項１】
治療行為の手順が標準化された標準的治療プログラムに基づいて、前記治療行為に対応する治療行為提示情報を提示する治療行為提示手段と、
提示される前記治療行為提示情報に同期して前記治療行為を時系列的にイベントインデックスに構造化して記録する治療行為記録手段と、
前記治療行為の際に生じる音声を音声情報として取得する音声情報取得手段と、
前記治療行為を示す特徴的な言語表現、及び前記言語表現の発現可能性を前記治療行為毎に算出した統計情報を言語データベースに記憶する言語データベース記憶手段と、
取得された前記音声情報から、前記言語データベースに記憶された前記言語表現を抽出する抽出手段と、
抽出された前記言語表現から前記統計情報を利用して、前記標準的治療プログラムの前記治療行為または前記治療行為に対応するイベントを検出する治療イベント検出手段と、
検出された前記治療行為または前記イベント、抽出された前記言語表現、及び前記言語表現の発現時刻の少なくともいずれか一つを含む医療音声情報を、前記イベントインデックスに構造化して記録する音声情報記録手段と
を具備することを特徴とする医療音声情報処理装置。
【請求項２】
前記治療イベント検出手段は、
前記言語表現の発現される前後の所定範囲の時間幅の中で抽出される複数の言語表現の組合わせ、前記言語表現の抽出回数、及び前記言語表現の発現順序の少なくともいずれか一つに基づいて検出することを特徴とする請求項１に記載の医療音声情報処理装置。
【請求項３】
前記治療イベント検出手段は、
複数の前記治療行為または前記イベントの候補から一つが選択して検出されるとともに、選択外の前記治療行為または前記イベントを未検出情報として保持する未検出情報保持手段をさらに有し、
事後に検出された前記治療行為または前記イベントから、前記未検出情報に保持される前記治療行為または前記イベントを修正する修正手段をさらに具備することを特徴とする請求項１または請求項２に記載の医療音声情報処理装置。
【請求項４】
抽出された前記言語表現をスコア化する第一スコア化手段と、
前記治療行為または前記イベントに対応して取得される映像情報、テキスト情報、及びセンサ情報の少なくともいずれか一つのモダリティ情報をスコア化する第二スコア化手段と
をさらに具備し、
前記治療イベント検出手段は、
スコア化された前記言語表現及び前記モダリティ情報を統合し、前記治療行為または前記イベントを検出することを特徴とする請求項１乃至請求項３のいずれか一つに記載の医療音声情報処理装置。
【請求項５】
治療行為の手順が標準化された標準的治療プログラムに基づいて、前記治療行為に対応する治療行為提示情報を提示する治療行為提示手段、
提示される前記治療行為提示情報に同期して前記治療行為を時系列的にイベントインデックスに構造化して記録する治療行為記録手段、
前記治療行為の際に生じる音声を音声情報として取得する音声情報取得手段、
前記治療行為を示す特徴的な言語表現、及び前記言語表現の発現可能性を前記治療行為毎に算出した統計情報を言語データベースに記憶する言語データベース記憶手段、
取得された前記音声情報から、前記言語データベースに記憶された前記言語表現を抽出する抽出手段、
抽出された前記言語表現から前記統計情報を利用して、前記標準的治療プログラムの前記治療行為または前記治療行為に対応するイベントを検出する治療イベント検出手段、
及び、認識された前記治療行為または前記イベントを、抽出された前記言語表現、及び前記言語表現の発現時刻の少なくともいずれか一つを含む医療音声情報を、前記イベントインデックスに構造化して記録する音声情報記録手段として、医療音声情報処理装置を機能させることを特徴とする医療音声情報処理プログラム。
【請求項６】
前記言語表現の発現される前後の所定範囲の時間幅の中で抽出される複数の言語表現の組合わせ、前記言語表現の抽出回数、及び前記言語表現の発現順序の少なくともいずれか一つに基づいて前記治療行為または前記イベントを検出する前記イベント認識手段として、前記医療音声情報処理装置をさらに機能させることを特徴とする請求項５に記載の医療音声情報処理プログラム。
【請求項７】
複数の前記治療行為または前記イベントの候補から一つが選択して認識されるとともに、選択外の前記治療行為または前記イベントを未認識情報として保持する未認識情報保持手段、
及び、事後に認識された前記治療行為または前記イベントから、前記未認識情報に保持される前記治療行為または前記イベントを修正する修正手段として、前記医療音声情報処理装置をさらに機能させることを特徴とする請求項５または請求項６に記載の医療音声情報処理プログラム。
【請求項８】
抽出された前記言語表現をスコア化する第一スコア化手段、
前記治療行為または前記イベントに対応して取得される映像情報、テキスト情報、及びセンサ情報の少なくともいずれか一つのモダリティ情報をスコア化する第二スコア化手段、
及び、スコア化された前記言語表現及び前記モダリティ情報を統合し、前記治療行為または前記イベントを検出する前記治療イベント検出手段として、前記医療音声情報処理装置をさらに機能させることを特徴とする請求項５乃至請求項７のいずれか一つに記載の医療音声情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療音声情報処理装置、及び医療音声情報処理プログラムに関するものであり、特に治療行為の際の指示や会話等に含まれる特定の言語表現を抽出し、標準的治療プログラムに従って実施される治療行為またはイベントを検出可能な医療音声情報処理装置、及び医療音声情報処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、救急救命医療等の医療現場では、搬送された患者の状態を、医師が的確に判断し、適切かつ迅速な治療を行うために、一連の治療行為の手順が予めフローチャート化され、それぞれの治療行為の具体的な内容や次の治療行為に遷移又は分岐する際の明確な条件が規定された標準的治療プログラム（例えば、ＡＣＬＳ及びＪＡＴＥＣ等）が採用され、使用されている。治療者は、患者の様態や治療に対する反応及び結果等を確認し、標準的治療プログラムに規定される遷移又は分岐条件に基づいて、次に実施する治療行為を決定し、実行する。このとき、ある治療行為から次の治療行為に遷移する的確な情報を治療者に対して提供することにより、治療者の判断ミスを防ぎ、治療を速やかに行えるようにすることができる。なお、ある治療行為から次の治療行為へ遷移する場合、治療者は心拍数、脈拍数、及び血圧等のバイタルサイン、意識レベルの有無、外傷の様子、Ｘ線写真の結果等の情報に基づき、予め標準的治療プログラムに規定された遷移条件に従って判断を行っている。
【０００３】
このとき、医師による他の医師或いは看護師等への指示、または看護師等からの確認などの意志表示は、主に音声によって行われている。すなわち、治療室内における音声は、互いの認識を共通化するための重要なコミュニケーションツールの一つである。また、治療室内で発せられる会話等の音声は、迅速かつ適切な対応を行う必要があるため、単語や短いフレーズなど、簡潔かつ的確な言語表現で行われている。
【０００４】
一方、治療者は一般的な診療及び治療行為、または前述のような標準的治療プログラムに則った治療行為を行った後、個々の治療や処置の具体的な内容、及び患者の既往歴等の情報を記録するために、患者毎のカルテを作成している。そして、この事後に行うカルテの作成作業を簡略化する目的で、治療室内の様子を映像情報として捉え、データ化した医療情報を取得する電子カルテシステムの構築が行われている。さらに、これらの映像情報とともに、治療内容の細部を音声情報として取得可能なシステム及び装置が既に開示されている（例えば、特許文献１及び特許文献２参照）。また、記録される映像に含まれる音声に予めタグを付し、映像または音声を当該タグと関連付けて抽出するようなシステムも開発されている（例えば、非特許文献１参照）。これにより、時間的に連続して撮影された映像の要約を簡易に行うことができるようになる。
【０００５】
【特許文献１】特許第３０７４７６９号公報
【特許文献２】特開２００２−２１５７９７号公報
【非特許文献１】橋迫  勝広、外２名，「映像要約のための音声タグ抽出」，第１０回画像センシングシンポジウム講演論文集，画像センシング技術研究会，平成１６年，ｐ１７９−１８４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般的な診療及び治療行為、または前述のような標準的治療プログラムに則った治療を行った場合、治療者は個々の治療や処置の具体的内容、及び患者の既往歴等を記録するため、患者毎のカルテを作成していた。特に、救急救命医療では、当然のことながら患者の救命を最優先とするため、それぞれの治療行為の実施内容や処置内容の結果の記録（医療記録）のカルテへの記載は、すべて事後に行われるのが常であった。そのため、カルテ作成は、自らが実施した治療内容をその都度思い出しながら、換言すると、過去の記憶を頼りに行っていた。そのため、カルテ作成の効率も悪く、不正確若しくは不明瞭な箇所が残ったり、記入漏れが発生したりする場合があった。
【０００７】
カルテに記載されていない情報を補助するため、治療室内にビデオカメラ等の映像入力機器を設置し、患者が搬送されてから全ての治療行為の処置が完了するまでの流れを映像情報として記録するケースもあった。ところが、これらの映像入力装置は、治療室の天井付近に設置され、治療室全体を俯瞰の映像として捉えるなど、撮影に工夫は見られるものの、撮影アングルが固定されていることが多く、処置を施す人や医療機器などの遮蔽物の影響により必ずしも必要な映像を取得できないことがあった。このとき、複数の映像入力装置を用いることにより、上述した弊害を解消する対策も行われているが、治療行為の全体的な流れは把握できるものの、個々の治療行為の動きや患部の状態、治療者の治療技術の判定等を確認することは非常に困難であった。また、撮影アングルやズーム率が可変の映像入力装置を使用し、人手により制御する方法もあるが、人の確保や映像入力装置が複数台ある場合には制御が困難であるなど、現実的でなかった。さらに、カルテ入力等のために、記録された映像や音声の内容を確認する必要があったが、その作用には多大な労力を必要とした。そのため、キー情報などを用いて対象箇所を検索する機能を提供し、作業性を向上させたものも知られているが、提供されるキー情報は系統的に分類されることがなく、効率の悪いものであった。
【０００８】
特に、治療行為を実施した後にカルテ等を作成する場合、治療の開始から終了までの映像及び音声を順次再生し、カルテ作成に必要な場面を手作業に近い状態で探し出すことがあった。さらに、音声情報の記録と、治療行為の手順が規定された標準的治療プログラムと連動し、事後の解析や検索処理等を容易に行えるようにする音声情報（医療音声情報）の記録が行えるようなものはほとんどなかった。また、治療行為中の発言等を音声認識する場合、すべての発言に対して同様の認識処理を行うことは、非常に高い認識精度及び装置本体の処理能力が必要となる。そのため、出現可能性の高い言語表現を予め限定し、治療行為または治療行為に対応するイベントの検出精度を高めることの可能なものが求められていた。
【０００９】
そこで、上記実情に鑑み、治療室内で交わされる会話や指示等から、特定の言語表現等を検出し、治療行為または治療行為に対応したキーとなるイベントを検出可能な医療音声情報処理装置、及び医療音声情報処理プログラムの提供を課題とするものである。
【課題を解決するための手段】
【００１０】
上記の課題と解決するため、本発明にかかる医療音声情報処理装置は、「治療行為の手順が標準化された標準的治療プログラムに基づいて、前記治療行為に対応する治療行為提示情報を提示する治療行為提示手段と、提示される前記治療行為提示情報に同期して前記治療行為を時系列的にイベントインデックスに構造化して記録する治療行為記録手段と、前記治療行為の際に生じる音声を音声情報として取得する音声情報取得手段と、前記治療行為を示す特徴的な言語表現、及び前記言語表現の発現可能性を前記治療行為毎に算出した統計情報を言語データベースに記憶する言語データベース記憶手段と、取得された前記音声情報から、前記言語データベースに記憶された前記言語表現を抽出する抽出手段と、抽出された前記言語表現から前記統計情報を利用して、前記標準的治療プログラムの前記治療行為または前記治療行為に対応するイベントを検出する治療イベント検出手段と、検出された前記治療行為または前記イベント、抽出された前記言語表現、及び前記言語表現の発現時刻の少なくともいずれか一つを含む医療音声情報を、前記イベントインデックスに構造化して記録する音声情報記録手段と」を具備して主に構成されている。
【００１１】
ここで、標準的治療プログラムとは、救急医療の現場等で使用されるＡＣＬＳ（Ａｄｖａｎｃｅｄ  ｃａｒｄｉａｃ  ｌｉｆｅ  ｓｕｐｐｏｒｔ：二次救命処置）に代表的に示されるように、治療行為が一連の流れに沿って標準化され、各治療行為の間で分岐または遷移の条件等の判断基準が規定されているものである。なお、ＡＣＬＳは、救急救命センター等の医療機関で採用され、医師または十分な訓練を受けた者が、医師の指導の下に医療器具や医薬品を用いて実施する心肺蘇生のための手法であり、現在では心肺蘇生法の世界的な基準として認知されている。現在構築されている標準的治療プログラムは、心肺蘇生などに限定されているが、意識障害、重症熱傷、ガス・薬物中毒、外傷等、その他の症例に対しても構築されつつある。
【００１２】
そして、標準的治療プログラムに基づいて治療行為を実施し、その際の具体的な治療内容及びその手法、使用する医療器具、使用する薬品の種類及びその投与条件、及び治療に対する患者の反応等に関する情報等が記録される。また、治療行為提示情報とは、標準的治療プログラムに基づいて治療行為を実行するための情報であり、例えば、現在の治療内容を示す治療内容データ、次に実施する治療行為を決定するための判断基準を示す条件データなどが含まれる。この治療行為提示情報は、各治療行為毎にこれらの情報を連結した治療行為群情報の形で形成されているものであってもよい。
【００１３】
さらに、治療行為提示手段は、治療者によって選定された標準的治療プログラムの内容を、実際に治療行為を実施する治療者に具体的に提示するものであり、例えば、治療室内に設置された大型のディスプレイに治療内容データや条件データを表示し、治療者が当該治療行為を確認しながら行うことができるようにするものである。さらに、治療室に搬送されてからの経過時間、当該治療行為に遷移してからの時間等の情報を提示することも可能である。さらに、治療行為の内容を、スピーカ等を介して治療者の聴覚を通じて伝達するものであってもよい。
【００１４】
ここで、イベントインデックスとは、時系列に従って映像情報、音声情報、テキスト情報、またはセンサ情報等から検出された多様なイベントを統合し、情報の種類やイベントの内容などを構造化して記録したものである。さらに、医学的な専門知識を活用することによって、各イベント間の関連性を含めて記録することができる。そして、イベントインデックスを参照することによって、イベントの分類や再生時の各種情報の選択などを行うことが可能となり、多様な情報の活用が容易となる。
【００１５】
さらに、音声入力機器とは、マイク等から構成される音声入力機器を設置する設置数及び設置場所も治療室の状況に応じて選択することができる。このとき、個々の治療者のそれぞれの音声を特定し、個別に取得する場合や、治療室内の複数箇所に予め設置され、治療者の会話や指示の音声及び治療室内の医療機器から発せられる機器作動音や警報音等をまとめて一つの音声情報として取得する場合、またはこれらを組合わせて取得することもできる。
【００１６】
また、言語データベースは、治療行為の際に発現する可能性の高い言語表現、例えば、”気管挿管”、”気管切開”、”輪状甲状靱帯穿刺”等の治療行為の名称、或いは”除細動器”、”エコー”、”Ｘ線撮影”等の治療に使用される医療機器や器具等の名称、”血圧○○”、”脈拍△△”、”心拍停止”等の患者の様態を示すバイタルの値等の報告、或いは投与する薬品名等の語句、用語がその頻出可能性を示す統計情報とともに記録されている。ここで、統計情報は、例えば、気道の確保を目的とする治療の場合、”気管挿管”や”気管切開”のような言語に対して高く設定され、”エコー”や”Ｘ線撮影”のような言語に対して低く設定されている。一方、患者が腹部の痛みなどを訴え、意識や呼吸は安定している状況では、上述の”気管挿管”や”気管切開”などの言語が発現される可能性は極めて低く、腹部の内部の出血状況等を確認するための”エコー”などの医療機器の呼称が治療中に発現する可能性は高い。そのため、それぞれの治療行為の内容に対して、予め統計的に算出された発現可能性を示す統計情報を各言語に対応するように記録されている。
【００１７】
したがって、本発明の医療音声情報処理装置によれば、標準的治療プログラムに基づいて治療行為提示情報が提示され、実施された治療行為の記録が時系列的にイベントインデックスに構造化して記録される。このとき、治療行為中に発せられた治療者等の音声がマイク等の音声入力機器を介して音声情報として取得される。そして、この取得された音声情報に含まれる治療行為に特徴的な言語表現が、当該言語表現及び治療行為に対する発現可能性を数値化した統計情報とともに記憶された言語データベースから抽出される。すなわち、予め検出される可能性の高い言語表現に限定し、抽出処理がなされるため、認識精度が向上する。そして、治療行為等に対応して抽出された言語表現がイベントインデックスに構造化して同期して記録される。これにより、事後の治療行為に対する解析や検証作業を容易に行うことが可能となる。
【００１８】
さらに、本発明にかかる医療音声情報処理装置は、上記構成に加え、「前記治療イベント検出手段は、前記言語表現の発現される前後の所定範囲の時間幅の中で抽出される複数の言語表現の組合わせ、前記言語表現の抽出回数、及び前記言語表現の発現順序の少なくともいずれか一つに基づいて検出する」ものであっても構わない。
【００１９】
したがって、本発明の医療音声情報処理装置によれば、治療イベント検出手段は、所定の時間幅の中に含まれる言語表現の組合わせ、言語表現の抽出回数、及び発現順序等に基づいて治療行為またはイベントが検出される。例えば、所定の時間幅を最初の言語表現である”気管挿管”が検出されてから１分以内の間に、同じ”気管挿管”の言語表現が３回以上繰り返し検出されたり、”気管挿管”に続いて”気管切開”が検出されたりする場合などが挙げられる。これにより、音声情報に含まれる特定の言語表現を１回検出しただけで、当該治療行為やイベント等を検出するのではなく、複数回、発現順序等を考慮して検出される。その結果、治療行為等の検出精度が向上し、誤った情報がイベントインデックスに記録されることが少なくなる。なお、所定の時間幅の決定や、発現順序等については、医学的知識に基づき、予め決定しておくものであってもよい。
【００２０】
さらに、本発明にかかる医療音声情報処理装置は、上記構成に加え、「前記治療イベント検出手段は、複数の前記治療行為または前記イベントの候補から一つが選択して検出されるとともに、選択外の前記治療行為または前記イベントを未検出情報として保持する未検出情報保持手段をさらに有し、事後に検出された前記治療行為または前記イベントから、前記未検出情報に保持される前記治療行為または前記イベントを修正する修正手段」を具備するものであっても構わない。
【００２１】
したがって、本発明の医療音声情報処理装置によれば、治療行為またはイベントは、複数の候補がリストアップされ、その中から特に適するものが治療行為またはイベントとして記録される。このとき、この当該検索時において、選から漏れた治療行為やイベントに関する情報を一時的に記憶し、事後の治療行為等を検出する際の補助的な役割に利用することができる。すなわち、一度決定された治療行為またはイベントであっても、事後の治療行為の結果、前段階において正しくない治療行為が選択されていたことが判明することもある。このような場合、改めて、事後に戻って治療行為等の検出をやり直すのではなく、選択の際に保持していた未検出情報保持手段によって記録された未検出情報の中から、事後の現況に最も近似する治療行為等が検出される。これにより、新たに治療行為またはイベント等を検出する処理を要することがなく、速やかに事前の治療行為等を修正することが可能となる。その結果、医療音声情報処理装置に対する負荷が軽減されるとともに、修正によって正しい医療音声情報がイベントインデックスに記録されることとなる。
【００２２】
さらに、本発明にかかる医療音声情報処理装置は、上記構成に加え、「抽出された前記言語表現をスコア化する第一スコア化手段と、前記治療行為または前記イベントに対応して取得される映像情報、テキスト情報、及びセンサ情報の少なくともいずれか一つのモダリティ情報をスコア化する第二スコア化手段とさらに具備し、前記治療イベント検出手段は、スコア化された前記言語表現及び前記モダリティ情報を統合し、前記治療行為または前記イベントを検出する」ものであっても構わない。
【００２３】
ここで、モダリティ情報とは、カメラ等の映像入力機器を介して取得される治療室内の様子等を撮影した映像情報、コンソール等のテキスト入力機器を介して取得される治療結果や治療行為等をテキスト化したテキスト情報、及び医療機器或いは非医療機器によってセンシングされたセンサ情報等を含むものであり、前述した音声情報以外の治療行為に関するすべての情報を統合したものである。
【００２４】
さらに、第一スコア化手段及び第二スコア化手段とは、検出された言語表現に対して当該治療行為に対する合致度等を算出し、数値化（スコア化）するものであり、入力された音声情報から得られた第一スコアと、その他のモダリティ情報から得られた第二スコアとを統合し、両者を合わせた数値に基づいて治療イベントを検出することがなされる。
【００２５】
したがって、本発明の医療音声情報処理装置によれば、抽出された言語表現及びその他の映像等からなるモダリティ情報の双方をスコア化（数値化）し、その結果に基づいて治療行為またはイベントを検出することが可能となる。すなわち、音声情報のみによって検出された治療行為またはイベントに比べ、その他の映像等のモダリティ情報を組合わせることにより、音声情報の言語表現からは検出することができなかった細かい所作等から治療行為の内容を特に認識することが可能となる。
【００２６】
一方、本発明にかかる医療音声情報処理プログラムは、「治療行為の手順が標準化された標準的治療プログラムに基づいて、前記治療行為に対応する治療行為提示情報を提示する治療行為提示手段、提示される前記治療行為提示情報に同期して前記治療行為を時系列的にイベントインデックスに構造化して記録する治療行為記録手段、前記治療行為の際に生じる音声を音声情報として取得する音声情報取得手段、前記治療行為を示す特徴的な言語表現、及び前記言語表現の発現可能性を前記治療行為毎に算出した統計情報を言語データベースに記憶する言語データベース記憶手段、取得された前記音声情報から、前記言語データベースに記憶された前記言語表現を抽出する抽出手段、抽出された前記言語表現から前記統計情報を利用して、前記標準的治療プログラムの前記治療行為または前記治療行為に対応するイベントを検出する治療イベント検出手段、及び、認識された前記治療行為または前記イベントを、抽出された前記言語表現、及び前記言語表現の発現時刻の少なくともいずれか一つを含む医療音声情報を、前記イベントインデックスに構造化して記録する音声情報記録手段として、医療音声情報処理装置を機能させる」ものから主に構成されている。
【００２７】
さらに、本発明にかかる医療音声情報処理プログラムは、上記構成に加え、「前記言語表現の発現される前後の所定範囲の時間幅の中で抽出される複数の言語表現の組合わせ、前記言語表現の抽出回数、及び前記言語表現の発現順序の少なくともいずれか一つに基づいて前記治療行為または前記イベントを検出する前記イベント認識手段として、前記医療音声情報処理装置をさらに機能させる」ものであっても構わない。
【００２８】
さらに、本発明にかかる医療音声情報処理プログラムは、上記構成に加え、「複数の前記治療行為または前記イベントの候補から一つが選択して認識されるとともに、選択外の前記治療行為または前記イベントを未認識情報として保持する未認識情報保持手段、及び、事後に認識された前記治療行為または前記イベントから、前記未認識情報に保持される前記治療行為または前記イベントを修正する修正手段として、前記医療音声情報処理装置をさらに機能させる」ものであっても構わない。
【００２９】
さらに、本発明にかかる医療音声情報処理プログラムは、上記構成に加え、「抽出された前記言語表現をスコア化する第一スコア化手段、前記治療行為または前記イベントに対応して取得される映像情報、テキスト情報、及びセンサ情報の少なくともいずれか一つのモダリティ情報をスコア化する第二スコア化手段、及び、スコア化された前記言語表現及び前記モダリティ情報を統合し、前記治療行為または前記イベントを検出する前記治療イベント検出手段として、前記医療音声情報処理装置をさらに機能させる」ものであっても構わない。
【００３０】
したがって、本発明の医療音声情報処理プログラムによれば、プログラムを実行することにより、医療音声情報処理装置に上記作用を奏させることが可能となる。
【発明の効果】
【００３１】
本発明の効果として、標準的治療プログラムに基づいて実行された各治療行為に関する記録をイベントインデックスに同期して記録するともに、治療中に交わされた会話や指示等から、治療行為に特徴的な言語表現を抽出し、治療行為の内容やイベントを検出することができる。特に、予め言語データベースに記憶された統計情報によって、治療行為の発現可能性を考慮して該言語表現の検出及びイベント等が検出されるため、検出精度が格段に優れたものとなる。さらに、言語表現の検出を所定の時間幅に対応して行っているため、その言語及びその他の言語表現との組合わせ、言語表現の発現順序等によって、イベント等の検出が明瞭に行われる。これにより、検出されるイベント等の検出精度が向上し、事後の検索及び再生等の作業を効率的に行うことができるようになる。
【発明を実施するための最良の形態】
【００３２】
次に、本実施形態の医療音声情報処理装置１（以下、単に「音声処理装置１」と称す）について、図１乃至図６に基づいて説明する。ここで、図１は本実施形態の音声処理装置１の概略構成を示すブロック図であり、図２及び図３は音声処理装置１による音声認識を模式的に示す説明図であり、図４及び図５は音声処理装置１の処理の流れを示すフローチャートであり、図６はイベントインデックス２の一例を示す説明図である。
【００３３】
本実施形態の音声処理装置１は、図１及び図２に示すように、治療室に配され、医療音声情報３の記録等の処理を行う処理装置本体４と、処理装置本体４に接続し、治療室で発生した音声を音声情報５として取得するための複数のマイク６と、標準的治療プログラム２０に則って実施される各治療行為の内容や遷移条件等を示す治療行為提示情報２１を映像及び音声を通じて治療者に提示するための液晶ディスプレイ８及びスピーカ９によって主に構成されている。さらに、音声処理装置１は、その他の構成として、治療行為に対する処置結果や所見等をテキスト情報１０としてテキスト化して入力するための操作入力用のコンソール１１、治療室の様子を把握するための種々のセンサ情報１２を取得するための医療機器１３（例えば、患者の心拍数等のバイタルサインを測定するための心電図モニタ等）、或いは治療室内における治療者等の動きを検出するための非接触型の各種センサ１４等と、治療室の様子を撮影し、映像情報１５を取得する映像入力機器１６と接続されている。ここで、医療機器１３或いは非医療機器である各種センサ１４によって取得されるセンサ情報１２、コンソール１１から入力されるテキスト情報１０、及び映像入力機器１６から入力される映像情報１５は、モダリティ情報７として統合して記録される。ここで、マイク６が本発明における音声情報取得手段に相当し、液晶ディスプレイ８及びスピーカ９が後述する情報提示手段１９の一部機能に相当する。
【００３４】
さらに、処理装置本体４は、その機能的構成として、治療行為の手順が標準化された標準的治療プログラム２０に基づいて、各治療行為の内容及び遷移条件等が記述された治療行為提示情報２１を記憶するプログラム記憶手段２２と、プログラム記憶手段２２に記憶された治療行為提示情報２１を液晶ディスプレイ８及びスピーカ９を介して提示する情報提示手段１９と、提示される治療行為提示情報２１に同期して治療行為及びその治療行為に係る治療記録を時系列に沿ってイベントインデックス２に構造化して記録する治療行為記録手段２３と、治療行為の際に生じる音声を音声情報５としてマイク６を介して取得する音声情報取得手段２４と、治療行為を表す特徴的な言語表現２５を記憶する辞書情報２６及びその言語表現２５の治療行為毎の発現可能性を予め算出した統計情報２７を言語データベース２８に記憶する言語データベース記憶手段２９と、取得された音声情報５から、言語データベース２８に記憶された辞書情報２６に合致する言語表現２５を抽出する抽出手段３０と、抽出された言語表現２５に対する統計情報２７に基づいて、標準的治療プログラムに対応する治療行為または治療行為に対するイベントを検出する治療イベント検出手段３１と、検出された治療行為またはイベントを、抽出された言語表現２５、該言語表現の発現された発現時刻５１（図６参照）のデータを含んだ医療音声情報３として、イベントインデックス２に構造化して記録する音声情報記録手段３４とを具備して主に構成されている。なお、情報提示手段１９が本発明における治療行為提示手段に相当する。
【００３５】
ここで、治療イベント検出手段３１は、言語データベース２８から特徴的な言語表現２５を抽出される際に、その言語表現２５の抽出される所定の時間幅Ｔの抽出回数、当該言語表現２５と関連する言語表現２５の抽出（組合わせ）、または複数の言語表現２５の発現順序等に応じて、治療行為またはイベントを検出する時間幅検出手段３５を含んで構成されている。
【００３６】
また、処理装置本体４は、その他の機能的構成として、治療行為またはイベントを検出するための治療イベント検出手段３１において、複数の候補イベント３６の中から一つが選択されると（選択イベント）、選択されたなかったそれ以外の非選択イベントに関する情報を未検出情報３８として記録する未検出情報記録手段３９と、治療行為等の進行に応じて未検出情報３８に含まれる非選択イベントの中から再検出し、当該治療行為またはイベントを修正する修正手段４０と、抽出された言語表現２５を統計情報２７等に基づいて数値化する第一スコア化手段４１と、処理装置本体４に記録された音声情報５を除く、映像情報１５、テキスト情報１０等のモダリティ情報７をスコア化する第二スコア化手段４２とを具備して主に構成されている。なお、第一スコア化手段４１及び第二スコア化手段４２によって数値化された情報は、スコア情報４５として記録されている。なお、本実施形態の音声処理装置１で使用される処理装置本体４は、種々のデータを記録及び管理し、また情報の取得のための各種記録機器を選択的に制御するための機能を有するものであり、ここでは汎用のパーソナルコンピュータを応用して構築されている。したがって、これらの処理装置本体４は、ＣＰＵ等の演算回路、各種信号の送受を行うためのインターフェイス回路及びインターフェイス機器、及び取得した情報を記録し、保存するためのハードディスク及び半導体メモリ等の記憶媒体を含むハードウェア構成によって構築されている。
【００３７】
ここで、本実施形態の治療イベント検出手段３１、未検出情報記録手段３９，及び修正手段４０について、さらに詳細に説明すると、図２に模式的に示すように、標準的治療プログラム２に則って時系列に沿って実施される治療行為や該治療行為に対して発生するイベントが音声情報５を利用して抽出される。ここで、図２（及び図３）における紙面下方に向かう矢印が標準的治療プログラム２０の時系列に沿った流れを示している。そして、例えば、図２において、治療行為Ａ０（図２における上段に相当）が実施されている場合において、該治療行為Ａ０の特定の時間幅Ｔにおいて検出された特定の言語表現２５によって、次に実施される可能性を有する複数の候補イベント３６（図２における下段に相当）が提示される。なお、図２中において四角形状で表された図形が個々のイベントを示している。そして、言語表現２５の検出から、治療行為Ａ０に対して複数のイベントＡ１〜イベントＡＸが提示される。なお、各イベントには、それぞれの言語表現２５及びその他のモダリティ情報７をスコア化し、統合したスコア値４６が対応して記憶され、図２では四角枠内にイベント名とともに数値”＜５＞”〜”＜０＞”で併せて図示している。なお、スコア値４６は、本実施形態では”＜５＞”〜”＜０＞”の六段階で表すものとし、”＜５＞”になる程、言語表現２５に対して合致する可能性の高い治療行為またはイベントを示し、一方、”＜０＞”になる程、合致する可能性の低い治療行為またはイベントであることを示している。そして、上述した候補イベント３６の中から、前述した言語データベース２８に含まれる統計情報２７、及び抽出された音声情報５、標準的治療プログラム２０の実施状況、及びモダリティ情報７等をスコア化したスコア情報４５に基づいて、次に実施される可能性の高い治療行為またはイベントが検索され、選択イベント（二重枠で図示）として決定される。換言すれば、図２においては、イベントＢが選択イベントとして選ばれることとなる。一方、選択されなかったイベント（選択イベント以外の候補イベント３６）は、非選択イベントとしてリスト化され、その情報が未検出情報３８として記憶される。
【００３８】
このとき、以前に検出された治療行為等が事後の検出によって誤っていると認識された場合、本実施形態の修正手段４０によって検出されたイベントの修正が行われる。具体的に示すと、図３のイベントＢで直前（またはそれ以前）に検出されたイベント（ここでは、イベントＡ１が相当）が誤検出と判断されると、記憶された未検出情報３８の中の非選択イベントから正しいイベント（イベントＡ３が相当）が改めて検出される。そして、このイベントＡ３から、さらに音声情報５を認識し、実施可能性のあるイベントが候補イベント３６の中から選択され、決定される（イベントＢ３が相当）。すなわち、一度、決定されたイベントであっても、事後に当該決定が不適当であった場合、記憶された未検出情報３８及び修正手段４０によって修正が行われる。そのため、音声情報５に基づくイベントの検出精度が高くなることが期待される。
【００３９】
次に、本実施形態の音声処理装置１の処理の流れについて、図４及び図５に基づいて説明する。ここで、図４及び図５のフローチャートにおけるステップＳ１からステップＳ１６が本発明における医療音声情報処理プログラムに相当する。
【００４０】
始めに、音声処理装置１の処理装置本体４、及び処理装置本体４に接続されたマイク６等の各種機器を起動し、稼働状態にする（ステップＳ１）。そして、治療室に搬送された患者の状態を治療者が診断し、搬送直後の状態に所見に基づいて患者の診断を下す。そして、使用する標準的治療プログラムの選定が行われる。このとき、音声処理装置１は、処理装置本体４に接続されたコンソール１１を介して、選定された標準的治療プログラム２０を実行する旨の指示の入力を受付け、標準的治療プログラム２０を実行する（ステップＳ２）。これにより、処理装置本体４は、プログラム記憶手段２２に記憶された各治療行為毎に提示された治療行為提示情報２１を液晶ディスプレイ８及びスピーカ９を通じて治療者に対して提示する（ステップＳ３）。
【００４１】
その後、提示された治療行為提示情報２１の内容を確認した治療者によって患者に対して治療行為が実施される。このとき、音声処理装置１は、治療室に設置された複数のマイク６によって、治療室内で発せられる治療者同士の会話や指示等の音声を音声情報５として取得する（ステップＳ４）。さらに、これと同じタイミングで、処理装置本体４に接続されたその他の機器によって各種情報を取得し、記録する（ステップＳ５）。具体的に説明すると、接続された映像入力機器１６によって治療室の様子を撮影した映像情報１５を取得し、コンソール１１を利用して入力された治療行為の結果や所見等のテキスト情報１０を取得し、治療室に配された医療機器１３或いは位置センサ等の非医療機器からなる各種センサ１４からセンサ情報１２を取得する。
【００４２】
その後、処理装置本体４は、取得された音声情報５に含まれる、治療行為または治療行為に対応する特徴的な（キーとなる）イベントに係る言語表現２５を言語データベース２８に基づいて抽出する（ステップＳ６）。このとき、言語データベース２８には、治療行為に関する言語表現２５を記憶した辞書情報２６と、言語表現２５の当該治療行為についての発現可能性を統計的に算出し、その結果が記録された統計情報２７によって形成されている。そのため、標準的治療プログラム２０によって提示された治療行為提示情報２１に対応する治療行為を認識し、さらに統計情報２７に基づいて当該言語表現２５を抽出することが行われる。このとき、前述したように、言語表現２５の抽出は、音声情報５に含まれる一つの言語表現２５を音声認識やワードスポッティング技術を用いて検出し、抽出するものであっても構わないが、当該治療行為またはイベント等をさらに高精度で検出するために、下記に掲げる方法によって行われている。
【００４３】
すなわち、図２または図３に示すように、音声情報５に含まれるイベント等に特徴的な言語表現２５ａを検出する場合、所定の時間幅Ｔの中に言語表現２５ａに関連する関連言語表現２５ｂ，２５ｃが含まれているとすると、これらの複数の言語表現２５ａを認識することによって、イベント等の検出精度を向上させることが行われる。すなわち、音声情報５の中には治療行為やイベントに関すること以外のその他の言語表現も多数存在するため、これらをすべて認識し、イベント等の関連づけた検出処理をすることは音声処理装置１の処理装置本体４に対する負担が過剰となる。そこで、標準的治療プログラム２０によって提示される各治療行為毎に検出する言語表現２５ａが所定の時間幅Ｔの中で一定の条件で認識されか否かを判断する。すなわち、これにより、例えば、所定の時間幅Ｔの中で”気管閉塞”の言語表現２５ａが抽出され、その後に気道を確保するための”気管内チューブ”等の医療器具の名称や気管挿管を要求する”治療指示”に関する関連言語表現２５ｂ，２５ｃ等が抽出された場合、係るイベントは”気管挿管”の治療行為またはイベントに関するものと検出され、標準的治療プログラムに則った治療行為の流れに合わせて認識される。なお、一つの言語表現２５ａが複数回（例えば、三回以上）検出された場合に初めて当該言語表現２５ａを抽出するなどの条件を定めるものであってもよい。また、それぞれの言語表現２５ａの発現順序、例えば、”言語表現２５ａ→関連言語表現２５ｂまたは関連言語表現２５ｃ”は認識し、一方、”関連言語表現２５ｂ→言語表現２５ａ”の発現順序の場合は認識しない等の発現順序を関連づけるものであっても構わない。
【００４４】
そして、抽出された言語表現２５ａ等が統計情報２７及び標準的治療プログラム２０の治療行為提示情報２１に対応するようにスコア化される（ステップＳ７）。さらに、同様に音声情報５から言語表現２５ａ等が抽出された際の標準的治療プログラム２０の状態（提示される治療行為、治療行為に対する記録を含む）及び音声情報５以外に取得された映像情報１５等のモダリティ情報７のスコア化も同時に行われる（ステップＳ８，ステップＳ９）。そして、それぞれスコア化されたスコア値４６を統合する（ステップＳ１０）。このとき、スコア値４６の算出は、言語表現２５ａ等や言語表現２５ａ等に対応する統計情報２７、或いは治療行為に対する関連性等に基づいて予め規定された基準に従って行われる。
【００４５】
そして、統合されたスコア情報４５に基づいて当該時点における治療行為またはイベントを検出する（ステップＳ１１）。このとき、検出されたイベント等が前段階で検出されたイベント等と時系列的な流れにおいて合致しない場合、即ち、前段階で検出されたイベントが誤検出と判断される場合（ステップＳ１２においてＹＥＳ）、前段階のイベント検出の際に未検出情報３８として記録された未選択イベントの中から、改めてイベント等の検出処理がなされる（ステップＳ１３：図３二点鎖線参照）。一方、誤検出がない場合（ステップＳ１２においてＮＯ）、ステップＳ１３の処理をキャンセルする。
【００４６】
その後、治療行為に対するイベントの記録が、治療行為の記録と同期してイベントインデックス２に構造化して記録される（ステップＳ１４）。ここで、図６にイベントインデックス２の一例を示すと、検出された治療行為またはイベントに係るイベント項目５０、抽出された言語表現２５、言語表現の発現時刻５１、スコア情報４６等が構造化して記録されている。これにより、事後に治療行為を検証する作業において、各イベント等の項目が構造化して記録されているため、イベント項目５０や言語表現２５等を指定することにより、音声情報５及びその他関連するモダリティ情報７を容易に再生することができる。なお、図示していないが、モダリティ情報７もイベントインデックス２に同期して構造化して記録されている。
【００４７】
そして、処理装置本体４は、イベントインデックス２に各種情報を記録した後、新たな音声情報５の取得を継続するか否かの判断の指示の有無を検出し、音声情報５の取得を継続しない場合（ステップＳ１５においてＹＥＳ）、音声処理装置１による音声情報５の取得及びイベント検出の処理を終了する（ステップＳ１６）。一方、音声情報５の取得を継続する場合（ステップＳ１５においてＮＯ）、ステップＳ４の処理に戻り、マイク６を介して取得される音声情報５の取得及び言語表現２５ａ等の抽出を継続する。
【００４８】
上記に示したように、本実施形態の音声処理装置１によれば、標準的治療プログラムに基づいて実施される治療行為または治療行為に対するイベントを、マイク６を通じて取得した音声情報５に基づいて検出し、イベントインデックス２に同期して記録することができる。特に、言語データベース２８に予め記憶された言語表現２５を限定的に抽出することにより、かつ発現可能性を統計的に示した統計情報２７を利用することにより、各治療行為に対するイベントの検出精度が向上する。また、音声情報５とともに、音声処理装置１に接続されたその他の映像情報１５等のモダリティ情報７をスコア化し、これと抽出された言語表現２５のスコアと統合することにより、イベント検出精度をさらに高めることができる。
【００４９】
さらに、発生したイベントの種類（イベント項目５０）、発現時刻５１と連動し、イベントインデックス２に構造化して記録されたその他のモダリティ情報７を再生することが可能となり、治療行為を事後に確認し、診療記録等を作成する場合の再生作業が速やかに行われる。さらに、検出されたイベント等をタグ情報として活用し、類似症例等の検索に応用することも可能となる。
【００５０】
以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
【００５１】
すなわち、本実施形態の音声処理装置１において、所定の時間幅Ｔの間で抽出された複数の言語表現２５に基づいてイベント等を検出するものを示したが、これに限定されるものではなく、音声情報５に含まれる言語表現２５から直接イベント等を検出するものであっても構わない。これにより、検出精度は若干低下するものの、音声処理装置１に係る負担を軽減することができる。そのため、複雑な言語表現２５を含まない状況においては、検出精度を切替え、単一の言語表現２５のみの抽出を行うものであってもよい。
【００５２】
さらに、本実施形態の音声処理装置１において、イベント等の検出を、音声情報５と、その他映像情報１５を含むモダリティ情報８とをスコア化し、それぞれを統合したイベント等を判断するものを示したが、これに限定されるものではなく、音声情報５のみでイベント等を抽出するものであっても構わない。
【図面の簡単な説明】
【００５３】
【図１】本実施形態の音声処理装置の概略構成を示すブロック図である。
【図２】音声処理装置による音声認識を模式的に示す説明図である。
【図３】音声処理装置による音声認識を模式的に示す説明図である。
【図４】音声処理装置の処理の流れを示すフローチャートである。
【図５】音声処理装置の処理の流れを示すフローチャートである。
【図６】イベントインデックスの一例を示す説明図である。
【符号の説明】
【００５４】
１  音声処理装置（医療音声情報処理装置）
２  イベントインデックス
３  医療音声情報
５  音声情報
６  マイク（音声入力機器）
７  モダリティ情報
８  液晶ディスプレイ（情報提示手段、治療行為提示手段）
９  スピーカ（情報提示手段、治療行為提示手段）
１０  テキスト情報（モダリティ情報）
１２  センサ情報（モダリティ情報）
１５  映像情報（モダリティ情報）
１９  情報提示手段（治療行為提示手段）
２０  標準的治療プログラム
２１  治療行為提示情報
２３  治療行為記録手段
２４  音声情報取得手段
２５  音声情報
２５，２５ａ  言語表現
２５ｂ，２５ｃ  関連言語表現（言語表現）
２７  統計情報
２８  言語データベース
２９  言語データベース記憶手段
３０  抽出手段
３１  治療イベント検出手段
３２  発現時刻
３４  音声情報記録手段
３５  時間幅検出手段
３８  未検出情報
３９  未検出情報記録手段
４０  修正手段
４１  第一スコア化手段
４２  第二スコア化手段
Ｔ  時間幅
【図１】
2006302057.tif 000003
【図２】
2006302057.tif 000004
【図３】
2006302057.tif 000005
【図４】
2006302057.tif 000006
【図５】
2006302057.tif 000007
【図６】
2006302057.tif 000008