(57)【要約】【課題】医師による患者の診察業務を適切に補助することが可能な診察補助プログラムおよび診察補助システムを提供する。【解決手段】診察補助システムの制御部は、話者が発声してマイクに入力された音声を取得する（Ｓ１１）。制御部は、取得した音声に対して、音声の意味情報を認識する音声認識処理を実行する（Ｓ１２）。制御部は、取得した音声を発声した話者を識別する話者識別処理を実行する（Ｓ１３）。制御部は、音声認識処理による認識結果、および話者識別処理による話者の識別結果に基づいて、音声に対応する医療情報を生成する情報生成処理、および、音声に対応する医療情報を抽出して出力する医療情報抽出処理の少なくともいずれかを実行する（Ｓ１４〜Ｓ２０，Ｓ２２〜Ｓ２６）．【選択図】図４
2020140607.tif 000002
【特許請求の範囲】
【請求項１】
医師による患者の診察を補助する診察補助システムにおいて実行される診察補助プログラムであって、
前記診察補助プログラムが前記診察補助システムのコントローラによって実行されることで、
話者が発声してマイクに入力された音声を取得する音声取得ステップと、
前記音声取得ステップにおいて取得された音声に対して、音声の意味情報を認識する音声認識処理を実行する音声認識ステップと、
前記音声取得ステップにおいて取得された音声を発声した話者を識別する話者識別処理を実行する話者識別ステップと、
前記音声認識処理による認識結果、および前記話者識別処理による話者の識別結果に基づいて、前記音声に対応する医療情報を生成する情報生成処理、および、複数の医療情報を記憶する記憶装置から前記音声に対応する医療情報を抽出して出力する医療情報抽出処理の少なくともいずれかを実行する情報処理ステップと、
を前記診察補助システムに実行させることを特徴とする診察補助プログラム。
【請求項２】
請求項１に記載の診察補助プログラムであって、
前記医療情報抽出処理では、
前記話者識別処理によって話者が医師であると識別され、且つ、前記音声認識処理によって患者の医療情報を指定する意味情報が認識された場合に、前記記憶装置に記憶されている前記患者の医療情報から、指定された医療情報が抽出されて出力されることを特徴とする診察補助プログラム。
【請求項３】
請求項１または２に記載の診察補助プログラムであって、
前記情報生成処理は、
前記話者識別処理によって話者が医師であると識別され、且つ、前記音声認識処理によって前記医師による診察結果を示す意味情報が認識された場合に、前記診察結果を示す情報をカルテ情報として生成するカルテ情報生成処理を含むことを特徴とする診察補助プログラム。
【請求項４】
請求項１から３のいずれかに記載の診察補助プログラムであって、
前記情報生成処理は、
前記話者識別処理によって話者が医師であると識別され、且つ、前記音声認識処理によって薬の処方および検査の実行の少なくともいずれかを指示する意味情報が認識された場合に、指示内容を示すオーダー情報を生成するオーダー情報生成処理を含むことを特徴とする診察補助プログラム。
【請求項５】
請求項１から４のいずれかに記載の診察補助プログラムであって、
前記情報生成処理は、
前記話者識別処理によって話者が患者であると識別され、且つ、前記音声認識処理によって問診の回答結果を示す意味情報が認識された場合に、前記問診の回答結果を示す問診結果情報を生成する問診結果情報生成処理を含むことを特徴とする診察補助プログラム。
【請求項６】
請求項１から５のいずれかに記載の診察補助プログラムであって、
前記情報生成処理は、
前記話者識別処理によって話者が患者であると識別された場合に、前記音声認識処理によって認識された意味情報に基づいて、前記患者が発声した言語を他の言語に翻訳した翻訳情報を生成して出力する翻訳情報生成処理を含むことを特徴とする診察補助プログラム。
【請求項７】
請求項１から６のいずれかに記載の診察補助プログラムであって、
診察中の患者を識別する患者識別情報を取得する患者識別情報取得ステップ
が前記診察補助システムによって実行され、
前記情報生成処理では、前記患者識別情報によって識別された前記患者に対応付けて、生成された前記医療情報が前記記憶装置に記憶され、
前記医療情報抽出処理では、前記記憶装置に記憶された複数の患者の医療情報のうち、前記患者識別情報によって識別された前記患者の医療情報が抽出されて出力されることを特徴とする診察補助プログラム。
【請求項８】
医師による患者の診察を補助する診察補助システムであって、
前記診察補助システムの制御部は、
話者が発声してマイクに入力された音声を取得し、
取得した音声に対して、音声の意味情報を認識する音声認識処理を実行し、
取得した音声を発声した話者を識別する話者識別処理を実行し、
前記音声認識処理による認識結果、および前記話者識別処理による話者の識別結果に基づいて、前記音声に対応する医療情報を生成する情報生成処理、および、複数の医療情報を記憶する記憶装置から前記音声に対応する医療情報を抽出して出力する医療情報抽出処理の少なくともいずれかを実行することを特徴とする診察補助システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医師による患者の診察を補助するための診察補助プログラムおよび診察補助システムに関する。
【背景技術】
【０００２】
患者に関する医療情報を処理するための種々の技術が提案されている。例えば、特許文献１が開示する医療情報システムでは、患者の識別情報の表示欄に、患者の付加情報がアイコン形式で表示される。アイコンが指定されると、指定されたアイコンに対応する患者の付加情報が画面上に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３８５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の医療情報システムでは、ユーザ（例えば、医師または補助者等）は、所望の医療情報を得るために、操作部（ポインティングデバイス）を操作して指示を入力する必要があった。従って、医師による患者の診察業務をより適切に補助できることが望ましい。
【０００５】
本開示の典型的な目的は、医師による患者の診察業務を適切に補助することが可能な診察補助プログラムおよび診察補助システムを提供することである。
【課題を解決するための手段】
【０００６】
本開示における典型的な実施形態が提供する診察補助プログラムは、医師による患者の診察を補助する診察補助システムにおいて実行される診察補助プログラムであって、前記診察補助プログラムが前記診察補助システムのコントローラによって実行されることで、話者が発声してマイクに入力された音声を取得する音声取得ステップと、前記音声取得ステップにおいて取得された音声に対して、音声の意味情報を認識する音声認識処理を実行する音声認識ステップと、前記音声取得ステップにおいて取得された音声を発声した話者を識別する話者識別処理を実行する話者識別ステップと、前記音声認識処理による認識結果、および前記話者識別処理による話者の識別結果に基づいて、前記音声に対応する医療情報を生成する情報生成処理、および、複数の医療情報を記憶する記憶装置から前記音声に対応する医療情報を抽出して出力する医療情報抽出処理の少なくともいずれかを実行する情報処理ステップと、を前記診察補助システムに実行させる。
【０００７】
本開示における典型的な実施形態が提供する診察補助システムは、医師による患者の診察を補助する診察補助システムであって、前記診察補助システムの制御部は、話者が発声してマイクに入力された音声を取得し、取得した音声に対して、音声の意味情報を認識する音声認識処理を実行し、取得した音声を発声した話者を識別する話者識別処理を実行し、前記音声認識処理による認識結果、および前記話者識別処理による話者の識別結果に基づいて、前記音声に対応する医療情報を生成する情報生成処理、および、複数の医療情報を記憶する記憶装置から前記音声に対応する医療情報を抽出して出力する医療情報抽出処理の少なくともいずれかを実行する。
【０００８】
本開示に係る診察補助プログラムおよび診察補助システムによると、医師による患者の診察業務が適切に補助される。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の診察補助システム１００の電気的構成を示すブロック図である。
【図２】マルチメディア端末１の斜視図である。
【図３】診察補助システム１００が実行する診察補助処理のフローチャートである。
【図４】診察補助処理中で実行される音声情報処理のフローチャートである。
【図５】意味内容テーブルの構成を示す概念図である。
【発明を実施するための形態】
【００１０】
＜概要＞
本開示で例示する診察補助システムは、音声取得ステップ、音声認識ステップ、話者識別ステップ、および情報処理ステップを実行する。音声取得ステップでは、話者が発声してマイクに入力された音声が取得される。音声認識ステップでは、音声取得ステップにおいて取得された音声に対して、音声の意味情報を認識する音声認識処理が実行される。話者識別ステップでは、音声取得ステップにおいて取得された音声を発声した話者を識別する話者識別処理が実行される。情報処理ステップでは、音声認識処理による認識結果、および話者識別処理による話者の識別結果に基づいて、情報生成処理および医療情報抽出処理の少なくともいずれかが実行される。情報生成処理では、認識された音声に対応する医療情報が生成される。医療情報抽出処理では、複数の医療情報を記憶する記憶装置から、認識された音声に対応する医療情報が抽出されて出力される。
【００１１】
本開示で例示する診察補助システムによると、話者（例えば、医師、補助者、および患者等の少なくともいずれか）が発声するだけで、情報生成処理および医療情報抽出処理の少なくともいずれかが実行される。従って、ユーザが各種操作部の操作等を実行する頻度を抑制した状態で、医師による診察業務が補助される。さらに、情報生成処理および医療情報抽出処理の少なくともいずれかは、音声認識処理による認識結果だけでなく、話者識別処理による識別結果も考慮されたうえで実行される。従って、例えば、患者の発話に応じて不適切な医療情報が出力される可能性、および、患者の発話が医師の発話として医療情報が不適切に生成される可能性等が減少する。よって、医師による診察業務が適切に補助される。
【００１２】
医療情報抽出処理では、話者識別処理によって話者が医師であると識別され、且つ、音声認識処理によって患者の医療情報を指定する意味情報が認識された場合に、記憶装置に記憶されている患者の医療情報から、音声によって指定された医療情報が抽出されて出力されてもよい。この場合、医師は、記憶装置に記憶されている複数の医療情報のうち、所望の医療情報を発話によって指定するだけで、指定した医療情報を容易に診察補助システムに出力させることができる。また、患者等の発話によって不適切な医療情報が出力される可能性も低い。
【００１３】
なお、医療情報抽出処理で抽出される医療情報の具体的態様は、適宜選択できる。例えば、過去の診察時に、または、その時点で行われている診察日と同日に実行された、各種検査結果の情報が、医療情報抽出処理で抽出されてもよい。また、過去の診察時に作成されたカルテの情報が抽出されてもよい。カルテの情報には、例えば、患者に対する診察結果のデータ、患者に対して処方された処方薬のデータ等の少なくともいずれかが含まれていてもよい。
【００１４】
また、抽出された医療情報を出力する方法も適宜選択できる。例えば、制御部は、抽出された医療情報を表示部に表示させることで、医療情報を出力してもよい。また、制御部は、抽出された医療情報を、スピーカに音声で出力させてもよい。
【００１５】
情報生成処理は、カルテ情報生成処理を含んでいてもよい。カルテ情報生成処理では、話者識別処理によって話者が医師であると識別され、且つ、音声認識処理によって医師による診察結果を示す意味情報が認識された場合に、診察結果を示す情報がカルテ情報として生成されてもよい。この場合、医師は、診察結果を発話するだけで、カルテ情報を容易に診察補助システムに生成させることができる。
【００１６】
情報生成処理は、オーダー情報生成処理を含んでいてもよい。オーダー情報生成処理では、話者識別処理によって話者が医師であると識別され、且つ、音声認識処理によって薬の処方および検査の実行の少なくともいずれかを指示する意味情報が認識された場合に、指示内容を示すオーダー情報が生成されてもよい。この場合、医師は、指示内容を発話するだけで、オーダー情報を容易に診察補助システムに生成させることができる。また、患者等の発話によって不適切なオーダー情報が生成される可能性も低い。
【００１７】
なお、オーダー情報は、薬の処方を指示する情報、および検査の実行を指示する情報に限定されない。例えば、次回の診察予定を決定する指示等を示すオーダー情報が、情報生成処理によって生成されてもよい。他の病院への患者の紹介を指示するオーダー情報が、情報生成処理によって生成されてもよい。
【００１８】
また、制御部は、生成したオーダー情報を外部に出力するオーダー情報出力処理を実行してもよい。例えば、制御部は、薬の処方の指示を示すオーダー情報を生成した場合に、生成したオーダー情報を、薬局に設置された外部機器へ出力してもよい。また、制御部は、他の病院への患者の紹介を指示するオーダー情報を生成した場合に、生成したオーダー情報を、詳細先の病院に設置された外部機器へ出力してもよい。
【００１９】
情報生成処理は、問診結果情報生成処理を含んでいてもよい。問診結果情報生成処理では、話者識別処理によって話者が患者であると識別され、且つ、音声認識処理によって問診の回答結果を示す意味情報が認識された場合に、問診の回答結果を示す問診結果情報が生成されてもよい。この場合、ユーザ（医師または補助者等）が操作部の操作等を行わなくても、問診結果情報が適切に生成される。
【００２０】
情報生成処理は、翻訳情報生成処理を含んでいてもよい。翻訳情報生成処理では、話者識別処理によって話者が患者であると識別された場合に、音声認識処理によって認識された意味情報に基づいて、患者が発声した言語を他の言語に翻訳した翻訳情報が生成されて出力されてもよい。この場合、医師が使用する言語と患者が使用する言語が異なっていても、医師は容易に診察業務を実行することができる。なお、翻訳情報は、表示部に文字を表示させることで出力されてもよいし、音声によって出力されてもよい。
【００２１】
診察補助システムは、診察中の患者を識別する患者識別情報を取得する患者識別情報取得ステップをさらに実行してもよい。情報生成処理では、患者識別情報によって識別された患者に対応付けて、生成された医療情報が記憶装置に記憶されてもよい。医療情報抽出処理では、記憶装置に記憶された複数の患者の医療情報のうち、患者識別情報によって識別された患者の医療情報が抽出されて出力されてもよい。この場合、情報生成処理および医療情報抽出処理の少なくともいずれかが、診察中の患者を識別したうえで適切に実行される。
【００２２】
なお、患者識別情報を取得するための具体的な方法は、適宜選択できる。例えば、制御部は、画像を撮影する撮影部によって撮影された患者の画像を取得し、取得した患者の画像に対して顔認識処理を実行することで、患者識別情報を取得してもよい。この場合、患者の顔が撮影されるだけで、患者識別情報が適切に取得される。また、患者識別用記憶媒体（例えば、バーコードまたはＱＲコード（登録商標）等のコードシンボル、またはＩＣチップ等）が、患者毎に付与されていてもよい。この場合、患者識別用記憶媒体が読み取られることで、患者識別情報が取得されてもよい。また、ユーザが操作部を操作することで、患者識別情報が診察補助システムに入力されてもよい。
【００２３】
＜実施形態＞
（システム構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。一例として、本実施形態では、マルチメディア端末１、パーソナルコンピュータ（以下、「ＰＣ」という）２、およびサーバ３を備えた診察補助システム１００を例示する。しかし、詳細は後述するが、診察補助システム１００のシステム構成を変更することも可能である。また、本実施形態では、眼科分野の医療情報を処理することで眼科医の診察を補助する診察補助システムを例示する。しかし、本実施形態で例示する技術の少なくとも一部は、眼科分野以外の医療分野の医療情報を処理する診察補助システムにも適用できる。
【００２４】
図１を参照して、本実施形態における診察補助システム１００のシステム構成について説明する。本実施形態の診察補助システムは、各拠点（例えば病院等）において使用されるマルチメディア端末１およびＰＣ２と、各拠点のマルチメディア端末１およびＰＣ２の少なくともいずれか（本実施形態では両方）との間でデータを送受信するサーバ３とを備える。
【００２５】
マルチメディア端末１は、双方向通信が可能な情報通信端末である。一例として、本実施形態の診察補助システム１００では、医師による診察を補助するシュライバー（ドクターズクラーク）としての主体的な機能を、マルチメディア端末１が果たす。マルチメディア端末１は、各種制御処理を行う制御ユニット１０を備える。制御ユニット１０には、ＣＰＵ（コントローラ）１１、ＲＡＭ１２、ＲＯＭ１３、および不揮発性メモリ（Ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ：ＮＶＭ）１４が設けられている。ＣＰＵ１１は、マルチメディア端末１の各種制御を司る。ＲＡＭ１２は、各種情報を一時的に記憶する。ＲＯＭ１３には、各種プログラム、初期値等が記憶されている。不揮発性メモリ１４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。例えば、ハードディスクドライブ、フラッシュＲＯＭ、および着脱可能なＵＳＢメモリ等を不揮発性メモリ１４として使用してもよい。本実施形態では、後述する診察補助処理（図３参照）を実行するための診察補助プログラム等が、不揮発性メモリ１４に記憶される。
【００２６】
マルチメディア端末１は、撮影部１５、音声出力部１６、音声入力部１７、表示部１８、および操作部１９を備える。撮影部（カメラ）１５は画像を撮影する。音声出力部（スピーカ）１６は、各種音声を出力する。音声入力部（マイク）１７は、各種音声を入力する。表示部１８は、各種画像を表示する。表示部１８には、例えば、モニタまたはプロジェクタ等の種々のデバイスを使用することができる。操作部１９は、ユーザ（例えば、医師または補助者）が各種指示をマルチメディア端末１に入力するために、ユーザによって操作される。操作部１９には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。
【００２７】
ＰＣ２は、ユーザによって使用される。本実施形態では、ＰＣ２は、例えばユーザからの入力を受け付ける機能、および、サーバ３との間の通信機能等を果たす。ＰＣ２は、各種制御処理を行う制御ユニット２１を備える。制御ユニット２１には、ＣＰＵ２２、および記憶装置（例えばＮＶＭ）２３が設けられている。ＣＰＵ２２は、ＰＣ２の各種制御を司る。記憶装置２３は、プログラム（例えば、診察補助プログラムの少なくとも一部）およびデータ等を記憶する。ＰＣ２は、操作部２５および表示部２６に接続されている。操作部２５は、ユーザが各種指示をＰＣ２に入力するために、ユーザによって操作される。表示部２６は、各種画像を表示する。
【００２８】
サーバ３は、複数の患者の医療情報を管理する。サーバ３は、各種制御処理を行う制御ユニット３１を備える。制御ユニット３１には、ＣＰＵ３２、および記憶装置（例えばＮＶＭ）３３が設けられている。ＣＰＵ３２は、サーバ３の各種制御を司る。記憶装置３３は、プログラム（例えば、診察補助プログラムの少なくとも一部）およびデータ（例えば医療情報等）を記憶する。
【００２９】
本実施形態の診察補助システム１００では、マルチメディア端末１、ＰＣ２、およびサーバ３は、データおよび信号を相互に送受信することができる。ただし、データおよび信号を機器間で送受信する方法を変更することも可能である。例えば、マルチメディア端末１とサーバ３は、データおよび信号を直接送受信しなくてもよい。この場合、マルチメディア端末１は、ＰＣ２を介して、データ等をサーバ３との間で送受信してもよい。
【００３０】
図２を参照して、本実施形態のマルチメディア端末１の構成について説明する。本実施形態のマルチメディア端末１は、動物型筐体５０を備える。動物型筐体５０を備えるマルチメディア端末１が使用されることで、マルチメディア端末１が医師による診察を補助するシュライバーとしての主体的な機能を果たす際に、患者等に違和感を抱かせ難い。本実施形態における動物型筐体５０は、人体の少なくとも一部を模した人型の筐体である。しかし、動物型筐体を採用する場合には、人間以外の動物を模した動物型筐体が使用されてもよい。
【００３１】
本実施形態の動物型筐体５０は、腰部５１、胴体部５２、腕部（右腕部５３Ｒ、左腕部５３Ｌ）、および頭部５４を備える。腰部５１は、人体の腰に相当する部位であり、上部に胴体部５２を可動可能に支持する。胴体部５２は、人体の胴体に相当する部位である。胴体部５２は、人体の腕を模した腕部（右腕部５３Ｒ、左腕部５３Ｌ）、および頭部５４を支持する。右腕部５３Ｒは、人体の右腕に相当する部位であり、胴体部５２の右側上部に可動可能に支持されている。左腕部５３Ｌは、人体の左腕に相当する部位であり、胴体部５２の左側上部に可動可能に支持されている。また、胴体部５２の前面には、前述した表示部１８が設けられている。頭部５４は、人体の頭に相当する部位であり、胴体部５２の上部に可動可能に支持されている。頭部５４の前面には、人体の顔を模した顔部５５が設けられている。また、頭部２０には、前述した撮影部１５、音声出力部１６、および音声入力部１７が設けられている。右腕部５３Ｒ、左腕部５３Ｌ、および頭部５４は、アクチュエータ（図示せず）によって可動する。
【００３２】
なお、以上説明した診察補助システム１００の構成は一例に過ぎない。例えば、本実施形態の診察補助システム１００は、３つのデバイス（マルチメディア端末１、ＰＣ２、およびサーバ３）を備える。しかし、診察補助システムを構成するデバイスの数は３つに限定されない。例えば、マルチメディア端末１が単体で診察補助システムとして機能してもよい。また、診察補助システムに使用するデバイスの態様も変更できる。例えば、マルチメディア端末１の代わりに、他のデバイス（例えばＰＣ等）が、シュライバーとしての主体的な機能を果たしてもよい。
【００３３】
（診察補助処理）
図３〜図５を参照して、本実施形態の診察補助システム１００が実行する診察補助処理について説明する。なお、本実施形態で例示する診察補助処理の多くは、マルチメディア端末１のＣＰＵ１１によって実行される。つまり、マルチメディア端末１のＣＰＵ１１が、ＮＶＭ１４に記憶された診察補助プログラムに従って、図３および図４に例示する診察補助処理を実行する。ただし、診察補助処理を実行するコントローラは、マルチメディア端末１のＣＰＵ１１に限定されない。例えば、マルチメディア端末１のＣＰＵ１１、ＰＣ２のＣＰＵ２１、およびサーバ３のＣＰＵ３１のうち、２つ以上のＣＰＵが、協働して診察補助処理を実行してもよい。また、マルチメディア端末１とは異なるデバイスのＣＰＵ（例えば、ＰＣ２のＣＰＵ２１等）が、診察補助処理を実行してもよい。本実施形態では、診察補助の開始指示がマルチメディア端末１に入力されると、ＣＰＵ１１は、図３に例示する診察補助処理を実行する。図３に例示する診察補助処理は、医師が１人の患者の診察を行う毎に実行される。
【００３４】
図３に示すように、ＣＰＵ１１は、診察補助処理を開始すると、患者識別情報が取得されたか否かを判断する（Ｓ１）。患者識別情報とは、診察中の患者を識別するための情報である。一例として、本実施形態のＣＰＵ１１は、撮影部（例えば、マルチメディア端末１が備える撮影部１５等）によって撮影された、診察中の患者の顔の画像を取得する。ＣＰＵ１１は、取得した画像に対して顔認識処理を行うことで、患者識別情報を取得する。
【００３５】
例えば、ＣＰＵ１１は、画像内の患者Ｐの顔における特徴位置（例えば、眼、鼻、口等の少なくともいずれか）と、顔の領域（例えば輪郭等）を検出する。次いで、データベースに記憶されている複数の人物の顔の情報と、検出結果とが照合されることで、患者識別情報が取得される。なお、本実施形態では、複数の人物の顔の情報を記憶したデータベースは、サーバ３の記憶装置３３である。従って、本実施形態では、画像から検出された情報がマルチメディア端末１からサーバ３に送信され、サーバ３においてデータベース内のデータと照合されることで、患者識別情報がＣＰＵ１１によって取得される。ただし、複数の人物の顔の情報を記憶したデータベースは、サーバ３以外のデバイス（例えば、マルチメディア端末１またはＰＣ２等）に設けられていてもよい。
【００３６】
なお、患者識別情報の取得方法を変更することも可能である。例えば、患者識別用の識別子（例えば、コードシンボルまたはＩＣチップ等）が、患者毎に付与されていてもよい。この場合、ＣＰＵ１１は、リーダーによって読み込まれた識別子を、患者識別情報として取得してもよい。また、後述する遠隔診断が実施される場合等には、患者識別情報はユーザによって診察補助システム１００に入力されてもよい。また、ネットワークを使用して遠隔診断が実施される場合には、ネットワークにおけるアカウント等が患者識別情報として用いられてもよい。
【００３７】
患者識別情報が取得されると（Ｓ１：ＹＥＳ）、ＣＰＵ１１は、取得した患者識別情報によって、診察中の患者を特定する（Ｓ２）。次いで、ＣＰＵ１１は、特定した患者（つまり、診察中の患者）の医療情報を、サーバ３から取得する。前述したように、サーバ３の記憶装置３３には、複数の患者の医療情報が記憶されている。Ｓ３では、診察中の患者に関する種々の医療情報（例えば、患者の年齢および性別等の情報、患者の過去のカルテデータ、患者に対して実行された検査結果のデータ、患者に対して処方された処方薬のデータ等）のうちの少なくともいずれかが、サーバ３から取得される。なお、診察中の患者の医療情報をＣＰＵ１１がサーバ３から取得するタイミングは、診察中の患者を特定したタイミングに限定されない。例えば、ＣＰＵ１１は、医師が医療情報を指定したタイミングで、指定された医療情報をサーバ３から取得してもよい（この詳細は、図４を参照して後述する）。
【００３８】
次いで、ＣＰＵ１１は、音声情報処理を実行する（Ｓ４）。音声情報処理とは、診察補助システム１００に入力された音声に基づいて実行される医療情報の処理である。音声情報処理の詳細については、図４および図５を参照して後述する。
【００３９】
次いで、ＣＰＵ１１は、注意喚起情報出力処理を実行する（Ｓ５）。注意喚起情報とは、注意すべき事象があることを医師に喚起する情報である。本実施形態では、医師が指示した処方薬の量が閾値よりも多い場合、および、検査結果の値が閾値を超えて異常値となっている場合等に、注意喚起情報が生成されて出力される。詳細には、本実施形態では、処方薬の量が異常量であるか否かを判断するための閾値、および、検査結果の値が異常値であるか否かを判断するための閾値が、予め設定されている。ＣＰＵ１１は、指示された処方薬の量が閾値よりも多い場合、処方薬の量が異常量である可能性があることを喚起する注意喚起情報を生成し、出力する。また、ＣＰＵ１１は、検査結果の値が閾値を超えている場合、検査結果の値が異常値である可能性があることを喚起する注意喚起情報を生成し、出力する。従って、医師は、出力された注意喚起情報によって、注意すべき事象を容易に確認することができる。なお、注意喚起情報は、音声出力部１６によって音声で出力されてもよいし、表示部１８または表示部２６に表示されることで出力されてもよい。
【００４０】
次いで、ＣＰＵ１１は、患者感情情報出力処理を実行する（Ｓ６）。患者感情情報とは、診察中の患者の感情の推定結果を示す情報である。本実施形態のＣＰＵ１１は、音声入力部１７に入力された患者の発話、および、撮影部１５によって撮影された患者の動作を、公知のアルゴリズムによって分析することで、患者感情情報を生成することができる。ＣＰＵ１１は、例えば、生成した患者感情情報を表示部１８または表示部２６に表示させることで、患者感情情報を出力する。従って、医師は、診察中の患者の感情を容易に把握したうえで、診察を適切に実行することができる。
【００４１】
次いで、ＣＰＵ１１は、Ｓ２で特定した患者（つまり、診察中の患者）の診察が終了したか否かを判断する（Ｓ７）。例えば、ＣＰＵ１１は、音声入力部１７に入力された音声、または、操作部１９に入力された操作信号等によって、診察が終了したか否かを判断してもよい。診察が終了していなければ（Ｓ７：ＮＯ）、処理はＳ４に戻り、Ｓ４〜Ｓ７の処理が繰り返される。診察が終了すると（Ｓ７：ＹＥＳ）、診察補助処理は終了する。
【００４２】
図４を参照して、診察補助処理中に実行される音声情報処理について詳細に説明する。ＣＰＵ１１は、音声情報処理を開始すると、話者が発話して診察補助システム１００に入力された音声を取得する（Ｓ１１）。Ｓ１１で取得される音声は、例えば、マルチメディア端末１の音声入力部１７に入力された音声であってもよい。また、診察補助システム１００では複数の音声入力部が使用されてもよい。また、複数の音声入力部の各々が、ユーザ毎に割り当てられていてもよい。この場合、複数の音声入力部の各々に対して入力された音声が、Ｓ１１で取得される。また、本実施形態の診察補助処理は、医師と患者が遠隔地にいる状態で、ネットワーク（例えばインターネット等）または電話等を利用して実行される遠隔診断においても実行できる。この場合、Ｓ１１では、遠隔地にいる患者の発話音声は、ネットワークまたは電話等を介して取得されてもよい。
【００４３】
次いで、ＣＰＵ１１は、Ｓ１１で取得した音声に対して、音声の意味情報を認識する音声認識処理を実行する（Ｓ１２）。音声認識処理のアルゴリズムには、種々の公知のアルゴリズムを任意に適用できる。一例として、本実施形態のＣＰＵ１１は、取得した音声を音波に変換し、音波から音素を特定する。次いで、ＣＰＵ１１は、特定した音素の並びを、予め用意された辞書とマッチングさせることで、単語に変換する。その結果、音声の意味情報を示すテキスト情報が生成される。なお、機械学習アルゴリズムによって訓練された数学モデルに音声データが入力されることで、音声の意味情報が認識されてもよい。
【００４４】
また、本実施形態では、図５に示すように、Ｓ１２で認識される単語のうち、診察中に頻繁に使用される単語が、複数のカテゴリ毎に予め登録されている。一例として、本実施形態では、単語が登録されるカテゴリとして、「医療情報指定」、「診察結果」、「オーダー」、および「問診回答」が設けられている。「医療情報指定」のカテゴリに登録されている単語は、医師が診察補助システム１００に出力させたい患者の医療情報を指定する際に使用され易い単語である。「診察結果」のカテゴリに登録されている単語は、医師が診察結果を発言する際に使用され易い単語である。「オーダー」のカテゴリに登録されている単語は、医師が薬の処方、検査の実行、および患者の他病院への紹介の少なくともいずれかを指示する際に使用され易い単語である。「問診回答」のカテゴリに登録されている単語は、医師が患者の問診を行う際に使用され易い単語である。
【００４５】
各々のカテゴリは、複数の小項目に細分化されている。例えば、「オーダー」のカテゴリは、「いつ」、「対象」、「紹介」、「薬剤」の小項目に細分化されている。例えば、医師が「今日採血を行い、前回と同じ薬剤を処方して下さい」と発話すると、「いつ」の小項目内の「今日」、「対象」の小項目内の「採血」、「薬剤」の小項目の「前回と同じ」が発話に対応付けられる。その結果、医師の発話が「オーダー」の発話と判断されて、「オーダー」に対応するための処理が実行される。以上のように、本実施形態では、音声認識によって認識された単語が、予めカテゴリ毎に登録されている単語と比較されることで、発話の意味情報が判断される。
【００４６】
なお、発話の意味情報を判断する方法を変更することも可能である。例えば、機械学習アルゴリズムによって訓練された数学モデルに、音声認識処理によって認識された単語が入力されることで、数学モデルから出力される発話の意味情報の判断結果が取得されてもよい。また、ユーザ（例えば、医師または補助者等）が特定の単語または文章を発話することで、発話の意味情報を診察補助システム１００に認識させてもよい。この場合、例えば、ユーザが「診察結果を記録して下さい」と発話することで、医師の発話が「診察結果」の発話と認識されてもよい。また、ユーザが操作部１９等を操作することで、発話の意味情報が診察補助システム１００によって認識されてもよい。
【００４７】
次いで、ＣＰＵ１１は、Ｓ１１で取得した音声に対して、音声を発声した話者を識別する話者識別処理を実行する（Ｓ１３）。話者識別処理のアルゴリズムにも、種々の公知のアルゴリズムを任意に適用できる。一例として、本実施形態では、診察補助システム１００を使用している施設のユーザ（例えば、医師および補助者等）の声が、予めマルチメディア端末１に登録されている。ユーザの声を登録する方法は、例えば、声紋をテンプレートとして登録する方法、または、機械学習アルゴリズムによって声を数学モデルに学習させる方法等を用いることができる。ＣＰＵ１１は、Ｓ１１で取得された声が、登録されたユーザの声であれば、話者を具体的に識別する。一方で、Ｓ１１で取得された声が、登録されたユーザの声でなければ、話者を患者と識別する。
【００４８】
なお、Ｓ１３で話者を識別する方法を変更することも可能である。例えば、複数の音声入力部の各々がユーザ毎に割り当てられている場合、ＣＰＵ１１は、複数の音声入力部のうち、音声が入力された音声入力部に割り当てられているユーザを、話者と識別してもよい。また、ネットワークまたは電話等を利用して遠隔診断が実行される場合、ＣＰＵ１１は、音声情報の出力元のアカウントまたは電話機等を識別することで、話者を識別してもよい。
【００４９】
次いで、ＣＰＵ１１は、Ｓ１３で識別された話者が医師であるか否かを判断する（Ｓ１４）。話者が医師である場合には（Ｓ１４：ＹＥＳ）、医師による発話の意味情報が「医療情報指定」、「診察結果」、および「オーダー」のいずれかに該当するか否かが判断される（Ｓ１５，Ｓ１７，Ｓ１９）。
【００５０】
話者が医師であり、且つ、発話の意味情報が「医療情報指定」である場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ１１は、サーバ３に記憶されている医療情報のうち、診察中の患者（つまり、図３のＳ２で特定された患者）の医療情報から、医師が発話によって指定した医療情報を抽出して出力する（Ｓ１６）。従って、医師は、所望の医療情報を発話によって指定するだけで、指定した医療情報を容易に確認することができる。なお、ＣＰＵ１１は、音声出力部１６によって音声で医療情報を出力してもよいし、表示部１８または表示部２６に医療情報を表示させることで出力してもよい。また、医療情報は、紙等の媒体に印刷されて出力されてもよい。
【００５１】
話者が医師であり、且つ、発話の意味情報が「診察結果」である場合（Ｓ１７：ＹＥＳ）、ＣＰＵ１１は、発話の内容を示す（つまり、診察結果を示す）文字情報をカルテ情報として生成する（Ｓ１８）。なお、本実施形態では、ＣＰＵ１１は、生成したカルテ情報を、表示部１８または表示部２６に一旦表示させる。医師は、表示されたカルテ情報に修正および追加を行う場合には、操作部１９または操作部２５の操作、または音声によって、修正または追加の内容を診察補助システム１００に入力する。ＣＰＵ１１は、入力された内容に基づいて、カルテ情報の修正または追加を実行する。カルテ情報を確定させる指示が入力されると、ＣＰＵ１１は、確定したカルテ情報をサーバ３へ送信し、Ｓ２で特定された患者に対応付けて、記憶装置３３に記憶させる。
【００５２】
話者が医師であり、且つ、発話の意味情報が「オーダー」である場合には（Ｓ１９：ＹＥＳ）、ＣＰＵ１１は、医師による指示内容を示すオーダー情報を生成する（Ｓ２０）。生成されたオーダー情報は、前述したカルテ情報と同様に、表示部１８または表示部２６に一旦表示される。オーダー情報の修正指示が入力された場合には、ＣＰＵ１１は、入力された内容に応じてオーダー情報を修正する。オーダー情報を確定させる指示が入力されると、ＣＰＵ１１は、確定したオーダー情報をサーバ３へ送信し、Ｓ２で特定された患者に対応付けて、記憶装置３３に記憶させる。また、ＣＰＵ１１は、オーダー情報を外部機器へ出力することも可能である。例えば、ＣＰＵ１１は、薬の処方の指示を示すオーダー情報を生成した場合に、生成したオーダー情報を、薬局に設置された外部機器へ出力する。また、ＣＰＵ１１は、他の病院への患者の紹介を指示するオーダー情報を生成した場合に、生成したオーダー情報を、詳細先の病院に設置された外部機器へ出力する。
【００５３】
Ｓ１３で識別された話者が医師でない場合（Ｓ１４：ＮＯ）、ＣＰＵ１１は、識別された話者が患者であるか否かを判断する（Ｓ２２）。話者が患者でない場合（Ｓ２２：ＮＯ）、音声情報処理は終了する。話者が患者である場合には（Ｓ２２：ＹＥＳ）、ＣＰＵ１１は、患者の発話の意味情報が「問診回答」であるか否かを判断する（Ｓ２３）。「問診回答」でなければ（Ｓ２３：ＮＯ）、処理はＳ２５へ移行する。患者の発話の意味情報が「問診回答」である場合（Ｓ２３：ＹＥＳ）、ＣＰＵ１１は、問診の回答結果を示す文字情報を、問診結果情報として生成する（Ｓ２４）。その後、処理はＳ２５へ移行する。なお、生成された問診結果情報は、前述したカルテ情報およびオーダー情報と同様に、ユーザの指示に応じて修理されてもよい。生成された問診結果情報は、サーバ３へ送信されて、Ｓ２で特定された患者に対応付けて、記憶装置３３に記憶される。
【００５４】
次いで、ＣＰＵ１１は、翻訳の実行指示が行われているか否かを判断する（Ｓ２５）。本実施形態の診察補助システム１００では、翻訳を実行するか否か、および、翻訳を実行する場合の翻訳後の言語を、ユーザが予め入力することができる。翻訳の実行指示が行われている場合（Ｓ２５：ＹＥＳ）、ＣＰＵ１１は、音声認識処理によって認識された意味情報に基づいて、患者が発話した言語を、他の言語（本実施形態では、ユーザによって指定された言語）に翻訳した翻訳情報を生成し、出力する（Ｓ２６）。なお、ＣＰＵ１１は、音声出力部１６によって音声で翻訳情報を出力してもよいし、表示部１８または表示部２６に翻訳情報を表示させることで出力してもよい。また、翻訳情報は、紙等の媒体に印刷されて出力されてもよい。
【００５５】
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、診察補助システム１００は、上記実施形態で開示された複数の技術の一部のみを実行することも可能である。例えば、ＣＰＵ１１は、医師の発話に基づく処理（図４のＳ１４〜Ｓ２０）と、患者の発話に基づく処理（図４のＳ２２〜Ｓ２６）の一方のみを実行してもよい。また、上記実施形態では、医師が発話した場合に、発話の意味内容に応じて３つの処理（Ｓ１６，Ｓ１８，Ｓ２０）のいずれかが実行される。しかし、医師が発話した場合に実行される処理の種類は３つに限定されず、２つ以下でもよいし、４つ以上でもよい。
【００５６】
なお、図４のＳ１８、Ｓ２０，Ｓ２４，Ｓ２６で医療情報を生成する処理は、「情報生成処理」の一例である。図４のＳ１６で医療情報を抽出して出力する処理は、「医療情報抽出処理」の一例である。図４のＳ１８に示す処理は、「カルテ情報生成処理」の一例である。図４のＳ２０に示す処理は、「オーダー情報生成処理」の一例である。図４のＳ２４に示す処理は、「問診結果情報生成処理」の一例である。図４のＳ２６に示す処理は、「翻訳情報生成処理」の一例である。図４のＳ１１で音声を取得する処理は、「音声取得ステップ」の一例である。図４のＳ１２に示す音声認識処理は、「音声認識ステップ」の一例である。図４のＳ１３に示す話者識別処理は、「話者識別ステップ」の一例である。図４のＳ１４〜Ｓ２０およびＳ２２〜Ｓ２６に示す処理は、「情報処理ステップ」の一例である。図３のＳ１で患者識別情報を取得する処理は、「患者識別情報取得ステップ」の一例である。
【符号の説明】
【００５７】
１    マルチメディア端末
２    ＰＣ
３    サーバ
１１    ＣＰＵ
１６    音声出力部
１７    音声入力部
１８    表示部
３３    記憶装置
１００    診察補助システム
【図１】
2020140607.tif 000003
【図２】
2020140607.tif 000004
【図３】
2020140607.tif 000005
【図４】
2020140607.tif 000006
【図５】
2020140607.tif 000007