(57)【要約】【課題】医療従事者と患者との間で伝達された情報を、より効率的に確認することのできる技術の提供を目的とする。【解決手段】患者情報表示装置であって、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得部と、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別部と、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部とを備え、前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする。【選択図】  図１
2020144648.tif 000002
【特許請求の範囲】
【請求項１】
医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得部と、
前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別部と、
ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部とを備え、
前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする、患者情報表示装置。
【請求項２】
請求項１に記載の患者情報表示装置であって、
音声入力装置の設置位置を記憶する記憶部を備え、
前記患者識別部は、前記テキスト情報に含まれる前記患者の識別情報か、又は前記設置位置に対して予め関連付けられた前記識別情報か、のいずれかを用いて前記患者を識別することを特徴とする、患者情報表示装置。
【請求項３】
請求項２に記載の患者情報表示装置であって、
前記会話表示画面に表示させる前記患者の選択を受け付ける入力部を備え、
前記出力部は、選択された前記患者と前記医療従事者との会話に関する前記テキスト情報を前記会話表示画面に表示することを特徴とする、患者情報表示装置。
【請求項４】
請求項１に記載の患者情報表示装置であって、
前記患者の生体情報を記憶する記憶部と、
前記音声データから前記生体情報を取得する生体情報取得部とを備え、
前記患者識別部は、前記生体情報取得部の取得した前記生体情報を用いて前記記憶部を参照することにより、前記患者を識別することを特徴とする、患者情報表示装置。
【請求項５】
請求項１に記載の患者情報表示装置であって、
医療処置を示す文字列を含む医療処置関連情報を記憶する記憶部と、
前記文字列を用いて前記テキスト情報を参照し、前記会話に関連して行われた前記医療処置を検出する医療処置検出部とを備え、
前記出力部は、検出された前記医療処置を前記会話表示画面に表示することを特徴とする、患者情報表示装置。
【請求項６】
請求項１に記載の患者情報表示装置であって、
前記患者に関する情報の伝達を目的とする申し送り音声データの前記テキスト情報を検出する申し送り検出部と、
前記会話表示画面に表示させる前記患者と申し送り情報の表示指示との入力操作を受け付ける入力部とを備え、
前記出力部は、前記申し送り情報の表示指示が入力されると、入力された前記患者に関する前記申し送り音声データから抽出された前記テキスト情報を前記会話表示画面に表示することを特徴とする、患者情報表示装置。
【請求項７】
医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得部と、
前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別部と、
ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部と、
前記患者による患者情報表示システムへの発話を検出する対システム発話検出部と、
前記対システム発話検出部により発話が検出されると、前記患者の発話内容を分析して適切な応答を特定する応答分析部とを備え、
前記出力部は、前記応答を示す音声を出力し、
前記会話表示画面では、前記患者の発話に係る前記テキスト情報と、前記出力部の出力した前記音声から抽出される前記テキスト情報と、が区別可能に表示されることを特徴とする、患者情報表示システム。
【請求項８】
請求項７に記載の患者情報表示システムであって、
要伝達事項を示す文字列を含む要伝達事項情報を記憶する記憶部と、
対システム発話検出部により発話が検出されると、前記発話に係る前記テキスト情報を用いて前記要伝達事項情報を参照し、前記テキスト情報に含まれる前記要伝達事項を抽出する要伝達事項抽出部とを備え、
前記会話表示画面では、前記要伝達事項抽出部により抽出された前記要伝達事項を、他の部分と異ならせて表示することを特徴とする、患者情報表示システム。
【請求項９】
患者情報表示装置と、該患者情報表示装置と通信可能に接続された複数の音声入出力装置とを有する患者情報表示システムであって、
前記音声入出力装置は、
医療従事者又は患者の発話した音声の入力を受け付ける音声入力受付部と、
前記音声のデータからテキスト情報を生成するテキスト情報生成部と、
前記患者の発話による前記音声のデータについて、発話した前記患者を識別して該データに関連付ける患者識別部と、を備え、
前記患者情報表示装置は、
複数の前記音声入出力装置が備える前記テキスト情報生成部の生成した前記テキスト情報を取得するテキスト情報取得部と、
ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部と、を備え、
前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする、患者情報表示システム。
【請求項１０】
患者情報表示装置を用いた患者情報表示方法であって、
前記患者情報表示装置は、テキスト情報取得部と、患者識別部と、出力部と、を備え、
前記テキスト情報取得部は、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得手順を実行し、
前記患者識別部は、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別手順を実行し、
前記出力部は、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力手順を実行し、
前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする、患者情報表示方法。
【請求項１１】
コンピューターを患者情報表示装置として機能させるプログラムであって、
前記患者情報表示装置を、テキスト情報取得部と、患者識別部と、出力部として機能させ、
前記テキスト情報取得部に、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得手順を実行させ、
前記患者識別部に、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別手順を実行させ、
前記出力部に、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力手順を実行させ、
前記前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、患者情報表示装置、患者情報表示システム、患者情報表示方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１の音声テキスト化システムに係る文献には、段落［００７１］において、「音声ファイルの受信があったと判断した場合、制御部２１は、ディクテーションモードに移行して、受信した音声ファイルを、記録部２６のファイル記録部２６２に、あるいは、制御部２１内または記録部２６内に設けた図示しないバッファメモリに一時記録する。」と記載されている。また、段落［００７７］には、「こうして各項目についてテキスト化を進めていき、上記ステップＳ２０５において全項目についてのテキスト化が終了したと判別したならば、制御部２１は、ファイル記録部２６２又は図示しないバッファメモリに一時記録したテキスト化データに、ファイル名やファイル種別などの情報をヘッダ情報として付加して、テキスト化ファイルを作成し、ファイル記録部２６２に記録する（ステップＳ２０９）。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１９４７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
医療業務において、医療従事者と患者との意思疎通を図ることが、治療方針を定める上で肝要である。従来、内診時などに説明した事を医療従事者が電子カルテに記入したり、手書きでカルテに書き込んだりなど、医療従事者の裁量で記録を残すことが一般的である。そのため、医療従事者と患者との情報伝達を事後的に確認する際に、必要な情報が記録されていないなどの不都合が生じる場合がある。
【０００５】
特許文献１では、医療従事者の音声からテキスト情報を生成する。しかしながら、医療従事者が情報取得機器の録音スイッチを操作することにより、音声が入力されるため、残される記録は医療従事者の裁量によるものといえ、患者との意思疎通を確認する資料として十分であるとは言い難い。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、医療従事者と患者との間で伝達された情報を、より効率的に確認することのできる技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
本願は、上記課題を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
【０００８】
上記課題を解決するため、本発明の一態様に係る患者情報表示装置は、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得部と、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別部と、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部とを備え、前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする。
【０００９】
前記患者情報表示装置は、音声入力装置の設置位置を記憶する記憶部を備え、
前記患者識別部は、前記テキスト情報に含まれる前記患者の識別情報か、又は前記設置位置に対して予め関連付けられた前記識別情報か、のいずれかを用いて前記患者を識別することを特徴としてもよい。
【００１０】
前記患者情報表示装置は、前記会話表示画面に表示させる前記患者の選択を受け付ける入力部を備え、前記出力部は、選択された前記患者と前記医療従事者との会話に関する前記テキスト情報を前記会話表示画面に表示することを特徴としてもよい。
【００１１】
前記患者情報表示装置は、前記患者の生体情報を記憶する記憶部と、前記音声データから前記生体情報を取得する生体情報取得部とを備え、前記患者識別部は、前記生体情報取得部の取得した前記生体情報を用いて前記記憶部を参照することにより、前記患者を識別することを特徴としてもよい。
【００１２】
前記患者情報表示装置は、医療処置を示す文字列を含む医療処置関連情報を記憶する記憶部と、前記文字列を用いて前記テキスト情報を参照し、前記会話に関連して行われた前記医療処置を検出する医療処置検出部とを備え、前記出力部は、検出された前記医療処置を前記会話表示画面に表示することを特徴としてもよい。
【００１３】
前記患者情報表示装置は、前記患者に関する情報の伝達を目的とする申し送り音声データの前記テキスト情報を検出する申し送り検出部と、前記会話表示画面に表示させる前記患者と申し送り情報の表示指示との入力操作を受け付ける入力部とを備え、前記出力部は、前記申し送り情報の表示指示が入力されると、入力された前記患者に関する前記申し送り音声データから抽出された前記テキスト情報を前記会話表示画面に表示することを特徴としてもよい。
【００１４】
また、上記課題を解決するため、本発明の他の態様に係る患者情報表示システムは、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得部と、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別部と、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部と、前記患者による患者情報表示システムへの発話を検出する対システム発話検出部と、前記対システム発話検出部により発話が検出されると、前記患者の発話内容を分析して適切な応答を特定する応答分析部とを備え、前記出力部は、前記応答を示す音声を出力し、前記会話表示画面では、前記患者の発話に係る前記テキスト情報と、前記出力部の出力した前記音声から抽出される前記テキスト情報と、が区別可能に表示されることを特徴とする。
【００１５】
前記患者情報表示システムは、要伝達事項を示す文字列を含む要伝達事項情報を記憶する記憶部と、対システム発話検出部により発話が検出されると、前記発話に係る前記テキスト情報を用いて前記要伝達事項情報を参照し、前記テキスト情報に含まれる前記要伝達事項を抽出する要伝達事項抽出部とを備え、前記会話表示画面では、前記要伝達事項抽出部により抽出された前記要伝達事項を、他の部分と異ならせて表示することを特徴としてもよい。
【００１６】
また、上記課題を解決するため、本発明の他の態様に係る患者情報表示システムは、患者情報表示装置と、該患者情報表示装置と通信可能に接続された複数の音声入出力装置とを有する患者情報表示システムであって、前記音声入出力装置は、医療従事者又は患者の発話した音声の入力を受け付ける音声入力受付部と、前記音声のデータからテキスト情報を生成するテキスト情報生成部と、前記患者の発話による前記音声のデータについて、発話した前記患者を識別して該データに関連付ける患者識別部と、を備え、前記患者情報表示装置は、複数の前記音声入出力装置が備える前記テキスト情報生成部の生成した前記テキスト情報を取得するテキスト情報取得部と、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力部と、を備え、前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする。
【００１７】
また、上記課題を解決するため、本発明の他の態様に係る患者情報表示方法は、患者情報表示装置を用いた患者情報表示方法であって、前記患者情報表示装置は、テキスト情報取得部と、患者識別部と、出力部と、を備え、前記テキスト情報取得部は、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得手順を実行し、前記患者識別部は、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別手順を実行し、前記出力部は、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力手順を実行し、前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする。
【００１８】
また、上記課題を解決するため、本発明の他の態様に係るプログラムは、コンピューターを患者情報表示装置として機能させるプログラムであって、前記患者情報表示装置を、テキスト情報取得部と、患者識別部と、出力部として機能させ、前記テキスト情報取得部に、医療従事者又は患者の発話した音声データから抽出されたテキスト情報を取得するテキスト情報取得手順を実行させ、前記患者識別部に、前記患者の発話による前記音声データについて、発話した前記患者を識別して該音声データに関連付ける患者識別手順を実行させ、前記出力部に、ある前記患者が前記医療従事者と行った会話において取得された、前記患者と前記医療従事者との発話に係る前記テキスト情報を表示する会話表示画面を出力する出力手順を実行させ、前記前記会話表示画面では、前記患者と前記医療従事者との発話に係る前記テキスト情報が区別可能に表示されることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、医療従事者と患者との間で伝達された情報を、より効率的に確認することができる。
【００２０】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態における患者情報表示システムの機能ブロックの一例を示す図である。
【図２】第１の実施形態におけるスピーカー情報のデータ構造の一例を示す図である。
【図３】第１の実施形態における患者情報のデータ構造の一例を示す図である。
【図４】第１の実施形態における医療処置関連情報のデータ構造の一例を示す図である。
【図５】第１の実施形態における会話情報のデータ構造の一例を示す図である。
【図６】第１の実施形態における患者情報表示装置のハードウェア構成の一例を示す図である。
【図７】第１の実施形態における会話情報生成処理の一例を示すフローチャートである。
【図８】第１の実施形態における会話表示画面表示処理の一例を示すフローチャートである。
【図９】第１の実施形態における会話表示画面の一例を示す図である。
【図１０】第１の実施形態の変形例における患者情報表示システムの機能ブロックの一例を示す図である。
【図１１】第１の実施形態の変形例における患者情報の一例を示す図である。
【図１２】第１の実施形態の変形例における会話表示画面の一例を示す図である。
【図１３】第２の実施形態における患者情報表示システムの機能ブロックの一例を示す図である。
【図１４】第３の実施形態における患者情報表示システムの機能ブロックの一例を示す図である。
【図１５】第３の実施形態における第システム発話検出処理の一例を示すフローチャートである。
【図１６】第３の実施形態における会話表示画面の一例を示す図である。
【発明を実施するための形態】
【００２２】
＜第１の実施形態＞
以下、図面に基づいて本発明の実施形態の例を説明する。図１は、第１の実施形態における患者情報表示システム１の機能ブロックの一例を示す図である。患者情報表示システム１では、患者情報表示装置１００と、複数のスピーカー装置２００（スピーカー装置２００ａ〜スピーカー装置２００ｎ）とが通信可能に接続されている。
【００２３】
患者情報表示装置１００は、サーバーコンピューター、又はＰＣ（Personal Computer）等の情報処理装置であって、例えば患者情報表示システム１を用いた患者情報表示サービスのクライアントにより操作される。本実施形態において、患者情報表示装置１００は、患者に関する情報を表示する装置である。しかしながら、患者情報表示装置１００の表示する情報は、患者に関する情報に限られない。例えば、患者情報表示装置１００は、保険契約のクライアントに関する情報など、あるサービスの受益者に関する情報を表示するものであってもよい。
【００２４】
スピーカー装置２００は、音声の入力機能及び出力機能を有する音声入出力装置である。スピーカー装置２００は、ネットワーク上のクラウドシステムを用いて入力音声に対する応答を行うスマートスピーカーとしての機能を有していてもよい。スピーカー装置２００は、入院の際に患者が居住する居室、診察室、検査室、処置室など、患者に関する情報の伝達が行われる箇所に設置される。スピーカー装置２００は、例えば医療従事者の保持するウェアラブル端末に含まれる装置であってもよい。また、患者情報表示装置１００とスピーカー装置２００の接続方法は限定されず、例えば有線又は無線により患者情報表示装置１００の有する入出力インターフェイスに直接的に接続されていてもよいし、ネットワークを介して接続されていてもよい。
【００２５】
患者情報表示装置１００は、制御部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、通信部１５０とを備える。制御部１１０は、患者情報表示装置１００全体を統括的に制御する。記憶部１２０は、制御部１１０の処理に必要な情報を記憶する。入力部１３０は、スピーカー装置２００や、後述する入力装置１０５を介して、患者情報表示装置１００への情報の入力を受け付ける。出力部１４０は、スピーカー装置２００や、後述する出力装置１０６を介して、患者情報表示装置１００に記憶された情報の出力を行う。通信部１５０は、図示しない他の装置との情報の送信及び受信を仲介する。
【００２６】
制御部１１０は、音声入力受付部１１１と、テキスト情報取得部１１２と、患者識別部１１３と、医療処置検出部１１４と、申し送り検出部１１５と、表示情報生成部１１６とを備える。音声入力受付部１１１は、スピーカー装置２００の有するマイク機能を用いた音声の入力を受け付け、入力された音声をデジタルデータとして取得する。音声入力受付部１１１の受け付ける音声は、例えば医療従事者又は患者の発話した音声である。
【００２７】
テキスト情報取得部１１２は、音声入力受付部１１１が入力を受け付けた音声データから抽出されるテキスト情報を取得する。例えば、テキスト情報取得部１１２は、音声データから特徴量を抽出し、図示しない認識辞書を用いて音声から文字列を抽出することにより、テキスト情報を生成する。
【００２８】
なお、テキスト情報取得部１１２は、スピーカー装置２００の有する図示しないテキスト情報生成機能により生成されたテキスト情報を取得してもよい。また例えば、テキスト情報取得部１１２は、ネットワークを介して接続される図示しないテキスト情報生成装置に音声データを送信することにより、当該テキスト情報生成装置により生成されたテキスト情報を取得してもよい。
【００２９】
患者識別部１１３は、患者の発話による音声データについて、発話した患者を識別して音声データに識別情報を関連付ける。患者識別部１１３は、例えばテキスト情報に含まれる患者の識別情報か、又はスピーカー装置２００の設置位置に対して予め関連付けられた識別情報かのいずれかを用いて、患者を識別する。
【００３０】
例えば、本実施形態において、医療従事者は医療処置を開始する際に、患者の氏名を発話する。患者識別部１１３は、発話から生成されたテキスト情報を参照して、患者の氏名（患者の識別情報）を用いて患者を識別する。また、本実施形態に含まれるスピーカー装置２００の少なくとも一部は、傍に設置されたベッドを使用する患者の識別情報と関連付けられる。患者識別部１１３は、スピーカー装置２００に関する後述するスピーカー情報１２１を参照することにより、患者を識別する。
【００３１】
医療処置検出部１１４は、テキスト情報を参照し、患者と医療従事者との会話に関連して行われた医療処置を検出する。医療処置検出部１１４は、記憶部１２０に記憶された医療処置関連情報に含まれる、医療処置を示す単語の文字列を用いてテキスト情報を参照し、テキスト情報から該単語を抽出することにより、医療処置を検出する。
【００３２】
申し送り検出部１１５は、患者に関する情報の伝達を目的とする申し送り音声データのテキスト情報を検出する。申し送りとは、複数の医療従事者の間で患者に関する情報の伝達を行うことを指す。申し送りでは、例えば治療の進捗や引継ぎ事項等の情報伝達が行われる。本実施形態において、情報の発信を行う医療従事者は、スピーカー装置２００に対して音声にて情報を発信する。
【００３３】
申し送り検出部１１５は、所定の方法で申し送りに関する音声データのテキスト情報を検出する。例えば、申し送り検出部１１５は、テキスト情報に含まれる文字列に所定の単語（例えば「申し送りを開始します」の文字列等）が含まれる場合に、申し送り音声データのテキスト情報であるものとして、該テキスト情報を検出する。
【００３４】
表示情報生成部１１６は、出力部１４０に出力させる画面の表示情報を生成する。例えば、表示情報生成部１１６は、ある患者が医療従事者と行った会話において取得された、患者と医療従事者との発話に係るテキスト情報を表示する会話表示画面の表示情報を生成する。会話表示画面では、患者と医療従事者との発話に係るテキスト情報が、区別可能に表示される。
【００３５】
記憶部１２０は、スピーカー情報１２１と、患者情報１２２と、医療処置関連情報１２３と、会話情報１２４とを記憶している。スピーカー情報１２１は、患者情報表示装置１００に接続されるスピーカー装置２００に関する情報であって、スピーカー装置２００の設置位置に関する情報を含む。
【００３６】
患者情報１２２は、患者に関する情報である。医療処置関連情報１２３は、医療処置に関する情報であって、患者又は医療従事者の発話から医療処置を検出するための情報を含んでいる。例えば、医療処置関連情報１２３は、医療処置を意味する単語を構成する文字列を含んでいる。会話情報１２４は、１又は複数の発話に関して生成される情報であって、該発話に係るテキスト情報を含む。
【００３７】
図２は、第１の実施形態におけるスピーカー情報１２１のデータ構造の一例を示す図である。スピーカー情報１２１は、スピーカー識別情報１２１ａと、設置位置１２１ｂと、利用者情報１２１ｃとを含む。スピーカー識別情報１２１ａは、スピーカー装置２００を特定する識別情報である。設置位置１２１ｂは、スピーカー識別情報１２１ａにより特定されるスピーカー装置２００の設置位置を示す情報である。
【００３８】
利用者情報１２１ｃは、スピーカー装置２００の主たる利用者が特定可能である場合の、当該利用者を特定する情報である。例えば利用者情報１２１ｃは、患者フラグ１２１ｃａと、医療従事者フラグ１２１ｃｂと、識別情報１２１ｃｃとを含む。患者フラグ１２１ｃａは、スピーカー装置２００の主たる利用者が患者であるか否かを示す情報である。医療従事者フラグ１２１ｃｂは、スピーカー装置２００の主たる利用者が医療従事者であるか否かを示す情報である。識別情報１２１ｃｃは、スピーカー装置２００の主たる利用者を特定する識別情報である。
【００３９】
例えば、患者フラグ１２１ｃａが「１」である場合、スピーカー装置２００の主たる利用者が患者であって、識別情報１２１ｃｃには当該患者の識別情報が設定される。患者フラグ１２１ｃａが「０」である場合、スピーカーの主たる利用者は患者でない。医療従事者フラグ１２１ｃｂが「１」である場合、スピーカー装置２００の主たる利用者が医療従事者であって、識別情報１２１ｃｃには当該医療従事者の識別情報が設定される。医療従事者フラグ１２１ｃｂが「０」である場合、スピーカー装置２００の主たる利用者は医療従事者でない。
【００４０】
例えば、居室において、ある患者の枕元にスピーカー装置２００が設置されている場合、該スピーカー装置２００を特定するスピーカー識別情報１２１ａに対し、患者フラグ１２１ｃａに「１」が設定され、識別情報１２１ｃｃには当該患者を特定する識別情報が設定され、医療従事者フラグ１２１ｃｂに「０」が設定される。
【００４１】
また、ある医療従事者がスピーカー機能を有するウェアラブル端末を携帯している場合、該スピーカー装置２００（ウェアラブル端末）を特定するスピーカー識別情報１２１ａに対し、医療従事者フラグｃｂに「１」が設定され、識別情報１２１ｃｃには当該医療従事者を特定する識別情報が設定され、患者フラグ１２１ｃａに「０」が設定される。なお、処置室に設置されたスピーカー装置２００など、主たる利用者が特定されない場合、利用者情報１２１ｃには情報が設定されない。
【００４２】
図３は、第１の実施形態における患者情報１２２のデータ構造の一例を示す図である。患者情報１２２は、患者識別情報１２２ａと、性別１２２ｂと、患者氏名１２２ｃとを含む。患者識別情報１２２ａは、患者を特定する識別情報である。性別１２２ｂは、患者の性別を示す情報である。患者氏名１２２ｃは、患者の氏名を示す文字列である。
【００４３】
図４は、第１の実施形態における医療処置関連情報１２３のデータ構造の一例を示す図である。医療処置関連情報１２３は、医療処置識別情報１２３ａと、医療処置文字列１２３ｂとを含む。医療処置識別情報１２３ａは、医療処置を特定する識別情報である。医療処置文字列１２３ｂは、医療処置を示す文字列である。なお、医療処置文字列１２３ｂは、音声が発話された際に、医療処置の特定が可能な文字列であればよい。なお、医療処置とは、医療行為に限定されるものではなく、病院や福祉施設等のヘルスケア施設において、受益者に対して行われるサービスを含むものである。
【００４４】
図５は、第１の実施形態における会話情報１２４のデータ構造の一例を示す図である。会話情報１２４は、会話識別情報１２４ａと、スピーカー識別情報１２４ｂと、患者識別情報１２４ｃと、医療従事者識別情報１２４ｄと、医療処置識別情報１２４ｅと、申し送り検出フラグ１２４ｆと、テキスト情報１２４ｇと、取得日時１２４ｈとを含む。
【００４５】
会話識別情報１２４ａは、会話を特定する識別情報である。なお、本実施形態では、１つのスピーカー装置２００が継続して１又は複数の音声を取得する場合に、当該音声は１つの会話に係る音声であるものと取り扱う。即ち、１つのスピーカー装置２００が取得した音声が所定時間以上途切れた場合に、会話が終了したものと取り扱う。
【００４６】
スピーカー識別情報１２４ｂは、会話識別情報１２４ａにより特定される会話を構成する音声を取得したスピーカー装置２００を特定する情報である。患者識別情報１２４ｃは、会話の対象となる患者を識別する情報である。医療従事者識別情報１２４ｄは、会話を構成する音声の発話者に医療従事者が含まれる場合に、該医療従事者を特定する識別情報である。
【００４７】
医療処置識別情報１２４ｅは、テキスト情報１２４ｇを構成する文字列から検出された医療処置を特定する識別情報である。テキスト情報１２４ｇを構成する文字列から医療処置が検出されない場合、医療処置識別情報１２４ｅには情報が含まれない。
【００４８】
申し送り検出フラグ１２４ｆは、会話を構成する音声から申し送り音声データのテキスト情報が検出されたか否かを示すフラグ情報である。例えば、申し送り検出フラグ１２４ｆに「１」が設定されている場合、当該申し送り検出フラグ１２４ｆと関連する会話識別情報１２４ａにより特定される会話は、申し送りに関するものとして取り扱われる。
【００４９】
テキスト情報１２４ｇは、会話を構成する音声の音声データに基づいて取得されたテキスト情報を構成する文字列である。テキスト情報１２４ｇは、該文字列の格納箇所を示すアドレス等の識別情報であってもよい。取得日時１２４ｈは、テキスト情報１２４ｇに含まれる文字列を発話した音声データか、又は該テキスト情報１２４ｇかの取得日時を示す情報である。
【００５０】
図５に示す会話情報１２４では、最上位のレコードに含まれる会話識別情報１２４ａの「00012」に対し、患者識別情報１２４ｃとして「aab23」が設定されている。これは、「00012」の識別情報で特定される会話が、「aab23」の識別情報で特定される患者に関するものであることを示す。また、当該会話識別情報１２４ａの「00012」に対し、それぞれ「どうにも・」、「じゃ、注射」、「これでちょ」の文字列で始まるテキスト情報１２４ｇが関連付けられている。これは、「00012」の識別情報で特定される会話に、該３つの文字列のテキスト情報１２４ｇに係る音声が含まれていたことを示す。
【００５１】
また、「じゃ、注射」の文字列で始まるテキスト情報１２４ｇに対し、医療処置識別情報１２４ｅに「126rn」が設定されている。これは、当該テキスト情報１２４ｇに含まれる文字列から、「126rn」の識別情報で特定される医療処置が検出されたことを示している。
【００５２】
図６は、第１の実施形態における患者情報表示装置１００のハードウェア構成の一例を示す図である。患者情報表示装置１００は、演算装置１０１と、メモリ１０２と、外部記憶装置１０３と、入力装置１０５と、出力装置１０６と、通信装置１０７と、記憶媒体駆動装置１０８と、を備え、各構成要素はバス１０４により接続されている。
【００５３】
演算装置１０１は、ＣＰＵ（Central Processing Unit）等の中央演算装置であって、メモリ１０２又は外部記憶装置１０３に記録されたプログラムに従って処理を実行する。患者情報表示装置１００では、メモリ１０２又は外部記憶装置１０３上に読み出されたプログラムに従って動作する演算装置１０１により処理が行われる。制御部１１０を構成する各処理部は、演算装置１０１がプログラムを実行することにより各々の機能を実現する。
【００５４】
メモリ１０２は、ＲＡＭ（Random Access Memory）又はフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。外部記憶装置１０３は、例えばＨＤＤ（Hard Disk Drive）や、ＣＤ-Ｒ（Compact Disc- Recordable）、ＤＶＤ-ＲＡＭ（Digital Versatile Disk-Random Access Memory）等の書き込み及び読み出し可能な記憶メディア及び記憶メディア駆動装置等である。記憶部１２０は、メモリ１０２又は外部記憶装置１０３によりその機能が実現される。なお、記憶部１２０は、通信装置１０７を介して接続されるネットワーク上の記憶装置によってその機能が実現されてもよい。
【００５５】
入力装置１０５は、ユーザーからの入力操作を受け付ける装置であり、例えばタッチパネル、キーボード、マウス、マイク等である。出力装置１０６は、患者情報表示装置１００に格納されたデータの出力処理を行う装置であって、例えばＬＣＤ（Liquid Crystal Display）等の表示装置、又はプリンタ等である。入力部１３０は入力装置１０５及び入力装置としてのスピーカー装置２００を用いることができ、出力部１４０は出力装置１０６及び出力装置としてのスピーカー装置２００を用いることができる。
【００５６】
通信装置１０７は、患者情報表示装置１００をネットワークに接続するための装置であって、例えばＮＩＣ（Network Interface Card）等の通信デバイスである。記憶媒体駆動装置１０８は、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）等の可搬性のメディアから情報を入出力する装置である。
【００５７】
なお、患者情報表示装置１００の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、患者情報表示装置１００の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【００５８】
図７は、第１の実施形態における会話情報生成処理の一例を示すフローチャートである。
【００５９】
まず、音声入力受付部１１１は、音声データの入力を受け付ける（ステップＳ１１）。具体的には、音声入力受付部１１１は、スピーカー装置２００に対して入力された音声のデータを受信する。なお、スピーカー装置２００から受信する音声データには、該スピーカー装置２００を特定する情報が含まれている。
【００６０】
次に、音声入力受付部１１１は、音声データを送信したスピーカー装置２００を特定する（ステップＳ１２）。音声入力受付部１１１は、例えばステップＳ１１で入力を受け付けた音声データを参照することにより、スピーカー装置２００の識別情報を特定する。
【００６１】
次に、テキスト情報取得部１１２は、同じスピーカー装置２００からの前回の音声受信から所定時間が経過したか否かを判定する（ステップＳ１３）。具体的には、テキスト情報取得部１１２は、ステップＳ１２で特定したスピーカー装置２００の識別情報をスピーカー識別情報１２４ｂに含む会話情報１２４のレコードを抽出する。テキスト情報取得部１１２は、抽出したレコードの取得日時１２４ｈを参照し、現在と最も近いタイミングの取得日時１２４ｈを特定する。テキスト情報取得部１１２は、ステップＳ１１で音声データを取得したタイミングが、取得日時１２４ｈから所定時間経過後であるか否かを判定する。
【００６２】
ステップＳ１３において、テキスト情報取得部１１２が、音声受信から所定時間が経過したと判定する場合（ステップＳ１３で「ＹＥＳ」の場合）、テキスト情報取得部１１２は、会話識別番号を生成する（ステップＳ１４）。
【００６３】
ステップＳ１４において、テキスト情報取得部１１２が会話識別番号を生成した後、又はステップＳ１３において、テキスト情報取得部１１２が、同じスピーカー装置２００からの前回の音声受信から所定時間が経過していないと判定する場合（ステップＳ１３で「ＮＯ」の場合）、テキスト情報取得部１１２は、音声データからテキスト情報を生成し、会話情報１２４に関連付ける（ステップＳ１５）。具体的には、テキスト情報取得部１１２は、ステップＳ１１で入力を受け付けた音声データを用いて、テキスト情報を生成する。テキスト情報取得部１１２は、会話情報１２４に新たなレコードを生成し、生成したテキスト情報をテキスト情報１２４ｇに設定する。
【００６４】
なお、ステップＳ１４において、テキスト情報取得部１１２が会話識別情報を生成した後にステップＳ１５の処理を行う場合、テキスト情報取得部１１２は、新たに生成するレコードの会話識別情報１２４ａに、ステップＳ１４で生成した会話識別情報を設定する。ステップＳ１３において、同じスピーカーからの前回の音声受信から所定時間が経過していない場合、テキスト情報取得部１１２は、同じスピーカーからの前回の取得日時１２４ｈに関連付けられた会話識別情報１２４ａに対し、生成したテキスト情報１２４ｇを関連付けて、会話情報１２４に新たなレコードを生成する。
【００６５】
次に、申し送り検出部１１５は、テキスト情報に申し送りに関する情報があるか否かを判定する（ステップＳ１６）。具体的には、申し送り検出部１１５は、ステップＳ１５で生成したテキスト情報が、申し送りに関するテキスト情報であるか否かを、所定の方法を用いて判定する。例えば、申し送り検出部１１５は、テキスト情報に含まれる文字列に所定の単語が含まれるか否かを判定することにより、該テキスト情報が申し送りに関する情報であるか否かを判定する。なお、申し送り検出部１１５が、テキスト情報に申し送りに関する情報があると判定する場合、申し送り検出部１１５が該テキスト情報を検出したものと取り扱う。
【００６６】
申し送り検出部１１５が、テキスト情報に申し送りに関する情報があると判定する場合（ステップＳ１６で「ＹＥＳ」の場合）、申し送り検出部１１５は、テキスト情報に申し送り検出フラグを関連付ける（ステップＳ１７）。具体的には、申し送り検出部１１５は、ステップＳ１５で生成した会話情報１２４のレコードの申し送り検出フラグ１２４ｆに対し、申し送り音声データのテキスト情報が検出されたことを示すフラグ情報を設定する。
【００６７】
ステップＳ１７の処理の後、又はステップＳ１６において、申し送り検出部１１５がテキスト情報に申し送りに関する情報がないと判定する場合（ステップＳ１６で「ＮＯ」の場合）、医療処置検出部１１４は、テキスト情報に医療処置に関する情報があるか否かを判定する（ステップＳ１８）。具体的には、医療処置検出部１１４は、ステップＳ１５で生成したテキスト情報に含まれる文字列に、医療処置関連情報１２３の医療処置文字列１２３ｂのいずれかが含まれるか否かを判定する。
【００６８】
医療処置検出部１１４が、テキスト情報に医療処置に関する情報が含まれると判定する場合（ステップＳ１８で「ＹＥＳ」の場合）、医療処置検出部１１４は、テキスト情報に医療処置識別情報を関連付ける（ステップＳ１９）。具体的には、医療処置検出部１１４は、ステップＳ１８においてテキスト情報に含まれると判定した医療処置文字列１２３ｂを特定する。医療処置検出部１１４は、特定した医療処置文字列１２３ｂと関連する医療処置識別情報１２３ａを、ステップＳ１５で生成した会話情報１２４のレコードの医療処置識別情報１２４ｅに設定する。
【００６９】
ステップＳ１９の処理の後、又はステップＳ１８において、テキスト情報に医療処置に関する情報がないと判定する場合（ステップＳ１８で「ＮＯ」の場合）、患者識別部１１３は、会話情報１２４に患者識別情報があるか否かを判定する（ステップＳ２０）。具体的には、患者識別部１１３は、ステップＳ１５で生成した会話情報１２４のレコードに含まれる会話識別情報１２４ａを特定し、特定した会話識別情報１２４ａを有する会話情報１２４のレコードを抽出する。即ち、テキスト情報を生成した音声を含む会話において発話された、１又は複数の音声に係るレコードが抽出される。
【００７０】
患者識別部１１３は、抽出されたレコードの患者識別情報１２４ｃを参照し、少なくとも１つのレコードに患者識別情報が含まれる場合に、会話情報１２４に患者識別情報があるものと判定する。患者識別部１１３が、会話情報１２４に患者識別情報があるものと判定する場合（ステップＳ２０で「ＹＥＳ」の場合）、制御部１１０は本フローチャートの処理を終了する。
【００７１】
患者識別部１１３が、会話情報１２４に患者識別情報がないと判定する場合（ステップＳ２０で「ＮＯ」の場合）、患者識別部１１３は、スピーカーに医療従事者識別情報があるか否かを判定する（ステップＳ２１）。具体的には、患者識別部１１３は、スピーカー情報１２１を参照し、ステップＳ１２で特定したスピーカー装置２００のスピーカー識別情報１２１ａと関連する医療従事者１２１フラグｃｂを特定する。患者識別部１１３は、特定した医療従事者フラグ１２１ｃｂが、スピーカー装置２００の主たる利用者が医療従事者であることを示す情報である場合に、スピーカーに医療従事者識別情報があるものと判定する。
【００７２】
患者識別部１１３が、スピーカーに医療従事者識別情報があるものと判定する場合（ステップＳ２１で「ＹＥＳ」の場合）、患者識別部１１３は、医療従事者識別情報を会話情報１２４に関連付ける（ステップＳ２２）。具体的には、患者識別部１１３は、スピーカー情報１２１を参照し、ステップＳ１２で特定したスピーカー装置２００のスピーカー識別情報１２１ａと関連する識別情報１２１ｃｃを特定し、ステップＳ１５で生成した会話情報１２４のレコードの医療従事者識別情報１２４ｄに設定する。
【００７３】
患者識別部１１３が、スピーカーに医療従事者識別情報がないものと判定する場合（ステップＳ２１で「ＮＯ」の場合）、患者識別部１１３は、スピーカーに患者識別情報があるか否かを判定する（ステップＳ２３）。具体的には、患者識別部１１３は、スピーカー情報１２１を参照し、ステップＳ１２で特定したスピーカー装置２００のスピーカー識別情報１２１ａと関連する患者フラグ１２１ｃａを特定する。患者識別部１１３は、特定した患者フラグ１２１ｃａが、スピーカー装置２００の主たる利用者が患者であることを示す情報である場合に、スピーカーに患者識別情報があるものと判定する。
【００７４】
患者識別部１１３が、スピーカーに患者識別情報があるものと判定する場合（ステップＳ２３で「ＹＥＳ」の場合）、患者識別部１１３は、患者識別情報を会話情報１２４に関連付ける（ステップＳ２４）。具体的には、患者識別部１１３は、スピーカー情報１２１を参照し、ステップＳ１２で特定したスピーカー装置２００のスピーカー識別情報１２１ａと関連する識別情報１２１ｃｃを特定し、ステップＳ１５で生成した会話情報１２４のレコードの患者識別情報１２４ｃに設定する。その後、制御部１１０は本フローチャートの処理を終了する。
【００７５】
ステップＳ２２の処理の後、又はステップＳ２３において、患者識別部１１３がスピーカーに患者識別情報がないものと判定する場合（ステップＳ２３で「ＮＯ」の場合）、患者識別部１１３は、テキスト情報に患者を特定する情報があるか否かを判定する（ステップＳ２５）。具体的には、患者識別部１１３は、ステップＳ１５で生成したテキスト情報に含まれる文字列に、患者情報１２２に含まれる患者識別情報１２２ａか、又は患者氏名１２２ｃが含まれるか否かを判定する。
【００７６】
患者識別部１１３が、テキスト情報に患者を特定する情報がないものと判定する場合（ステップＳ２５で「ＮＯ」の場合）、制御部１１０は本フローチャートの処理を終了する。
【００７７】
患者識別部１１３が、テキスト情報に患者を特定する情報があるものと判定する場合（ステップＳ２５で「ＹＥＳ」の場合）、患者識別部１１３は、患者識別情報を会話情報１２４に関連付ける（ステップＳ２６）。具体的には、患者識別部１１３は、ステップＳ２５でテキスト情報に含まれると判定された患者識別情報１２２ａか、又は含まれると判定された患者氏名１２２ｃと関連する患者識別情報１２２ａかのいずれかを特定する。患者識別部１１３は、ステップＳ１５で生成した会話情報１２４のレコードの患者識別情報１２４ｃに対し、特定した患者識別情報を設定する。その後、制御部１１０は本フローチャートの処理を終了する。
【００７８】
なお、音声入力受付部１１１は、スピーカー装置２００から送信された音声に所定時間以上の長さの空白期間がある場合、異なる者の発話の可能性があるものと取り扱う。即ち、音声入力受付部１１１は、空白期間後の音声データについて、ステップＳ１１から処理を実行する。
【００７９】
付言すれば、音声入力受付部１１１は、一定期間継続して取得された音声について、音声を構成する波形情報を抽出して特徴量を算出するなどの方法により、音声を分析して異なる者の発話であると判定してもよい。その場合、音声入力受付部１１１は、例えば図７の処理開始前に音声データの特徴量を算出し、異なる特徴量が算出された音声データの各々について、ステップＳ１１から処理を実行する。
【００８０】
また、図７に示すフローチャートは、テキスト情報取得部１１２が音声データからテキスト情報を生成する実施形態を説明するものである。しかしながら、上述するように、テキスト情報取得部１１２は、スピーカー装置２００の有する機能により生成されたテキスト情報を取得してもよい。その場合、本フローチャートのステップＳ１１では、テキスト情報取得部１１２がスピーカー装置２００からテキスト情報を取得する。ステップＳ１２では、テキスト情報取得部１１２がテキスト情報を送信したスピーカー装置２００を特定する。
【００８１】
また、上述するように、テキスト情報取得部１１２は、ネットワークを介して接続されるテキスト情報生成装置に音声データを送信することにより、音声データを用いて生成されたテキスト情報を取得してもよい。その場合、本フローチャートのステップＳ１１において、音声入力受付部１１１はスピーカー装置２００から送信された音声データをテキスト情報生成装置に送信する。また、ステップＳ１５では、テキスト情報取得部１１２は、テキスト情報生成装置からテキスト情報を受信し、会話情報１２４に関連付ける。
【００８２】
本実施形態における患者情報表示装置１００は、複数のスピーカー装置２００と接続されるため、異なる箇所に設置されたスピーカー装置２００に対して入力された音声に関する情報を、一括して管理することができる。
【００８３】
以上、本実施形態により、スピーカー装置２００に入力された音声からテキスト情報を生成し、同じスピーカー装置２００に入力された会話ごとに適切に管理することができる。
【００８４】
図８は、第１の実施形態における会話表示画面表示処理の一例を示すフローチャートである。
【００８５】
まず、入力部１３０は、会話表示画面に表示する患者、日時、及び設置位置の選択を受け付ける（ステップＳ３１）。なお、後述する会話表示画面の表示内容入力領域において、患者情報表示装置１００に接続された複数のスピーカー装置２００の設置位置が選択可能に表示されている。本実施形態では、設置位置の一つとして、申し送り情報を表示するための項目を選択可能に表示することができる。
【００８６】
次に、表示情報生成部１１６は、選択された日時に取得され、選択された患者を含む会話情報１２４のレコードを抽出する（ステップＳ３２）。具体的には、表示情報生成部１１６は、ステップＳ３１で選択された患者の識別情報を患者識別情報１２４ｃに含み、選択された日時を取得日時１２４ｈに含む会話情報１２４のレコードを抽出する。
【００８７】
次に、表示情報生成部１１６は、設置位置として申し送り情報が選択されたか否かを判定する（ステップＳ３３）。具体的には、表示情報生成部１１６は、ステップＳ３１で選択された設置位置として、申し送り情報を表示するための項目が選択されたか否かを判定する。
【００８８】
表示情報生成部１１６が、設置位置として申し送り情報が選択されていないと判定する場合（ステップＳ３３で「ＮＯ」の場合）、表示情報生成部１１６は、選択された設置位置に設置されたスピーカー装置２００を特定する（ステップＳ３４）。具体的には、表示情報生成部１１６は、スピーカー情報１２１を参照し、ステップＳ３１で選択されたスピーカー装置２００の設置位置１２１ｂと関連するスピーカー識別情報１２１ａを特定する。
【００８９】
次に、表示情報生成部１１６は、抽出したレコードのうち、特定したスピーカー装置２００と関連するレコードをさらに抽出する（ステップＳ３５）。具体的には、表示情報生成部１１６は、ステップＳ３２で抽出した会話情報１２４のレコードの中から、ステップＳ３３で特定したスピーカー識別情報をスピーカー識別情報１２４ｂに有するレコードをさらに抽出する。
【００９０】
次に、表示情報生成部１１６は、抽出したレコードのテキスト情報を時系列に従って表示する（ステップＳ３６）。具体的には、表示情報生成部１１６は、ステップＳ３５で抽出したレコードのテキスト情報１２４ｇを、取得日時１２４ｈの時系列に従って表示するよう、会話表示画面の表示情報を生成する。その際、表示情報生成部１１６は、異なるレコードに含まれるテキスト情報１２４ｇを区別可能に表示するよう、表示情報を生成する。出力部１４０は、表示情報生成部１１６の生成した表示情報を用いて、会話表示画面を出力する。その後、制御部１１０は本フローチャートの処理を終了する。
【００９１】
表示情報生成部１１６が、設置位置として申し送り情報が選択されたと判定する場合（ステップＳ３３で「ＹＥＳ」の場合）、表示情報生成部１１６は、抽出したレコードのうち、申し送り検出フラグを含むレコードをさらに抽出する（ステップＳ３７）。具体的には、表示情報生成部１１６は、ステップＳ３２で抽出した会話情報１２４のレコードの中から、申し送り音声データのテキスト情報が検出されたことを示す申し送り検出フラグ１２４ｆを含むレコードをさらに抽出する。
【００９２】
ステップＳ３８で行われる処理は、ステップＳ３６で行われる処理と同様であるため、説明を省略する。その後、制御部１１０は本フローチャートの処理を終了する。
【００９３】
図９は、第１の実施形態における会話表示画面２６０の一例を示す図である。会話表示画面２６０は、表示内容入力領域２６１と、会話表示領域２６２とを含む。表示内容入力領域２６１は、会話表示領域２６２に表示する会話の内容について入力を受け付ける領域である。表示内容入力領域２６１は、患者名入力領域２６１１と、日程入力領域２６１２と、設置位置入力領域２６１３とを含む。
【００９４】
患者名入力領域２６１１は、会話表示領域２６２に表示させる会話の主体の指定を受け付ける領域である。表示情報生成部１１６は、患者情報１２２の患者氏名１２２ｃに含まれる患者氏名を患者名入力領域２６１１に選択可能に表示させる。なお、表示情報生成部１１６は、患者情報１２２の患者識別情報１２２ａを表示するものであってもよい。
【００９５】
日程入力領域２６１２は、会話表示領域２６２に表示させる会話が行われた日の指定を受け付ける領域である。表示情報生成部１１６は、会話情報１２４の取得日時１２４ｈに対応する日程を日程入力領域２６１２に選択可能に表示させる。設置位置入力領域２６１３は、会話表示領域２６２に表示させる会話の音声を受け付けたスピーカー装置２００の設置位置の選択を受け付ける領域である。表示情報生成部１１６は、スピーカー情報１２１に含まれる設置位置１２１ｂを設置位置入力領域２６１３に選択可能に表示させる。
【００９６】
会話表示領域２６２は、表示内容入力領域２６１への入力に応じて決定される会話のテキスト情報を表示する領域である。会話表示領域２６２には、会話情報１２４のレコード毎にテキスト情報が区別可能に表示される。即ち、患者名入力領域２６１１で選択された患者と医療従事者との発話に係るテキスト情報が、区別可能に表示される。なお、会話表示領域２６２に表示されるテキスト情報には、取得日時が併せて表示されてもよい。
【００９７】
表示内容入力領域２６１への入力に応じて特定される会話について、医療処置が検出された場合、会話表示領域２６２は処置情報表示領域２６２１を含む。表示情報生成部１１６は、会話表示領域２６２に表示するテキスト情報として抽出された会話情報１２４のレコードのいずれかに医療処置識別情報１２４ｅが含まれる場合、会話中に医療処置が実行されたものとして、処置情報表示領域２６２１の表示情報を生成する。表示情報生成部１１６は、医療処置識別情報１２４ｅにより特定される医療処置文字列を、医療処置関連情報１２３を参照することにより特定し、医療処置表示領域に表示させる。即ち、出力部１４０は、検出された医療処置を会話表示画面２６０に表示する。
【００９８】
なお、図９に示す会話表示画面２６０では、医療処置の検出されたテキスト情報の後に、医療処置表示領域が設けられている。しかしながら、医療処置表示領域の設定箇所は図９に示す例に限定されない。医療処置表示領域は、テキスト情報と区別可能に表示されるものであればよい。
【００９９】
なお、設置位置入力領域２６１３には、スピーカー装置２００の設置位置に加え、申し送り情報が選択可能に表示されている。設置位置入力領域２６１３において、申し送り情報が選択された場合、会話表示領域２６２には申し送り音声データのテキスト情報が表示される。
【０１００】
本実施形態により、医療従事者と患者との間で伝達された情報を、効率的に確認することができる。また、患者情報表示装置１００は、会話中に医療処置が実行された場合に、実行された医療処置をテキスト情報と区別可能に表示するため、医療処置について事後的に確認したい場合に有用である。また、患者情報表示装置１００は、表示指示を受け付けた患者に関する情報の申し送りの音声が入力された場合にも、当該音声のテキスト情報を適切に抽出して表示するため、より効率的に申し送りを行うことができる。
【０１０１】
＜変形例＞
【０１０２】
図１０は、第１の実施形態の変形例における患者情報表示システム１の機能ブロックの一例を示す図である。以下、第１の実施形態と異なる点について説明する。
【０１０３】
本変形例における制御部１１０は、音声入力受付部１１１と、テキスト情報取得部１１２と、患者識別部１１３と、医療処置検出部１１４と、申し送り検出部１１５と、表示情報生成部１１６との他、生体情報取得部１１７を備える。生体情報取得部１１７は、音声データから発話者の生体情報を取得する。一例として、生体情報は発話者の声紋情報である。
【０１０４】
図１１は、第１の実施形態の変形例における患者情報１２２の一例を示す図である。本変形例における患者情報１２２は、患者識別情報１２２ａと、性別１２２ｂと、患者氏名１２２ｃとの他、生体情報１２２ｄを含む。生体情報１２２ｄは、生体情報取得部１１７が取得可能な情報であって、生体情報取得部１１７が取得した生体情報と照合することにより、患者を特定することができる。
【０１０５】
なお、本変形例における患者情報表示装置１００は、患者情報１２２と同様に医療従事者の生体情報を登録した医療従事者情報を記憶していてもよい。その場合、患者情報表示装置１００は、生体情報取得部１１７が取得した生体情報を用いて、医療従事者を特定することができる。
【０１０６】
本変形例では、図７に示すステップＳ１５において、会話情報１２４にテキスト情報を関連付ける際、生体情報取得部１１７がテキスト情報に係る音声から生体情報を取得し、患者識別部１１３が該生体情報を用いて、音声を発話した患者又は医療従事者を特定する。患者識別部１１３は、生成したテキスト情報に患者又は医療従事者の識別情報を関連付ける。
【０１０７】
図１２は、第１の実施形態の変形例における会話表示画面２６０の一例を示す図である。本変形例における会話表示画面２６０は、会話表示領域２６２に表示されたテキスト情報の各々に対し話者名を表示する、話者名表示領域２６２２を有する。表示情報生成部１１６は、会話情報１２４を参照し、テキスト情報と関連する話者名を特定してテキスト情報と関連付けることにより、会話表示領域２６２の表示情報を生成する。
【０１０８】
なお、スピーカー装置２００が生体情報を検知可能なセンサを有する場合、生体情報取得部１１７はスピーカー装置２００が検知した生体情報を取得してもよい。この場合、生体情報は、発話者の声紋情報の他、指紋や静脈情報等であってもよい。
【０１０９】
本変形例における会話表示画面２６０では、テキスト情報に併せて話者名が表示されるため、本画面を参照することにより、より確実に情報伝達の状況を把握することができる。
【０１１０】
＜第２の実施形態＞
【０１１１】
図１３は、第２の実施形態における患者情報表示システム１の機能ブロックの一例を示す図である。以下、第１の実施形態及びその変形例と異なる点について説明する。
【０１１２】
第２の実施形態における患者情報表示システム１では、患者情報表示装置１００と複数のスピーカー装置２００とが、例えばネットワークＮを介して通信可能に接続される。第２の実施形態における患者情報表示装置１００の制御部１１０は、テキスト情報取得部１１２と、表示情報生成部１１６とを備えており、音声入力受付部１１１と、患者識別部１１３と、医療処置検出部１１４と、申し送り検出部１１５とを備えていなくてもよい。また、第２の実施形態における患者情報表示装置１００の記憶部１２０は、会話情報１２４を記憶しており、スピーカー情報１２１と、患者情報１２２と、医療処置関連情報１２３とは記憶していなくてもよい。
【０１１３】
第２の実施形態におけるスピーカー装置２００は、制御部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、通信部２５０とを備える。制御部２１０は、スピーカー装置２００全体を統括的に制御する。記憶部２２０は、制御部２１０の処理に必要な情報を記憶する。入力部２３０は、図示しない入力装置を介して、スピーカー装置２００への情報の入力を受け付ける。入力部２３０は、例えばスピーカー装置２００の有するマイクに対する音声の入力を受け付ける。出力部２４０は、図示しない出力装置を介して、スピーカー装置２００に記憶された情報の出力を行う。出力部２４０は、例えばスピーカー装置２００の有するスピーカー機能を用いて音声を出力する。通信部２５０は、スピーカー装置２００に接続された患者情報表示装置１００との間で情報の送信及び受信を仲介する。
【０１１４】
制御部２１０は、音声入力受付部２１１と、テキスト情報生成部２１２と、患者識別部２１３と、医療処置検出部２１４と、申し送り検出部２１５とを備える。音声入力受付部２１１と、患者識別部２１３と、医療処置検出部２１４と、申し送り検出部２１５とは、それぞれ第１の実施形態において患者情報表示装置１００の制御部１１０が備えていた音声入力受付部１１１と、患者識別部１１３と、医療処置検出部１１４と、申し送り検出部１１５と同様であるため、説明を省略する。
【０１１５】
テキスト情報生成部２１２は、入力部２３０を介して入力された音声について音声認識処理を行い、テキスト情報を抽出する。
【０１１６】
記憶部２２０は、スピーカー情報２２１と、患者情報２２２と、医療処置関連情報２２３とを記憶している。スピーカー情報２２１と、患者情報２２２と、医療処置関連情報２２３とは、それぞれ第１の実施形態において患者情報表示装置１００の記憶部１２０が記憶していたスピーカー情報１２１と、患者情報１２２と、医療処置関連情報１２３と同様であるため、説明を省略する。
【０１１７】
第２の実施形態における患者情報表示システム１では、スピーカー装置２００が会話情報１２４を生成して患者情報表示装置１００に送信する。その際、スピーカー装置２００の患者識別部２１３は、会話に関する患者を特定して会話情報１２４に含める。また、医療処置検出部２１４は、テキスト情報に含まれる文字列から医療処置を検出し、会話情報１２４に医療処置識別情報を含める。また、申し送り検出部２１５は、テキスト情報に含まれる文字列から申し送り音声データのテキスト情報を検出し、会話情報１２４に申し送り検出フラグを関連付ける。
【０１１８】
即ち、第２の実施形態における患者情報表示装置１００のテキスト情報取得部１１２は、複数のスピーカー装置２００のテキスト情報生成部２１２の生成した会話情報１２４を取得する。
【０１１９】
なお、第２の実施形態におけるスピーカー装置２００のハードウェア構成は、図６に示す第１の実施形態における患者情報表示装置１００のハードウェア構成と同様であるため、説明を省略する。
【０１２０】
本実施形態では、患者情報表示システム１が多機能なスピーカー装置２００を有する場合に、スピーカー装置２００において会話情報１２４を生成し、患者情報表示装置１００で各スピーカー装置２００の生成した会話情報１２４を管理する。これにより、患者情報表示装置１００の処理負担を軽減させることができる。
【０１２１】
＜第３の実施形態＞
【０１２２】
図１４は、第３の実施形態における患者情報表示システム１の機能ブロックの一例を示す図である。以下、第２の実施形態と異なる点について説明する。
【０１２３】
第３の実施形態におけるスピーカー装置２００の制御部２１０は、音声入力受付部２１１と、テキスト情報生成部２１２と、患者識別部２１３と、医療処置検出部２１４と、申し送り検出部２１５との他、対システム発話検出部２１６と、応答分析部２１７と、出力音声生成部２１８と、要伝達事項抽出部２１９とを備える。
【０１２４】
対システム発話検出部２１６は、患者による患者情報表示システム１への発話を検出する。例えば、対システム発話検出部２１６は、テキスト情報生成部２１２により生成されたテキスト情報に所定の文字列が含まれる場合に、患者による患者情報表示システム１への発話を検出する。対システム発話検出部２１６は、入力部２３０が所定の入力（例えば所定のハードウェアボタンへの操作）を受け付けた場合に、患者による患者情報表示システム１への発話を検出してもよい。
【０１２５】
応答分析部２１７は、対システム発話検出部２１６により患者情報表示システム１への発話が検出されると、患者の発話内容を分析して適切な応答を特定する。例えば応答分析部２１７は、ネットワークＮを介して接続されたクラウドサービスにテキスト情報を送信する。テキスト情報を受け付けたクラウドサービスでは、学習済みモデルを用いて最適な応答が予測され、スピーカー装置２００に対して送信される。応答分析部２１７は、クラウドサービスから送信された応答を受け付ける。
【０１２６】
なお、応答分析部２１７は、例えば記憶部２２０の図示しない領域に記憶された学習済みモデルを用いて、テキスト情報生成部２１２により生成された発話内容を示すテキスト情報に対する最適な応答を予測してもよい。その場合、応答分析部２１７は、患者の発話内容等を用いて学習済みモデルを更新してもよい。
【０１２７】
出力音声生成部２１８は、応答分析部２１７が特定した応答を用いて、該応答を出力するための音声データを生成する。出力音声生成部２１８は、生成した音声データを、出力部２４０を介して出力する。要伝達事項抽出部２１９は、テキスト情報生成部２１２の生成したテキスト情報を用いて、後述する要伝達事項情報を参照し、患者の発話内容から医療従事者に伝達することが必要と考えられる情報を抽出する。
【０１２８】
記憶部２２０は、スピーカー情報２２１と、患者情報２２２と、医療処置関連情報２２３との他、要伝達事項情報２２４を記憶する。要伝達事項情報２２４は、医療従事者に伝達することが必要な情報を検出するためのキーワード（即ち文字列）を含む。
【０１２９】
図１５は、第３の実施形態における対システム発話検出処理の一例を示すフローチャートである。本処理は、スピーカー装置２００において、例えば図７に示す会話情報生成処理が行われた後に実行される。
【０１３０】
まず、対システム発話検出部２１６は、患者情報表示システム１への発話を検出する（ステップＳ４１）。例えば対システム発話検出部２１６は、生成した会話情報１２４のレコードのテキスト情報１２４ｇに所定の文字列が含まれる場合に、患者情報表示システム１への発話を検出したものと取り扱う。
【０１３１】
次に、要伝達事項抽出部２１９は、テキスト情報に要伝達事項があるか否かを判定する（ステップＳ４２）。具体的には、要伝達事項抽出部２１９は、生成した会話情報１２４のレコードのテキスト情報１２４ｇに、要伝達事項情報２２４に含まれるキーワードがあるか否かを判定する。
【０１３２】
要伝達事項抽出部２１９が、テキスト情報に要伝達事項があると判定する場合（ステップＳ４２で「ＹＥＳ」の場合）、要伝達事項抽出部２１９は、要伝達事項を示す情報を関連付ける（ステップＳ４３）。具体的には、要伝達事項抽出部２１９は、キーワードから要伝達事項を示す情報を特定し、会話情報１２４のレコードに対して関連付ける。
【０１３３】
ステップＳ４２において、要伝達事項抽出部２１９が、テキスト情報に要伝達事項がないと判定する場合（ステップＳ４２で「ＮＯ」の場合）、又はステップＳ４３の後、応答分析部２１７は、発話内容を分析して適切な応答を特定する（ステップＳ４４）。
【０１３４】
次に、出力部２４０は、応答の音声を出力する（ステップＳ４５）。具体的には、出力音声生成部２１８が、ステップＳ４４で特定された応答を示す音声データを生成する。出力部２４０は、出力音声生成部２１８が生成した音声データを用いて、応答の音声を出力する。
【０１３５】
なお、本実施形態におけるテキスト情報生成部２１２は、応答分析部２１７の特定した応答からテキスト情報を生成し、該テキスト情報を含む会話情報１２４を生成して患者情報表示装置１００に送信する。患者情報表示装置１００のテキスト情報取得部１１２は、スピーカー装置２００から送信された会話情報１２４を記憶部１２０に格納する。即ち、記憶部１２０に記憶された会話情報１２４において、患者の発話に係るテキスト情報と、スピーカー装置２００の応答に係るテキスト情報とが、異なるレコードとして会話情報１２４が生成される。
【０１３６】
なお、スピーカー装置２００が応答分析部２１７の特定した応答からテキスト情報を生成する場合、スピーカー装置２００が生成した応答であることを示すフラグ情報を、該テキスト情報に対して関連付けてもよい。
【０１３７】
図１６は、第３の実施形態における会話表示画面２６０の一例を示す図である。例えば本実施形態における話者名表示領域２６２２において、スピーカー装置２００が生成した応答であることを示すフラグ情報が関連付けられたテキスト情報には、話者名としてスピーカー装置２００を特定する文字列が表示される。
【０１３８】
要伝達事項抽出部２１９が、テキスト情報から要伝達事項を検出した場合、会話表示領域２６２には要伝達事項表示領域２６２３が含まれる。要伝達事項表示領域２６２３は、患者の発話から検出された要伝達事項が表示される。なお、要伝達事項表示領域２６２３に表示される文字列は、患者の発話に係るテキスト情報に含まれるキーワードと同一でなくてもよい。例えば、図１６に示すように、患者の発話から「お腹が痛」というキーワードが検出された場合に、要伝達事項表示領域２６２３には「お腹が痛い」又は「腹痛」等の要伝達事項が表示されてもよい。
【０１３９】
以上、本実施形態では、スピーカー装置２００の応答に係るテキスト情報と、患者の発話に係るテキスト情報とが異なるレコードとして会話情報１２４に含まれる。そのため、表示情報生成部１１６は、患者の発話と、スピーカー装置２００の応答とが区別可能に表示されるよう、会話表示画面２６０の表示情報を生成する。これにより、スピーカー装置２００が話者に対する応答機能を有する場合においても、患者とスピーカー装置２００との間で伝達された情報を効率的に確認することができる。
【０１４０】
また、本実施形態において、患者の発話から要伝達事項が検出された場合、表示情報生成部１１６は、要伝達事項を他の部分と異ならせて表示するよう、会話表示画面２６０の表示情報を生成する。即ち、患者がスピーカー装置２００に対して、伝達が必要な情報を入力した場合に、会話表示画面２６０を参照することにより、当該情報をより用意に把握することができ、医療効率の向上を促進することができる。
【０１４１】
以上、本発明に係る各実施形態の説明を行ってきたが、本発明は、上記した実施形態の一例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。
【０１４２】
また、上記の患者情報表示装置１００及びスピーカー装置２００の機能構成は、理解を容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。上述に示す通り、患者情報表示装置１００及びスピーカー装置２００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【符号の説明】
【０１４３】
１：患者情報表示システム、１００：患者情報表示装置、１０１：演算装置、１０２：メモリ、１０３：外部記憶装置、１０４：バス、１０５：入力装置、１０６：出力装置、１０７：通信装置、１０８：記憶媒体駆動装置、１１０・２１０：制御部、１１１・２１１：音声入力受付部、１１２：テキスト情報取得部、１１３・２１３：患者識別部、１１４・２１４：医療処置検出部、１１５・２１５：申し送り検出部、１１６：表示情報生成部、１１７：生体情報取得部、１２０・２２０：記憶部、１２１・２２１：スピーカー情報、１２２・２２２：患者情報、１２３・２２３：医療処置関連情報、１２４：会話情報、１３０・２３０：入力部、１４０・２４０：出力部、１５０・２５０：通信部、２００：スピーカー装置、２１２：テキスト情報生成部、２１６：対システム発話検出部、２１７：応答分析部、２１８：出力音声生成部、２１９：要伝達事項抽出部、２２４：要伝達事項情報、２６０：会話表示画面、２６１：表示内容入力領域、２６２：会話表示領域、２６１１：患者名入力領域、２６１２：日程入力領域、２６１３：設置位置入力領域、２６２１：処置情報表示領域、２６２２：話者名表示領域、２６２３：要伝達事項表示領域
【図１】
2020144648.tif 000003
【図２】
2020144648.tif 000004
【図３】
2020144648.tif 000005
【図４】
2020144648.tif 000006
【図５】
2020144648.tif 000007
【図６】
2020144648.tif 000008
【図７】
2020144648.tif 000009
【図８】
2020144648.tif 000010
【図９】
2020144648.tif 000011
【図１０】
2020144648.tif 000012
【図１１】
2020144648.tif 000013
【図１２】
2020144648.tif 000014
【図１３】
2020144648.tif 000015
【図１４】
2020144648.tif 000016
【図１５】
2020144648.tif 000017
【図１６】
2020144648.tif 000018