令和 4 年度一般財団法人救急振興財団調査研究事業助成

音声認識と機械学習を用いた新たな病院前救護・教育支援システムの開発

代表研究者

東北大学病院 救急科
横川 裕大
共同研究者 東北大学病院 救急科
久志本 成樹工藤 大介
小林 正和
東北大学クリニカル・スキルスラボ
荒田 悠太郎【概要】
病院前救護を含む医療・医学教育において、シミュレーション教育は不可欠である。しかし、提供される教育の質は施設環境や指導者の熟練度によって大きく異なり、新型コロナウ
イルス感染症の拡大でその課題がより鮮明になった。環境や指導者に依存しない医療教育体制を構築することにより、救急隊・救急救命士に対する効率的で学習効果の高い教育を提供する機会を広げ、病院前救護の質の向上を目指す。本研究では、音声認識と機械学習を組み合わせた新しい教育システムを開発することを目的とした。
開発の手順は以下のとおりである。
①

既存シミュレーションコースのシナリオから、熟練した指導者が評価するレベルの評価項目チェックリストを作成する。

②

シミュレーション中の発話内容を音声認識・自然言語処理等により記録するシステムを開発する。

③

記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発する。

④

結果と時間軸の記録をデブリーフィングツールに反映し、評価と改善点を示唆するフィードバックを、学習者が自ら学びを促進できるように問答法により提供する。

⑤

プロトタイプ作成後に本システムを施行し、システムによる評価結果と実際の指導者がチェックした記録、ビデオ記録とを比較し検証し、精度を向上させる。
本システムを用いてシミュレーションを行うことにより、学習者及び指導者の利便性を改善し、指導者の教育能力に依存しない新たな学習機会の創出が期待できる。これまでの集合型シミュレーション研修を補完するだけでなく、これからの時代の主たる学習手段の一つとして活用できると考えられる。
【研究の背景】
シミュレーション教育は、専門的知識や技術などのテクニカルスキルだけでなく、コミュニケーション、チームワーク、リーダーシップ、状況認識、意思決定といったノンテクニカルスキルの効果的な習得も可能な教育方法である。これまでの研究のシステマティック・レビューとメタ解析において、シミュレーション教育は従来の教育法に比べて、医学知識、診療技能、倫理的態度のいずれの面でも効果的であることが示されている。
シミュレーション教育を継続的に提供するためには、目的に応じたシミュレータや器材等の準備とともに、指導者教育を受けた指導者の確保が必要である。シミュレーション中の学習者の発言や行動を記録し、適切なフィードバックを行うことが指導者には求められ、熟練した指導者の効果的な振り返り（デブリーフィング）は、学習者自身の学びを促進し、到達度や満足度に影響する。しかし、これらの環境整備や指導者の育成と確保の難しさがシミュレーション教育普及の障壁になっている。

【研究の目的】
本研究の目的は、病院前救護の質向上と効率的な救急隊・救急救命士教育体制の構築のために、施設環境や指導者に依存するシミュレーション教育に適用する音声認識と機械学習を用いた評価及びフィードバックシステムを開発し、新たな教育支援システムを作成することである。
機械学習を指導スキル支援に用いることにより、熟練した指導者でなくとも高い学習効果と満足度が得られる可能性がある。本研究は、施設環境や指導者に依存していた従来のシミュレーション教育における障壁を情報技術により解決を図るものであり、新たな学習機会の創出が期待できる。

新しい教育システム

現在のシミュレーション教育
チームメンバー
指導者リーダー①リーダーの発言から音声認識で記録を自動作成
リーダー②内容を機械学習で評価①指導者がリーダーの言動をチェック③デブリーフィングで評価内容から学習者の学びを促進②デブリーフィングの検討項目に熟練した指導者が不在でも充実したシミュレーション教育が可能

教育効果は指導者の熟練度に依存学習効果の向上と学習機会の創出がはかれる

図1

現在のシミュレーション教育と新しいシステムの比較【方法】
本研究においては、以下の工程でシステムプロトタイプを作成し、東北大学クリニカル・スキルスラボで行われる心肺蘇生法、病院前救急隊活動のシミュレーションコースで検証と研究を行った。
① 既存のシミュレーション教育シナリオからの評価項目チェックリスト作成
教育システムの開発のために、まず心肺蘇生法シミュレーションの 24 シナリオに関して、熟練した指導者が評価するのと同内容のチェックリストと時間経過の目安を作成した。
② シミュレーション中の発話内容を音声認識・自然言語処理等により記録するシステムの開発
シミュレーション中の発話内容を音声認識・自然言語処理等により自動記録するシステ
ムの開発のために、心肺蘇生法および病院前救急隊活動のシミュレーション 4 コースにおいて、シナリオ実施中に学習者の音声を取得し、音声認識入力の精度の検証を行った。共同研究企業である TXP medical 株式会社のアプリケーションを改良し、iOS の"ショートカット"機能から音声コマンド機能を用い、音声入力からテキスト置換して重要情報抽出し、FileMaker ファイルにデータを収集するシステムを開発した。音声認識には技術的課題があるため、シミュレーション中の受講者の言動をアプリケーション内から画面のタップで簡単に記録できるシステムを併用している。
③ 記録とチェックリストの整合性を機械学習により評価するシステムの開発
シミュレーション中の受講者の言動の記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発し、その結果と時間軸の記録をデブリーフィングツールに反映した。
④ デブリーフィングツールへの反映
心停止を判断した時間を”Time 0”として学習者の手技や言動の施行時間、所要時間も把握し、デブリーフィングツールに反映させた。
⑤ シミュレーションにおける検証と精度管理
東北大学クリニカル・スキルスラボ: 心肺蘇生法、病院前救急隊診療のシミュレーションコースで開発・検証・研究
検証・精度向上

プロトタイプ作成
シミュレーションシナリオの音声認識・自然言語処理の評価項目のチェックリストを作成システム開発シミュレーションコースで施行指導者による評価と比較

機械学習により整合性を評価する

音声認識・自然言語処理

システムの開発

機械学習による評価内容の検証

デブリーフィングシステムに反映

図 2 開発・検証の工程【結果】
心肺蘇生法のシミュレーションコース用に開発したシステムでは、指導者は事前にシナリオで用いる心電図波形を選択することによりチェック項目を簡単に事前設定することができる（図 3,4）。

図 3 シナリオ設定画面

選択したシナリオごとにチェックリストは自動で変更される

図 4 チェックリスト

シナリオ中は、音声認識と簡単な画面タップ操作にて学習者のシミュレーション中の言動の記録を行い、チェックリストの整合性が自動的に判定され（図 5）、シナリオ終了後に結果を供覧しながらデブリーフィングに用いることができる。

シナリオ中の学習者
チェックリストとのの言動の記録がログ整合性が評価されるとして蓄積され残る時間の評価がある内容（ex. 心停止の波形判読時間、胸骨圧迫の中断時間を10 秒以内）もタイムログから自動で評価される
図 5 デブリーフィング画面

本システムを実際のシミュレーションで用いて、実際の指導者がチェックした内容の比較検証し、システムの改修と精度の向上を進めている。

【考察】シミュレーション教育において、指導者にはシナリオを進行しながら学習者の言動をチェックし、ポイントをおさえた振り返りを行うことが求められる。学習者の到達度と満足度は指導者の熟練度に影響され、指導者の学習効果に対する責任は大きい。本システムを用い、シナリオ中の記録簡易化と機械学習を用いた自動評価が可能となる。これにより、熟練した指導者でなくとも高い学習効果と満足度が得られることが期待され、本研究は施設環境や指導者に依存していた従来のシミュレーション教育がもつ障壁の解決に寄与し、今後の教育環境整備への創造性を有する。
今後、本システムをシミュレーションコースに導入し、学習者の到達度評価や学習者・指導者に対する質問紙を用いて学習効果の検証研究を行う。本研究で開発したシステムは、臨床で遭遇する様々な病態に対してアルゴリズムを作成することで、チーム医療をすすめる
これからの医療における診療支援システムとしての展開も期待できる。
病院前救護や急性期医療は限られた時間と人員で診療することが求められ、診療記録や情報共有を行う負担が大きく、コミュニケーションエラーの原因になっている。救護・診療内容の迅速で正確な記録と適切な情報共有、スタッフの熟練度に依存せず質を担保する支援システムは社会的貢献が非常に大きい。病院前救護や急性期医療に限らず、他の医療分野への展開も期待でき、多様化する医療の中で教育や診療、医療安全の課題克服のための大きな一助になると期待できる。

この研究は、一般財団法人救急振興財団の「救急に関する調査研究事業助成」を受けて行ったものである。