立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (C) ］

臨床技能の自動採点による医学教育サポートシステムの開発
Development of Support System for Medical Education Training by Automatic Scoring of Clinical Skills
2197007

研究代表者

早稲田大学総合機械工学科(助成金受領時：早稲田大学大学院先進理工学研究科助教

菅宮友莉奈

博士課程)

[研 究 の 目 的][研究の内容，成果］

本研究は医学生に臨床技能訓練の機会を提供

診察中に医師から患者に対して行われる指示することによって，学習効率を高めることを目を分析し，どのようなセンシング方法によって的としている。

指示を認識するかを検討し，システムの概要を

技能学習は繰り返し練習や，正否を知ること決定した。その後，実際に，医師から患者に対で定着するとされている。しかし，臨床技能訓しての指示を認識可能なモジュールの構築を行

練では，正否の判断は指導医が直接行っている

い，患者を診察可能な姿勢にしたかどうかで採ため，すべての学生が好きな時間で自習を行う点を行うことを目指した。本研究では，医師のことは現実的ではない。

指 示 の 分 析，シ ス テ ム の 概 要 決 定，認 識 モ

そこで，正否が自動でフィードバックされ，ジュールの構築，それらの評価を行った。

繰り返し自習が可能となることで，医療における臨床能力の質の向上が可能となると考え，採1．指示の分析実験
診察中に医師から患者に対して行われる指示点のフィードバックが可能な診察の自習システの分析実験を行った。事前に，医師らへのヒアムの構築を目的とした。
本研究で対象とする臨床技能としては，多くリングによって，診察において重要なことは，の学生に必要であり，学習者すべてにマンツー患者を診察可能な姿勢にすることだと判明した。

マンで指導を行うことが難しい行為を選定した。

そこで，学修評価項目を使用して，診察中に患現在，全医学部が共用試験を実施している。共者にとらせるべき姿勢についてリストアップを用試験とは『基礎・臨床の知識の総合的理解と行った。学修評価項目とは学生が身につけるべ

問題解決能力をコンピュータを用いた客観的試

き臨床能力の目標が記載されており，臨床技能験 (CBT) で評価』し，『態度，臨床技能を客訓練の際も使用される教材である。

観的臨床能力試験 (OSCE) で評価』するもの

四肢脊柱の診察中に患者が取り得る 5 つの姿である。そこで基本的な臨床能力として OSCE勢の写真 (図 1) を撮影 (以下，S 0 -S 4) した。

で取り上げられる四肢脊柱の範囲の，頸椎の可被験者に S 0 の写真を見せ，S 1 の姿勢になるよ動範囲の診察を対象として開発を行った。

うに指示を思いつく限り列挙してもらった。同
様に S 1 から S 2 への状態を遷移させる指示表現を列挙と，すべての姿勢遷移について取得した。
なお，患者への指示のため，万人にわかりやす― 1 ―立石科学技術振興財団

た。
これらを整理すると次のようになる。
・医師は患者の姿勢に応じて指示を変える
・指示は主に音声指示，補助的に動作指示を使用・音声指示に含まれる自立語は動詞 1 つと 0以上の名詞・使用される動詞・名詞の数は有限
・動作は指示代名詞に対応して，向きか手本を表す

図1以上のことから，本システムに必要な要素は，診察中に患者が取り得る姿勢

診察中の医師の指示を音声認識および動作認識い表現としたが，指示方法に制限は設けなかっによって認識し，動作による補助的な情報を含た。

めてテキスト化する。テキスト化した情報からこの実験によって，患者の現在の姿勢に応じ自立語を抜き出し，現在の姿勢に対して，実験て医師は指示を変えるということが判明した。

によって取得した情報を照らし合わせることにさらに，音声指示については大きく 2 種類の表

よって次の姿勢の遷移先について判断を行う。

現があった。

姿勢の情報管理については状態遷移モデルを用・床を見てくださいいることが適当であると考えた。そして，現在・もどしてくださいの患者の姿勢を医師に提示するための表示が必の 2 種類であり，自立語が動詞 1 つの場合と自要である。最後に，状態遷移モデルに基づいて，立語が動詞 1 つと名詞複数の組み合わせである。

各姿勢に達したかどうかを数え上げ，採点を以上のことから，Noun を名詞，Verb を動詞フィードバックする必要がある。

として，以下の様に記載できる。
・[Noun を]Verb てください

2．音声認識モジュールの構築[ ] 部分は省略可として，この文が認識できれば，指示が認識可能であると考えられる。

指示の分析実験によって，診察中の医師の音声は少ないバリエーションであることがわかっ

さらに，その際の Noun と Verb の組み合わている。本システムではアドバンスト・メディ

せによって次の患者の姿勢が決定する。また，

ア社の AmiVoice SP2 を用いて音声認識を行っ指示に使用される文章は限定された自立語からた。Amivoice は学習済みの音響モデルが搭載なっており，すべて記述しきることが可能な分されており，オフラインでの使用が可能である。

量であると考えた。

さらに，認識可能な文型・単語のカスタマイズさらに，補助的に動作情報を使うことがあるが可能という特徴を持っており，さらに，組みと判明した。例えば，『こちらを向いてくださ込み用の API が存在しているため，動作認識い』や『このようにしてください』といった，を含めた一連のシステムを一つのソフトとしてこそあど言葉を使用した際に，動作で表す指示開発が可能となる。

である。動作を用いた指示表現は分析すると向また，名詞や助詞や語尾については省略されきか手本を表す場合に限定されることもわかっることがあるため，下記の様な簡易な構文とし― 2 ―Tateisi Science and Technology Foundation

識率を得ている。て表した。

以上のことから，本認識システムによる認識[〈名詞〉][を]〈動詞〉[ください][〈名詞〉][を]〈動詞〉[もらっていいですか]

率 99% は，90% を大きく上回る物であること[〈名詞〉][を]〈動詞〉[いただいていいですか]から，本音声認識方法による音声認識の精度は[ ] 内は省略可能であり〈 〉部分はカスタマ実用としても問題無い精度であると考えた。

イズした単語が認識可能となる。さらに，このまた，認識ができなかった 1 語については，

方 法 に よ っ て 記 述 し た 動 詞 と 名 詞 は， 『向いて』を『見て』と認識しており，どちらAmiVoice の API を 使 用 す る こ と に よ っ て，もマ行下一段活用であり，音素分解した際もと認識を行った際に，単語と品詞が抽出される。ても似ていることが原因と考えられる。

4．音声認識の認識率検証

5．動作認識モジュールの構築

構築した音声認識手法の精度検証実験を行っ

次に，動作情報について認識方法を説明する。

た。対象は 20 代の男女 8 名とし，1) 認識可能

これまでの実験で動作情報は向きもしくは手本な動詞，名詞の単語リストを用意。2) 任意のを表すことがわかっている。本研究で対象とし動詞もしくは動詞と名詞の組み合わせからなるている四肢脊柱の診察においては，手本を示す文章を発話してもらう。3) 1 人につき 10 文章指示がほとんど見られないことから，向きの認を発話してもらう。

識のみ行った。さらに，利き手でカルテを記載

以上の方法により，発話された 80 文章の認し，逆の手で患者への指示を行うことが一般的

識結果と発話内容が一致するかについて比較しなため，右手を利き手と仮定して，左手が向きた。の指示を行う手と考えた。

その結果，動詞は 80 語中 79 語一致し，名詞診察中の動作指示は，手を使用することがわ

は 80 語中 80 語認識された。精度としては約かっている。診察以外の場な日常的な場面では99% ととなった。また，認識が一致しなかっ

目線・顎などによる向きの指示も想定されるが，たものは，発話は『向いて』だったが，認識は診察中は不適切と考えられる。そこで，親指の『見て』となっていた。

付け根から指の先端に向かうベクトルが，向き有効性について議論する。音声認識では，認を表すと考えた (図 2)。

識の際に使用される音響モデルの構築には膨大

また，診察中に示される向きとしては上下左なデータが必要となり，昨今ではビッグデータ

右以外に『私の方』という意味の『こちら』がを使用した認識も行われているが，その場合も存在した。『私の方』を示す場合，手は体の中膨大なデータが必要となる。つまり，その言語心部分に向かい，手が胴体から出ない傾向での話者の人口に影響を受けることになる。また，あった。

発話の状況が原稿を読むのか，自由発話なのかで大きく精度が変わる。日本語では，環境を整えた場合に Julius という音声認識ソフトでは認識率が 80-90% を示しており，国会審議の場(言い直しなどがあり認識しにくい点もあるが，使用される語数としては限定的) での認識率は86% となっている。話者人口が多く，音声認識が進んでいる英語の場合で，アナウンサーの発話を認識させた場合は，90% 程度の高い認― 3 ―

図 2 親指の付け根から先端へのベクトル

立石科学技術振興財団

図4
図3

発話と動作のタイミング

手の位置と胴体の関係

以上をまとめると，音声認識と動作認識の統以上のことを踏まえて，動作認識を以下の様合は次のように行う。まず，認識した文に向きを表す指示代名詞が含まれているか調べ，指示に構築した。
Microsoft 社の光学式 3D モーションキャプ

代名詞が含まれていた場合には，発話中の最大チャ Kinect v2 を用いて，学習者の骨格を認識フレームで示していた向きについて名詞化して，する。両肩と左右の腰骨からなる四角形を仮定指示代名詞に置換する。

し，左手がその四角形に入っていた場合は『私の方』とした (図 3)。そして，その四角形か6．認識実験

ら左手が出ていた場合に，手首から指の先端へ構築した指示の認識手法について認識精度のの ベ ク ト ル を 推 定 し，90 度 ず つ『上』『左』検証を行った。被験者は 2-30 代の男性 7 名と『下』『右』として認識した。

して，下記の方法で行った。

次に，音声認識モジュールと動作認識を統合する方法を記載する。まず，医師の振る舞いは

1) 医師役として患者に指示をしてもらう。
2) 指示書に従って，発話しながら向きを示してもらう。

1 文章単位で認識を行う。
そして，その文中に指示代名詞が使用されて3) 1 人の被験者に対して上下左右自分の方の 5つの向きを示してもらう。

いる場合には，動作情報と置換する。しかし，『あちらを向いてください』と発話する間に約4) 一連の動作を用いた指示をシステムによって記録する。

30〜100 フレーム程度の時間経過が起こるため，発話中に複数の向きを示す可能性がある。さら発話の順序による実験結果への影響を考慮し，に，発話の前後でも向きを示す可能性があるため，図 4 で示す 6 通りの状況について，検討し指示書中の 1〜5 の発話は被験者によってランた。『あちらをむいてください』という発話にダムに設定した。また，自分を示す際には違和対して，『あちら』に該当する向きを表す動作感の軽減のために『こちらをむいてください』が行われたタイミングを示している。このうちという文章にした。

発話以前に動作が終わる①と発話後に動作が始

その結果，35 回の発話中 31 回で正しく，音まる⑥に関しては不自然と考え，②〜⑤が該当

声認識に対して向きの置換が行われた。精度とすると仮定した。

しては 89% となった。この実験では図 4 で検そして，発話中の最大フレーム数で示してい討した⑥の方法で向きを示した被験者がいた。

る向きが，『あちら』に該当する向きであると⑥は発話が完全に終了してから向きを示すパ考えた。

ターンであり，不自然であるとして，認識から― 4 ―Tateisi Science and Technology Foundation除外した。⑥の発話パターンについて不適切でや人と対面をしない形で行えるようになることあるか，医師や患者らにヒアリングを行うなどが，貴重な対面訓練の時間を有効に使用する一して，さらなる検証を行いたい。

助となると期待する。

[今後の研究の方向，課題］[成果の発表，論文等］■ 査読付き国際学会

本研究では，医師の指示の分析を行い，医師[ 1 ] Yurina Sugamiya, Takuya Otani, Ryu Nakadate,の指示が音声と動作の情報からなることを明らAtsuo Takanishi, “Construction of Automatic

かにした。必要なシステムの概要決定を行った。
そして，音声認識モジュールの構築・動作認識

Scoring System to Support Objective Evaluation ofClinical Skills in Medical Education”, 2019 41st
Annual International Conference of the IEEE

モジュールの構築，それらの統合および評価をEngineering in Medicine and Biology Society行った。その結果，十分な認識率を得ているこ(EMBC), pp. 4177-4181, 2019.と を 確 認 し た。現 在，医 師 に 患 者 の 状 態 を■ 査読無し国内会議

フィードバックするための CG 患者の開発を進[ 2 ] 菅宮友莉奈，大谷拓也，中楯龍，大久保由美子，めており，本システムを用いて認識および採点

山内かづ代，高西淳夫，“状態遷移モデルと患者を行った結果が，医師らによる採点の結果と一致するか検証を進めている。
本研究は，医学生に臨床技能訓練の機会を提供することによって，学習効率を高めることを目的としているが，研究を進める中で新型コロCG を用いた臨床技能訓練システム”第 37 回日本ロボット学会学術講演会，2019 年．
■ シンポジウム，交流会[ 3 ] TWIns10 周年記念 東京女子医科大学・早稲田大学ジョイントシンポジウム，音声認識を用いた臨床手技の自動採点システム，2018 年 6 月

ナウィルスの蔓延が起こり，臨床技能訓練の実[ 4 ] 第 6 回研究交流セミナー (東京女子医科大学，施が非常に困難になる事態が起きている。臨床早稲田大学先端生命医科学センター)，音声認識を技能訓練は指導医，患者，学生が行うことが最善であるが，対面・対話・接触が難しく，これまでよりも技能訓練の方法が制限されている。
本研究を進めていき，初学者の臨床訓練が在宅― 5 ―用いた臨床手技の自動採点システム，2019 年 2 月[ 5 ] Symposium for Women Researchers 戸山高校
研究交流会，音声認識を用いた臨床手技の自動採点システム，2018 年 11 月