情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-77
2020/3/9

NCPR 講習会のデブリーフィングにおける振り返り点自動抽出の試み
田村香都†1 大井翔†1 松村耕平†1 野間春生†1花岡信太朗†2 岩永甲午郎†2
概要：出生時に呼吸循環が安定するために何らかの処置を必要とする新生児がいる．そのため新生児蘇生法普及事業
では，新生児蘇生講習を全国で定期的に展開している．講習ではシナリオ実習を動画で振り返ることが推奨されているが，講習時間には限りがあり，撮影した動画を全て見て振り返ることは困難である．そこで本研究では動画の振り返るタイミングを自動抽出することを試みる．本稿では提案する振り返り点自動抽出システムの概要と，学習のために講師の振り返りたい状況を収集したことを報告する．

1. はじめに日本において 2015 年の出生数は約 100 万人とされており，このうち約 15%の新生児は出生時に呼吸循環が安定するために何らかの処置を必要とする．そのため，新生児蘇生法（Neonatal Cardio-Pulmonary Resuscitation; NCPR）普及事業
では，新生児のための蘇生講習を全国で定期的に展開している[1]．NCPR 普及事業における講習（以下，新生児蘇生講習）は，座学・手技講習・シナリオ実習の 3 つから構成される．新生児蘇生法では，チームワークが重要とされており，講習生が自身の問題点について第三者の目線から客図 1 振り返り点自動抽出システムの概要

観的把握ができるため，動画によるシナリオ実習の振り返りが推奨されている．一方で，講習時間には限りがあり，泣を声で模した表現をするといった新生児モデルの状態を撮影した動画を全て見て振り返ることは困難である．限り講習生に伝える必要があり，また，講習生への手技の指示ある講習時間の中で効率よくデブリーフィングを行うためや観察などをする必要がある．には，振り返るタイミング（以下，時点）を動画から抽出

西本らは，シナリオ実習時に新生児モデルを用いて講師できることが望ましい．しかし，動画のどの部分が振り返が机を叩く音や声で新生児モデルの状態を講習生に伝えてるべき時点であるのか手動で探すのは困難である．

いた部分を置き換えるシミュレータの手法を提案している

本研究では，動画によるデブリーフィングに着目し，振[2, 3, 4, 5]．聴診器モジュールをつけた聴診器で聴診するこり返るべき時点を機械学習を用いて自動抽出する振り返りとで，講習生は机を叩く音から新生児モデルの心拍数を知点自動抽出システムを提案する．本稿では，提案する振りるのではなく，聴音行動を主体的に行うことができる．ま返り点自動抽出システムの設計について述べる．振り返りた，講師が新生児モデルの状態をスマートフォンにインス

点自動抽出システムを実現するためには，講師がどのようトールしたアプリケーションで操作でき，そのデータを蓄な状況の場合に振り返りたいと感じるのか教師データとし積している．同時に，動画を撮影し，講師が新生児モデルて調査する必要がある．そのため，振り返りたい時点を調の状態を操作中に手動でブックマークを付加することによ査する振り返り時点調査収集システムを設計・実装して振って振り返り点の設定を試みた．しかし，講師にとっては，り返りたい時点の収集を行った．

心拍数や血中酸素飽和度，啼泣といった新生児モデルの状

2. 先行研究

態を操作する必要があり，また，講習生への手技の指示や新生児蘇生講習をより安価で効果的に行うための研究が行われている．新生児蘇生講習のシナリオ実習では，講師がシナリオに応じて心拍数を机を叩く音で模した表現や啼観察などをする必要があることから，講師に求められるスキルが高く，さらに並行して手動で動画にブックマークを付加することは難しく問題点として挙げている．
手動によるブックマーク付加が困難という問題点を解決するため，振り返り点を自動抽出する，振り返り点自動抽†1 立命館大学†2 京都大学医学部附属病院© 2020 Information Processing Society of Japan

出システムの設計・実装を試みる．

758

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-77
2020/3/9

種別の入力を指示した．収集した振り返り時点調査の一例






を表 1 に示す．設計している振り返り点自動抽出システム
では，手技そのものの正確性については評価が困難である

可能性があるが，手技に対する時間に関する振り返り点の

自動抽出は可能であると考える．
表 1 振り返り点調査収集結果の一例



図 2 振り返り時点調査収集システムの表示例

評価やや

3. 振り返り点自動抽出システムの設計振り返り点自動抽出システムの概要を図 1 に示す．図 1に示されている操作データと動画は，前述した西本らの手法による講師が操作した新生児モデルの状態を示すデータと講習生のシナリオ実習の様子を撮影した動画である．動画については，画像認識によって講習生の行動を識別する．
新生児モデルの状態は，講習生の行動によって状態が遷移していくため，新生児モデルの状態と講習生の行動は連動している．このことから，動画から得られる講習生の行動と操作データを用いてシナリオ実習の状況を推定する．また，学習データとして，講師がどのような状況の場合に振り返りたいと感じるのか調査し，どのような条件があるのか分析する必要がある．以上の，動画から得られる講習生の行動と操作データ，講師による振り返りたい時点を用いて振り返り点の自動抽出を試みる．本稿では，画像認識について，十分な学習を行うことで講習生の行動を識別できるものとし，手動で行動を抽出している．

4. 振り返り時点の収集
講師がどのような状況の場合に振り返りたいと感じるの注意
やや行う，振り返り時点調査収集システムを設計実装した．表

手技の正確性コメント
初期処置不十分

刺激できていない

チームワーク

心拍の共有できていない

良いチームワーク

役割分担できているやや

アルゴリズム，注意

手技の正確性

注意

やや注意
注意
やや注意

人工呼吸開始までが遅い

手技の正確性聴診が長いチームワーク

役割分担の不徹底

手技の正確性

このバッグの握り方では少ししか air が入らない

5. まとめ
本稿では，提案する振り返り点自動抽出システムの概要と，講師がどのような状況の場合に振り返りたいのかを調査するための振り返り点調査収集システムを用いた振り返り点収集を行った．
今後は，収集したデータと操作データを用いて，機械学習を利用して識別を行い，講師に対して振り返り点を提案するインタフェースを実装していく．

か調査するため，過去に西本らの手法で撮影された動画を提示し振り返りたいと感じる時点でブックマークや評価を種別

謝辞

本研究開発は総務省 SCOPE(受付番号 181607012)の委託を受けたものである．

示例を図 2 に示す．講師が左上のプルダウンメニューから参考文献

過去に撮影されたシナリオ実習動画を選択することで，動[1] 細野茂春:日本版救急蘇生ガイドライン 2015 に基づく新生児蘇生法テキスト第 3 版，メジカルビュー社，2016.
[2] 西本騰, WEI Yaguang, 松村耕平, 野間春生, 岩永甲午郎，黒田知宏, 安価で効果的なシミュレーション教育システムの開発,
第 19 回新生児呼吸療法モニタリングフォーラム, 2017.
[3] Noboru Nishimoto, Wei Yaguang, Kohei Matsumura, Roberto
Lopez-Gullive, Haruo Noma, Iwanaga Kogoro, Tomohiro
Kuroda,:Training simulator for resuscitation of neonate with higheffectiveness and low introduction cost, KES-InMed-17, 2017.
[4] 西本騰, 野間春生, 松村耕平, 岩永甲午郎, NCPR 講習に利用可能な安価で効果的なシミュレーション教育システムの開発,
第 8 回横幹連合コンファレンス, 2017.
[5] 西本騰，野間春生，松村耕平，岩永甲午郎, 花岡信太朗, 友滝
清一, 新生児蘇生講習のためのシミュレータの開発とその効
果検証, 第 6 回日本シミュレーション医療教育学会学術大会,
2018.

画教示部分に選択した動画が表示される．タイムライン部
分の上部のボタンで動画を操作することができ，下部のボタンで再生時点の評価（「注意」，「やや注意」，「良い」）となる 3 つのタグ付けを行える．また，再生動画に付加したタグ一覧をタグ詳細部分で確認することができ，付けたタグに対してコメントを入力できる．
この振り返り時点調査収集システムを用いて，複数の講師による入力から，各講師が動画のどの時間になぜ振り返り時点を設定したのか情報を収集した．また，今後のデータ分析のため，必ず振り返りたい点には「特に」とコメントに入力してもらい，新生児アルゴリズムにおける振り返り点については「1」，処置を行う講習生のチームワークについては「2」，手技の正確性については「3」とコメントの© 2020 Information Processing Society of Japan759