情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-55
2019/3/6

携帯端末型指さし呼称自動評価システムの試作
白井智啓†

浦島智† 鳥山朋二†

概要：指さし呼称による確認動作は医療の現場にも取り入れられつつあるが，その実施の徹底には講習だけではなく訓練が必要となる．我々は以前この訓練の支援を目的としてリアルタイムで指さし呼称の客観的な評価を得ることのできる指さし呼称簡易評価システムを試作し，試用実験を行った．今回，その際得たユーザの意見を基に機器構成を見直し，充電管理や無線接続に関する問題の解消と可搬性の向上を行った携帯端末型指さし呼称簡易評価システムを試作した．

1. はじめに切断については，機器間を接続している Bluetooth や無線LAN が切断された場合，知識のない人にとっては再接続が公益財団法人日本医療機能評価機構が行った医療事故情難しいためにシステムが復旧できないことが考えられる．

報収集等事業の 2017 年集計[1]によると，病院における医そこで我々は，システムを構成する機器を見直し，携帯療事故発生要因のうち，確認を怠ったことによるヒューマ

端末型の指さし呼称簡易評価システムを試作した．（以下，ンエラーがおよそ 12％で最大となっている．また，事故の本システム）これにより，システムが看護師にとってより当事者職種としては看護師が最大となっている．このよう気軽に使用できるものになり，継続的な指さし呼称訓練にな事故を防ぐ手段として，一部の医療機関では指さし呼称繋がると考えている．

による確認作業を業務に取り入れている．
指差し呼称とは，旧日本国有鉄道で創始された安全確認動作の一種で，確認対象を見つめ，腕を伸ばして指差し，本稿では試作した携帯端末型指さし呼称簡易評価システ
ムのシステム構成，音声認識と指さし呼称簡易評価の手法，システムの実装について述べる．

確認事項を呼称し，それを自分の耳で聞く一連の動作のことを指す．指さし呼称の効果については過去に検討が行われている．芳賀ら[2]は指さし呼称のエラー防止効果について，ボタンの押し間違え率を計測する実験を行い，なにも2. 指さし呼称簡易評価システム

しなかった場合のエラー発生率が 2.38%だったのに対し，2.1 システム構成指差しのみ行った場合は 0.8%，呼称のみ行った場合は 1.0%，

本システムは携帯端末，片耳イヤホンマイク，アームバ

指さし呼称を行った場合は 0.38%にエラー発生率が減少す

ンドの 3 点によって構成される．以前のシステムでは上腕るという結果を得ている．この結果から，指さし呼称がヒの加速度・角速度データを取得する無線 3 軸加速度・角速ューマンエラーの対策として効果的であることは明らかで度センサと，データ処理を行うノート PC，データの中継とある．

音声合成を行う Android 端末，呼称の音声データを取得す

我々は，数年前から看護師の指さし呼称訓練支援を目的るイヤホンマイクによってシステムを構成していたが，本として，看護師が業務中で使用可能なウェアラブルセンサシステムでは携帯端末に内蔵されている 3 軸加速度・角速による指さし呼称検知システムの開発[3]や，検知された指度センサを利用して上腕の加速度・角速度データを取得し，さし呼称の評価手段の検討・開発[4]を行ってきた．以前試

携帯端末内でデータ処理を行うことで，無線加速度・角速

作された指さし呼称簡易評価システムの試用実験[5]では，度センサとノート PC が不要となる．これによりシステム看護師の指さし呼称に対するシステムの評価値の上昇に有を構成する機器が携帯端末とイヤホンマイクの 2 点になり，意差がみられ，このシステムを使用することがよりしっか

充電管理と無線接続の問題が解消される．また，以前のシりとした指さし呼称の実施に繋がることが示唆された．

ステムは使用可能範囲がノート PC に接続された無線 LAN

このシステムについて，試用実験の後に行ったアンケー基地局と通信が可能な範囲内に制限され，その範囲外でシト調査や，利用者から口頭で得た意見として，機器の充電ステムを使用する場合にはノート PC を持ち運ぶ必要があ切れが起こり易いことや，機器間の無線接続が途切れたこったが，本システムではその必要がなくなり，可搬性が向とでシステムが利用できなくなった問題が挙げられた．こ上する．図 1 にシステムの機器構成を示す．

れらの問題について，まず充電切れのトラブルについては，携帯端末内 3 軸加速度・角速度センサで取得した加速システムに充電が必要な機器が複数存在することで，充電度・角速度データと音声データ（サンプリング周波数 16kHz，管理が大変になり，一つでも充電切れになるとシステムが16bit モノラル PCM）は携帯端末内に保存されるとともに，使用できなくなっていたと考えられる．また，無線接続の加速度・角速度データからは指さし呼称動作の分類が，音†富山県立大学工学部© 2019 Information Processing Society of Japan

声データからは呼称の音声認識が行われ，指さし呼称が検927

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-55
2019/3/6

知される．指さし呼称が検知された場合は，後に述べる指テムの開始から終了まで連続的に音声認識をし続け，「確さし呼称簡易評価手法によって評価内容が選択され，音声認」を認識した際に処理を実行する連続音声認識を行う必合成されたメッセージがイヤホンから使用者にフィードバ要がある．しかし，SpeechRecognizer 等の Android で用意ックされる．図 2 にシステムの内部構成を示す．

されている API ではその要件を満たすことができない．そこで本システムではオープンソースの大語彙連続音声認識
ツ ー ル キ ッ ト CMUSphinx の ラ イ ブ ラ リ の 一 つ で あ る
PocketSphinx を 用 い て 連 続 音 声 認 識 を 行 う ． し か し ，PocketSphinx には日本語の辞書が存在しないため，日本語の音声認識を行うためには独自に辞書を構築する必要がある．PocketSphinx では言語モデル，音響モデル，発音辞書が使用されるが，本システムでは文章の識別は行わないた
め言語モデルは使用せず，単語「確認」の音素を発音辞書に記述し，既存の音響モデルを用いて識別した．

図 1

システムの機器構成

発音辞書には，「か」「く」「に」「ん」の 4 文字に，それぞれ近い音となるように PocketSphinx の様式に従い音素記号を振り当てた．また，同じ文字に複数の音があることを考慮し，「確認」を計 16 パターンの発音とした．表 1 に発音辞書の内容を示す．
表 1

発音辞書

2.3 指さし呼称簡易評価手法
本システムでは指さし呼称が検知された直後に，音声に
図 2

システムの内部構成

2.2 音声認識手法
指さし呼称の呼称ワードには「よし」がよく使用されるが，病院スタッフの話し合いから，患者へ与える印象に配慮し看護師の使用する呼称ワードは「確認」となった．よって，本システムでは指さし呼称検知のためにこの「確認」というワードを識別する．
本システムは業務手続中での使用を想定するため，シスよって評価を利用者にフィードバックする．この音声フィードバックの内容について，本システムは業務手続き中の一手順として使用されることを想定するため長すぎる文章は好ましくない．また，ネガティブなワードは使用者のモチベーションに悪影響を与える可能性があるため，印象の良い内容にすることが求められた．これらの条件を基に病院のスタッフと話し合いを行った結果，「大変しっかりできています」「しっかりできています」「まあまあです」の 3種類の文章が音声フィードバックされることとなった．
フィードバック内容を決定する手法として，まず本シス© 2019 Information Processing Society of Japan928

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

テムで指さし呼称の評価を行うためには，良い指さし呼称と改善の必要のある指さし呼称を判定する必要がある．そこで，本研究では看護師長らが実施する指さし呼称と，看護師長らがしっかりできていると判断した指さし呼称を良い指さし呼称，それから外れている指さし呼称を改善する必要のある指さし呼称とした．
指さし呼称を判定するために，前もって看護師長らの指さし呼称と看護師長らがしっかり出来ていると判断した指さし呼称の上腕の動作について加速度・角速度データを取得し，それらを「振り上げ」「振り下ろし」「その他」の 3種類の動作に分け，それらを教師データとして教師あり機械学習手法の一つである SVM（Support Vector Machine）を用いて動作分類モデルを作成した．
動作分類では，センサから取得した加速度・角速度デー
タをウィンドウ幅 160ms，スライド幅 80ms として最小二乗法による 2 次多項式近似を行い，その係数を取得する．
加速度・角速度データは 3 軸であり，1 軸に対し 3 つの係数が得られるため，計 18 次元の特徴量が抽出できる．この特徴量を上腕の動作分類モデルを用いて機械識別を行い，動作要素のラベルを得る．SVM の計算には LIBSVM[6]を使用し，カーネルには RBF カーネルを用いた．
動作の分類は 160ms 毎に行われるが，指さし呼称の動作中で「振り上げ」及び「振り下ろし」は 300ms～1000ms程度の継続時間があるため，複数回連続して同じラベルが分類される．ここで，上腕動作の加速度・角速度データが作成しておいた動作分類モデルに近い動作を行っていた場
合，腕の振り上げと振り下ろしの連続した判定はそれぞれある程度の時間以上存在すると考えられる．逆に改善の必要がある指さし呼称は腕の振りが小さいために振り上げ・振り下ろし時間が不十分になることや，十分な時間動作していたとしても模範的な動作とは異なるため連続して判定される時間は短くなることが考えられる．そこで，「振り上げ」「振り下ろし」それぞれ 1 回の判定を 1 ポイントとして，連続して判定された回数積算を行い，その積算ポイントによって指さし呼称の評価を決定する．ただし，同じ判定結果でも確度が異なるため，LIBSVM が動作識別の際に出力する確度(probability)の値が 0.55 以下の場合はカウントをせず，0.55 より大きく 0.7 以下の場合にはポイントを 0.5として計算を行う．
指さし呼称が検知された場合，動作分類時の積算ポイン
トによってフィードバック内容が決定され，「振り上げ」「振3B-55
2019/3/6

3. システムの実装
今回，我々は携帯端末として Android 端末（Nexus5：Google社）を用いてシステムの実装を行った．
デバイスの重量については，無線加速度・角速度センサを使用した前システムの装着重量が 55g だったのに対して，本システムの装着重量は 181g となっている．この重量の増加によって生じる利用者への影響については，今後の試用実験で検証する予定である．
システムの連続稼働時間については，Android 端末を完全に充電した状態から，画面スリープを行わずにシステムを実行し続けた結果，約 8 時間の連続稼働が可能であった．
これは，一般的に 8 時間の労働時間中に一度挟まれる休憩時に端末を交換することを考慮すれば，勤務時間中常に使用し続けることができるため，十分な稼働時間と言える．
システムの実装に伴って，2 つの問題をシステム UI の工夫によって対策を行った．
1 つ目に，本システムは装着すると Android 端末の画面が腕の側面方向を向いてしまうため，使用者が画面を見ることができない問題である．これについては，使用者がAndroid 端末の画面を見なくても操作ができるように，システムの開始／終了のボタンをほぼ画面全体を占めるように配置した．また，誤操作があった場合に使用者が気が付けるように，各種操作時には音声によってアナウンスを行うこととした．
2 つ目に，Android 端末をアームバンドに収納すると端末自体のマイクが使用できなくなるため，本システムでは外付けマイクとしてイヤホンマイクの使用が必要になったが，イヤホンマイクの接続忘れ及び接続不良時には音声入力がされない状態で使用を続けてしまう恐れがある問題である．
これについては，システムのスタンバイ時にイヤホンの接続を検知し，未接続時にはシステムが開始できないようにした．また，音声が入力されているかどうかを使用者が判断できるように，取得した音声データの音量を緑色のバーで表示する音量バーを画面上部に配置した．
その他の機能として，利用者が自身の指さし呼称評価を振り返って確認できるように，過去 10 回分の指さし呼称評価結果を表示する画面を作成した．履歴確認画面への遷移は，メイン画面下部に配置されたボタンをタッチすることで行われる．図 3 にシステムの装着図を，図 4 にシステムUI を示す．

り下ろし」ポイントがそれぞれ 8 ポイント以上の場合は「大変しっかりできています」，6 ポイント以上の場合は「しっかりできています」，それ以外の場合は「まあまあです」が選択される．いい加減な腕振りでも指さし呼称を行っている場合は「まあまあです」となり，十分しっかりとした指さし呼称が行われていれば「しっかりできています」となる．

© 2019 Information Processing Society of Japan929情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-55
2019/3/6

参考文献
[1]

[2]

[3]

[4]

図 3

システムの装着図
[5]

[6]

図 4

システム UI（左：メイン画面

公益財団法人日本医療機能評価機構 医療事故防止事業部：医療事故情報集収等事業 2017 年 1 月-12 月（2017 年年報分），
http://www.med-safe.jp/contents/report/html/nennzi/2017/index.ht
ml
芳賀繁，赤塚肇，白戸宏明：「指さし呼称」のエラー防止効果の室内実験による検証，産業・組織心理学研究，9（2），pp.107-114，1996．
浦島智，鳥山朋二，中村正樹，中川美都子，大島淳一，吉野修，野村忠雄：看護師向け指差し呼称検知システムの開発，
電子情報通信学会論文誌 D，99-D（2），pp.59-64，2015．
浦島智，鳥山朋二，中川美都子，大島淳一：看護師向け指さし呼称の自動評価手法の一検討，信学技報，115（269），
WIT2015-62，pp.59-64，2015．
浦島智，前川智紀，白井智啓，鳥山朋二，中川美都子，大島淳一：看護師向け指さし呼称簡易評価システムの試用評価，
電子情報通信学会技術研究報告，117（502），pp.181-186，2018．
Chih-Chung Chang and Chih-Jen Lin，LIBSVM：a library forsupport vector machines，ACM Transactions on Intelligent
Systems and Technology，Vol.2，pp.27:1-27:27，2011．
（Softwareavailable at http://www.csie.ntu.edu.tw/~cjlin/libsvm）

右：履歴確認画面）

4. 終わりに
本稿では，以前我々が試作した看護師向け指さし呼称簡易評価システムの機器構成を見直し，充電管理や無線接続の問題の解消と，可搬性を向上させた，携帯端末型指さし呼称簡易評価システムを試作した．今後は，本システムを実際の看護師に試用してもらう実験を行い，システムの使用感についてアンケート調査を行う．

© 2019 Information Processing Society of Japan930