ウェアラブルセンサによる看護業務の自動行動計測の提案
ATR メディア情報科学研究所 ○桑原教彰，野間春生，鉄谷信二，萩田紀博
ATR 知能ロボティクス研究所 小暮潔
東京女子医大 伊関洋

Proposal of Auto-event-recording on Nursing Operations by using Wearable Sensors○Noriaki KUWAHARA, Haruo NOMA, Nobuji TETSUTANI, Norihiro HAGITA, ATR MIS Labs.
Kiyoshi KOGURE, ATR IRC Labs.
Hiroshi ISEKI, Tokyo Women's Medical University
Abstract: In order to improve the quality of medical service, we propose a method for auto-event-recording of nursing
operations without disturbing their moves. We've developed the wearable sensors that record the type of job units
by recognizing their voices, the number of foot steps and their physical postures. Now, we are making several
experiments using the sensors at a hospital.

１．はじめに看護師は患者の状態を定期的に観察し、食事や身の回りの世話をし、昼夜を問わず予期せぬ緊急事態に対処している。
さらにその一日の最後には、心身とも疲労した状態で看護日誌を記録する。ところが医師、看護師ともに忙しく、この記録を情報共有することが難しいのが実態である。このような看護師の５W１H (When, …, How) の体験を自動的に記録、分析することは、看護業務の効率化、危険予知等、医療の質の向上に寄与するのは間違いない。この取り組みの一つに、携帯端末に検査、投薬、点滴などの医師の指示を表示し、また患者の体温、脈拍などを指やペンで入力してデータは院内通信網で送信する方法が知られている(朝日新聞 2002/6/12)。
これは、大規模、高コストであり、携帯端末の携行やその入力操作が看護業務を妨げる可能性もある。そこで看護師の動作を妨げずに看護行為を音声で記録し、さらに看護師の歩数、姿勢の傾斜データを計測できるウェアラブルセンサを試作した。実際の医療現場での計測データの特徴を分析し、看護日誌の自動記録および、いわゆるヒヤリハットと呼ばれている危険事例に対する予知への活用方法について検討した。

「非接触磁気センサ」をマイクのスイッチとし、看護師は腕に貼った磁石を近づけてオンオフを切り替える。今回のデー
タ記録には長時間のデータ記録に適している、および小型軽量であることからＭＤレコーダを使用した。記録データはFFTにより、発話、歩数、傾斜角の各データに分離される。

４．計測データの解析
実際の看護業務で看護行為を妨げずにデータ計測可能か検証するため、東京女子医大の一般病棟、ICU病棟の５名の看護師に対してデータ計測を実施した。
「発話」には看護行為を識別する情報が画一的に記録される必要がある。よって看護非接触センサー
非接触センサーマイクロホン
マイクロホン

傾斜角センサー傾斜角センサー

看護師データ
看護師データ
記録部
記録部

万歩計
万歩計

２．計測対象とするデータ
看護行為中、感染防止その他の理由から、看護師の手による携帯端末などの操作は実際問題として不可能である。手を使わない看護行為の記録手段としては、発話による音声入力が優れた方法であるので、「発話」により「どの患者」に「何の看護行為」を実施したか記録する。看護師のプライバシー保護の観点から看護師自身が音声入力のオンオフを実施する。
また各看護行為は、看護師の動作に特定の傾向を与えることから、動作に関するデータから看護行為を識別することが考えられる。そこで看護師に負担なく安定して計測できる、上体の「傾斜角」と移動量を表す「歩数」に着目した[1]。ヒヤ
リハットとの関連では、看護師の疲労が「傾斜角」や「歩数」に、通常とは異なる傾向を出現させることも予想される。

図１

ウェアラブルセンサの概要

３．ウェアラブルセンサの構成
前述のデータを計測するための、本装置の構成を図１に示す。また図２は、看護師が本装置を装着したときの写真である。本装置は音声入力用「マイク」と、マイクのオンオフを行う「非接触センサ」、歩数計測用「万歩計」、姿勢計測用「傾斜センサ」、それらの信号を周波数変調して媒体に記録する「看護師データ記録部」からなる。感染防止の理由で看護業務中にスイッチに触れることを避けるため、磁気に反応する
図２

看護師の装着時の様子

師には事前に、看護作業の開始、終了時に「どの患者」に「何の看護行為」を実施する／したと発話するように指示し、実際の看護業務で看護師がその指示に沿った発話（以後、「正しい発話」と呼ぶ）がされるか確認した。
「歩数」、「傾斜」に関しては、各看護作業で特徴的な傾向を確認した。
４．１ 発話について
表１に示す通り、計測データ中の発話80例中（誤操作、音声入力失敗以外）、52例（65%）が正しい発話であった。被験者による個人差が大きく、３名が90%以上の正しい発話の一方、他の２名は30%程度に留まった。これは計測に先立っての看護師への指示の徹底の差が原因であり、指導により正しい発話率を前者３名程度に向上させることは可能である。
表１

調整業務

患者の移乗の介護発話内容について

図３

被験者

発話

正しい発話

一般病棟－A

14例

13例(92.9%)

一般病棟－B

6例

2例(33.3%)

一般病棟－C

15例

15例(100%)

ICU－D

11例

10例(90.9%)

ICU－E

34例

12例(35.3%)

全体

80例

52例(65.0%)

被験者

作業数

開始だけ終了だけ開始／終了とも一般病棟－A

144100

一般病棟－B5500

一般病棟－C

15633ICU－D

10204ICU－E

333300全体

7750

137４．２ 歩数、傾斜角について
今回計測した業務の幾つかを表３のカテゴリに分類し、各カテゴリの特徴ベクトルに分散分析を実施した。特徴ベクト
ルには、時間軸方向に適当なフレーム長を定め、フレーム内の歩数累積、傾斜角平均、傾斜角分散、そしてフレーム間の歩数差分、傾斜角分散の差分を計算した組を用いた。今回の解析のフレーム長は、解析の対象とした看護作業で最も短時間であったものを基準とし、４０秒に設定した。
看護業務のカテゴリ化

カテゴリ

看護業務

調整業務
（図３の○）

医師、患者の家族との連絡

ベッド上の患者に対する介護（図３の×）

体位交代

患者の移乗の介護（図３の△）

計測データの分散分析の結果(b) ベッド上の患者に対する介護は、傾斜角の変動が大きく前傾になる。移動は少なめ。
(c) 患者の移乗の介護は、傾斜角の変動は大きいが前傾になることは少ない。移動は少なめ。
といった各作業での動作の特徴を表現できている。

表２に示すように作業の開始だけの入力が圧倒的に多いが、被験者Ａは急ぎの状況での事後報告（終了だけ）が多い傾向にあったとコメントしている。表２からは、作業の開始、終了を両方とも入力を期待するのは、実際の看護業務では現実的でない。
表２ 看護作業の開始、終了の入力

表３

ベッド上の患者に対するの介護書類の記入など
ベッドバスなど
車椅子からベッドへの移乗
ベッドから車椅子への移乗など

結果、図３に示すように各カテゴリが分類された。第１主成分は主にフレーム内の傾斜角平均が寄与しており（因子負荷量 0.90）、また第２主成分は主にフレーム内の傾斜角分散（因子負荷量0.47）、歩数累積（因子負荷量 －0.33））が寄与している。従って計測データは、(a) 調整業務は傾斜角の変動は少ないが、前傾の傾向がある。移動も若干多め。

５．まとめ
自動的な看護記録の生成に必要な、「どの患者」に「何の看護行為」を実施する／したのかという情報の、「発話」からの取得が期待できることを示した。しかし、看護作業に対して開始、終了が共に音声入力されることは期待できないため、看護作業が何時はじまり終了したのか（時間帯）は、「発話」だけからは検出ができない。一方、「歩数」、「傾斜角」から得られる特徴ベクトルで、看護作業は幾つかのカテゴリに分割できることを示した。よって「発話」から得られる情報に、特徴ベクトルのカテゴリの変化を組み合わせることで、看護作業の時間帯を切り出せると考えられる。
今回の計測中にヒヤリハット事例の発生が無かったため、計測データとそれらを直接関連付けることはできなかった。
これについては、看護師の疲労や外的要因などで通常とは異なる動作が看護作業に現れることで、特徴ベクトルのカテゴリからのずれとして検出され、ヒヤリハット事例と関連づけられると考えている。
現在、音声認識エンジンのJulius[2]を用いて、看護師の「発話」から「どの患者」に対しての「何の看護行為」を実施する／したのかを抽出するシステムを構築中である。今後の予定として、得られた看護行為の情報と特徴ベクトルを組み合わせ、看護履歴を自動生成する方法を検討するため、どのようなカテゴリが存在し、各看護行為がどのカテゴリに属するかの調査を進める。また、計測データとヒヤリハット事例の関連の調査に十分なデータ収集を実施する。
謝辞
実験に協力頂いた東京女子医大の看護師の皆様、および、音声認識技術に関しての助言を頂いた京大情報学研究科の河原助教授、ATR音声研の中村室長に感謝します。
本研究は通信・放送機構の研究委託 “超高速ネットワーク社会に向けた新しいインタラクション・メディアの研究開発”により実施したものである。

参考文献[1] 阿部他: ”加速度センサによる人の動作計測”, Human
Interface 2001 対話発表
[2] 住吉他: “音声認識エンジンJulius/JulianのAPI実装”, 情処学研報, 2001-SLP-37-16, 2001