Advanced Telecommunications Research InstituteIntelligent Robotics and Communication Labs.!
Kyoto, Japan!
Haruo Noma!
!

1

"Even when using the lower estimate, deaths due to medicalerrors exceed the number attributable to the 8th-leading
cause of death.5 More people die in a given year as a resultof medical errors than from motor vehicle accidents(43,458), breast cancer (42,297); or AIDS (16,516)."!
“To Err Is Human: Building a Safer Health System”!
(Kohn, Linda, IOM: Institute of Medicine of the National Academy of Sciences,1999)

Goal of the E-Nightingale project
To prevent medical accidents, we started "E-Nightingaleproject" based on automatic nursing workflow analyzing
method used wireless sensor network.!
2

Primary purpose of nursing job analysis is….!
! Getting statistics for organization and methods!
! Factor analysis for preventing medical accidents,
evaluating skill of nursing operation and applying fornursing education.!
Current approach: Time study with a follow-up survey!
Manually observe and leave record on sheet, however,manual time study is expensive, great differences
between individuals.
!

We proposed semi-automatic time study method using
wireless sensor network as E-Nightingale project.
The system was designed to target long term daily nursing
activity as workflow for detail and objective analysis. !
3

Workflow is composed of complex interaction of each staff'sactivities. Our Wireless Sensor Network System measuresthis unit activities as context, and organizes workflow.

Context! Who!
! When!
! Where!
! with Which!

In order to…!
! Share situation and progress ofnursing activity among all medical
staffs in real-time!
!

Prevent medical incidents /accidents before they happen!

!

Improve workflow/resource
allocations!

!

Instruct novices /extract veteranʼs skills for training!

! (to/with) Whom!
! (do) What!

4

Nursing History Viewer

NsSensor NodeServerNs

Nurse

Ns

Measuring BP

Sensor Node

Staff Location Viewer

IR-ID receiver
IR-ID Transmitter

NurseʼsStation

Wireless !
Accelerometer

Nurse

Wearable !
Main Unit

Administer Drip
Nurse

Hand Hygiene
5

1.

2.

3.

Activity measuring and classification method withaccelerometer and location!
⇒Who is doing what kind of activity and when!
Indoor location estimation method with ZigBeeSensor Network!
⇒Who is where and when!
Proximity inference method with Bluetooth ID !
⇒Who is with whom and/or operating with what!

6Four accelerometers were worn by a nurse
on her botharms, chest, and waist
during her shift.

7

8

9

Sub categories of !
hand washing procedure

! Battery-driven ZigBee sensor nodes
Power consumption!
Sleep mode
1.7mW!
Sensing mode 231mW

IR-ID transmitters
Li rechargeable battery
more than three days
operation.

Battery operation ZigBee sensor nodes10• Target is a real ward having more than 30rooms• IR-ID receivers are located at the top ofdoors and ceilings so that they separate
regions• Estimate nurses’ location from received !
IR-ID signals emitted from nurses’ hairpin, and the system detected who is inwhich regions.

ZigBee sensor node

IR-ID receiver
Sensor deployment

11

12

! Exploit Bluetooth “Device discovery mechanism”! Each device can find neighbor device each otherby their radio signal intensity.

Nurse’s waist

Bed (patient)
BT-ID sensor

Drip preparation roomWagon13

Position1 Position2 Position3 Position4

RecallPrecision

Position1

9442

589.5%

87.0%

Position2

51000095.2%

96.2%

Position3

00105

0100%

92.9%

Position4906

9085.7%

94.7%

Landmark

Landmark

Position 2

Position 1

Landmark

Position 4

Position 3

Landmark•System can estimate whodoes take care of whom.
•Putting device on themedical instruments, it ispossible to maintain log of
their operation history.
1415

16

I.

Automated recording of nursing work!

II.

Online visualization for sharing nursing
context as history or location.!

III.

Offline analysis and visualization forimproving nursing workflow

17!

Target!

!

Method!

!

Job category!

! One floor in a real hospital ( with 30 rooms)!
! Subject of medical treatment： internal medicine and diabetes!
! Day shift staff (we focused work in 8:30am〜11:00am)!
! Nine nurses (length of service: two years – 16 years)!
!
! Location and timing: !
! By sensor network!
! Target patient and job category: !
! By voice recording and manual trans-scripting in offline !
! According to job classification defined by Japanese Nursing Association!
! We employed primly 90 kinds of standard job operated in day shift suchas dripping, vital care and cleanses support.!
18

Time

11:00aJob name

8：30aTotal timefor each job

Job history
30 times

Job switchingfrequency in 10 min.

20 times
10 times
0 times

8：30a11:00aMoving frequency!
from room to room!
in 10 min.

200 times
100 times
0 times
30 min8：30a11:00aElapsed time !
as type of job

20 min10 min
0 min

8：30a

11:00aSkilled Nurse (>10yrs)

19

Time

11:00aJob name

8：30aTotal timefor each job

Job history
30 times

Job switching frequency
in 10 min.

20 times
10 times
0 times

8：30a11:00a200 times
100 times
0 times
30 min8：30a11:00aElapsed time
as type of job

20 min10 min0 min

Movingfrequency
Novicenursefrom(<3yrs)
room to roomin 10 min.

8：30a

11:00aNovice nurse (<3yrs)

20

Job switching frequency
per 10min.
8:00amStart day shift

Skilled Nurse (>10yrs)

Novice nurse (<3yrs)

11:30
Conference

The skilled nurse could switch her job more than 20times in every 10 min conteniously. However, thenovice nurses could handle up to 15 jobs in sameperiod.!

21

Moving frequency fromroom to room in 10 min.

Skilled Nurse (>10yrs)

8:00amStart day shiftNovice nurse (<3yrs)

11:30
Conference

Moving freq. of the skilled nurse was kept under 60
times/10min, the novice nurse, however, moves
very often (200 times) and rate is instable.!
22

! The skilled nurse started working immediately, andperform multiple jobs uniformly in every time slot.
! The novices started working gradually. Especiallydirect cares tend to be delayed and accumulated
before conference.
20 min.

10 min.

Skilled(N=10)

Novice(N=6)

OthersDirect care
Indirect care
Clear up eq.
Preparation

0 min.
8:00amStart day shift

11:30
Conference

8:00amStart day shift

23
11:30
Conference

! We proposed Wireless Sensor Network Systemfor nursing context analysis. !

! Now, we have tools, and we are going to apply

our method in real environments as next
research phase.!

! Does this technology could be applied in aging

society?!

! Monitoring system for elders themselves for improving
their quality of life?!
! Monitoring system for care staff for supporting elders
effectively?!
24This research was supported in part by theNational Institute of Information andCommunications Technology.

Thanks for your interest

Please join ATR Open House 2009 at 6 & 7 Nov. in Kyoto
http://www.atr.jp25

!

We proposed Wireless Sensor Network System fornursing context analysis. The system was designed totarget long term daily nursing activity as workflow for
detail and objective analysis. !

!

In current research phase, we have developed basetechnologies and confirmed these function. !

!

Current trial research system can serve more than 10
nurses simultaneously under 88% of activity recognition
rate for 28 standard nursing activities.!

!

We also confirmed that our long term workflow study canbe applied in objective organization and methods.!

!

Now, we have tools, and we are going to apply ourmethod in real hospital environments as next phase.!
26

! Comment for primary nurses:!

! " The result fits our subjective image"!
! The method can be applied for objective scoring

system for nursing skill.!
! Gathering and analyzing job history of skilled
nurses much more, we tried to extract knowledgeof effective planning method to shear skill amongstaff.!
! As future work, we need to developed automation
recognition engine instead of our manual labelingprocess. !
27

! In simulated hospital ward in Lab.!
! Classification Engine are made from real hospital

data.!
! 10 devices are accepted simultaneously
under 1810 msec turnaround delay.!
! Classification accuracy!
! 88% for 28 activities!
! 95% for mixing a drip, measuring blood pressure, andinjection a needle.!
! Desirable for just in time notification to nurse.!

28• A patient room with two beds.!
• Estimating which position does nurse stand!
• Two landmarks for each bed, one for the nurse!
Landmark

Landmark

Position 2

Position 1
Landmark

Position 3

Position 4

Landmark29

! ATR released this device on 2007 as promotion

phase for research development.
Acceleration / Gyro!
sensor+CPU+
Li-Ion Battery+
Bluetooth radio
WA-00684,000JPY Released on 2009

WA-00152,500JPY Released on 200630

Trial Phase1(2004)

Product version
WA-006（2009）

Trial Phase2(2005)

Patent execute!
WTI corp.

R&D Phase

Product version
WA-001(2006)
Promotion Phase31WA-001
acceleration

WA-006

CPUH8H8S with

SRAM

Dimensions

38 3917g

39 44
20g

12mm

Operation timesampling rate
Radiofunctions- 4.5 hours< 200Hz
Bluetooth Ver.1.2
Class2 (10m)- 6 hours< 500Hz
Bluetooth Ver.2.0+EDR
Embedded memory

Sensor &expansion
port

3 axis acceleration
sensor (max 3G)
A/D x 1chPWM output
x 1chPIO 2ch

3 axis acceleration sensor(max 4G) & 3 axis gyro
sensor (300deg/s for Z,
500deg/s for X&Y)

52,500JPY

84,000JPY

Price10mm

acceleration ＋gyro

A/D x 1chPWM output x
1chPIO 2ch
32

! Standard Bluetooth SPP connection:! Connectable for Windows, Windows Mobile, PDA,Linux, Mac, Cell phone .

! Small and rechargeable battery (up to 6hours)! Command control from standard com port.

! Optional port for other sensor and actuator

Best solution for R&D phasein motion sensing ﬁeld!

33

! 患者・看護師のプライバシ確保! ビデオ撮影は必要最小限! 計測データの限定：データ計測しない場所・時間の確保! 看護業務への負荷・支障のないこと! センサ装着部位の選定! 機器の小型・軽量化・無線化・省電力化!
! 計測データの一貫性確保! 異種・複数センサデータの時刻同期の保証34

日勤（8:30 – 11:00）処置係の観察データに基づく業務比較! 勤続年数：3年以上の中堅・ベテラン群 vs. ３年未満新人群! ベテラン群は業務の立ち上がりが早く、全時間帯で均一に業務をこなしているのに対し、新人群は立ち上がりが遅く、業務（特に直接看護）が蓄積されていく傾向。
!

中堅・ベテラン群(N=10)の平均業務推移

新人群(N=6)の平均業務推移35

! センサネットワークによる看護業務計測手法! 音声メモによる業務観測・記録! ZigBee センサネットワークによる病棟内位置推定システム! 加速度による動き・位置情報の統合による行動識別手法! 近接検知センサによる人・人，人・物インタラクション検知手法! SyncPlay: センサデータへのラベリングと行動識別を統合した行動分析ツール! センサデータを用いた看護業務分析事例の紹介! 行動・位置データを用いた業務統計分析! ベテラン vs. 新人群の業務比率時系列の比較事例! 詳細看護行動（手指衛生行動）の実施状況の定量的分析

36

37

作業者のコンテキストの一覧表示①!
!

監督者・作業者間での情報共有
ひと・作業・モノの管理・検索!

作業の進捗状況の管理とアラート提示②!
!

未実施タスク・遅延タスクの検出とアラート提示
作業者の適正配置!

ヒヤリハット・事故の未然防止③!

エラーの検出と適切な情報の提示による注意喚起

38

Context Snapshot Viewer

Context History Viewer

Detailed ContextViewer

39

被験者の腹部と腰部にデバイスを装着した場合
Position1 Position2 Position3 Position4

RecallPrecision

Position1

105

00

0100%

95.5%

Position2

1

104

0

099.0%

100%

Position3

00

105

0100%

98.1%

Position4402

9994.3%100%

高い識別精度が得られた。
本実験環境では有効な推定手法
デバイスの数は少ない方がよい。
40

! 業務分析システム! コンテキスト共有システム! ジャスト・イン・タイム看護アドバイスシステム! 誰が! いつ! どこで! 何を使って! 誰に! 誰と! どうしたコンテキスを取得するのに十分な能力を持つセンサの選択! センサの設置コスト，安全性，消費電力，バンド幅を考慮した通信媒体(無線)の選択!
!

!

!
!

!
!

環境設置センサ! どこでロケーションセンサ

ウェアラブルセンサ! 何を使って! 誰に，誰と! どうした(環境設置)近接センサ(ウェアラブル型)近接センサ
加速度センサ

共通事項! 誰が各センサに付与するIDの管理! いつ
各センサがローカルタイマと!
時刻同期プロトコルを持つ

コンテキスを取得するのに十分な能力を持つセンサの選択! センサの設置コスト，安全性，消費電力，バンド幅を考慮した通信媒体(無線)の選択!
!

環境設置センサ! どこで
ロケーションセンサ→ZigBeeを主体とするネットワーク!
!

ウェアラブルセンサ! 何を使って(環境設置)近接センサ! 誰に，誰と(ウェアラブル型)近接センサ! どうした加速度センサ→Bluetooth，WiFiを主体とするネットワーク!
!

!

共通事項
! 誰が各センサに付与するIDの管理! いつ
各センサがローカルタイマと!
時刻同期プロトコルを持つ! ヘテロジニアスなネットワーク媒体を使用! ZigBee!

⇒ 間欠的なデータの送受信! Bluetooth!
⇒ 連続的なデータの送受信! WiFi!
⇒ 複数の機器を集約するための十分な!
バンド幅! 環境設置型センサ：長期間の稼働! ウェアラブル型センサ：勤務時間もてばよい! 各センサをハンドリング! 各センサIDと看護師の対応付け! センサの動作開始／停止制御! 生センサデータの保存! リアルタイム位置推定エンジン

! 行動認識エンジン! 各センサデータから「どうした」を推定! リアルタイムデータベース! クライアントへコンテキスト更新のイベントを通知!

⇒ポーリング負荷，レイテンシの削減! コンテキスト管理サーバ! リアルタイムデータベースのフロントエンド! SensorDBマネージャ! ミドルウェア層で保存されたセンサデータへの!

インデックスの作成!
（業務分析における証拠としての利用）! 加速度データの特徴量(Xt)! 128サンプル(1,28秒)，ずらし幅50%(0.64秒)で部分系列に分割! 各軸の平均，標準偏差，エネルギー，周波数領域エントロピー，!
LPCケプストラム，各軸間の相関係数! 位置に基づく行動モデル! 位置毎にSVMを用いて学習を行う!
⇒計算量の削減! 尤度p(Qt|Xt) と前回の識別結果から!
推定結果(Qt* )を得る

Qt* = arg max p(Qt | Qt*"1 ) ! p(Qt | X t )Qt

! アプリケーション

定常的な業務モニタリングに基づく業務分析システム! 看護師間の連携を強化する
コンテキスト共有システム! 医療過誤を防止するためのジャスト・イン・タイム看護アドバイスシステム!

詳細な看護業務履歴の自動記録!
リアルタイムでの行動認識および情報提示多クラスでも高識別精度の達成
低レイテンシでの識別結果の出力

看護師状況表示
!""#$"%$!&'''"#()"(*!

!作業者がどこで何をいつから開始しているか!誰が何を使用していたかを表示・検索

血圧計"*49

!工程が予定通り進捗しているか!リソース（作業者・時間・モノ）の動的・最適配置

患者処置状況表示
!""#$"%$!&'''"#()"(*!

"#(""計画
履歴担当%"(""

点滴点滴-."*
現在時刻："#()"

点滴は予定より!
３分早く実施中です

患者+患者,
#(*"
計画履歴
担当

検査,-.!%
現在時刻："#()"

注意！!
検査Ａが未実施です50

! 手指が汚染される行動・清潔になる行動を検知! 汚染・清潔状態を遷移モデルにより追跡し、的確な行動をアドバイス

手指衛生遷移モデル51

! 医療・看護でのセンサネットワーク活用事例の紹介!
! 各種センサネットワーク要素技術! 「誰が」「いつ」「どこで」「何を使って」「誰と／誰に」「何をした」!
かというコンテキストを推定する技術!
! 業務に付随する各種コンテキストの識別・提示・分析・可視化技術! オンライン情報共有システム! ヒヤリハット・事故防止! 業務進捗管理! 業務改善分析! 教育・スキル伝達52

‹#›

54

55

! 分野! 医療・看護、消防、工場、オフィス、店舗、物流・倉庫、建築現場
etc.!

! サービスイメージ! 業務量調査・業務改善分析! 工程管理! 設備・貸出管理! 廃棄物管理! 入退室管理・セキュリティ! 教育・スキル抽出・技能伝承! ヒヤリハット・事故防止 !
!
etc.

56