要介護者の見守りセンサターミナルの開発○清山 昂平（九州大学），河村 晃宏（九州大学），倉爪 亮（九州大学）

Development of multi-sensor terminal for vital data sensing
and position tracking○ Kouhei Kiyoyama(Kyushu University), Akihiro Kawamura(Kyushu University),

and Ryo Kurazume(Kyushu University)
Abstract : This paper proposes a multi-sensor terminal for vital data sensing and position tracking of a care receiver to reduce
caretaker’s burden on nursing care. This sensor terminal is equipped with a RGB-D camera and a laser range finder. It is able
to measure heart beat and breathing rate from depth information. In addition, it can track a walking position of a carereceiver by the laser range finder.

1.

緒言

人口減少社会と超高齢社会の進展に伴う要介護者の増加により，介護士の負担増と介護サービスの質の低下への懸念が高まっている．この対策として，ロボット介護機器開発・導入促進事業など，ロボット技術を活用した介護支援システムの開発プロジェクトが推進されている．
我々はこれまでに，環境内に配置された多数のセンサの情報を集約し，ロボットを通して多様なサービスを提供するための環境情報構造化アーキテクチャROS-TMS を開発してきた [1]．また，ROS-TMS の開発と検証のためのハードウエアプラットフォームとして，屋内情報構造化環
境 Big Sensor Box を構築してきた [2]．これらのシステムは，人の見守りを目的とした医療介護サービスとの親和性が高く，現在，介護施設への導入を目指した改良を行っている．
実際の介護現場では，呼吸数や心拍数などの単純なバイFig. 1: Sensor terminal

2.

見守りセンサターミナル

2.1

開発システムの概要

タルデータでも，要介護者の体調変化や夜間の見回りでの開発した見守りセンサターミナルを Fig.1 に示す．上状態確認に極めて有効な情報となる．さらに歩行困難者の部に RGB-D カメラ（Kinect for Xbox One），下部にベッド等からの立ち上がり時の転倒事故や徘徊，奇行などLRF（URG-04LX, 北陽電気）を搭載している．このうち，
RGB-D カメラは，深度情報からのバイタルデータ（呼吸，心拍）の計測に用いられ，LRF は要介護者の起き上がり，歩行の検出に用いられる．また中央にはモニタを搭載し，心拍，呼吸数や要介護者の位置などのセンサ情報が表示できる．の異常行動が問題となっており，要介護者の行動（位置，姿勢）が検出できれば，移動に伴う介護事故を未然に防ぐことができる．
そこで本稿では， RGB-D カメラとレーザレンジファイ
ンダ (LRF)，モニタを備え，呼吸，心拍の計測と，起き上がり，歩行，徘徊を検出可能な，要介護者のための見守りセンサターミナルを開発したので報告する．

2.2

RGB-D カメラを用いたバイタルデータ(呼吸，心拍) の計測システム

RGB-D カメラから得られる深度情報から，ベッドで就寝している被験者の呼吸，心拍を計測するシステムを開発した．以下にシステムの動作を順に説明する．

第17回システムインテグレーション部門講演会(SI2016)（2016年12月15日～17日・札幌）- 2370 -SY0012/16/0000 - 2370 © 2016 SICE

RGB-D カメラで呼吸，心拍を計測するために，まず得られた深度画像に対して手動で胸部領域を設定し，30fpsで胸部領域の深度情報を取得する．その変化に対して 2 次関数近似によってノイズを除去し，平常時の呼吸，心拍に近い周波数成分（呼吸:0.06Hz〜0.3Hz，心拍: 0.6Hz〜1.6Hz）のみを分離することで呼吸，心拍波形を算出する．
続いて，呼吸，心拍数の推定を行う．どちらの波形も，負，正，負と極性が変化するため，それぞれの波形と，Fig.2 に示した矩形波の乗算による相関処理を行い，ピーク付近の値を強調し，ピークを検出する．また，心拍による位置変動は非常に小さいため，Fig.2 の矩形波の代わりに，幅を変更し複数組み合わせた Fig.3 の矩形波を用いる．
検出されたピークから次のピークまでの間隔から呼吸，心拍の 1 分間あたりの回数を導出する [3]．に横になった被験者の呼吸，心拍を計測した．計測時には，モニタ内に計測された呼吸，心拍波形と呼吸，心拍数が表示される．Fig.6(a) のように平常時は呼吸に従って波形が変化し，被験者が呼吸を止めた場合には胸部位置の変化が小さくなり，Fig.6(b) のように振幅が小さくなった．

Fig. 4: Experimental setup

Fig. 2: Rectangular wave for breathing

Fig. 5: Vital data sensing by RGB-D camera

Fig. 3: Rectangular wave for heartbeat2.3

レーザレンジファインダを用いた起き上がり、歩行の検出システム

LRF を用いて，ベッドからの起き上がり，室内での歩行を検出するシステムを開発した．
搭載した LRF から得られる点群情報に対して，背景差分，クラスタリング，パーティクルフィルタを用いることで歩行者を追跡する．また，クラスタリングされた点群それぞれに対してパーティクルフィルタを発生させることで，複数の歩行者を同時に追跡可能である [4]．

3.

見守りセンサターミナルの性能確認実験

3.1

呼吸，心拍の計測

Fig.4 に示すように，Big Sensor Box 内に介護ベッドと見守りセンサターミナルを設置し，Fig.5 のようにベッド(a) Normal(b) Stop breathing

Fig. 6: Measuring results of the heartbeat and breath
また，RGB-D カメラを用いた呼吸，心拍の計測結果と，実測値および心拍センサ (T31C，Polar) での計測結果との比較実験を行った．実験では，ベッドに横になった状態で1 分間 RGB-D カメラを用いた計測を行い，同時に手動で呼吸数，心拍センサで心拍数を計測した．また被験者が医療用毛布をかぶらない状態 (Fig.5) と毛布をかぶった状態(Fig.7) で各 10 回計測を行った．それぞれ結果を Table.1，Table.2 に示す．
毛布をかぶった状態でも，かぶらない状態でも，呼吸については RGB-D カメラによる測定値と実測値の差が小さく，高い精度で測定できていることが確認できた．一方，心拍数については，毛布なしの場合，RGB-D カメラ- 2371 -による測定値と心拍センサによる測定値の差が大きい．また，毛布ありの場合には両者の差は小さくなっているが，RGB-D カメラ，心拍センサそれぞれによる測定値の増減が対応しておらず，今後精度を向上する必要がある．

Fig. 7: Experiment with blanket
Heart rate
12345678910AVG.

RGB-D Camera

72.861.1

77.8

76.9

78.0

62.5

59.6

65.8

67.7

71.2

69.3

Heartbeat sensor

94.7

97.4

88.0

86.5

84.9

90.1

97.8

81.7

84.6

77.4

88.3

12345678

9

10AVG.

RGB-D camera

12.0

20.2

13.1

14.1

11.9

14.7

15.3

12.3

13.4

12.1

13.9

Manual1119

10121114

1513121212.9

Fig. 9: Tracking results using LRF

Breathing rate

4.

結言

本稿では，著者らが開発した見守りセンサターミナルを紹介し，実験によって各機能の動作を確認した．今後は呼Table. 1: Without blanket

吸，心拍数の推定精度の向上や，ROS-TMS との連携によHeart rate
12345678910AVG.

RGB-D Camera

81.1

81.9

78.2

79.3

84.0

80.0

90.7

92.0

93.8

90.1

85.1

Heartbeat sensor

90.7

88.3

88.3

86.8

90.0

92.9

88.2

86.9

91.0

88.0

89.1

り，計測した情報をロボットによるサービスの提供に活かしていく予定である．

Breathing rate
12

3

4

5

6

78

910AVG.

RGB-D Camera

16.5

14.0

14.0

12.6

13.1

11.8

12.8

13.4

14.1

11.9

13.4

Manual1314

1411121213

13141413

謝辞
本研究は、国立研究開発法人科学技術振興機構の研究成Table. 2: With blanket

果展開事業センター・オブ・イノベーション（COI）プロ

3.2

グラムにより、助成を受けたものである。

ベッドからの起き上がり，歩行の追跡搭載した LRF による人物追跡を行った．実験では，ベッドから起き上がり，その後，Fig.8 に示す経路で歩行によ

参考文献

り移動した．被験者がベッドから起き上がり，移動を始めると，モニタ内に現在の位置と直前の移動の軌跡が表示される．実験の結果，Fig.9 に示すように，正しく追跡できていることを確認した．

Fig. 8: Walking trajectory- 2372 -[1] 倉爪亮，ピョユンスク，辻徳生，河村 晃宏, “ROSTMS と環境情報構造化空間 Big Sensor Box の開発”,
第 16 回計測自動制御学会システムインテグレーショ
ン部門講演会 SI2015, pp.2M1-4, 2015.
[2] 倉爪亮，ピョユンスク，辻徳生，河村 晃宏, “ROSTMS と環境情報構造化空間 Big Sensor Box の開発”,
第 16 回計測自動制御学会システムインテグレーション部門講演会 SI2015, pp.2M1-4, 2015.
[3] 中村薫，杉浦司，高田智広，上田智章, “KINECT for
Windows SDK プログラミング Kinect for Windows
v2 センサー対応版”, 秀和システム, 2015.
[4] 渡邊裕太，倉爪亮，ピョユンスク，辻徳生，諸岡健一,“多様なセンサを搭載した小型複合センサ端末の開発と人物追跡のための最適配置計画”, 日本機械学会
ロボティクスメカトロニクス講演会, . pp.1A1-H05,
2015.