〈特別研究課題〉 住居環境の状態計測と人の状態検知に基づく見守りサポートロボット
助 成 研 究 者

豊橋技術科学大学

三浦純

住居環境の状態計測と人の状態検知に基づく見守りサポートロボット
三浦 純（豊橋技術科学大学）

Monitoring Support Robot Based on Physical State
Measurement of Residence and Human State Estimation
Jun Miura(Toyohashi University of Technology)

Abstract：
Service robots are expected to operate in a near future in our daily life as robotic technologies
are becoming matured and ready for deployment. As we are facing the aged society, one promising
application is monitoring, in which a robot lives with and tasks care of the elderly who lives alone.
Although the current robotics and information technologies have not been matured yet for replacing
all human caregivers, conducting a part of necessary caregiving tasks autonomously would be
helpful for the caregivers in, for example, reducing workloads thereby making them to focus more
important and human-intensive tasks.
Monitoring people has been an important application in robotics and computer vision. Most
existing approaches use wearable sensors and/or resident-embedded cameras and sensors. The
former forces people an extra burden while the latter suffers from cost and privacy problems. We
therefore aim to develop a mobile robot which monitors people with equipped sensors whileautonomously navigating the designated monitoring area, which enables a monitoring support
without altering anything in the residence.
Predicting possible dangers as well as anomaly detection are important in monitoring. Clothing
less in a cool environment, for example, could make a person to get cold. The robot is expected todetect such a situation and takes an appropriate response, such as give him/her an advice to wear

－ 25 －more or report to a caregiver. To make such a prediction possible, the robot has to monitor thephysical condition of the room as well as estimate the person's state.
The goal of this research is to develop technologies for monitoring people and residential
environment and to test them in real situations. The developed technologies are: (1 ) people
detection using thermal-depth images; (2 ) thermal comfort measurement by residence-people
monitoring; (3 ) human pose estimation by depth images under heavy occlusion; (4 ) person
localization using wifi signal information; and (5) person fatigue estimation using a camera and a
microwave sensor.
1. はじめに
少子高齢化に伴い，独居高齢者の安全安心の確保が大きな課題となっている．また，高齢者介護施設においても人手不足の問題が生じている．見守りや介護のすべてを現状のロボット技術・情報処理技術で代替することは困難であるが，高齢者の様子を随時見守り，必要に応じて専門家につなぐような見守りサポートを行うロボットを実現することができれば，人手不足の解消と見守りの質向上に寄与でき，その社会的意義は大きい．
見守りサポートでは，人の状態が良好かどうかの判断が必要となる．これまでの研究のほとんどは身につけた生体情報センサを利用したり，あるいは部屋に備え付けたカメラ等のセンサを利用したりして，人の状態をモニタリングしているが，前者は人に負荷を与え，また後者はセンサをあらかじめ設置するコストがかかり常時監視することによるプライバシーの問題が生じる．そこで，見守りに必要なセンサを設置した移動ロボットで自動的に環境内を巡回しながら，人の状態をモニタリングすることにより，環境に手を一切加えることなく見守りのサポートが可能となる．
また，見守りにおいては異常状態の検出・認識だけでなく，将来的に問題が起こりそうな状態の検出も重要である．例えば，温度の低い部屋で薄着をしていると体調を崩す恐れがあり，そのような状況を検出したら適切な対応（本人へのアドバイス（服を着る，暖房をつける）や介護士への報告）をとる必要がある．そのような望ましくない状況の検出には，人の状態とともに環境の物理状態を計測し，総合的に判断する必要がある．
本研究では，住居内環境計測と人の状態検知に関わる基盤技術の研究開発と，試作システムによる検証を目的とし，以下の研究項目を実施した．(1)熱距離画像を用いた人物検出，(2)人物状態と環境状態に基づく温熱環境評価，(3)隠蔽状態下での距離画像からの人物姿勢推定，(4)Wifi 情報を利用した屋内人物位置推定，(5)画像とマイクロ波センサを用いた人の疲労度推定．
2. 熱距離画像を用いた人物検出
熱画像（遠赤外線画像）を用いると，通常室内環境では人間は高温の領域として検出できるが，同時にコンピュータなど熱を持つ物体も検出されてしまう．そこで，距離を計測可能な距離カメラと組み合わせて人物の検出を高精度化する．そのために，まず熱画像カメラ（Optris PI-160）と距離カメラ（Microsoft Kinect V2）とのキャリブレーション法（カメラ間の相対位置関係を求める方法）を開発した[1] ．これにより，計測される距離データすべてに温度情報が付加された熱距離画像を得ることができる(図1 参照)－ 26 －

人物の検出では，まず一定温度以上の距離データを取り出し，それらに対し位置的にまとまっている集合に分割するユークリッドクラスタリングを適用する．現状では，温度のしきい値は23 度とし，クラスタリングのしきい値は80mm としている．次に，各クラスタの大きさが人の大きさに近いものを取り出すことにより，人領域を検出している．図2 に検出例を示す．

(a) ロボットに設置されたカメラ(b)実験シーンと熱距離画像データの例

図1：2 つのカメラの設置と熱距離画像データの例(a)実験シーン(b)熱画像(c)人間の領域

図2：熱距離画像を用いた人物検出

表1：PMV の評価尺度

3. 移動ロボットによる着衣量推定と温熱環境評価
熱環境評価とは，ある環境で人が暑いと感じるか，寒いと感じるか，といった感覚を定量化することであり，そのための基準としてISO 7730 に定められた，PMV（Predicted Mean Vote）がある[2]．PMV は7 段階の評価尺度で温熱環境評価を行う(表1 参照)．
PMV は主に6 つの要素から計算され，それらは環境の4 要素（空気温度，放射温度，気流，湿度）と人の2 要素（着衣量，代謝量）からなる．環境要素については，移動ロボットに温度や湿度など各種のセンサを搭載し，必要な場所の計測を行うことにより得ることができる[3]．移動ロボットの3 つの高さ（床から170cm，110cm，10cm の高さ）に温度センサを設置し，部屋内を移動しながら各地点の温度を計測した例を図3 に示す．代謝量については，人の行動（座る，立つ，歩く，など）との関係が知られており，姿勢認識や行動認識を行ってある程度推定することができる．

－ 27 －

(a)実験シーン(b)温度計測結果
図 3：部屋内の温度分布計測(b)温度計測結果(a)実験シーン

図 3：部屋内の温度分布計測

着衣量は Clo 値と呼ばれ，正確な計測にはサーマルマネキンを利用する必要があるが，日常環境
着衣量はClo 値と呼ばれ，正確な計測にはサーマルマネキンを利用する必要があるが，日常環でのオンライン計測には不向きである．そこで，熱データから着衣量を推定する手法を開発した[1]
境でのオンライン計測には不向きである．そこで，熱データから着衣量を推定する手法を開発した
着衣量 Iclo は以下の式で計算できる[4]．
[1] ．着衣量Iclo は以下の式で計算できる[4]．
ଵIclo ＝଴Ǥଵହହ௛・௧ೞ ି௧೎೗௧೎೗ ି௧೚

ここで，h は人体の総合熱伝達率[W/(m ℃)]，ts, tcl, to はそれぞれ平均皮膚温度，着衣表面温度，作22
ここで，h は人体の総合熱伝達率[W/(m℃)]，ts, tcl, to はそれぞれ平均皮膚温度，着衣表面温度，作用温度（近似的に空気温度を用いる）である．人の平均皮膚温度と着衣表面温度については，人物の用温度（近似的に空気温度を用いる）である．人の平均皮膚温度と着衣表面温度については，人物熱距離画像の姿勢を推定し，その結果を用いて人物領域を皮膚部と着衣部に分割し，それぞれの平の熱距離画像の姿勢を推定し，その結果を用いて人物領域を皮膚部と着衣部に分割し，それぞれの均温度を計算することにより得る．ロボットによる移動温熱環境評価の様子を図4に示す．ロボッ
平均温度を計算することにより得る．ロボットによる移動温熱環境評価の様子を図 4 に示す．ロボトは環境内を巡回し人物を発見したら，その着衣量と代謝量を推定し，環境状態の計測結果とあわットは環境内を巡回し人物を発見したら，その着衣量と代謝量を推定し，環境状態の計測結果とあせてPMV を計算する．3 つの高さごとにPMV を計算した結果を表2 に示す．このときは冬でエわせて PMV を計算する．3 つの高さごとに PMV を計算した結果を表 2 に示す．このときは冬でエアコンを切っていたため，かなり寒い状態であった．
アコンを切っていたため，かなり寒い状態であった．
PMV の計算においては，着衣量が重要な要素となる．そこで，熱距離画像による着衣量の推定
PMV の計算においては，着衣量が重要な要素となる．そこで，熱距離画像による着衣量の推定結果をサーマルマネキンを用いた推定結果（真値と見なす）と比較した．着衣したサーマルマネキン
結果をサーマルマネキンを用いた推定結果（真値と見なす）と比較した．着衣したサーマルマネキを熱カメラで撮影し，皮膚部と着衣部を人が指定して温度を計測した．比較結果を表3 に示す．
ンを熱カメラで撮影し，皮膚部と着衣部を人が指定して温度を計測した．比較結果を表 3 に示す

4

図 4：温熱環境評価実験－ 28 －

表 2：PMV の推定結果

表 3：着衣量推定の精度評価

また，推定したPMV 値と主観評価との比較実験を行った．あらかじめ冬季における暖かめの部
屋，通常の部屋，寒めの部屋に被験者に入ってもらい，20 分滞在後に着衣量推定，環境計測の結果から温熱環境評価を行う．その後，PMV の7 段階評価尺度と同じ尺度でアンケート評価を行う．主観評価を真値と見なしたときの，ロボットによる推定の混合行列を図5 示す．足元，上半身，顔周りでの推定と主観評価の一致度はそれぞれ0.24，0.29，0.24 であった．また，±1 まで許容したときの一致度はそれぞれ0.88，0.71，0.65 であった．この結果は移動ロボットの生活支援に用いるのに十分と判断できる．

(a)足元(b)上半身(c)顔周り

図 5：PMV 推定精度の検証（空欄は0 を示す）

4. 隠蔽を考慮した距離画像からの人物姿勢推定
人の姿勢（座っている，寝ている，うずくまっている，など）を推定できれば，見守りにおいて人の状態を把握するための重要な手がかりとなる．従来の多くの研究では人を撮影した画像から姿勢推定を行っているが，照明条件に左右されやすく，またカメラ撮影ではプライバシの問題も生じる．しかし，上述の熱距離画像を用いると，照明条件やプライバシの問題は生じない．そこで，熱距離画像から取り出した人物領域の距離データのみから人の姿勢を推定することを考える．
姿勢は身体の各部位の場所が分かれば計算できるので，本研究では，画像中の人物領域を頭，胴体，右上腕，といった部位ごとにラベル付けすることを姿勢推定と呼ぶことにする．画像のラベル付け（セグメンテーションとも呼ばれる）では近年深層学習（Deep Neural Network，DNN）を用いた手法が数多く提案されているが[5]，学習のための大量のデータの収集が課題である．特に距離画像では部位間の境界が明確ではないため，人手でのラベル付けは簡単ではない．そこで，骨格と関－ 29 －

節位置および各部位のラベルを付加した人体のCG（コンピュータグラフィクス）モデルを用い，モーションキャプチャシステムから得た関節角情報を与え，大量の学習データを生成する[6]．
実際の環境では家具や他の物体に身体の一部が隠蔽されていることが多いため，隠蔽なしの状況で作成したデータで学習したDNN では推定できない．上述のようにデータはCG で生成しているため，隠蔽下でのデータを生成することも可能である．そこで，机と椅子を隠蔽物体とし，椅子の形状，机の有無，人と机の距離をさまざまに変化させながらデータを生成した[1]．図6 に生成したデータの例を示す．

図 6：生成したラベル付け画像(上段)と距離画像(下段)のペアの例

まず，シミュレーションデータを用いて評価を行った．約76 万枚のデータで学習し，約2万9千枚のテストデータで評価を行った．表4 にピクセルごとの部位推定結果の混同行列を示す．隣接する部位間でラベル付けの境界が変動する影響で多少の間違いは生じているが，隠蔽下にもかかわらずよい推定結果が得られている．実シーンでの推定結果を図7 に示す．熱距離画像から人物領域を切り出し，その領域の距離データに対して推定を行っている．複雑な状況にもかかわらず全体的な部位の配置としておおむね正しい結果が得られている．
表4：部位推定結果の混同行列.縦軸が正解値,横軸が推定値－ 30 －

図7：実シーンでの姿勢推定結果：左から右へそれぞれ,シーンの画像(推定には用いない)，熱距離画像，人物領域の距離データ，推定結果を示している

5. WiFi 情報を利用した屋内人物位置推定
施設等での見回りでは，住居者がどこにいるかを常に把握していることが重要である．しかしながら，カメラで屋内全域を監視することはコストとプライバシの点で問題が多い．最近ではスマートフォンを所有することが多く，また屋内の複数箇所にWifi のアクセスポイント（AP）が設置されていることが期待できる．そこで，あらかじめ屋内の各場所で得られるWifi AP の電波強度のマップを作成し，それとスマートフォン等から得られるWifi 電波強度情報を用いて人物位置を推定する手法を開発する[7,8]．
SLAM 技術を用いて移動ロボットにより屋内環境の2 次元地図を生成すると同時に各地点で得られたWifi 電波強度を記録する．記録位置は離散的なため，ガウス過程回帰により地図中の任意の位置の電波強度情報を推定する．オンラインの推定はコストがかかるため，低解像度化した地図のすべての位置において，各AP の電波強度の平均と分散の予測値を計算しておく．人物の位置推定にはパーティクルフィルタを用い，実際に得られた各AP の電波強度の尤度の平均値をパーティクルの重みとして用いる．
図 8(a) に生成した地図と実験の際の人の移動軌跡を示す．ロボットにWifi アンテナを設置し，距離センサを用いたロボットによる位置推定結果を真値とし，Wifi 情報による位置推定の誤差を計算した結果を図8(b)に示す．場所ごとの変動が大きいため瞬間の位置誤差は大きい可能性があるが，ロボットによる人物認識と組み合わせて精度の向上を目指している[8]．

－ 31 －

(a)Wifi 位置推定実験環境(b)位置推定の精度評価

図8：Wifi 情報を用いた位置推定実験

6. 表情，心拍，呼吸数データを用いた人の疲労度推定
見守りでは人の疲れやしんどさを推し量ることが必要である．健康状態の把握のために装着型のセンサを利用することも考えられるが，装着の煩わしさなどの問題がある．本研究ではロボットに搭載したセンサで人の疲労度を判定することを目標として，そのための基礎実験を行った[9]．利用するセンサはカメラとマイクロ波センサであり，前者からは表情を，後者からは心拍および呼吸数を取得する．
表情データはOpenFace[10] を用いて取得する．Facial Action Coding System（FACS）[11] では，表情をAction Unit（AU）と呼ばれる顔の各場所の動きの集合として捉えるが，OpenFace は18 種類のAU の発現の有無と強度を出力可能である．これと心拍，呼吸数をあわせた特徴ベクトルを構成し，疲労度の推定に用いる．
図 9 に示す測定ブースを構築し，データの収集と疲労度推定実験を行った．16 名の被験者に対し計4 回の測定を行いデータを収集した．一方でアンケートによる主観疲労度を取得し，平均より上位を疲労状態，下位を疲労無し状態とラベル付けした．表5 は，識別器としてSVM（SupportVector Machine）を用い，Leave-One-Out 交差検定を被験者ごとに行った結果をすべての被験者について合計して評価したものである．8 割以上の再現率が得られており，疲労の可能性のある人の検出手法として潜在的な有用性はあると考えられる．

(a) 外から見た様子(b) 内側の様子
図 9：実験用ブース－ 32 －表 5：疲労度推定の精度評価

7. おわりに本研究では，見守りをサポートする自律型ロボットの開発を目標として，そのために必要となる技術の研究開発を行った．見守りでは対象人物の情報を得ることが最も重要であることはもちろんであるが，それと同時に環境の状態も知った上で，対象人物が健康かつ快適な状況にあるかを総合的に判断することが必要である．対象環境を自律的に動き回ることのできる移動ロボット基盤技術をベースとして，各種のセンサや認識機能を付加してゆくことにより，高性能・高信頼の見守りサポートロボットが実現できると考えている．これまでに開発した技術の性能を向上させるとともに実環境での検証を行い，より実用的な見守りサポートロボットの実現に向けて研究開発を進めていきたいと考えている．
参考文献［1］K. Nishi, M. Demura, J. Miura, and S. Oishi. Use of thermal point cloud for thermal comfort
measurement and human pose estimation in robotic monitoring. In Proceedings of 5th Int.
Workshop on Assistive Computer Vision and Robotics, 2017.
［2］ASHRAE Handbook of Fundamentals. American Society of Heating, Refrigerating, and AirConditioning Engineers, 2009.
［3］S. Kani and J. Miura. Mobile monitoring of physical states of indoor environments for
personal support. In Proceedings of 2015 IEEE/SICE Int. Symp. on System Integration, pp. 393–398, 2015.
［4］新版・快適な温熱環境のメカニズム 豊かな生活空間をめざして．社団法人空気調和・衛生工学会，丸善株式会社出版，2006.
［5］G.L. Oliveira, A. Valada, C. Bollen,W. Burgard, and T. Brox. Deep learning for human part
discovery in images. In Proceedings of 2016 IEEE Int. Conf. on Robotics and Automation, 2016.
［6］K. Nishi and J. Miura. Generation of human depth images with body part labels for complex
human pose recognition. Pattern Recognition, Vol. 71, pp. 402–413, 2017.
［7］T. Kudo and J. Miura. Utilizing wifi signals for improving slam and person localization. In
Proceedings of 2017 IEEE/SICE Int. Symp. on System Integration, 2017.
［8］鵜澤直輝, 工藤拓, 三浦純, 大石修士. 複数情報の統合に基づく屋内人物位置推定システムの開発.2018年ロボティクスメカトロニクス講演会, 2018.
[9］長谷川正樹, 三浦純, 大石修士. 表情，心拍，呼吸数データを用いた人の疲労度推定. 2018年
ロボティクスメカトロニクス講演会, 2018.
［10］T. Baltrus̆aitis, P. Robinson, and L.-P. Morency. Openface: an open source facial behavior
analysis toolkit. In Proceedings of 2016 Winter Conf. on Applications of Computer Vision, 2016.
［11］J. Cohn, Z. Ambadar, and P. Ekman. Observer-based measurement of facial expression－ 33 －

with the facial action coding system. pp. 203–221, 01 2007.

－ 34 －