自立生活高齢者や介護スタッフを支援するための服薬管理システムの開発
代表研究者
共同研究者
共同研究者
共同研究者

THI THI ZIN
椎屋 和久
PYKE TIN
濱 裕光

宮崎大学・工学教育研究部 教授
宮崎大学・工学教育研究部 助教
宮崎大学・国際連携センター 客員教授
大阪市立大学大学院・工学研究科 名誉教授

1 研究調査の背景と目的
近年、医療技術の進歩などによる死亡率の低下に加えて、出生率の低下による少子化などの要因が複合的に関わり、高齢化率は急速に上昇している。また、少子高齢化と核家族化が進展した結果、福祉予算の増大や家族による介護負担の集中などが大きな社会問題になっており、国を挙げての対策が急務である。このような時代背景の下で、本研究では、見守りシステムの一環として介護現場からの強い要求がある薬の誤服用、重複、飲み忘れを防止するための服薬管理システムの開発を目指した。
一般的に、年齢を重ねるにつれて、服用する薬の種類や回数も増えてくる傾向があるが、飲み間違いや飲み忘れなど服用の仕方を間違えれば逆効果になることも考えられる。従来の服薬管理では、医療従事者や介護者が薬箱などを目視で確認して薬の残数などから判断する方法や、薬箱や薬包などに IC タグを取り付けて薬を取り出したかどうかの情報を記録する方法などが取られてきた。また、最近では簡便な方法として１回分の服用薬を小袋に詰めてカレンダーに貼り付ける「お薬カレンダー方式」も多く用いられている。しかし、これら従来の方法では、薬を取り出したことまでは分かるが、実際に薬を飲んだのか、までは確認できない。また、ＰＣ用、スマフォ用に多くのアプリが公開されているが、薬の服用管理を謳ったほとんどのアプリは服用時間が近づくと数分前にアラーム、振動、点滅などで知らせるだけのものが多い。薬を飲む時間を忘れていないかどうか、アラームを鳴らすことも大事であるが、実際に間違いなく薬を服用したかどうかを判断して、間違いを発見すれば警告できることが重要である。そのためには人の姿勢・行動の認識が不可欠である。
そこで本研究では、薬を取り出した後に確実に薬を飲んだか、どうかを含めた服薬行動全体の管理に重点を置いた。また、正しく薬のビンを取り出したか、どうかの確認を行い、薬を飲むという一連の行動の判断を行うことで、自動的に薬の誤服用、重複、飲み忘れを防止するための服薬管理システムの開発を目的とした。本研究の進展により、高齢者の自立生活を支援すると同時に、介護や見守り現場でのスタッフの負担軽減と安全・安心の確保を目指した。本研究グループでは、従来から画像情報処理技術をベースとした人の姿勢・動作の認識に関する研究に取り組んできた。今後は、マルチセンサシステムの検討を行い、将来的には、高齢者の自立生活支援見守りシステムの構築を目指している。
開発アルゴリズムの有効性を確認するために検証実験を行った結果、正しい薬包を入れたビンを取り出して服用したかどうかの判断については、90.8%の精度を達成した。また、関連研究として、見守りシステムに不可欠な要素技術の一つである、日常生活における重大事故につながる可能性の高い転倒検知については屋外では 100%、屋内では 85.7%の精度で検知を可能とした。その他の種々の姿勢・動作の認識についても97.8％の認識率を得ている。

2 研究調査の背景・方法・成果
2-1 服薬管理システムに関する研究調査の方法と実験結果 本文（12000 字程度）
（１）服薬管理システム構築のための服薬時の要素行動認識
ビジョンベースの行動分析システムは、人間とコンピュータのインタラクション、監視、ロボット学習、ユーザインタフェース設計などの多くのアプリケーションで利用されてきた。既存の研究のほとんどは、単一人の行動の認識と追跡、複数人の間の相互作用を扱ってきたが、薬の服用監視にはほとんど利用されてこなかった。一方、一部の研究者は、医療環境内で明確な興味を示しており、今日では、ビデオモニタリングの分野はいくつかの理由から高い関心を集めている。ビデオモニタリングによって、介護者の肉体的・精神的を軽減し、被介護者にとっても気遣いが減り、安心・安全を持たらすことができる。ここでは、服薬時の系統的な行動を認識するシステムを構築することで、自宅や施設における介護や治療の質の向上に貢献する

1

ことができる。
図１に提案システムの処理フローを示す。順を追って説明していく。図２にカラーセグメンテイションと対象物表現の概略を示す。まず、入力画像を受けてカラーセグメンテイションブロックでは、(a)皮膚の色はRGB 色空間、(b)ビンの色は YCbCr 色空間でセグメンテイションを行う。対象物表現ブロックでは、(a)体の上半身部分（手、口）、(b)ビン（薬、水）領域の抽出を行う。次に、頭と手の部分を抽出し、その動きを追跡する。顔を含む頭部領域と手領域は、どちらも皮膚の色を含むので、制約環境下では、頭部領域は、まず、オンライン学習による幾何学的特性を用いて抽出される。次いで、皮膚領域の頭部を区別することによって手領域を検出することができる。さらに、口領域の抽出を行う。図３に示す追跡ブロックでは、各領域の抽出を行った後に固有値を用いて追跡を行う。
以上で得られた結果を用いて、図１の提案システムの処理フローにある特徴抽出に続いて、行動分類を行い、「対象行動かどうかの判断」を行う。表 1 に人間（手と口）と薬と水の入った４つのビン（３種類の薬と１つの水）を示す。特徴抽出のブロックにおいて、 (a)必要な対象物は、バウディングボックス

図２図１

対象物表現

提案システムの処理フロー(a) 頭と手の領域の抽出と追跡(c) 口の位置追跡(b) 頭の位置追跡
図３

追跡ブロック2

（BB: Bounding Box）で表され、(b)これらの重なり合う面積比が特徴ベクトルとして使用される。(c)身体の皮膚部分（BBA）と物体（BBB）との相互作用は、BBA と BBB との共通部分によって表される。
OverlapRatio BB A  BBB
BB A  BBB

11 個の特徴ベクトルが各フレームごとに計算される。「手から 4 つの対象物へ」の 8 つの特徴、「手から口へ」の 2 つの特徴、「水の入ったビンから口へ」の 1 つの特徴である。これらの 11 個の特徴は、パターン認識ニューラルネットワーク（PRNN：Pattern Recognition Neural Network）分類器の入力として用いられる。図４では、PRNN を用いた HAR（Human Activity Recognition）アプローチにより認識された各状態を表しており、それぞれ Action1 は通常の状態、Action2～Action4 は各色の薬のビンを手に取った状態、Action5 は水の入ったビンを手に取った状態、Action6 は薬を飲む状態、Action7 は水を飲む状態を表している。
図５は、入力画像からラベリング、特徴抽出を経て機械学習により７行動パターンに分類される過程を示している。行動のパターンを学習した後は、可能な全ての入力に対して正しく答えることができる。何か物を口に入れるモデルでは、図５右上に示すように 5 つの基準点に距離特徴を導入し、人がお皿やスプーンを使用する場合、距離特徴は人間と物体との相互作用をより効果的に反映する。 5 つの距離特徴は以下の通りである。
(1) 右手と口の間の距離(2) 左手と口の間の距離(3) お皿と右手の間の距離(4) お皿と左手の距離(5) 口とコップ（お茶椀）の間の距離
表１

人間（手と口）と薬と水の入った４つのビン（３種類の薬と１つの水）口

薬

4 色のラベルが貼られたビン薬

水赤(M), 青(B), 緑(G)黄 (Y)H1, H2手Action 1

Action 1
Action 2

Action 5

Action 5

Action 2

Action 6

Action 3

Action 6

Action 3

Action 4

Action 4Action 7

Action 7

Action 1: 通常
Action 2: Green の薬のビンをとる
Action 3: Red の薬のビンをとる
Action 4: Blue の薬のビンをとる
Action 5: Yellow 水のビンをとる
Action 6: 薬を飲む
Action 7: 水を飲む

図４ PRNN を用いた HAR アプローチ（「手と対象物」と「手と口」の」動きの相互相関関係の７タイプ）

3abec d

Input
Image
入力画像

Labeling
ラベリング

Action 1

PRNN

Action 2

Machine
機械学習法
Learning Method

５つの距離特徴点
特徴Features….
Action 7

ActionRecognition
図５ 特徴抽出と機械学習による Action1～Action7 の行動認識図６

パターン認識ニューラルネットワーク（PRNN）アーキテクチャー

図６は以上の処理を行う上で必要な機械学習の部分の詳細ブロック図である。PRNN は、教師あり学習によってオフラインでトレーニングされ、与えられたすべてのパターンが重みを調整するために何回か提示される。入力パターンは 20 個のベクトルから成り、単一の隠れ層は 20 個のニューロンを持ち、出力層からは7 個の所望の出力ベクトルが得られるように内部の重みを調整する。
上述のシステムの有効性を検証するために行った計算機実験の結果を表２に示す。表２では、各行動（Action）を含むビデオ系列に対する行動認識の正解率を示している。傾向として、半袖シャツは皮膚の露出部分が多いので、長袖シャツに比べて正解率は若干下がっている。カメラからの色情報を用いて各部位を抽出した後、パターン認識ニューラルネットワークを用いることで、7 つの基本行動に分類する。また、システムの行動認識結果の例を図７に示す。＊はシステムの認識結果、■は実際の行動を示しており、ノイズは近傍の結果からメディアンフィルタにより補正すれば取り除けるので、ほぼ正しく認識されたことになる。
他のビデオ系列に対しても似た傾向にある。私たちの実験では、SONY 4K FDR-AX100 ビデオカメラを使用した。6 人のビデオシーケンスを 3 人の異なる人でテストした。提案方法により、全体として 90.8％の精度で正しく行動を認識した。上半身と、薬と水の入ったカラービンの相互作用の概念は、システムモデルの実現に大きく貢献した。

4表２

行動認識正解率

ビデオ系列正解率（％）

長袖シャツ

半袖シャツ

(a)

ビデオ系列 4 に対する真の行動とシステムの認識結果
モニタリング薬服用時の単純な行動
水の入ったビンを取る(b)「水の入ったビンを取る」Action の例
図７

計算機実験の結果

5

2-2 ビデオカメラ映像および骨格情報とディープラーニングを用いた人間の行動認識（１）高齢者転倒検知システム
服薬管理に限らず、広く応用が期待される人の姿勢・行動認識に関する研究成果を簡単にまとめる。カメラの映像から高齢者の転倒を自動的に検知するシステムの開発を行った。転倒は重大な事故や寝たきりの原因になりやすいと言われている。ここでは、屋内と屋外の 2 種類の環境を想定し、屋外では通常のビデオカメラからの画像、屋内では３D カメラからの距離画像を用いて対象人物の抽出を行った。得られた人物領域のみの画像から姿勢を判断するための特徴量を抽出し、直立状態、屈み状態、横たわっている状態に分類する。その後、各姿勢の変化の仕方や移動量などから、転倒と、その後の意識の有無を判断する。
結果として、屋外の例では 100％の精度で転倒検知が行えた。一方、屋内での実験では、いくつかのデータで正しく転倒検知を行うことができず、精度としては 85.7％という数値だった。図８、図９にそれぞれ人物領域の抽出と姿勢認識結果を示す。

(a) 入力画像(c) 入力画像(b) 人物領域抽出画像

RGB 画像における人物領域抽出(d) 人物領域抽出画像

距離画像における人物領域抽出

図８ 人物領域検出（RGB 画像と距離画像）(a) 直立している状態(b) 屈んでいる状態
図９ 姿勢認識結果

6(c) 横たわっている状態

（２）骨格情報とディープラーニングを用いた人間の行動認識
Kinect センサーから得られる人体の骨格の遷移情報と、ディープラーニングを用いることによって、以下の 10 種類の行動を認識する。それぞれの行動を A1～A10 と定義して、一定時間での骨格情報の遷移を記録する。これら情報からディープラーニングを用いて行動分類した結果を図１０、図１１、表３にまとめる。

図１０

種々の行動の例

図１１

骨格情報の遷移画像

表３

骨格情報の遷移画像

7本研究では、見守りシステムの一環として薬の誤服用、重複、飲み忘れ防止システムの開発を目指した。
上述のように、正しい薬包を入れたビンを取り出して服用したかどうかの判断については、90.8%の精度を達成した。同時に服薬行動の認識には、手、口、対象物間の相対的距離情報が重要であり、それらの情報の利用により精度向上が図れた。また、見守りシステムに必要な要素技術として、日常における重大事故につながる可能性の高い転倒検知については屋外では 100%、屋内では 85.7%の精度で検知が可能となった。その他の種々の姿勢・動作の認識についても 97.8％の認識率を得た。このように開発アルゴリズムの検証実験を行った結果、良好な結果を得た。ほとんどの高齢者は多少の支援があれば、高い QOL（生活の質）で自立して日常生活を送れると言われている。このような時代背景の下で、問題解決に向けて、ICT の側面から貢献できることはたくさんあり、本研究がその一助になれば幸いである。
【参考文献】[1] 平成 24 年 高齢社会白書（全体版）第 1 章 1 節 1（2）将来推計人口でみる 50 年後の日本
http://www8.cao.go.jp/kourei/whitepaper/w-2012/zenbun/s1_1_1_02.html, 2018.1.
[2] 救急搬送データからみる高齢者の事故
http://www.tfd.metro.tokyo.jp/lfe/topics/201509/ kkhansoudeta.html, 2018.1[3] N. Zouba, et al, “Assessing computer systems for monitoring elderly people living at home”,
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.164.6023&rep=rep1&type=pdf,
2018.1.
[4] 平成 28 年度版高齢社会白書（全体版）、第 1 章 高齢化の状況（第 2 節 3）
http://www8.cao.go.jp/kourei/whitepaper/w-2016/html/zenbun/s1_2_3.html, 2018.1.
[5]平成 22 年度 高齢者の住宅と生活環境に関する意識調査結果（全体版）、転倒事故
http://www8.cao.go.jp/kourei/ishiki/h22/sougou/zentai/pdf/2-3.pdf, 2018.1.
[6] 本知能情報ファジィ学会九州支部、『第 19 回日本知能情報ファジィ学会九州支部学術講演会予稿集』、画像処理を用いた 2 者間における暴力検知に関する研究, pp.33-36, 2017.
[7] Yumiko Yamaji, Shuhei Ichikawa, Yousuke Takemura, “Review of Medication Administration
Support for Community-dwelling Older People in Japan”, An Official Journal of the Japan
Primary Care Association, Vol.40, No.3, pp.136-142, 2017.
[8] H. Chidananda, Dr. T. Hanumantha Reddy, “Human eating/drinking activity recognition using
hand movements to monitor and assist elderly people,” IOSR Journal of Computer
Engineering(IOSR-JCE), vol.19, pp.57-63,(July-August) 2017.
[9] 奥富 正敏,“ディジタル画像処理”, CG-ARTS 協会, pp.188-191, 2016.6.

8

[10] Hidehiko Sakurai, Mitsuko Onda, Takahiko Norose, et al. “The Relationship between Medication
Adherence and Medical-service Evaluation among Chronically-diseased Outpatients under theSeparation of Prescribing and Dispensing: An Empirical Study Aiming at Reducing Unused
Medicines and Promoting Family Pharmacies”, Japanese Journal of Social Pharmacy, Vol.35, No.1,p.23, 2016.
[11] Hidehiko Sakurai, Seiichi Furuta, “An Empirical Study for Reducing Unused Medicines”,
Journal of Household Economics, Vol.43, pp.1-12, 2016.
[12] Y. Tang, B. Ma, H. Yan, “Intelligent Video Surveillance System for Elderly People Living
Alone Based on ODVS”, Advances in Internet of Things, pp.44-52, 2013.
[13] G.Kaur, A.S.Arora and V.K.Jain, “Multi-class support vector machine classifier in emg
diagnosis,” WSEAS Trans. on signal processing, vol.5, pp. 379-389, December 2009.
[14] S. Ammouri, G-A. Bilodeau, “Face and hands detection and tracking applied to the monitoringof medication intake,” In: IEEE Canadian Conference on Computer and Robot Vision, pp. 147-154,
2008.
[15] C. Liu, P. Chung, Y. Chung, M. Thonnat, “Understanding of human behaviors from videos innursing care monitoring systems”, Journal of High Speed Networks 16, pp.98-103, 2007.
[17] D. Batz, M. Batz, N. D. V. Lobo, M. Shah, “A computer vision system for monitoring medication
intake,” In: 2nd Canadian Conference on Computer and Robot Vision, pp. 362-369, 2005.
〈発表 資 料〉
題
名
掲載誌・学会名等
Skeleton Motion History based Human Proc. of IEEE 6th Global Conf.
Action Recognition Using Deep on Consumer Electronics (GCCELearning2017)
Epitome Key Information Extraction Proc. of IEEE 6th Global Conf.
Using Color Values on Blockon Consumer Electronics (GCCE2017)
An Innovative Deep Machine for Human Proc. of 12th Intl. Conf. on
Behavior Analysis
Innovative
Computing,InformationandControl(ICICIC2017)
A New Conceptual Model for Big Data Genetic and EvolutionaryAnalysis
Computing.
ICGEC
2017,
Advances
inIntelligent
SystemsandComputing,Springer, Singapore
An Innovative Approach to Video Based Transactions on Engineering
Monitoring System for Independent Technologies. IMECS 2017,
Living Elderly People
Springer Singapore
Behavior Analysis for Nursing Home FirstInternational
Monitoring System
Conference on Big Data
Analysis and Deep Learning
Applications
Medication and Meal Intake
2018 IEEE 7th Global Conf. on
Monitoring using Human-Object
Consumer Electronics (GCCEInteraction2018)
Deep Learning Technology based Human
Action Recognizer for Consumers

IEEE Transaction on Consumer
Electronic

発表年月
Oct. 2017

Oct. 2017

Aug. 2017

Nov. 2017

Feb. 2018

May 2018

Oct. 2018
Submitted on Jun. 2018

Acknowledgement
This work is partially supported by the Grant of Telecommunication Advanced Foundation.

9