会話型ロボットによる脳卒中予兆検知の研究
代表研究者
共同研究者
共同研究者

小荒今林
井井透
研
哲一郎

長崎大学
長崎大学
長崎大学

大学院工学研究科
大学院工学研究科
大学院工学研究科

教授
助教
助教

1 研究の目的
今後の超高齢化社会[1]を見据えると、高齢に伴う障害を検知することにより、高齢者と若年者双方が安心して利用できるネットワークサービスが望まれる。応募者は、これまでスマートフォンが使えない高齢者でも LINE によるコミュニケーションが可能な会話型 LINE 仲介ロボット（図 1）を開発した[2,3,4,5,6]。そこで、本研究では、本ロボットに、脳卒中の予兆検知機能を追加することで、一人暮らしの高齢者が自分では気が付かない危険な兆候を周囲に通知可能とするネットワークサービスの実現を目的とする。具体的には、シンシナティ病院前脳卒中スケールに基づき、クラウド（Cloud Computing）と高齢者宅に設置したロボット（Fog Computing）との連携を AI により支援することでプライバシを保護した上で高いレスポンスを可能とするユーザセン
トリックな分散 AI 処理を実現（図 2）する。脳卒中の予兆検知手法であるシンシナティ病院前脳卒中スケ ー ル （ CPSS ： Cincinnati Prehospital StrokeScale）は、顔のゆがみがあるかどうか、閉眼させ上肢を拳上させた場合、左右で上肢の挙げ方に違いがあるかどうか、話す言葉に滞りがあるかどうかをチェックし、３つの徴候のうち、ひとつでもあれば、脳卒中の可能性が 72%であるというものである（図3）。

図 1 開発した LINE 仲介ロボット利用シーン

図2

脳卒中の予兆検知機能の実装

2 方法と結果
当初、NEC 製ロボット（PaPeRo）[7]に内蔵されたカメラとマイクから顔や上肢挙動の画像情報、音声情報を収集する予定であったが、PaPeRo には、腕が無いため上肢挙動の画像情報を取得する際には、音声案内で実施する計画であった。しかし、予備実験の結果、音声案内だけでは、高齢者に上肢挙動の具体的指示が伝わらないことが分かった。そこで、当初計画していなかった腕を持つ人型ロボットである
シャープ製 RoBoHoN[8]を適用できるように一部計画を変更した（図 4）。
シャープ製 RoBoHoN に内蔵されたカメラとマイクから顔や上肢挙動の画像情報、音声情報を収集する「生体情報収集機能」を Android アプリとして実装

図 3 シンシナティ病院前脳卒中スケール

図41

RoBoHoN の適用する。生体情報から個人情報を分離した上で、Cloud 側にセキュアに転送する「プライバシ FW」を検討する。
「プライバシ FW」では、生体情報から個人を特定できる情報を切り離し、匿名化 ID を付与した上で、暗号通信路により Cloud 側に送信する。Cloud 側の機能として、生体情報から特徴量を抽出し、正常時の顔情報、上肢挙動情報、音声情報をモデル化（特徴量モデル）する「学習モデル作成機能」を検討する。正常時の特徴量を学習モデルとして、Fog 側の「判定処理機能」へ転送する。その後、特徴量モデルと収集された生体情報から異常時検出を可能とする「判定処理機能」を Fog 側機能として検討する。異常検出時には、LINE により近親者に通報する「異常情報通知機能」を実装する。
2-1 生体情報収集機能（１）方法
シンシナティ病院前脳卒中スケールの判定に必要な情報として上肢の動揺に関する生体情報、言語の異常に関する生体情報、顔の弛緩に関する生体情報がある。上肢の動揺についての生体情報では、閉眼させ上肢を 10 秒間拳上しているところを動画で撮影する。
脳卒中予兆検知アプリケーションが起動している状態で、高齢者が RoBoHoN に対して「腕」という言葉を話すと上肢の動揺に関する生体情報を入手するシステムが作動する。上肢の動揺の生体情報の入手するため、RoBoHoN のデモンストレーションを交えて高齢者に対して同様の動きをさせる。デモンストレーションとして、高齢者に対して音声と RoBoHoN のモーションを用いて指示を行う。RoBoHoN による指示で動作をしている高齢者を動画で 10 秒間撮影する。撮影した動画はサーバに送信されサーバでデータベースに保存される。サーバに送信する際に RoBoHoN のハードウェアに仕様上の問題があった。それは、1 度に送信できる動画の長さが最大 7 秒であるという問題である。この問題を解決するためにサーバに動画を 1 度に送信するのではなく複数回に分けて送信するという手法を用いた。図 5 に上肢の動揺に関する生体情報入手の流れを示す。

図 5 上肢の動揺についての生体情報入手の流れ
言語の異常についての生体情報では、高齢者が言葉を話しているところを動画で撮影する。脳卒中予兆検知アプリケーションが起動している状態で、高齢者が RoBoHoN に対して「音声」という言葉を話すと言語の異常に関する生体情報を入手するシステムが作動する。高齢者に動画の撮影中に話してもらう言葉として「瑠璃も玻璃も照らせば光る」という言葉を話すように RoBoHoN が指示をする。
「瑠璃も玻璃も照らせば光る」という言葉はシンシナティ病院前脳卒中スケールで用いられている言葉の例である。上肢の動揺でサーバに動画を送信する手順を言語の異常についても採用し動画を複数回に切り分けてサーバに送信する。その後サーバでデータベースに保存する。図 6 に言語の異常に関する生体情報入手の流れを示す。

図 6 言語の異常についての生体情報入手の流れ

2

顔の弛緩についての生体情報では、高齢者が笑顔の状態であるときに写真を撮影する。脳卒中予兆検知アプリケーションが起動している状態で、高齢者が RoBoHoN に対して「写真」という言葉を話すと顔の弛緩の生体情報を入手するシステムが起動する。RoBoHoN が高齢者に対して笑顔になってもらうように指示し、笑顔の顔を写真で撮影する。写真を撮影する際に顔検知を行うため、撮影した写真は顔が写真の画角から外れるということが少なくなる。撮影した写真はサーバに送信されサーバでデータベースに保存する。図 7 に
顔の弛緩に関する生体情報入手の流れを示す。

図 7 顔の弛緩についての生体情報入手の流れ（２）結果
評価実験として、まず学内の学生、職員を対象として行った。上肢の動揺についての生体情報については、手首の部分まで動画の画角に入っていないという問題や、肘のあたりまでしか撮影できていないという問題が生じ、シンシナティ病院前脳卒中スケールで必要な生体情報の入手ができていないものが含まれていた。
このことから RoBoHoN との距離を指定する必要があることが分かった。言語の異常についての生体情報については、実験で撮影したものすべてにおいてシンシナティ病院前脳卒中スケールで必要な情報が含まれていた。このことから言語の異常に関する生体情報の入手は成功していると言える。顔の弛緩についての生体情報については、実験で撮影した画像すべてがシンシナティ病院前脳卒中スケールで必要な情報を含んでいた。すべての写真で被験者が笑顔の写真を撮れており RoBoHoN による指示も的確だったことが言える。図8 に上肢の動揺、言語の異常、顔の弛緩について生体情報が入手出来ているかの割合を示す。

図 8 生体情報の入手出来ている割合
上肢の動揺についての生体情報を入手する際の RoBoHoN のインターフェースについては、上肢の拳上の説明が曖昧であるという指摘があった。これは、上肢をまっすぐ前にあげるのか、横に広げてあげるのかがはっきりしていなかったことが原因である。そこで説明を追加し曖昧性を減らす必要がある。また、上肢の拳上方法を RoBoHoN が再現した方がよいという指摘があった。これは、現在 RoBoHoN の仕様上、腕を 10秒間あげた状態でキープすることができていないことが原因である。腕を挙げるとすぐに下がってしまう問題があるため動作を真似することが難しい部分があった。そのため RoBoHoN の腕を挙げたままキープする方法を検討する必要がある。
言語の異常についての生体情報を入手する際の RoBoHoN のインターフェースについては、RoBoHoN の話す速度が速いのではないかという指摘があった。話す速度が速いため、RoBoHoN が話した言葉がわから3ず何も答えることができない可能性がある。また、撮影を開始するタイミングがわからないという問題もあった。適切に話しているにもかかわらず動画では最初の言葉が撮影できていないというケースが見られた。
そのため、言語の異常についての生体情報システムが起動した後に RoBoHoN による指示をすぐに始めるのではなく「今から話す言葉を覚えて」という指示の後に「瑠璃も玻璃も照らせば光る」という言葉を 2 回繰り返す仕様に変更した。また、覚えてもらう言葉を話す際に話す速度を遅く変更した。
顔の弛緩についての生体情報を入手する際の RoBoHoN のインターフェースについては、カメラの場所がわからずどこを向いてよいかわからないという指摘があった。そこで、RoBoHoN のおでこの部分にカメラがあるためその位置を見るようにする指示を追加した。
また、すべての生体情報の入手の際に RoBoHoN との距離の指示が欲しいという意見があった。現在は距離の指定をしていないため手首が撮影されていない等の問題があるため距離を指示することでこの問題は改善されると考える。具体的には RoBoHoN との距離を知らせるプログラムを実行することで解決できるのではないかと考えている。
2-2 プライバシ FW（１）方法
2-1 で示した「生体情報収集機能」を実装した RoBoHoN 版のシステム構成図を図 9 に示す。メインシス
テム側に NEC のクラウドサービスである NeoFace Cloud[9]を実装することで、個人を識別できる機能を追加した。また、学習モデル作成における個人情報の秘匿性を向上させるために、サブシステム側で、生体情報から個人を特定できる情報を切り離し、匿名化 ID を付与した上で、暗号通信路により Cloud 側に送信する「プライバシ FW」を実装した。暗号通信路は、HTTPS により実現している。

図9

RoBoHoN 版のシステム構成図（２）結果
図 9 に示したシステムを活用することにより、具体的に図 5～7 に示した被験者の生体情報に該当する動画、音声、静止画をセキュアにクラウド側のメインシステムに転送できることを機能面において確認することができた。
2-3 学習モデル作成機能（１）方法
本 研 究 では 、 シン シ ナ ティ 病 院 前 脳 卒 中ス ケ ー ル(CPSS)の 「上 肢の動 揺 」の 徴 候 を判断 する 上でOpenpose[10]というライブラリを用いた。Openpose とは、コンピュータビジョンに関する国際学会 CVPR2017
で CMU(カーネギーメロン大学)が発表した、keypoint(特徴点)の検出と keypoint 同士の関係の推定を行う技術である。OpenPose を使用すると、関節の位置など、人の体における特徴点がどの座標にあるのか知ることができる。本研究では、上肢の動揺の徴候を判断する手順として、大きく２つの手順に分けて考えた。ここでの入力画像とは、体全体が撮影され、両腕を肩の高さに上げた状態の画像としている。まず、1 つ目の手順として入力画像を Openpose ライブラリにかけることで肩や肘、手首などの座標を取得する。2 つの手順として、取得した特徴点を用いて計算を行うことで両腕を肩の高さに上げたとき左右の誤差がどの程度あるの4

か判断を行う。今回の方式では、以下の 3 つの判断項目を用いることにした。1 つ目は、左右の手首の高さを比較する。２つ目は、肘が伸びているのかチェックする。3 つ目は、腕が肩の高さ辺りまで上がっているのかチェックする。計算方法について、チェック項目の 1 つ目から順番に説明する。チェック項目 1 つ目の左右の手首の高さを比較するに関しては、OpenPose を用いて取得した手首の y 座標の値を比較することで、計算を行っている。チェック項目 2 つ目の肘が伸びに関する判断では、首の座標を基準として計算することにした。まず、首の座標と肘の座標を使用し、首と肘に関するなす角の計算を行う。次に、首の座標と手首の座標を使用し、首と手首に関するなす角の計算を行う。最後に計算した 2 つのなす角を比較することで肘が伸びているのか判断を行う。２つのなす角を比較したときに、なす角の差が小さいほど肘が伸びているという判断を行う。
（２）結果
本研究では、上肢の動揺を見極める上で Openpose に関する精度評価を行った。精度評価の方法として、各指標(角度)に沿って画像を撮影し、Openpose に通すことで腕の傾きを計算する。そして、Openpose を通して計算された値と実際に測定した値(画像撮影時の指標の角度)がどの程度誤差があるのか調べる。以下に示されているものが精度評価の結果である（表 1）。
表 1 Openpose の精度評価の結果

以上の結果より、Openpose に通した値と実際の測定値の誤差を見ると、ほとんど差がないことが分かる。
実際にシンシナティ病院前脳卒中スケール(CPSS)は、それほど専門知識を持ち合わせていない救急隊員や家族が脳卒中の可能性がありそうかどうかを判断するための指標であるため、上記の結果の範囲であれば問題ないと考えられる。
次に、Openpose ライブラリを用いて肩や肘などの座標を取得し、両腕の左右の差を比較することができた。しかし、各個人によって両腕の高さの差が異なるため、判断基準値が不明確である。そこで、今後は実際に人からデータを収集し判断基準値を決めていくことが必要となる。また、脳卒中の予兆検知において突然性といった観点がポイントとなる。そこで、実際に脳卒中の予兆検知を行う際は時系列データを取得し、変化を見極めて判断をする必要があると考えられる。
2-4 判定処理機能（１）方法
今回は、上肢の動揺についての判定と言語の異常についての判定を行った。上肢の動揺についてはOpenPose[10]を使用する。これまで関節点情報を入手するためには人体にセンサーを付けて撮影したり深度センサーを用いなければならなかったりと特殊なセンサーを必要としていたが OpenPose は特殊センサーを用いずにカメラ 1 つで関節点を入手できるという利点がある。そのため OpenPose を用いることでカメラによる撮影した画像から肘や手首といった位置を入手する。判定を行う流れを以下に説明する。まず、RoBoHoN で撮影した動画をサーバで受信しデータベースに保存する際に、撮影した動画の中から 1 枚の画像を作成する。今回は 7 秒から 8 秒の間の 1 秒間の動画の中から 1 枚画像を切り出している。切り出した画像をサーバ内に保存し、保存した画像を OpenPose にかける。OpenPose にかけることで肘や手首の位置の画像を入手できる。その後、OpenPose で入手した手首の座標を取り出し、両手首の座標を比較し、手首の座標の差が閾値を超えると脳卒中の疑いがあり、閾値を超えなければ脳卒中の疑いがないという判定を行う。
座標は 2 次元座標で得られる。また、入手した両手首の座標の差をデータベースに保存し、記録する。以下

5

の図 10、11 に動画の中から切り出した画像と OpenPose を使用することで得られる画像を示す。

図 10 動画から切り出した画像

図 11

OpenPose を使用して得られる画像

手首の座標の比較について説明する。図 11 は OpenPose によって手首の位置等を入手した画像である。
この画像を見ると右の手首と左の手首を認識し点で表されていることがわかる。この点で表された両手首の座標を入手し比較を行う。比較に使用するものは縦軸の値のほうで図 11 を見ると両手首の縦軸の値が大きく違うことがわかる。比較方法としては右手首の縦軸の値と左手首の縦軸の値の差の絶対値をとっている。
この差が閾値を超えると脳卒中の疑いがあると判定し、差が閾値内であると脳卒中の疑いがないと判定する。
言語の異常の判定として、RoBoHoN で撮影した音声を Google Cloud Speech-to-Text API を使用し[11]、正しく音声認識ができるかどうかの検証を行いその結果を用いて脳卒中の疑いがあるか否かの判定を行う。
Google Cloud Speech-to-Text は Google Cloud Platform が提供しているサービスの 1 つで音声データをテキスト化する機能を持つ。この機能を用いて撮影した動画から得られた音声データをテキスト化する。判定の流れを説明する。まず、RoBoHoN で撮影した動画をサーバで受信しデータベースに保存する際に、撮影した動画に含まれる音声を音声データとして入手し音声ファイルに格納する。入手した音声データはサーバ6に保存される。保存された音声データを Google Cloud Speech-to-Text API を用いてテキスト化する。テキスト化された文字列はデータベースに保存される。テキスト化されたものが「瑠璃も玻璃も照らせば光る」と完全一致するか否かで判定を行う。完全一致すれば脳卒中の疑いがなく、完全一致しなければ脳卒中の疑いがあるという判定を行う。
（２）結果
上肢の動揺についての判定について、今回は閾値を 200 と設定した。この閾値は、学生を対象に実際に複数日にデータを取得して、健常者の場合の正常な誤差から明らかに乖離している値として設定した。動作確認として腕を同じ高さまで上げた状態と図 10 のように故意に腕を異なる高さで上げた状態の 2 パターンで動作確認を行った。腕を同じ高さにあげた場合の両手首の座標差は 100 以内の値であったのに対し、腕の高さを異なる高さとした場合の両手首の座標差は 200 の値を大きく超える値であった。閾値の値は今後医師と相談しより実際的な値に設定したうえで判定を行う必要がある。また、手首の座標の違いは被験者とRoBoHoN との距離も関係している。そのため、RoBoHoN との距離も指定しなければならない。動作確認の際に両手首の座標の差を入手できたものがあった一方で、手首の座標差をとれない場合が存在した。この理由として OpenPose では図 11 のように手首の値以外にも肩や首といった位置も入手しているためそれらの位置が入手できない場合は OpenPose がエラーとなり両手首の座標差を入手することができなくなる。そのため、エラーが起きた場合はデータベースに座標差を保存することができないため、エラーが出た場合は「error」と格納した。動作実験では正しく判定できる場合とエラーが起き脳卒中の判定ができない場合があることが分かった。エラーを回避して確実に手首の位置を検知する手法の確立が今後の課題である。
言語の異常についての判定では、音声の切り出しと Google Cloud Speech-to-Text API の使用することによって得られたテキストが「瑠璃も玻璃も照らせば光る」という言葉と比較することで判定を行った。実験として学生と職員を対象として実験を行った結果を以下の表 2 に示す。
表 2 言語の異常についての判定結果

縦軸が Google Cloud Speech-to-Text API を使用して判定を行った場合の言葉の認識の正誤判定であり横軸が実際に音声を自ら聞き取り判定を行った生後判定の表である。判定結果として縦軸、横軸ともに正の場合が 8 件、縦軸、横軸ともに誤の場合が 2 件、縦軸が誤で横軸が正の場合が 2 件存在した。これより、実際に耳で聞いて判定した結果と Google Cloud Speech-to-Text API を使用して行った判定で異なる場合があることが判明した。理由として、Google Cloud Speech-to-Text API の誤認識と撮影した環境が影響していることが分かった。撮影した環境中にほかの言葉を話している人がいる場合はその言葉も拾っているため誤認識してしまう。そのため RoBoHoN で動画を撮影する環境を指定する必要がある。また言葉を繰り返して話してしまった場合、今回の実験では脳卒中の疑いがあると判定される。理由として、話した言葉が「瑠璃も玻璃も照らせば光る」と完全一致するか否かで判定しているためである。そのため今後完全一致ではなく部分一致にすることで繰り返し話してしまった場合でも対応することができる。また、今回の判定についての結果は医師と相談をしていないため今後医師と相談しより正確な判定結果を追求する必要がある。
2-5 異常情報通知機能
（１）方法

7

サーバのデータベースに保存してあるデータを使用しメッセージアプリ「LINE」を用いて家族に対してメッセージと動画、画像を送信する[12]。送信する流れを記載する。データベースに保存してあるデータを参照し上肢の動揺、言語の異常の判定結果を決定する。顔の弛緩については、今回は判定していないため対象外とした。判定結果は、Messaging API を用いて脳卒中の疑いがあるか否かのテキストメッセージと撮影した動画、画像を合わせたものが送信される。
（２）結果
音声については撮影した動画とテキスト化したメッセージ、判定結果を送信している。上肢の動揺については撮影した動画、画像と判定結果をテキストで送信している。撮影した動画、画像を送信する理由として判定結果のみではなく動画を見ることで家族しか気づくことができないものがある可能性や、判定結果の補完ができるためである。図 12 に LINE に届くメッセージイメージを示す。図 12 に示したように、判定結果及びこの根拠となる動画像の情報が LINE を介して正しく送信されることが確認できた。

図 12

上肢の動揺、及び言語異常に関する異常情報通知例【参考文献】[1] 内 閣 府 : 平 成 29 年 版 高 齢 社 会 白 書 ， 内 閣 府 ( オ ン ラ イ ン ) ， 入 手 先 <http://www8.cao.go.jp/kourei/whitepaper/w-2017/zenbun/29pdf_index.html > .
[2] Toru Kobayashi, Kazushige Katsuragi, Taishi Miyazaki, and Kenichi Arai: SNS Agency Robotfor Elderly People using External Cloud-based Services, the IEEE Computers, the IEEE
Computer Society Signature Conference on Computers, Software and Applications, pp.908-913(2017).
[3] Toru Kobayashi, Kazushige Katsuragi, Taishi Miyazaki, and Kenichi Arai: Social MediaIntermediation Robot for Elderly People using External Cloud-based Services, 2017 5th IEEE
International Conference on Mobile Cloud Computing, Services, and Engineering,pp.31-38(2017.4) (San Francisco, USA)[4] Toru Kobayashi, Kazushige Katsuragi, Kenichi Arai, Tomoya Sakai, Makoto Fujimura: Social
Media Mediation System for Elderly People -Message Exchange Learning Type Switching
Method-, Proc. 2016 19th International Conference on Network-Based Information Systems(NBiS 2016), pp.286-291(2016.9)

8

[5] Toru Kobayashi, Kazushige Katsuragi, Kenichi Arai, Tomoya Sakai, Makoto Fujimura: Social
Media Mediation System for Closing Inter-generational Communication Gap, Proc. 2016 IEEE
40th Annual Computer Software and Application Conference (COMPSAC 2016), pp.288-293(2016.6)[6] Toru Kobayashi, Kazushige Katsuragi: Social Media Mediation System for Elderly People,
Proc. IEEE International Conference on Consumer Electronics (ICCE), pp.212-213 (2016.1)[7] NECプ ラ ッ ト フ ォ ー ム ズ :PaPeRoi ， 入 手 先<https://www.necplatforms.co.jp/solution/papero_i/index.html>.
[8] SHARP: RoBoHoN, 入手先 < https://robohon.com/>[9] NEC ソ リ ュ ー シ ョ ン イ ノ ベ ー タ : NeoFace KAOATO, 入 手 先<https://www.nec-solutioninnovators.co.jp/sl/kaoato/ >[10] Sen Qiao, Yilin Wang, Jian Li, “Real-time human gesture grading based on OpenPose,” 2017
10th International Congress on Image and Signal Processing, BioMedical Engineering andInformatics (CISP-BMEI), Oct. 2017.
[11] Google Cloud: CLOUD SPEECH API, 入手先 < https://cloud.google.com/speech/?hl=ja>[12] LINEDevelopers:Messaging
API,入手先<
https://developers.line.me/ja/services/messaging-api/>〈発 表 資 料〉
題

名Stroke Signs Detection System by SNS
Agency Robot
SNS 仲介ロボットによる脳卒中予兆検知システム
Communication Robot for Elderly
based on Robotic Process Automation
RPA Constitution Model for Consumer
Service System based on IoT
指先ひとつで社会とつながる高齢者向け
ソーシャルメディア仲介ロボットの研究開発
指先ひとつで社会とつながる高齢者向け
ソーシャルメディア仲介ロボットの研究開発
Social Media Agency Robot for Elderly
PeopleDementia Diagnosis System Using
Social Media Agency Robot
ソーシャルメディア仲介ロボットによる認知症早期発見システムの研究
IoT と AI の融合による RPA の構成方法
IoT と AI の融合による RPA の構成方法

掲載誌・学会名等IEEEInternational
Conference
onConsumer
Electronics 2020
ライフインテリジェンスとオフィ
ス情報システム研究会 (LOIS)IEEE Annual International
Computer,
SoftwareandApplications Conference 20192019 IEEE 23rd International
Symposium
onConsumer
Technologies (ISCT) conference
九州 ICT イノベーションセミナー2018
ICT イノベーションフォーラム

JournalofInformation
Processing Vol.26 pp736-746
The11thInternational
Conference on Mobile Computingand Ubiquitous Networking
マルチメディア，分散，協調とモバイル（DICOMO2018）シンポジ
ウム、pp1332-1340
NEC コラボマーケットプレイスパートナー交流会
IT 融 合 化 講 演 会 2018 inNagasaki

9

発表年月
2019.10.15 投稿予定
2019.7.18 発表予定
2019.7.15 発表予定
2019.6.20 発表予定

平成 30 年 11 月 2 日

平成 30 年 10 月 10 日

平成 30 年 10 月
平成 30 年 10 月 5 日

平成 30 年 7 月 6 日

平成 30 年 6 月 19 日
平成 30 年 6 月 15 日