文部科学省補助事業 地域イノベーションエコシステム形成プログラム「IoTによるアクティブシニア活躍都市基盤開発事業」

九州工業大学・北九州市共同事業

九州工業大学 イノベーション推進機構 グローバル産学連携センター
Tel: (093)884-3561
Mail: chiiki-eco@jimu.kyutech.ac.jp
Web: https://www.iot.kyutech.ac.jp

離床センサ（人工知能搭載・行動認識）

佐藤研究室

ルナナース （生体センサ搭載）

赤外線センサと電波型生体センサを使用したハイブリッド方式の新方式離床センサ。
カメラでの監視ではないので、ベッドに居る方のプライバシーを守る事ができます。
行動認識機能 [焦電センサ]

ベッドから起き上がる

ベッドに腰掛けるベッドから離れる

検知情報はナースへ無線でお知らせ離床センサ（布方式・安価）

佐藤研究室

新開発の静電容量の技術を用い、離床状況を検知するセンサを開発しました。
薄型かつ安価であり、wifi機能により無線で管理者へお知らせします。

新開発ドップラーセンサ （電波型人感センサ） 佐藤研究室①心肺の活動によって体の表面が微細に振動②マイクロ波で表面の振動を非接触で計測[計測モード]①心拍送信波②呼吸反射波③体動③九州工業大学で開発した雑音処理技術により、心拍・呼吸を抽出④人感計測モードの作成

1ピンモード動

1体動信号を出力します。(電源ON時)
LEDは,常時ON

2呼吸信号を出力します。
LEDが点灯時計測。(消灯時は計測不能)

3

心拍信号を出力します。
LEDが点灯時計測。(消灯時は計測不能)

4人感センサモード(5ｍ以内の体動を検知)
LEDは,点滅状態

ステータスLED

ピン番号説

1

モード切替信号入力(Active Low)

2+5V(電源)

3GND

4N.U（内部用使用しません）

5N.U（内部用使用しません）

6

アナログ出力（±2V）

作

明※概観は,暫定仕様です。
変更の可能性があります。
モードは,GNDレベルにする事で,順次①動き検知,②呼吸検知,③心拍検知④人感センサの3モードを選択できます。
また,②,③の生体情報に関する制度の保証はありません。

幼児みまもりセンサ （うつ伏せ寝防止） 佐藤研究室
保育園での死亡件数第1位は睡眠中の事故で、死亡事故の６割を占めており、なかでもうつぶせ寝での呼吸確認不足による死亡が相次いでいます。
安価に、幼児の呼吸や動き、そして、うつぶせ・仰向け寝の状態を検知する
センサシステムは、保育施設など多くの場面での需要が見込まれます。
■タグ方式 みまもりシステム
うつぶせになった際に、腹部に取り付けたセンサを受信センサが感知し、管理者へお知らせをします。
※オムツ(おなか側)に貼り付け

SENSOR

動き・呼吸を検出
呼吸
体動

データ通信・記録管理者へお知らせ
…あおむけ

呼吸数
…よこむき

向き

…うつぶせ分

おねしょセンサ

湿度センサの追加により,おねしょを感知するセンサへの応用も可能です。

※オムツ(お尻側)に貼り付け

自動車産業への応用

佐藤研究室

井上研究室介護施設丸々一棟を対象に、介護業務分析をした結果、１日のうち少なくとも１時間程度は記録や申し送り作業に費やしていることがわかりました [1]。
センサ行動認識＋AIデータ解析技術で記録業務を半自動化すれば、これらの時間を入居者様とのふれあいの時間に変えることができます。
誰（介護士）が誰（入居者）に何（業務）をしたかを簡単入力可能。

入居者
業務

アプリ画面

加速度センサによるリアルタイム行動認識
スマートフォンで取得できる加速度情報と業務記録の情報が教師データとなり機械学習を行います。

業務記録とセンサデータ収集を同時に行うアプリ↓↑
センサデータを使ったデータ解析技術による業務推定
介護施設での実証実験[1]で業務行動の開始時刻が90%[2]、継続時間が80%[3]の精度で推定できました。
[1]2017年６月１５日九州工業大学、ウチヤマホールディングス、IDC フロンティア
共同プレスリリース[2]２業務行動に対して[3]９業務行動に対して← 1日の介護業務をAIにより推定した結果(Webより)

井上研究室センサ行動認識＋AIデータ解析技術のシステム導入によって、介護記録時間の短縮、介護業務の効率化および近未来行動予測を実現できるかについて検証を行いました。
介護記録・行動ラベル入力アプリ
開発したAndroidスマートフォン用アプリFonLogは、スタッフが業務中に介護記録を入力し、そのスマートフォン内のセンサデータとともにクラウド上のサーバに中継する機能を持ちます。(a)のメイン画面から基本的にはタブやスワイプ等で切り替わらないようにし、詳細の入力の際には(b)-(d)のようなダイアログを表示します。

クラウドサーバで集計される帳票

行動ラベルおよび行動詳細が、左図のように介護施設が通常用いる形の帳票で出力されます。特に左図(d)の帳票は、ケア記録と呼ばれるものは、後日印刷して自治体に提出される形式となります。

井上研究室「行動認識・予測技術」の組み合わせで、高齢者や幼児などが「より安全に」「快適に」「健康に」生活するための「みまもり」や「行動変容」を実現するためのサービスを事業化し、グローバルに展開することを目指しています。
センサ行動認識技術の精度
右図のように、4行動について80%以上の精度、10行動について60%以上の精度が出ていることがわかります。

近未来行動予測の精度
右図のように、4行動について80%以上の精度、6行動について60%以上の精度を出していることがわかります。
不定期の介護行動である「日中利用者対応」「夜間利用者対応」「排泄」の3つの行動についても、80%以上の精度で予測可能です。
 センサ行動認識
行動認識の精度が上がることによって、介護職員が最も負担を感じている介護記録時間がさらに短縮できることが期待できます。
 近未来行動予測
不定期な介護行為について、あらかじめケアの準備をしたり、タイミングよくケアを提供するといった介護業務の効率化および入居者の満足度向上が期待できる。

齊藤研究室読唇技術を利用したコミュニケーション支援システム
高齢者や障害者には音声コミュニケーションが困難な人がいます。本研究室では、音声情報を用いずに口唇の動きなどの視覚情報のみを用いて発話内容を推定する読唇に関する基礎研究および、コミュニケーション支援システムなどの応用研究に取り組んでいます。

AI仕組み
 ビデオカメラなどで撮影された発話映像を入力します。
 画像処理技術を用いて人の顔、さらに目、鼻、口などの部位を検出します。
 口周辺の画像より口の動きを捉えて、深層学習を用いて発話内容を認識します。
特長 カメラは非接触であり、音声情報を用いないため、高騒音環境や音声を含まない映像に対しても適用可能なメリットがあります。
2018年12月7月より、読唇技術とはどのようなものなのかを誰でも簡単に体験していただける、スマートデバイスでも利用可能な読唇技術デモン
ストレーションWebアプリLiP25w（認識対象：日本語25単語）を公開しています。
※Webサイトはこちら → https://demo.slab.ces.kyutech.ac.jp/VSR/index.html

はじめまして②声を出さず口だけを動かして発話して、撮影シーンをアップロード

発話シーン
認識結果
①スマートデバイスでWebサイトにアクセス
Database(SSSD)③認識結果

障害者と健常者のスムーズなコミュニケーションを実現することで、障害者の社会参加の促進、介護負担の軽減が期待できます吉田研究室
屋内位置推定システム
屋内位置推定システムは、モバイルデバイスによって収集されたセンサ情報を使用して、屋内の人または物の位置を推定するシステムです。
Beaconを使用することにより、カメラによって監視される心理的負担をかけることなく人の位置を推定することができます。
少数のBLE Beaconとひとつのモバイルアプリを用いて，複数Beaconからの受信電波強度の組み合わせデータにより，屋内位置リアルタイム推定を可能にしました。
（特許出願中）①初期設定
屋内の任意の場所にBeaconを設置し，ひとつのモバイルアプリを用いて複数Beaconからの受信電波強度の組み合わせデータを収集します。
＜特徴＞
 アプリの指示に従い画面上をクリックするだけでデータ収集可能です。
 近接性方式（至近Beaconの位置を現在位置とする）と比較して，少数のBeaconで位置推定が可能です。
 三点測位方式（三点測量により位置を推定する）と比較して，障害物や電波の干渉を受けにくい特徴があります。
②モデル構築初期設定での収集データからオフラインでモデルを構築します。
モデルは、モバイルアプリの上で構築可能です。（所要時間：約3秒）＜特徴＞
 家具等の障害物があっても簡単な設定でモデル構築が可能です。
 家具等の配置が変わっても簡単な設定でモデル変更が可能です。
③位置推定
構築したモデルにより，3〜15秒間隔で位置を推定します。
リアルタイムに位置推定が可能です。（位置推定誤差：1m未満）＜特徴＞
 初期設定から位置推定まで, ひとつのモバイルアプリで実現できます。
 エンドユーザでもデータサイエンティストでも直感的可能です。
 グラフィックインタフェースにより屋内地図を設計することができます。
 クラウドネットワークにより，遠隔地への通知が可能になります。

「アンビエント」とは、自分のまわりの環境。アンビエント・ヒューマン・センシングは、人が普通に生活しているだ
けで、体と心の変化を分析・解析し、なりたい自分や・あるべき自分に役立つ情報をフィードバックする、非接触生体センサと行動認識AIの連携システムです。
政令都市の中で最も高齢化が進む北九州市の特性を活かし、独自性の高い「非接触生体センサ」と実績豊富な「センシングデータ 解析技術」の組合せで、都市に住む高齢者が「より安全に」「快適に」「やりがいをもって」生活するためのIoTソリューションを実現し ます。

低コスト・高精度の非接触生体センサを実現

複雑な行動・業務に適用可能な行動認識技術
User 5行動を数日記録すると，以後自動的に推定可能

雑音処理（特許技術）

××

スタッフ27名33種類
2609行動

体動、心拍、呼吸情報を基礎情報として高次解釈により様々な情報を抽出

介護施設でのスタッフを対象とした実証実験結果

ＩＰライセンス

研究開発委託ひびきの電子株式会社（非接触生体センサ）
http://hibikinodenshi.co.jp/

株式会社セキュアサイクル（行動認識技術）
https://secure-cycle.co.jp/

取得データ
新ルナナース（2018年販売中）

ドップラセンサモジュール

非接触生体センサ
 生体センサ付高齢者みまもりセンサ機器「ルナナース」2018年6月発売。
 「浴室みまもりセンサ」大手ガス会社を通じて2019年発売予定。
 非接触生体センサモジュール（ドップラセンサ）
2019年2月以降発売予定。

×

介護行動記録・認識スマートフォンアプリ
（開発中）
AI行動認識技術
 実際の介護施設の実証実験で、スマートフォン・環境センサを用いて介護記録の綿密化と、業務記録時間短縮を実現。
 AI行動認識技術を九工大発AI関連ベンチャー「㈱セキュアサイクル」にて商用化開発中(2019年度商用サービス開始予定)。

サービス運用など事業化パートナー募集中！
九州工業大学 イノベーション推進機構 グローバル産学連携センター
Tel: (093)884-3561 Mail: chiiki-eco@jimu.kyutech.ac.jp
Web: https://www.iot.kyutech.ac.jp