スマートホーム，IoT

中村匡秀

データサイエンス概論２

スマートホーム，IoT
神戸大学大学院システム情報学研究科
中村 匡秀

1

スマートホーム，IoT

中村匡秀

自己紹介
 神戸大学大学院システム情報学研究科計算科学専攻
 准教授

中村 匡秀（なかむら まさひで）

 担当科目：「ソフトウェア工学」「情報知能工学演習IV」「クラウド開発応用」「分散ＰＢＬ：クラウドビジネス創出」等
 趣味：沖縄，スキー，ＨＲ／ＨＭ，Vine Linux 2007/04/01 着任
 前職：奈良先端科学技術大学院大学・情報科学研究科・助手．
 学位：博士（工学）・大阪大学 （学部は大阪大学）

 興味のある専門分野
 サービス指向アーキテクチャ(SOA)の応用・開発支援 クラウドコンピューティング
 IoT, スマートシステム
 ライフログの応用

スマートホーム，IoT中村匡秀

IoT とは モノのインターネット（Internet of Things）
 実社会の様々な「モノ（物）」がインターネットに接続される
 モノ同士がネットを通して連携し，付加価値サービスを実現する
 センサ，家電，設備，家，建物，都市インフラ，
ロボット，自動車，鉄道，工場，etc...

 ユビキタスコンピューティングの進化形
 技術進歩によるハードウェアの微細化，高性能化，低コスト化
 インターネット，Web技術，無線技術の進歩，普及 クラウドによる大規模データ蓄積・処理
 電池の小型化，高性能化
3スマートホーム，IoT

中村匡秀

これまでと何が違うのか？
 従来：モノがつながる
センサ

コントローラ アクチュエータ

 IoT：モノがインターネットのようにつながる
従来のインターネット資源センサ

インターネット

アクチュエータ

コントローラ4スマートホーム，IoT

中村匡秀

第4次産業革命 中長期的な成長を実現していくカギは，近年急激に起きている第4次産業革命(IoT,
ビッグデータ，人工知能，ロボット，シェアリングエコノミー等)のイノベーションを，あらゆる産業や社会生活に取り入れることにより様々な社会課題を解決するSociety
5.0を実現することにある (未来投資戦略2017.6)

総務省・平成29年版情報通信白書より
5

スマートホーム，IoT

中村匡秀

超スマート社会 (Society 5.0)
 必要なもの・サービスを，必要な人に，必要な時に，必要なだけ提供し，社会の様々なニーズにきめ細やかに対応でき，あらゆる人が質の高いサービスを受けられ，年齢，性別，地域，言語といった様々な制約を乗り越え，活き活きと快適に暮らすことのできる社会

文科省・平成28年版
科学技術白書より
6

スマートホーム，IoT

中村匡秀

スマートシステム 実世界のモノやデバイスと情報システムとをネットワークで連携させ，全体として新たな価値機能を生み出すシステム
 Cyber-Physical System (CPS)とも呼ばれる
 IoTとクラウドの連携

 代表的なスマートシステム
 スマートグリッド
 スマートホーム スマートシティ
 スマートアグリ
 スマートヘルスケア
・・・

出典： ClouT プロジェク

 スマートシステムは大規模異種分散システム
7

スマートホーム，IoT中村匡秀

IoTのアーキテクチャ
アプリケーション

スマート
ホーム

スマート
ファクトリ

スマート
シティ

プラットフォーム

アクセス・ネットワーク

エッジ

コア・ネットワーク

ビッグデータクラウドサービス・ＡＰＩスマート交通

ゲートウェイ
エリア・ネットワーク
デバイス
8

スマートホーム，IoT中村匡秀

IoTのための通信規格，プロトコル 物理層～データリンク層
 近接： NFC, RFID
 短距離： Wifi, Bluetooth, Zigbee, Z-wave,...
 長距離： LoRaWAN, NB-IoT, Sigfox,
RPMA, Neul, Cellular (3G, 4G, 5G),...
 有線： Ethernet，USB,シリアル,...

 ネットワーク層

David E. Culler - The Internet of Every Thing IPv4, IPv6, 6LowPAN

 アプリケーション層
 HTTPs/REST 代表的なWebのプロトコルでデバイスの状態を取得，更新

 MQTT (Message Queue Telemetry Transport)
 Publish/Subscribeメッセージ交換でイベントベースの多対多通信を実現

 CoAP (Constrained Application Protocol)
 マシン間通信に特化しHTTPの軽量化を目指したもの．UDPを使う
9

スマートホーム，IoT

中村匡秀

IoT ゲートウェイ ベンダ独自のアプライアンス

 汎用ボードコンピュータ

Edison Galileo

STMicro Nucleo スマートフォンを使うソリューションもある10

スマートホーム，IoT

中村匡秀

Hello IoT World! “センサボックス”
 中村研で開発した環境センシングのためのIoTデバイス
 センサ： Phidgets (照度，温度，湿度，モーション，気圧，振動 ) ゲートウェイ： Raspberry Pi 3
 アクセスプロトコル： HTTP / REST プラットフォーム： Apache Axis2, fluentd, MongoDB, HBase

アプリケーション
HTTP/REST

プラットフォーム
ネットワークHTTP/REST

ゲートウェイ
デバイス

USB

11

スマートホーム，IoT中村匡秀

IoTで可能になること
 実世界の情報収集，オペレーションが可能になる プラットフォーム独立なアクセス，大規模ストレージへのデータ蓄積

 実世界の過去～現在の状況を理解できる ビッグデータ処理，可視化，分析 状況に応じたオペレーションが可能になる
 ルールベース，自動化，最適化

 データを蓄積・学習することで未来の状況を予測できる AI, 機械学習，予測

すべてインターネットのサービス，リソースを活用して実施できる12

スマートホーム，IoT

中村匡秀

神戸大・中村研でのIoT研究・開発の紹介
 サービス指向スマートホーム
 エネルギー可視化，省エネ ヴァーチャル・エージェントとの連携
 コンテキスト・アウェアサービス

 スマートシティ
 ビッグデータプラットフォーム
 防犯情報可視化サービス
 自治体との連携，業務最適化

 スマートヘルスケア
 環境センシングによる見守り，行動認識 「こころ」センシング
 個人適応型対話生成
13

スマートホーム，IoT

中村匡秀

スマートホーム14スマートホーム，IoT

中村匡秀

スマートホーム ICT技術を駆使し，様々なサービスを提供する次世代型住居
 家電や設備をホームネットワークに接続して連携 省エネ，見守り，防犯・防災，エンターテインメント，etc…

温度
センサ

人感
センサ

換気扇 給湯器

エアコン

照明

テレビ
ホーム
サーバ

ホームネットワーク

電力網へ

DVD

電力計
照度
センサ

空気清浄機
ドア

窓 カーテン 洗濯機

冷蔵庫

省エネ
見守り
ｴﾝﾀｰﾃｲﾒﾝﾄ
防犯

インター
ネットへ

付加価値
サービス

 意外に歴史は古い
 ホームオートメーション，電脳家屋，ユビキタスハウス，HNS, HEMS..
15

スマートホーム，IoT

中村匡秀

サービス指向アーキテクチャ (SOA) (Vinoski, 2002)
 システムの機能をサービスという単位で公開しそれらを連携させる
 自己完結：他のサービスに依存せず単独で利用できる
 オープンで定義されたインタフェース(API)：内部実装を知らなくても利用できる
 粗粒度：利用者にとって価値を形成しうる粒度の処理
 標準的な呼出し手段：Webの仕組み(Webサービス)を使って呼び出す
レストラン
サービス

提供者 (実装)

ビーフステーキを1つ下さい．
ミディアムレアで

提供者
(インタ
フェース)

利用者
承知しましたソフトウェアサービス(SaaS)

道案内
アプリ

http://mapservice/getAddress?
lat=34.726441&lng=135.235363

Web-API

住所検索(緯度,経度){“address”:”神戸市灘区六甲台町”}

地図情報システム

地図サービス

スマートホーム，IoT

中村匡秀

サービス指向スマートホーム (2004, 中村・井垣) サービス指向アーキテクチャ(SOA)を適用し，家電をWebサービスとして操作できるようにした 企業情報システムの統合アーキテクチャをユビキタス分野へ応用
 Service-Oriented Home Network System (SOA-HNS)
DVDシアター
サービス

電源() 音量()
ＴＶ
サービス

省エネ空調
サービス

おでかけ
サービス

セキュリティ
サービス

サービス連携フレームワーク
Webサービス (SOAP/REST)
開け() 閉め() 冷房() 暖房()
点灯() 消灯()
照明
カーテン
エアコン
サービス
サービス
サービス

SOA-HNS

CS27-HNS 実験室

Masahide Nakamura, Hiroshi Igaki, Haruaki Tamada, and Ken-ichi Matsumoto, ``Implementing Integrated Services of Networked Home
Appliances Using Service-Oriented Architecture,'' IEEE International Conference of Service Oriented Computing (ICSOC04), pp.269-278, November 2004. (New York City, USA)17

スマートホーム，IoT中村匡秀

SOA適用による効果
 従来のスマートホーム
 サービスはモノリシック（一枚岩）な基盤に組込まれ追加・更新が困難
 サービスと家電が密結合．家電の入替えは基本的に不可能

 サービス指向スマートホーム
 付加価値サービスをマイクロサービスの組み合わせで軽量に実現
 サービスと家電を疎結合に．家電入替え自由．マルチベンダ可能
 家電と他のWebサービスを連携可能 (→ 現在のIoT, WoT)DVDシアター
サービス
DVDシアター
サービス

省エネ空調
サービス

おでかけ
サービス

セキュリティ
サービス

専用HNSプラットフォーム＋プロトコル

従来のHNS

電源() 音量()
ＴＶ
サービス

省エネ空調
サービス

おでかけ
サービス

セキュリティ
サービス

サービス連携フレームワーク
Webサービス (SOAP/REST)
開け() 閉め() 冷房() 暖房()
点灯() 消灯()
照明
カーテン
エアコン
サービス
サービス
サービス

SOA-HNS18

スマートホーム，IoT

スマートホームを用いた省エネ
 HEMS (Home Energy Management System)
 他分野のメーカ・ベンダがシステム開発を行なっている
 いろいろな製品が出ている

 電力の見える化 家庭での電力消費の実態を，見える形にする！
 住人の省エネ意識を高めて，自発的な省エネ行動を促す

 省エネ行動の推薦
 無駄がいつ行われたのか，システムが自動的に検出する．
 個人に合わせた省エネ行動

中村匡秀

スマートホーム，IoT

消費電力振り返りサービス
日々の電力消費を細かく振り返る．
 スマートホームで取得できる3種類のログ（履歴）を連携
 機器毎の消費電力ログ，機器操作ログ，環境センサログ

従来のスマートメーターよりもきめ細かい振り返りが可能
 どの機器がどれだけ電力を使われたのか．
 何の操作によって，電力が使われたのか．
 なぜその操作が行われたのか．

住人の省エネ意識の向上に貢献する
 5～12%の省エネ効果．
井垣 宏, 瀬戸 英晴, 福田将之, まつ本真佑, 中村匡秀, ``家庭における省エネ促
進のための電力消費振り返りサービスの実装と評価,'' 電子情報通信学会論文
誌, vol.J95-D, no.4, pp.778-789, April 2012.

中村匡秀

スマートホーム，IoT

中村匡秀

見つかった電力浪費行動

 DVDプレイヤーの電源が一日中動作中であった．

タスク

DVDプレイヤーが接続されているテレビが動作していなかった

（提案
法ス
）ク
タ

C1：つけっぱなし

無駄行動

（従来
法）

無駄のタイプ

1

3
○

○

○

天井ライトの電源が一日中動作中であった．

○

被験者Hが外出中にもかかわらずTVが動作していた．

○

室内が十分明るいにもかかわらず天井ライトが動作中であった○

温度が十分高いにもかかわらず，エアコン（暖房）が動作中であった．

○

エアコン(冷房モード)が運転していたが，室温がそれ程変化していなかった．

○

C3：併用不能機器の同時使用

同一のテレビに接続されているDVDプレイヤー，家庭用ゲーム機を併用していた．

○

C4：併用不要機器の同時使用

テレビ，PCの両機器が併用されていた．

C2：環境状態の無視○○スマートホーム，IoT

電力浪費行動の自動検出
HNSで実際に生活し，浪費行動の自動検出を行う
 生活期間は2011年1月24日～28日の５日間 ２４種類の浪費行動検出ルールを定義．
 ルール２：湿度が十分高いのに，加湿機が作動していた．
 ルール１３：アロマポットと空気清浄機が併用されていた．
 ルール２０：外が十分に明るいのに天井照明がついている．

 ５日間で１８件の浪費行動を検出した．

浪費行動検出例：
 ルール２０：「室内が十分に明るいのに天井照明がついている．」
 2011年1月25日10:15:56～17:13:31（ 418分 ）中村匡秀

スマートホーム，IoT

中村匡秀

スマートホーム×スマートフォン
 パーソナルリモコン
 ケータイを使って自分だけのリモコンを作成(c) The Pokemon Company/Game software/Pokemon Fire Red(c) Inc.
AKS/AKB48→ デモ(c) Yngwie J. Malmsteen/Trilogy(c) Nintendo Co./Game software/Super Mario Bros

K. Tokuda, S. Matsumoto, and M. Nakamura, ``Implementing Personal Home Controllers on Smartphones for Service-Oriented Home
Network,'' Int’l Conf. on Wireless and Mobile Computing, Networking and Communications (WiMob 2012), pp.777-784, October 2012.

 ケータイでピークカット (PeakCutter) 消費電力のピークをお知らせ．自分で遠隔オフを実行 → デモK. Tokuda, S. Matsumoto, and M. Nakamura, ``Implementing a Mobile Application for Spontaneous Peak Shaving of Home Electricity,''
In Sixth International Workshop on Selected Topics in Mobile and Wireless Computing (WiMob2013), pp.284-289, October 201323

スマートホーム，IoT

中村匡秀

スマートホーム×環境センサ
 宅内外に環境センサを配置し，様々なコンテキストを取得
 コンテキスト： センサ等の値を解釈して得られる状況情報のこと
 コンテキストアウェアサービス： コンテキストを用いて，その場その時の状況に応じて自動的に振る舞いを起こすサービス

ドアセンサ

＋

コンテキスト：

人感センサ

入室する

Masahide Nakamura, Shuhei Matsuo, Shinsuke Matsumoto, Hiroyuki Sakamoto, and Hiroshi Igaki, ``Application Framework for Efficient
Development of Sensor as a Service for Home Network System,'' In the 8th IEEE 2011 International Conference on Services Computing(SCC 2011), pp.576-583, July 201124

スマートホーム，IoT

中村匡秀

スマートホーム×パーソナルサービス
 自分の好みのサービスを住人が簡単に作成する枠組み

HNSサービスビルダ

RuCASプラットフォーム
Hiroki Takatsuka, Sachio Saiki, Shinsuke Matsumoto, and Masahide Nakamura, ``RuCAS: Rule-Based Framework for Managing ContextAware Services with Distributed Web Services,'' International Journal of Software Innovation, vol.3, no.3, pp.57-68, July 2015.

25

スマートホーム，IoT

中村匡秀

スマートホーム×バーチャルエージェント システムとユーザの仲立ちをしてくれる仮想エージェント 音声対話による家電操作 （初音ミク as an Interface）
 マイクアレイによるハンズフリーと音源定位 (with 吉本研究室)
 環境センサを用いたコンテキストアウェアネス

P(θ
,φ)

Shimpei Soda, Masahide Nakamura, Shinsuke Matsumoto, Shintaro Izumi, Hiroshi Kawaguchi, and Masahiko Yoshimoto, ``Handsfree
Voice Interface for Home Network Service Using a Microphone Array Network,'' In The Third International Conference on Networking
and Computing (ICNC2012), pp.195-200, December 2012.
Hiroyasu Horiuchi, Sachio Saiki, Shinsuke Matsumoto, and Masahide Nakamura, ``Virtual Agent as a User Interface for Home Network
System,'' International Journal of Software Innovation, vol.3, no.2, pp.24-34, April 2015.

26

スマートホーム，IoT

中村匡秀

スマートホーム×コンピュータビジョン
 宅内のコンテキスト認識
 居住者の生活行動：食事，睡眠，掃除，読書，etc.
 宅内の環境状態：無人，消灯，低温，高湿，etc.

 画像に基づく細粒度宅内コンテキスト認識
 ユーザ定義の宅内コンテキストを画像で認識する
 一般世帯に導入可能な技術のみで実現する
 深層学習やウェアラブル，測位システム等は使わない

27

スマートホーム，IoT

中村匡秀

Image as a Documentアプローチ
1. コグニティブAPIを用いて画像からタグを特徴量として抽出
全体ミーティング

タグ集合

2. コグニティブAPIと機械学習を組み合わせた分類器の構築
 画像を文書としてとらえ，文書特徴量を軽量な機械学習を適用する

タグ集合

3. 複数の異なるコグニティブAPIによる特徴量の活用
 複数の独立した分類器の構築
 これらの認識結果の多数決

分類器（評価実験で0.92の精度が達成）

多数決（評価実験で0.98の精度が達成）

Sinan Chen, Sachio Saiki, and Masahide Nakamura, ``Integrating Multiple Models Using Image-as-Documents Approach for
Recognizing Fine-Grained Home Contexts,'' Sensors, vol.20, no.3: 666, January 2020.

28スマートホーム，IoT

中村匡秀

スマートシティ29

スマートホーム，IoT

中村匡秀

スマートシティ ICT技術を駆使し，生活インフラ全体の高度な効率化を目指した次世代都市 エネルギー，交通，生活インフラの効率改善
 生活の見える化，トレンド把握等の付加価値サービス創造

ネットワークスマートホーム，IoT

中村匡秀

スマートシティとビッグデータ
 スマートホームやインフラからデータを収集，サービスに活用
 住宅ログの大規模化 (数万世帯から1日に数億件のレコード)
 住宅ログは多様かつ不均質なデータで構成される
 真のビッグデータとなる （3V： Volume, Variety, Velocity）

 スマートシティサービスのためのデータプラットフォーム
Power Consumption in Rokko city
10/2013

大規模データ収集・
活用プラットフォーム
スマートシティ

データ収集

サービス活用

スマートシティサービス
31

スマートホーム，IoT

中村匡秀

大規模住宅ログ収集・活用プラットフォーム
 Scallop4SC (SCALable LOgging Platform for Smart City) HBase（分散KVS）を用いた大規模ログの蓄積
 Hadoop/MapReduceを用いた大規模並列分散処理
Scallop4SC PCクラスタ

地域内の機器別の総消費電力を計算する時間（1世帯30機器，1分1回の住宅ログを取った場
合）Shintaro Yamamoto, Shinsuke Matsumoto, and Masahide Nakamura, ``Using Cloud Technologies for Large-Scale House Data in Smart City,''
In International Conference on Cloud Computing Technology and Science (CloudCom2012), pp.141-148, December 2012.

32

スマートホーム，IoT

中村匡秀

体現ビュー アズ ア サービス (MVaaS) スマートシティデータのビューを生成するサービス
 扱いにくいビッグデータを用途の異なるアプリ毎にテーラリング 複雑な体現ビューの生成や管理をクラウドサービスとしてカプセル化
Power Consumption in Rokko city
10/2013

Data
Spec.

Scallop4SC

API

API

Data
Spec.

API

Data
Spec.

1次データ

MVaaS

API

体現ビュー

スマートシティサービ

Shintaro Yamamoto, Shinsuke Matsumoto, Sachio Saiki, and Masahide Nakamura, ``Design and Evaluation of Materialized View as aService for Smart City Services with Large-Scale House Log,'' IEICE Transactions on Information and Systems, vol.E97-D, no.7,
pp.1709-1718, July 2014.

33

スマートホーム，IoT

中村匡秀

スマートシティのビッグデータの例
 兵庫県街頭犯罪データ (ひょうご防犯ねっと)
 街頭で発生する事件をメールで配信し住民による自衛を促す

 神戸市救急出動データ (神戸市消防局)
 出動のイベントを記録し，現状分析，リソース最適化を目指す 覚知，指令，出動，現着，現発，病着，病初，帰署34

スマートホーム，IoT

中村匡秀

PRISM: 個人適応型防犯情報サービス
 自分の生活圏に関連する街頭犯罪情報を可視化する 兵庫県警が配信する事件情報を利用 最新の犯罪情報を深刻度で重みづけて可視化する 自分の生活圏から近いほど深刻，最近ほど深刻 2017年神戸・バルセロナ国際ワークショップ (WDVC)で優勝

デモ

Takuhiro Kagawa, Sachio Saiki, and Masahide Nakamura, ``PRISM: Visualizing Personalized Real-Time Incident on Security Map,''
International Journal of Software Innovation (IJSI), vol.6, no.4, pp.46-58, August 2018.

35

スマートホーム，IoT

中村匡秀

Ambulance Simulator 神戸市の救急車の出動動態を可視化・シミュレーションし，最適な指令戦略をサポートするシステム
 各救急隊が，いつ，どこに，どんな状態でいたかを可視化
 どのような指令を出すとどうなるかをシミュレートする 2018年神戸・バルセロナ国際ワークショップ (WDVC)で発表
Ambulance Simulator
クライアントサイド

Ambulance Simulator
サーバサイド
Step2

Step1
救急隊
出動
データ

ETL
process

MySQL
DB

Web
API

Step3
Web
API

Takuhiro Kagawa, Naoya Yabuki, Sachio Saiki, and Masahide Nakamura, ``Ambulance Simulator,'' In World Data Viz Challenge 2018
(WDVC2018), vol.Barcelona Round, November 2018. (Barcelona, Spain)36

スマートホーム，IoT

中村匡秀

FD-CAST / FigMap4SC
 消防車・救急車の駆け付け時間をシミュレーションするツール
 火災時，どの地域へどの消防車が何分で駆けつけられるか 消防局の場所や消防車の編成を変えたらどうなるか→ 神戸市消防局にて実際に運用されている

Naoya Yabuki, Sachio Saiki, and Masahide Nakamura , ``FD-CAST: a Tool for Analyzing and Simulating Fire Department
Configurations,'' In 10th International Conference, DHM 2020, Held as Part of HCII 2020, pp.199-213, July 2020.
Tetsuya Nakai, Sachio Saiki, and Masahide Nakamura, ``Fine-Grained Map Coloring Web Service for JavaScript,'' In 10th
International Conference, DHM 2020, Held as Part of HCII 2020, vol.LNCS 12199, no.2, pp.159-174, August 2020.

37スマートホーム，IoT

中村匡秀

スマートヘルスケア

38スマートホーム，IoT中村匡秀

IoTとVAを活用した在宅介護支援システム
 在宅高齢者の自助・互助をシステムにより支援
 健常者～軽中度の認知症を対象にIoTやVAがアシスト
 機械で出来ることは機械に任せ，人によるケアの質を上げる
 IoTによるデータ収集，状況の推定，個人に寄り添ったケアの検索・立案
 バーチャルエージェントやWebコンテンツを活用

Virtual Care Giver

全体アーキテクチャ

デモ動画 (YouTube)39

スマートホーム，IoT

中村匡秀

環境センシングによる行動認識 自律センサボックスの時系列データから高齢者の行動を推定
 時系列データに7種類の行動ラベルを付与し，教師データとする
 機械学習（Boosted Decision Forest）で分類器を構築

Long Niu, Sachio Saiki, and Masahide Nakamura. Recognizing ADLs of One Person Household based on Non-intrusive
Environmental Sensing, SNPD 2017, pp. 477–482, 201740

スマートホーム，IoT

中村匡秀

宅内行動の自動認識
 センサボックスの時系列データを機械学習にかけ宅内行動を自動推定する
実際の日常行動

睡眠

風呂

料理

食事

温度
音量
…
照度
：
時間窓
データ特徴量予測した宅内行動41スマートホーム，IoT

中村匡秀

環境センシングによる自動認識 アパートにセンサボックスを設置し，1カ月間実験を行った ライフロガーによる7種類の行動をラベル付け→教師データ
 Boosted Decision Forest (MS-Azure)で分類器を構築

 精度はまずまず 料理，風呂，睡眠，外出は7-8割当たる
 Micro-Average Precision: 55%
 環境センシングだけで認識する限界かLong Niu, Sachio Saiki, and Masahide Nakamura. Recognizing ADLs of One Person
Household based on Non-intrusive Environmental Sensing, SNPD 2017, pp. 477–482, 201742

スマートホーム，IoT

中村匡秀

BLEビーコンによる屋内測位を導入
 Bluetoothで固有のデバイス信号をadvertiseするIoT
 スマートフォンでキャッチ，信号強度から大まかな屋内位置を推定

 環境情報に位置情報を統合して精度向上を狙う
 部屋をゾーンに分け，ゾーン毎にビーコンを設置
 行動もゾーンに分けて，ゾーン内のデータのみを認識に使う

 精度はだいぶ向上した Micro-Average Precision: 71%
 依然としてラベル付けが大変Long Niu, Sachio Saiki, and Masahide Nakamura, ``Integrating Environmental Sensing and BLE-Based Location for Improving ADL
Recognition,'' International Conference on Information Integration and Web-based Applications & Services (iiWAS2017), December 2017.

43

スマートホーム，IoT

中村匡秀

従来型の見守りシステムの課題
 センサによる見守りの限界
 センサで外部から観察可能な行動認識にとどまる
 内的状態を観測できない

 内的状態
 行動に伴う心理的な状態(体調，気分，痛みなど)
 人の健康に直結→見守りには重要な情報
 専門家による問診やカウンセリングを通して得られる
足が痛いなあ…
体調も悪い…

センシングだけでなく，直接ご本人に聞いてあげてください．高齢者は行動を当ててほしいのではなく，気にかけてくれることが嬉しいのですよ中村さんは，リビングで休んでいます44

スマートホーム，IoT

中村匡秀「こころ」センシング (Mind Sensing) ヴァーチャル・エージェント(VA)やチャットボットで問いかけ
高齢者の内的状態を言葉に外化させる
 VA:音声認識・音声合成技術で対話が可能なソフトウェアロボット
 MMDAgent*を改造．Webサービスでラップしてシステム連携
今日の体調はいかがですか？

気分は良くなったけど，まだ足が痛いなあ…

外化

今何をしていますか？
どこか痛みはありませんか？

足が痛いですデータ

Virtual Agent メイちゃん*Copyright 2009-2018 Nagoya Institute ofTechnology (MMDAgent Model “Mei”)

user

datetime

states中村

2021-01-27T15:30:00

足が痛いです

対処法の提案
支援者との連携

Haruhisa Maeda, Sachio Saiki, Masahide Nakamura, and Kiyoshi Yasuda, ``Rule-Based Inquiry Service to Elderly at Home for Efficient Mind Sensing,'' In
21st International Conference on Information Integration and Web-based Applications & Services (iiWAS2019), pp.666-670, December 2019.

45

スマートホーム，IoT

中村匡秀「こころ」センシングサービス (Mind Sensing Service) 「こころ」センシングを実行するための基盤サービス
 時刻やイベントに基づくコンテキストアウェアな問いかけを実現

 ECA規則(Event-Condition-Action)
 Event: 問いかけのトリガとなる宅内コンテキスト
 Condition: 必要条件となるコンテキスト
 Action: 質問の内容，対象ユーザ，質問の送信に使用するWebサービス→それぞれの規則を柔軟に設定することでユーザの状況を考慮

時刻

外部
サービス

Event

Condition

Actionsince: 05:00:00
until: 07:00:00
今朝の体調はいかがですか？

Event

Condition

ActionsensorId = s103_1{light} >= 200
おかえりなさい．今日のデイは楽しかったですか？

46スマートホーム，IoT

中村匡秀

VAメイちゃんとの対話

YouTubeリンク： https://youtu.be/p-7bwNfWuog
47

スマートホーム，IoT

中村匡秀「こころ」センシングを活用した日常健康記録
 エージェントが毎日ユーザに健康状態をたずねる ユーザは事前に記録したいメトリックを申告しておく エージェントへの回答をテキストマイニングして値を抽出・グラフ化
中村さん，今朝の血圧の値を教えてください中村さん，今日は何歩歩きましたか？

今朝の血圧は上が123,
下が59だったよ．歩数は3412歩だった

Haruhisa Maeda, Sachio Saiki, Masahide Nakamura, and Kiyoshi Yasuda, ``Recording Daily Health Status with Chatbot on Mobile Phone- a Preliminary Study -,'' In the 12th International Conference on Mobile Computing and Ubiquitous Networking (ICMU 2019), Nov. 2019.

48

スマートホーム，IoT

中村匡秀「こころ」の見守りサービス
 「こころ」センシングを活用し高齢者の心の状態をモニタリング
 「身体」「精神」「社会」の3点からアセスメント
 臨床現場での心理テストを応用
2.00

1.08
0.95

Physicality

1.00

Mentality

Sociality

1.38

-0.63

Chisaki Miura, Haruhisa Maeda, Sachio Saiki, Masahide Nakamura, and Kiyoshi Yasuda, ``Prototyping and Preliminary Evaluation of
Mind Monitoring Service for Elderly People at Home,'' In the 21th International Conference on Information Integration and Web-based
Application and Services (iiWAS2019), December 2019.

49

スマートホーム，IoT

中村匡秀

環境変化と声かけに基づく生活行動記録
 高齢者を対象とした負担のない行動記録とコミュニケーションの促進を目指す センサボックスの環境データのオンライン変化点検知にかける 環境が変化した＝行動が発生したとみなす エージェントが問いかけ，高齢者の回答によって行動をラベル付け
 ラベルの蓄積により自動認識の精度が上がっていく*

K. Tamamizu, S. Sakakibara, S. Saiki, M. Nakamura, and K.Yasuda, ``Capturing Activities of Daily Living for Elderly at Home Basedon Environment Change and Speech Dialog,'' In Digital Human Modeling 2017 (DHM 2017), no.LNCS 10287, pp.183-194, July 201750

スマートホーム，IoT

中村匡秀

生活史とLODを活用した話題生成 認知症患者が覚えている自分自身の昔の記憶を活用 生活史:出身，家族構成，学校，仕事，思い出，趣味などの情報
 認知症者自身にまつわる定常的な情報を用いて話題作りをする
 LOD(Linked Open Data)を活用して話題を発展させる

榊原 誠司, 佐伯 幸郎, 中村 匡秀, 安田 清, ``在宅認知症者の日常カウンセリングシステムのための個人向け話題生成,'' 電子情報通信学会技術研究報告, vol.116, no.488, LOIS2016-68, pp.35-40, March 2017.
51

スマートホーム，IoT

中村匡秀

個人に寄り添った対話の生成 出身を聞き，ご当地の名産品についての対話を生成する
 YouTubeへのリンク52スマートホーム，IoT

中村匡秀

ライフステージの出来事を活用した話題生成 人生の節目に当たる年に流行した出来事や流行を題材に，話題を生成する
STEP1：利用者の年齢から人生の節目の年代を特定
STEP2：各節目の年代に起きた出来事や流行をオープンデータから取得
STEP3：取得した出来事や流行を使った話題を生成する

 オープンデータからその年の出来事を取得
 出来事や流行は，歴史に刻まれた不変の事実(ファクト) Wikipedia(1962年)E

 家族遺産.jp
 年代流行

S

中学校卒業
就職
結婚

Y

1962年
1965年
1972年

映画

椿三十郎
キングコング対ゴジラ
007 ドクター・ノオ

音楽

石原裕次郎「赤いハンカチ」
ザ・ピーナッツ「ふりむかないで」

流行コカ・コーラ スカッとさわやか
あたり前田のクラッカー

榊原 誠司, 佐伯幸郎, 中村 匡秀, 安田 清, ``在宅認知症カウンセリングシステムのための利用者の年代に応じた対話生
成,'' 電子情報通信学会技術研究報告, vol.117, no.271, SC2017-29, pp.37-42, November 2017.

53

スマートホーム，IoT

中村匡秀

エージェント対話から個人関心事の抽出 エージェントとの対話から，個人にまつわる知識(個人オントロ
ジー)をLinked Data形式で蓄積し，その中から特に関心をもっている概念「個人関心事」を発見する
 A1：個人関心事の抽出
 先行システム[1]を利用して特定ジャンルにおける関心事を取り出す
 関心事に関するエピソードを語ってもらい個人オントロジーを抽出

最近はYouTube

rdfs:comment

徳田さん、好きな食べ物はなんですか？

cs27:最近
rdf:_1
rdf:_2

cs27:YouTube

cs27:匂いcs27-prop:好きなテレビ番組

rdf:_2

rdfs:comment

ラベンダーの匂い

rdf:type
cs27:ラベンダー
rdf:_1

cs27:ハマチ
rdf:_1cs27-prop:好きな匂い

rdf:_2

cs27:刺身

rdf:type
ハマチの刺身rdfs:comment

cs27:日本酒
cs27-prop:好きな食べ物

rdf:_1cs27-prop:好きな飲み物

rdfs:comment

rdf:_2

cs27:焼酎

rdf:type
cs27:泡盛
rdf:_4

質
うどんが好きです問

日本酒焼酎沖縄の泡盛

rdf:_3

cs27:沖縄

cs27-prop:好きな場所
rdf:_2

cs27:サッカー

rdf:type
漫画を読んだりサッカーとかしたりゲームをしたりしたこ ...
rdfs:comment

rdf:_1

cs27:漫画

rdf:_3
rdf:type

cs27:ゲーム

cs27-prop:学校生活の思い出
rdf:Bag
rdf:type
cs27:兵庫県神戸市
rdf:_1
rdf:type
生まれたのは兵庫県神戸市
rdfs:comment
cs27-prop:生まれた場所
育ったのは兵庫県明石市
rdfs:comment

うどんのエピソードを教えてください返答

rdf:type
cs27:兵庫県明石市
rdf:_1

rdfs:comment

母方のおばさんとか姪っ子の優香ちゃん

cs27-prop:育った場所
rdf:type
cs27:母方
rdf:_1
rdf:_2

cs27:おばさん

rdf:_3
rdf:_4cs27-prop:親しい親族

cs27:姪っ子

cs27:優香
cs27-prop:親しかった友人
cs27:uid001

rdf:_1
rdf:type

cs27:中学校

cs27-prop:仕事内容
cs27-prop:元々の性格

rdf:_2
cs27:基本的cs27-prop:好きな音楽

cs27:一緒

rdf:_3
cs27:二宮

cs27:ハードロック

rdf:_4cs27-prop:好きな音楽
cs27:藤原cs27:ジャーマンメタル

rdfs:comment

cs27-prop:好きな音楽

中学校から一緒だった二宮君藤原くん
cs27:ガンマレイ

rdf:_2cs27-prop:小学校

cs27:ソフトウェア工学
cs27:明石市立二見北小学校

rdf:_3cs27-prop:幼い頃の思い出

cs27:研究cs27:2年生

rdf:_4
cs27:大学

cs27-prop:愛称
cs27:まさやん

rdf:_5

cs27:教育cs27-prop:職業
rdfs:comment
cs27:大学教員

情報工学特にソフトウェア工学の研究および大学での教育 ...

cs27-prop:趣味
rdf:_1
cs27:レトロゲーム

 A2：個人関心事の評価

cs27:情報工学

 個人オントロジーに登場する概念を3つの基準によって評価
 関心の度合いを数値として算出する
54

スマートホーム，IoT

中村匡秀

個人関心事を推定する3つの基準
 P1：エピソードを多く語るほど関心が高い
 人は自分が関心があることには多くを語るだろう エピソードの回答リテラルの文字数で評価

 P2：エピソードに含まれる概念数が多いほど関心が高い
 関心のあることにはより多くの知識や経験が付随しているだろう P2: エピソードに対応するLinked Data内のリソース数で評価

 P3：参照元が複数ある概念は関心が高い
 関心のあることは、様々な文脈で言葉に出しているだろう P3: リソースにつながるリンク数でリソースを対象に評価

P1

P2
P3

Yuki Tokuda, Masahide Nakamura, Sachio Saiki, and Kiyoshi Yasuda, ``Extracting and Evaluating Personal Interests with Dialogue
Agent,'' In 11th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020, vol.LNCN
12198, no.1, pp.592-608, July 2020.

55

スマートホーム，IoT

中村匡秀

日常生活の困りごと・対処法共有サービス
 Compass4SL (Community-based Problem and Solution
Sharing Service for Senior Living) 在宅高齢者が困り事に対して自助で対処できるようにする
 困り事に対する対処法を共有・評価し，互助の機会を創出する• 高槻大貴, 佐伯幸郎, 中村匡秀, 安田清, ``Compass4SL:在宅高齢者を対象とした困り事対処法共有サービス,'' 電子情報通信学会技術研究報告,
vol.119, no.477, LOIS2019-81, pp.145-150, March 2020. (沖縄，大濱信泉記念館)• 雲丹亀和希, 佐伯幸郎, 中村匡秀, 安田清, ``在宅高齢者を対象とした困り事・対処法共有サービスの実装,'' 電子情報通信学会技術研究報告,
vol.120, no.434, SC2020-42, pp.55-61, March 2021. (オンライン開催)
56

スマートホーム，IoT中村匡秀

IoTで可能になること（再掲） 実世界の情報収集，オペレーションが可能になる プラットフォーム独立なアクセス，大規模ストレージへのデータ蓄積

 実世界の過去～現在の状況を理解できる ビッグデータ処理，可視化，分析 状況に応じたオペレーションが可能になる
 ルールベース，自動化，最適化

 データを蓄積・学習することで未来の状況を予測できる AI, 機械学習，予測

すべてインターネットのサービス，リソースを活用して実施できる57

スマートホーム，IoT

中村匡秀

まとめ
 IoTの解説とともに，中村研究室で行っている研究を紹介した
 IoTの概説
 スマートホーム スマートシティ
 スマートヘルスケア

 IoTの特長・性質を考慮した適用が重要 超巨大異種分散システム
 マルチベンダ必須．一社ですべて1から作るのは非現実 開発より運用が大変．人手をなるべく介さない仕組みが必要
 技術駆動ではなく，目的指向が重要 本当に困っている社会課題へのアプローチ58

スマートホーム，IoT

中村匡秀

レポート課題【課題】 自分の身の回り，あるいは，社会における課題を，講義に出てきたIoT，スマートシステムを用いてどのように解決・改善するか，自由に発想して答えなさい．回答にあたっては，
 （１）着目する課題とその理由 （２）具体的な解決・改善の方法
 （３）どのような効果・メリットが生まれるかにわけて整理して記述しなさい．
 提出はBEEFの「コミュニケーションシート」から行うこと （〆切 5/31）
 本日の資料はBEEFまたは以下からダウンロード可能 https://cs27.org/-> 【更新履歴】のところ

59