～ 空気を読む家 ～睡眠環境データの取得
2016年9月16日
先端IT活用推進コンソーシアム
ナチュラルユーザーインターフェース活用部会 リーダー
岡村 和英(株式会社テクリエ)

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

Today’s Topics
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

NUI部会活動紹介
睡眠環境データの取得
今後の取り組み

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

3

NUI部会活動紹介
睡眠環境データの取得
今後の取り組み

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

4

活動テーマ人の自然な振る舞いや仕草をユーザーインターフェースとする
ナチュラルユーザーインタフェース（NUI）を追求
様々なデバイスを実際に使用したりプロトタイプの開発を通して現時点での限界や可能性を探求
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

5

ゴール
協働プロジェクト「空気を読む家」のなかで日常的な人間の振る舞いが自然なインターフェースとしてシステムと繋がるようなフレームワークを検討・開発する

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

6これまでの活動内容
NUI技術及び事例の調査
NUIデバイスを用いたアプリ試作

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

7

デジタルガジェット祭り

各種デバイス、およびそれを利用したアプリケーション等を紹介・展示。最新デバイスを身近に触れる機会を提供。
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

8

デジタルガジェット祭り

今年６月に行った第3回では、コンソーシアムメンバーが作成した自作のIoTガジェットを紹介
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

9

NUIを活用した乗車券販売機
LeapMotion

TheEyeTribeTracker

視線を検出する
アイトラッキングセンサー

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

指と手の動きを検出する
モーションセンサー10

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

11

空間OSによる照明制御
在宅状況に応じたON/OFF制御• 不在時は自動消灯• 帰宅時に自動点灯

空間OS
在宅状況状態取得

照明制御

Hueブリッジ消灯！

室温

誰もいないよ！
訪問者情報

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

12空間OSによる照明制御
来客の通知・知人、宅配便など→ 人がいる部屋の電灯を点滅
・セールスマン→ 何もしない（無視）

空間OS
在宅状況

状態
取得

来客だよ！
室温

照明
制御

Hueブリッジ

アラート！
訪問者情報

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

13

空間OSによる照明制御
環境に応じた調色制御
・室温が高い→ 寒色系の色合い・室温が低い→ 暖色系の色合い

空間OS
在宅状況

状態
取得

Hueブリッジ

温かい気分に！

室温

寒いよ！

照明
制御

訪問者情報

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

14

空気を読む家における起床
超指向性スピーカーで狙ったところに音を届ける
睡眠レベルや起床すべき時刻に基づいて、起きやすい状態の時に目覚めを誘う

空間OS

07:30
起床時刻

2 of 9状態取得

起床制御

睡眠度
在室状況

在室
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

起床時間にはちょっと早いけど、睡眠が浅いから環境音楽と優しい照明でゆっくりと起こし始めよう

15

空気を読む家における起床状態に合わせて起こし方を変える

空間OS

07:30
起床時刻

4 of 9状態取得

起床制御

睡眠度
在室状況

在室

起床時刻なのにまだ寝てるぞ！
うるさい音と激しい点灯ではげしく起こさないと！

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

16

空気を読む家における起床

空間OS

07:30
起床時刻

0 of 9状態取得

起床制御

睡眠度
在室状況

在室
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

無事に起きれたみたいだ。
音を止めて普通の灯りをつけよう！

17

UX技術部会との連携

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

18

NUI部会活動紹介
睡眠環境データの取得
今後の取り組み

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

19データ取得の目的• 空気の読む家における睡眠の位置づけとはどういうものか？
• 快眠を得られる環境は人によって違うのではないか？
• 環境と睡眠具合の関係を調べ、再現することによって快適な睡眠を得られるようにすることが出来るのではないか？

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

20取得するデータ• 睡眠具合を示す指標– 睡眠時間– 睡眠度（深い眠り、浅い眠り、レム睡眠）– 途中の目覚め（回数、時間）• 睡眠に影響を与えるもの– 温度、湿度、風速 → 体感温度
– 明るさ、騒音– 気圧– 就寝時刻、起床時刻などなど
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

21睡眠データの取得• 睡眠具合をデータ化するための手段として睡眠度を測定可能なセンサー商品を用いた– リストバンド型活動量計
Jawbone UP3– 電波式睡眠計
オムロン HSL-101– マット式睡眠計
タニタ スリープスキャン SL-504• いずれの商品も睡眠時間、睡眠度などの取得が可能だが、それぞれの独自アプリケーションサービス上における表示に限定される
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

22睡眠データの表示例
UP3HSL-101

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

SL-50423

環境データの取得• センサーを含む電子回路を制作し、マイコン基盤を用いてデータ収集を行った

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

24環境データの取得
照度センサー（CdSセル）
明るさにより電圧が変化

音量センサーモジュール（浅草ギ研 AS-SS）
一定時間内でのピーク音量を演算して検出
大気圧センサーモジュール（LPS331AP）
大気圧、海抜高度、気温を高精度で測定

温湿度センサーモジュール（DHT11）
気温と湿度を測定（精度はあまり高くない）

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

25

環境データの取得
熱式風量センサー（自作）

測定用プローブ：
温めたダイオードに風が当たることで生じる温度低下による電圧変化を検出する

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

26環境データの取得制御用マイコン（Arduino UNO）

ZigBee通信モジュール:センサーから取得した値を無線送出する

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

27

環境データの収集
約0.5秒毎に各データを測定し、PCに接続された親機に送信受信したデータを1分単位に集計。平均値（音量のみ最大値）をplotlyに送信し、リアルアイムでグラフ描画受信したデータを逐次、日毎のログファイルに保存

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

ログファイル28

環境データの出力例

湿度（％）
気温（℃）

気圧（ｈPa）

照度（V）
音量（V）
風量（V）

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

センサー側で単位変換された値を記録

センサーの出力電圧をそのまま記録

29

制作所感
• 制御および通信周りのプログラムについては過去に作成したものがほぼ流用できた• 風速センサーについては、思ったよりも感度が敏感で回路の調整に手間取った→ プローブ以外の部分に風があたらないようケースに入れるなどの工夫も必要• 音量センサーはかなり大きな音でないと反応せず、睡眠時の騒音を測定するには不向きであった→ 自作する？
• ZigBeeのパケット抜けにより不正なデータが混入するケースが多々生じた→ バイナリ化して１パケットに収める、またはチェックサムを設けてエラー検出することが必要
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

30

今回はここまで

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

31

NUI部会活動紹介
睡眠環境データの取得
今後の取り組み

Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

32

やり残したこと• 取得したデータの解析– 今回は環境および睡眠データの取得までの段階を行った– 睡眠状態を画像から取り出して数値化するのはかなり面倒– 環境と睡眠の相関関係を導出してモデル化することが目的ではない– 深層学習を用いたアプローチであれば画像をそのまま入力データとして扱えるのではないか？
– 環境以外の様々な事象も取り込みたい
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

33

空気を読む家とNUI• 空気を読む家＝ユーザーインターフェースを必要としない家？
– 空気を読む＝オートメーションとは限らない– 自動化がすすんでも明示的な操作が必要とされる場面は存在する– その時々に応じて必要・適正な操作を促し、導くことも空気を読んでいるといえるのではないか？

• 「NUIとは何か？」をもう一度考えてみよう
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

34

最新情報はこちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
ハルミン

AITC非公式イメージキャラクター
Copyright © 2016 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

35