協働プロジェクト『空気を読む家』
・・・・
1. 活動概要
2. 2019年度活動成果
3. 今後の取り組み

2020年10月2日
先端IT活用推進コンソーシアム
協働プロジェクト リーダー 松山 憲和（株式会社 PFU）
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

協働プロジェクト『空気を読む家』の活動概要

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

協働プロジェクト（１）UX技術部会
ビジネスAR研究部会

マンガ駆動開発

AR、空間OS

協働プロジェクト

NUI活用部会
NUIデバイス制御

クラウド・テクノロジー活用部会 コンテキスト・コンピューティング研究部会
AI、データ解析、量子コンピューティング、IoT
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

コンテキストコンピューティング3協働プロジェクト（２）
日常生活に役立つもの

部会活動

暗黙知の形式知化社会問題にトライコンセプトテーマ

人と機械の協働

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

先端ITにチャレンジ

活動意義

ハードウェア&ソフトウェア
4

テーマ

家読空む気を
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

5コンセプト

居心地の良さを考えて、実現する家

空気を読む家は、私たちに必要なことを考え、それを実現する家。
赤ちゃんが泣いていたら、お父さんお母さんは何故泣いているのかを考え、ケガをしていないか確認して、オムツを替えたり、ミルクをあげたり、あやしたりします。お父さんお母さんは、赤ちゃんに対して常に目を配り、微妙な変化を読みとります。赤ちゃんにとって、お父さんお母さんは、安心できる、居心地のいいところです。
家は私たちを守る、居心地のいいところです。空気を読む家は、私たちが泣いている時に私たちが笑えるように手助けをします。
お父さんお母さんが赤ちゃんに何故泣いているのか説明を求めないように、空気を読む家も私たちに説明を求めません。私たちの行動を見て、世の中の知恵を取り入れて、空気を読む家は私たちといっしょに成長し、変化します。
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
6

技術コンセプト• 居心地が良くなる• 感情や状況の取得• 家の中だけではな
く、家の外の出来事も含めたコンテ
キストセンシング

•家電
•住宅設備
•ロボット
• ：
•センサー
•カメラ
•マイク
• ：

空間

• 行動を分析し、居心地の良さを定義する• 何をすると居心地が良くなるか

•CC
機械学習
•DeepLearninｇ• ：OS•時系列DB•RDF•SPARQL• ：Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

•標準的データ形式•データ永続性•セキュリティ•分散台帳型
7

これまでの取り組み
2015

2016
1st

玄関

2nd

寝室

2017
3rd

寝室
(シナリオ)

課 来客通知 快適な
題 不在時清掃 目覚め

3rd

寝室

2018
4th

4th

2019
5th

5th

リビング リビング キッチン キッチン

(実証実験) (シナリオ) (実証実験) (シナリオ) (実証実験)

密度の濃い
睡眠

失くし物/忘れ物

賞味期限切れUX技術部会
ビジネスAR
研究部会
クラウド・テクノロジー
活用部会

ロボット掃除機

空間OS
メーターOCR BLEタグ(電波強度)
RaspberyPi3‘(活動量計）
圧力センサーNUI活用部会
パラメトリックスピーカー 温度センサー
気圧センサースマートスピーカー
コンテキスト・
集合知 適正解/ 妥協点
コンピューティング 協調フィルタリング 人と機械の協働 トゥールミン・モデル
Copyright© 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
研究部会

82019年度 活動成果Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

6thシナリオ

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

10

シナリオ検討（１）⚫ 次のシナリオの舞台となる部屋を合同部会で検討⚫ トイレ、洗面所、浴室・・・⚫ 高齢者の事故のうち「不慮の溺死及び溺水」による死亡者数は増加傾向にあり、特にその約７割を占める「家」、「居住施設」の「浴槽 ＞ 交通事故死亡者【出典】消費者庁（2018年11月）
https://www.caa.go.jp/policies/policy/consumer_safety/caution/caution_009/pdf/caution_009_181121_0001.pdf
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

11

シナリオ検討（２）安全なはずの家…実は危険が一杯

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

12

シナリオ検討（３）
浴室以外にも危険が一杯ｔｔｔｔ【出典】厚生労働省 平成29年（2017）人口動態統計（確定数）の概況
https://www.mhlw.go.jp/toukei/saikin/hw/jinkou/kakutei17/index.html
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

13

空気を読む家 6th シナリオ

安心安全な『空気を読む家』

お隣さんのように

実家（空気を読む家）
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

自宅（空気を読む家）
14

ユーザーエクスペリエンス技術部会

マンガ駆動開発による「安心安全な空気を読む家」

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

15

ユーザーエクスペリエンス技術部会

マンガ駆動開発とはマンガ駆動開発とは関係者全員がユーザー体験を意識しながらプロダクトやサービスを開発するための開発プロセス
UXデザインプロセスの一種
企画

設計

最も効果的な適用範囲

実装

評価

適用範囲

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

16

ユーザーエクスペリエンス技術部会

マンガ駆動開発の狙い◆ マンガはほとんどの方が一度は読んだことがあり親しみがある◆ 日本のマンガは表現が豊か◆ 日本が誇るマンガの技術を使わないのは損◆ マンガ（イメージ）が描けるということは、対象のサービスや製品のユーザー、使う環境、ユーザーの考え方が準備されたということ◆ マンガを見れば関係者全員がユーザー経験を意識できる皆が使えるよう、マンガを描くための準備、マンガを描いた後の開発についてまとめてみたものがマンガ駆動開発です
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

17ユーザーエクスペリエンス技術部会

マンガ駆動開発 全体像
3つのステップ
9つのフェーズ
キャラづくり

取材

分析

キャラ

シナリオづくりプロット

ネーム

マンガモノづくり

寸劇

実装

評価

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

18

マンガ駆動開発： フェーズ １－２

分析
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

19

分析：【安心安全な空気を読む家】

現状

不定期
互いに配慮

実家

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

自宅（空気を読む家）20

分析：【安心安全な空気を読む家】

期待

お隣さんのように

実家（空気を読む家）

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

自宅（空気を読む家）

21

マンガ駆動開発： フェーズ １－３

キャラCopyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

22キャラ：【安心安全な空気を読む家】
ペルソナ

名前 ：電脳良子(電脳太郎さんの母)
年齢 ：80歳
住所 ：福井県鯖江市在住
その他 ：独り暮らし

名前 ：電脳 太郎
性別 ：男性年齢 ：46歳
職業 ：IT企業のプロジェクトマネージャー
家族 ：妻44歳(リカ)/長男中3(翔)/長女中1(凛)遠距離通勤：1.5時間（電車）
その他：持ち家几帳面な性格/整理整頓
時間に余裕をもちたい
情報を能動的に取得する
スマホアプリを使いこなす
離れて暮らす実家の母の健康が気になる

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

23

マンガ駆動開発： フェーズ ２－１

プロット
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

24

プロット：【安心安全な空気を読む家】
利用シーンのあらすじ（メインストーリー）を作成し、解決したい課題を明らかにするものがたり

実家（空気を読む家）

自宅（空気を読む家）

通常① 孫の様子を見たい② 子供からの伝言を聞きたい通常① リビングの様子（あらまし）が見える• 部屋の中の状態や室温など② 母が飲み物を飲む様子がみえる③ 自宅の様子を見せる④ 伝言を送る異常異常① 実家の様子が仮想窓に表示される② 母の具合が悪そうなのが見える③ 実家の緊急照明を点灯し知らせる④ 救急車を呼ぶ① リビングで転倒② 緊急照明が点灯させる③ 病院にいく

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

25参考：仮想窓猪目窓(京都 正寿院 客殿)風Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

26

マンガ駆動開発： フェーズ ２－３

マンガ
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

27

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ①

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

28

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ②

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

29

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ③

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

30ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ④

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

31

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑤

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

32ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑥

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

33

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑦

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

34

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑧

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

35

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑨

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

36ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑩

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

37

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑪

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

38

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑫

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

39

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑬

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

40

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑭

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

41

ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑮

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

42ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑯

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

43ユーザーエクスペリエンス技術部会【安心安全な空気を読む家】のマンガ⑰

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

44

「安心安全な空気を読む家」
技術検証システムクラウド・テクノロジー活用部会
ビジネスAR研究部会

ナチュラルユーザーインタフェース活用部会
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

45

検証システム全体像

クラウド・テクノロジー活用部会
ビジネスAR研究部会
NUI活用部会

部屋の3D構築

カメラ

AIエンジン

サーモグラフィ

裸眼立体視ディスプレイ

空間OS

スマート照明実家（空気を読む家）

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

ジェスチャー操作

自宅（空気を読む家）46

クラウド・テクノロジー活用部会

AIエンジンによる姿勢検出と物体検出
部屋の3D構築

カメラ

AIエンジン

サーモグラフィ

裸眼立体視ディスプレイ

空間OS

スマート照明実家（空気を読む家）

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

ジェスチャー操作

自宅（空気を読む家）47

クラウド・テクノロジー活用部会

AIエンジンによる姿勢検出と物体検出• 姿勢検出：室内の人の姿勢を取得• 人が居る or 居ない• 立っている or 横になっている• モデルは、公開されているものをそのまま使用• 物体検出：そこにある物の名称を取得• 物の名称と位置を取得• モデルは、公開されているものをそのまま使用【AIエンジン】NVIDIA Jetson Xavier（¥86,832-）•GPU 512-core Volta GPU with Tensor Cores•CPU 8-core ARM v8.2 64-bit CPU•Memory 16 GB 256-Bit LPDDR4x | 137 GB/s

【姿勢検出】OpenPose【物体検出】YOLO
scissors: 95%
cell phone: 96%
chair: 80%
knife: 78%
cup: 100%
cup: 98%

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

48

クラウド・テクノロジー活用部会

姿勢検出＋物体検出の実装
Jetson Xavier と Jetson Nano で分散処理させる予定が…
• 試してみたら、Xavier １台で２つが同時に動いた• 姿勢検出ｘ１＋物体検出ｘ３まで起動成功• さらにもう１つ物体検出を起動したら、Xavier 自体が固まった• カメラを別スレッド、物体検出を別プロセスにし、遅延を最小に

Jetson Xavier
メイン処理

空間OS

１．カメラ映像取得(別スレッド)
２．画像ファイル出力(サブ処理に渡す用)
３．姿勢検出(OpenPose)
４．物体検出の結果を取得
５．空間OSに結果を送信
６．戻る

CPU
8-coreGPU
512-core

サブ処理
１．画像ファイルを取得
２．物体検出（YOLO）
３．結果をファイルに出力
４．戻る

人（位置）
ボール（位置）Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

49

クラウド・テクノロジー活用部会姿勢検出と物体検出の処理速度• 姿勢検出：OpenPose
高精度＆低速チューニング無し

低精度＆高速備考

Jetson Xavier

13FPS

22FPS どちらも遅延なし

Jetson Nano

2.5FPS

3.6FPS 遅延が3秒、2秒弱ぐらい

ラズパイ４

0.30FPS

0.39 FPS 遅延が20秒、17秒ぐらい

ラズパイ３

0.13FPS

0.17FPS 遅延が40秒、30秒ぐらい

ノートPC

0.8FPS

1.1FPS 遅延が8秒、6秒ぐらい• 物体検出：YOLO
高精度＆低速低精度＆高速備考

Jetson Xavier

4.4FPS

12FPS 遅延が2秒、遅延ほぼなし

Jetson Nano

0.6FPS

7.4FPS 遅延が12秒、1秒ぐらい

ラズパイ４

応答無し

ラズパイ３

応答無し

ノートPC

応答無し

0.2FPS 応答しない、遅延が34秒ぐらい
応答無し 応答しない
1.0FPS 応答しない、遅延が7秒ぐらい

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

50

クラウド・テクノロジー活用部会

姿勢検出＋物体検出の実行結果• 姿勢検出：１人分の骨格（25点の座標）• 物体検出：物体の名称と座礁• 空間OSにJSON送信

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

51

ビジネスAR研究部会

裸眼立体視ディスプレイによるヒトとモノのDT
DT：Digital Twin
部屋の3D構築

カメラ

AIエンジン

サーモグラフィ

裸眼立体視ディスプレイ

空間OS

スマート照明実家（空気を読む家）

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

ジェスチャー操作

自宅（空気を読む家）52

裸眼立体視ディスプレイによるヒトとモノのDT• ヒトとモノ：3Dモデル(アバター)に復元• 裸眼立体視：裸眼立体視ディスプレイ

【裸眼立体視ディスプレイ】Looking Glass
Looking Glass Factory社が製造、販売している裸眼立体視ディスプレイ。
2018年7月から発売開始。
スタンダード（8.9インチ）とラージ（15.6インチ）の2機種とPCを内蔵したオールインワンモデルの「Looking Glass Pro」が発売。
11月に開催されたデジタルコンテンツエキスポでは最新モデルの32インチディスプレイ「Looking Glass 8K Immersive Display」が発表。
– 比較的安価(スタンダードで600ドル、ラージで3000ドル)– PCにHDMIとUSBで接続するだけでディスプレイとして認識– UnityのSDKがあり、裸眼立体視の知識がなくても開発可能
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

53

OpenPose骨格データから3Dモデルの生成① 空間OSに設定されたOpenPose骨格データからUnityで2D描画
25点の骨格データの座標(x,yが0~1のデータ)にUnityのUICanvasの解像度を乗算し、UI座標に変換。
座標を元にOpenPose Unity Pluginで2D描画② 2D描画→3D座標変換
RectTransformUtilityでUI座標→ 3D座標に変換③ 3D座標→アバターアニメーション
FinalIKでアバター制御。頭、手、足をターゲットとして設定。アバ
ターはUnity-Chanを使用
FinalIKは最近流行しているVtuberのアバター制御によく使用されているアセット①2D描画②3D座標変換

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

③アバター生成54

ジェスチャによるスマート照明の操作

ビジネスAR研究部会
NUI活用部会

部屋の3D構築

カメラ

AIエンジン

サーモグラフィ

裸眼立体視ディスプレイ

空間OS

スマート照明実家（空気を読む家）

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

ジェスチャー操作

自宅（空気を読む家）

55

ジェスチャによる照明のリモート操作• ジェスチャ認識 ：ハンドジェスチャ• 照明リモート操作：スマート照明【ジェスチャ認識】LeapMotion– メリット
•何も持ったり装着しなくてよい•手の動作で3次元空間を直感的に操作できる– デメリット•センサーの挙動を理解するまで慣れが必要•マウス、キーボードに比べると決定動作は不安定【照明リモート操作】TP-Link Kasa KL130 マルチカラー (2,843 円)– メリット：APIで様々な操作が可能– デメリット：高価

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

56

ジェスチャによるスマート照明の操作① Looking Glass（裸眼立体視ディスプレイ）内の照明を点灯すると実世界の照明が点灯。消灯も同様② 実世界の照明を点灯すると、 Looking Glass 内の照明が点灯。
消灯も同様

空間OS

①ジェスチャーで照明にタッチで点灯/消灯
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

②実世界の照明が点灯/消灯
57

その他の成果① サーモグラフィによる（危険かもしれない）高温物質の検出② 二つの空気を読む家を連携する空間OS活用③ コンテキスト・コンピューティングによる安心安全な空気を読む家の考察※以下に公開している資料をご参照ください
https://www.slideshare.net/aitc_jp/it2020-aitc1
https://www.slideshare.net/aitc_jp/it2020-aitc2
https://www.slideshare.net/aitc_jp/it2020-aitc3
https://www.slideshare.net/aitc_jp/it2020-aitc3
https://www.slideshare.net/aitc_jp/it2020-aitc4
https://www.slideshare.net/aitc_jp/it2020-aitc5
https://www.slideshare.net/aitc_jp/it2020-aitc6
https://www.slideshare.net/aitc_jp/it2020-aitc7
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

58

今後の取り組み

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

これまでの取り組み 最新版
2015

2016
1st

玄関

2nd寝室

2017
3rd

寝室
(シナリオ)

課 来客通知 快適な題 不在時清掃 目覚め

3rd

寝室

2018
4th

4th

2019
5th

5th

6th

リビング リビング キッチン キッチン 家全体(実証実験) (シナリオ) (実証実験) (シナリオ) (実証実験) (実証実験)

密度の濃い
睡眠

失くし物/忘れ物

賞味期限切れ 安心安全

空間OS
ロボット掃除機
メーターOCR
BLEタグ(電波強度)
RaspberyPi3‘(活動量計）
圧力センサー
パラメトリックスピーカー 温度センサー
気圧センサースマートスピーカー
集合知 適正解/ 妥協点
トゥールミン・モデル
協調フィルタリング 人と機械の協働
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

60

ニューノーマル時代の空気を読む家• コロナ禍、在宅勤務増加で自宅滞在時間増加• 移動自粛で実家に帰省が叶わない事態多数• 家庭のデジタル化が急速に進んだ(Zoom/LineWorks)
空気を読む家の実現が求められるニューノーマル時代
安心安全
快適

健康

空気を読む家便利

自立
見守り

活動の集大成として•家一軒丸ごとのシナリオ•ニューノーマル時代の安心・安全・健康•家のDX
Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

61

最新情報はこちらをご参照ください
http://aitc.jp

https://www.facebook.com/aitc.jp
ハルミン
AITC非公式イメージキャラクター

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.