【第九回総会＆成果発表会】

協働プロジェクト 『空気を読む家』～ 5thシナリオ 空気を読む家のキッチン～2018年10月1日
先端IT活用推進コンソーシアム
協働プロジェクト リーダー 松山 憲和
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

2018年5月度AITC オープンラボ

AITCと 協働プロジェクトの活動概要

2018年5月25日

先端IT活用推進コンソーシアム
協働プロジェクト リーダー松山 憲和（PFUテクノコンサル株式会社）
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

協働プロジェクト（１）UX技術部会
ビジネスAR研究部会

マンガ駆動開発

AR、空間OS

協働プロジェクト

NUI活用部会
NUIデバイス制御

クラウド・テクノロジー活用部会 コンテキスト・コンピューティング研究部会
AI、データ解析、セキュリティ、IoT
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

コンテキストコンピューティング3

協働プロジェクト（２）
日常生活に役立つもの

部会活動

暗黙知の形式知化

社会問題にトライ

コンセプト
テーマ

人と機械の協働

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

先端ITにチャレンジ

活動意義

ハードウェア&ソフトウェア
4

テーマ

家読空む気を
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

5コンセプト

居心地の良さを考えて、実現する家

空気を読む家は、私たちに必要なことを考え、それを実現する家。
赤ちゃんが泣いていたら、お父さんお母さんは何故泣いているのかを考え、ケガをしていないか確認して、オムツを替えたり、ミルクをあげたり、あやしたりします。お父さんお母さんは、赤ちゃんに対して常に目を配り、微妙な変化を読みとります。赤ちゃんにとって、お父さんお母さんは、安心できる、居心地のいいところです。
家は私たちを守る、居心地のいいところです。空気を読む家は、私たちが泣いている時に私たちが笑えるように手助けをします。
お父さんお母さんが赤ちゃんに何故泣いているのか説明を求めないように、空気を読む家も私たちに説明を求めません。私たちの行動を見て、世の中の知恵を取り入れて、空気を読む家は私たちといっしょに成長し、変化します。
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
6

技術コンセプト• 居心地が良くなる• 感情や状況の取得• 家の中だけではな
く、家の外の出来事も含めたコンテ
キストセンシング

•家電
•住宅設備
•ロボット
• ：
•センサー
•カメラ
•マイク
• ：空間

• 行動を分析し、居心地の良さを定義する• 何をすると居心地が良くなるか

•CC
機械学習
•DeepLearninｇ• ：OS•時系列DB•RDF•SPARQL• ：Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

•標準的データ形式•データ永続性•セキュリティ•分散台帳型
7

これまでの取り組み

1st

Start
協働プロジェクト

『空気を読む家』
コンセプト 取り組み開始をシナリオ発表

2015/9

3rd

3rd

4th

実証実験

シナリオ

実証実験

シナリオ

実証実験

2016/2

2016/92017/2

2017/92018/2

成果発表会 ITフォーラム

事前合同部会2017/12
合同部会

玄関4th

2nd

成果発表会 ITフォーラム 成果発表会 ITフォーラム

2016/6
合同部会

2016/12
合同部会

2017/7
合同部会

寝室
寝室（快適な目覚め） （密度の濃い睡眠）

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

2017/12
合同部会

リビング（忘れモノ/失くしモノ）8これまでの取り組み
2nd

1st

3rd

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

4th9

1st シナリオ：空気を読む家の玄関
家の中に人がいないことを見計らって掃除
訪問者を照明でそっと教えてくれる
屋外

屋内
カメラ

室内灯

掃除機

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

玄関扉

玄関照明

10

2nd シナリオ：空気を読む家の寝室（快適な目覚め）

空間OS• DeepLearningで寝ている人を特定• 画像処理による寝返り量検知→睡眠の深さ

特定の人だけに音を伝える
日の出のような照明制御 パラメトリックスピーカー

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

11

3rd シナリオ：空気を読む家の寝室（密度の濃い睡眠）
活動量計よる睡眠度測定

環境行動
帰宅 掃除メンタル

室温 湿度
気圧 明るさ音 匂いセンサーによる測定仕事宿題
家族食事 食事

食事

入浴 美容

入浴

友人悩み

趣味

将来

アンケートによる情報収集
残念ながら、空気を読めなかった・・・

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

12

4th シナリオ

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

空気を読む家のリビング【お題】失くし物を探してくれる、忘れ物を教えてくれるリビング

マンガ駆動開発プロセスで『空気を読む家のリビング』をデザイン+実装
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

14

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

15

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA：①

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

16

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ②Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

17

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ③

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

18

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ④

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

19

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ⑤

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

20

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ⑥Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

21

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ⑦Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

22

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ⑧

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

23

UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ⑨

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

24UX技術部会【空気を読む家のリビング】のマンガ：ストーリーA： ⑩Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

25

クラウド・テクノロジー活用部会『空気を読む家のリビング』実現（１）• 課題：爪切りを持ち出したのは誰か？
• 要件• レターボックスに、爪切り、ハサミ…が入っている• 誰かが爪切りを持ち出して、返し忘れている• 誰が爪切りを持って行ったかを知りたい• 制限事項• RFIDやBluetoothは使わない• 物体の画像認識は使わない（ レターボックスの内部にカメラが設置できない）

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

26

クラウド・テクノロジー活用部会『空気を読む家のリビング』実現（２）• 「何を持っていったか？」に注力する• いつ、何を持ち出したかを判定する• 「誰か？」は今回は実装しない →1stで実施済み

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

27

クラウド・テクノロジー活用部会『空気を読む家のリビング』実現（３）・事前に全アイテムの重さを計る・Webカメラで計りの針を読む・重さから足りないアイテムを推定する【ハードウェア】• 計り• Raspberry Pi 2 B+
• Webカメラ•スピーカー【ソフトウェア】• motion (package)• OpenCV (package)• asound (pckage)• 自作python script
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

28

クラウド・テクノロジー活用部会『空気を読む家のリビング』実現（４）① 青いピクセル群の重心を原点とする② 黄色のピクセル群から直線を検出しベクトルを得る③ Y軸とベクトルのなす角を得る④ 角度から重さを得る
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

29

クラウド・テクノロジー活用部会『空気を読む家のリビング』実現（５）
画像処理の不安定さ• 周辺の光源、色の影響• ピクセル群から幾何的な計算

Raspberry Pi• Webカメラが不安定• Line Outがノイズまみれ 通信機能を持った計りでも出来たけど• 今回は、家庭にある安価な計りを使いたかった• 機械が「人間用の計りの目盛りを読む」を実現• 重さからオブジェクトを推測

 高解像度カメラなら、遠くから目盛りが読めるかも• 計りにARマーカーを付ければ、場所の特定は容易• 料理のサポートなど、様々な応用が出来そう• 音声入力との連携も楽しそう

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

30

コンテキストコンピューティング研究部会『空気を読む家のリビング』ＣＣ的考察（１）【忘れモノ分析】家の中

日常的

めがね、リモコン、鍵、薬、…
消耗品関連、…

非日常的

爪切り、認印、…

外出時

外出先・外出中

財布、定期券、社員証、学生証、車の鍵、かば←家から持って来たん、スマートフォン、筆もの
記用具、PC、エコバッ
グ、ハンカチ、書籍、…
洗面用具、認印、チケット、クーポン、…

←家から持って来たもの、購入品、お土産、記念品、…

• 人と機械の協働による爪切りの発見• 機械: 状態履歴の蓄積と検索• 人間: 具体的な爪切りの行方• 対象が限定的で、フレームが明確→ 不確実性・定式化可能性• 物の個別管理の可能性• 推論（関係者・有識者）の根拠の提示
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

31

コンテキストコンピューティング研究部会『空気を読む家のリビング』ＣＣ的考察（２）【トゥールミン・モデル】による指摘に至る論理構造と確信度の提示
限定語 (Qualifier)

根拠 (Data)

きっと主張 (Claim)
リカさんが爪切りの行方を知っている

リカさんが爪切りを持ち出した

論拠 (Warrant)

反証 (Rebuttal)

一度も爪切りは戻ってきていない
リカさんは子供部屋に移動

爪切りを持って移動した子供部屋で、翔君や凛ちゃんに、爪切りをを渡していな
ければ裏づけ (Backing)
空間OS内のレターボックスの状態履歴
リカさんの家の中での画像
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

32

コンテキストコンピューティング研究部会『空気を読む家のリビング』ＣＣ的考察（３）【忘れモノ対策】観察された誰かの行動履歴

人間によるアノテーション
現在の利用者のプロファイル群

空間OS
リポジトリ

空間OS
リポジトリ

解釈・意味づけ
気づき

協調フィルタリング【忘れモノ/失くしモノ防止】
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

33

5th シナリオ

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

空気を読む家のリビングからの気づき『空気を読む家』にとって合同部会
忘れモノや失くしモノは解決したい、解決すべき大きな課題
金銭的/精神的損失
他人への迷惑
ハイパーサイメシアには、なれない、なりたくないシーン、シナリオを変えて再度トライ
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

35

5th シナリオ

空気を読む家のキッチン

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

36

『空気を読む家のキッチン』の造り方

マンガ駆動開発プロセスで『空気を読む家のキッチン』をデザイン+実装

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

37

『取材』による現状把握
利用者の実像を把握する
利用環境や状況を把握するキッチンでの困りごとブレインストーミング キッチンでのエピソードを10分間に1
人最低10個 付箋紙に書き出す
 １人が１個づつ、付箋紙を出して、エピソードを紹介 同じ経験があれば、相乗り

大量のエピソードを短時間に取材

 60個(6人×10個)→重複排除して30束 エピソード「あるある、ないない」

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

38

『取材』による現状：エピソード in キッチン
•食器、調味料、乾物の場所がわかない•たまごは常温でも大丈夫なので、冷蔵庫に入れる必要はない•週一で大量の買いこむ•予備の在庫状況が分らない（詰め替え用の塩）•通販で注文したのに、お店でも買ってしまってかぶった•どこに片づければいいか分からない•賞味期限が切れてしまている。本当の期限を知りたい•賞味期限をどうチェックするか•乾パンは賞味期限切れでも食べられそう•料理の何回も設置できるタイマー•換気扇を洗ったのはいつだっけ•料理の食材を投入する時間を知りたい•浄水器のカートリッジの交換時期•タイマーのスタートを忘れる•野菜や卵など冷蔵庫にいれるべきかいれないかを•作りおき品をいつ作ったかを知りたい•もらい物）IH対応でない鍋かどうかを判断したい•吹きこぼれ前に知りたい•宴会料理など大量に作る場合に、作り忘れがある•火をかけた、まま忘れる•作るメニューを考えるのがめんどう•使った油の鮮度を知りたい•冷蔵庫から出して、しまい忘れで、食材をだめにした•幼児が一人にならないように監視•冷蔵庫の扉の閉め忘れ•ゴミ分別が面倒•汚れが取れない•包丁研ぐタイミング•食器洗い器に汚れものを入れて、スイッチを忘れた•製氷機の水の継ぎ足し•テレビでみたレシピをメモで書くがなくなる•キッチンは収納するものが多い•シールの有効期限が切れる•陶芸家の妻が作る食器•高いところなど、見えにくいものに、賞味期限切れがある•浄水器のカートリッジの交換時期
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

39

『分析』による課題抽出 利用者セグメンテーションとターゲッティグ
課題やニーズの抽出
KJ法
 30束の上位概念を集約し、12個に分類 再ヒヤリングでエピソードの深堀 更に上位概念に集約し、課題を抽出

解決したい3つの課題を抽出
課題A)食材賞味期限切れ問題
課題B)食器/調理器具片づけ問題
課題C)買い物重複/買い忘れ問題
課題A)食材賞味期限切れ問題

課題B)食器/調理器具片づけ問題

課題C)買い物重複/買い忘れ問題• 全員が経験済み• IH化問題（IH化によって使えなくなっ• 生鮮食品/乳製品/香辛料/調味料/醤た食器
油/パン/カレー• IT対応表示が不明なフライパンがIH• 開封前と開封後で賞味期限が異なる調理器で割れてしまった• 賞味期限切れが近い食材でレシピ• フライパンのかたづけ• 多少、賞味期限が過ぎていても気しな • 結婚式の引き出物でもらった皿いで食べる• おまけでもらったコップ、グラス、皿• 流通業界の3ヵ月ルール
メルカリ連携Copyright© 2018 Advanced IT Consortium to Evaluate, •Applyand Drive All Rights Reserved.

• 調味料/洗剤• カレーのメイン（肉、ルー）は忘れないが、玉葱を忘れてしまった• 冷蔵庫の中が見えにくい• 冷蔵庫も所有から、利用へ

40

『キャラ』によるターゲットユーザー具体化 利用者を『キャラクター』として具体化 ユーザーモデリング ペルソナ
名前
性別
年齢
職業
家族

：電脳 太郎：男性：40歳：IT企業のプロジェクトマネージャー：妻38歳(リカ)
長男小3（翔）
長女小1（凛）
潜在ニーズ ：子どもとのコミュニケーション
遠距離通勤 ：1.5時間（電車）その他： ・持ち家•几帳面な性格/整理整頓•時間に余裕をもちたい•情報を能動的に取得する•スマホアプリを使いこなす•天気が気になる（雨を避けたい）
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

41

『プロット』によるメインストーリーの作成
 利用シーンのあらすじ（メインストーリー）を作成し、課題解決した状態を明確にする
 ものがたり【課題A】食材賞味期限切れ問題①電脳太郎さんは ②電脳太郎さんは ③電脳太郎さんは ④電脳太郎さんは翔くんと凛ちゃ 冷蔵庫に子供た
冷蔵庫の奥に賞 がっかりた翔くんから、おやつ ちが好きなプリ 味期限が１週間 んと凛ちゃんををねだられるンがあることを 前に切れたプリ みて、悲しくな思い出すンを見つけるる。
①『空気を読む ②電脳太郎さんは ③電脳太郎さんは ④電脳太郎さんが家』が「もうす 冷蔵庫の奥から 「プリンを食べ 冷蔵庫から取りぐ賞味期限が切 3日後に賞味期よう」と翔くん 出したプリンをれるプリンが冷 限が切れるプリ と凛ちゃんを呼 翔くんと凛ちゃ蔵庫にある」と ンを取り出す
ぶんは、美味しそ伝える
うに食べる
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

42

『ネーム』によるストーリーの詳細化
 利用シーンのあらすじ（メインストーリー）を作成し、課題解決した状態を明確にする
 ものがたり【課題A】食材賞味期限切れ問題
0 『空気を読む家のキッチン』は、冷蔵庫の中に、どんな食材があり、そ○の食材の賞味期限や消費量（変化）を把握している。
①『空気を読む家』が「もうすぐ賞味期限が切れるプリンが冷蔵庫にある」と伝える。

②電脳太郎さんは冷蔵庫の奥から3日後に賞味期限が切れるプリンを取り出す。
③電脳太郎さんは 「プリンを食べよう」と翔くんと凛ちゃんを呼ぶ④電脳太郎さんが冷蔵庫から取り出したプリンを翔くんと凛ちゃんは、美味しそうに食べる
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

43

『ネーム』によるストーリーの詳細化『ネーム』の段階で、技術的な課題を解決するアイディアを出す
0○『空気を読む家のキッチン』は、冷蔵庫の中に、どんな食材があり、その食材の賞味期限や消費量（変化）を把握している。

関連する要素技術
1. バーコード
2. RFID(ICタグ)
3. カメラ撮影(形状/ 色/大きさ)
4. 重量/圧力センサー
5. (電子)レシート
6. 人力管理(手入力)
：

アイディア
絶賛募集中
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

44

実現技術：例（１）サムスンFamily Hub 2.0
冷蔵庫の中に内蔵カメラを搭載しドアを開かなくてもリアルタイムに冷蔵庫の中身を確認できる

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

45

実現技術：例（２）Smarter FridgeCam（£149.99）
冷蔵庫の中に設置するカメラガジェット。スマートフォンで冷蔵庫の中を確認
Amazon AlexaやIFTTTとも連携

東芝 庫内カメラユニット HNW-RCB1（18,857円）
予め設定した時刻に撮像したデータを「フェミニティ」サーバに送信
スマートフォンで確認
HAアダプタを追加すれば、いつでもスマホや携帯電話から庫内を撮影可

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

46

実現技術：例（３）電磁誘導方式圧力分布シートセンサー
株式会社シロクと茨城県工業技術センターの共同開発で様々なものの接触圧力分布をリアルタイムに測定

ひずみゲージ活用（AITCオープンラボ 第3回デジタルガジェット祭り）

冷蔵庫に応用Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

47

『空気を読む家のキッチン』の処理概要

0○『空気を読む家のキッチン』は、冷蔵庫の中に、どんな食材があり、その食材の賞味期限や消費量（変化）を把握している。
電脳家の人

空気を読む家キッチン①食材を家に持ち込む

冷蔵庫②食材を冷蔵庫に入れる③食材を取り出す④食材撮影⑤バーコード認識⑥重量測定⑦トレー圧力計測• 食材の平均的な賞味期限• 食材の消費傾向(統計+AI)• 食材の現在量⑧賞味期限切れ通知

ブロックチェーン：食材管理台帳
空間OS
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

48

今後（第9期、第10期～）の取り組み
第9期

5th 第9期：空気を読む家のキッチン
課題A)食材賞味期限切れ問題
課題B)食器/調理器具片づけ問題
課題C)買い物重複/買い忘れ問題

第10期：空気を読む家の???
第11期：『空気を読む家』 竣工（総仕上げ）

設計士さん(アイディア、アーキ)、大工さん(実装)

募集中

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

49最新情報はこちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
ハルミン
AITC非公式イメージキャラクター

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.