協働プロジェクト
空気を読む家 6th シナリオ
『人を見守る安心安全な空気を読む家』

要素技術検証2019年10月07日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会 リーダー 荒本道隆
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

その前にクラウド部会のご紹介

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

前期の活動内容• 月１回（13:30～17:30）のミーティング、参加人数は5～10人• 参加者が講師となり、内部勉強会を開催（担当、敬称略）
講師をした人が、一番詳しくなるFIDO認証モデルについて（宮地）Google Colaboratory を触ってみる（荒本）IETF報告会 (103rd バンコク) / IETF103 Update Meeting（宮地）ROS2チュートリアル（佐伯）Cloud9を触ってみよう（荒本）
様々なAI画像認識を動かしてみよう（荒本）SONY Neural Network Console勉強会（荒本）プログラマーのための量子コンピュータ入門（宮地） → 会員向けに開催済
第1回：関連数学基礎と量子ビット編
第2回：量子ゲート型のプログラミング
第3回：量子アニーリング型のプログラミング• 参加者が講師となり、『ゼロから作るDeepLearning(2)』を輪読• 気象庁XML取得APIを運用 http://api.aitc.jp/– 運用期間を2021年8月まで延長
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

3気象庁XMLの取得APIのアクセス数
REST API
年／月

リクエスト数

2018/012018/022018/032018/04
2018/05
2018/06
2018/072018/082018/092018/10
2018/112018/122019/01
2019/02
2019/03
2019/04
2019/05
2019/06
2019/07
2019/082019/09349,202341,489
388,140
357,686
368,571343,283
257,046
247,556
290,163797,226
1,742,973
1,262,362
154,889
143,650
148,199
142,659
148,432
127,255
125,580
158,070
118,350SPARQL

ユニークIP

265
348
294
328
460
477
351
379
319
329
843
607
469
442
488
483
481
562
970
987
919

リクエスト数

32
225
77
18
39
49
55
51
29
24
59
26
45
14
28
53
28
4663
138
35

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

WebSocket

ユニークIP

28
32
22
17
26
36
35
37
24
20
15
18
21
11
15
16
19
24
20
36
28

リクエスト数

758
534
1,580
418
369
521
463
1,921
504
970
200
509
521
317
395
835
569
2,970
878
550
190

ユニークIP

162
134
148
128
108
116
103
109
128
115
106
121
123
104
108
125
130
113
124
121
113

4

参考：気象庁XMLの配信量（feed以外）
年
2013
2014
2015
2016
2017
2018

件数
323,577
352,880
351,624
366,245
485,138
561,157

合計サイズ(Byte)
6,015,465,297
7,150,183,301
6,914,619,663
7,327,332,458
12,755,380,319
17,679,395,712

平均サイズ(Byte)
18,59020,262
19,66420,006
26,29231,505年月
件数
合計サイズ(Byte)
平均サイズ(Byte)
201901
43,925
1,380,795,680
31,435
201902
38,3481,089,844,607
28,42020190347,5281,524,419,289
32,074
201904
44,161
1,326,574,725
30,040201905
43,151
1,222,077,928
28,321
20190647,706
1,486,768,187
31,165
20190757,005
13,234,865,280
232,170
20190863,01918,655,895,552
296,03620190950,683
17,181,278,051
338,995
2019年7月10日から１件の最大サイズが0.6MB→3.7MBになった
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

5

参考：2019年8月のファイルサイズ分布
大雨危険度通知2019年8月

それまでの最大値
600KByte

2019年7月10日までは無かったKByte

気象庁XMLファイルサイズ
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

6

今期の活動計画■背景/活動目的
９年目は、クラウドによって個人でも利用可能になった新しい技術（量子コンピュータ, AI）を試用した。
10年目は、それら新しい技術を現場で使用するための方法論も含めて学んでいく。
・量子コンピュータにおけるアニーリングで必須となる課題の定式化を議論
・AIでは既存ライブラリをクラウド上で使うための手順やインターフェイスを試作
また、これまで通り、クラウド全般やIoTについても取り組んでいく。
・測定（センシングなど）： Arduino,RaspberryPI を使ったセンシング・収集（ネットワーク） ： 無線LAN, Bluetooth, 電子署名, セキュリティ・蓄積（KVS, クラウドサービスの利用）： RDF, SPARQL, IaaS の利用・分析（統計処理、オープンデータの利用、アルゴリズム）： R, AI, 量子コンピュータ・出力（ビジュアライゼーション、外部操作）： R, D3.js, ロボット, ROS
これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使ったことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを使ったプロトシステムを開発し、運用を行う。
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

7

空気を読む家 6th シナリオ
クラウド部会での要素技術検証

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

やりたいこと－１• 姿勢検出&物体検出で家の中の危険を察知
リアルタイム処理にはCPU/GPUパワーが必要
うるさいサーバを家の中に置きたくない
カメラ画像をクラウドにあげたくない• 「小型」「静か」「高性能」なエッジサーバを試したい
ラズパイ３ではリアルタイムは無理なので、それ以外で• 「NVIDIA JETSON Xavier」（86,832円）を試してみたい「NVIDIA JETSON Nano」（13,600円）との比較
お値段（６倍差）なりの性能差なのか？
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

9

やりたいこと－２• カメラを使った、何か斬新なことをやりたい
危険を知る手っ取り早い方法は無いだろうか？
ガチ勢の後を追っても、追いつける気がしない• 他の人がやっていない事をやる
可視光線以外を扱ってみたらどうだろう？

• サーモグラフィが安くなってきたらしい「やけど」「火事の前兆」が見えるんじゃないか？
「安価」「そこそこの解像度」「PCに直接接続」が入手可能に
解像度：160x120のものが３万円
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

10

やりたいこと－３• 通知方法について「スマホを見ないと分からない」では不便「スピーカーから音声でお知らせ」は新鮮味がない• 以前試したレーザーポインタはイマイチだったけど図形を描こうと高速移動させると、暗くて全くみえなかった「対象物を直接指す」という発想は良かった• プロジェクタで投影してみよう
プロジェクションマッピングという成功例がある
バッテリ内蔵のプロジェクタなら、モバイル化も可
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

11購入した機材• NVIDIA Jetson Xavier• ¥86,832• GPU 512-core Volta GPU with Tensor Cores• CPU 8-core ARM v8.2 64-bit CPU, 8MB L2 + 4MB L3• Lepton 3.5（サーモグラフィ）• ¥29,392• 解像度：160x120• 測定温度：-10～140℃（-10～400℃）、分解能：0.05℃• 海外から個人輸入• BIS-711（最終荷受人及び購入者による報告書）が必要• 前バージョン（Lepton 2.5 解像度：80x60）は国内でも購入可能• USB変換アダプタ（２万円）も購入、USBカメラとして使用できる• プロジェクタ
• 3万円以内• バッテリ内蔵のものを選択
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

12

Lepton 3.5（サーモグラフィ）に関するトラブル• 購入時、必要書類のメールを見逃してしまった• Digi-KeyのWebサイトで発注• ユーザー登録や、購入時のメールは全部日本語だった• 「BIS-711の提出が必要」メールだけが英語で届き、見逃す• 9日後に、気付いた！
• 適当に書いて返したら、日本語で「こう書いて」と親切な解説が• 14日間で到着（英語メールにすぐ気付けば5日だった）• FedExなので受け取り（平日、昼間のみ）に苦労すると思ったら• 再配達は郵便局なので、土曜日に到着• USB変換アダプタに付けて使用するも、挙動がおかしい• ラズパイ３では動作、PCでは動いたり動かなかったり？
• Windowsの専用アプリでも反応したり反応しなかったり？
• 一度アダプタから外して、再度付けてみたら、すべて解決
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

13

検証１：姿勢検出&物体検出• 姿勢検出：OpenPose• 人が何人居るか？ どんな姿勢（Pose）をしているか？
• 姿勢情報は、サイズが小さく、セキュリティもクリアし易い？

• 物体検出：YOLO• テーブルの上に何があるか？

• 性能比較対象
• ノートPC（GPUなし）• ラズパイ３• NVIDIA Jetson Nano
• NVIDIA Jetson Xavier

57,828Byte

144Bytehttp://mabonki0725.hatenablog.c
om/entry/2017/08/17/085151• 備考• まずは既存のものをそのまま使ってみる• ラズパイ４はまだ入手が難しいが、CPUはラズパイ３の倍らしい
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

14姿勢検出：OpenPose とは• 概要• 画像からPoseの推定に深層学習を用いて、教師データを使用• 複数人、人が重なっていても推定できる• GPUがあれば、顔や手も解析できる• Githubにモデルデータも含めて公開されている
https://github.com/CMU-Perceptual-Computing-Lab/openpose• 非商用であれば無償、商用利用は25,000ドル

OpenPoseのGithubより
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

15物体検出：YOLO とは• 概要• Real-Time Object Detection• You only look once(YOLO)• それまでの手法は、検出窓を少しずつスライドさせて探索していたが、YOLOは画像を１度だけCNNに通すだけでオブジェクトを検出できる• Webサイトにモデルデータも含めて公開されている
https://pjreddie.com/darknet/yolo/• Public Domainライセンス
0. Darknet is public domain.
1. Do whatever you want with it.
2. Stop emailing me about it!
YOLOの「LICENSE」ファイルより抜粋

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

16

検証１の方針• 姿勢検出：室内を監視し、人の姿勢（Pose）情報を出力• 人が検出できるか？

• 物体検出：テーブルの上を監視し、置いてある物を出力• ハサミ、包丁が検出できるか？

• 測定条件• USBカメラのライブ映像を対象とし、フレームレートを測定する• 公開されているモデルデータをそのまま使用する• 同じUSBカメラ、同じパラメータを使用する• USBカメラ：2048 x 1536

• 備考
• 姿勢検出（OpenPose）は、環境構築が楽なTensorFlow版を使用

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

17

検証１のスペック• ノートPC（2014年発売） 中古で約3万円程度• Intel Corei5-4300U 1.9GHz 2core RAM：4GByte• Ubuntu 18.04 備考：VirtualBOX上で実行• ラズパイ３（2016年発売）

古いPCの再利用を想定¥5,670-• ARM Cortex-A53 1.2GHz 4core RAM：1GByte• 3B+だとクロックが1.4GHz• Jetson Nano ¥12,312• ARM A57 1.43GHz 4core RAM：4GByte• GPU 128-core Maxwell• Jetson Xevier ¥86,832• ARM v8.2 8core RAM：16GByte• 512-core Volta GPU with Tensor Cores
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

GPUの性能に期待18

OpenPoseによる姿勢検出精度－１
高精度＆低速mobilenet_thin

低精度＆高速mobilenet_v2_small

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

19

OpenPoseによる姿勢検出精度－２高精度＆低速
mobilenet_thin

低精度＆高速mobilenet_v2_small

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

20

YOLOによる物体検出精度
高精度＆低速yolov3.cfg

低精度＆高速yolov3-tiny.cfg
IMG_4094.jpg: Predicted in
30.542562 seconds.
scissors: 95%
cell phone: 96%
chair: 80%
knife: 78%
cup: 100%
cup: 98%

IMG_4094.jpg: Predicted in
1.329064 seconds.
cup: 67%IMG_4098.jpg: Predicted in
30.556203 seconds.
scissors: 100%scissors: 64%
knife: 54%
cell phone: 85%
chair: 71%
cup: 99%
cup: 97%

IMG_4098.jpg: Predicted in
1.330256 seconds.
cell phone: 80%
cell phone: 60%
cup: 83%
cup: 77%
cup: 68%

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

21

姿勢検出＆物体検出の処理速度• 姿勢検出：OpenPose
高精度＆低速低精度＆高速備考

ノートPC

0.8FPS

1.1FPS 遅延が8秒、6秒ぐらい

ラズパイ３

0.13FPS

0.17FPS 遅延が40秒、30秒ぐらい

Jetson Nano

2.5FPS

3.6FPS 遅延が3秒、2秒弱ぐらいJetson Xevier

13FPS

22FPS どちらも遅延ほぼなし。MAXNモード

備考：--resize=432x368

このくらいの性能は欲しい• 物体検出：YOLO
高精度＆低速低精度＆高速

備考

ノートPC

応答無し

1.0FPS 応答しない、遅延が7秒ぐらい

ラズパイ３

応答無し

Jetson Nano

0.6FPS

7.4FPS 遅延が12秒、1秒ぐらい。10W→5Wモード

Jetson Xevier

4.4FPS

12FPS 遅延が2秒、遅延ほぼなし。MAXNモード

応答無し 応答しない

備考：v3はbatch=16に修正
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

22

検証２：サーモグラフィ• サーモグラフィ（Lepton 3.5）をPCに接続して、色々試す• 対象物の温度が取れるのか？
• 通常のUSBカメラには、そんなI/Fはない• ラズパイ３でも同様に使えるのか？
• 温度を可視化する装置を作成予定• 「サーモグラフィ＋ラズパイ３＋プロジェクタ＋モバイルバッテリ」• 画像用AIにサーモグラフィ映像を入れたらどうなる？
• 予測：サーモグラフィで教師データを作成しないとダメだろうな• 注意事項• 可視光線は撮れない• 可視光も必要なら通常のカメラを併用

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

23

Lepton 3.5 で温度を取得するために• Lepton 3.5の仕様• ピクセル単位の相対温度を取得→ 基準（均一な温度の平面）をどうやって作る？

• 3分ごとにFFC（Flat-Field Correction）が発生→ 設定で止めることはできるけど、壊れない？
→ 自作アプリケーションからFFC停止は、どうやる？

• USB変換アダプタを使用するために• RAWデータ取得には libuvc（USB Video Class） の導入が必要→ ラズパイ３でも動作した→ libuvc を入れると、/dev/bus/usb/ 以下のデバイスに権限付与が必要

お湯氷水
スマホで撮影Lepton3.5で撮影

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

温度の高低で着色

24

検証３：サーモグラフィ＋プロジェクタ• このハンダゴテは触っても平気か？

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

25

検証３：サーモグラフィ＋プロジェクタ• このハンダゴテは触っても平気か？
• 危険を可視化+40℃でオレンジ+100℃で赤最大値は+152.05℃
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

26

検証３：サーモグラフィ＋プロジェクタ• このハンダゴテは触っても平気か？
• ここまで出来たら完璧+152℃

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

27

まとめ
• 姿勢検出：OpenPose• Jetson Xevierなら、リアルタイムに使えそう• 入力解像度を縦横半分にすると、処理性能が4倍に• 想定外の格好をすると反応しない• 倒れた人を検出するには、倒れた人を学習させる• 物体検出：YOLO• v3-tiny ではハサミや包丁は、たまにしか検出しない• 対象物を絞り込んだ学習データを作成する• 速度は必要ないといっても、遅延が10秒以上はキビシイ• 遅延の原因はバッファリング、マルチスレッド化で解決？

• 温度検出：サーモグラフィ• 新しいことができそうな予感• 開発時（８月）は、お湯が冷めるのがとても早かった
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

28

やってみた感想• NVIDIA Jetson Xavier• 認識画面が滑らかに動いた時は、感動した！
• 静か＆GPUパワーが簡単に利用できるけど、お値段が....
• 実は TensorFlow-GPU を使ったおかげで、性能が出た• Lepton 3.5 は、予想以上に扱いがとても難しい• キレイな基準面が無いと、焼き付いたようになる• FFCが動作すると、「差分＝変化量」しか分からない• プロジェクタ
• もうちょっと高いプロジェクタにすれば良かった• 物体検出＋プロジェクタも面白そう• 公開されたモデルデータの使用が大前提だったが• 独自に学習データを収集する必要がある→ 次フェーズに向けて撮影会を行おう
Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.

29

今期は主に・アニーリング課題の定式化・AIの活用をやる予定

AITC
クラウド活用部会への参加、最新情報はお待ちしてます

こちらをご参照ください
http://aitc.jp

https://www.facebook.com/aitc.jp
ハルミン
AITC非公式イメージキャラクターCopyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.