変化をよぶ DCON
AIとの出会いとこれから

沼津高専

鄭(ジョン)研究室

2021.2.5 16:00~ DCON2020シェアリング

1. What’s Jeong LAB?
• Previous Researches

Today’s Agenda• Members

2. Our DCON road map
3. Ongoing Researches

4. About ABCI for us

What’s Jeong LAB?

About us
沼津高専 電子制御工学科

鄭研究室
教員：鄭 萬溶研究テーマ：振動工学、信号処理、機械学習＜主な研究テーマ＞

ー 振 動 ー
◼ 剛体ブロックのロッキング振動に関する研究◼ 深層学習を用いた打音診断◼ Wavelet解析を用いた異常診断システムの開発

静岡県東部の沼津市に位置！

ー 交 通 ー◼ 交通流シミュレーションシステムの開発◼ ドライブレコーダ/定点カメラによる交通計測システムの開発◼ コンピュータビジョンによる駐車場管理システムの開発 etc.
ー その他 ー◼ ディープラーニングによる話者認識に関する研究◼ 機械学習による配管サポート最適化◼ ウェアラブルデバイスによる行動推定 / 熱中症予知システムの開発

Previous Research (~2017)以前は振動・交通に関する研究がメイン

Previous Research (2018~2021)
新たな解析手法として機械学習を導入↓

情報工学系の研究が中心的に

Our DCON road map

DCON
DCON2019 初参加“ドライブレコーダを用いた交通流計測”をベースにした作品を発表↓2019

総合評価３位＆SMBC賞を受賞
DCON参加は研究発表やインターン参加などのきっかけにもなった研究室生のスキルアップのため継続参加

DCON2020

一次選考を３件通過

惜しくも２次選考通過ならず…

2020

Manazashi
2021

Life of Eternal

DCON2021 一次選考を２件通過
鋭意製作中につき乞うご期待！

Tag and …

絶対リベンジします！

Manazashi

Life of Eternal

Tag and …

授業支援システム

熱中症早期探知AI

スマート洗濯サポート

Manazashi
授業支援用AIシステム「Manazashi」
AIによって教育機関における授業を解析、“質の良い授業”を定量化して授業設計・進行を支援
特徴
教師の授業姿勢、生徒の反応等を計測・解析し定量的なスコアなどの指標を提示することで、教師の学習やベテラン教師の手技の解析などを目的に

動機• 学生にとっても質の良い授業は求めるもの• 学生と教職員というメンバー構成から実際の課題によりそって開発できないか• 高専という環境の中で開発と検証のループを素早く回せるのではManazashi
目標：生徒の関心度のスコア化

指標の策定

•
•

課題調査
実際の授業の観察

サンプリング
データの検討モデルの検討・作成

••
•

•
•
•

動画
フリッカー
アンケート

顔検出
人物検出
動作検出

二次審査時点ではモデルの検討とプロトタイピングまで ⇨検証•

実際の授業での利用

Manazashi
生徒の授業に対する反応の記録
サンプリング
データの検討⇨ 教室内に複数のビデオカメラを設置⇨ 動画像をメインのモダリティとして使用

学習のタスクとしては物体検出及び動作検出として捉え、YOLO, MTCNN, CNN-LSTM, 3DCNNなどの利用を想定

モデルの検討・作成▲ 動作検出フロー課題

位置関係による見え情報の差異による評価の偏りなどの問題

デモではYOLOとMTCNNを利用し、検出と簡易的なスコアリング・行動分類を実装• 実問題を学習可能な状況に落としこむノウハウにかけており、データサンプリングでつまづき全体的な進捗に遅れ• 課題の検証や指標の定式化にも改善の余地があった

Manazashi

Life of Eternal

Tag and …

授業支援システム

熱中症早期探知AI

スマート洗濯サポート

Life of Eternal
熱中症予防システム「Life of Eternal」
ディープラーニングを用いて熱中症の危険度を予測し、閾値を上回る際に家族・関係者に通知を送るだけでなく、エアコンを起動し危険度の減少を図るシステム
背景• 地球温暖化による平均気温の上昇• 少子高齢化による高齢者の増加• 猛暑期の熱中症患者の増加(特に高齢者の割合が高い)

Life of Eternal
温度湿度センサ(DHT11)
ウェアラブル発汗計

Jetson Nano

fitbit Charge2

生体データ・環境データをウェアラブルデバイス・温湿度センサを用いて取得し、csv形式で保存したデータをJetsonnanoに送る

データをもとに学習済みモデルを用いてデータの処理を行う
アルゴリズムはTensorflow,KerasのLSTMを使用した

危険度が高くなった際にfitbit装着者、離れた場所にいる家族や管理者にLINE,メールを用いて通知を送る

Life of Eternal
学習データ
• 発汗量
• 温度
• 湿度
• 心拍数
• 行動データ(静止・歩き・走り)

今後の展望✓ VAE(Variational AutoEncoder)を用いてモデルの汎化性能を上げる✓ 発汗量センサドライバの作成✓ Jetson nano単一のシステムに統合✓ 加速度データを用いた行動推定

Manazashi

Life of Eternal

Tag and …

授業支援システム

熱中症早期探知AI

スマート洗濯サポート

Tag and…

クリーニング店の悩み•

洗い方は生地と汚れから経験的に判断•

洗濯の煩わしさ解消システム「Tag and…」

衣服の管理もアナログ式が多い

スマート化が進んでいない

AIによって、生地の質感・洗濯表示タグを識別
生地とタグを読み取るだけのスマート洗濯Tag and…
システム構成CameraorMicroscopeImage••

生地の汚れ具合
タグ表記

最適な洗濯設定

[識別器]

衣服

衣類タグ

NVIDIA Jetson nano

衣類管理用
データベースTag and…

この一本目が生まれないシステムだった

課題点• 汚れ学習データの収集方法✓ 油・タンパク質・泥汚れなど• 画像認識モデルの選定✓ VGG？MobileNet？
✓ 転移学習元のモデルも適当か？

データそのもの、データ収集の仕組み
使われる使用想定を意識したモデルの選定

データが集まる高性能になる• そもそも、汚れをスキャンする行為は面倒ではないのか？

UIUXのデザインは正しいのかOngoing Researches

MIRS：タピ郎• 人がいるところまで近づき、手指の消毒を行うロボット• 手指の消毒をもっとしてもらいたい• 主な機能は4つ① 自律移動機能② 人検知・接近機能③ 消毒呼びかけ機能④ 消毒液噴射機能

MIRS（タピ郎）• MobileNet SSD v2を利用し、一番近くにいる人に近づく。
• 人との距離が一定以下まで近づくと停止し、手指の消毒を呼びかける。

DCON2021

DCON2021
LSTM

注目した角度を抽出

時系列処理でパノラマ写真の角度を抽出

物体検出器

抽出した画角の写真

写真内の物体その成果、実地で使えるんですか？
<先行研究>
車両検出にCNNを用いた交通流計測システム
先行研究と比較して4倍高速になって、高精度化を達成した

仮に実装するとして…

その時のマシン・環境スペック⚫ Intel Core-i7 7700k 4.2GHz⚫ GeForce RTX 2080 8GB⚫ 16GB RAM⚫ ギガビットイーサネット

目的どこにどうやって載せるのか？
ハイスペックマシンも、ネットワークもない環境

社会実装できる形＝エッジ深層学習デバイスとして実装

エッジ深層学習に向けてモデルの軽量化

量子化

VGG

Params<Float 32>

MobileNet

Prams-int<Int 8>

枝刈り

これらを駆使して最適化

IoT devices自動車による騒音を減らしたい

・爆音走行車両を取り締まるための装置「騒音オービス」が海外で開発されている→日本でも導入が検討されている目的

爆音走行と改造マフラーによる騒音オービスのプロトタイプ作成

騒音の識別可能性の検討のための検討

各モデルの結果：正解率
人の感覚に基づいた分類によるモデルの構築

法律に基づいた分類によるモデルの構築•

自宅の窓から道路を撮影した音声データ• 自動二輪車走行時の音声データ•

アクセル音が大きい・空ぶかし・特になしで• 適法マフラー・違法マフラー・特になしで分類

分類

システム構成：エッジデバイス実装

声と顔の関係性
人間は音声から話者ごとの個人性(話者性)を識別できる⇨ 話者識別などの分野で研究・再現されてきた識別プロセス
話者性の抽出

話者性?

Waveform

Listener

Speakers

しかし、人間は声を聞かずに”顔”を見ただけでも声色を予測できる
2021/2/16

31

マルチモーダル学習の導入
音声⇨話者特徴量

画像⇨画像特徴量

フェイスエンコーダがボイスエンコーダを模倣し、顔画像からも擬似的な話者性を抽出できるように学習

Cited from: https://youtu.be/kSLJriaOumA合成された非実在人物に話者性の付与

イラストへの音声付与やアニメーションの声優選定補助

外見に基づいた話者性の推定が可能なため、音声合成などの用途における利用可能性！

About ABCI for us

利用状況
研究室の現状：環境構築のみで、ほぼ利用していない
理由：• 個人用PCそれぞれにGPUが搭載されており、現状のシステム規模ならばそれで事足りる• （ABCIに触れた当時の印象そのままですが）実行スクリプトの敷居の高さ• 大規模計算リソースに“清書”できるような段階に至っていない要望：既に実装済みならごめんなさい直感的利用• GUIからD&Dでデータと学習スクリプトをput• 出力されたモデルは1クリックでDL

他サービス連携• AWSやGCP、HerokuなどのインスタンスからAPIとして利用できる→

AIサービスのアクティブラーニングをスムーズにできるはず