1自己紹介
園田 亜斗夢東京大学工学部卒業。東京大学大学院工学系研究科博士課程在学
Lightblue Technology 代表

起業（創業5年）

研究（博士課程4年目）

所属

株式会社Lightblue Technology

東京大学工学系研究科

専門

人にフォーカスした画像解析

計算社会科学
web工学

ビジョン

デジタルの恩恵を全ての人に届ける

期待

デジタルの社会実装を皆さんと実現する日帰り温泉数

1

鹿児島県

553軒

33.78軒

79.76

2

大分県

371軒

31.98軒

77.55

3

長野県

654軒

31.32軒

76.73

4

秋田県

222軒

21.98軒

65.22

5

青森県

279軒

21.58軒64.72

働く父親の育児参加率

1

大分県

37.9%

71.30

2

沖縄県

36.9%

68.85

3

埼玉県

35.9%

66.40

4

山形県

35.6%

65.66

5

徳島県

33.9%

61.5

1.

会社紹介

2.

事業概要

3.

機械学習アプリケーション開発tips

4.

Human-Sensingの可能性清水建設
危険物との距離推定（単眼カメラ）･作業者状態把握＜警報・接触事故回避＞
4企業概要社名
株式会社Lightblue Technology
代表者
代表 園田 亜斗夢
園田 亜斗夢東京大学工学部卒業
東京大学大学院工学系研究科博士課程在学
設立
2018年1月5日
従業員30名（パートタイマー含む）
技術顧問 鳥海 不二夫
資本金等
東京大学大学院工学系研究科教授。計算社会科学、158百万円
人工知能技術の社会応用などの研究に従事。
株主
人狼知能プロジェクト代表。情報法制研究所理事。
dip, ULURU, 清水建設, 役職員等
所在地
東京都千代田区神田小川町3-28-5 Axle御茶ノ水 P203

東大発のAI･IoTスタートアップ
代表をはじめとする多くの東大卒・現役東大生メンバーが参画。最先端の研究環境と優秀な AI人材を活かしています。
5リアル空間にアルゴリズムを導入→デジタルの恩恵をすべての人へ

大手製造業 組立作業の判定･工程時間計測＜工程改善・作業員教育＞

商業施設
人物カウント・トラッキング多台数カメラ＜来店客動向把握・マーケティングデータ収集＞

清水建設
危険物との距離推定（単眼カメラ）･作業者状態把握＜警報・接触事故回避＞

中部電力
不安全行動検出＜警報・労災抑止＞

6

事業ポートフォリオ
パッケージ事業

SI事業

ニーズの抽象化
汎用化

構造化データの可視化・分析

可視化・分析プラットフォーム事業

7

1.

会社紹介

2.

事業概要

3.

機械学習アプリケーション開発tips

4.

Human-Sensingの可能性
清水建設
危険物との距離推定（単眼カメラ）･作業者状態把握＜警報・接触事故回避＞
8

事業環境： 映像データ活用の現状✔ IPカメラユーザの8割もが映像解析したいのに未導入✔ 幅広い業種にカメラが導入されている

矢野経済研究所

9

映像解析の位置付け・提供価値

1. 生データ

2. 映像解析

3. 構造化4. 組織化

5. 最適化

監視カメラ

画像解析技術

深層学習技術

統合分析

世の中のカメラの9割以上はこれだけ動体検知等の古典的な技術により、通知機能などがtoC領域で普及し出している

生データが意味づけされ、ラベルが付けられている状態
toB領域を中心にPoCがされている

中長期、多拠点のデータが集約され、有用なインサイトが得られる状態

統合されたデータを解析することで、経営に必要な情報の提示や生産性向上に役立つ施策の提案ができる状態

AI

BI/DB10

HSプラットフォームの提供価値
機械学習アプリケーション
対象：生データ

対象： 現場BIツール
対象：定型データ

対象： 管理職・経営企画

HS PF
対象：全てのデータ

対象：全てのユーザ

11

事業内容
「非定型データを構造化する」アプリケーションを作る

ビジネスモデル概要

SI事業

パッケージ事業・個別の企業向けにデータ解析・映像解析を提供
・顧客企業の課題に寄り添って解決を目指す
・人材がボトルネックになる・アルゴリズムを基盤としたドメイン特化のソリューションを提供
・画像解析を手軽に利用可能
・マーケットサイズ・インパクトが相対的に小さい

プラットフォーム事業
・映像解析を中心としたアルゴリズ
ムを基盤として、従来の DB/BIツールで扱われていない非定型データを構造化し、統合データを可視化・分析する事業

Lightblueの展開企業としての提供価値

中高低12

SI事業の事例
1.

安全管理
a. 危険物と人の接触・接近
b. 転倒者（熱中症や夜間一人作業など）検出・通知

2.

作業効率の改善a. ハンドサインや入場車の検出・設備の自動制御
ハンドサイン

現場画像

事故DB
計画書 等

労働災害報告書など

3.

作業進捗把握a. 作業員の工事作業量の検出・計測
b. 工事量進捗の検出・関連設備の連携操作

4.

計画リスクチェックa. 工事予定現場の事故原因物を画像から検出
b. 工事計画書と事故DBの類似計画書を特定、注意喚起

5.

図面の読取
a. 間取り図の画像から構造化データとして情報読取
b. CAD図面読取・構造化データへ

リスク検出AI13

Human-Sensingの特長
用途対応アルゴリズム➔➔➔ 人数カウント➔ 侵入検出➔ トラッキング（追跡）➔ 転倒検出➔ etc.

独自学習モデル

H/W最適化/高速化➔➔ 物体検出➔ 分類➔ セグメンテーション➔ 顔認識➔ 姿勢推定➔ トラッキング➔ 顔向き検出➔ etc.

➔➔ 対象➔ 人➔ 頭・手足
➔ 顔
➔ 自動車
➔ シーン
➔ 屋内
➔ 屋外

➔ 最先端の論文実装➔ アルゴリズム採用➔ 量子化・H/W最適化➔ TensorRT➔ Deep Stream SDK※最大60台分のカメラ映像をエッジマシン1台で同時処理した
実績あり

物体検出

Pose Estimation

Head Pose Estimation

Hand Pose Estimation

Feature Extraction

画像

画像

画像

画像

画像

Semantic Segmentation

Panoptic Segmentation

Object Tracking

Classification

画像

画像

画像

画像

...and more14

モデルの優位性
公開データで学習した機械学習モデルと比較し、Lightblue独自モデルの性能は高く、検出漏れや誤検出を抑制します。

15

1.

会社紹介

2.

事業概要

3.

機械学習アプリケーション開発tips

4.

Human-Sensingの可能性
清水建設
危険物との距離推定（単眼カメラ）･作業者状態把握＜警報・接触事故回避＞
16

リアルの現場の状況を可視化する画像解析技術
よくあるAI活用検討
画像解析がすごいらしい！
「AIですべて解決しよう！」というよくあるAI活用例●工事現場の映像から安全性向上●工場の映像から業務改善●店舗映像から接客改善
17

Concept Bottleneck Modelsのすすめ
タスク

Concept● 重機の物体検出● 作業員の姿勢推定● 設備のSegmentation

分類器● 機械の物体検出● 工員の顔向き推定● 設備のSegmentation

分類器● 来店客の物体検出・姿勢推定● 店員の移動軌跡

分類器● 危険判定● 作業内容分類● 作業内容分類→時刻ごとのタスク表示● 接客効率可視化

18

教師データ生成
一部の現場にしかない特殊な車両や設備は教師データ生成が大変。
効率的に生成する工夫が必要。

オンラインのラベリングツール
大人数で高速に■ラベリングツールイメージ

特殊な車両などはデータの蓄積がなく教師データを一から作る必要あり
19

効率的な教師データ生成 Human in the Loop
人間参加型で機械学習モデルの精度向上を目指すHuman in the Loop
一般的な項目を検出させラベルを変更するケース

暫定モデルによるラベリングを人が修正するケース

暫定モデル用の少数の教師データ

修正結果を教師データに追加

化学消防車

クルマ
AI
トラック
暫定モデル

化学消防車

トラック

化学消防車
20

GPUを使ったアプリ開発におけるJetsonの位置づけ
1.

GPUを用いたアプリケーション開発
a. GPUの用途：
i. 画像解析・言語処理
ii. 学習（訓練）・推論
b. 多様な選択肢：
i. PaaS（パブリッククラウド： AWS、GCP、Azureなどなど）
ii. オンプレサーバー
1. 産業用（Quadro等）
2. ゲーミングPC（民生品）
iii. Jetson（エッジマシン）
1. 産業用2. 開発キット2.

Jetsonのメリット
a. 低電力b. 実行環境： 充実した SDK、cudaの利用も可能な環境
21

AIのアプリ開発~運用でのコスト事情
1.

GPUを用いたアプリケーション開発
a. GPUの用途：
i. 画像解析・言語処理
ii. 学習（訓練）・推論
b. 多様な選択肢：
i. PaaS（パブリッククラウド： AWS、GCP、Azureなどなど）
ii. オンプレサーバー
1. 産業用（Quadro等）
2. ゲーミングPC（民生品）
iii. Jetson（エッジマシン）
1. 産業用2. 開発キット

Today’s topic
2.

Jetsonのメリット
a. 低電力b. 実行環境： 充実した SDK、cudaの利用も可能な環境
22

ステージや求める性能によって、最適な計算リソースは異なる
計算リソースの要件と手段例（ステージ別）

開発
（学習）

● 開発速度=処理性能○○

V100のような高火力の計算機が必要
パブリッククラウド（AWS、GCP、Azure等）→短期間のスポット利用が可能
必要なときに必要な分だけ● 処理性能、総コスト、信頼性、耐環境性

運用

○
○
○

オンプレサーバー（産業用GPU）
ゲーミングPC
エッジマシン・・・→常時待機する必要

DeepLearningを用いたソリューションは限界費用が高くなりがち
運用方法によってベストな選択肢は変わる

23

エッジ使用が適切な場合の選択肢比較● クラウドのメリットが大きいケース○

利用現場数or計算量の増減が多く、かつ、計算資源の転用などが可能● 上記以外では、ゲーミングPCや開発キット等 民生品は運用に不向AI用GPUマシンの選択肢一覧

コスト

即時性

耐久性

ゲーミングPC：
コンシューマ用GPU(GeForce)

◎◯

×▲
(高価)

◯◯
(長期サポート)

3 クラウド▲▲◎4 Jetson開発キット◎◯

×5 産業用Jetson◯◯◯

1

産業用GPU対応
2 ワークステーション(Tesla/Quadro)24

Jetson開発キットのメリット
1.

低コスト・入手容易・クイックスタート
a. 低コスト：i. NVIDIAの戦略上、低価格
ii. 組み込みのモジュールの卸価格より低価格！！！
iii. 省電力
b. 入手容易・クイックスタート：
i. Amazon等で即購入可能
ii. 多様なインターフェイス○ USB-typeC、ギガビットイーサ、M.2、カメラコネクタ、HDMI、GPIO

2. 充実した開発環境
c. JetPack
d. DeepStream SDK
e. TensorRTソフトウェアライブラリ
f. CUDA、cuDNN

高速化に対応したSDKだけでなく、CUDAが利用可能なため、プログラムの変更なく実行が可能
25

開発キットの限界と産業用Jetsonの違い
耐久性： 開発キットは運用時は利用が難しい
a. モジュールの製造業者や管理体制の違い
b. NVIDIAの保証期間が1年
産業用Jetsonの選び方
c. GPUi. Nanoii. TX2
iii. Xavier NX
iv. Xavier AGX
d. インターフェイス
e. 利用環境： 筐体の頑健性

高性能なAGXがラインナップにない場合も必要なインターフェイスがあるかUSB等の接触の確認

防滴・防水・防塵等への対応の可否

26

PoCから産業用Jetsonを利用しない場合の課題
検証時の安定性・信頼性
以下のような問題のため、モデルの性能評価に集中できない場合もa. 開発キットはむき出し■ 例えば下手な保護は放熱を妨げるので実運用環境にならず、演算を妨げる
b. 各種インターフェイスの接触不良■ 総費用を開発キット前提で計画すると高額になりがち、PoC専用機材を購入する
羽目に実運用への切り替え
c. 開発キット前提で開発した際に、産業用マシンのなかで使えないインターフェイスが出てくる（GPIO等は使えない場合も）d. コスト感が開発キット前提で計算してしまう（あれ、意外と高い。。。）
e. PoC用機材が不要になる（無駄な開発キットやゲーミングPC）
f. PoCでの課題が、開発キット依存のものなのか切り分けが難しい27

モデルの優位性
公開データで学習した機械学習モデルと比較し、Lightblue独自モデルの性能は高く、検出漏れや誤検出を抑制します。

28

公開データセットに含まれるノイズ
教師データの精度は非常に重要
有名なデータセットでも、ノイズが多く含まれることも。。

29

サンプル画像： cocoデータセット

人物が極端に大きい画像例

人物が極端に小さい画像例

人物の重なりが多い画像例
30

サンプル画像： cocoデータセット

31

おまけ

32

1.

会社紹介

2.

事業概要

3.

機械学習アプリケーション開発tips

4.

Human-Sensingの可能性
清水建設
危険物との距離推定（単眼カメラ）･作業者状態把握＜警報・接触事故回避＞
33

空間DX

スマートシティ領域は大きな新規市場が創出されると期待されています。

スマートシティ市場規模 400兆円
CAGR13.8 %

都市・工場の進化は総合格闘技

調査会社

世界市場規模デベロッパーMarketsandMarkets

8,737億USD 2026
年

REPORT OCEAN

4兆2,693億USD
2030年

総務省(IoT)

行政
文教
医療19兆円(国内)2020
年

エネルギーインフラ

小売

交通インフラ
ゼネコン
メーカー
35

どうやるかリアル空間にアルゴリズムを導入→デジタルの恩恵をすべての人へ

大手製造業 組立作業の判定･工程時間計測＜工程改善・作業員教育＞

商業施設
人物カウント・トラッキング多台数カメラ＜来店客動向把握・マーケティングデータ収集＞

清水建設
危険物との距離推定（単眼カメラ）･作業者状態把握＜警報・接触事故回避＞

中部電力
不安全行動検出＜警報・労災抑止＞

37

挙動・動作： 今 どんな動きをしているのかが分かる

腕の動き
①
②
腕の動きが2パターン。骨格の動きから見分けられる！
38

挙動・動作： 今 どんな動きをしているのかが分かる

指の形や動きが分かる。
ハンドサインでインタラクティブな空間表現も可能
39

Human-Sensing
活用イメージ可視化・分析プラットフォーム✔ 従来のBIツールが扱えていない非定型データをHuman-Sensing技術で構造化することにより、扱えるデータ量を激増させる✔ 取れなかったデータを取れることで、現場の見える化を実現✔ 現場での一次的な価値（安全性向上、ミス検知）を超えた価値の創出

412022/04/04

加工1

加工2

組立1

組立2

梱包

滞在人数

青森県八戸市〇〇工場

38 / 57

目標

稼働状況

10,000
工程別待ち数

加工1

加工2

稼働中

故障中

組立1

組立2

稼働中

稼働中

実績

6,879
差分

3,121

梱包
達成率

68.8%

非稼働

2022/04/12

レジ

座席1

座席2

座席3

厨房

店内滞在人数東京都千代田区〇〇店

5 / 17

来店者数

座席状況

83
前日実績

座席1

座席200:36:21

01:28:13

座席3

座席400:28:16

00:13:46

曜日別来客者数

89
女性

男性

差分

6

座席5
平均提供時間5分39秒

空席実績 -商業施設の来店者分析
サイネージの利用ポイント： パーソナライズした情報提供（広告含む）
WHY： 来客ごとのきめ細かいニーズへの対応✔ 目的：商業施設の什器・商品カテゴリの 最適配置提案（施工部門）✔ アプローチ：商業施設の 人流・配置什器・商品カテゴリ・売上の関係解析✔ 解析対象：人の流れを 60台のカメラで同時 に実施

課題
・実運用時の全体費用の効率化
特にレコーダーやエッジ・60台のカメラ映像同時解析のシステム構築

44

駅構実績 - 内の危険行動検知
サイネージの利用ポイント： 乗客同士の助け合いの促進
WHY： 困っている人をAIで検出しても、駅員さんがすべて対応するのは非現実的✔ ユーザの目的：駅構内の迷い客・困っている乗客の迅速なケア（運営部門）✔ アプローチ：乗降客の動作解析・人物検出ツール導入✔ 解析対象：駅構内の乗降客の動作駅構内

券売機の前

キョロキョロしている人を検出（頭の動きを評価）

うろうろしている人を検出（滞在時間の異常さを評価）45

実績 - 作業工程の見える化
サイネージの利用ポイント： 作業者へのフィードバック
WHY： 分析ダッシュボードと作業者に提供すべき情報は異なる✔ セル生産工程の組み立て生産品質改善（品質保証部門）✔ 作業員ごと工程ごとに、マニュアル通りにやっているか、掛かっている時間を計測化✔ アプローチ：作業分類、映像解析ツール導入、解析対象：数十の作業工程

精度向上の課題
・姿勢の自由度の高い工程
・手に隠れる小さい工具・似た外観の工具
・データセット増（今回1名分）

46

お問合せ
右のQRコードから資料ダウンロード・商談依頼いただけます●

資料ダウンロード
○

●

ご相談依頼
○

●

パッケージや技術情報をHuman-Sensing/AIについてもっと聞きたい、相談したい方

商談依頼○

具体的なご相談がある方47

48