Neural Network ConsoleとSPRESENSEではじめる

Deep Learningの活用
ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社
シニアマシンラーニングリサーチャー
小林 由幸

圧倒的な認識性能を示すDeep Learning
画像認識における精度向上

Top-5 Error Rate [%]

28.2

25.8

従来型
機械学習

1026.1
11.7
16.4

Deep Learning

年率50%に迫る
誤差の改善

6.7

人の認識誤差

3.57？

2.25
2.99

1
2010

2011

2012

2013

2014

2015
Year

2016

2017

2018

2019

従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある
22020

圧倒的な認識性能を示すDeep Learning
音声認識• 2011年• 2016年10月
囲碁• 2015年10月• 2016年3月• 2017年5月

音声認識にDeep Learningを適用し、音声認識誤差を30%前後改善
スマートフォン等で音声認識が一般化する契機にMicrosoftは音声認識技術において人間並みの性能を実現したと発表
https://arxiv.org/pdf/1610.05256v1.pdf
Google傘下のDeep Mindが開発したDeep Learningによる囲碁プログラム
Alpha Goがプロ棋士に勝利
世界最強棋士の一人である李セドル九段に勝利
世界棋士レート一位の柯潔に三局全勝
https://ja.wikipedia.org/wiki/AlphaGo

まだ人の性能を超えてないタスクも、指数関数的にその差が埋まり、やがて機械が追い抜く
既に人の性能を超えたタスクは、今後も指数関数的にその差が開いてゆく
3

Deep Learningとは脳の学習機能をコンピュータでシミュレーションするニューラルネットワークを用いた技術

神経細胞ニューラルネットワーク

Deep Learning（1960～1990頃）(2006～)
中間層

入力層
出力層

入力層

出力層

0
…

人工ニューロン

…

…

…

…
…

4…

𝑦𝑦 = 𝑓𝑓 � 𝑤𝑤𝑖𝑖x𝑖𝑖 + b

…

…

x3

y…

x2

…

x1

1

1～2層の中間層

3層～1000以上の中間層
数十Ｍ規模のニューロン数大規模なニューラルネットワークの学習が可能になり、大幅に性能向上

Deep Learningを用い、認識機を作成するために必要な作業
1. データセットを用意する
入力と、期待する出力のペアを多数用意（教材の準備に相当）
…
…
…
…
…
…
…
…
…
…

「0」
「1」
「2」
「3」
「4」
「5」
「6」
「7」
「8」
「9」

「2」
…

…

…

…
…

3. 用意したデータセットで、設計したニューラルネットワークを学習する

Output：画像認識結果…

…

2. ニューラルネットワークの構造を設計する（脳の構造設計に相当）

画像認識機（Neural Network）

Input：画像

従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある
5

認識問題におけるNeural Networkの学習
MNISTデータセット（手書き数字認識）※画像認識問題の論文においてよく性能評価に利用される最もポピュラーなデータセットの一つ

28

学習前

http://yann.lecun.com/exdb/mnist/

学習用データ28784

出力ニューロン
y=各数字である確率(10)

X:0,Y:0
X:1,Y:0
X:2,Y:0
X:3,Y:0
X:4,Y:0
X:5,Y:0

結合重みW（乱数で初期化）

…

…

…

…

60000 枚の28x28ピクセルのモノクロ画像と、画像の表す0,1,…,9の数字（所望の認識結果）からなるデータ

入力ニューロンx=画像(28x28ピクセル)の輝度値

X:26,Y:27
X:27,Y:27

01
2
3
4
5
6
7
8
9

0.1
0.1
0.0
0.1
0.0
0.2
0.3
0.0
0.1
0.0

誤10

出力が正解に近づくようにWを少しずつ更新
28

学習後
28784

X:0,Y:0
X:1,Y:0
X:2,Y:0
X:3,Y:0
X:4,Y:0
X:5,Y:0

結合重みW（学習済み）…

…

…

…
X:26,Y:27
X:27,Y:27

学習は、入力データに対し所望の出力データが得られるWを求めることに相当60
123456789

0.0
0.0
1.0
0.0
0.0
0.0
0.0
0.0
0.00.0正10学習データを用いたWの更新方法
ニューラルネットワークでは、乱数で初期化したパラメータWをミニバッチ勾配降下法（Mini-Batch Gradient Descent）で更新していくのが一般的

2. Forward

1. 学習データからミニバッチ（256個程度のデータ）を取得
2. ミニバッチを用いてForward計算を行い、現在のパラメータWによる出力yとロス（最小化したい値）Eを求める
3. Backward計算を（ロスEの逆伝播）行い、パラメータWの勾配を求める
4. Updateを行う（求めたWの勾配を元にWを更新）
E（入力から出力を計算）
パラメータW…

入力 xW’ ← W – ηδEδW（ηは学習率）…

w

4. Update…

δE
δw

…

t=1出力 y0123456789012
ロス E 3456789

パラメータの勾配

3. Backward（パラメータの勾配を計算）

データ取得→Forward→Backward→Updateを繰り返し、パラメータWを更新していく
7正解

入出力次第で無限に広がるDeep Learningの応用実現する機能入力

出力…

実現する機能

入力

出力

画像認識

画像

カテゴリ

文章の自動仕分け

文章

文章カテゴリ

音声認識

音声

文字列

機械翻訳

英単語列

日単語列

人工無能（チャット）

入力発話の単語列

期待応答の単語列

センサ異常検知

センサ信号

異常度

ロボット制御ロボットのセンサ

ロボットのアクチュエーター

…

Deep Learningは汎用技術。応用開発人材の育成と、活用の促進が求められる
8

Deep Learning応用イメージ
センサ波形異常検知

異常検出機

時系列センサデータ

異常度…

制御結果の予測

予測機制御に用いる入力

制御結果
…

980%

Deep Learning応用イメージ
波形予測

時系列予測機

時系列センサデータ

次の時刻の観測値
…

制御

0.33

制御機
制御に用いる入力制御量…

10

Deep Learningにより大きく変わる機能開発の概念
従来

現象や機能をモジュールに分解しプログラミング

Deep Learning時代
End-to-end学習：データのみを元に機能全体を獲得

手書き数字認識

前処理

画像特徴抽出画像勾配計算••判別分析

ヒストグラム開発には多くの専門知識を要求⇒開発難易度が高い
開発者の理解の範囲でのみが機能化可能⇒実世界の課題では多くの場合低精度••データを用意するのみで、ほとんど専門知識なく機能の開発が可能⇒開発難易度が低い
開発者の知見を超え、データの持つ情報が余すところなく機能に反映される⇒高精度

Deep Learningは実世界の多くの課題において、開発効率と精度で従来型開発手法を圧倒
11

なぜEnd-to-end学習でより高い性能を実現することができるのか
従来

現象や機能をモジュールに分解しプログラミング

Deep Learning時代
End-to-end学習：データのみを元に機能全体を獲得

ロジック

シンプルな数式、数万行程度のコード•••人間の理解できる範囲のシンプルなロジック（論文に書くことができる範囲）の組み合わせ
ごく限られた条件での物理現象を除き、実世界の課題の多くは説明しきれなかった
Deep Learningの登場以後、従来法による過去の研究開発の多くが無用の長物と化しつつある

数千万以上の規模の人工ニューロンによる非線形表現•••

人の理解を超えた複雑かつ無数のロジックをデータから獲得させることに相当
ニューラルネットワークのサイズを大きくし、多くのデータを与えれば与えるほど青天井に性能が向上
様々な分野で従来手法を急速に置き換えつつある（ノイズ除去などの信号処理、物理シミュレーション、天気予報…）

Deep Learningは、原理的にシンプルな理論で記述できない問題の多くで圧倒的高精度を実現する
12

Deep Learningにおけるデータの重要性
データの量

データの質
性能log(データ数)に対し線形に性能が向上

Exploring the Limits of Weakly Supervised Pretraining
Dhruv Mahajan, Ross Girshick, Vignesh Ramanathan, Kaiming He, Manohar
Paluri, Yixuan Li, Ashwin Bharambe, Laurens van der Maaten
https://arxiv.org/abs/1805.00932

データの質
局所的データ
高ノイズデータ
低解像度データ
単一モーダル
統計値・匿名化/加工済みデータ…

多様なデータ
低ノイズデータ
高解像度データ
マルチモーダル生データ

Deep Learningにおいて、データの量と質は性能に直結実益を目的とした研究開発の多くでは、大量高品質なデータ無く最先端研究は成し得ない時代に
13

Deep Learning技術の特長まとめ
1. 高精度

3. 汎用

2. 簡単

性能

DeepLearning

従来型
機械学習手法Log(データ量)ロジックベースのアルゴリズム、従来型機械学習手法の多くを精度で圧倒

Dataset

…「0」
…「1」
…「2」
…「3」
…「4」
…「5」
…「6」
…「7」
…「8」
…「9」

学習
NeuralNetworks
データからの学習のみで機能を獲得実現する機能

入力

出力

画像認識

画像カテゴリ

文章分類

文章カテゴリ音声認識

音声文字列

機械翻訳

英単語列

日単語列

チャット

入力単語列

応答単語列

異常検知

観測信号

異常度

ロボット制御ロボットのセンサ

アクチュ
エーター

…

Deep Learningひとつで様々な知的機能を実現

Deep Learningは産業だけでなく研究開発にもパラダイムシフトをもたらす
14

製品・サービス応用事例

15

応用事例：メガネの似合っている度合いの評価
これまでメガネのECサイトでの販売は試着せずに購入するということに対するハードルが高かった。
顔写真をアップロードし、バーチャルでメガネをフィットさせ、マッチ度として似合うかどうかの評価をすることで、購入へ促すサービスを展開している。
メガネが似合っているかどうかを評価

導入先 ECサイト
概要
目的

メガネの販売促進

Deep Learning エンジン

ウェブページ上にアップロードされた顔写真と選択されたメガネがどの程度似合っているのかどうか評価する

サービスイメージ

モデル メガネのマッチ度評価
入力
画像（メガネをかけた人）

データ

出力
数値（マッチ度）

80%
https://brain.jins.com/
16応用事例：行動認識ソリューション
スマートフォンから収集された加速度やジャイロなどのセンサーデータをもとにして、ユーザの行動パターンを判別する。
導入先 スマートフォン
概要
目的

ユーザ行動の見える化

Deep Learning エンジン

走行入力

出力

時系列（加速度、角速度など複数のセンサーデータ）

クラス（歩行、走行、自転車、電車など）

角速度気圧
17

歩行電車

走行

・・・

加速度

自転車

スマートフォンから取得可能な時系列データをもとに、ユーザの日中の行動を分類し、可視化する

サービスイメージ

モデル 行動認識

データ

スマートフォンのデータから行動認識

応用事例：Xperia Smart Launch
スマートフォンから収集された加速度などのセンサーデータをもとに、端末を横向きに構える動きを検出してカメラ起動画面を表示する。
導入先 スマートフォン（Xperia XZ3）
目的

カメラの起動を高速化、シャッターチャンスを逃さない

概要

センサーデータからの動作検出によるカメラ起動
加速度センサーなどの情報からカメラを構える動作を検出し、即座にカメラアプリを起動する

Deep Learning エンジン

サービスイメージ“Smart Launch”

モデル 動作検出データ

入力

出力

時系列（加速度などのセンサーデータ）

クラス（カメラの構え/それ以外）

Z軸

Y軸

X軸

(2) 端末を振り上げ(3) 横向きに構える(4) 丸窓画面が表示(5) 丸窓をタップ(6) カメラが起動

カメラの構えそれ以外※モデルサイズの極小化も実現

18(1) 撮影対象を発見

Deep Learningのソニーグループ内活用事例
画像認識

ソニーのエンタテインメントロボット“aibo”（アイボ）『ERS-1000』の画像認識にDeep Learningが使用されています。aiboの鼻先の魚眼レンズによる画像認識においての人物判定から顔トラッキング、充電台認識、一般物体認識などで積極的に活用され、多彩なセンサーを搭載することで状況に応じたふるまいの表出を可能にしています

ジェスチャー認識

ソニーモバイルコミュニケーションズの「Xperia Ear」のヘッドジェスチャー認識機能にDeep Learningが使用されています。「Xperia Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能により、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対して「はい／いいえ」の応答や、着信の応答／拒否、通知の読み上げキャンセル、次／前のトラックのスキップを行えます

価格推定

ソニー不動産の「不動産価格推定エンジン」に、 Deep Learningが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウやナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。本ソリュー
ションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」など、ソニー不動産の様々なビジネスに活用されています

既にソニーグループ内で多数の商品化実績
19業務応用事例

20応用事例：きゅうりの自動仕分け
これまでの手作業できゅうりの等級別に仕分けしていた。
それをカメラで画像取得し、等級別の仕分けの自動化を実現した。
導入先 農家
概要
目的作業の自動化

Deep Learning エンジン

○入力

データ

21

カメラで取得した画像をもとにきゅうりを等級別に仕分ける

サービスイメージ

モデル きゅうりの等級分類

画像（きゅうり画像）

きゅうりの等級別仕分けの自動化

×出力ラベル（きゅうりの等級）
LL級

M級

L級

S級

https://cloudplatform-jp.googleblog.com/
2016/08/tensorflow_5.html

応用事例：眼病の画像診断
眼底画像をもとに、50以上の眼底画像に関して、94.5％の精度で検出できることが可能になった。これにより、画像診断にかかる時間を短縮できた。また、同時に異常箇所を指摘することで、医師は病名をより検証しやすくなり、患者は納得感を得ることができる。
導入先 医療機関目的

概要

画像診断にかかる時間の短縮
医師による見落としの防止

Deep Learning エンジン

眼底画像をもとに医療診断と異常箇所の提示
患者の眼底画像をもとに病名を推定するとともに、異常箇所を提示する。

サービスイメージ

モデル 眼底画像による医療診断、異常箇所指摘
入力
画像（眼底画像）データ

出力
カテゴリ（病名）
セグメンテーション（異常箇所）
xxx病
zzz病
・・・

22

https://deepmind.com/blog/moorfields-major-milestone/

応用事例：腐食管理ソリューションこれまで断熱材に覆われた配管に異常があるとすべて取り外し、中のパイプに腐食がないかを確認していた。それを配管画像から腐食の可能性を推定することで、不要な工事を削減し、メンテナンス費の削減とダウンタイムの短縮に貢献した。
導入先 ガス・石油業界
目的

腐食の状況を外観から予測し、不要な検査・工事を削減する

概要

Deep Learning エンジン

画像（配管）

データ！
ドローンやカメラでの監視

出力
カテゴリ（腐食リスク）

10%

23

外観から腐食の程度を推定する

サービスイメージ

モデル 腐食外観検査
入力

腐食の外観検査作業員

開けてみないと、腐食の深刻さ、影響度などは分からない？

専門家

腐食リスク: 10%

この程度なら、腐食防止剤の少量投与でOK応用事例：タクシーの配車支援システム
タクシーの運行はドライバーの経験に基づいており、ドライバー間の営業実績のばらつきが大きかった。タクシー需要を定量的に把握することにより、売り上げが向上する（前月比の売り上げ増加率が非利用ドライバーに比べ2.2倍に増加）とともに、お客様の待ち時間を短縮した。
導入先 タクシー事業会社
概要
目的タクシー１台の利益の最大化

Deep Learning エンジン

タクシーの配車支援
過去の運行実績や人口動態データ、イベント情報から現在の地点から最も需要の高い地点へナビゲートする

サービスイメージ

モデル タクシーの需要予測
入力

データ

表（タクシーの運行実績、スマートフォンの人口動態データ、イベント情報など）

出力
数値（需要予測）https://japantaxi.co.jp/news/cat-pr/2018/03/09/pr.html
24お客様応用事例: 群馬県蚕糸技術センター様・群馬産業技術センター様「蚕種(カイコの卵)の不良卵分類（一般財団法人大日本蚕糸会貞明皇后助成金事業）」•産卵台紙※1上の複数の蚕種の中から不良卵を一度に分類できるエンジンを開発し、蚕品種育成環境へフィードバックし孵化率の向上を目指す
蚕種の中から不良卵を分類

導入先 蚕種製造業者
目的概要

蚕種の孵化率向上

複数の蚕種の中から一度に不良卵を抽出・分類するエンジンを開発。蚕品種育成環境へフィードバックすることで孵化率の向上に寄与。

Deep Learning エンジン

サービスイメージ

モデル 不良卵の分類入力画像（産卵台紙※1上の蚕種）

データ

不良卵の分類エンジン
蚕種

出力

カテゴリー（不良卵の種類）
数値（位置座標）拡大図

不受精卵(10,13),(12,15)・・・
普通死卵(8,9),(110,11)
・・・
催青死卵(13,5),(15,7)※1 産卵台紙:カイコに卵を産みつけさせる厚手の紙※2 催青死卵: 「催青」とは、蚕種を適切に管理された環境に置き孵化させることを意味し、「催青死卵」は催青中に死んだ蚕種を指す。

25■普通死卵: 14■不受精卵: 49

蚕種製造業者■催青死卵: 1

孵化率向上↑
蚕品種育成環境へフィードバックお客様応用事例：三恵技研工業株式会社様・群馬産業技術センター様-ロボットアームへの応用•画像認識による位置座標検出と分類を組み合わせることでロボットビジョンを構築し、ピッキング作業などを自動化するロボットアームへの応用をご検討。
導入先 製造業 など
目的概要

ピッキング作業などの自動化

Deep Learning エンジン

画像認識によるロボットビジョンの実現
画像をインプットに対象物の認識・分類と位置座標の検出を組み合わせることで、ロボットビジョンを実現。

サービスイメージ

モデル 画像認識
入力

画像（生産ラインなど）

出力

数値（位置座標）
カテゴリ（対象物の分類）

データ(10,30), (50,90)
カード(スペード,A)

26▲位置座標を元に対象物をピックアップ▲対象物の分類ごとに仕分けDeep Learning活用成功のヒント

27

Deep Learningによる研究開発に取り組むにあたっての様々な障害
心理的障害

これまでの研究開発成果が無用の長物となる危機感
一過性の技術ではないか…？

実務上の障害既存技術を上回る精度が得られるとは思えない

Deep Learningのコンセプトの習得が困難

ブラックボックス技術で挙動が説明できないため研究開発には使えない情報系研究開発者のみ関連する話なのでは…？

新たなソフトウェア環境の習得が必要

Deep Learning活用による具体的成果が想像しづらい

自分の取り組んでいる研究開発領域はDeep Learningとは無縁なのでは…？

膨大なデータが必要

Pythonや数学的基礎の習得が困難

膨大な計算時間が必要

デバッグ、試行錯誤に時間を要する計算環境への投資が必要

迅速な習得、活用、人材育成にはこれらを効率的に克服できる手順が有効
28

Deep Learningによる研究開発に取り組むにあたっての様々な障害
心理的障害

実務上の障害解決
これまでの研究開発成果が無用の長物となる危機感
一過性の技術ではないか…？

既存技術を上回る精度が得られるとは思えない

Deep Learningのコンセプトの習得が困難

ブラックボックス技術で挙動が説明できないため研究開発には使えない情報系研究開発者のみ関連する話なのでは…？

新たなソフトウェア環境の習得が必要

Deep Learning活用による具体的成果が想像しづらい

自分の取り組んでいる研究開発領域はDeep Learningとは無縁なのでは…？

膨大なデータが必要

Pythonや数学的基礎の習得が困難

膨大な計算時間が必要

デバッグ、試行錯誤に時間を要する計算環境への投資が必要

実際にDeep Learningに触れることで、心理的障害のほとんどは払拭することができる
29

Deep Learningによる研究開発に取り組むにあたっての様々な障害
心理的障害

実務上の障害解決
これまでの研究開発成果が無用の長物となる危機感
一過性の技術ではないか…？

既存技術を上回る精度が得られるとは思えない解決
Deep Learningのコンセプトの習得が困難

ブラックボックス技術で挙動が説明できないため研究開発には使えない

情報系研究開発者のみ関連する話なのでは…？

新たなソフトウェア環境の習得が必要

Deep Learning活用による具体的成果が想像しづらい

自分の取り組んでいる研究
開発領域はDeep Learningとは無縁なのでは…？

膨大なデータが必要

Pythonや数学的基礎の習得が困難

デバッグ、試行錯誤に時間を要する

膨大な計算時間が必要

Deep Learningの体験

計算環境への投資が必要

導入の敷居の低い環境を用いることで、効率よくDeep Learningを体験できる30

ソニーのDeep Learningツール
Neural Network Console

31

Neural Network Console

dl.sony.com

 GUIベースで本格的なDeep Learningの研究・開発を実現する統合開発環境
 2015年よりソニーグループ内で活用し、開発業務の効率化と人材育成を実現してきた

Windows版 無料
クラウド版 基本料金無料～

 開発者は本ツールを用いDeep Learningを用いた技術を効率的に開発可能
 開発した認識機等はオープンソースのNeural Network Librariesを利用して商品搭載可能

Deep Learningの開発環境は、既に実務で活用可能なレベルにある32

ソニーのDeep Learningツール
Neural Network Console
Demonstration
33

ソニーのDeep Learningツール
Neural Network Console
Demonstration
34

マルチGPU環境の提供（Cloud版）• ニューラルネットワークの学習には膨大な演算が必要•

必要な演算量は主に扱うデータの量とニューラルネットワークの構造に依存• GPU、マルチGPUを用いると、学習完了までの時間を大幅に短縮できる•

ネットワークにもよるが、10倍～数百倍高速に学習できる•

同じ開発期間でより多くの試行錯誤を行うことが可能に• 環境のセットアップ、メンテナンス作業不要で豊富なGPUリソースを利用可能•

開発者はDeep Learningの開発作業に集中できる※計算リソース利用料は学習・評価実行中のみの従量課金

最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能35作成したモデルを外部システムで利用する方法は5通り
利用方法

実行環境

言語

GPUの利用

メリット

デメリット

1. NNabla Python
CLI

Neural Network
Libraries

Python
(CLI)

Yes

最も簡単

低速

2. NNabla Python
APIPython

Yes

比較的容易

3. NNabla C++
RuntimeC++

Yes

推論時にPython不要

4. NNabla C
RuntimeCNo

非常にコンパクトに組 環境に合わせた最み込み可能
適化が必要

環境により様々環境により様々環境により様々

5. ONNX 対応ソフ
トウェア、ハードウェア

各社の提供する
ONNX対応Runtime

現状は互換性の問題が生じることも※ NNabla C++ Runtimeからの実行方法 https://github.com/sony/nnabla/tree/master/examples/cpp/mnist_runtime※ NNabla C Runtimeからの実行方法 https://github.com/sony/nnabla-c-runtime※ ONNXへのコンバート方法 https://nnabla.readthedocs.io/en/latest/python/file_format_converter/file_format_converter.html

目的に合わせて最適な利用方法を選択
36

人材育成
2018年度末時点でグループ内2,000人以上の社員がNeural Network Consoleを利用。
Deep Learningの人材の垂直立ち上げにも成功。

※ソニー内で行われたDeep Learning講習会の様子

Deep Learningは「習うより慣れろ」。直観的理解が活用促進につながる37

ソニーのIoT向けボードコンピュータ
SPRESENSE

38

IoTでのDeep Learning活用を加速するSPRESENSE
CPU

ARM® Cortex®-M4F x 6 cores

Maximum Clock
Frequency

156 MHzSRAM

1.5 MB

Flash Memory

8 MB・IoT向けスマートセンシングプロセッサ搭載ボード
・様々なセンサとの連携が可能・乾電池で動作する低消費電力
・ソフトウェアはArduino IDE、Eclipse IDEにて開発可能
https://www.sony.co.jp/SonyInfo/News/Press/201805/18-044/
https://developer.sony.com/develop/spresense/

Neural Network Consoleで学習したニューラルネットワークを動作させることもできる※SPRESENSEに搭載可能なサイズのニューラルネットワークに限る
39低電力でロバスト性の高いSPRESENSE
FD-SOIトランジスタ
Gate
SourceDrain
超薄膜絶縁層JAXAプロジェクトに採用

Si層

圧倒的な省電力
高ロバスト性40

ガンマ線照射：トータルドーズ約 20krad
プロトン照射：トータルドーズ約 30krad
で問題なし。

Neural Network Console x SPRESENSE
Neural Network Consoleで学習したニューラルネットワークをSPRESENSEで動作させる手順

41

Neural Network Console x SPRESENSE
Neural Network Consoleで学習したニューラルネットワークをSPRESENSEで動作させる手順
1.

Neural Network ConsoleのGUIから、学習したニューラルネットワークのモデルファイル(*.nnb)をダウンロード（クラウド版）、もしくはExport（Window版）

2.

取得したモデルファイルをSPRESENSEのSDカード直下に配置

3.

SPRESENSE SDKの提供するDNNRTライ
ブラリを用いて、SPRESENSE上でニューラルネットワークを実行
https://github.com/sonydevworld/sprese
nse/tree/master/examples/dnnrt_lenet/

42←EVALUATIONタブ右上よりNNBを選択してダウンロードを実行（クラウド版の場合）↓SPRESENSE上での手書き数字認識
実行結果nsh> dnnrt_lenet /mnt/sd0/lenet-5/model/lenet-5.nnb /mnt/sd0/lenet-5/data/3.pgm
load nnb file: /mnt/sd0/lenet-5/model/lenet-5.nnbload pnm image: /mnt/sd0/lenet-5/data/3.pgm # 3 is hand-written
normalization: divide image data by 255.0 # normalization is done in theapplication-side...
start dnn_runtime_forward()
output[0]=0.000000
output[1]=0.000000
output[2]=0.000000
output[3]=0.999976 # probability that 3 is written in the given image
output[4]=0.000000
output[5]=0.000017
output[6]=0.000000
output[7]=0.000000
output[8]=0.000006
output[9]=0.000000...

Neural Network Console / SPRESENSE
Neural Network Console

SPRESENSEhttps://dl.sony.com/

https://developer.sony.com/ja/develop/spresense/

商用クオリティのDeep Learning応用技術開発を実現する統合開発環境

Neural Network Consoleで開発したニューラルネットワークを簡単に動作させることができるIoT向けボードコンピュータ

Sony deep learning

SPRESENSE

Windows版 無料
クラウド版 基本料金無料～
優れた開発環境を提供し、需要の急拡大するDeep Learning技術の普及に貢献していく
43

Deep Learning / NNCのより詳しい解説はYouTubeにてNeural Network Console YouTube
Deep Learningの入門動画からNeural Network Consoleのチュートリアル動画を公開中
44

まとめ

45

まとめ
• Deep Learningは研究開発のありかたをも変える破壊的テクノロジー• 実世界課題の多くで従来手法を上回る精度を実現• 従来手法より簡単かつ汎用• ノウハウ蓄積型からデータセントリックな研究開発へ• 本日紹介した環境も含め、Deep Learningを活用するためのソフトウェア、ハードウェア環境は既に十分整っている• いち早く触れて、その実態を正しく理解すること、効果を実感することが活用と人材育成加速の近道
Deep Learningの活用により研究開発を加速し、より豊かな社会の早期実現を
46

SONYはソニー株式会社の登録商標または商標です。
各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。

参考資料 (1/2)••

Neural Network Console
https://dl.sony.com/ja/••

YouTube（Deep Learning入門、NNCチュートリアル動画など）
https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA••Neural Network Consoleスターターパック（企業向け研修プログラムとテクニカルサポート）
https://dl.sony.com/ja/business/••

Neural Network Libraries
https://nnabla.org/ja/••

Twitter（Neural Network Libraries / Consoleに関する最新情報など）@NNC_NNL_jpn48

参考資料 (2/2)
リックテレコム社より発売の「ソニー開発のNeural Network Console入門 --数式なし、コーディングなしのディープラーニング」が改訂され、クラウド対応版になりました。
Neural Network Consoleを用いた異常検知、文章分類の方法についても紹介されています。

CQ出版社より発売のインターフェイス誌 2019年1月号の特集、「小型リアルタイム組み込み人工知能」第一部にて、Neural Network
Libraries / Consoleを使った認識機の学習から、SPRESENSEほか小型マイコンで動作させるまでの流れが解説されています。
組み込み用途での利用を検討されている方にお勧めです。

49