マルチタスク学習を達成する
レザバーコンピューティングの構成と学習法
九州工業大学 ニューロモルフィック
AIハードウェア研究センター 助教
田中 悠一朗
新技術説明会 2021年12月9日

現行のAI技術⚫ 現行の人工知能（AI）技術は深層学習が中心である✓ 画像認識* や囲碁** の分野ではAIの性能がヒトを超える例もある

arXiv:1703.10593より

画像認識

画像生成

OpenAI Gym「Atari」より

音声認識

強化学習

⚫ 深層学習の成功は取り巻く環境によるものが大きい✓ ビッグデータ：大量のデータから必要な特徴を自動的に取り出す✓ 計算機能力の向上：Graphics Processing Unit（GPU）による高速化* He et al. CVPR, 2016.

** Silver et al., Nature, 2016.

1現行のAI技術の課題
1. マルチタスク学習の達成が困難✓ 多くのAIは単一のタスクに特化（例：動物画像認識AIは植物画像を識別できない）✓ 過去のタスクの学習によって獲得したパラメータが新規のタスクの学習によって上書きされる破滅的忘却の問題

2. ビッグデータが必要✓ プライバシーを含むデータや現場特有のデータなど共有不可かつ大量収集不可なデータの対応が困難

3. 高コスト演算を高速処理するための計算機が必要✓ GPUは高速だが消費電力が高い✓ 消費電力が限られる状況ではGPUの使用＝現行AIの高速実行が困難
2

マルチタスク学習の先行研究
PathNet

結合コスト最小化

複数のモジュールによって構成モジュール間の接続PathwayをSGDと遺伝的アルゴリズムで最適化

レザバーコンピューティングベース
レザバー内の結合荷重を遺伝的アルゴリズムで最適化

Fernando et al., arXiv:1701.08734, 2017より

河合 他，人工知能学会全国大会論文集，2019より

SGDや遺伝的アルゴリズムなど高い計算コストを必要とする
3

現行のAI技術の課題解決策
現行AIの課題
1.

マルチタスク学習の達成が困難

2.

ビッグデータが必要

3.

高コスト演算を高速処理するための計算機が必要

解決策（本技術のアプローチ）✓ 課題2・3に対応するため低計算コストのAIモデルである
レザバーコンピューティングをベースとする✓ 課題1に対応するためのレザバーコンピューティングの新たな構成とその学習法を考案する

4

レザバーコンピューティング⚫ レザバーとは時空間パターンから時系列入力を分析…

…

レザバー（貯水池）はそれまでに投入された石の影響を残しながら複雑なパターンを生成

時系列入力

レザバー

リードアウト⚫ レザバーコンピューティングの特徴
通常のニューラルネットワーク
学習により全ての結合荷重を更新＝学習コストが高い

…

…

…

…

誤差

レザバーコンピューティング
学習により一部の結合荷重を更新＝学習コストが低い

誤差5本技術の紹介⚫ マルチリードアウトを導入 → 破滅的忘却の回避⚫ 類似度マップ・競合学習を導入 → リードアウトの選択・地図形成

入力

レザバー

マルチリードアウト

タスクに応じて使用・学習する
リードアウトを切り替えることで破滅的忘却を回避できるタスクの類似度に応じたリードアウトの地図を形成→未学習のタスクに対してもある程度対応可能

𝑓(𝑈)タスク特徴量未学習

タスク類似度マップ
学習済

学習済
類似度空間

6

検証1：トイプロブレム⚫ タスクA：正弦波予測
タスクB：3bitパリティチェック
⚫ 各タスクを16ステップごとに切り替える⚫ 通常のレザバーコンピューティングと比較Time stepTime step7検証1：結果 (1)Task A

Task B

従来技術

本技術

従来技術で生じる破滅的忘却を回避
8

検証1：結果 (2)タスクA入力時の応答

タスクB入力時の応答

タスクAで用いる
リードアウトA・Bの中間にあるリードアウトタスクBで用いる
リードアウト

中間のリードアウトがある程度対応→未学習タスクの初期値として活用可
9検証2：触覚情報認識⚫ ロボットハンドの触覚センサ*を用いた物体認識
？
右センサ

左センサ

Can
Chips

CoffeeTomatoMeat

Cracker

Sugar

Jello

Pudding

Mustard

PicherBleachWindex

Tuna

Box
掴んで揉む
Bottle* Hamaguchi et al., IEEE RAL, 2020.

10検証2：結果⚫ タスクに使用したリードアウトの分布
Chips

CoffeeTomatoMeat

Cracker

Sugar

Jello

Pudding

TunaCanBox

MustardPitcher

BleachWindexBottleCanが上側
Box/Bottleが下側に分布→ 似た性質の物体を似たリードアウトで学習⚫ 物体認識の正答率
通常のレザバー：55.4% → 本技術：68.6%

既存技術から13.2pt 性能改善
11

想定される用途⚫ エッジ用AI✓ データのプライバシーの保護が必要なアプリケーション✓ データが現場特有かつ大量収集不可なアプリケーション✓ 消費電力が限られるアプリケーション✓ 自動車・サービスロボットが典型例⚫ 時系列予測・生成・分類・強化学習の応用✓ 入力データが時系列であれば基本的になんでもOK
但しうまく動作するためにデータの前処理が必要な場合あり✓ 近年提案されているレザバーによる強化学習に適用可能
Chang and Futagami, Applied Intelligence, 2020.

Inada et al., NOLTA, 2020.

12実用化に向けた課題⚫ 類似度算出法の確立✓ タスクのどのような特徴を抽出すべきかはタスク依存✓ 特徴抽出のタイミングが重要⚫ 転移学習への活用✓ 未学習のタスクの初期値として”中間の”リードアウトを活用⚫ 高速化・省電力化のためのハードウェア化を検討中✓ ノイマン型コンピュータで動作するソフトウェアでは限界あり✓ 非ノイマン型アーキテクチャのAIモデル専用ハードウェアを構築✓ 物理現象のダイナミクスを計算に用いる物理レザバーのリードアウトとして活用することも可能
13

企業への期待⚫ 本発明は少量学習データ・低計算コストでマルチタスク学習を実現するAI技術です⚫ 自動車やロボットなどの組込みシステムなどにおける時系列データの処理への応用が効果的と考えられます⚫ 本シーズをベースに共同研究資金・寄付金の提供や新しいエッジAIの開発を望みます

14本技術に関する知的財産権
1. 発明の名称：情報処理装置、及び情報処理方法
発明者：田中悠一朗，田向権，内野壱星
出願人：国立大学法人 九州工業大学
出願番号：特願2021-007422

2. 発明の名称：情報処理装置、及び情報処理方法
発明者：田中悠一朗，田向権，内野壱星
出願人：国立大学法人 九州工業大学
出願番号：特願2021-007423

15

お問い合わせ先
国立大学法人九州工業大学
オープンイノベーション推進機構 産学官連携本部
知的財産部門 コーディネーター小柳嗣雄（コヤナギ ツグオ）

ＴＥＬ：093-884-3499
ＦＡＸ：093-884-3531
e-mail：chizai@jimu.kyutech.ac.jp

16http://www.brain.kyutech.ac.jp/~neuro/