愛媛大学工学部附属 社会基盤iセンシングセンター
第2回 仕繰セミナー

深層学習を用いた自然言語処理技術と画像処理技術の事例紹介

愛媛大学 大学院理工学研究科 電子情報工学専攻/
社会基盤iセンシングセンター アナリシス部門
二宮 崇
ninomiya@cs.ehime-u.ac.jp
2020年6月19日

人工知能分野
人工知能(AI)

探索

プラニング

対話

制約ソルバー

確率推論
ベイジアン
ネットワーク

音声認識

命題論理
一階述語論理知識表現
オントロジー

強化学習
ロボティクス

画像認識
物体認識

機械学習
(Machine Learning)
深層学習(Deep Learning)

自然言語処理機械学習：データから法則を見つけ出す手法
深層学習：ニューラルネットワーク(NN)を複数層重ねたモデル
Stuart Russell, Peter Norvig (2010) Artificial Intelligence: A Modern
Approach, 3rd Edition.

2

人工知能の分類と自然言語処理
人工知能(AI)
機械学習(Machine Learning)
深層学習(Deep Learning)

自然言語処理3

深層学習のインパクト深層学習 ＝ 多層ニューラルネットワーク(NN)による学習
 ニューラルネットワーク
 人間の脳の神経細胞（ニューロン)の仕組みを模した計算モデル
 パーセプトロン (Rosenblatt 1958)
 畳み込みNN (福島 1980)(LeCun+ 1989)
特徴抽出、表現学習
従来の画像認識では人手で特徴抽出器を作っていたが、深層学習ではこれらの特徴を自動的に学習することがわかってきた


顔の全体像

多層NN
Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng (2011)
Unsupervised Learning of Hierarchical Representations with Convolutional
Deep Belief Networks, Communications of the ACM, Vol. 54 No. 10, Pages
95-103

目や鼻などの顔のパーツ
線や円などの単純な図形

4

深層学習のインパクト

深層学習の圧倒的精度

2012年のILSVRC (ImageNet Large Scale Visual RecognitionChallenge)における画像分類の精度
 2010年 71.8% (NEC Labs America, Univ. of Illinois at UrbanaChampaign, Rutgers Univ.)
 2011年 74.2% (Xerox Research Center Europe, CIII)
 2012年 83.6% (Univ. of Toronto) … この年に深層学習が圧勝 2013年 88.3% (Clarifai)
 2014年 93.3% (Google)
 2015年 96.4% (MSRA) … 人間の分類精度(95%)を超えたと言われる
 2016年 97.0% (公安調査庁第3研究所，中国)
 2017年 97.75% (Momenta, Univ. of Oxford)
Olga Russakovsky+ (2015) ImageNet Large Scale Visual Recognition Challenge, International Journal ofComputer Vision, Volume 115, Issue3, pp 211–252
http://image-net.org/challenges/LSVRC/2017/index.php

5深層学習のインパクト
従来の機械翻訳「統計的機械翻訳」• 並べ替え確率と翻訳確率による確率モデル

深層学習による機械翻訳「ニューラル機械翻訳」• ベクトル表現を中間表現とする
ニューラルネットワーク(NN)
昨日、本を読んだ

I read a book yesterday
並べ替えI yesterday a book read
私は 昨日

翻訳

本を 読んだ

従来の統計的機械翻訳の性能を抜いて人間が行う翻訳にかなり近くなった

日本語を生成する
NN

ベクトル表現
英語を理解するNN

I read a book yesterday

6

機械学習


機械学習 = データから関数を学習する学問分野

大量のデータ

深層学習も機械学習の一種

𝑥𝑥

𝑓𝑓 𝑥𝑥

𝑓𝑓𝑦𝑦

7

機械学習


データから関数を学習


関数は、入力(x)と出力(y)の関係を表す

𝑥𝑥 → 𝑦𝑦𝑓𝑓

大量の入出力ペア(x, y)の集まり(データ)から関数𝑓𝑓を予測大量のデータ

𝑥𝑥1 , 𝑦𝑦1𝑥𝑥2 , 𝑦𝑦2𝑥𝑥3 , 𝑦𝑦3⋮𝑥𝑥𝑛𝑛 , 𝑦𝑦𝑛𝑛

学習𝑓𝑓8

機械学習
例：犬猫判別機 𝑓𝑓(𝑥𝑥)
入力𝑥𝑥

出力𝑦𝑦𝑓𝑓

犬大量のデータから関数𝑓𝑓 を学習する

データ：猫：犬：犬：猫：犬…

𝑓𝑓: 画像 → 犬/猫
9機械学習

データから関数を学習
入力 𝑥𝑥 = 𝑥𝑥1 , 𝑥𝑥2 , ⋯ , 𝑥𝑥𝑚𝑚 ←m次元ベクトル(画像の場合は、赤、青、緑の画像に対応する3つの行列)
 データ𝐷𝐷は入力𝑥𝑥と出力𝑦𝑦のペアの集合




関数𝑓𝑓は重み変数の集合 𝑤𝑤 = 𝑤𝑤1 , 𝑤𝑤2 , ⋯ 𝑤𝑤𝑚𝑚 からできているとする
例: 𝑓𝑓 𝑥𝑥 = 𝑤𝑤1 𝑥𝑥1 + 𝑤𝑤2 𝑥𝑥2 + ⋯ + 𝑤𝑤𝑚𝑚 𝑥𝑥𝑚𝑚
 𝑓𝑓は𝑓𝑓𝑤𝑤 𝑥𝑥 と書くとわかりやすい
学習 = データ𝐷𝐷に対する誤差を最小にする重み変数𝑤𝑤を求める
データ全体の誤差 𝐸𝐸(𝑤𝑤) = �(𝑥𝑥,𝑦𝑦)∈𝐷𝐷

𝑦𝑦 − 𝑓𝑓𝑤𝑤 𝑥𝑥2

他にも、マージン最大化、確率最大化による学習がある。
関数の最小値を求める方法は「最適化」という領域で研究されている
10教師付き学習と教師無し学習

教師付き学習 入出力ペア(x, y)の集まり(データ)から関数𝑓𝑓を予測
教師無し学習 入力xの集まり(データ)から関数𝑓𝑓を予測
教師付き学習(supervised learning)

𝑥𝑥1 , 𝑦𝑦1𝑥𝑥2 , 𝑦𝑦2𝑥𝑥3 , 𝑦𝑦3⋮𝑥𝑥𝑛𝑛 , 𝑦𝑦𝑛𝑛

学習

教師無し学習(unsupervised learning)

𝑓𝑓𝑥𝑥1𝑥𝑥2𝑥𝑥3
⋮𝑥𝑥𝑛𝑛

学習

𝑓𝑓

正解データ(出力データ)がないので基本的に難しい

11

深層学習


関数：重み付き線形和と非線形変換を多層化したもの
 フィードフォワードニューラルネットワーク

𝑥𝑥𝑥𝑥𝑦𝑦GoogLeNet (22層)※画像分類に有効なネットワーク

 再帰型ニューラルネットワーク

𝑦𝑦herunsfast

彼は走るのが速い

</S>

</S>

彼は走る
Decoderのが速い

Encoder
Encoder-Decoderによる機械翻訳

Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan,
Vincent Vanhoucke, Andrew Rabinovich (2014) Going Deeper with Convolutions, CVPR 201512

ニューラル機械翻訳


２つの再帰型ニューラルネットワークを用いた機械翻訳
エンコーダー: 入力文(英語)を中間表現(数百次元のベクトル)に変換
 デコーダー: 中間表現から出力文(日本語)に変換
𝑦𝑦𝑥𝑥
herunsfast

彼は</S>

彼𝑦𝑦

走るのがは走るのエンコーダー𝑧𝑧

速い

</S>

が速い

デコーダー
ニューラル機械翻訳

13

キャプション生成(説明文生成)

畳込みニューラルネットワーク(CNN)と再帰型ニューラルネットワーク(RNN)を用いたキャプション生成
エンコーダー: 画像を中間表現(数百次元のベクトル)に変換
 デコーダー: 中間表現から出力文(日本語)に変換
𝑥𝑥

畳込みニューラルネットワーク
(CNN)

𝑦𝑦

法被

</S>

を法被

エンコーダー
キャプション生成

𝑦𝑦
着てを踊っ

𝑧𝑧ている

男性

</S>

深層学習によって、言語や画像、音声など様々なメディアの情報をている
男性
着て踊っ同時に扱うことが容易になった
デコーダー
14

キャプション生成の例(1)
入力画像

生成文
a zebra standing on a snow

キャプション生成の例(2)
入力画像

生成文
a cat sitting on a bed
with a bed

キャプション生成の例(3)
入力画像

生成文
a bathroom with a sinkwith a toiletキャプション生成の例(4)
入力画像

生成文
a man holding a nintendo
wii gameテキスト-画像生成

生成器と識別器を互いに競い合わせることで、より本物に近い画像が生成されるように学習(GAN)

生成器：テキストの内容に沿った偽画像を生成
 識別器：画像が本物か、テキストの内容に沿っているか判断

本物？偽物？
ランダムノイズ

生成器

本物画像

識別器

テキスト

テキスト通り？
偽画像

テキスト-画像生成の例
英文: Group of people walking
on the heavy snow.

データセットに含まれる本物画像

テキスト-画像生成モデルが生成した画像

アテンション付きLSTMエンコーダーデコーダーモ
デル (Bahdanau+2015)
アテンション機構とLSTMを用いたニューラル機械翻訳
LSTM: Long Short-Term Memoryと呼ばれる計算ユニット
 エンコーダー・デコーダー: LSTMを用いた再帰型ニューラルネットワーク
 アテンション機構: エンコーダーの内部状態を参照してデコーダの出力を決定する機構
彼は走る

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

herunsfast</S>彼

はエンコーダー

デコーダー
ニューラル機械翻訳21

Transformer モデル (Vaswani+2017)

自己アテンション機構を用い，文内における単語間の関連の強さを得るのが特徴のニューラル機械翻訳

言語間アテンションで原言語・目的言語文間の単語の関連の強さを得ることで，EncoderからDecoderへ入力を行う



畳込みニューラルネットワークでも再帰型ニューラルネットワーク
でもない新しいタイプのニューラルネットワーク

 自己アテンション機構の例(Encoder側)I
like playing tennis
I
言語間アテンション

like自己アテンション

playing

自己アテンションtennis22

人工知能研究室の研究活動

23人工知能研究室の研究活動


深層学習を使ったマルチモーダル自然言語処理の研究
出力

入力

用途
機械翻訳
自動要約
文法誤り訂正

テキスト

関数𝑓𝑓

テキスト

画像

関数𝑓𝑓

テキスト

画像-キャプション生成

テキスト

関数𝑓𝑓

画像

テキスト-画像生成

関数𝑓𝑓

テキスト

マルチモーダル機械翻訳

テキスト
画像

マルチモーダル機械翻訳
 画像情報を与えることで機械翻訳の精度改善
 画像内オブジェクトと語/句の対応関係を学習

翻訳タスクを介した画像と語/句のグラウンディング
CNN

鶴を見た

私は鶴を視覚的アテンション
言語間アテンション

Isawa crane←craneはクレーン？鶴？

25

教師付きアテンション制約を用いたマルチモーダル機械翻訳

視覚的アテンション制約• 視覚的アテンションの教師付き学習• 画像内の物体と翻訳元文の単語との対応関係を抽出して、視覚的アテンション機構に制約を与えて学習"a man" に対応する領域（正解）領域の抽出"a man" に対する視覚的アテンション

近づくよ
うに学習

各単語/句に対する正解領域と視覚的アテンションの領域が近づくよ
うに学習する26

教師付きアテンション制約を用いたマルチモーダル機械翻訳

言語間アテンション制約• 言語間アテンションの教師付き学習• 対応関係にある翻訳元単語と翻訳先単語を抽出し、言語間アテンション機構に制約を与えて学習[白い犬]が繋がれた[ベンチ]の上に[男]が寝ている。

言語間アテンション

対応する単語間のアテンションスコアが高くなるように学習する

27

マルチモーダル機械翻訳の実験
実験設定
 Multi30k(英→日)訓練データ: 59,516 文
開発データ: 2,017 文
テストデータ: 2,000 文
 画像エンコーダ: ResNet50
 ニューラル機械翻訳: Transformer

従来手法(教師なしアテンション)

モデル

実験結果

BLEU(%)
44.11

視覚的アテンション制約
提案手法
言語間アテンション制約(教師付きアテンション)
視覚的アテンション制約＋
言語間アテンション制約

43.89（↓0.22）44.61(↑0.50)44.98(↑0.87)28

マルチモーダル機械翻訳の例
視覚的アテンションの比較例 (man)A shirtless man is fishing, standing on large rocks that rest next to aboardwalk with a tall lamp post in the forefront.

原画像

従来手法
(教師なしアテンション)

提案手法(教師付きアテンション)manに対する視覚的アテンション

従来手法ではアテンションがほとんどかかっていないが、提案手法(教師付きアテンション)ではアテンションが強く正確にかかっていることがわかる

29

マルチモーダル機械翻訳の例
視覚的アテンションの比較例 (lamp)
A shirtless man is fishing, standing on large rocks that rest next to aboardwalk with a tall lamp post in the forefront.

原画像

従来手法
(教師なしアテンション)

提案手法(教師付きアテンション)

lampに対する視覚的アテンション
manの時と同様、提案手法(教師付きアテンション)ではアテンションがlampに対し強く正確にかかっていることがわかる

30

同期係り受け制約による機械翻訳

自己アテンションと言語間アテンションを用いた同期係り受け制約による機械翻訳の改善
自己アテンションを係り受け解析から学習 自己アテンションと言語間アテンションの整合性を保つ制約
 原言語側で係り受け関係にある単語対は目的言語側でも係り受け関係にある言語間アテンション

自己アテンション(エンコーダー)

言語間アテンション

自己アテンション(デコーダー)

産学連携研究の事例紹介


化合物名に対する構造推定 (理研AIP-富士通との共同研究)
化合物名(テキスト)→
構造式(テキスト)
 Transformer
 原子数制約とマルチタスク学習

化合物名(テキスト)
Benzoic acid, 4-(((1,1-biphenyl)-4ylmethylene)amino)-, ethyl ester

関数𝑓𝑓
構造式SMILES(テキスト)

CCOC(=O)c1ccc(N=Cc2ccc(-c3ccccc3)cc2)cc1

産学連携研究の事例紹介


化合物名辞書を用いた化合物名解析 (理研AIP-富士通との共同研究)
文中の化合物名を表す箇所をマークするタスク
 テキスト→タグ列(テキスト)
 BiLSTM-CRF
 化合物名辞書を用いたマルチタスク学習
テキスト



関数𝑓𝑓

タグ列(テキスト)

コールセンター対話ログの自動要約 (トランスコスモス社との共同研究)
テキスト(対話ログ)関数𝑓𝑓

テキスト(要約)

産学連携研究の事例紹介
マハラノビス距離を用いた軌道回路の状態基準保全に関する考察 (JR西日本との共同研究)
鉄道軌道回路における正常状態の統計量を測定
 正常状態からのマハラノビス距離を計算することで異常状態を検知
 教師無し学習

軌道回路電圧

関数𝑓𝑓

機械音を入力とする機械の故障診断
教師付き学習 教師無し学習音

関数𝑓𝑓

ラベル(故障/正常)まとめ

人工知能研究室の研究紹介
機械翻訳 マルチモーダル機械翻訳
 キャプション生成

産学連携の研究紹介
化合物名解析、化合物名の構造推定
 鉄道軌道回路の異常検出
 コールセンター対話ログの自動要約 機械音を入力とする機械の故障検出