2017/12/25 情報系Winterfesta episode3＠NII

基盤研究(S) 2017-2021

機械可読時代における文字科学の創成と応用展開
内田誠一(気の弱い代表・九大・文字野郎)
牛久祥孝(分担・東大・ ACT-Iゲット画像文字化野郎)
末廣大貴(代表の敵・九大・難解な機械学習理論野郎)
早志英朗(代表の敵・九大・DNNは嫌いなNN野郎)＋柳井啓司(分担・電通大・今日はしゃべらないDNN野郎)

人間は文字を読んで生きている！
文字は重要！

最近は計算機も文字を読めるようになってきた！
文字ぐらい楽勝で読みますが何か？

DNN大先生

だったら計算機の力をかりて文字のイロイロなヒミツを解明したい！
DNN大先生とゆかいな仲間たち

文字のヒミツ(？)４大機能
ラベルにより周囲の事物が非曖昧化される

言語表現された知識・意味は文字経由で我々に届く

ラベル メッセージ
デザイン 通信符号
29letters.files.wordpress.com©Diorスタイリッシュさ，文字は変形・ゴージャスさなどの ノイズに非常に強い，雰囲気を醸し出す
優れた通信符号©IEICE

実はあまり解明されてない！
周囲の情景と文字情報の関係は？

どこからどのような文字情報を得ているのか？

ラベル メッセージ
デザイン 通信符号
29letters.files.wordpress.com©Dior

雰囲気とフォントデザインの関係は？

変形耐性を持ったアルファベットの生成原理は？
©IEICEいままで解明できてなくても今ならできる！
だれ？

pakutaso.com

なので早速...

文字消したり[Nakamura+, ICDAR2017]

環境内文字の意味分布を調べたり

Scene texts

Word2vec+K-means+MDS[Uchida+, ICPR2016]

書籍20万冊分のタイトルのフォントデザインを調べたりフォントのタイプ

ジャンル

Comics, Engineering, Sports
ジャンルの本のタイトルにはserif –fonts
あまり使わないbold-fonts
多用[品原，内田, PRMU2017]

文字作ったり[Atarsaikhan+, ICDAR-WML2017]

wGAN[阿部+, PRMU2018]

27番目のアルファベットを生成

文字使って，CNNの学習過程を調べたりしてますpool1

pool2fcこれからもっとモジモジしながら，重箱の隅をつつき破って，文字にしかできない研究を突き進めたい！

「重箱の隅つつき破る君」©杉本 潤@内田研OB

隠れ文字好き集まれ～！

①牛久(若者)
画像説明文生成

文字を介してメディアを繋ぐ

柳井
画像認識

文字科学
②末廣(若者)③早志(若者)
機械学習理論 機械学習のテスト対象 機械学習応用としての文字活用

画像キャプション生成 牛久祥孝（東大）
画像の内容を自然言語で説明する文の生成
自然文によるメディア検索

視覚障碍者の支援システム

動画の素早い理解を支援

我々のこれまでの取り組み
フレーズに基づく
画像キャプション生成

Sentiment表現を持つ
画像キャプション生成

動画の特定区間とキャプションの相互検索

A yellow train on thetracks near a train station.

A zebra standing in afield with a tree in thedirty background.

A guy is skiing with no shirt
on and yellow snow pants.

[Ushiku+, ACMMM 2012][Ushiku+, ICCV 2015][Shin+, BMVC 2016][Yamaguchi+, ICCV 2017]

基盤Sで新たにやりたいこと• 情景内文字情報を用いたキャプション生成– 情景内文字情報による精緻化– 理解を妨げる文字情報不足している文字情報 を指摘

This beach isdangerous• ライフログ画像からモダリティ依存性解析– 文字列から、画像から、それぞれ言語情報獲得– それぞれの関係解析＋ACT-Iとしてもキャプション生成の研究を開始(i)個人の傾向、(ii)詳細な表現、(iii)教師キャプションがないデータへの対応

Learning theory and algorithms
for local features[a rX iv:1 7 0 9 .0 1 3 0 0 ]末廣 大貴（ 九大 / 理研A IP）

局所特徴

1.5
1.0

target_s[[i]]
value

0.0
−0.5

100150正常50100Index

異常−0.5

−0.5

0

−0.5

0.5

1.0

50

0.0

0.5

target_s[[i]]
value

1.0

2.0

0

1.5

150

2.0

100

1.5

50

0.0

target_s[[i]]
value

05

0.5

1.5
1.0
0.5

target_s[[i]]
value

0.0
−0.5

3

局所特徴

2.0

時系列分類
2.0

画像認識

gun_temp_model3$s[[2]] gun_temp_model3$s[[1]]
0.5
1.0
1.5
0.0
0.5
1.0 −0.5
1.5 0.0「 局所特徴」 を 使っ た分類手法は非常にポピ ュ ラ ー050100150050100

150050100Index

Q.「 良い局所特徴」 を ど う やって学習する か？
実は統一的な枠組みがない（ ド メ イ ン 依存）
多く は理論的な汎化性能保証がない

1

現在の主結果
局所特徴学習に対する統一的な枠組み
アルゴ リ ズム
汎化性能保証}全てを 与えた

時系列データ で最新手法に匹敵する 実験精度
その他

100

提案手法

7550250A d ia cBeef

Ch lo rine e.

Co ffe

ECG5 D

Face4

Gu n Po in t

Ita lyPo w .

Lig h t.7

M ed .Im a g e M o teStr.

So n y.

Sym b o ls Syn th e.C.

Tra ce

本研究の共同研究者：
畑埜 晃平（ 九大， 理研A IP） ， 瀧本 英二（ 九大） ，山本 修司， 坂内 健一（ 慶大， 理研A IP） ， 武田 朗子（ 統数研， 理研A IP）

Tw o L.ECG

事前知識を導入したニューラルネットワーク
はやしコンセプト

早志 英朗（九州大学）

対象固有の性質（計測前にわかる情報）
識別対象
データの分布データ（入力）マルコフ性の有無

数理モデルとして構造に埋め込む

条件により変化する性質

Neural Network（計測後にわかる情報）
個人差（生体データ）
識別クラスと入力の対応 パラメータとして学習何がうれしいか？
実用面：汎化性向上，探索パラメータ減少
理論面：内部構造解析 → NNのホワイトボックス化

具体例と文字解析応用に向けてモデルを埋め込んだニューラルネットの応用例
隠れマルコフモデル＋脳波識別

Johnson分布＋筋電識別(Hayashi+, TNNLS 2015)(Hayashi+, IWCIA 2015) (Hayashi+, Submitted)

EEGKk2
1𝑝 𝑥・・・

高次相関＋テクスチャ認識𝑥

文字はデータとしての性質が特徴的
線状記号
画像かつ非マルコフな時系列
有限個のカテゴリを持つ「文字ならでは」のニューラルネットワーク構築を目指す