T2-01
Analysis of Dropout in Online
Learning
Kazuyuki Hara Nihon Univ.

Dropout is effective in online learning ?
Apply Dropout to the three layer network
and watch
effect of Dropout for redundant network
Dropout have some effect of reducing
redundancy of the network

Mean Squared Error

Error is not decreased by redundant network without
Dropout
1

0.1

0.01
0.01

0.1

1

10

100

1000 10000 1e+05 1e+06

Time:t=m/N

Mean Squared Error

Error is decreased by redundant network with
Dropout

!

!

1

0.1

0.01
0.01

0.1

1

10
100
1000 10000 1e+05 1e+06
Time:t=m/N

More about this, please visit my poster T2-01

T2-02

正例度データからの二値分類
石田 隆(1,2,3) ニュー ガン(2,3) 杉山 将(3,2)(1) 三井住友アセット(2) 東京大学(3) 理化学研究所

正例は簡単に集められるが、負例は集められない！
そんな時、どうする？
通常の分類

解きたい問題
正例

正例

提案法
正例度！

負例

正例度の付いた正例から分類器を学習しよう！
経験リスク最小化で実現、最適な1/ 𝒏収束を達成
学生優秀プレゼンテーション賞対象

T2-02

正例度データからの二値分類
石田 隆(1,2,3) ニュー ガン(2,3) 杉山 将(3,2)(1) 三井住友アセット(2) 東京大学(3) 理化学研究所

正例は簡単に集められるが、負例は集められない！
そんな時、どうする？
通常の分類

解きたい問題
正例

正例

提案法
正例度！

負例

正例度の付いた正例から分類器を学習しよう！
経験リスク最小化で実現、最適な1/ 𝒏収束を達成
学生優秀プレゼンテーション賞対象

T2-03

CNN の特徴マップを⽤いた
回転⾓推定の連続実⾏による回転画像認識（1/2）
⽚⼭ 錦・⼭根 智（⾦沢⼤学）

u 研究目的CNNを使った⼀般物体認識において２次元の回転多様性を吸収する

u 研究概要元のCNNを変更しない⾓度推定ネットワークの追加したモデルの提案
⼿書き数字のデータセット
MNISTでの⼀般的なCNNの
クラス分類
画像の回転のない識別は
⾼性能
画像の回転がある識別は低性能

T2-03

CNN の特徴マップを⽤いた
回転⾓推定の連続実⾏による回転画像認識（2/2）
⽚⼭ 錦・⼭根 智（⾦沢⼤学）

u 提案モデル
元々のCNNは変更しない
画像の回転無し→⾼精度な認識

回転⾓の推定・修正を複数回実⾏することによる精度上昇分類前の⼊⼒画像を修正

クラス分類前に特徴マップを取り出す

[T2-04] マージン最大化距離学習におけるセーフスクリーニング（学生発表）

マージン最大化距離学習の概要と問題点

マージン最大化距離学習におけるセーフスクリーニング
吉田 知貴† ，竹内 一郎 †,††,††† ，烏山 昌幸 †,††,††††
学生発表 T2-04† 名古屋工業大学，†† 物質・材料研究機構，††† 理化学研究所，†††† 科学技術振興機構


マージン最大化距離学習の概要と問題点

• 距離学習は，分類しやすくなるようなマハラノビス距離を学習する• 最適化問題を解くには非常に多くのサンプルの 3 つ組（triplet）を考えなければならない• 小さいデータセットでも triplet は膨大になり，学習に時間がかかる• 実際に必要な triplet は極わずか





マージン

ユークリッド距離

マハラノビス距離

Figure: マージン最大化距離学習
T.Yoshida, I.Takeuchi, M.Karasuyama (NITech)

Figure: 膨大な triplet

Safe Screening for Large Margin Metric Learning

IBISML 2017

1/2

[T2-04] マージン最大化距離学習におけるセーフスクリーニング（学生発表）

提案法

マージン最大化距離学習におけるセーフスクリーニング

提案法



• 距離学習の制約（半正定値制約）を考慮し，最適解を包含する超球を導出• その超球を利用して，最適解に影響を与えない triplet を排除（Screening）して高速化を図る




GB

Time / Time without Screening Screening Rate

1.0

PGB

DGB

RPB

0.5
0.0

−5

−4

−3

−2
−log10(λ)

−1

0

5

4

3

2
log10(λ)

1

0

1.5
1.0
0.5

Figure: 超球のイメージ図

Figure: 導出した 4 つの超球の実験結果

最適解の存在範囲を “超球”，“超球+半正定値制約”，“超球+線形制約” としたときのそれぞれの Screening Rule について実験・検証する
T.Yoshida, I.Takeuchi, M.Karasuyama (NITech)

Safe Screening for Large Margin Metric Learning

IBISML 2017

2/2

T2-05：エンタングルメント・エントロピーを用いた
畳み込みニューラルネットワーク

学生発表(Convolutional Neural Network with Entanglement Entropy)◯Shu Eguchi, Masaru Tanaka(Fukuoka Univ.)

Output5

Entanglement Entropy

OutputSoftmax
FC

Entanglment Entopy

FC

Reconstructio

E.E.

SVD

Convolution

Input

Input

EECNN
OutputFC

Dropout

FC

Pool

Convolution

Input

Softmax

CNN

U Sn V =

3.75

80%

85%

90%

70%

2.5

60%
40%

50%

30%

1.25

20%

= U SV01n

9 17 25 33 41 49 57 65 73 81 89 97 105 113 121 129137145 153161169 177185 193201209 217225233 241249 257265273 281289297 305313 321329337 345353361 369377 385393401 409417# of Singular Values

T2-05：エンタングルメント・エントロピーを用いた
畳み込みニューラルネットワーク

学生発表(Convolutional Neural Network with Entanglement Entropy)◯Shu Eguchi, Masaru Tanaka(Fukuoka Univ.)

Output5

Entanglement Entropy

OutputSoftmax
FC

Entanglment Entopy

FC

Reconstructio

E.E.

SVD

Convolution

Input

Input

EECNN
OutputFC

Dropout

FC

Pool

Convolution

Input

Softmax

CNN

U Sn V =

3.75

80%

85%

90%

70%

2.5

60%
40%

50%

30%

1.25

20%

= U SV01n

9 17 25 33 41 49 57 65 73 81 89 97 105 113 121 129137145 153161169 177185 193201209 217225233 241249 257265273 281289297 305313 321329337 345353361 369377 385393401 409417# of Singular Values

T2-06: Multi Task Learning with Positive and Unlabeled Dataand Its Application to Mental State Prediction
Hirotaka Kaji, Hayato Yamaguchi (Toyota), and Masashi Sugiyama (RIKEN/UTokyo)

Motivation:• Learning from a small number of labeled samples
Proposed Method (PU-MTL):• Handling Positive-Negative tasks andAnnotation -> High costs
Positive-Unlabeled tasks in multi-task learning framework

PN tasks

Information
Sharing

Application:• Real-world drowsiness prediction
with driving simulator

PU tasks
Heart beatinformation
PU-MTL
DrowsinessT2-06: Multi Task Learning with Positive and Unlabeled Dataand Its Application to Mental State Prediction
Hirotaka Kaji, Hayato Yamaguchi (Toyota), and Masashi Sugiyama (RIKEN/UTokyo)

Motivation:• Learning from a small number of labeled samples
Proposed Method (PU-MTL):• Handling Positive-Negative tasks andAnnotation -> High costs
Positive-Unlabeled tasks in multi-task learning framework

PN tasks

Information
Sharing

Application:• Real-world drowsiness prediction
with driving simulator

PU tasks
Heart beatinformation
PU-MTL
DrowsinessT2-07

報酬重み付き密度推定に基づく階層強化学習
†
† ††

長 隆之

杉山将

†† †

††

東京大学
理化学研究所

背景：現実世界では正しい方策が複数存在する
中間をとるような方策はうまくいかない

障害物

目標

複数の方策を学習し，状況に応じて適切な方策を使い分ける

階層強化学習提案手法：強化学習を報酬重み付き密度推定として捉え，最適な方策の構造を学習するT2-07

報酬重み付き密度推定に基づく階層強化学習
†
† ††

長 隆之

杉山将

†† †

††

東京大学
理化学研究所

背景：現実世界では正しい方策が複数存在する
中間をとるような方策はうまくいかない

障害物

目標

複数の方策を学習し，状況に応じて適切な方策を使い分ける

階層強化学習提案手法：強化学習を報酬重み付き密度推定として捉え，最適な方策の構造を学習するT2-08:[学生優秀プレゼンテーション賞対象]

PCD法に基づいた畳み込み制約付きボルツマンマシンの学習法の改良

石 涼介1, 須田 玲輝2, 竹田 晃人3（茨城大院理工1,3, 茨城大工2）
目的： PCD法における学習パラメータの最適値の調査
畳み込み制約付きボルツマンマシン
入力層と出力層により構成される確率的生成モデル
𝑉は入力層，𝐻は出力層を表し，Vと𝐻の間に重みWが存在

𝑊

𝑉

𝐻

学習則
PCD法における𝑊の勾配∆𝑊は以下のように定義∆𝑊 = 𝑉 ∗ 𝐻 − 𝑉 ∗ 𝐻
𝑊 (𝑡+1) ← 𝑊 (𝑡) + 𝛼(∆𝑊 (𝑡) + 𝛽∆𝑊 (𝑡−1) + 𝛾 𝑊 (𝑡) )∗ : 畳み込み演算
𝑉, 𝐻: 復元した𝑉, 𝐻
𝛼: 学習率𝛽: モーメント係数
𝛾: 荷重減衰係数

数値実験により𝛼, 𝛽, 𝛾の最適値を考察し，一般的な学習法であるCD法との比較を行う

T2-08:[学生優秀プレゼンテーション賞対象]

PCD法に基づいた畳み込み制約付きボルツマンマシンの学習法の改良

石 涼介1, 須田 玲輝2, 竹田 晃人3（茨城大院理工1,3, 茨城大工2）
目的： PCD法における学習パラメータの最適値の調査
畳み込み制約付きボルツマンマシン
入力層と出力層により構成される確率的生成モデル
𝑉は入力層，𝐻は出力層を表し，Vと𝐻の間に重みWが存在

𝑊

𝑉

𝐻

学習則
PCD法における𝑊の勾配∆𝑊は以下のように定義∆𝑊 = 𝑉 ∗ 𝐻 − 𝑉 ∗ 𝐻
𝑊 (𝑡+1) ← 𝑊 (𝑡) + 𝛼(∆𝑊 (𝑡) + 𝛽∆𝑊 (𝑡−1) + 𝛾 𝑊 (𝑡) )∗ : 畳み込み演算
𝑉, 𝐻: 復元した𝑉, 𝐻
𝛼: 学習率𝛽: モーメント係数
𝛾: 荷重減衰係数

数値実験により𝛼, 𝛽, 𝛾の最適値を考察し，一般的な学習法であるCD法との比較を行う

T2-09 カウントデータに関する多次元ヒストグラムのビン幅最適化
武藤健介（東大）・坂本浩隆（東大/学振）・松浦慧介 （東大/学振）有馬 孝尚（東大/CEMS） ・岡田真人（東大/NIMS）
学生優秀プレゼンテーション賞対象

背景

実験データの前処理として，スライスして切り出した低次元データに対し，研究者が経験的にビン幅を設定してヒストグラムの作成を行っている．

方法

多次元のカウントデータに対して，ビン幅最適化を自動化するアル
ゴリズムの開発を行った

結果

高次元データに対しては低次元のスライスではなく，高次元データ全体に対してビン幅最適化をすべきであることを示した．またデー
タ数の増加に伴い，小さなビン幅が選択されることが分かった．

(A) データ数と最適ビン幅(B) 従来手法(C) 提案手法

T2-09 カウントデータに関する多次元ヒストグラムのビン幅最適化
武藤健介（東大）・坂本浩隆（東大/学振）・松浦慧介 （東大/学振）有馬 孝尚（東大/CEMS） ・岡田真人（東大/NIMS）
学生優秀プレゼンテーション賞対象

背景

実験データの前処理として，スライスして切り出した低次元データに対し，研究者が経験的にビン幅を設定してヒストグラムの作成を行っている．

方法

多次元のカウントデータに対して，ビン幅最適化を自動化するアル
ゴリズムの開発を行った

結果

高次元データに対しては低次元のスライスではなく，高次元データ全体に対してビン幅最適化をすべきであることを示した．またデー
タ数の増加に伴い，小さなビン幅が選択されることが分かった．

(A) データ数と最適ビン幅(B) 従来手法(C) 提案手法

T2-10 べき乗則をもとにした津波高予測のための

非線形パラメトリックモデル
吉川真史 (東大)，五十嵐康彦 (JST)，村田 伸 (東大)馬場俊孝 (徳島大)，堀 高峰 (海洋研究開発機構)，岡田真人 (東大)目的

海底水圧計で水圧変位として早期検知される津波高から，沿岸に到達する津波高を予測するモデルを構築．

方法

水圧計観測値と到達する津波高との間に，べき乗則による相関を見出し，それをもとにした非線形パラメトリックモデルを提案．

データ間のべき乗則

非線形パラメトリックモデル

外挿の予測

べき乗則の式を多変量に拡張する

𝑑 = 𝑎𝑠 𝑏𝑎𝑖 𝑠𝑖 𝑏𝑖𝑑=𝑖

結果

提案手法はノンパラメトリックモデル（ガウス過程）と同等の予測精度を達成し，どの既存手法よりも外挿の精度が高くなった．

T2-10 べき乗則をもとにした津波高予測のための

非線形パラメトリックモデル
吉川真史 (東大)，五十嵐康彦 (JST)，村田 伸 (東大)馬場俊孝 (徳島大)，堀 高峰 (海洋研究開発機構)，岡田真人 (東大)目的

海底水圧計で水圧変位として早期検知される津波高から，沿岸に到達する津波高を予測するモデルを構築．

方法

水圧計観測値と到達する津波高との間に，べき乗則による相関を見出し，それをもとにした非線形パラメトリックモデルを提案．

データ間のべき乗則

非線形パラメトリックモデル

外挿の予測

べき乗則の式を多変量に拡張する

𝑑 = 𝑎𝑠 𝑏𝑎𝑖 𝑠𝑖 𝑏𝑖𝑑=𝑖

結果

提案手法はノンパラメトリックモデル（ガウス過程）と同等の予測精度を達成し，どの既存手法よりも外挿の精度が高くなった．

[T2-11] 多次元系列における変化点検出のための Selective Inference
梅津佑太 (名工大) · 竹内一郎 (名工大, 理研, NIMS)• 平均構造の変化を Selective Inference の枠組みで定式化✓ 検出した変化点に対して, 選択的な p-値を付与できる• 変化点の検出と同時に, 変化が起きた系列も検出• 適当な sliding window を考えることで, 多時点の変化点検出へ容易に拡張可能提案手法の流れ1

観測された系列の疑似対数尤度比を計算

2

疑似対数尤度比を統合 (aggregate) し, 1 次元の系列に変換

3

変換した系列を走査 (scan) し, 最大化点として変化点を推定

4推定した変化点の前後で平均構造が変化したか否かを
Selective Inference の枠組みで検定

実験結果

10

9

8

10

7

6

5

5

4

3

2

4

1

• 提案手法を Array CGH データの第 1 染色体に適用した結果✓ 系列数 = 46, 時点数 = 177

50

100

150

12

Time−Index

1413

p = 0.958

25

24

25

23

22

24

21 20

19

19

18 17

16 15

Sample Id

11

0

0

50

100
Time−Index

0

50

100
Time−Index150

p = 0.000

左: 系列の一部と提案手法による変化点検出結果.
右: 検出した変化点に対応する系列と選択的な p-値.

150T2-13

菅 智徳,
複数の画像事前分布の組み合わせにBayes最適化を 井上
真郷用いた圧縮センシングによるCT画像再構成（早稲田大学）

Sparse-view X線CT

推定量

少ない投影データからCT画像の再構成を目指すෝ ≡ argmin ||A𝒙 − 𝒚||22 + 𝜆1 ||Ψ𝒙||1 + 𝜆2 ||𝒙||TV𝒙𝒙

投影方向数を減らす

提案手法

𝒙：CT画像𝒚：投影データ
A：変換行列Ψ：wavelet変換

𝜆1 ，𝜆2 の組み合わせにBayes最適化を用いる
最適な
組み合わせ

𝜆2

𝜆2

画像事前分布𝜆1 ， 𝜆2 を上手く調整しないと良い推定画像が得られない

結果✓ グリッドサーチに比べ，少ない
試行回数で必要な部分を集中的に探索した✓ 得られたハイパーパラメータは複数の肺画像に対して安定して画質を向上させた

𝜆1

𝜆1

グリッドサーチ(35点)

Bayes最適化(20点)※学生発表T2-13

菅 智徳,
複数の画像事前分布の組み合わせにBayes最適化を 井上
真郷用いた圧縮センシングによるCT画像再構成（早稲田大学）

Sparse-view X線CT

推定量

少ない投影データからCT画像の再構成を目指すෝ ≡ argmin ||A𝒙 − 𝒚||22 + 𝜆1 ||Ψ𝒙||1 + 𝜆2 ||𝒙||TV𝒙𝒙

投影方向数を減らす

提案手法

𝒙：CT画像𝒚：投影データ
A：変換行列Ψ：wavelet変換

𝜆1 ，𝜆2 の組み合わせにBayes最適化を用いる
最適な
組み合わせ

𝜆2

𝜆2

画像事前分布𝜆1 ， 𝜆2 を上手く調整しないと良い推定画像が得られない

結果✓ グリッドサーチに比べ，少ない
試行回数で必要な部分を集中的に探索した✓ 得られたハイパーパラメータは複数の肺画像に対して安定して画質を向上させた

𝜆1

𝜆1

グリッドサーチ(35点)

Bayes最適化(20点)※学生発表T2-14 Selective inference に基づく active learning の選択バイアス補正
稲津 佑 (理研), 竹内一郎 (名工大, 理研, NIMS)

Active learning
ガウス過程回帰やベイズ線形回帰等を用いた Active
learning においては, 候補点を選択的に取っている

問題点
選択的に取ってきたという事実を無視して推測を行うと, 選択バイアスが生じる(e.g., 誤ったp値の評価)

解決法
・Selective inference という考え方を導入する

・選択的に取ってきたという事象を条件付けた下での条件付き分布を用いて, 選択バイアスを補正する

ベイズ線形回帰を用いて候補点探索を行った際の,最大値が0かどうかの検定結果 (帰無仮説が真,
有意水準0.05の場合)

T2-14 Selective inference に基づく active learning の選択バイアス補正
稲津 佑 (理研), 竹内一郎 (名工大, 理研, NIMS)

Active learning
ガウス過程回帰やベイズ線形回帰等を用いた Active
learning においては, 候補点を選択的に取っている

問題点
選択的に取ってきたという事実を無視して推測を行うと, 選択バイアスが生じる(e.g., 誤ったp値の評価)

解決法
・Selective inference という考え方を導入する

・選択的に取ってきたという事象を条件付けた下での条件付き分布を用いて, 選択バイアスを補正する

ベイズ線形回帰を用いて候補点探索を行った際の,最大値が0かどうかの検定結果 (帰無仮説が真,
有意水準0.05の場合)

T2-15 2つの疎な行列からなる行列分解問題の変分ベイズ法による解析法の検討
玉井 智貴 竹田 晃人（茨城大学）
学生優秀プレゼンテーション賞対象

目的

数値実験結果• 観測行列：2つの疎な非負値行列の積⇒ 行列分解問題の解析解を求める• 解析解を数値実験で評価

上がλ = 1,下がλ = 100 の結果

モデル
0

0

観測行列
𝑉

•

0

0

0 0

𝐴

=
0

•

0

𝐵

0 0
0

+

ノイズ行列

𝐸

0

事前分布：指数分布
指数分布のパラメータはλ（疎性を表す）
モデル尤度：ノイズ行列がガウス分布⇒変分ベイズ法で解析解を求める••

分解行列の疎性に𝝀が影響を与えている
分解行列は非負値行列にならなかったT2-15 2つの疎な行列からなる行列分解問題の変分ベイズ法による解析法の検討
玉井 智貴 竹田 晃人（茨城大学）
学生優秀プレゼンテーション賞対象

目的

数値実験結果• 観測行列：2つの疎な非負値行列の積⇒ 行列分解問題の解析解を求める• 解析解を数値実験で評価

上がλ = 1,下がλ = 100 の結果

モデル
0

0

観測行列
𝑉

•

0

0

0 0

𝐴

=
0

•

0

𝐵

0 0
0

+

ノイズ行列

𝐸

0

事前分布：指数分布
指数分布のパラメータはλ（疎性を表す）
モデル尤度：ノイズ行列がガウス分布⇒変分ベイズ法で解析解を求める••

分解行列の疎性に𝝀が影響を与えている
分解行列は非負値行列にならなかったT2-16 学生

Generative Adversarial Networksを用いた確率的識別モデルから訓練データ生成分布の推定
草野 光亮 (筑波大) / 佐久間 淳 (筑波大/理研AIP)●

訓練データとその生成分布が秘密情報である場合，学習により得られた識別モデル
から，秘密情報である訓練データ生成分布を推定できるか？

●

Generative Adversarial Networksを利用した攻撃アルゴリズムPreImgaGANを提案●

実験により，識別モデルから訓練データ生成分布を推定可能であることを示した．
公開情報

秘密情報

dX,T~
訓練データ
生成分布

訓練データ
(ex. 顔画像と人名)学習アルゴリズム(ex. MLPとSGD)

識別モデル(ex. 顔識別機)

Classifier-to-Generator AttackT2-16 学生

Generative Adversarial Networksを用いた確率的識別モデルから訓練データ生成分布の推定
草野 光亮 (筑波大) / 佐久間 淳 (筑波大/理研AIP)●

訓練データとその生成分布が秘密情報である場合，学習により得られた識別モデル
から，秘密情報である訓練データ生成分布を推定できるか？

●

Generative Adversarial Networksを利用した攻撃アルゴリズムPreImgaGANを提案●

実験により，識別モデルから訓練データ生成分布を推定可能であることを示した．
公開情報

秘密情報

dX,T~
訓練データ
生成分布

訓練データ
(ex. 顔画像と人名)学習アルゴリズム(ex. MLPとSGD)

識別モデル(ex. 顔識別機)

Classifier-to-Generator AttackT2-17: Tree-reweighted近似によるIsing逆問題の解
佐野崇 産総研AI研究センター
背景• Ising模型; 2値変数マルコフ確率場• シンプルだが推論(順問題)も学習(逆問題)も困難• Bethe近似による逆問題の解析解が先行研究で求められている

寄与した点• Tree-ReWeighted(TRW)近似による逆問題の解を求めた• TRW近似自由エネルギーを最小化するパラメータを、データの相関行列の関数として解析的に与えた• 反復計算をせずにパラメータが推定できる• 真の目的関数の下限を最大化(Bethe近似にはない利点)…
C: 相関行列数値評価• パラメータを固定したIsing模型からGibbsサンプリングで相関行列を計算• TRW近似、Bethe近似の逆問題の解に相関行列を代入して、真のパラメー
タとの誤差を評価
引力のみ

引力と斥力

誤差
Bethe

Bethe
TRW

TRW
結合強度
結果

• TRW近似はBethe近似より精度良くパラメータを推定できた• TRW近似が真の目的関数の下限を最大化している効果

T2-18: EMDを用いたタイヤセンシングのための特徴抽出法〇石井 啓太（ブリヂストン）, 後藤 嵩人（ブリヂストン）, 松井 知子（統計数理研）,
Gareth W. Peters（HWU）, Nourddine Azzaoui（UCA）

Copyright © 2017 Bridgestone Corporation

発表概要

 タイヤ内側に加速度センサーを貼付し、振動波形から路面状態を分類
 特徴抽出にEmpirical Mode Decompositionを利用
 EMDが瞬時的な波形の周波数解析が可能であるため、タイヤ振動の解析に有用
 従来法と比較して、判定精度を維持したまま計算コストを大幅に低減

Cross Sectionof the tyre
SensorCopyright © 2017 Bridgestone Corporation

T2-19

敵対的生成モデルを用いた近傍法に基づく異常検知
但馬慶行 (日立製作所)

背景

正常時データ(運転時)正常時データ(立上げ/立下げ時)

・教師なし異常検知において与えられる正常時
データの詳細なラベル(運転モード等)は不明

異常時データ・近傍法では正常時データの不均衡さが性能に悪影響を与えることがある
目的

正常時データの不均衡さの解消

kが大きくなると近傍に複数の運転モードが混じる

手法

クラスタリング

Conditional GAN
Ｘによるオーバー＆アンダーサンプリング
性能(上位N件精度)の向上を確認

Ｚ

クラスタ
リング

G

C
Ｘ
Ｘ’

Ｘ 正常時データ
Ｘ’ 生成データ
Ｚ ノイズ分布Ｇ ジェネレータ
Ｄ ディスクリミネータ

D

Label orMeasureT2-19

敵対的生成モデルを用いた近傍法に基づく異常検知
但馬慶行 (日立製作所)

背景

正常時データ(運転時)正常時データ(立上げ/立下げ時)

・教師なし異常検知において与えられる正常時
データの詳細なラベル(運転モード等)は不明

異常時データ・近傍法では正常時データの不均衡さが性能に悪影響を与えることがある
目的

正常時データの不均衡さの解消

kが大きくなると近傍に複数の運転モードが混じる

手法

クラスタリング

Conditional GAN
Ｘによるオーバー＆アンダーサンプリング
性能(上位N件精度)の向上を確認

Ｚ

クラスタ
リング

G

C
Ｘ
Ｘ’

Ｘ 正常時データ
Ｘ’ 生成データ
Ｚ ノイズ分布Ｇ ジェネレータ
Ｄ ディスクリミネータ

D

Label orMeasureT2-20スペクトル分解におけるλ-スキャン法の提案
本武陽一 (東大)，五十嵐康彦 (JSTさきがけ)，
竹中 光 (東大)，永田賢二 (産総研)，岡田真人 (東大)◆スペクトル分解◆提案手法：λ-scan法▷スペクトル分解 = 基底探索 + 回帰
▷ベイズ的自由エネルギーが解析的に求まる▷ スペクトルデータから
ピーク数・位置・強度を抽出

目的：高速・高性能なスペクトル分解を実現

T2-20スペクトル分解におけるλ-スキャン法の提案
本武陽一 (東大)，五十嵐康彦 (JSTさきがけ)，
竹中 光 (東大)，永田賢二 (産総研)，岡田真人 (東大)◆スペクトル分解結果

λ-scan法によるスペクトル分解[既存手法]

結論：高速・高性能なスペクトル分解を実現

T2-21 ガウス過程とベイズ最適化を用いた近似的ハイパーパラメータ分布推定
片上 舜, 坂本 浩隆, 岡田 真人（東大）
学生優秀プレゼンテーション賞対象
ハイパー a, b
パラメータ

目的

ガウス過程とベイズ最適化を用いた画像のハイパーパラメータ高速分布推定

疎視化分布

RandomBayesian Optimization

30

3.5
30

1.5

10

1

20

40

60

80

100

a

a

2.5
20

2

0.5

30

3

2.5

10

結果

補間した分布

3.5
3

0

原画像

ハイパーパラメータ分布推定

50

20

MRFモデル

ハイパーパラメータ分布推定

ハイパーパラメータ点推定

40

v

u

観測画像

20

2
1.5

10

1
1

2
b

3

0

0.5

ガウス過程

1

2
b

3

提案手法により，少数サンプリングからハイパーパラメータ分布推定および，
ハイパーパラメータの点推定が可能であることが確認された．

0

T2-21 ガウス過程とベイズ最適化を用いた近似的ハイパーパラメータ分布推定
片上 舜, 坂本 浩隆, 岡田 真人（東大）
学生優秀プレゼンテーション賞対象
ハイパー a, b
パラメータ

目的

ガウス過程とベイズ最適化を用いた画像のハイパーパラメータ高速分布推定

疎視化分布

RandomBayesian Optimization

30

3.5
30

1.5

10

1

20

40

60

80

100

a

a

2.5
20

2

0.5

30

3

2.5

10

結果

補間した分布

3.5
3

0

原画像

ハイパーパラメータ分布推定

50

20

MRFモデル

ハイパーパラメータ分布推定

ハイパーパラメータ点推定

40

v

u

観測画像

20

2
1.5

10

1
1

2
b

3

0

0.5

ガウス過程

1

2
b

3

提案手法により，少数サンプリングからハイパーパラメータ分布推定および，
ハイパーパラメータの点推定が可能であることが確認された．

0

T2-22

バンディット環境下における優良腕識別

学生発表

鹿野 英明 1,2 本多 淳也 1,2 坂巻 顕太郎 1 松浦 健太郎 3 中村 篤祥 4 杉山 将 2,1
1

東京大学

2

理化学研究所

3

Johnson & Johnson

4

北海道大学

オンライン広告や医薬品開発では満足のいく効果が得られるものをできるだけ早く見つけることが重要
優良腕：期待値がしきい値以上の台

新たな枠組み：優良腕識別Good

しきい値未満

しきい値以上実用の場面では全ての台を分類する必要はなく優良腕を必要な精度(誤り確率 𝜹 )で必要な数だけ特定できれば十分なのでは？

全ての台を優良腕とそれ以外の台に分類Good´ 優良腕 𝝀 台を見つけるときの探索回数を最小化する

上位 𝝀 個以外の台の探索回数はそれぞれ全ての台の探索回数がそれぞれ

𝟏
𝚶 𝐥𝐨𝐠
𝜹

Good

´

従来法：しきい値バンディット

既存法は悪い台も多く探索
𝚶 𝐥𝐨𝐠 𝐥𝐨𝐠
提案法は当たりやすい台を優先的に探索𝟏𝜹T2-22

バンディット環境下における優良腕識別

学生発表

鹿野 英明 1,2 本多 淳也 1,2 坂巻 顕太郎 1 松浦 健太郎 3 中村 篤祥 4 杉山 将 2,1
1

東京大学

2

理化学研究所

3

Johnson & Johnson

4

北海道大学

オンライン広告や医薬品開発では満足のいく効果が得られるものをできるだけ早く見つけることが重要
優良腕：期待値がしきい値以上の台

新たな枠組み：優良腕識別Good

しきい値未満

しきい値以上実用の場面では全ての台を分類する必要はなく優良腕を必要な精度(誤り確率 𝜹 )で必要な数だけ特定できれば十分なのでは？

全ての台を優良腕とそれ以外の台に分類Good´ 優良腕 𝝀 台を見つけるときの探索回数を最小化する

上位 𝝀 個以外の台の探索回数はそれぞれ全ての台の探索回数がそれぞれ

𝟏
𝚶 𝐥𝐨𝐠
𝜹

Good

´

従来法：しきい値バンディット

既存法は悪い台も多く探索
𝚶 𝐥𝐨𝐠 𝐥𝐨𝐠
提案法は当たりやすい台を優先的に探索𝟏𝜹T2-23 【学生優秀プレゼンテーション賞対象】

1/2

複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析～ プラトー現象の再検討 ～吉田雄紀1*，唐木田亮2，岡田真人1,2,3，甘利俊一3（1東大，2産総研，3理研）[Park, Amari, Fukumizu (1999)]

誤差

プラトー：学習の停滞
90年代後半「プラトーに阻まれ学習困難」
ステップ数[Salimans & Kingma (2016)]

誤差

近年の深層学習ではプラトーを見ることは稀→ プラトー理論の再検討
ステップ数

T2-23 【学生優秀プレゼンテーション賞対象】

2/2

複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析～ プラトー現象の再検討 ～吉田雄紀1*，唐木田亮2，岡田真人1,2,3，甘利俊一3（1東大，2産総研，3理研）

プラトー理論
特異領域がもたらす
ミルナーアトラクタにより学習が停滞[Fukumizu & Amari (2000)]w*
w*

これまでのプラトー理論研究は& Solla (1995), Riegler & Biehl (1995),
出力が1次元 [SaadFukumizu & Amari (2000), Wei et al.(2008),
Cousseau et al.(2008)]→ 複数次元出力の場合にプラトー理論を再検討学⽣発表

ラベル拡張を考慮した劣モジュラ性に基づく能動学習T2-24

⽊村正成1)，若林啓2)
1筑波⼤学 情報学群 知識情報・図書館学類

2筑波⼤学 図書館情報メディア系

概要• 新規プロジェクトなどで教師データが極端に少ないケース
で，少ないアノテーションで良い分類器を学習する研究．
Very few
Labeled DataClassifier
Label
Expansion

貢献• ラベル付きデータが希少な場合に有効なラベル拡張の⼿法と，それを能動学習と組み合わせた新しい⼿法を提案．
• ラベル拡張を考慮した能動学習の⼿法として，グラフ構造に基づいた⼿法を提案．
• 実際のデータセットに対して実験を⾏い提案⼿法の有⽤性を⽰す．

Fig1. MNISTに対して1-shotでラベル拡張を⾏なった図．このようなラベルの拡張範囲を最⼤化する最⼤被覆問題として捉え，能動学習を⾏う．

実際のデータセットに対する実験結果◆，▲が提案⼿法を⽤いた結果• 縦軸がAccuracy• 横軸がラベル付きデータ数

ラベル拡張及び能動学習の⼿法によって少ないデータ数からでも良い分類器を構築できていることがわかる

T2-25

例：局所パターンを使った顔の分類
例：局所パターンを使った顔の分類

例：局所パターンを使った顔の分類 笑顔 笑顔
例：局所パターンを使った顔の分類

Learning theory and algorithms
for shapelets and other local features

正常時系列

例：局所パターンを使った顔の分類

例：局所パターンを使った顔の分類

笑顔でない

異常時系列

末廣 大貴，畑埜 晃平（九大 /笑顔でないAIP），瀧本 英二（九大），
山本 修司，坂内 健一（慶大 / AIP），武田 朗子（統数研 / AIP）

局所特徴を使った分類手法は非常にポピュラー
顔認証

時系列分類

局所特徴

局所特徴
正常

本人
異常
X

Q.「良い局所特徴」をどうやって学習するか？

X

X

実は統一的な枠組みがない（ドメイン依存）
X
理論的な汎化性能保証がない
X主結果
局所特徴学習に対する統一的な枠組みアルゴリズム
汎化性能保証}全てを与えた

最新手法に匹敵する実験精度
その他

100

提案手法

75
50
25
0

Adiac

Beef

Chlorine.

Coﬀee

ECG5D

Face4

GunPoint ItalyPow.

Light.7

Med.Image MoteStr.

Sony.

Symbols Synthe.C.

Trace

TwoL.ECG

T2-26 対数線形モデルの学習におけるL1 正則化後の最尤推定の効果
通常の L1 正則化は構造学習) パラメータ削減によるモデル多様体の決定
パラメータ学習) 削減後のパラメー
タの調節を同時に行います．
高畠，赤穂 (産総研)

L1 正則化後の最尤推定

2017/11/10

1/2

では「構造学習だけを L1 正則化で行いパラメータ学習は最尤推定で行う」というオプションはどうなるでしょうか?
元々の L1 正則化のみの場合に比べて性能は良くなるでしょうか?
比較結果はポスターで．
高畠，赤穂 (産総研)

L1 正則化後の最尤推定

2017/11/10

2/2

T2-27：一般化ラベルノイズモデルにおける分類問題について
須子統太（早大），堀井俊佑（早大）
本来とは異なるラベルが得られる（⇒正例と負例が反転するノイズ）

分類問題において様々なノイズ混入モデルを統一的に表現するモデルを提案⇒EM法とVB法による分類アルゴリ
ズムを構成し数値実験

あるラベルは全て欠損（⇒正例とラベルなしデータからの学習）

×

×

×

×

× × ×
×
×
×
×
× ×
×

×
外れ値

ラベルが欠損（⇒半教師あり学習）

理想的なデータ

提案ノイズモデルで表現可能なデータの例

T2-27：一般化ラベルノイズモデルにおける分類問題について
須子統太（早大），堀井俊佑（早大）◆真のラベル数＝２の場合◆真のラベル数＝4の場合
1-p

0
真

1-p

0

0
p/2

1

p/2

観
測

真

1

0
p/4

1

p/4

2

×

2
3

p/4

ノイズ分布

×

0.4

×

0.5

×

×

×
0.4

0.5

ノイズ分布
EM p=0.4
VB p=0.4
EM p=0.2
VB p=0.2
Noiseless Bayes

観
測

p/4

3

×

1

×

EM p=0.4
VB p=0.4
EM p=0.2
VB p=0.2
Noiseless Bayes

VB法の分類精度が高い

0.3

×
×
× ×
×

×
0.2

average error probability

0.2

0.3

EM法の分類精度が高い

×× × × ×× × × ×× × × × × × × × × ×× × ×× × × × ×× × × × × × × × × × × × × ×

0.1

0.1

×

× ×
× ×
× ×
× × × × × × × × × × × × × × × × × × × × × ×
0.0

0.0

average error probability

×

100

200

300
N

400

500

100

200

300
N

400

500

T2-28Graph Product Multilayer Network型
Gauss Markov確率場の構造学習
高品佑也（早大）・井上真郷（早大）

Gauss Markov確率場の構造推定
・グラフ構造に対応する精度行列 𝚯 を MAP 推定。

argmax ln det 𝚯 − tr 𝐒𝚯 − 𝜌 𝚯 1
𝚯本研究: 全体のグラフを階層ごとに分解𝚯 ≈ 𝚯 𝐺 ⊕ 𝚯𝐻 = 𝚯𝐺 ⊗ 𝐈𝐷 𝐻 + 𝐈𝐺 ⊗ 𝚯𝐻
グラフが階層構造を持つ場合に、各層のグラフ構造を効率的に推定。

T2-28Graph Product Multilayer Network型
Gauss Markov確率場の構造学習
高品佑也（早大）・井上真郷（早大）

実験:
Google検索における複数国での複数単語の検索回数のデータから典型的な各国の関係𝚯𝐻 を推定。

全体の
グラフ

単語ごと
のグラフ

国ごと
のグラフ

𝚯 ≈ 𝚯𝐺 ⊕ 𝚯𝐻

T2-­‐29	

IBIS2017,	
  10th	  November	
  2017	

Learning	
  Algorithm	
  	
  
in	
  Molecular	
  Adapta4on	
  	
Nobuyuki TAKAHASHI 	
Hokkaido Univ. of Education, 	Response	
  4me	  of	
  molecular	
  systems	  under	
  external	
  ﬁeld	  pulse	  was	  examined	
  for	  conforma4onal	
  defect	  relaxa4on	
  based	  on	
  molecular	
  dynamics	
  simula4on	
  of	
  polariza4on	
  switching	  in	
  comparison	
  with	  machine	  learning	
  algorithms.	
  	
Hokkaido Univ. of Education, Hakodate	T2-­‐29	

IBIS2017,	
  10th	  November	
  2017	

Learning	
  Algorithm	
  	
  
in	
  Molecular	
  Adapta4on	
  	
Nobuyuki TAKAHASHI 	
Hokkaido Univ. of Education,	
  Hakodate 	“temporal	
  tuning”	
  Learning	
  of	
  short	  4me	
  response	  by	
  rapid	
  frequency	
  switching.	
  	  	
Hokkaido Univ. of Education, Hakodate