音楽音響信号解析のためのガンマ過程に基づく無限相関テンソル分解
吉井 和佳 (京大/理研AIP)

T1-01

テンソルの全要素間の相関構造を考慮した究極の汎用的分解法

NMF, PSDTF, NTF, CP分解の拡張 / 混合音スペクトログラム (2階テンソル) の音源分離に利用可能

𝑓𝑓

𝒘𝒘1

𝑽𝑽1

時間基底行列𝑭𝑭𝑻𝑻 × 𝑭𝑭𝑻𝑻𝐾𝐾

𝑭𝑭 × 𝑭𝑭

𝒘𝒘2

𝑓𝑓
𝑡𝑡

周波数基底行列

𝑽𝑽2

𝒘𝒘3

𝑼𝑼1

𝑽𝑽3

𝑓𝑓

𝑼𝑼2

𝑻𝑻 × 𝑻𝑻

ただし 𝑿𝑿 = 𝒙𝒙𝒙𝒙𝐻𝐻(巨大共分散行列)

𝒉𝒉1

𝑡𝑡

𝒉𝒉2

全てのビン (複素値) を連結してベクトル化

𝑼𝑼3

𝑿𝑿 ≈ � 𝑽𝑽𝑘𝑘 ⊗ 𝑼𝑼𝑘𝑘
𝑘𝑘=1

𝒙𝒙 ∈ C𝐹𝐹𝐹𝐹

𝒉𝒉3

𝑡𝑡

音楽音響信号解析のためのガンマ過程に基づく無限相関テンソル分解
吉井 和佳 (京大/理研AIP)

T1-01

テンソルの全要素間の相関構造を考慮した究極の汎用的分解法

NMF, PSDTF, NTF, CP分解の拡張 / 混合音スペクトログラム (2階テンソル) の音源分離に利用可能

𝑓𝑓

𝒘𝒘1

𝑽𝑽1

時間基底行列𝑭𝑭𝑻𝑻 × 𝑭𝑭𝑻𝑻𝐾𝐾

𝑭𝑭 × 𝑭𝑭

𝒘𝒘2

𝑓𝑓
𝑡𝑡

周波数基底行列

𝑽𝑽2

𝒘𝒘3

𝑼𝑼1

𝑽𝑽3

𝑓𝑓

𝑼𝑼2

𝑻𝑻 × 𝑻𝑻

ただし 𝑿𝑿 = 𝒙𝒙𝒙𝒙𝐻𝐻(巨大共分散行列)

𝒉𝒉1

𝑡𝑡

𝒉𝒉2

全てのビン (複素値) を連結してベクトル化

𝑼𝑼3

𝑿𝑿 ≈ � 𝑽𝑽𝑘𝑘 ⊗ 𝑼𝑼𝑘𝑘
𝑘𝑘=1

𝒙𝒙 ∈ C𝐹𝐹𝐹𝐹

𝒉𝒉3

𝑡𝑡

T1-02 オンライン型t-SNEによる分布構造変化の抽出
梶 大介（デンソー） 小林 真佐大（豊橋技科大） 渡辺 一帆（豊橋技科大）① t-SNEによる次元圧縮をカーネルを用いて写像として構成。リアルタイムで低次元空間へマッピング

KL情報量最小化② KL情報量の変化を観察することでデータ生成分布の変化を抽出

ミニバッチを用いたオンライン分布変化検出

学習後に分布が変化した場合のKL情報量の変化

分布変化点
t-SNEによるリアルタイムの次元圧縮と同時にデータ生成分布の変化検出が可能であることを示す
Powerpoint presentation briefing / May 10, 2017 / DP-Mobility IoT© DENSO CORPORATION All Rights Reserved.

T1-02 オンライン型t-SNEによる分布構造変化の抽出
梶 大介（デンソー） 小林 真佐大（豊橋技科大） 渡辺 一帆（豊橋技科大）① t-SNEによる次元圧縮をカーネルを用いて写像として構成。リアルタイムで低次元空間へマッピング

KL情報量最小化② KL情報量の変化を観察することでデータ生成分布の変化を抽出

ミニバッチを用いたオンライン分布変化検出

学習後に分布が変化した場合のKL情報量の変化

分布変化点
t-SNEによるリアルタイムの次元圧縮と同時にデータ生成分布の変化検出が可能であることを示す
Powerpoint presentation briefing / May 10, 2017 / DP-Mobility IoT© DENSO CORPORATION All Rights Reserved.

T1-03角転送行列繰り込み群法を用いた格子状マルコフ確率場の計算手法の提案

発表者：吉⽥ 智晴(豊橋技科⼤), 渡辺⼀帆(豊橋技科⼤), 梅村恭司(豊橋技科⼤)学⽣優秀プレゼンテーション賞対象

問題：格子状マルコフ確率場における確率推論の計算量
先行研究：角転送行列法(CTM法)
計算量的困難のある分配関数や期待値の計算を少ない計算量で求める厳密計算手法
広範囲の相関の厳密評価が可能となったが指数オーダーの計算量のまま

ノード：確率変数
エッジ：相関

提案手法：角転送行列繰り込み群法(CTMRG)
角転送行列法の計算において特異値分解の低ランク近似を用いることで多項式オーダーで高精度な計算を行う近似手法- 特異値の数によって近似精度を調整可能角転送行列繰り込み群法を用いた格子状マルコフ確率場の計算手法の提案

T1-03

発表者：吉⽥ 智晴(豊橋技科⼤), 渡辺⼀帆(豊橋技科⼤), 梅村恭司(豊橋技科⼤)学⽣優秀プレゼンテーション賞対象

ノイズ除去による性能評価







1600

25000

1400

LBP

1200

CTMRG(m=6)

15000

高速化

10000



CTM



20000

 [s]



1000
800
600

性能に大きな
変化なし

400

5000

LBP

200

CTM
CTMRG(m=6)

0

0
0

10

20

計算量
多項式オーダーの計算量を実現

30
 

40


50

60

0

10

20

30
 

40


50

60

確率行列分解の実対数閾値とBayes学習への応用
T1-4 林 直輝*・渡辺 澄夫(東京工業大学)

学生優秀プレゼンテーション賞対象

確率行列: 要素が確率の行列・各要素は[0,1]の元・各列において要素の和が1・Markov連鎖の遷移行列などとして現れる
𝑦 = 𝐶𝑥, 𝐶: 確率行列

確率行列の例

確率行列分解[Adams]:
確率行列を2つの確率行列の積に分解する・トピックモデルへの応用
・遷移確率行列に対する縮小
ランク回帰と等価
・non-identifiable・non-regular (singular)
・確率行列なので縮小ランク
回帰に完全帰着も不可能
参考文献: Adams, “Stochastic Matrix Factorization”,
Social Science Research Network, 2016

確率行列分解の実対数閾値とBayes学習への応用
T1-4 林 直輝*・渡辺 澄夫(東京工業大学)

学生優秀プレゼンテーション賞対象

確率行列という制約: 大→縮小ランク回帰とも非負値行列分解とも異なる→予測精度の理論値は不明
・予測精度は実対数閾値λをして次で書ける：

主定理

(H)

(M)

(N)
(H0)

M×N確率行列の確率行列分解について，学習モデルの分解次元がHであり真のそれがH0である場合を考える．
Bayes汎化誤差の漸近挙動の主要項を司る実対数閾値λは以下の不等式を満たす：

結論はポスターor論文で！

このモデルの実対数閾値の解明
等価
確率行列分解のBayes汎化誤差を理論的に評価した

参考文献: Hayashi and Watanabe, “Upper Boundof Bayesian Generalization Error in Non-negative
Matrix Factorization” , Neurocomputing, 2017

T1-05 : 経験ベイズ木

関野正志
masashi_sekino@so-netmedia.jp

ノードの出力を確率分布でモデル化して、ベイズ推定で統一的に扱う決定木を提案します。

ベイズ推定
決定木の良さを活かしつつ決定木
ノードの出力（扱う課題）

分割の規準•

二値／カテゴリカル

•

連続値

•
•

交差エントロピー
Ｇｉｎｉ係数（二値／多クラス分類木）（二乗誤差に基づく回帰木）

分割の停止

ルール

枝刈りの規準検証データ

経験ベイズ木タスクに応じた確率分布

任意の分布に一般化！

ベルヌーイ分布、正規分布、
ポアソン分布、指数分布・・

パラメータフリー化！

周辺尤度

T1-05 : 経験ベイズ木

関野正志
masashi_sekino@so-netmedia.jp

多クラス分類では、カテゴリカル分布を用いる二分木＋枝刈りのランダムフォレストが高精度

経験ベイズ木を弱学習器とするランダムフォレスト
二分木＋枝刈りマルチベルヌーイ

CV精度が最も良い
深さでのCV精度

１対他学習に相当する、
マルチベルヌーイ分布

カテゴリカル

多分木(Multi-split)
マルチベルヌーイ

カテゴリカル分布を用いる二分木＋枝刈りのRFが高精度

カテゴリカル

T1-06 正例とラベルなしデータからの学習に基づく

半教師付きAUC最適化
学生発表

坂井智哉††† Gang Niu†††

杉山将†† †

† 東京大学†† 理化学研究所

正例10%，負例90%の不均衡なデータでは，全てのデータを負例と判別しても識別率90%
不均衡なデータに対しては，識別率を最大化するよりも
AUCを最大化（最適化）するように学習した方が良い！

ポスター「T1-06」では不均衡データに対する半教師付き手法を紹介

T1-06 正例とラベルなしデータからの学習に基づく

半教師付きAUC最適化
学生発表

坂井智哉††† Gang Niu†††

杉山将†† †

† 東京大学†† 理化学研究所

アプローチ
正例と負例

正例とラベルなしデータ

決定境界

正例とラベルなしデータからの学習

教師付き学習正例とラベルなしデータからの学習に基づく半教師付き学習のAUC最適化への拡張少数データに対する転移学習技術の提案とT1-07
公開データによる評価 ○福島亜梨花・矢野亨・今原修一郎・愛須英之（東芝）
問題設定  実世界では訓練データが少数しか取得できない場合がある∟学習モデルが過学習を起こし，汎化性能が低い可能性

 本発表では回帰問題に着目提案手法 汎化性能の高い学習モデルの構築を目的とした転移学習
多数データの学習モデルを利用し，少数データの学習モデルを構築

解釈性に優れている重回帰モデルをベースとする
少数データの学習モデル

𝒚 𝑡 = 𝜽𝑡 𝑿

予測値𝑦

同じモデルを適用

多数データの学習モデル

𝒚𝑠 = 𝜽𝑠 𝑿で変形

𝒚𝑡 = (𝜽𝒔 + 𝜽𝑑𝑖𝑓𝑓 )𝑿：多数データ：少数データ

観測値𝑦

多数データの学習モデルと差分があるパラメータを推定

差分を示すパラメータ𝜽𝒅𝒊𝒇𝒇 の学習にスパースモデリングとアンサンブル学習を組み合わせる

第20回情報論的学習理論ワークショップ（IBIS2017）© 2017 Toshiba Corporation

少数データに対する転移学習技術の提案と公開データによる評価

評価

T1-07

少数の訓練データ(25データ)でテスト誤差(RMSE)を評価比較する従来手法①Baseline：重回帰モデル②少数の訓練データのみで汎化性能の高い学習を実現－ スパースモデリング(例：LASSO)－ アンサンブル学習(例：AdaBoost.R2)③類似したドメインのデータや学習モデルを利用－ 転移学習(例：Transfer Stacking)成果

3/4つの評価データセットにおいてRMSEの減少を確認
汎化性能の高い学習モデルが構築できることを示唆
Transfer
提案手法
Stacking
14.4
14.5
13.0
7.4
5.9
5.9
4.6
4.8
4.4
5034.6 4093.0 3577.5

UCI(*)データセット

重回帰 LASSO AdaBoost.R2

Concrete Compressive Strength
Boston Housing Data
Auto MPG
Automobile

14.2
13.8
6.5
4.9
4.6
4.6
4653.1 3790.5(*)M. Lichman: “UCI machine learning repository” (2013).
第20回情報論的学習理論ワークショップ（IBIS2017）© 2017 Toshiba Corporation

T1-8

Kyoto2016 Datasetによるサイバー攻撃検知のための機械学習手法の評価

新潟県立大学高原尚志

攻撃検知のための手法を開発した場合、データセットによる評価は必須である。そこで本研究では、評価用データセットについて考察
し、実際の評価結果を示す。
評価用データセット

セッションデータと通信データがある※本研究では、セッションデータについて考察●KDD Cup 1999 Data
…多くの研究で用いられているが現在では古い、冗長的であるなどの欠点が指摘されている●NSL-KDD…KDD Cup 1999 Dataの欠点を修正した実用的なデータセット●Kyoto2016 …2015年12月までのデータを収集した、最新の攻撃も含んだデータセット
NSL-KDDとKyoto2016を用いて、機械学習を用いた攻撃検知手法を比較●比較する手法
教師あり学習手法 … Random Forest, Support Vector Machine, Naïve Bays
教師なし学習手法 … K-Means, EM（ガウス混合法）
ハイブリッド手法 … 提案手法（Random Forest + 5-Means）

T1-8

Kyoto2016 Datasetによるサイバー攻撃検知のための機械学習手法の評価

新潟県立大学高原尚志

攻撃検知のための手法を開発した場合、データセットによる評価は必須である。そこで本研究では、評価用データセットについて考察
し、実際の評価結果を示す。
評価用データセット

セッションデータと通信データがある※本研究では、セッションデータについて考察●KDD Cup 1999 Data
…多くの研究で用いられているが現在では古い、冗長的であるなどの欠点が指摘されている●NSL-KDD…KDD Cup 1999 Dataの欠点を修正した実用的なデータセット●Kyoto2016 …2015年12月までのデータを収集した、最新の攻撃も含んだデータセット
NSL-KDDとKyoto2016を用いて、機械学習を用いた攻撃検知手法を比較●比較する手法
教師あり学習手法 … Random Forest, Support Vector Machine, Naïve Bays
教師なし学習手法 … K-Means, EM（ガウス混合法）
ハイブリッド手法 … 提案手法（Random Forest + 5-Means）

T1-09 ガウス過程を用いた全状態探索法(ES-GP)による蓄電池の電解液材料
中山智文（東大）・五十嵐康彦（JSTさきがけ）・袖山慶太郎（物材研） ・岡田真人（東大）
学生発表

目的

未知の材料を用いた蓄電池電解液の機能を既知のデータベース
から予測する手法を開発する

方法

全状態探索法にガウス過程を適用し，予測値の改善を行う

結果

全状態探索法に線形回帰を適用した先行研究より44%予測精度が向上した

提案手法(ES-GP)と先行研究(ES-LiR, LASSO, MLR)の結果の比較

T1-09 ガウス過程を用いた全状態探索法(ES-GP)による蓄電池の電解液材料
中山智文（東大）・五十嵐康彦（JSTさきがけ）・袖山慶太郎（物材研） ・岡田真人（東大）
学生発表

目的

未知の材料を用いた蓄電池電解液の機能を既知のデータベース
から予測する手法を開発する

方法

全状態探索法にガウス過程を適用し，予測値の改善を行う

結果

全状態探索法に線形回帰を適用した先行研究より44%予測精度が向上した

提案手法(ES-GP)と先行研究(ES-LiR, LASSO, MLR)の結果の比較

ヘテロジニアスなデータに対するクラスタリング後の推論[T1-10] 学生発表

1

1

2

1,3,4

井上茂乗 ，梅津佑太 ，坪田庄真 ，竹内一郎
1 名工大, 2 名大, 3 理研, 4 NIMS

概 ヘテロジニアスな多変量データに対してK平均法を適用後に要 クラスタを特徴づける変数を仮説検定により同定

問 データに基づいて選択的に得られたクラスタ間の比較に関して
題 無視できない選択バイアスの問題
提 Selective Inference (Lee et al., 16, AS) の案 枠組みで選択バイアスを考慮した新たな検定法の提案
クラスタ1

クラスタ2
選択バイアス
提案法

これらに特有の変数はなんだろう?

第一種の過誤ヘテロジニアスなデータに対するクラスタリング後の推論[T1-10] 学生発表

1

1

2

1,3,4

井上茂乗 ，梅津佑太 ，坪田庄真 ，竹内一郎
1 名工大, 2 名大, 3 理研, 4 NIMS

概 ヘテロジニアスな多変量データに対してK平均法を適用後に要 クラスタを特徴づける変数を仮説検定により同定

問 データに基づいて選択的に得られたクラスタ間の比較に関して
題 無視できない選択バイアスの問題
提 Selective Inference (Lee et al., 16, AS) の案 枠組みで選択バイアスを考慮した新たな検定法の提案
クラスタ1

クラスタ2
選択バイアス
提案法

これらに特有の変数はなんだろう?

第一種の過誤T1-11

マルコフ確率場を用いたロバストな一次元位相アンラッピング
中嶋 恭久 (東大)，五十嵐 康彦 (JST)，成瀬 康 (NICT)，岡田 真人 (東大)• 位相アンラッピングをマルコフ確率場に基づいて定式化した．
• MAP推定を用いた先行研究[Dias & Leitão 2002]とは異なり，PM推定を用いたアンラッピング法を提案した．

• 人工データを用いた数値実験の結果，PM推定はMAP推定と比較して，原画像の形状をロバストに推定できることが確認された．
true
observedPM
MAP
PM shifted

4p

0.25
0.20

Value

Density

2p

PM
MAP

0.15
0.10

0

0.05
2p
0.00
0

10

20

30

Index

40

50

60

2

0

2

4

RMSE

6

8

10

12

T1-11

マルコフ確率場を用いたロバストな一次元位相アンラッピング
中嶋 恭久 (東大)，五十嵐 康彦 (JST)，成瀬 康 (NICT)，岡田 真人 (東大)• 位相アンラッピングをマルコフ確率場に基づいて定式化した．
• MAP推定を用いた先行研究[Dias & Leitão 2002]とは異なり，PM推定を用いたアンラッピング法を提案した．

• 人工データを用いた数値実験の結果，PM推定はMAP推定と比較して，原画像の形状をロバストに推定できることが確認された．
true
observedPM
MAP
PM shifted

4p

0.25
0.20

Value

Density

2p

PM
MAP

0.15
0.10

0

0.05
2p
0.00
0

10

20

30

Index

40

50

60

2

0

2

4

RMSE

6

8

10

12

Title: Regression Method for Noisy Inputs
based on Nadaraya–Watson Estimator
constructed from Noiseless Training Data

T1-12

Author: Ryo Hanafusa, Takeshi Okadome
ノイズを含む入力に対する回帰問題
ノイズなし訓練データを利用し，ノイズあり入力に対する予測を行う
危険度（目的変数）
異常

糖尿病性
ケトアシドーシス
糖尿病

正常

予測したい

異常

ノイズを除いた
緊急検査時の値

薬の影響
（ノイズ）

健康診断時の検査値とそれに対応する危険度から構築した回帰関数

血糖値（説明変数）
緊急検査時の値

提案手法
 期待二乗損失最小の予測：ノイズを除いた入力の分布での期待値
 患者の状態を隠れマルコフモデルの潜在変数で表現
1/2
 ノイズの分布を推定

Title: Regression Method for Noisy Inputs
based on Nadaraya–Watson Estimator
constructed from Noiseless Training Data

T1-12

Author: Ryo Hanafusa, Takeshi Okadome
患者の状態

隠れマルコフモデル

緊急検査時の検査値

検査値

ノイズ分布のパラメータ
検査値に対応する病気の危険度

推定する危険度

実験結果：予測に対する RMSE により既存手法と比較した結果，ノイズが一定以上なら提案手法の方が精度がよい
2/2

T1-13

一般化 ℓ1 正則化問題に対するオンライン最適化手法

中里佳央 †1，福地一斗 †1，佐久間淳 †1, 2†1 筑波大学大学院システム情報工学研究科，†2 理研

一般化 ℓ1 正則化問題ℓt は凸関数．w ∈ Rd .D ∈ Rd×E
1 ∑ℓt (w) + λ∥Dw∥1 .
w∈W T
t=1
T

min

1
 0

DFL =  .
 ..
1

0
1
..
.
0

...
...
..
.
...

研究目的
大規模なデータに対しても適用できるオンラ
イン凸最適化アルゴリズムを開発・解析する

例）一般化結合ラッソ正則化



一般化 ℓ1 正則化問題に対する既存手法は計算量が大きく、大規模なデータに向かない

0
−1
..
.
−1

例）トレンドフィルタリング


−1
0 


..

.
0

提案手法の 1 反復の計算量

max{E , d}
既存手法の計算量 (Ed log d 2 /E , Ed 2 ) より低いのでより大きな問題に適用できる．

k
Dtrend = DFL
‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

T1-13

一般化 ℓ1 正則化問題に対するオンライン最適化手法

中里佳央 †1，福地一斗 †1，佐久間淳 †1, 2†1 筑波大学大学院システム情報工学研究科，†2 理研

収束の早さを向上するため鏡像降下法を利用

実験
人工データ、実データともにユークリッド空間上でパラメータを更新する場合より早い収束を得られるarceneFigure: 双対空間でパラメータを更新

objective

1.2
1.0
0.8

p = 1 + logd
p=2
p = 1 + 1/logd

0.60「データが密で解がスパース」や「データが疎で解が密」という特定の設定で収束速度への√√特徴量への依存性を O( d) ⇒ O( log d)
へ改善

200

400 600
iteration

800

1000

100,000 特徴量、3,414,437 エッジを持つ実
データに対して、１反復 20ms 程度で実行で
きる．
‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

‌

[T1-14] 和音系列に対するPCFGのベイズ学習と
Split-Merge サンプリングを用いたメロディへの和声付け
津島啓晃・中村栄太・糸山克寿 (京大)・吉井和佳(京大/理研) [学生発表]

自動和声付け (Automatic Harmonization)• 問題設定入力 : 単旋律メロディ

Dm

C

F

出力 : コード進行 (コードラベル)• キーアイデア : 和音系列の背後に和音の機能と反復構造に基づく木構造を仮定
機能

確率的文脈自由文法に基づく
コードラベル生成モデル

T

SD

SD

D

C

Dm

F

G

Tonic
Dominant

拍節マルコフモデルに基づく
コードリズム生成モデル
マルコフモデルに基づく
音符系列生成モデル

Sub Dominant

4
4

C

Dm
.

F

♪

G
.

♪

[T1-14] 和音系列に対するPCFGのベイズ学習と
Split-Merge サンプリングを用いたメロディへの和声付け
津島啓晃・中村栄太・糸山克寿 (京大)・吉井和佳(京大/理研) [学生発表]

自動和声付け (Automatic Harmonization)• 問題設定入力 : 単旋律メロディ

Dm

C

F

出力 : コード進行 (コードラベル)• キーアイデア : 和音系列の背後に和音の機能と反復構造に基づく木構造を仮定
機能

確率的文脈自由文法に基づく
コードラベル生成モデル

T

SD

SD

D

C

Dm

F

G

Tonic
Dominant

拍節マルコフモデルに基づく
コードリズム生成モデル
マルコフモデルに基づく
音符系列生成モデル

Sub Dominant

4
4

C

Dm
.

F

♪

G
.

♪

17/11/9

第20回情報論的学習理論ワークショップ, 2017.11.8〜11, 東京大学

学生発表

【T1-15】 ○成松宏美，笠井裕之（電通大）

複数系列における重複状態を表現可能な隠れセミマルコフモデルの提案
複数系列を統合し，重複する状態をHSMMで表現する
複数のスパースな観測系列は，1系列への統合が可能
系列 1
系列 2

a a
S1

c c c c
S3

b b
S2

d
S4
e
S5

time

しかし，統合すると・・・
a
統合系列

a b b

c c c cd e

S1 S6 S2

S3

S4 S5

time

重複状態を負の時間間隔として表現する手法を提案

17/11/9

第20回情報論的学習理論ワークショップ, 2017.11.8〜11, 東京大学

学生発表

【T1-15】 ○成松宏美，笠井裕之（電通大）

複数系列における重複状態を表現可能な隠れセミマルコフモデルの提案
複数系列を統合し，重複する状態をHSMMで表現する
複数のスパースな観測系列は，1系列への統合が可能
系列 1
系列 2

a a
S1

c c c c
S3

b b
S2

d
S4
e
S5

time

しかし，統合すると・・・
a
統合系列

a b b

c c c cd e

S1 S6 S2

S3

S4 S5

time

重複状態を負の時間間隔として表現する手法を提案

T1-16: エンタングルメントエントロピーに基づく機械学習
福岡大学

田中

勝

可能なすべてのパターンを考えるのではなく，識別したい対象が含まれている部分系について考えればよい多様体仮説の緩いバージョン
全系と部分系とのエンタングルメント・エントロピーを評価することにより情報圧縮を行い，それを学習に利用するシミュレーション結果については，以下を参照してください
T2-05: エンタングルメント・エントロピーを用いた畳み込みニューラルネットワーク

T1-16: エンタングルメントエントロピーに基づく機械学習
福岡大学

田中

勝

可能なすべてのパターンを考えるのではなく，識別したい対象が含まれている部分系について考えればよい多様体仮説の緩いバージョン
全系と部分系とのエンタングルメント・エントロピーを評価することにより情報圧縮を行い，それを学習に利用するシミュレーション結果については，以下を参照してください
T2-05: エンタングルメント・エントロピーを用いた畳み込みニューラルネットワーク

T1-17 劣モジュラ構造制約下での非凸スパース最適化
丸茂直貴 (NTT), 岩田具治 (NTT)• 𝑓 : 凸関数，微分可能• supp(⋅) : 非ゼロ添字集合• 𝑐 ∗ : 定数
• 𝑔 : 劣モジュラ関数

T1-17 劣モジュラ構造制約下での非凸スパース最適化
丸茂直貴 (NTT), 岩田具治 (NTT)

提案手法

T1-18

CS-SENSE法における事後平均推定
近似での学習パラメタの正則化
原田賢・井上真郷(早大)・富樫かおり(京大)CS-SENSE法：
複数コイル部分観測MR画像の推定法

1

T1-18

CS-SENSE法における事後平均推定
近似での学習パラメタの正則化
原田賢・井上真郷(早大)・富樫かおり(京大)

従来：最大事後確率(MAP)推定法
𝑘

問題点：𝐒𝑐 を決め打ち

𝐶
2
1
𝑘
𝑘
ෝ = argmin ෍𝒙𝒚𝑐 − 𝐅𝑢 𝐒𝑐 𝒙 + 𝛼 𝚿𝒙 1 + 𝛽 𝒙 TV
2 𝑐=1
2
𝒙

以前の提案：事後平均(PM)推定近似法
重さ𝑤𝑘 は回帰問題として学習෥ ≅ ෍ 𝑤𝑘 𝒙
ෝ 𝑘 , 𝑠. 𝑡. 𝑤𝑘 > 0𝒙𝑘

今回：重さ𝑤𝑘 についての正則化の比較
L1-norm正則化

L2-norm正則化

BEST

SCAD正則化
2

学生発表

T1-19

結果的公平な文脈付きバンディット学習

福地 一斗 (筑波大)，佐久間 淳 (筑波大/JST/理研)

文脈付きバンディット
例) 広告推薦

ユーザ情報
広告

フィードバック

公平性例) (Sweeny 13)の差別的広告に関する報告
アフリカ系
の名前

ヨーロッパ系の名前

Arrested?

Located:ネガティブな
広告

中立的な広告(クリック)

クリック率が上がるように広告配信を最適化したい

センシティブ属性(人種など)に依存しない
広告配信をおこないたい

学生発表

T1-19

結果的公平な文脈付きバンディット学習

福地 一斗 (筑波大)，佐久間 淳 (筑波大/JST/理研)

研究目的
公平性を保証した文脈付きバンディットアルゴリズムの開発・解析
結果• 敵対的文脈における不可能性定理• 劣線形レグレットが得られる設定として分配的文脈を導入• 分配的文脈におけるアルゴリズムの開発とレグレット解析

ポスターT1-19へT1-21 事後分布推定されたガウス過程間のKLダイバージェンスは有限次元の正規分布間のKLダイバージェンスで評価できる
石橋

英朗(九工大)，古川徹生(九工大)，赤穂昭太郎(産総研)
学生発表

問題提起
２つのデータセット
に対してGPを用いて出力推定した回帰関数の事後分布間のKLダイバージェンスはどう評価できるか？

入力

主張
事前分布がGP間で共通の場合，事後分布
KLダイバージェンスは以下の式で与えられる

無限次元
ここで

間の

有限次元
であり，

を表す

T1-21 事後分布推定されたガウス過程間のKLダイバージェンスは有限次元の正規分布間のKLダイバージェンスで評価できる
石橋

英朗(九工大)，古川徹生(九工大)，赤穂昭太郎(産総研)
学生発表

GP事後分布間のKL距離出力

観測点についてのガウス分布
としてKL距離を測ればよい
入力

第二
主成分

応用
GP集合の主成分分析→マルチタスク学習への応用につながる
第一主成分

T1-22:病名の共起頻度に基づく医療診断支援システムの構築
矢野 憲
荒牧 英治
奈良先端科学技術大学院大学

医療抄録（自然言語）【症例】２２歳、女性。平成１２年、縦隔リンパ節腫脹で発症の悪性リンパ腫。化学療法及び放射線療法で寛解を維持していた。平成１３年４月下旬から微熱及び咳嗽出現し、胸部レント
ゲン検査で異常陰影指摘され、５月１４日入院。その後、化学療法を追加したが、ＣＴ所見で残存病変が疑われたため、自家末梢血幹細胞移植併用大量化学療法を予定していた。

事実性判定に基づく
病名抽出NER

機械学習におけるマルチラベル分類

症状・病名の抽出【症例】２２歳、女性。平成１２年、<P>縦隔リンパ節腫脹
</P>で発症の<P>悪性リンパ腫</P>。化学療法及び放射線療法
で寛解を維持していた。平成１３年４月下旬から<P>微熱</P>
及び<P>咳嗽</P>出現し、胸部レントゲン検査で<P>異常陰影</P>指摘され、５月１４日入院。その後、化学療法を追加した
が、ＣＴ所見で<N>残存病変</N>が疑われたため、自家末梢血幹細胞移植併用大量化学療法を予定していた。

NN (ニューラルネットワーク)
診断支援モデルの学習

教師データ：
約44760件の日本内科学会
の医療抄録

症状1
診断名1
症状N
病名1
診断名K
前方推論

病名M

症状
病名
後方推論

ICD-10ICD-10

病名辞書
マスター

診断名

病名，症状名の共起頻度に基づく分散表現

NNの問題点：得られた知識が，コネクションに隠蔽されユーザーには不透明で理解しにくい．因果の説明容易性は医療における診断支援などで重要．

コネクション型推論モデルからのシンボリッ
クな確率推論モデル（説明容易性の向上）の導出（今後の課題）
決定木による帰納推論

述語論理による人工知能診断

ベイジアンネットワーク

T1-22:病名の共起頻度に基づく医療診断支援システムの構築
矢野 憲
荒牧 英治
奈良先端科学技術大学院大学

医療抄録（自然言語）【症例】２２歳、女性。平成１２年、縦隔リンパ節腫脹で発症の悪性リンパ腫。化学療法及び放射線療法で寛解を維持していた。平成１３年４月下旬から微熱及び咳嗽出現し、胸部レント
ゲン検査で異常陰影指摘され、５月１４日入院。その後、化学療法を追加したが、ＣＴ所見で残存病変が疑われたため、自家末梢血幹細胞移植併用大量化学療法を予定していた。

事実性判定に基づく
病名抽出NER

機械学習におけるマルチラベル分類

症状・病名の抽出【症例】２２歳、女性。平成１２年、<P>縦隔リンパ節腫脹
</P>で発症の<P>悪性リンパ腫</P>。化学療法及び放射線療法
で寛解を維持していた。平成１３年４月下旬から<P>微熱</P>
及び<P>咳嗽</P>出現し、胸部レントゲン検査で<P>異常陰影</P>指摘され、５月１４日入院。その後、化学療法を追加した
が、ＣＴ所見で<N>残存病変</N>が疑われたため、自家末梢血幹細胞移植併用大量化学療法を予定していた。

NN (ニューラルネットワーク)
診断支援モデルの学習

教師データ：
約44760件の日本内科学会
の医療抄録

症状1
診断名1
症状N
病名1
診断名K
前方推論

病名M

症状
病名
後方推論

ICD-10ICD-10

病名辞書
マスター

診断名

病名，症状名の共起頻度に基づく分散表現

NNの問題点：得られた知識が，コネクションに隠蔽されユーザーには不透明で理解しにくい．因果の説明容易性は医療における診断支援などで重要．

コネクション型推論モデルからのシンボリッ
クな確率推論モデル（説明容易性の向上）の導出（今後の課題）
決定木による帰納推論

述語論理による人工知能診断

ベイジアンネットワーク

T1-23:勾配上昇降下法を用いた効率的なモード回帰
山崎 遼也 京都大学工学部情報学科
田中 利幸 京都大学大学院情報学研究科

モード回帰,既存手法
条件付き極大値を推定

学生発
表

提案手法
より効率的に同時に条件付き極小値も推定

さらに従属変数が1次元の場合の既存手法の収束性を証明

T1-23:勾配上昇降下法を用いた効率的なモード回帰
山崎 遼也 京都大学工学部情報学科
田中 利幸 京都大学大学院情報学研究科

モード回帰,既存手法
条件付き極大値を推定

学生発
表

提案手法
より効率的に同時に条件付き極小値も推定

さらに従属変数が1次元の場合の既存手法の収束性を証明

[学生発表]T1-24 Bayes factorに基づく

RAIアルゴリズムを用いた大規模ベイジアンネットワーク学習
名取和樹，宇都雅輝，植野真臣（電気通信大学大学院情報理工学研究科）

ベイジアンネットワークの学習

提案手法
Bayes factor

RAIアルゴリズム+
データから構造を推定

既存手法

構造の候補から全探索する

動的計画法 [Silander+2006]
幅優先分枝限定法 [Malone+2011]
整数計画法 [Cussens2011]

最大で60ノードの学習が限界
大規模構造学習を実現できない

1000ノード以上の大規模構造
学習を実現[学生発表]T1-24 Bayes factorに基づく

RAIアルゴリズムを用いた大規模ベイジアンネットワーク学習
名取和樹，宇都雅輝，植野真臣（電気通信大学大学院情報理工学研究科）

ベイジアンネットワークの学習

提案手法
Bayes factor

RAIアルゴリズム+
データから構造を推定

既存手法

構造の候補から全探索する

動的計画法 [Silander+2006]
幅優先分枝限定法 [Malone+2011]
整数計画法 [Cussens2011]

最大で60ノードの学習が限界
大規模構造学習を実現できない

1000ノード以上の大規模構造
学習を実現

T1
25

連続な無限因子モデル
中野允裕（NTT）, 持橋大地（ISM）, 松井知子（ISM）, 柏野邦夫 （NTT）

 非可算無限集合上の隠れ因子を持つ無限因子モデルの構成に木構造棒折り過程を利用したポリア木表現を提案

連続な因子モデルへ拡張

3つの
因子

連続な
無限因子

ポリア木
モデル

T1
25

連続な無限因子モデル
中野允裕（NTT）, 持橋大地（ISM）, 松井知子（ISM）, 柏野邦夫 （NTT）

 非可算無限集合上の隠れ因子を持つ無限因子モデルの構成に木構造棒折り過程を利用したポリア木表現を提案

連続な因子モデルへ拡張

3つの
因子

連続な
無限因子

ポリア木
モデル

T1-26

二分決定図を用いた, 区間値公開時のプライバシ安全性下限の高速計算
竹内聖悟1*, 草野光亮2, 津田宏治1, 佐久間淳2（ 1東京大学, 2筑波大学）
予測サービス

疾病罹患リスク

遺伝情報

𝑓(𝑥) → 𝑦

例: 「肥満はE評価」

攻撃者による入力値推定「肥満はE評価」

SNP**を持つ

安全なサービス (例:数値ではなく区間化)推定されにくいような設計
安全性評価指標
α-obscure安全[草野+2016]
目的: 計算の高速化

𝑓 −1 (𝑦) → 𝑥

プライバシリスク

今回の対象:
SNP情報からの疾病罹患リスク予測モデル
区間値 : lb ≤ 𝑓 𝑥 ≤ 𝑢𝑏, 複数の疾患⇨ サブゴール: 𝐴𝑥 ≤ 𝑏 の解 𝑥の列挙
𝑥 ∈ 0,1 𝑑 , 𝐴 ∈ 𝑍 𝑚×𝑑 , 𝑏 ∈ 𝑍 𝑚
既存手法: 二分決定図(BDD)の利用
提案: より効率的な列挙手法, 近似計算手法

α-obscure安全:𝛼 ≥ Pr 𝑋𝑖 = 𝑘 𝑌 = 𝑦] − Pr 𝑋𝑖 = 𝑘
事前分布 Pr[𝑋 = 𝑥]事後分布 Pr 𝑋𝑖 = 𝑘 𝑌 = 𝑦] =σ𝑥∈ 𝑥 𝑥∈𝑓−1 𝑦 ,𝑥 =𝑘} Pr[𝑋=𝑥]
𝑖

σ

解の列挙

Pr[𝑋=𝑥]𝑥∈𝑓−1 [ 𝑦 ]T1-26

二分決定図を用いた, 区間値公開時のプライバシ安全性下限の高速計算
Behle

BDDを用いた, 解の列挙:• 既存手法[Behle 2007]

計算量• 個々の不等式のBDDを構築, AND演算 ⇨ 解• AND演算は重い: 入力BDDサイズの乗算• 提案手法1: 一度に全不等式を扱う• 関連: フロンティア法 [Kawahara+2017]• 提案手法2: 近似BDDの構築• Relaxed, Restricted BDD [Bergman+2013]

既存手法
𝐴

AND

𝑥 ≤ 𝑏

BDD

提案手法

BDD

近似BDD:
解集合の上位/下位集合
を表す

提案法

提案法（近似）𝑂(𝑚𝑑 2 𝑊 2 ) 𝑂(𝑚𝑑𝑊) 𝑂(𝑑𝑤(𝑚 + log 𝑤 )𝑊: BDD幅, 𝑤: 近似のパラメータ, BDD幅

実験結果:
𝑚 = 9,18 , 𝑑 = 99
既存手法: ≥ 24時間 で解けず.
提案手法: ≤ 1,000秒

T1-27：
劣モジュラ最大化に対する高速な最良優先探索坂上晋作 NTT コミュニケーション科学基礎研究所
石畠正和 北海道大学 大学院 情報科学研究科

1

内容紹介
ナップサック制約付き単調劣モジュラ最大化
に対する高速な最良優先探索の提案
任意の 𝛼 ∈ [0,1] に対し 𝛼-近似解を出力
時間・空間計算量で実験的に既存法を上回る高速化の詳細：• 新たなヒューリスティック関数（貪欲法の良さを活用）• 𝛼-近似検出処理2