[D2-31] 特徴間のOR組み合わせに対する単調性とセーフプルーニングによるスパースモデルの学習中川和也(名工大), 鈴村真矢(名工大), 烏山昌幸(名工大), 津田宏治(東大), 竹内一郎(名工大)• 2値特徴のすべてのORを項にもつスパースモデルを考える+1-1

𝑆𝑐𝑜𝑟𝑒 𝑥1 < 1𝑤1∗ = 0𝑤 ∗1,2 = 0𝑤 ∗1,2,3 = 0

𝑓 = 𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑤3 𝑥3+𝑤 1,2 𝑥1 ⋁ 𝑥2 + 𝑤 1,3 𝑥1 ⋁ 𝑥3 + 𝑤 2,3 𝑥2 ⋁ 𝑥3+𝑤 1,2,3 𝑥1 ⋁ 𝑥2 ⋁ 𝑥3

学生優秀プレゼンテーション賞対象

複数の統計手法を用いた不純物の粒界偏析サイトと濃度の最適化
複数の統計手法を用いた不純物の粒界偏析サイトと濃度の最適化

学生優秀プレゼンテーション賞対象

Introduction〇清原慎, 溝口照康 (東大)

バルク

材料

http://www.dokindokin.com/

多結晶Methodology

Pr 偏析 in ZnO粒界

粒界*J. Roh et al., J. Am. Ceram. Soc (2015)

データ構造・・

0 : Cu 原子, 1 : Ag 原子
バルク { E , x =(0,0,1,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0) }1
1{ E2, x2=(0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0) }×粒界手法✓ 遺伝的アルゴリズム ✓ ランダムフォレスト✓勾配ブースティング木バルク ✓モンテカルロ木探索

ポスター番号 D2-32

(D2-33ɿֶੜ༏लϓϨθϯςʔγϣϯ৆ର৅)ߴ໦༑࢜ʢ‫౎ژ‬େֶʣΨ΢εաఔঢ়ଶۭؒϞσϧʹର͢Δ࠷ద੍‫ޚ‬࣮‫ݧ‬σʔλ͔Βਪఆͨ͠Ϟσϧʹ͸৴པੑͷ௿͍ྖҬ͕ଘࡏ͢Δෆ͔֬ͳྖҬΛճආ ͭͭ͠ ੍‫ޚ‬໨తΛୡ੒ ͍ͨ͠xk+1 = f (xk , uk )!"##!!! " "! #$xk ɿঢ়ଶuk ɿ੍‫ޚ‬ೖྗ$%!&'(!$!"#$%"!

!!

=⇒ ͜ͷ τϨʔυΦϑ Λߟྀͨ͠ධՁؔ਺Λಋೖ͠ɼଟஈઌ༧ଌ෼෍Λ࢖ͬͯকདྷͷίετΛ༧ଌɾվળ͢Δ͜ͱͰ࠷దͳ੍‫ޚ‬ೖྗͱঢ়ଶ‫ي‬ಓΛઃ‫ܭ‬ʂߴ໦༑࢜ʢ‫౎ژ‬େֶʣ

(D2-33)Ψ΢εաఔঢ়ଶۭؒϞσϧʹର͢Δ࠷ద੍‫ޚ‬

1/1

D2-34 : ユーザの知識を深めるための不動産事情紹介記事のレコメンデーション（株）ネクスト 三條 知美

約2万記事の中から、キーワードに最適なコンテンツをレコメンド

D2-35CNNadversarial examples(),(/JST CREST)

clean adversarial







D2-36

グラフ上の局所ブレグマンダイバージェンスによる統計的推論

金森 敬文 (名大)，竹之内高志 (はこだて未来大)✓• 離散サンプル空間 Y：近傍構造 ⇐⇒ 無向グラフ G = (Y, E)✏

例：画像など．統計モデル：q(x) = !
q(x)/Z ．Z の計算が大変．

• 局所 Bregman-div による推定：Z を計算しない推定法* 近傍上の Bregman-div：
条件付き分布 p(y | 近傍), q(y | 近傍) の違い．
* 大域的な違い：局所情報の総和−→ 局所 Bregman-div

Bφy1y1• 理論的性質 (グラフ理論による一致性条件：グラフの平方根)
ロバスト局所推定法，・・・．

✒y2

Bφy2

✑

leD2-37a

mpil e

bleeee000011100…000030mine

n

limom

5% ne

Oversampling

Undersampling/c

95% nec

Oversamplingrsc

D2-38

学生優秀プレゼンテーション賞対象

加速近接勾配法の改善と2値判別モデルの統一的解法への応用
伊藤直紀(東大) ・ 武田朗子 (統数研) ・ TOH Kim-Chuan (NUS)

l 汎用的な最適化手法である加速近接勾配法 + 高速化の工夫
収束レート
Backtracking (Beck & Teboulle, ʻ09)

O(1/k 2 )Modiﬁed Backtracking (Scheinberg et al., ʻ14) O(1/k 2 )Restarting (OʼDonoghue & Candes, ʼ13)

unknown

Maintaining top-speed (Monteiro et al., ʻ15)

unknown

本研究組み合わせ + 安定化
O (log k/k)2

l 統一的2値判別モデル(Takeda, Mitsugi, & Kanamori, ʻ13)に適用•

SVM・ロジスティック回帰・フィッシャーの線形判別器 などを含むモデル•

様々なモデルを既存手法より高速に解くことができた•

モデル選択をする上で有用D2-39

深層学習を用いたペアワイズ分類―結合素性の利用と対称性について―

新 恭兵1・小山 聡1・栗原 正仁1・古堂 和音2
1北海道大学 2NECソリューションイノベータ
ペアワイズ分類における深層学習の問題点

ペアワイズ分類二例がある関係を満たしているか否かを判定する問題
ノードA

ノードBリンクあり？

学生優秀プレゼンテーション賞対象

論文A

二例間の素性の組み合わせ (結合素性)
対称性: 𝑓 𝒙𝛼 , 𝒙𝛽 = 𝑓 𝒙𝛽 , 𝒙𝛼

論文B

同じ著者？

多くの応用で重要な性質

深層学習を用いた研究は少ない→素性の組合せを内部で自動的に獲得できないだろうか？

提案手法
単純な方法の問題点を解決• 対称性を満たしながらも個々の例の情報を損失しない結合素性を扱うことが可能• 結合素性を入力していることと等価• 直接計算はしないので低コスト• 重みはやや複雑に
著者のマッチングに関する実験では，他手法より優れた分類精度・再現率・AUC

単純な方法：𝒙𝛼 , 𝒙𝛽 を連結したベクトルを入力→対称性を満たさない対称性を満たそうとすると，二例の和を入力していることと等価→個々の例の情報が損失し，判定を行うことが困難

!	
!

!

*D2'40!

NTT

t1

t2

tt3
!=!

!
!
!	

!

!

!D2'40!

!

学生優秀プレゼンテーション賞対象

D2-41

MDL原理に基づく連続値共クラスタリングによる野球データ分析〇伴 拓也(東大), 菅原 慎矢(東大), 山西 健司(東大)理論

連続値共クラスタリング

提案 MDL原理に基づくクラスタ数推定+EMアルゴリズム
手法

応用 メジャーリーグ・野球データ分析
問題 野手・投手間の打率という関係性→ クラスタ・相性発見
設定
右・左といった従来の常識と異なるクラスタ発見

2016/11/17

本研究はJST CRESTの一部として行われた

Poster Preview

※学生優秀プレゼンテーション賞対象

D2-42

グレンジャー因果性とグラフ理論に基づいた
迷走神経刺激療法による脳波コネクティビティ変化解析
内田剛志 京都大学t!5t!4t!3t!2t!1t

14

23神経ネットワーク解析

てんかん治療法の作用機序を考察

D2-43/LXI> ;C5+EXMT4D!9<SVM?3?
7" (),   ()'OUHWKXGRW216)
SVM?$#4(
1 ,m"# + -+ − /, +$%&' %( 2.%)[1]
7: NVJF:< 6?3>AB, /LXI@ ,8: 5+EXMT?3!

%)• 5+EXMT?3!• 3@0*
10%(?PQS=@, (?-D&:<[1] K. W. Chang and D. Roth. Selective block minimization for faster convergence of limited memory large-scale linear models. In KDD, pages 699-707, 2011D2-44

Theoretical Analysis for
Parameter Transfer Learning
熊谷 亘 (神奈川大学)

目的パラメータ転移学習の解析

パラメータを学習&転移
元ドメイン
結果

訓練データ

テストデータ

目標ドメイン• パラメータ転移学習可能性という概念を導入• パラメータ転移アルゴリズムに対して汎化誤差の上界を導出• 応用: スパース符号化を用いた自己教示学習の理論的解析

D2-45質量変動を有するクアッドコプタのスケジュール推定型LPVシステム同定
江藤 力（NEC）、藤巻 遼平（NEC）、亀田 義男（NEC）

状態空間モデルの凸結合（LPVモデル）として姿勢運動のダイナミクスを学習！
“With Luggage”
State-Space model
LPV
飛行ログ
・制御入力
・姿勢情報

“Without Luggage”
State-Space model
既存手法：凸結合係数は既知
提案手法：凸結合係数も推定

D2-46(AF7F@=C;96@=C)••••(,$2,- 1••••

4343,

CF>( '
& /(!
••••.+0
 5%.+&,543

"#?D:E<F8BE*)D2-47（学生優秀プレゼンテーション賞対象）

Recurrent infomax が input-driven recurrent neuralnetwork の計算能力へ及ぼす影響
岩出尚（京都大学情報学研究科）

y(t-1)
x(t-1)u(t-1)

y(t)
x(t)

u(t)

ネットワークの相互情報量 I(x(t-1); x(t)) が最大となるように学習させる．

D2-48: 長期記憶のためのRecurrent Neural Network

NTT セキュアプラットフォーム研究所 山田真徳, 山中友貴

提案：長期時間記憶を保存できるRNN(back propの距離が長くても勾配消失・勾配発散を起こしにくい)提案手法：ノードごとに異なるスケールを学習させるl 

Forward prop

Pはホップの集合(左の図は P = {1, 2} )

01XXX
lpl
1tlt
llA
xj = f @wji xi+(w̃p )jk xlt+bjkip2Pk

ホップの種類のラベル

t(time)

既存手法(LSTM, Memory NN)と比較実験• 提案手法のホップのパターンを変えた実験(1+10, 1+5+10, 10)• 結果：既存手法と比較して長期時系列データを扱うことができた•D2-49 学生優秀プレゼンテーション賞対象

gamreg: ロバストかつスパースな線形回帰
川島孝行 (総研大)藤澤洋徳 (統数研)

IBIS2015
・𝜸ダイバージェンスに基づく回帰を達成

・スパース正則化を加えても，単調に減少する推定アルゴリズムを導出
・簡単な数値実験で有効性を確認
IBIS2016
・どのようなロバスト性を持つか，理論的に証明
・tuning parameter選択のためのロバストなCross-Validationの提案
・既存の手法との計算時間の比較
・多様な設定でのシミュレーションおよび実データ(n=59,p=22,283)において有効性を確認
既存手法は約40,000秒

提案手法は約130秒
R package “gamreg”
外れ値の割合が多くても(30％)
有効性を確認D2-50: 深層畳み込みニューラルネットワーク法による
X線コネクトーム画像のシングルフレーム超解像水谷治央（ドワンゴ人工知能研究所）

9-1-5 3-layer Super Resolution Convolutional Neural Networks (CRCNN)

Original Image

Bicubic Image
27.36 dB

Computer simulation study- 8000 x 8000 pixel original image- 9000 projections- Binning: 3 in sinogram- FBP reconstruction- No noise added

SRCNN Image
29.55 dB, 500M iterations(2 days)cf) Dong et. al., ECCV, 2014

D2-51) ,(?3Z!UWST'",Q#AC'"4059/-M7I.(CTMRG)EH&(D#ALONY +G;=Q
><D@*FJN8••059/Q#AC: 2),I PB%F $1FKNVXR8D

CTMRGELoopy Belief Propaga6onG6Loopy Belief PropagationCTMRG
• 17980' "•1 (6-/*(&.2#)
•  1034%!6$ "•,/*+)5• 7980'二段階完全変数化NML符号長に基づく
LDAのトピック数推定とトピック変化検知
D2-52○呉天逸（東大 修士2年）, 菅原慎矢（東大）, 山西健司（東大）

問題と目的

LDAのトピック数推定における新MDL情報量規準の提案

提案手法計算効率の良いMDL規準: 二段階完全変数化NML符号長

成果

混合モデルに対し、計算しやすい情報量規準を提案

LDAにおいて実用の有用性を確認• 今までのMDL規準[Rissanen 1978]• NML符号長:様々な良い性質• 計算が困難• 提案規準:• データ𝑥 𝑛 と潜在変数𝑧 𝑛 を分けて記述• 混合モデルで計算効率が良い• 実験的にLDAにおける性能が良いℒ𝑁𝑀𝐿 𝑥 𝑛 , 𝑧 𝑛 = − log 𝑃 𝑥 𝑛 , 𝑧 𝑛 𝜃, 𝑀 + log

𝑥 𝑛 , 𝑧 𝑛 𝜃, 𝑀𝑥ℒ𝑁𝑀𝐿 𝑥 𝑛 𝑧 𝑛 + ℒ 𝑁𝑀𝐿 (𝑧 𝑛 )学生優秀プレゼンテーション賞対象
本研究はJST-CRESTの一部として行われた

D2-53 Shapelet の統合に基づく時系列分類

学生優秀プレゼンテーション賞対象

桑原健吾・末廣大貴・畑埜晃平・瀧本英二（九州大学）

既存：Shapelet を時系列データから探索
𝑛個

𝜙𝑅𝑛

提案手法：Shapelet 候補をランダムに生成𝑁個(≫ 𝑛)

𝜙スパース
モデリング

・Shapelet の探索にかかる時間の削減
・Shapelet に汎化性能を保証できる可能性がある

𝑅𝑁

D2-54: なぜnormalized cutを用いないのか？ 寺田 吉壱 /~ Ncutの漸近的性質とSpectral Clusteringとの関係 ~ 山本 倫生 /多変量データに対するクラスタリングを扱う (von Luxburg et al. 2008, AoS)
Normalized cut (Ncut) の”ある種の”近似 → Spectral clustering (SC)SCによる分割の収束先 = 背後の分布に対する最適性なし

Q : Ncutは収束する？ → 一致性を証明 (漸近的に対応するRKHSが存在)
Q : Ncutの導く分割の意味は？ → 分布に対するある種の最適性あり！
n次元空間上w k-means

本研究

本研究

Dhillon et al.
(2007, IEEE PAMI)

データに対するNcutn!1

データに対するSC=Laplacianmatrix!

n!1!

確率空間に対するNcut

6=

Shi and Malik(2000, IEEE PAMI)

RKHS上のw k-means

空間分割の最適性なし

von Luxburg etal. (2008, AoS) 関数空間上の有界作用素

データ

SpectralNcutfault magnitude

variable

opera0onal
unit

CO2
fault magnitude

D2-55
*

*

or
10
105
10 15min.
2005
10 15 20min.
0leopera0onal
unit

D2-55
*

*

RBC

CO2

D2-56

酸化物粒界構造の構造決定およびその構造機能相関に対する情報科学手法の応用○1菊地駿，1小田尋美，1清原慎，2松永克志，1溝口照康（1東大・生研，2名大・工）学生優秀プレゼンテーション賞対象

粒界原子構造の特定計算コスト膨大結晶粒界dy粒界エネルギー

Introduction

4.0
2.0dx0dz

三次元エネルギーマップから最小エネルギー点を探索

Kriging（ベイズ最適化＋ガウス過程回帰）を用いて高速かつ高精度に最小エネルギー構造を探索
Results
Al2O3粒界において，最小エネルギー構造の決定を●構造と機能の相関性についてはポスターにて発表する

約10,000倍高速化* !
,?08:+@>-:@6A.;@

D2-57


, Varga IstvanB<,=A75,9?/A1C

D#'&)8:+@%'>-:@8B
%'*Yelp'6A3247*"$ 






( C

   D2-58

学生優秀プレゼンテーション賞対象

AUC最適化畳込みニューラルネットワークによる血液細胞分類
唐澤弘明, 山田万太郎, 亀澤諒亮(東大) , 佐藤一誠（東大/JSTさきがけ）
太田禎生(東大/JSTさきがけ/ThinkCyte), 勝田和一郎(ThinkCyte)
松井啓隆(熊大病院)

血液がん：骨髄異形成症候群（MDS）• 予後不良の病気⇒早期発見が重要• MDS検査：目視による判別(熟練したスキルが必要)
機械学習による診断支援

データ:約98%が正常細胞評価：症例単位平均AUC
AUCを最適化するCNNで学習する異常細胞 正常細胞

共通乱数法を用いた
D2-59 再パラメータ化局所期待勾配による深層離散変数モデルの学習
得居 誠也†‡, 佐藤 一誠† （†東京大学, ‡株式会社Preferred Networks）› 離散変数を含む有向確率モデル› （例：離散変数の変分オートエンコーダ）› 最適化の際にどうやって勾配を推定するか連続変数にしか使えなかった再パラメータ化トリック (reparameterization trick) を離散変数に拡張する方法を提案
推定の分散を大幅に低減！ (x1e-5 ～ x1e-8)
理論保証つき！！

学生優秀プレゼンテーション賞対象

学生優秀プレゼンテーション賞対象

D2-60

分布の逐次推定に基づくオンライン決定木学習
木村拓海，川野秀一（電気通信大学）

目的

決定木・ランダムフォレストのオンライン学習手法を提案提案­データが正規分布に従う事を仮定し，分布を逐次推定­推定された分布に対して，Kullback-Leibler情報量を用いて葉ノードを分割

例：x = (x1 , x2 ) y 2 { , }t2t3t1

D2-61 ਖ਼ଇԽ߲෇͖‫ظ‬଴‫࠷ࠩޡ‬খԽ໰୊ʹର͢ΔՃ଎ AdaGrad ͷఏҊଜా ஐ໵, ླ໦ େ࣊ (౦‫ۀ޻ژ‬େֶ)ਖ਼ଇ߲෇͖‫ظ‬଴‫࠷ࠩޡ‬খԽ໰୊!
"min E(a,b) [ℓ(a⊤ x, b)] + R(x)x∈RdΛղͨ͘Ίͷ৽͍֬͠཰త࠷దԽ
ΞϧΰϦζϜΛఏҊ.
֓ཁ֬཰తՃ଎๏ͱ AdaGrad Λ౷߹ར఺ϛχόονʹΑΔฒྻԽͰՃ଎Խ
ग़‫ݱ‬ස౓ͷภΔૄσʔλͰߴ଎ԽLazy Update ͕Մೳ(ֶੜ༏लϓϨθϯςʔγϣϯ৆ର৅)

D2-62: Shun Watanabe (Tokyo Univ. Agriculture and Technology)“A Neyman-Pearson-like Test for Multi-terminal Hypothesis Testing”
Xnf1nf2Y(X n , Y n ) ⇠ PXY or QXY

gzero-rate communication(eg. send marginal types)• Hoeffding-like test [Han-Kobayashi 89]• Neyman-Pearson-like testM(η x (P ), η y (P ))M(η x (P ), η y (P ))M(η x (Q), η y (Q))
Mλ (τ )× Q∗XYE(θxy (P ))PXY×E(θxy (P ))

PXY×

∗
PXY

E(θxy (Q))×× QXY∗PXY

E(θxy (Q))×× QXY• Neyman-Pearson-like test has better error trade-off than Hoeffding-like test for finite block length;• Neyman-Pearson-like test has the same (optimal) large deviation performance as Hoeffding-like test;• Information geometric observation [Amari-Han 89] plays an important role.

cD2-63dW(!" , +1)

u AT#'  .+&@C>
u & FIG/
ATJD-+OR18* 6H!*+,-.*(!& , −1)(!( , +1)…

+ON(!) , +1)
+1 or -1

Inactive(-1)

Active(+1)

cWildcardu wildcard&#'(4 &#'$&#') & AT5FI:& )DL"(B2Kwildcard)
NHONNNHNNSONNHSu WildcardQ=ATJ D- <9ATJPE→%'FS0;7u !) ,03
wildcardQ=ATJM?+UNOSa19

D2-64(ֶੜ༏लϓϨθϯςʔγϣϯ৆ର৅)ม෼ϕΠζ๏ʹ‫͍ͨͮج‬ඇઢ‫ܗ‬ঢ়ଶۭؒϞσϧͷύϥϝʔλਪఆ:Ϟσϧ͕ύϥϝʔλʹ͍ͭͯΞϑΝΠϯͳ৔߹୩‫౎ژ( ޺໌ ޱ‬େֶ), ౻ຊ ݈࣏ (‫౎ژ‬େֶ), ੢ా ٢੖ (ਆ‫ށ‬੡߯ॴ)ઌߦ‫ڀݚ‬ͷϥϓϥεۙࣅΛ༻͍Δ͜ͱͳ͘ม෼ϕΠζ๏ΛΑΓ஧࣮ʹ࣮ߦ͢Δ͜ͱ͕Մೳʹʂঢ়ଶม਺ͷม෼ࣄ‫ޙ‬෼෍ͷ‫ࢉܭ‬͸͋Δ֦େ‫ܥ‬ͷεϜʔδϯά໰୊ʹରԠ͢Δ͜ͱΛূ໌ˠ‫ط‬ଘͷ༷ʑͳεϜʔβΛ༻͍ͯม෼ࣄ‫ޙ‬෼෍Λಋग़͢Δ͜ͱ͕Ͱ͖Δʂ

1/1

D2-65 : 統計化データからの学習可能性
熊谷雄介，坂井良樹，道本龍 (株式会社博報堂)

raw datak-anonymized dataQ : クラスタリングによって匿名化したデータの方が効率的に学習できるケースがあるのでは?

位相的データ解析のためのカーネル法草野元紀(東北大), 福水健次(統数研), 平岡裕章(東北大)D2-66 :【学生優秀プレゼンテーション賞対象】

位相的データ解析：データの幾何構造を有効活用する研究
(液体)

(ガラス)

？

30252015(固体)

30

1025

520015−51010−1055025

025

20
15−15
10202525

201515105100500501055015

520
15

1010−50−5−10

パーシステントホモロジー：データの幾何構造を表現する特徴量
321.80.8
11.4
21.2
1.5

10.8

11.5
2

[ Å ]

22.5

30.8
0.6
0.4
0.50.2110.4
0.5

0.5

1.5

0.6

0.4

0

1.2

10.6
0.5

1.4

2

[ Å 2 ]1

Multiplicity

1.5！

1.6

Multiplicity

1.4
2

2.5
1.6

[ Å 2 ]1.6[ Å 2 ]

1.8

2.5

1.2

2

1.8

2.5

0−0.5

3

2

0.2
0−0.5

00.5

1

1.5
2

[ Å ]

2

2.5

3

0.2
0−0.5

00.5

1

1.5

2

2.5

3

[ Å 2 ]研究の概要：カーネル法による統計的枠組みの整備、さらなる特徴付け

Multiplicity3