半導体露光装置における構造変化検知
Structural Change Detection in Lithography Systems
大坪 洋介（株式会社ニコン）

杉山 将（理化学研究所、東京大学）

半導体露光装置:数nmオーダー線幅を持つ半導体回路を作成する、史上最も精密な機器
高スループット、安定稼働に向けて…
センサ変数間の関係の変化はどうなっているか？
解析のコンセプト
１．装置内変数の依存関係変化は疎である．
⇒変化分に対するスパース⇒密度比推定２．装置の機構上，モジュール内の変数は依存関係が強く，構造変化成分も密であると考えられる．
⇒グループ正則化
センサログ

露光装置の機械的な構造と合致する自然な変化検知結果

T1-3:	 

[EPHE (Wang et al., 2016)

,EM

•

]

,

EPHE:

EPHE:
Update 1

Update 1

Update 3

Update 1

Update 3

Update 5Update 3

Update 5Update 5

T1-4. 主成分分析を用いた教師なし学習による変数選択法のバイオインフォマティクスへの応用. 中央大学 田口善弘
PC2

サンプル

遺伝子主成分
得点主成分
負荷量

遺伝子埋め込み

PC1++

PC1

外れ値

再埋め込み
サンプル++
フューチャー : miRNA/mRNAプロファイル, プロモータメチル化, メタ
ボローム; 標的 : バイオマーカー, がん, 自己免疫疾患, PTSD由来心臓病, 世代間転移エピジェネティックス, 酵母細胞分裂周期, マルチオ
ミックスデータ統合解析

PCA

テンソル分解へ拡張

T1-5 交差検証法による圧縮センシングの成否判定
中西（大野）義典 福島孝治
【圧縮センシング】
少量
データ

東京大学大学院総合文化研究科【結果：交差検証誤差（CVE）の典型値評価】

ス
パース
信号
（未知）

d log CVE
d log k【先行研究：Basis Pursuitの相図】[Donoho and Tanner PNAS 2005, Kabashima et al. J. Stat. Mech. 2009]• 成功相と失敗相とでCVEの挙動が異なる• CVEは，スパース度が未知でも計算できるので成否判定に用いることができる• 数値実験を行うと，貪欲法（OMP，OLS）にも同様の傾向が見られる

T1-6:!


2$:




%

&

4
4

'

4

3
41D



31















D



D"

!












4

1

1

T1-7

分布シフトに対してロバストな教師あり学習
胡緯華, 佐藤一誠 (東大), 杉山将 (理研/東大)

現実問題では，テスト分布は訓練分布からシフトする．
! 分布シフトに対してロバストに学習したい．
学習

不確実な
テスト分布

訓練分布

ロバスト化のためのラッパーを提案
低計算コスト

柔軟なモデル化

T1-8：深層学習によるWavelet解析画像を用いた楽器音の識別(Musical Instrument Sound Classification through CNN with Wavelet Analysis)◯Shu Eguchi, Masaru Tanaka, Jun Fujiki(Fukuoka Univ.), Takio Kurita(Hiroshima Univ.)

Sound Data
Single tones, Two chords
Wavelet Analysis
Visualization

FeatureImage Data
「学生優秀プレゼンテーション賞対象」

Imagenet with Chainer
Imagenet Classification

Musical Instrument
Sound Classification

T 1 # 1 0 学生優秀プレゼンテーション賞対象

英日機械翻訳のための畳込みニューラルネットワークによる文表現生成モデル
目的 ｜ 異なる語順を持つ言語間の機械翻訳の精度向上
NNの一種であるConvolutional+ AutoEncoder(CAE)を用いた語順をある程度無視できる文表現生成モデルを提案
CAE

畳込みニューラルネットワークの位置不変性＋

AutoEncoderの次元圧縮能力
文表現入力

文章生成モデル＝英日
機械翻訳モデルT1-11正規分布とハイゼンベルグ群 〜情報幾何的視点から〜
福岡大学理学部応用数学科

時松 照・田中 勝

有限離散標本空間上でさえ，規格化因子を評価する場合計算量的な困難が生じることがある

規格化因子を考慮しない場合はどのようなことが起こるのか？
正規分布を例に，情報幾何的視点から規格化因子を外しスケール変換を導入

ハイゼンベルグ群と対応づけることによりエントロピーの評価ができれば規格化因子を求めることができる

・ランベルトのW関数

・ルジャンドル変換とハイゼンベルグ群の構造との関係
学生優秀プレゼンテーション賞対象

T1-12 学生優秀プレゼンテーション賞対象

オンライン学習手法による異種混合機械学習
池原 徹也・山根 智（金沢大学）
 研究目的
複数の規則性が存在する異種混合性をもつ混合型データのリアルタイム分析

 研究概要• EMアルゴリズムにおいて負担率𝛾 の差分𝑠を利用した逐次的な計算の提案
Mステップ

Eステップ

1 (𝑡)
𝑠𝑛𝑘
𝑁(𝑡)
𝑠𝑛𝑘
(𝑡)
(𝑡−1)
𝝁𝑘 = 𝝁𝑘+ (𝑡) 𝑥𝑛𝑁𝑘

(𝑡−1)

(𝑡)

𝑠𝑛𝑘
(𝑡)
(𝑡−1)
𝛾 𝑧𝑚𝑘
= 𝛾 𝑧𝑚𝑘+,𝑚 ≠ 𝑛𝑛(𝑡−1)
𝑡−1
(𝑡−1)
𝜋𝑁(𝑥|𝝁,𝜮)𝑘𝑛𝑘𝑘
𝛾 𝑧𝑛𝑘 (𝑡) = 𝐾
σ𝑗=1 𝜋𝑗 𝑡−1 𝑁(𝑥𝑛 |𝝁𝑗 (𝑡−1) , 𝜮𝑗 (𝑡−1) )(𝑡)

𝑠𝑛𝑘 = 𝛾 𝑧𝑛𝑘 (𝑡) − 𝛾 𝑧𝑛𝑘

𝑡−1, (𝑘 = 1, … , 𝐾)

𝑁(𝑡)

(𝑡)

(𝑡−1)

𝑁𝑘 = ෍ 𝛾 𝑧𝑛𝑘 (𝑡−1) + 𝑠𝑛𝑘 = 𝑁𝑘(𝑡−1)

𝜋 𝑘 = 𝜋𝑘+(𝑡)

(𝑡)

(𝑡−1)

𝜮𝑘 = 𝜮𝑘+𝑠𝑛𝑘(𝑡)𝑁𝑘(𝑥𝑛 − 𝜇𝑘 )(𝑥𝑛 − 𝜇𝑘 )⊤(𝑡)+ 𝑠𝑛𝑘

𝑛=1• これに基づいたオンライン学習の異種混合学習手法の提案

T1-14

近接平均を用いた加速近接勾配法の適応的リスタート
中里佳央 †1，福地一斗 †1，佐久間淳 †1, 2†1 筑波大学大学院システム情報工学研究科，†2JST CREST

貢献
複数のスパース正則化項を用いた目的関数を最適化する近似手法に
Proximal Average がある

Proximal Average(PA)proxα1 r1 (·)+···+αn rn (·) =αproxr1 (·) + · · · + αn proxrn (·)• PA を用いた Yu の手法で示された収束レートを達成できない場合を示す• PA を用いた既存の手法より早く収束するアルゴリズムを提案

既存手法

Yu は PA を用いた加速勾配法により，FISTA と同様の収束レートを達成できるアルゴリズムを提案
学生優秀プレゼンテーション賞対象

1/1

!

T1#15
!

•/JST!CREST!

[Arnold07,Cheng14]!

!

•!

–!

–• 	!

– SDMM!
•!

!

[Obozinski06,!Zhang06]
F!

T1-16

メッセージ伝播型アルゴリズムによる近似MAP推定の大規模化の検討

佐野 崇、一杉 裕志 (産総研 人工知能研究センター)
確率的グラフィカル模型: 強力な表現力、設計の容易さ
MAP推論の困難 -> 大規模化の障壁

Belief propagation(BP)に代表されるメッセージ伝播型
近似MAP推定アルゴリズム3種を比較
WXY
Z

局所メッセージ更新

メッセージからMAP推定

Boltzmann machine による収束性の評価
普通のBP -> 振動の問題

凸BP -> 発散の問題}

線形計画法 -> 収束するが重い減衰係数の調整で改善
今後->解の精度調査

T1-17

アンサンブル学習を用いたMR画像再構成
笠原勇布・井上真郷（早大）・富樫かおり（京大）• ＭＲ画像再構成手法の優劣がデータにより変化• 複数の異なる既存手法のアンサンブルで解決
既存手法1
既存手法2
推定
既存手法3

重み
既存手法4

• 画質の向上と安定を達成
学生優秀プレゼンテーション賞対象

[T1-18] 高次元分類問題のための Selective Inference
梅津佑太 (名工大) · 中川和也 (名工大) · 津田宏治 (東京大) · 竹内一郎 (名工大)• 高次元漸近理論に基づく正規性の緩和●● ●● ●
● ●

●

●
●

●

●
●

0.02

●
●

●

0●

1.0

●
●
●

●

●

●

● ●

●

●

●

0.01

●

●

●

●

●

●

●

500

●

●

●

●

1000

1500

Sample Size

実線: 提案手法

0.2

0.03

●

●

●

● ●
● ● ●
●
● ● ●
● ● ● ●

0.0

0.04

●

●
●

0.00

FWER

0.05

●

●
●
●
●

0.8

●

ASICs(K=5)
ASICs(K=10)
ASICs(K=15)
ASICs(K=20)
DS(K=5)DS(K=10)DS(K=15)
DS(K=20)
ML

0.6

0.06

●Power

●0.40.07• Bonferroni 補正による FWER の制御と高い検出力

0500

1000

Sample Size

その他: 既存手法

ASICs(K=5)
ASICs(K=10)
ASICs(K=15)
ASICs(K=20)
DS(K=5)DS(K=10)DS(K=15)
DS(K=20)ML
1500

T1-19【学生優秀プレゼンテーション賞対象】

Weight Normalizationによる高速なオンライン学習の統計力学的解析

吉田雄紀1*，唐木田亮1，岡田真人1,2，甘利俊一2 （1東大，2理研）

Weight Normalization[Salimans & Kingma (NIPS2016)]

ニューラルネットワークの勾配法を高速化する新手法の{統計力学的解析
θ1’ = …………………
θ2’ = …………………
θ3’ = …………………
θ4’ = …………………
：：θN’ = …………………

N本の方程式

縮約[Biehl & Schwarze(1995), Saad & Solla (1995)]{
3本の方程式

なぜ高速化？

→学習係数の自動調整

T1-20 多次元マルチヒストグラム法による古典スピンモデル推定
竹中光（東大）・永田賢二（東大/産総研/JST）・溝川貴司（早大）・岡田真人（東大/理研）
学生優秀プレゼンテーション賞対象

目的

全状態を用いて計算した古典スピンモデルの推定結果を少ないサンプリング数から再現したい

方法

交換モンテカルロ法と多次元マルチヒストグラム法によりベイズ推論に基づくモデル推定を効率的に行う枠組みを提案する

結果

全状態探索の1/10以下のサンプル数でモデル選択結果を再現した(A) 全状態探索（厳密解）(B) 提案手法(C) 既存手法

T1-21 疎な事前分布での変分ベイズ法を用いた行列補完問題の近似的解法
川澄 亮太・竹田 晃人(茨城大)

M
L?

?

?

V?

?

H?

M
変分ベイズ法による近似解L0HA
B 0?

ノイズの入った観測行列

推定行列
学生優秀プレゼンテーション賞対象

T-1-22

Policy Search with High-dimensional Context Variables
Voot Tangkaratt1, Herke van Hoof2, Simone Parisi2, Gerhard Neumann2, Jan Peters2, and Masashi Sugiyama3,1
1

UTokyo ( 東京大学 ), Japan2

TU Darmstadt, Germany

3

RIKEN ( 理化学研究所 ), Japan

Motivation:
 High-dimensional contextual reinforcement learning

ObjectTrajectory
ObjectContexts =2034 dimension camera
images containing object

Our approach: New contextual policy search method
 Simple “shallow learning”

学生優秀プレゼンテーション賞対象

Contextual
reinforcement
learningHit object based on image
80% hit rateT1-23:Eﬃcient learning of ranking model using belief propagation

概要
置換群上の指数分布型モデルの学習を確率伝搬法を用いて高速化
ランキング予想の問題に適用して実験

キーワード
Belief Propagation
Permanent
Learning to Rank

栗谷 亜理世京都大学情報学研究科(学生優秀プレゼンテーション賞対象)

T1-24変分ベイズ法を用いた ※学生優秀プレゼンテーション賞対象
混合区分線形モデルによる車両の車間－速度特性の推定
中村文士・渡辺澄夫（東工大）
結果

研究目的と方法
目的
変分ベイズでセルオートマトンによる車間―速度特性の推定 パラメータ推定を行ったが、連続的なデータの特性も知りたい

1.連続的なモデルである区分線形モデルで複数の車間―速度特性の推定ができた!
非渋滞時の回帰関数

渋滞時の回帰関数

データ
円周上を走行する車両の位置データを加工
入力𝑥:車間
出力𝑦: 速度
入出力の回帰を行う

モデル
𝑓1 (𝑥, 𝑤)…

区分線形関数が混合したモデル
𝑓𝐾 (𝑥, 𝑤)

𝑘番目の関数が選ばれる(隠れ変数)

𝑓𝑘 (𝑥, 𝑤)

𝑥𝑦

2.セルオートマトンの推定と比較もした!

JEGWZ<5017,%8'2>OQIF:9U?TCP6 )Y&- YY $ (.  "!)• /+•  =SM3#[]160KZH\

T1-26
NVDXFZARX*9XLSXB4@;C6>OQIF:5 • CEPTOR• NIEE-Modularity(

T1-28ガウス過程に基づく粒界カスプ構造の確率的探索

烏山昌幸 (名工大, NIMS, JSTさきがけ)，
田村友幸 (名工大, NIMS)，小林亮 (名工大, NIMS)，竹内一郎 (名工大, NIMS)，中山将伸 (名工大, NIMS)…

探索空間 i-1

探索空間 i…

探索空間 i+1…

…

最小エネルギー
Minimum

0.04

0.02

0

カスプ
Index

“粒界”の結晶構造探索：
複数の探索空間を持つblack-box
最適化
両隣のエネルギーと比べて局所的に小さい箇所（カスプ）を効率よく同定したい
ガウス過程回帰モデルによる確率的な探索アルゴリズムを検討

音楽音響信号解析のためのディリクレ過程に基づくベイズ潜在成分分析

T1-29

吉井 和佳 中村 栄太 糸山 克寿 (京大) 後藤真孝 (産総研)

非負値行列因子分解 (NMF) の生成モデル
パワー

確率的潜在成分分析 (PLCA) の生成モデル
カウント＋周波数

パワースペクトルの加算

周波数＋音量子のヒストグラムの加算

因子モデル：確率変数の足し合わせ混合モデル：確率分布の足し合わせ

ガンマ過程NMF / ベータ過程NMF

ディリクレ過程PLCA

音源数 (因子数) の無限化

音源数 (混合数) の無限化

1

T1 組み合わせ論的拘束を持つ確率過程の構成
30
中野允裕, 渡邊千紘, 木村昭悟, 平松薫 （NTT）
概要ノンパラメトリックベイズモデル（無限モデル・確率過程）構成のための第３？の無限拡張定理を発見
Orbanz [2009]

Kolmogorov[1955]

今回の拡張定理

使い方
無限拡張したい対象が組み合わせ論的拘束を持つときに活躍（例）無限サイズの行列のクラスタリングで・長方形分割（全てのブロックが長方形）
・各クラスタの要素数は50以上