T-1: No Bias Left Behind: Covariate Shift Adaptation
for Discriminative 3D Pose Estimation
Makoto Yamada, Leonid Sigal, and Michalis Raptis

 Discriminative 3D human pose estimation
Given large database of image-pose pairs
predict human pose of.
Test imagee.g., Nearest Neighbor
Regression

HoG,

Research Motivation
Dataset Bias Sample selection bias
 Test subject is not included in training set
 Lighting, object appearance, viewpoint changes

Different
subject

Training images

Test image

Pose estimation performance significantly degrades by dataset bias
Thus, we adopt covariate shift adaptation to alleviate dataset bias!

T-­‐2	

大画像の複層ベイズ超解像と位置ずれ推定に関する検討	
 
木下	
 俊貴	
 
（関西大大学院）	
 

三好	
 誠司	
 
（関西大）	
 • 超解像＝低解像画像から高解像画像を推定	 • ベイズ超解像＝ベイズ推定に基づく超解像	
 (Tipping&Bishop, 2002)"• 先行研究複層ベイズ超解像	
 (Kanemura, Maeda & Ishii, 2009)
フルベイズ超解像	
 (Katsuki, Torii & Inoue, 2010)⇒先行研究では小さい画像を扱っていた	
 • 今回の発表
画像分割による大画像の複層ベイズ超解像
回転の中心での画素値の変化が乏しい場合の位置ずれ推定	 縦移動：0.10	
  px	
  横移動：0.10	
  px	
  回転：0.003	
  rad	
観測画像例	

ISNR= 4.55dB	

超解像	
 
処理	
 

縦移動：0.24	
  px
横移動：0.27	
  px
回転：0.004	
  rad	
ISNR= 2.59dB	

原画像	
 位置ずれ推定	 位置ずれ推定	 推定画像	
 に用いた領域	
 の誤差	
 異常箇所同定のためのT-3
グラフィカルモデルの学習 原 聡，鷲尾 隆（阪大）
異常箇所の同定問題
異常前後のデータを比較してどの変数に異常があるかを
同定したい

異常
発生！

グラフィカル・ガウシアン・モデルを用いる方法
1) データをグラフィカルモデルに変換 (Idé et al., SDM’09) 2) 2つのグラフの対比から異常部位を検出仮定：
異常変数と正常変数間のグラフ構造は変化する．
本研究の概要
異常箇所同定に適したグラフィカルモデル推定


異常箇所と精度行列間の行・列ごとの変動が対応

提案法： 行・列の変動への制約を正則化項として導入

従来法よりも異常箇所の同定性能が向上

異常度スコア自動車センサーデータにおける実験
従来法

提案法
2つの
異常センサー

センサーID

センサーIDT-4

サブセット無限関係モデル
石黒 勝彦、上田 修功、澤田 宏(NTT)

やりたいこと： スパースだったりノイズが多く乗った関係データから、
オブジェクトをクラスタリングしたい

オブジェクト j

スパース: 黒い(=1)要素がごく少数
ノイズ: ランダムな白黒パターン

オブジェクト

購買履歴{商品, 顧客} 販売実績は行列サイズよりずっと少ないi

SNSリンク{ユーザ, ユーザ}
 スパムユーザ、botユーザの存在T-4

仮説：関係データ内のオブジェクトには、「relevant=潜在的なクラスタ構造をもつ」オブジェクトと「irrelevant=そもそもクラスタ構造をもっていない」オブジェクトがいる
提案法：「クラスタ構造を持つかどうか」も同時に推定するクラスタリングモデル
 “relevant”なオブジェクトの中では鮮明なクラスタ

relevant

irrelevantirrelevantなオブジェクトはクラスタリングから除外しますT-5

Perplexity on Reduced Corpora
小林隼人（東芝）

学習データが大量にあるときの３つの戦略
1. ちょっとずつ処理
分散処理（並列的）、オンライン処理（直列的）2. ちょっとだけ処理
カットオフ（決定的）、サンプリング（確率的）3. 処理しないにげる（戦略的）、すてる（エコ）戦略２のカットオフ（低頻度データを削除）
でどの程度性能が劣化するか検討しました主結果

パープレキシティ

データがZipf則に従うとき、LDAのパープレキシティはカットオフ後の語彙数に対して準二次（対数グラフで二次）●Reuters-21578■20 Newsgroups▼Wikipedia★Theory

上位10%語彙を使用
・性能は同程度
・メモリは半減カットオフ後の語彙数※迷走中につき，ご助言くださいT-6

混合ベルヌーイ分布の変分ベイズ学習におけるモデル選択
大工廻和美・渡辺澄夫（東工大）
研究の目的
WAIC-VBの提案

WAICを計算する方法として、平均場近似された事後分布（変分ベイズ推測）を重点サンプリン
グにおける提案分布として用いることを提案。

①WAIC-VBを混合ベルヌーイ分布の場合について適用し、ベイズ汎化
損失の不偏推定に有用であるかどうかを実験。
②人工データだけでなく画像を用いた実問題についても実験し、モデル選択時に汎関数分散の値も参考にする意義の確認。

原理

WAIC-VB

WAICを求めるときに、直接サンプルを抽出するのが困難な事後分布の代わりに、平均場近似された事後分布から抽出し、重要度重みによってバイアスを補正する。

WAIC

Vn
Wn  Tn n

Tn ：経験損失
Vn ：汎関数分散実験

混合ベルヌーイ分布について変分ベイズ推測を行い、自由エネルギー、汎化誤差、WAICの値を算出する。

【人工データ】【実データ】

入力の次元M=6,
真の分布：K0=3の混合ベルヌーイ分布
学習データ数 n=200
学習モデルのｺﾝﾎﾟｰﾈﾝﾄ数：１→５

M=27次元の0または1のデータ
画像から3×3ピクセルを取り出してRGBのそれぞれの値について閾値処理を行って0と1とする。

学習データ数 n=500
学習モデルのｺﾝﾎﾟｰﾈﾝﾄ数：１→８

結果 自由エネルギー及びWAICにより、  自由エネルギー及びWAICによK=3でモデル選択できる。
り、K=6でモデル選択できる。
 有効なパラメータの個数を表す
 有効なパラメータの個数を表す Vn
はK=3,4,5でほぼ同じ値になってはK=7,8でほぼ同じ値になっている。
いる。

まとめ 混合ベルヌーイ分布において、汎化損失の平均とWAIC-VBにより求められたWAICの平均値はほぼ同じになることを、人工データと実データについて実験的に明らかにできた。

T-7 Robustness of time-consistent Markov decision processes
恐 神 貴 行 （ IBM東東京基礎研究所）
Time-consistent MDP
Can always make consistent decisions
Can represent a wide-range of risk preferenceNot easy to understand the meaning
Risk-sensitive MDP

Robust MDPParameters are known

Parameters are not known exactly

Minimize a risk measureof cumulative cost

Minimize expected cumulative costfor the worst caseCan make inconsistent decisions= Can surely loose infinitely

Standard risk-sensitive MDPCan only represent limited risk preference

10
A

C
5

10

B

>

D
Travel time

Travel timeT-7 Robustness of time-consistent Markov decision processes
恐 神 貴 行 （ IBM東東京基礎研究所）
We show “a certain time-consistent MDP = a certain robust MDP”
Can intuitively understand the objective of that time-consistent MDP
Can find the optimal policy of that robust MDP efficiently with theknowledge of the equivalence to the time-consistent MDP
Example. Optimal policy with respect to the following objective can be found quite efficiently:

Minimize forthe worst case

Cumulative cost

Penalty for the deviation of the parameters from nominal values(H: Kullback-Leibler divergence)

References
T. Osogami, “Robustness and risk-sensitivity in Markov decision processes,” NIPS 2012
T. Osogami and T. Morimura, "Time-consistency of optimization problems," AAAI-12
T. Osogami, "Iterated risk measures for risk-sensitive Markov decision processes with discounted cost," UAI 2011

T-8 二次形式の大域的最適化によるクラスタリング
広瀬俊亮 (SAS Institute Japan)
解きたい問題： クラスタリング
 クラスター数は既知とする。

要請： できるだけ簡単な方法を構築したい
1.
2.

大域的な最適化問題として解ける。
パラメータチューニングの手間がいらない。

解き方：
クラスターの形

パラメータチューニング

分布を仮定分布の形に結果が依存

パラメータは推定される分布を仮定せず

クラスターの形が柔軟

チューニングが必要

情報量

目的変数への制約

帰属確率を求める直接利用できる

制約有（負の確率は許されない）

インディケータを求める

直接は使えない

制約の有無は場合に依る

本稿ではこの組を採用。

1
Copyright © 2010, SAS Institute Inc. All rights reserved.

T-8 二次形式の大域的最適化によるクラスタリング
提案手法： 二次形式の大域的最適化を組み合わせたクラスタリング• データ点：,クラスター：

確率振幅の導入
Spectral Clustering等で現れる負の確率の問題を回避。

1.

固有値問題を解いて、p(x|C)を求める。

2.

凸二次最適化問題を解いて、p(C)を求める。 最大エントロピー原理

P(C)を既知とせず、推定する。

目的関数
ｐ（C|x）を直接求めず、p(x|C)とP(C)を求める。

提案手法 1. 大域的な最適解が得られる。
の特長
2. 求めた確率と情報量（相互情報量）を用いてパラメータ選択が可能。
2
Copyright © 2010, SAS Institute Inc. All rights reserved.

T-9 変分ベイズ法の局所解における自由エネルギーと汎化誤差の関係
東京工業大学
中村文士・渡辺澄夫
目的

変分自由エネルギーを最小にする局所解は汎化誤差を最小にするのかどうか調べる実験結果
正則な場合：変分自由エネルギーを最小にする局所解は汎化誤差も同様に最小にする
特異な場合：変分自由エネルギーを最小にする局所解は汎化誤差を最小にするとは限らない
正則な場合

特異な場合
変分自由エネルギー最小

汎
化
誤
差

変分自由エネルギー最小
汎化誤差最小汎化
誤差
汎化誤差最小変分自由エネルギー

変分自由エネルギー※実データへの応用はポスターで

sNMF : 非負値制約下における複数行列の同時分解法〜 ソーシャルメディア解析を応用例として 〜
竹内 孝, 石黒勝彦, 木村昭悟, 澤田 宏 (NTT)

つづきは
T-10で

Q. 多数の関係データからトピック解析したい
A. Stacked NMF
ü NMFのシンプルな拡張ü 関係データを紐付けて同時に解析ü データ毎にトピック情報を抽出できる
NMF
`

I

J

K
~
=
I

X

W

J
K

H

sNMF
J
I

X

N

Y

M

Z

K
~
=
I

W

N

A

K

J

M

H

B

提案手法による
パープレキシティの改善を確認u ソーシャルメディアからのオーソリティ発見
ü トピックについてオーソリティを発見できれば、信頼性の高い情報をリアルタイムで取得可能になる

Story
User

X

Word

Y

Follower& ListZü TwitterとソーシャルキュレーションのデータをsNMFで解析し、トピックとオーソリティを発見した

Topical Words

震
災
ト
ピ
ッ
ク

時 震度 分 地震 県 情報 最大 km 発生 深い 震源 気象庁 福島 n3 近辺 市 沖 速報 PM 長官 会見 総理
AM 官房 日 推定 アップ お知らせ いわき 首相 率 線
量 m4 会津若松 白河 南相馬市 郡山 番 南会津 風
Authority

Proﬁle Summary

Followerkiri̲tori

時報bot

166,845

47news

共同通信非公式 bot

108,512earthquake̲jp

地震情報 bot

805,341

Asahi̲kantei

朝日新聞官邸クラブ取材班

37,622Kantei̲Saigai

首相官邸公式アカウント

422,307	
  	
 

H
a
d
o
o
p
ト
ピ
ッ
ク

K

~ User
=

W

Word

A

K

つづきは
T-10で
Story

Follower& ListH

B

X

235,086
R1,823,184(0.0017% non-zero)+Y235,086
R165,046+(1.23% non-zero)Z

1,823,184 2
R+(100% non-zero)

Topical Words

使う Hadoop クラウド さん AWS ない 話 データ
これ いい 開発 No セッション そう PHP de 的 処理
js DB サーバ ヒップホップ er 人 MySQL 会場
Mongo DB 見る Azure 今日 すごい LT 資料 書く
勉強 Ust Windows Cloud IT 中
Authority

Proﬁle Summary

Follower

understeer

Solutions Architect

2,368

yutuki̲r

Cloud, Hadoop, NoSQL

800

kimteaNoSQL, Google AppEngine

2,742

repeatedly

D, Ruby, Python, Opera

4,081

siena

ウェブ技術全般, 情報設計

1,065

T-11
自由エネルギーによる潜在変数推定精度の計算法
山崎啓介(東工大), 渡辺一帆(奈良先端大), 梶大介(コニカミノルタエムジー)

背景： 潜在変数をもつモデルが広く使われている
モデル

混合分布

(コンポーネントの)
潜在変数
ラベル

隠れマルコフモデル ベイジアンネットワーク
隠れ状態

観測不能なノード

近年、ベイズ潜在変数推定の精度が解明された問題： 潜在変数は見えないため、データから誤差を計算することができない※クロスバリデーションのような数値計算も不可能

T-11
自由エネルギーによる潜在変数推定精度の計算法
山崎啓介(東工大), 渡辺一帆(奈良先端大), 梶大介(コニカミノルタエムジー)

提案法： ベイズ法、変分ベイズ法における自由エネルギー差分と誤差関数の漸近的な等価性を用いて計算を行う

ベイズ推定分布

真の分布

KL誤差

p(Z )

q(Z )

漸近的に等しいF (X )
ベイズ自由エネルギー

Z ：潜在変数

差分

FVB ( X )変分自由エネルギー

X ：観測データ

T-12
T‐15

テキスト分類問題におけるカテゴリ情報を用いた適応的距離学習に関する一考察
三川 健太，石田 崇，後藤 正幸，平澤 茂一 （早稲田大学）
拡張余弦尺度：高次元，スパースな文書データを対象としたメトリック

ただし，文書 ：

，

，

，

とする．

拡張余弦尺度を用いた文書分類手法（従来手法）：
テストデータ をを満たすクラスへ分類．

ただし，カテゴリ集合を，
リ集合を，その代表元を，そ代表 を
計量行列 は学習データから推定する．

とし，，カテゴリ間の統計的性質の差異については未考慮
提案手法：
カテゴリ毎に計量行列を導入 カテゴリ間の性質の差異を考慮
カテゴリ毎に計量行列を導入，カテゴリ間の性質の差異を考慮．
カテゴリ毎の統計的性質の差異を表現した計量行列を学習する

テキスト分類問題におけるカテゴリ情報を用いた適応的距離学習に関する一考察

T‐15
T-12

三川 健太，石田 崇，後藤 正幸，平澤 茂一 （早稲田大学）

カテゴリ毎の計量行列の学習方法：以下の最適化問題の解として導出

ただ
ただし，

は

の行列式，
行列式

【定理1】 上記最適化問題を満たす計量行列
ただし，

はカ ゴ
はカテゴリ

に含まれるデータ数
含まれるデ タ数

は，以下の式で与えられる．

は以下の式を満たす．

実験：
新聞記事デ タ（毎日新聞2000年）を対象 カテゴリ数5 学習デ タ数300件/カテゴリ
新聞記事データ（毎日新聞2000年）を対象，カテゴリ数5，学習データ数300件/カテゴリ，
テストデータ500件/カテゴリとした文書分類実験（α：0.0～1.0まで0.1ずつ変更）．
90.00
80.00
70 00
70.00
分 60.00
類 50.00
精度 40.00
30.00
20 00
20.00
10.00
0.00

分類ルール：
類

従来 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

図1 文書分類実験結果

1

実験結果より，従来手法と比較して実験結果より従来手法と比較して精度の向上を確認した．

T-13 IBIS2012 佐久間 淳(筑波CS/JSTさきがけ)

半正定値行列の差分プライバシー• 差分プライバシ(DP: differential privacy)– データのランダム化によるプライバシ保護の達成• 半正定値行列– 共分散行列, グラム行列などMLにとって重要な表現– 半正定値行列のDPはこれまで議論なし• 主定理1– ランダム化後にrank-q近似を適用すれば, DPを維持したまま真の行列からの差はO(q1/2N1/2)• 主定理2– 固有値分解してからランダム化すれば, DP維持に必
要なノイズ複雑度はO(q)• 低ランク近似された行列で満足できるならば, DP維持に必要なノイズ複雑度を小さくできる

主定理1の数値例: 差分プライベートなユーザ類似度に基づく推薦

RMSE

ラプラス
メカニズム
ラプラス
メカニズムの後，
低ランク近似出力行列のrank

ランダム化なし

主定理2の数値例: 差分プライベートなスペクトラル分析
入力グラフ

分離性
が低い

各要素の摂動(ラプラスメカニズム)

分離性
が高い

固有ベクトルの摂動(スペクトラルメカニズム)
プライバシ保護低

プライバシ保護高T-14 交通流の時空図における
ZRPのパラメータ推定と能動学習
小林 浩一, 山崎 啓介 （東京工業大学）
目的: ZRP（交通流のモデル）におけるパラメータ推定の定式化
提案: 推定量の二乗誤差を最小化する能動学習アルゴリズムの構築
時空図
𝑡=1

𝑓

前進確率 𝑓(𝑥, 𝑤)
パラメータ : 𝑤

𝑡=2
𝑡=3

車間距離 𝑥ZRPの模式図
 分岐などのない１車線の環状な道路を確率セルオートマトンにより再現
 車の前進確率はパラメータに依存

𝑡=4

学習データ

各車について 𝑋 ∶ 車間距離𝑌 ∶ 進む 1 , とどまる(0)データの従う分布

𝑋, 𝑌 ~ 𝑝 𝑥, 𝑦 𝑤 ∗ , 𝜌 = 𝑝 𝑦 𝑥, 𝑤 ∗ 𝑝 𝑥 𝑤 ∗ , 𝜌
𝑝 𝑦 𝑥, 𝑤 = 𝑓(𝑥, 𝑤)𝑦 (1 − 𝑓(𝑥, 𝑤))1−𝑦推定量の二乗誤差∗

𝐷 𝑛 = 𝐸𝑋 𝑌

𝑤 −𝑤

𝑛 𝑛

= Tr
𝜌 ∶ 密度(車の台数)システムサイズ

𝑛𝐼𝜌

𝑤∗

−1

2

1
+ 𝑜( )𝑛𝑤 ∗ : 真のパラメータ
𝑤 : 最尤推定量𝐼𝜌 𝑤 ∗ : フィッシャー
情報量

誤差の値が密度に依存!

𝑛𝐼𝜌 𝑤

誤差の推定量Tr−1から 誤差が最小となる密度 を決定𝜌 = arg min Tr

𝑛𝐼𝜌 𝑤

−1

結論: ZRPにおいて能動学習を構築・実験により有効性を確認
能動学習
𝑤の推定と密度の選択を繰り返す𝑤∗
𝜌(𝑖+1)𝑋𝑛, 𝑌𝑛𝑖𝑤 (𝑖)𝑋, 𝑌 ~ 𝑝 𝑥, 𝑦 𝑤 ∗ , 𝜌 = 𝑝 𝑦 𝑥, 𝑤 ∗ 𝑝 𝑥 𝑤 ∗ , 𝜌𝑝(𝑥|𝑤 ∗ , 𝜌) は直接最適化できないため
𝑝(𝑥|𝑤, 𝜌) を最適化しているT−15

エントロピー最小化によるRestricted
Boltzmann Machineの学習の正則化
木脇太一（東大），牧野貴樹（東大），合原一幸（東大）• 従来のRBMでは過学習が問題となっていた• データの複雑性に関係なくRBMの全ての隠れ変数が利用されてしまう• スパース性を導入しても，これは緩和さ
れない
IBISML, Nov. 7-9th, 2012

T−15

エントロピー最小化によるRestricted
Boltzmann Machineの学習の正則化
木脇太一（東大），牧野貴樹（東大），合原一幸（東大）

•

提案手法

• RBMの学習に隠れ変数のエントロ
ピーを正則化項として導入してRBMに複雑性の調節機能を取り入れる

実験結果

隠れ変数の
実効的な個数•データ複雑性に600応じたRBMの

500
400

複雑性調整

300
200

L = KL(q||p) + λH(p)q ：データ分布
p ：再現分布• まとめ• 隠れ変数のエントロピーを削減する
RBMを正則化項の導入により提案• 提案手法ではデータの複雑性に応じてRBMの複雑性が動的に調整されること

100
0
0

• 目的関数

0.1

0.2

0.3

0.4

正則化項強度：λIBISML, Nov. 7-9th, 2012

を実験的に確かめたT-16

プライバシー保護を目的とした線形回帰モデルにおける最小二乗推定量の分散計算法について
須子統太，堀井俊佑（早大） ，小林学（湘南工科大），後藤正幸，
松嶋敏泰，平澤茂一（早大）• 問題設定– 異なる説明変数と共通の目的変数をもったユーザが協力して，全ての説明変数を用いた回帰分析（最小二乗法）を行う– ただし，お互い説明変数の内容は秘匿したい
Ａｌｉｃｅの持つ説明変数

共通の
目的変数

お互いに秘匿Ｂｏｂの持つ説明変数

T-16

プライバシー保護を目的とした線形回帰モデルにおける最小二乗推定量の分散計算法について• 従来研究– [Du 2004]乱数を用いたプロトコル• 2者間のみのプロトコル– [Snail 2004]Powellアルゴリズムを用いたプロトコル• 3者以上でないと安全性が担保できない• 本研究– 繰り返し型の最適化アルゴリズムを用いたプロトコル– プロトコルの最適性を証明– 2者以上で安全性を証明• それぞれの持つ説明変数が2個以上で安全– 繰り返し回数の数値実験

T – 17

Dictionary Learningにおけるサンプル複雑度の典型時解析
坂田綾香・樺島祥介（東工大）


Dictionary Learning

データがスパースに表現されるための基底（辞書）を学習する

M

P

N

P

Y ＝M

D

X

P個のデータセットN
辞書行列
スパース行列

辞書を同定するために必要なサンプル数Pcは？


Pcをサンプル複雑度（Sample complexity）と呼ぶ。

T – 17

Dictionary Learningにおけるサンプル複雑度の典型時解析
坂田綾香・樺島祥介（東工大）
統計力学的解析を通して Pcの典型時評価を行った結果
M /Nが十分大きい時、P > Pc = γF N で辞書が同定可能。
P > Pcで辞書の同定が1 可能な領域
0.8
M /N



0.6
0.4

辞書学習が
不可能な領域

0.2
0

0.2

0.4
0.6
0.8
非ゼロ成分の割合

1

T-18

音楽音響信号解析のためのガンマ過程に基づく無限複合自己回帰モデル
吉井 和佳 後藤 真孝 (産総研)

音楽音響信号を構成するパーツとは何か？
音色 (楽器種)

音高 (基本周波数)
様々な
楽器音を
生成

⊗

重ね合わせ

音楽音響信号

T-18

音楽音響信号解析のためのガンマ過程に基づく無限複合自己回帰モデル
吉井 和佳 後藤 真孝 (産総研)

複合スペクトル微細構造

スペクトル包絡構造

⊗
基底
重みつき和

⊕

白色雑音

周波数

…

…

周波数

自己回帰系

周波数

ソース (音高)フィルタ (音色)時間に発散

各時刻における
多重音スペクトルに発散T-­‐19	

Gaussian	
  process	
  regression	
  を用いた	  確率的方策に対する方策勾配法	
  中村 泰 （阪大）、 石黒 浩	
  (阪大)	
  概要:	
  ノンパラメトリック法を用いた強化学習	•	  仮定:	
  “上手くいった”	
  行動の抽出・再現	
  ≒	
  動作学習	  •	
  強化学習による	
  “良い”	
  行動ルールの抽出	
  提案手法:	
  GPR	
  を用いた確率的方策	
(状態、行動、重み)	
(s, a, w)

datasetController• 状態・行動ペアに対する重み付け	  • 強化学習による重みの学習	
  ガウス過程回帰	  (GPR)	

action

(GPR)

robot
state

• 平均:	
  近傍の	
  “良いペア”	
  が支配的	  • 分散:	
  近傍の	
  “良いペア”	
  の密度	
  →	
  分散	
  
自動的に探索搾取	T-­‐19	
  (IBIS2012)	
  Gaussian	
  process	
  regression	
  を用いた確率的方策に対する方策勾配法	
  実験:	
  倒立振子の振り上げ課題	
学習前	• 目的：振り上げ	
  +	
  倒立の保持	
  
重り	
モータ	

適切な制御ルール	
 分散が減少	 振り上げ	

学習曲線	

まとめと今後の課題	

学習後	• GPR	
  による方策を用いた制御則を獲得可能	  •	
  計算量が O(n4) →	
  高速化、実問題への適用	
  学習の困難さは状態変数の次元ではなく、サンプルサイズに依存	

T-20

ベイジアンネットワークを用いた
LDAの特徴選択
電気通信大学 大畑亮介, 植野真臣

 背景と問題点

複数の任意の特徴を生成過程に取り入れたトピックモデルが注目されている．しかし，従来研究では特徴の選択方法は考慮されていない（特徴：文書における著者，出版社など）．
 提案手法(1)

どの特徴を学習に使えば良いか？を決定する手法を提案する．
1. 周辺尤度による方法
2. トピックと特徴の相互情報量による方法
1/2

上記2手法を用いて実験を行ったが，十分な精度は得られなかった．

 周辺尤度(ML), 相互情報量(MI)の問題点

MLの問題点：経験ベイズ法によるハイパーパラメータの学習は最適な特徴を選択できる保証がない．
MIの問題点：統計的一致性を持たない．特徴数が増加すると精度が悪くなる．閾値の設定が恣意的である．
 提案手法(2)ハイパーパラメータを変数消去
し，ベイジアンネットワークの構造スコアBDeuで評価する．
 実験結果

データ数が十分にあるとき高い精度で特徴選択可能である．
また，MLよりも計算効率が良い．
2/2○(真の特徴を選んだ数), ＋(生成に無関係な特徴を選んだ数)－(真の特徴を選ばなかった数)

Online Large-margin Weight Learning forFirst-order Logic-based Abduction

T-21:

Naoya Inoue, Kazeto Yamamoto, Yotaro Watanabe, Naoaki Okazaki, and Kentaro Inui#
Tohoku University

! Logic-based Abduction
"Abduction is inference to the best explanationGiven: (O, B), where:
O: Observation:{get-gun(John), go-to-store(John)}
B: Background knowledge:(∀x) hunt(x) → get-gun(x)(∀x) go-shopping(x) → go-to-store(x)(∀x) rob(x) → get-gun(x)(∀x) rob(x) → go-to-store(x)Find: H, where:
H: The best (≡highest-score) explanation of O w.r.t. B
=O, and H∪B is consistent)
(H∪B|

! Existing approaches fortuning score function
"Manual tuning#"Probabilistic logic-based learning(e.g. Markov Logic Networks[Richardson & Domingos 06])##
Problem: inference is not scalable;
learning is even harder#
Scalable tuning algorithm is needed

H1: hunt(John) go-shopping(John) H3: hunt(John) rob(John)
get-gun(John), go-to-store(John)
H2 : 

rob(John)

get-gun(John),

go-to-store(John)

best score(H1) = 10.8

get-gun(John), go-to-store(John)

score(H2) = 13.5score(H3) = 4.3"Many applications:plan recognition, natural language processing, etc.

! Desiderata for algorithm
"Scalability:- computationally cheap#"Accurateness:- discriminately powerful#"Usability:- learn from partially observed dataset#! Proposed methodOnline large-margin training with latent variables"
Training Examples (Observation + Explanation)! Background knowledge!
B = {T ∧ S → Z, Decoding: extend efficient abductive(O1 = {P, Q}, !1 = {S})R → X,
(O2 = {X, Y, Z}, !2 = {R, T})reasoner (Inoue and Inui [12]ʼs Integer... }
(O3 = {P, Z}, !3 = {S, Q})
Linear Programming-based formulation)
:
Goal
of
weight learning:
gold standard literals (τ2)#
Feature-based linear scoring model:"(observed variables)
score
score(H; w) = w・!(H)
 
R
:...
w: weight vector (learned) /!: feature vector
T ∧ S
Score of H that includes!
gold-standard literals

score(H =X

Large-"
marginScore of H that does not!
include gold-standard literals

; w)

:

:

score(H =R ∧ S F 
X! Evaluation
The machine learning-based abductive reasoning helps toreduce the loss in two applications
0.3!

Plan recognition"

0.6!

Closed Test!

0.25!

Open Test!

Open Test!
0.4!

Loss#

0.2!

Loss#

Closed Test!

0.15!
0.1!

0.2!

0.05!

0.1!

0!

0!

Untuned!

Tuned!

Untuned: logical abduction#
Tuned: abduction w/ trained weights#

score(H =Feature-based!

Feature-based+Abduction!

Feature-based: pairwise clustering#+Abduction:clustering w/ abduction#

Z

P∧T Q ∧ S
X

0.3!

Y

; w)

:

Coreference resolution

0.5!

Z “donʼt care” literals#(latent variables)

Y

Y

:

; w)

Z

Training: Crammer et al. [06]ʼs
online Passive Aggressive algorithm
modified for handling latent variablesT-­‐22	

ハッシュ関数を用いた	
  Gaussian	
  Process	
  Regressionの高速化	
  岡留 有哉（阪大）,	
  中村 泰（阪大）,	
  石黒 浩（阪大）	
  
概要	
  

本研究ではLocality	
  Sensi6ve	
  Hashing	
  (LSH)を用いたデータセット分割と	  Product	
  of	
  Experts	  (PoEs)モデルを用いた確率モデルの統合を用いた	
  高速なガウス過程回帰	  (GPR)の計算法を提案する	

LSHを用いたGPRの高速化	
  以下の処理を行う事によりガウス過程回帰の出力を高速に計算	
  
	
  

1.

Locality	  Sensi6ve	
  Hashing	
  (LSH)によりデータセットを部分集合に分割	  2.

入力点の所属する部分集合内の近傍サンプル以外のカーネル関数の値を0と近似	
  共分散行列をブロック対角と近似できる	  部分空間についてのみ計算を行えばいいため,	
  高速に計算可能	  3.

出力の期待値と分散を計算	
  PoEsモデルを用いた確率モデルの統合	
  LSHでは部分空間の境界付近において有効なサンプルの減少により近似精度が低下すると考えられる	
  
	
  

•

異なる複数のハッシュキーを用いて複数パターンの部分空間に分割すること
で分割境界付近における近似精度の低下を抑制	
  • 複数の部分空間から出力が得られるため,	
  出力をPoEsモデルを用いて統合	  関数近似課題	  予測：計算時間が最大1/50	
  逆行列：計算時間が最大1/35	
  ハッシュキーを増やすことで精度上昇	
  

まとめ	
  
• LSHとPoEsモデルを用いることでガウス過程回帰の計算コストを削減	  • 今後は実問題に適用	  T-21 重み付き最尤推定に基づく方策探索法
植野 剛1 , 林 浩平2 , 鷲尾 隆3,1 , 河原 吉伸 3,1
1
科学技術振興機構
日本学術振興会 特別研究員
3
大阪大学 産業科学研究所

2

強化学習の種類
価値関数規範:方策を価値関数を通してモデル化する (例) SARSA, Q-Learning

直接方策探索法
方策を直接パラメトリックモデルで書く (例) Policy Search, EM PS

既存の直接方策探索法の問題点
モデル選択
方策モデルの変更 → サンプル生成過程の変更

統計的な性質はよく分かってない1T-21 重み付き最尤推定に基づく強化学習.
重み付き尤度..
nℓ(Xn
1 , U1 ; θ) ≡

n
∏

n
bβ ∏

π(ui |xi ; θ)Qibβ ≡p(xj |xj−1 , uj−1 ), Q
i

i=1
j=2
.
.
Weighted Likelihood Policy Search (WLPS)..

1

モデルM ′を固定してサンプリングする

2

モデルMkを1つ選択して, 重み付き最尤推定する

3次のモデル選択基準を計算する
I(θ̂n ; Mk ) =

.

4

n
∑

′

β j −i rj ′j ′ =in∑b β ln π(ui |xi ) − 1 (Mk の次元) ln n
Q
i
2
i=1

I(θ̂n ; Mk )を最大とするモデルを選択して，(1)に戻る

β → 1−のとき， WLPSの各反復は漸近的に期待報酬の単調な増加を保証する
2

T-25

ラベル伝播アルゴリズムにおける複数グラフのスパース結合法
烏山 昌幸, 馬見塚 拓 (京都大学)• ラベル伝播アルゴリズム: グラフに基づく半教師分類法
Unlabeled Data
Labeled Point +1
Labeled Point -1
Graph Edge⇒.

グラフ上をラベル伝播

ノードのラベルを推定• 実践ではグラフが複数あるかも• タンパク質機能予測: 遺伝子発現量，相互作用ネットワーク，シーケ

ンスデータなどから (時にはそれぞれ複数の) グラフが得られる. • どのグラフが重要か (分類に関係するか) は事前には不明

T-25
.
複
. 数グラフをスパースに結合してラベルを伝播するアルゴリズムの提案[提案法の特徴]• ラベルはグラフ上を滑らかに変化するとの仮定の元，不要なグラフを完全に排除 (スパース性)
人工例: ノイズの混ざったグラフ群• Elastic net に似たグルーピング⇓

効果 (似たグラフは似た重みを与えられる).
.
不要なグラフを削除して結合

これにより予測精度 と 解釈性 が向上

有限客数待ち行列のモデル解析

T-26

阿座上誠也，池田成夫，井上真郷（早稲田大学）
既存の待ち行列理論では，客数を無限とし，システムにおける定常状態で近似した解析を行っている．

１人当たりの待ち時間

研究背景

非定常状態

定常状態
人数

現実の待ち行列システムでは，この客数を無限とした近似を行うことで大きな誤差が生じてしまう場合がある．

研究目的
M/M/1 待ち行列を対象とし，客数を有限としてモデル化し，漸化式による解と，閉形式による解を導出することによって非定常状態に対して正確に解析できるような方法を提案する．

T-26

有限客数待ち行列のモデル解析
阿座上誠也，池田成夫，井上真郷（早稲田大学）

提案手法
指数分布の無記憶性を利用し有限客数でモデル化する

𝑊𝑥,𝑦 :全員の残りの平均待ち時間の総和
状態遷移確率に注目して場合分けをし，漸化式を立てることによって一人当たりの
1
平均待ち時間𝑊𝑁,𝑁 を再帰的に求める.
𝑁

状態(N,N) から (0, 0) までの全ての最短経路について，各状態を訪れる期待値と待ち時間の増加量の期待値を合計して閉形式によって𝑊𝑁,𝑁 を求める．

T-26

有限客数待ち行列のモデル解析
阿座上誠也，池田成夫，井上真郷（早稲田大学）
無限客数の結果を１として比較結果
𝜆 = 0.5のとき

𝜆 = 1.2のとき
既存のM/M/1待ち行列の解析結果との比較

𝜇 = 1で固定し、𝜆を変化させたときの一人当たりの平均待ち時間

システムの非定常状態を解析することができ，定常状態を持たないようなシステムに対しても解析することができるようになった．
人数が少ないほど無限客数での解析より正確にシステムの評価を行うことができる．

サービス時間・到着間隔一定の
D/D/1待ち行列との比較

T-27 類似検索における秘密情報漏えいの評価

及び差分プライバシの保証
荒井ひろみ（理研） 佐久間淳(筑波大)
個々のレコードが個々の秘密情報であるデータベースを使って，クエリに対してレコードのRankingをプライバシを保護して返したい(SNSの友人検索，類似患者検索などを想定)
似たような症例の人を探したい

Aさん，Bさん，Cさん，Dさんの順に似てます

氏名

病歴

居住地 職業

Aさん

なし

○○市

会社員

Bさん

○○病

△△市

自営業

Cさん

○○疾患 ○×村

農業

Dさん

○○症

会社員

△○区

Question: Rankingからレコードの情報は洩れるのか？その漏えいを防ぐことはできるか

類似検索における秘密情報漏えいの評価及び差分プライバシの保証
T-27
荒井ひろみ（理研） 佐久間淳(筑波大)

本研究の貢献：類似検索のプライバシモデル/プライバシ漏えい基準の定義

プライバシ漏えいの理論解析
複数のクエリに回答するとき，どの順位のレコードにも漏えいの可能性がある

数値実験による既存のプライバシ保護方法の検証
差分プライバシを満たすランダム化ではutilityとプライバシ保護がトレードオフ

まとめ•理論解析の結果，レコードの順位を不確定にする必要があった•既存手法にみられるトレードオフを解消するランダム化法が必要T‐28

潜在クラス型階層ベイズプロビットモデルによる大規模購買行動モデル
石垣司、照井伸彦（東北大学）、佐藤忠彦（筑波大学）

問題設定• 購買行動に関するビッグデータの有効活用• 大規模顧客へのパーソナライゼーション
•
•

提案方法

小売業にけるビッグデータの蓄積蓄積のみでは単なる負債• 確率的効用モデル ⇒ ビッグデータへの対応が困難• 帰納的次元圧縮（トピックモデル等） ⇒ 顧客特性をモデル化できない
両者の統合モデル• 大規模顧客・商品のための効用理論に基づいた購買行動モデル• マーケティング変数を介した購買行動シミュレーションが可能T‐28

潜在クラス型階層ベイズプロビットモデルによる大規模購買行動モデル
石垣司、照井伸彦（東北大学）、佐藤忠彦（筑波大学）

提案モデル
x
~
• 階層ベイズ2項プロビットモデルと
~,V
潜在クラスモデルの統合モデル~,W~w• 個人の各商品に対するマーケティング変数への反応係数を推定

マーケティング変数

反応係数

μ

効用

β

商品購買

u

y

Z

V
z

T

C

潜在クラス

I

~
γ
C

潜在クラス型階層ベイズ2項プロビットモデル

数値実験• スーパーマーケットのID‐POSデータ•マーケティング変数⇒割引、エンド陳列、チラシ掲載の有無• 予測性能はLDAと比べ良好RMSE
Hit rate

LDA
提案モデル 提案モデル(Topic model) （潜在クラス）
（個人）
458.7
239.8
231.8
0.7%
3.5%
5.0%
購買商品の予測性能

T29

データ分布の2次モーメントのみにもとづく
バイナリコーディング手法
鈴木 幸一郎, 安倍 満, 佐藤 育郎 {ksuzuki, manbai, istao}@d-itlab.co.jp(株) デンソーアイティーラボラトリ
検討目的： 類似画像検索の性能改善
類似画像検索 概要

b = sgn ( WT x )・ 類似画像検索: 高次画像特徴をキーとし,類似の画像をデータベースから検索xb・ 高次元画像特徴を低次元の2値符号(バイナリコード)に変換→ データ圧縮可能. 保持, 通信コスト低.
Dij = 2

検索キー
WT x

b

bi

b j xor ( bi , b j )・ ハミング距離を特徴間距離とする→ ハードウェア演算可、計算コスト小
検索結果

検討課題： バイナリコードは高次特徴を線形変換して求める = sgn
2次モーメント(共分散行列)のみを用いて学習→ その場合の最適な変換行列 を求める( は直交基底系とする)
基本戦略: 高次特徴の近傍は同じバイナリコードに割り当てる. つまり,符号化エラー: J =‖sgn ( W x ) ‑ sgn ( W x )‖ を最小とする を求める
T

i

T

i

2

i

2

問題:
sgn 関数の取り扱いが困難
アプローチ: 共分散行列が既知なガウス分布に従うとして, エラー率を直接算出.
エラー率を最小とする を求める

符号化エラー率

CIFA10データセット ・GIST特徴を用いた性能評価

2次元でにより符号化エラーが発生する領域
により 〃
重複領域

エラー発生率 =
-

+

Cx
ε

B次元に拡張:近傍ε→0の極限で近似:(最小となるとのは、各 が全て等しいとき Pi = const / w iT C x w i→ 各基底に対するパワーが等しい)

1/2

アルゴリズムX = [ x1 , , x M ]T
C X = E ( X − E [ X ]) ( X − E [ X ])  = UΛU TCs = U s Λ s U s T , U s = [u1 , , u L ] , Λ s = diag ( λ1 , , λL )λ = Σ K λi / L
v l = U s clTTc l Λ s cl = λ , cl c l = 1
c = 1 / L − l +1
C X → ( I − ww T ) Cs ( I − ww T ) ,C s = U s Λ s U s T , U s = [u1 , , u L −l +1 ] , Λ s = diag ( λ1 , , λL −l +1 )W = [ w1 ,  , w L ]2次モーメントのみにもとづく手法中最もよい性能を示した(PCA-ITQはデータそのものも利用)T-30 ユーザのステレオタイピングに基づく推薦
納 竜也†, 佐久間 淳†††, ††筑波大学システム情報工学研究科††科学技術振興機構• 評価値行列を利用する推薦アルゴリズム– 同じ属性を持つユーザ→評価が似ている• ユーザのステレオタイプ– 任意のユーザ属性の組み合わせ– 複数のユーザを1つのステレオタイプで表現• 評価値行列の疎な割合を減らせる– 評価値行列と組み合わせて数値ベクトルに変換• 評価値行列を用いる推薦アルゴリズムへの導入が容易

T-30 ユーザのステレオタイピングに基づく推薦
User-Item
Item ID

Item ID

属性

User ID 1

2

3

4

5

ステレオタイプ

1

2

3

4

5

男性, 20代, 学生

1

2

3

-

-

5

男性, 20代, 学生

2

3

3

-

4.5

女性, 20代, 会社員

2

-

5

-

4

-

女性, 20代, 会社員

2.5

5

3.5

4

2.5

女性, 20代, 会社員

3

3

-

-

-

1

女性, 20代, 会社員

4

2

-

4

-

-

男性, 20代, 学生

5

-

-

3

-

4

データ：MovieLens(100k)
類似度行列を作成して予測ユーザ数の変化に対するRMSEを測定
GL:Group Lens*の手法, SR:提案手法
P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom, and J. Riedl, ``GroupLens:
An Open Architecture for Collaborative Filtering of Netnews" Proceedingsof the 1994 ACM conference on Computer supported cooperative work CSCW '94, pp.175-186

・欠損値の割合が減少
・ステレオタイプによる評価値行列なので推薦アルゴリズムへ導入が容易

RMSE

•
•
•
•

Stereotype-Item

ユーザ数