I-1

模倣学習による依存構造解析
坪井 祐太（日本アイ・ビー・エム株式会社）• 依存構造解析(係り受け解析)とは？
– 文中の単語間の修飾関係を表す
木構造を予測SUBJWeOBJpropose

anew method– 評判分析・関係抽出・機械翻訳などの基盤技術• 提案手法の効果– 少しの精度低下で、数十倍の高速化を実現• 英語ベンチマーク
データでの評価(Penn Treebank)

既存手法(Zhang&Nivre2011)

提案手法

解析速度

27文/秒

830文/秒

精度（UAS）

92.9%

90.7%

– 応用：マイクロブログ等の大規模テキストデータの処理I-1

模倣学習による依存構造解析
坪井 祐太（日本アイ・ビー・エム株式会社）• Transition-based Dependency Parsing (既存手法)– 文の前から順に係り受け関係を決定（マルコフ決定過程）• 正解データを用いて方策を教師付き学習– 解析時の誤差伝播が課題• 予測履歴も特徴に用いるため、前の誤りが伝播する (Non-i.i.d.)• 既存手法では大域最適化&ビーム探索によって回避 → 探索幅に比例して解析速度低下→正解データ下の状態分布と学習した方策が観測する状態分布が異なる• 模倣学習(Imitation-learning)による誤差伝播回避– 強化学習問題としての依存構造解析器学習:• 膨大な状態空間数 (状態を表す特徴次元≒約500万)• エピソード単位の決定過程• 報酬を最大化する方策（オラクル）が利用可能– 模倣学習（DAGGER, Ross et al. 2011）の適用• 方策空間の中で報酬の大きい領域のみを探索学習の効率化• 解析速度を落とすことなく精度が向上 (89.7%90.7%)

I-­‐2	

階層ベイズモデルによる消費者異質性を考慮したクロスメディア効果推定	

日高徹司（博報堂）、佐藤忠彦（筑波大学）	  目的	1. 大規模データでさえ捉えることが困難な，インターネット、テレビ、ラジオ、新聞、雑誌、屋外広告などの複数のメディアの相乗効果（クロスメディア）効果を小規模な実験で測定	
2. 各消費者のデモグラフィック特性やブランドの知識や態度（興味、魅力など）と広告効果の異質性、多様性の関係を探る	

調査手法	
1. Web調査を用いた広告の強制露出実験	  2. 被験者数：各グループ100人×16グループ=1600人	  3. 各ブランド５つの広告素材（TVCM，新聞広告，雑誌広告，交通広告，Webサイトなど）	  4. 露出前後にブランドの知識や態度を質問	
直交表L16（○：広告呈示，×：呈示せず）	  A,B,・・,E：広告素材	  AB,AC,・・,AE：交互作用	I-­‐2	

階層ベイズモデルによる消費者異質性を考慮したクロスメディア効果推定	

日高徹司（博報堂）、佐藤忠彦（筑波大学）	  モデル	1. 階層ベイズ二項ロジットモデルを適用	  共通パラメータ	

1. 目的変数：広告露出後のブランド態度（Yh）	  θkj	
2. 説明変数：広告露出の有無（Xhj）	  Zhk	3. 個人属性：Zhk	  消費者属性	
2. 異質性を表す添え字	  1. h：消費者	  2. k：個人属性ID	  3. ｊ：広告素材	  Xhj	

説明変数	βhj	 広告効果パラメータ	

βhj	
Uh	Yh	

効用	

目的変数	

得られた知見	
1. 広告の効果は個人ごとに異なるが，その異質性は個人属性やブランドへの態度で予測可能．	  
2. 特にブランドへの態度の影響が大きく，ブランドに対して好意的であるほど広告効果は大きい傾向にあることがθkjから確認できる	  I-­3

データセンタの省電力化に向けたICT機器吸込温度予測手法の検討
橋本英明，  松尾啓吾  (日本電信電話株式会社)目的•空調機から冷却が容易なICT機器において，優先的に計算  処理をすることで，空調機設定温度を緩和し省電力化を図る
空調機とICT機器の総合消費電力を最小化する空調動作点と動作ICT
機器を分析

ICT-­  Air  conditioning
coordinatedcontrol  servers

動作ICT機器（計算処理）
温度、消費電力、CPU負荷率・・・
サーバ内部センサ

空調動作点（温度、風量、冷房能力・・・）
Air  conditioner  AAir  conditioner  BICT  servers  mounted  in  server  racks

I-­3 データセンタの省電力化に向けたICT機器吸込温度予測手法の検討
橋本英明，  松尾啓吾  (日本電信電話株式会社)

動作ICT機器の位置が冷却に与える効果
空調機吹出温度 23℃
空調機戻り温度 25℃

21℃
26℃

23℃
25℃

Air  conditioner

動作ICT機器（発熱位置）変更に伴い機器吸込温度が低下

3kW/ラック

ICT機器最大吸込温度    31℃

23℃
24℃

21℃
25℃

23℃
27℃

3kW/ラック

7℃改善

ICT  servers  mounted  in  server  racks

ICT機器最大吸込温度

24℃

課題•  ICT機器の吸込温度や空調機の吹出温度等の運用情報に    基づき，Dynamic  PLSを用いてICT機器の吸込温度を    精度良く予測するI-4 動的残存効果モデルによる市場反応分析の高度化井上 友彦（筑波大学大学院），佐藤 忠彦（筑波大学）

.

研究の目的

.
マーケティングにおいて，プロモーション活動量 (xt ) が売上 (yt ) に与える影響.の経時的変化を構造化し測定する.

構造上のポイント.

（プロモーションとは無関係の）ベースライン売上が存在する
プロモーションは現時点だけでなく将来の売上にも影響する（効果の残存）
ベースライン売上，プロモーション効果や残存率はすべて時間的に変化する.

プロモーション効果は正である

.

データ
.
.

製薬企業のディテール活動（人的販売）と製品売上の社内記録データ
週次，複数製品(IBIS2012)

第 15 回情報論的学習理論ワークショップ

2012 年 11 月 7 日

1/2

I-4 動的残存効果モデルによる市場反応分析の高度化
井上 友彦（筑波大学大学院），佐藤 忠彦（筑波大学）.

/ zt−1 λt / zt λt+1/ zt+1
O
O
O

提案モデル（動的残存効果モデル）.
yt = αt + zt + et ,βt−1

et ∼ N (0, σ 2 ),t = 1, . . . , T

βt+1βtxt−1xtxt+1βt > 0, 0 < λt < 1∗∗ ′∗λt
θt = (αt , βt , λt ) , βt = log(βt ), λ∗t = log( 1−λ)t/ θt−1/ θt/ θt+1v t ∼ N (0, Q)

yt−1zt = βt xt + λt zt−1 ,θ. t = θt−1 + v t ,

//yt

yt+1.

モデルの推定.
.粒子フィルタによる非線形・ガウス型状態空間モデルの推定.

結果

beta
0.3
0.0

alpha
0 4.

lambda0.00.6.
プロモーション効果の経時的変化が妥当に推定され，製品毎の特徴も明らかに

020(IBIS2012)

406080100020406080100

第 15 回情報論的学習理論ワークショップ

020406080100

2012 年 11 月 7 日

2/2

5 製品修理作業レポートと付随する数値データの関係性分析
山本忠,吉田稔,中川裕志(東京大学)渋谷久恵,前田俊二(日立製作所)

対象データ
・メーカー製品の修理作業のレポート- 各文書は短い- 9675文書,3306語彙・作業費用を示す
コストインデックスが付随

分析
回帰分析：コストインデックスをより説明できるようなモデルを探す。
単語抽出：コストインデックスに大きな影響を与える単語を抽出する。

5 製品修理作業レポートと付随する数値データの関係性分析
山本忠,吉田稔,中川裕志(東京大学)渋谷久恵,前田俊二(日立製作所)

実行手法
・様々なモデルで回帰精度の比較や単語抽出をおこなった。

結果
１）回帰精度

２）単語抽出
各モデルで単語の値段を算出する。（辞書作成）

購買履歴データを用いた消費者の選好構造の空間的表現手法の提案
石田 実(アークエンジン)

I-7

提案手法

交互作用統計量は内積と解釈できる類似係数
購買の有無が２項分布に従うと仮定して、消費者を空間的表現（理想ベクトルモデル）できる。

すなわち
𝒄𝒊𝟏

消費者𝑖 のベクトル表現 𝒄𝒊 を下式とすると、 ただし、消費者𝑛人の𝑚個の製品の購買履歴を表す行列を
1𝑝𝑖
𝑴 = 𝑚𝑖,𝑗 , 𝑖 = 1, ⋯ , 𝑛; 𝑗 =𝒄𝒊 =𝒎𝒊 −𝒆𝑚𝑚 (1 − 𝑝𝑖 )𝑚𝑝𝑖 (1 − 𝑝𝑖 )1, ⋯ , 𝑚として、 𝑝 = 𝑘 𝑖,𝑘 、𝒎𝑖

𝒄𝒊𝟐

要検証

交互作用統計量 𝑠𝑖1,𝑖2 = (𝒄𝒊𝟏 , 𝒄𝒊𝟐 ) 内積𝑚

は𝑴の第𝑖行、 𝒆 = (1, ⋯ , 1)

(1) この布置は購買の選好を表しているか？
(2) 新たな知見の発見ツールとして有用か？

𝒊購買履歴データを用いた消費者の選好構造の空間的表現手法の提案
石田 実(アークエンジン)

I-7

実証１ 提案する布置は購買の選好構造を表しているか？ Yes

購入者数 = 人数の分布×購入率の分布
度数(密度)
人数の分布購入率の分布

実証２ 新たな知見の発見ツールとして有効か？ Yes

潜在顧客の分布の推移に関する知見を得た

新製品の新規購入者の分布の推移
人数

内積

交互作用統計量＝ 内積+10

特定の製品の購入者の近い分布の中心的購入者+1

人数が多いが購入率は低い

遠い

0

近い

-1

時間経過

-1

人数が少ないが購入率は高い

バラエティシーカー×拡散（普及）革新者

追随者○収縮（同質化）
ロイヤル顧客遠いまとめ 提案手法は (1)線形表現なので、統計解析が容易。

(2)推奨システムや市場構造分析に有効。

I-8

高橋俊博、井手剛
IBM東京基礎研究所

Predicting Battery Life from Usage Trajectory Patterns
背景課題 電池は、使用するにつれ充電可能容量（容量維持率）が減っていく。

 特徴量の設計をどうするか？
– 支配的な劣化因子は定性的に分かっているが、パラメタライズの仕方は未だ議論されていない。

 環境・使い方によって、劣化速度が異なる。
– 劣化は、経時による劣化と、通電による劣化に分割できる。
– 経時による劣化：下記パラメータによって、単位時間当たりの劣化速度が異なる。
• 温度、SoC– 通電による劣化：下記パラメータによって、単位通電量当たりの劣化速度が異なる。
• 温度、SoC、DoD

 学習データが少ない– 予測モデル構築には、実際に劣化が進んだ多量のデータが必要。しかし、劣化試験はコストが高い。
– 一方で、車の使い方は複雑（ブレーキ回生など）で、少ないデータを組み合わせて、これを当てる必要がある。
 実車の実績データもモデル構築に用いたい※
SoC（=State of Chageの略で、充電残量）
DoD（Depth of Dischageの略で、充放電時のSoCの幅）劣化試験パターン

実走行パターン

45 degrees Celsius

45 degrees Celsius, 1C

45℃、SoC0%-100%、DoD100%、サイクル試験

01020time[hour]

304025 degrees Celsius

SOC[%]

SOC[%]

1020time[hour]

301020time[hour]

30

40

100%
80%
60%
40%
20%
0%
045 degrees Celsius, 1C

100%80%60%
40%20%0%10

実際の使われ方Practical Use

1020time[hour]3040

25℃、SoC20%-80%、DoD60%、サイクル試験

25℃、SoC20%、放置試験

0100%
80%
60%
40%
20%
0%

SOC[%]

SOC[%]

SOC[%]

45℃、SoC100%、放置試験
100%
80%
60%
40%
20%
0%

40

100%
80%
60%
40%
20%
0%

限られた通電パターンの試験結果を組み合わせて、複雑な通電パターンの電池劣化を予測したい。
01020time[hour]3040© 2012 IBM Corporation

Predicting Battery Life from Usage Trajectory Patterns

高橋俊博、井手剛IBM東京基礎研究所

I-8

提案手法
 「SoC×DoD×温度」の3次元空間におけるトラジェクトリ回帰の問題として定式化
劣化量を線形のトラジェクトリ回帰モデルで扱う

離散化

回帰係数

回帰係数

「SoC×DoD×温度」の3次元空間を離散化各セルにおける滞在時間・通電量を積算する。
各セルに回帰係数を割り振る

SoC

劣化量

セルｃにおける滞在時間

セルｃにおける通電量

残差項

DoD
Temp

 パラメータ数が多いので、自然な正規化を行う。

正則化項

目的関数 ＝ 残差項 ＋ 正則化項

係数

係数α・βが滑らかに変化するように正則化⇒隣接するボクセルの平均に近づける

目的関数は二次関数なので容易に解ける
ボクセル

予測の様子

結果
二乗誤差の比 実応用可能な電池劣化推定モデルを提案した。
 実データを用いて、従来手法（kNNベース）と比較して、1.9倍～2.2倍の精度向上を達成した。
2© 2012 IBM Corporation

Webサイト公開用資料作成例
1001 医用画像におけるコンピュータ支援検出／診断のための機械学習：
I‐9
遠隔読影環境による多施設臨床使用下での識別器の更新
情学太郎（IBIS大学）

野村行弘、増谷佳孝、三木聡一郎、根本充貴、花岡昇平、吉川健啓、林直人、大友邦(東大病院)

CIRCUSシステム• 病変自動検出をはじめとするコンピュータ支援検出／診断(CAD)
ソフトウェアの研究開発／臨床応用促進を目的とした統合的な臨床情報処理基盤（2009.01より東大病院にて運用）
CIRCUS DB (DataBase)‒ 機械学習のための疾患別病変データベースおよび登録システム（システム開発者向け）

CIRCUS CS (Clinical Server)‒ WebインターフェイスによるマルチCAD実行・評価サーバシステム⇒ 評価（フィードバック）データはCADソフトウェアの性能評価・改善などに利用※ CAD: computer assisted detection/diagnosis
CIRCUS： Clinical Infrastructure for Radiologic Computationof United Solutions

図１ CIRCUSシステムの構成

目的• 遠隔読影環境にてCIRCUS CSシステムを運用、多施設データに対するCAD実行およびフィードバックデータの収集‒ CIRCUS+プロジェクト（2011.09～）‒ 東大病院放射線科開発のCADソフトウェア（頭部MRA脳動脈瘤検出、および胸部CT肺結節検出）を使用• 多施設データでの運用に伴う装置・撮像法の多様化による性能低下とフィードバックデータを用いた識別境界の更新による改善の定量化‒ 東大病院での学習結果をそのまま使用し、性能低下を確認。後にフィードバックデータを用いて再学習し、性能を再評価

図２ 遠隔読影環境の概要

方法• 東大病院データベースで学習したCADソフトウェアを多施設データに使用し、フィードバックデータを収集• CADの更新は2種類のデータベース（東大病院・CIRCUS+）の情報を用いて偽陽性(FP)削減処理用識別器の再学習を行う

図４：性能評価結果（脳動脈瘤検出）

図３：CAD学習用データベースの更新

結果• 5施設による7ヶ月間の臨床使用で肺結節および脳動脈瘤検査の約6,000症例に対してCADの実行、およびフィードバックデータを収集• 東大病院開発のCADソフトウェアを遠隔読影環境で使用した場合、性能低下を確認。フィードバックデータを用いた再学習により性能が改善（図4, 5）‒ 5 FPs/scanにおいて感度が7.4 %（肺結節検出）、8.1 %（脳動脈瘤検出）改善

まとめ• 遠隔読影環境下にCIRCUS CSシステムを導入することにより、CADソフトウェアの多施設同時運用、およびフィードバックデータによる性能改善が可能

図５：性能評価結果（肺結節検出）I-10

Rough setと部分空間法を組み合わせたリモートセンシング画像分類手法
ハスバガン, 山形与志樹 (独立行政法人国立環境研究所

ラフ集合（Rough Sets）
下近似 (Lower Approximation) と 上近似
境界 (Upper Approximation)の計算
R− ( X=) {x x ∈ U , [ x ]E ⊂ X=} {x x ∈ U , ∀y ∈ U [ xEy ⇒ y ∈ X ]}

下近似

上近似

R− ( X=) { x x ∈ U , [ x ]E ∩ U ≠ ∅=} {x x ∈ U , ∃y ∈ U [ xEy, y ∈ X ]}訓練ピクセルxの下近似と上近似の計算∆=
τ A ( x) τ =A (TS ( x )){ x}   {TS ( y ) TS ( y ) ⊆ TS ( x)}y∈U , y ≠ x∆

τ A (=x) τ A (TS ( x=)) { x} 

 {TS ( y) TS ( y) ∩ TS ( x) ≠ ϕ}y∈U , y ≠ x

I-10

Rough setと部分空間法を組み合わせたリモートセンシング画像分類手法

訓練データを純化する
Step 1: 下近似で訓練データ xの各ク ラ スでのメ ン バシ ッ プ 値を 計算し 、 メ ンバシ ッ プ 値が高いク ラ スにxを 配置する 。 曖昧の場合 Step 2;
Step 2: 境界集合でxの各ク ラ スに所属する 平均メ ン バシッ プ 値を 計算し 、 値が高い方に配る 。 ま だ曖昧の場合 ， xを 訓練データ 集合から 削除する ;Step 3: 配置さ れた全ての訓練データ を 精査し 、 元のク ラ スと 違う ク ラ スに配置さ れた訓練データ を 削除する 。

純化したデータを使った部分空間法
1.Perform PCA

Selectstudy
and test
samplesfor eachclass

on each classseparately;
2.Calculate
majoreigenvalues toTraining
generate classsubspaces;
3.Rotate
subspace toreduce error;
go ①.

1.Compute thePixel: x

Projection

900

P (i) xO

Subspace

Compareprojection
lengths
between pixel
and eachsubspace;
2.Pixel x isplaced in theclass that has
the largest
projection
length.

Output創薬を支援するデータ駆動型化合物設計

I-11

山下博史

吉田亮

伊庭幸人

樋口知之

総合研究大学院大学

統計数理研究所

統計数理研究所

統計数理研究所

f 問題：化学構造の非凸・非線形・組合せ・多目的・最適化
創薬：薬に必要な機能を複数併せ持つ化合物を広大な化合物空間から実験を通して試行錯誤的に探索するプロセス

f 目的：データから目的の機能を持つ化学構造を推定する(グラフ pre-image 探索手法の開発)

提案手法

➀➀

化合物空間

特徴空間

 化学構造用カーネルの設計

➁G

Á

N

Á(G)

NO

➁

N
O
O

N

S

Ψ

O
N
N?

Á-1

化学構造の機能予測に適した特徴空間の構成

特徴空間で定義した目標分布からの化学構造サンプリング MCMC における提案分布の設計

化学構造の分類実験
提案カーネルの性能評価 (10-fold cv により予測精度を計測, 学習器には SVM を使用)
95

データセットMutagMM, FM, MR, FR
BioBBB
BZR, COX2, DHFR, ER

Accuracy [%]

変異原性
発ガン性
生物学的利用能BBB 透過性タンパク質結合能

ECFP (フィンガープリント)
FCFP (フィンガープリント)

提案カーネル90

部分木カーネル

ランダムウォークカーネル

8580757065

DHFR

ER

Cl

Cl

COX2

BZR

BBB

Bio

FR

MR

FM

MM

Mutag

60

グラフ pre-image 探索実験
特徴空間の点 Ψ に埋め込まれる化学構造を MCMC を用いてサンプリング
O
S
H2N
O

SO

ÁGA

N
F

H2N
O

S

GB

O

0 (seed)

Á(GA)

F

Á-1F

O

ΨF

H2N

O

O

O

Á(GB)

F

O

1000

Á
特徴空間

H2N
O

S

O

30

Cl

O

H2N
O

S

100
H2N

O

O

S

O

Cl

Cl

中点O

化合物空間

10O?

目的化合物

O
F

O
Cl

F

FN
SSNONNNNOOO

NFF
F

2701 (nearest)

40006000

MCMC シミュレーションにおける化学構造の推移

I-12 An Online Map Matching based on Hidden Markov ModelRudy Raymond, Sei Kato, Tetsuro Morimura (日本IBM), Masato Hattori(青山学院大学)
Goals of online map matching:
Given a sequence of GPS points and a map of road network, find the sequence ofroads that most likely produce the points from the map online

Possible road sequences from (1,2,3,4):
A-B-C-D-E-F-G-H-I-J-K
Z-Y-X-I-J-K…

GPS points
Points on roads

Why important?
• Prerequisite to finding patterns in mobility
with efficient resources• The base for many algorithms, e.g., in a
traffic simulation that extracts parameters fromprobe car data

I-12 An Online Map Matching based on Hidden Markov Model
Rudy Raymond, Sei Kato, Tetsuro Morimura (日本IBM), Masato Hattori(青山学院大学)
Ideal HMM

Our approach:
HMM-based online map matching• GPS are observed states and roads are hiddenstates• Memorize the current state only
• Moderate computational cost-- Simple emission and transition probabilities-- Heuristic for storing potential matching
candidatesResults:• Online map-matching without time-sliding windows(delay)• Comparable accuracies with the offline version-- Real-world sparse and noisy datasets

Hidden state

Rt-1

Rt

Rt+1

RTPoint on roads

Zt-1

Zt

Zt+1

ZT

GPS points

Observable stateI-13

Jubatus:
⼤大規模データ解析向け分散オンライン機械学習
⼤大野健太 　海野裕也 　岡野原⼤大輔 　⽐比⼾戸将平株式会社 Preferred Infrastructure
データ増加に対抗する機械学習のアプ
ローチは分散化、オンライン化があるが、Jubatusは2つの両⽴立立を特徴とする。

分散オンライン機械学習では頻繁な更新と同期を同時に達成しなければならない
JubatusはUpdate-Mix-Analyzeという仕組みにより学習モデルを緩やかに共有する事で分散オンライン機械学習を実現している。

I-14

Modeling Patent Quality:
A System for Large-scale Patentability Analysis using Text Analytics
鈴木祥子（日本アイ・ビー・エム株式会社）

提案手法
特許の質を評価する指標を導入するため、教師あり学習を行い各特許明細書のスコアを計算-明細書から各種特徴量を抽出し、数値化-教師データとして、審査請求された特許が成立するかどうかというラベルを利用

特徴量•明細書の各種統計量- タイトルの文字数、請求項の数、etc•テキスト解析を利用した特徴量- 形態素解析・係り受け解析を利用した構文複雑性の導入- TF-IDF- 単語年齢の導入

学習モデル
学習モデル
ロジスティック回帰モデル- L2正則化- 明細書の出願年についてマルチタスク学習を適用

I-14

Modeling Patent Quality:
A System for Large-scale Patentability Analysis using Text Analytics
鈴木祥子（日本アイ・ビー・エム株式会社）

システム

可視化モジュール
可視化モジュール
JP1998JP1998-XXXX-XXXX

JP1998JP1998-XXXX-XXXX

発明タイトル…

特徴量リスト

単語年齢

パテンタビリティ
予測モデル

パテンタビリティスコア : 0.653
0.653

パテンタビリティスコア

出願番号

特徴量... 登録拒絶

個別出願ビュー
ユーザー

2002
年出願
年出願
2002

: 0.4780.478
年出願 平均スコア
平均スコア
平均スコア : 0.543
0.543
年出願 平均スコア

G
01 2002
年出願
G--01
2002
G
02 2003
年出願
G--02
2003

2003
年出願
2003

スコアヒストグラム

比較対象グループ02

データベース

スコアテーブル

特徴量テーブル03

グループ比較ビューグループテーブル

システムアーキテクチャー

予測精度
IPC=H01l : AUC=0.62
IPC=G06f : AUC=0.69

可視化モジュール出力例

まとめ• 特許の質を客観的な指標で評価するシステムを５００万件超の明細書で実現• 予測精度はまだ十分でないが今後の工夫で精度向上の可能性が高い

I-15

•
––

しかし…

何を調べようとしている
か知られた
くない…＊

必要以上の情報は与えたくない…＊

検索内容を見せたくない＊ライフサイエンスデータの＊主に、個人情報保護法

収集にはコストがかかるためのため研究者

検索結果以上の情報を与えたくない

ジレンマの解消が急務！

DB••

S Tanimoto| p  q || p  q |nd ( d   n ) | p  q |   n (  | p |)   n (  | q |)  0•••

Tp, qTT

従来技術（MPC）•–

提案手法（サーバー）–•
提案手法（ユーザー）