IBMresearch

Tokyo Research Laboratory

目的変数が範囲で与えられる回帰問題に対するEM法
Regression with Intervals

鹿島 久嗣、山崎 一孝 （IBM）
西郷 浩人（Max Planck Institute）
猪口 明博（大阪大学）

要旨：
少し変わった回帰問題に対する、少し新しい解法を与えました 少し変わった回帰問題： 出力が範囲で与えられるような回帰問題
 新しい解法： EMアルゴリズムに基づくモデル推定法

2© Copyright IBM Corporation 2007

IBM
Tokyo Research Laboratory research1

問題の説明
手法の提案
正当化実験

3

IBM
Tokyo Research Laboratory research© Copyright IBM Corporation 2007

出力が範囲で与えられるような回帰問題を考えます 回帰問題とは、入力ベクトルと実数値出力の関係を推定する問題
 従来の回帰問題は、訓練データの出力が「点（y）」で与えられる– xからyを予測するモデルをつくりたい
入力 xx1x2x3x4

出力 y2512613...

...

...

...

...

539107点で与えられる

 今回考える回帰では、訓練訓練データ）」で訓練データのデータの出力が出力が「範囲（範囲（l, r）」）」で与えられる– （目的は普通の回帰と同じ） xからyを予測するモデルをつくりたい
入力 xx14© Copyright IBM Corporation 2007

出力x2x3

範囲で与えられるx4lr

11146∞

25126...

...

...

...

53910

IBM
Tokyo Research Laboratory research2いくつかの実問題の例
 機会損失がある場合の売り上げ予測– 卸した数以上には売れないので、観測された売り上げよりも、本来の売り上げは多いかもしれない プロジェクトの品質分析におけるトラブル数予測– まだ終了していないプロジェクトや、途中で終了してしまったプロジェクトにおける本来のトラブル件数は、実際に観測された数より多いかもしれない
 不活性の化合物が与えられたときの、化合物の活性値予測（QSAR）– いくつかの化合物は、専門家からみて、実際に活性値を計測しなくても活性がないとわかる

5IBM
Tokyo Research Laboratory research© Copyright IBM Corporation 2007

従来の回帰手法における問題点： 範囲出力を適切に扱えない
 通常の回帰を解くアルゴリズムは存在する– 条件付分布 p(y|x) を、下表のデータから求めることができる
入力 x

出力 yx1x2x3x42

512613...

...

...

...

...

53

9107

推定p(y|x) 通常の回帰アルゴリズムでは、範囲出力は扱えない– ナイーブな解法として「範囲出力をもつデータは無視する」
入力 x6

出力 yx1x2x3x4lr

251261114

無視...

...

...

...

53

91066使う© Copyright IBM Corporation 2007

推定p(y|x)

IBMTokyo Research Laboratory research3

問題の説明
手法の提案
正当化
実験7IBM
Tokyo Research Laboratory research© Copyright IBM Corporation 2007

提案するアプローチ：
範囲出力の「代表値」を用いることによる繰り返し推定法
 範囲出力に対する代表値を割り当てることによって、通常の回帰手法を適用可能にする
 具体的には、「モデルの繰り返し推定手法」をもちいる– 現在のモデルを用いた代表値の割り当て– その代表値を用いた、（通常の回帰手法による）モデル推定を交互に繰り返す

代表値を与えることによって通常の回帰手法が適用可能
入力 xx18

出力 yx2x3lr

111413...

...

∞

72

5126...

...

...

...

53910

© Copyright IBM Corporation 2007

代表値x46IBM
Tokyo Research Laboratory research4

提案アプローチおける代表値の割り当て方：
現在のモデルによる、条件付期待値を割り当てる 現在のモデル f (y| x; θ ) をもちいて、i 番目のデータの出力範囲 [l(i),r(i)] における条件付き期待値を求め、これを代表値として用いる[l(i),r(i)]内での期待値– 含まれる積分は解析的に求めるのが困難な場合、サンプリングによって計算する

現在のモデルによる予測分布
f (y|x(i) ; θ )普通の期待値与えられた範囲内での期待値 ＝ 代表値

l(i)r(i)9y|xIBMTokyo Research Laboratory research© Copyright IBM Corporation 2007

手続きをまとめると...
範囲出力をもった訓練
データの読み込み

初期モデルの推定

現在のモデルを用いた
代表値の割り当て

i番目のデータの入出力は(x(i), [l(i), r(i)])• l(i) = r(i) （= y(i)）であるデータのみを使って推定• あるいは、y(i) = l(i) あるいは y(i) = r(i) などとして推定• あるいは、適当にモデルを決める• 現在のモデルを用いて、代表値 y(i) を推定
サブルーチン

既存の回帰手法の呼び出し

代表値を用いたモデルの推定NOYES収束したか？

10© Copyright IBM Corporation 2007

モデルを出力し終了

IBM
Tokyo Research Laboratory research5問題の説明
手法の提案
正当化
実験11IBMTokyo Research Laboratory research© Copyright IBM Corporation 2007

正当化： 提案手法は、指数分布族に対するEMアルゴリズムになっています 最大化する目的関数 ＝ 範囲 [l(i), r(i)] の間に落ちる確率 とする

 陽に積分がとれないので、下界を最大化することにする– g は現在の事後分布の近似として、以下を最大化する

 モデルが指数分布族であることを仮定する →– なお、η がパラメータ 結局、現在のモデルでの条件付き期待値で仮置きしたものを使って最尤推定すればよいことになる

現在のモデルでの条件付き期待値

12© Copyright IBM Corporation 2007

IBMTokyo Research Laboratory research

6具体的な導出例 （線形ガウスモデルの場合）
 以下の線形ガウスモデルを考える– φ(x) は基底ベクトル、これを行列で書いたものを アルゴリズム– Eステップ• 出力値の仮置き値を求める• 積分はメトロポリス法で行う– Mステップ• 仮置き値を使った最尤推定を解く
• 解は

13

© Copyright IBM Corporation 2007

IBMTokyo Research Laboratory research

提案手法の他に考えられる割り当て方法と、その問題点

単純な平均を代表値として割り当てる– [5, ∞] の平均値は∞となってしまうのでダメ

単純なEMアルゴリズムの適用： 「範囲出力」を用いずに、現在のモデルによる期待値を割り当てる– 範囲情報を適切に用いていないので、不十分

範囲制約を満たすような出力を出す解を求める （Knowledge-based Kernel Approximation）– 解が制約を満たすような計画問題を解く– 確率的な解釈がない

14© Copyright IBM Corporation 2007

IBM
Tokyo Research Laboratory research7

問題の説明
手法の提案
正当化実験

15

© Copyright IBM Corporation 2007

IBMTokyo Research Laboratory research

2つのデータセットを用いた実験で、提案手法の有効性が確認できました 2つのデータセットを用いました– 価格予測の問題（Boston housing）– 化合物の活性予測の問題（EDKB）
 提案手法を、2つの既存手法と比べ、提案手法の優位性を確認した– 既存手法 1： 範囲出力をもったデータを無視する方法– 既存手法 2： 範囲出力を使わずに、現在のモデルによる期待値を割り当てる方法
 ベースの回帰手法としては、線形ガウスモデルを用いた

16© Copyright IBM Corporation 2007

IBM
Tokyo Research Laboratory research

8実験結果1: 価格推定問題
 Boston housing data： 地域の犯罪発生率や、部屋数など、13 の指標（x）から、家の価格（y）を推定する問題– データ数は506
 本来は、点出力の問題だが、半分のデータを点出力として、残り半分のデータを範囲出力を持つデータに変換して用いる• 変換の仕方は、yの10%までの一様乱数 ∆l と ∆r を用いて– 提案手法 L： [y - ∆l , ∞]– 提案手法LR： [y - ∆l , y + ∆r ]
 基底はガウスカーネルを用いる

比較結果
提案手法が良い

17

IBM
Tokyo Research Laboratory research© Copyright IBM Corporation 2007

実験2: 化合物の活性値予測問題
 Endocrine Disruptors Knowledge Databaseに含まれるE-SCREENアッセイデータの化合物の活性値（logRPP値）を予測する
活性値– データ数は59個
 「専門家からみて明らかに活性のないデータ」を仮想的に作成して用いる– 活性値の小さいほうから1/3のデータのうち半分を活性のない化合物とする– これらの活性値を [-∞, -0.8421（小さいほうから1/3の活性値）] の範囲出力を持ったデータとする 部分グラフを用いた特徴ベクトル表現– 全体の5%以上に含まれる部分グラフ（最大サイズ20）で特徴ベクトルを作成– 13,600次元の2値ベクトル

比較結果

18

© Copyright IBM Corporation 2007

提案手法が良いIBM
Tokyo Research Laboratory research9まとめ： 実問題としての需要がありうるが、これまであまり扱われていなかった、範囲出力をもった回帰問題をEMアルゴリズムで解きました 範囲出力を用いるような回帰問題は、実問題において、現れうる– 従来法の単純な適用では、与えられた情報を十分に用いることができない
 範囲出力を用いるような回帰問題を、陽に扱い、これに解法を与えた– 従来法の単純な適用では、適切に解くことができない19© Copyright IBM Corporation 2007

IBMTokyo Research Laboratory research

今後の研究 Knowledge-based kernel approximationとの比較
 テスト時にも範囲が与えられている場合の実験
 ガウス過程の範囲出力化

20© Copyright IBM Corporation 2007

IBMTokyo Research Laboratory research10