目的変数が範囲で与えられる回帰問題に対するEM 法
鹿島久嗣1 ・山崎一孝1 ・西郷浩人2 ・猪口明博3

要旨

本論文で、我々は、目的変数が範囲として与えられるような回帰問題を考え、この問題への確率的なアプローチを提案する。この問題の最適化問題を直接的に解くことは困難であるが、近似解法として EM アルゴリズムによる解法を与える。また、提案アプローチの有効性を、価格予測と化合物の活性予測の 2 つの問題のベンチマークデータセットを用いた数値実験によって示す。

1.

はじめに

回帰は、統計、機械学習、およびデータマイニングにおける基本的なタスクの 1 つであり、実世界においても多くの文脈において現れる重要な問題である。回帰問題では、通常、訓練データとして、入力変数と目的変数のとる値のペアがいくつか与えられると、それをもとに、目的変数の値が未知の入力に対して正しい値を出力を予測するモデルを推定することを目的とする（2 章参照）。ここで、訓練データにおいて与えられる目的変数値は、大抵、ある実数値の値をとることを前提としている。しかし、実際の問題においては、目的変数の値についての情報がより曖昧に与えられるような場合があり、このような場合に対応するためには、通常の回帰手法を拡張する必要が生じる。
本論文では、とくに、訓練データの目的変数が「40 以上、50 以下」などのように、範囲として与えられるような場合の回帰問題を考える。実際に起こりうる問題の例として、以下のようなものが考えられる。

例 1：機会損失があるデータからの売り上げ予測ある商品を、ある店舗に卸して販売したときに、どれだけの数量が売れるかを予測したいとする。商品の説明変数（商品カテゴリや価格など）が入力変数に対応し、その商品が売れる数量が目的変数に対応する。過去の売上データから、商品の説明変数と、売り上げた数量が訓練データとして得られるので、これをもとに、入出力間の関数を推定するのが通常の回帰問題の設定である。しかしながら、過去のデータの中には、本当は卸した数量以上売れるはずだった
1

日本 IBM 東京基礎研究所：〒 225-8502 神奈川県大和市下鶴間 1623-14
Max Planck Institute for Biological Cybernetics：Spemannstrase 38, 72076 Tubingen, Germany2
大阪大学 産業科学研究所：〒 567-0047 大阪府茨木市美穂ケ丘 8-12目的変数が範囲で与えられる回帰問題に対する EM 法2のだが、卸した量が足りなかったため、売り切れてしまった場合が存在する。たとえば、売り上げ上は 2,000 単位となっているが、十分な在庫があれば、2,200 単位は売れたはずであったという場合が存在する。このようなときには、実際売れるはずであった売り上げ数量は「2,000」ではなく「2,000 以上」となるはずであるので、これを「2,000 以上、∞ 以下」の売り上げをもつデータとして、明示的に取り扱うことが望まれる。

例 2：プロジェクトの品質分析
あるプロジェクトに対して、そのプロジェクトの品質を予測するために、プロジェクト品質を表す指標を予測したいとする。プロジェクト品質を表す指標としては、例えば、プロジェク
ト実行過程におけるトラブルないし、それに準ずる報告の発生件数や、単純に、そのプロジェクトに関わる売り上げなどが考えられる。このとき、プロジェクトの説明変数（プロジェクトマネージャの名前や、参加メンバー数など）が入力変数に対応し、トラブル発生件数が目的変数に対応する。すでに終了したプロジェクトの場合には、そのプロジェクトでのトラブル発生件数は既知であるので、通常の回帰手法においても扱うことができるが、現在もまだ終了していないプロジェクトや、途中で終了してしまったプロジェクトの場合、報告されたトラブル発生件数は、実際に起こる（はずの）件数の下限値となっているはずである。また、担当者が気付かないトラブルや報告義務が無いと勘違いされているトラブルなども存在するため、報告されるトラブル件数は実際のトラブル件数の下限になっている。例えば、「5 件」となっている発生件数は、実際には「5 件以上」となるはずであり、このようなデータは「5 件以上、∞ 以下」の発生件数をもつデータとして、明示的に取り扱う必要がある。

例 3：化合物の活性予測ある化合物が、薬品としての活性がどの程度あるか予測することは、新規薬剤の効率的な設計において非常に重要な意味がある。この問題を回帰として捉える場合、化合物の特徴を現すいくつかの値あるいは、化合物の分子構造のもつグラフ構造ないし立体構造が入力変数であり、その活性値が出力変数となる。通常の回帰問題では、過去の実験において活性値が計測されている化合物をもとに、活性値の予測モデルを推定する。しかし、実験にかかるコストは無視できないため、実際に活性値が測定されていない化合物も多く存在する。その中でも、エキスパートによって、活性がないと判断されるものがいくつか存在する。この情報を有効に活用するためには、活性がないと判断された化合物については、その活性値が「−∞ 以上、ある小さい活性値（例えば、全体の活性値の大きいほうから 80% の点）」の値をとるものとして、積極的に利用していくということも考えられる。
通常の回帰を行うための手法であれば、最小二乗法による線形モデルの当てはめなどといった基本的なものから、より複雑なベイズ的アプローチまで、各種存在する (Bishop(2006)) が、いずれも本論文で扱うような、目的変数が範囲で与えられるような問題を直接扱えるものはほとんど提案されてない。
そこで、本論文では、3 章において、目的変数が範囲で与えられるような回帰問題に対する確率的なアプローチを提案する。我々は、通常の回帰問題に対する最尤推定や事後確率最大化における目的関数を拡張することによって、範囲をもつ目的変数に対する目的関数を定義する。目的変数が範囲で与えられる回帰問題に対する EM 法

3

この目的関数は、モデルの積分形を含むため、直接の最適化は困難であるが、我々は、近似的な最適化手法として EM アルゴリズムを用いた解法を提案する。
なお、本論文で扱うような回帰問題を陽に扱うことのできる研究としては、Mangasarian etal.(2004) や Le et al.(2006) による、サポートベクトルマシンに制約を入れるアプローチが存在するが、これらは、確率的なアプローチではなく、また、予測時に範囲をもった制約を効果的に取り入れることはできないという点で、我々の研究とは異なっている。
また、最後に、価格の予測と、化合物の活性値予測を扱う 2 種類のデータセットを用いた数値実験を行い、提案アプローチの有効性を検証する。
2.

問題設定

一般に、回帰問題とは、D 次元の実数値ベクトルである入力 x ∈ X = <D と、実数値である出力 y ∈ Y = < の間の関係 f : X → Y を、訓練データと呼ばれる N 組の入出力ペア
E = {(x(i) , y (i) )}N/ E に対して、i=1 から推定する問題である。その目的は、出力未知の入力 x ∈正しい出力を予測することである。
本論文であつかう回帰問題は、次の点において、通常の回帰問題と異なる。通常の回帰問
題の訓練データが (x(i) , y (i) ) のように、出力が 1 つの実数値 y (i) で与えられるのにたいし、本
論文では、訓練データが (x(i) , [`(i) , r(i) ]) のように、出力が「`(i) 以上 r(i) 以下」という形で、範囲として与えられる。つまり、訓練データとしては 範囲出力をもつ、N 組の入出力ペア
E = {(x(i) , [`(i) , r(i) ])}Ni=1 が与えられる。これは、出力がある特定の値では与えられないが、より曖昧な、ある程度の幅をもって範囲としてなら与えられるような状況を許す、より柔軟な問題設定となっており、1 章で述べたような例をうまく扱うことができる。なお、この設定は、通常の回帰を、`(i) = r(i) である特殊な場合として含む点に注意する。これには、出力が点で与えられる訓練データと範囲で与えられる訓練データが混ざっているような場合も含まれる。
さらに、訓練データから学習したモデルを用いて、新しい入力 x に対する出力の予測を行う
際にも、出力の値のとりうる範囲が [`, r] の形で与えられており、これを補助情報として用いて予測を行いたいような場合も存在する。
3.

提案アプローチ

3.1 基本的なアイディア
我々は、目的変数の値が範囲で与えられるようなデータにおいて、本当の値は観測されない「隠れ変数」であるとして、EM アルゴリズムによって推定問題を解くアプローチを提案する。
EM アルゴリズムでは、大まかには、次のような手続きによって、繰り返しモデルを改善することによって、モデルの推定を行う。

（1） 適当な初期モデルを作成する（例えば、点出力が与えられている訓練データのみを用いて）（2） 現在のモデルを用いて、範囲出力を持つ訓練データに対して、点出力の「仮置き値」を与える（3） 点出力をもつ訓練データと、点出力の「仮置き値」をもつ訓練データをあわせて、新しいモデルを推定する（4） (2) に戻る（モデルが収束するまで繰り返す）

目的変数が範囲で与えられる回帰問題に対する EM 法

4

ポイントはステップ 2 であり、EM アルゴリズムにおいては、現在の推定モデルを用いて、隠れ変数の仮置き値を推定するが、これがステップ 2 にあたる。一旦、範囲出力が点出力に置き換えられてしまえば、通常の回帰手法を適用できるため、ステップ 3 は容易に解くことができる。
ステップ 4 での繰り返しは、この手法が EM アルゴリズムに基づいているため、必ず、繰り返しによってモデルが悪くなることはなく、また、その繰り返しは収束することが保証される。
3.2 EM アルゴリズムとしての提案手法
前節で述べた手続きを、EM アルゴリズムとして導く。まず、目的変数の値が点で与えられるような場合の最尤推定を自然に拡張することで、最大化するべき目的関数を以下のように定義する。
Z r(i)
NN
XX(i)
(i)
(i)
(i)
(3.1)
E=log Pr(y ∈ [` , r ]|x ) =logf (y|x(i) )dy
i=1

`(i)

i=1

この目的関数を最大化することは、与えられた範囲内に予測が入る確率を最大化しようとしていることになる。通常の、点で出力が与えられるような場合、つまり、`(i) = r(i) の場合には、微小な ∆ について、r(i) = `(i) + ∆ と考えることで、これを含むことができる。
さて、(3.1) を最大化するにあたり、直接の最大化は困難であるため、(3.1) の下界を求め、これを逐次最大化することを考える。y (i) の事後分布の近似 g(y|x(i) , [`(i) , r(i) ]) を導入すると、
Z r(i)
NX
E=(3.2)log
f (y|x(i) )dy`(i)i=1
NX=logZ r(i)`(i)i=1

N Z r (i)X≥f (y|x(i) )g(y|x(i) , [`(i) , r(i) ])dyg(y|x(i) , [`(i) , r(i) ])g(y|x(i) , [`(i) , r(i) ]) log

`(i)

i=1

f (y|x(i) )dyg(y|x, [`(i) , r(i) ])となる。負等号は、Jensen の不等式を用いた。ここで、f に関係する部分だけ取り出すと、
N Z r (i)X
(3.3)
g(y|x(i) , [`(i) , r(i) ]) log f (y|x(i) )dyi=1`(i)となり、もしも、モデル f が指数分布族であるとき、すなわち、h とラメータとして、(3.4)
f (y|x) = h(y)k(”) exp(” > (y))
Z(3.5)
1 = k(”) h(y) exp(” > (y))dyを適当な関数、” をパのように表される場合には、(3.3) の最大化は、(3.6)
N Z r (i)Xg(y|x(i) , [`(i) , r(i) ]) log f (y|x(i) )dyi=1=`(i)N Z r (i)
X
i=1

(i)

(i)

g(y|x , [` , r(i)]) log h(y)dy +`(i)NX

log k(”) exp ”>

Z r(i)となることから、

i=1

log k(”) exp ”>

Z r(i)
`(i)

(i)

(i)

g(y|x , [` , r(i)(i)

g(y|x , [` , r

`(i)

i=1

NX(i)]) (y)dy!

(i)]) (y)dy!

目的変数が範囲で与えられる回帰問題に対する EM 法を最大化すればよいことがわかる。これは、隠れ変数であるところのルにおける条件付期待値
Z r(i)
ˆ (y (i) ) =(3.7)
g(y|x(i) , [`(i) , r(i) ]) (y)dy5(y (i) ) を、現在のモデ`(i)で「仮置き」して最尤推定を行っていることに相当する。
一旦 f が求まると、条件付確率 g は、
8f (y|x(i) )><y ∈ [`(i) , r (i) ] のとき ,R r(i)(i)(i)(i)f (y|x(i) )dy(3.8)
g(y|x , [` , r ]) =`(i)>:0
その他によって求めることができる。
以上より、提案手法における隠れ変数の仮置きと、仮置き値をもとにした最尤推定によるモデル推定は、EM アルゴリズムとして捉えることができる。
3.3 具体的なアルゴリズム
具体的なモデルとして、簡単な線形ガウスモデルを仮定することによって、より具体的なアルゴリズムを導く。モデル f を、„«k y − „ﬃ> (x) k2
1>f (y|x, „, σ) = N (y|„ﬃ (x), σI) = √(3.9)
exp −2σ 22πσ 2のように定義する。 ここで N (·|—, Σ) は、平均 —、共分散行列 Σ の正規分布の確率密度関数を表す。つまり目的変数 y が、平均として線形関数 „ﬃ(x)> 、共分散としては単位行列に定数 σ を掛けた σI をもつような正規分布に従うものとする。ここで、パラメータは „ = (θ1 , θ2 , . . . , θZ )および σ である。また、ﬃ(x) は Z 次元の基底ベクトル（もともと D 次元空間におけるベクトルである x の、適当な関数 ﬃ による Z 次元の特徴空間への写像）ﬃ(x) = (φ1 (x), φ2 (x), . . . , φZ (x))とする。また、訓練データについて、基底ベクトルを並べた行列 Φ を以下のように定義する。
01
φ1 (x(1) ), φ2 (x(1) ), . . . , φZ (x(1) )B φ (x(2) ), φ (x(2) ), . . . , φ (x(2) ) C
2Z
B 1
CC(3.10)
Φ=B..
..
..
..
B
C
@A
.
.
.
.
φ1 (x(N ) ), φ2 (x(N ) ), . . . , φZ (x(N ) )以下、線形ガウスモデルにおける具体的な各ステップを示す。まず、初期化として、点出力を適当に与え、基本回帰アルゴリズムを適用してモデル（厳密にはモデルパラメータ）を得る。
あるいは、適当なランダムパラメータを振ってモデルを得る。ここで得られたパラメータを θ̂とする。そして、以下の E ステップと M ステップを収束するまで繰り返す。

E ステップi 番目の訓練データ (x(i) , [`(i) , r(i) ]) に対して、次の式によって、点出力の仮置き値を求める。
“”
R r(i)1
ˆ > (x(i) ))2 dy(y−„ﬃyexp−(i)2`2σ̂”“(3.11)y (i) = R (i)r1
ˆ > (x(i) ))2 dyexp−(y − „ﬃ`(i)
2σ̂ 2

なお、もしも `(i) = r(i) のときには、y (i) := `(i) = r(i) となる。

目的変数が範囲で与えられる回帰問題に対する EM 法

6

これは、EM アルゴリズムの E ステップで評価するべき期待値 (3.3) において、
Z r(i)(3.12)g(y|x(i) , [`(i) , r(i) ]) log N (y|„ﬃ(x(i) )> , σI) dy`(i)= log NZ r(i)`(i)y · g(y|x , [` , r(i)(i)(i)!
?
?
(i) >?
]) dy ?„ﬃ(x ) , σI + const.

であることを利用して、隠れ変数であるところの y (i) を、現在のモデルにおける条件付期待値(i)(i)(i) ˆE], „] で置き換えていることに相当する。
ˆ [y|x , [` , ry|x,„(3.11) 式を実際の評価は、閉じた形での解が求まらないため、サンプリングなどを用いて評価を行う。例えば、我々はマルコフ連鎖モンテカルロ法のひとつであるメトロポリス法 (Bishop(2006))を用いた。

M ステップステップ 2 で得た y (1) , y (2) , . . . , y (N ) を用いて、通常の回帰アルゴリズムを適用することで、ˆ を得る。
モデルの最尤推定を行い、新しい推定パラメータ „(3.13)

NXˆ = argmaxlog f (y (i) |x(i) , „)„„i=1y = (y (1) , y (2) , . . . , y (N ) ) が与えられると、我々の線形ガウスモデルにおける最尤推定量は、
ˆ = (λI + Φ> Φ)−1 Φ> y>(3.14)
„
r
1 ˆ >
ˆ > − y)>σ̂ =(3.15)(„Φ − y)(„Φ
Nによって求まる。なお、ここで λ は正則化パラメータであり、0 以上の定数値とする。

なお、2 章で述べたように、予測時において、新しい入力 x に対する出力の値のとりうる範囲 [`, r] が与えられている場合の予測は、(3.11) 式を使って、x(i) := x、 `(i) := `、 r(i) := r として行えばよい。
4.

既存手法および関連研究

既存の手法で、本論文で扱う問題を取り扱おうとした場合に考えられる方法として、以下のような方法および問題点が挙げられる。
アプローチ 1: 目的変数の値が範囲で与えられたようなデータを無視して使わないアプローチ 2: 範囲のなかで適当な代表点を決めてしまい、目的変数の値として用いる（範囲の平均点や、上記の売り上げ予測の場合では仕入れ量など）
アプローチ 3: 目的変数の値の範囲を制約として用いる (Mangasarian et al.(2004)、Le etal.(2006))。
アプローチ 1 は、範囲として与えられた目的変数の情報を十分には活用できていない点で問題がある。また、アプローチ 2 は、代表点の決め方に任意性がある。本論文での提案手法は、あ目的変数が範囲で与えられる回帰問題に対する EM 法

7

る意味、この代表点を「より正しく」決めているともいえる。また、アプローチ 3 については、有望なアプローチではあるが、確率的な解釈が与えられないこと、また、それゆえ予測時に制約が与えられる場合には、制約の範囲内に入らないものについては、制約を満たすような射影を行うのみで、期待誤差を最小にする予測が行えないという問題がある。2
5.

数値実験

ベンチマークデータを用いて、提案手法の性能を検証した。
5.1 価格の予測
まず、UCI Machine Learning Repository に含まれている “housing” データセットを用いて、家の価格を推定する問題で実験を行う。このデータセットは、地域の犯罪発生率や、部屋数など、13 の指標を入力変数として、その家の価格を予測する回帰問題になっており、506 件の事例を含んでいる。
もともと、このデータセットでは、推定すべき目的変数であるところの家の価格は、点出力で与えられているが、以下の手続きによって、今回の問題設定を擬似的に作った。

（1） データの順番を適当にシャッフルする。
（2） 半分（253 件）のデータ（全体の半分）は、点出力のデータとしてそのまま用いる（つまり `(i) = r(i) のデータとして）。これを DP とする。
（3） 残り半分のデータは、範囲出力をもったデータとした。 具体的には点出力 y (i) から、以下のようにして範囲出力 [`(i) , r(i) ] を生成する。ただし、範囲出力の作り方によって、DL と DLR の 2 種類のデータセットを作る。
（a） 最小値 `(i) のみが与えられるデータ DL における範囲出力の生成方法
i.

(i)

(i)

0〜y (i) /10 までの一様乱数 ²L を発生させ、`(i) = y (i) − ²L とした

ii. r(i) = ∞ とする。
（b） 最小値 `(i) と最大値 r(i) の両方が与えられるデータ DLR における範囲出力の生成
方法
(i)

(i)

(i)

(i)

i.

0〜y (i) /10 までの一様乱数 ²L を発生させ、`(i) = y (i) − ²L とする。

ii.

0〜y (i) /10 までの一様乱数 ²R を発生させ、r(i) = y (i) + ²R とする。

データは、90% の訓練データと、10% のテストデータにランダム分割し、これを 30 回繰り返し、30 個のデータセットを生成した。なお、テストデータには、範囲出力を用いていない。
このデータを用いて、線形ガウスモデルにおけるに基づく以下の 4 つの手法を比較した。
（1） 【既存手法 1】点出力のデータ DP のみを使って、通常の回帰を行う（2） 【既存手法 2】全てのデータを用いるが、点出力のデータ DP 以外のものについては、提案手法において、(3.11) 式をZ ∞ˆ
(5.1)
y (i) =yf (y|x(i) ; „)dy−∞で置き換えるとした手法を適用する。この方法は、範囲情報を用いず、単純に予測の期待値で、範囲出力を置き換える方法に該当する。
（3） 【提案手法 L】点出力のデータ DP および、範囲出力のデータ DL を用いて、提案手
2

なお、本論文においては、このアプローチ 3 との実験比較は行っておらず、これについては今後行っていく予定である。

目的変数が範囲で与えられる回帰問題に対する EM 法8

表 1: “housing”データセットにおける、各手法の平均予測 2 乗誤差の比較。 提案手法のほうが少ない予測誤差であることがわかる。各手法の間の差は、Wilcoxon の符号付順位和検定によるp 値で 0.02 以下であった。
手法既存手法 1
既存手法 2 提案手法 L 提案手法 LR
平均 2 乗誤差
14.18
13.84
12.0311.37

法を適用する。
（4） 【提案手法 LR】点出力のデータ DP および、範囲出力のデータ DLR を用いて、提案手法を適用する。
なお、(3.10) で、基底には、ガウス基底(5.2)
φi (x) = exp(−α k x − x(i) k2 )を用いた。なお、α はガウス基底のスケールパラメータである。パラメータは、もっとも基本的な既存手法 1 のテスト結果の平均がもっともよかったものを用いた (α = 0.03)。
図 1 に、各手法による平均 2 乗誤差を示す。提案手法が最も少ない予測誤差であり、提案手法
では、範囲情報を有効に活用できていることが確認できる。各手法の間の差は、Wilcoxon の符号付順位和検定による p 値で 0.02 以下であった。
5.2 化合物の活性予測
次に、化合物の活性値を予測する問題で実験を行う。データは、Saigo et al.(2006) と同じ

く、National Center for Toxicological Research によって提供されている Endocrine Disruptors
Knowledge Base (EDKB) データ2 から、59 個の化合物が含まれる E-SCREEN アッセイデータを用いた。ここで予測すべき目的変数は、化合物の活性値を表す logRPP 値である。ここでは、化合物の分子構造から、活性値を予測することとし、入力変数としては、化合物をグラフ表現したものに含まれる部分グラフを用いた特徴ベクトルを用いた。具体的には、Inokuchi etal.(2000) の頻出グラフパターン発見アルゴリズムを用いて、全データ (59 個) 中の、5% 以上に含まれる部分グラフを全て数え上げ3 、これらが化合物のグラフ表現中に出現する (1) か、出現しない (0) かによって、13, 600 次元の 2 値ベクトルを生成し、これを入力変数として用いた。
1 章で言及したように、化合物の中には専門家の経験と知識によって、明らかに活性がないと判断されるものがいくつか存在するが、これらの情報をモデル推定において明示的に利用することで予測の改善が期待できる。そこで、この状況を擬似的に作り出すために、まず、全ての化合物を logRPP 値の値によって、大きいほうから並べ、小さいほうから 33% の点 (−0.8421)を見つけた。次に、この値より小さい活性値をもつ化合物のうち、半分をランダムに選び「専門家によって活性がないと判断された化合物」とし、これらの活性値を「−∞ 以上、−0.8421以下」として用いた。
データは、80% の訓練データと、20% のテストデータにランダムに分割した。これを 30 回繰り返し、30 個のデータセットを生成した。
図 2 に、各手法による平均 2 乗誤差を示す。提案手法が最も少ない予測誤差であり、提案手法では、範囲情報を有効に活用できていることが確認できる。各手法の間の差は、Wilcoxon の符号付順位和検定による p 値で 0.02 以下であった。ここでも提案手法が最も少ない予測誤差であることが確認できる一方、範囲情報を用いない EM 法である既存手法 2 は、既存手法 1 よ2
3

http://edkb.fda.gov/databasedoor.html
発見されたパターンは 13, 600 個、最大サイズ 20 であった。

目的変数が範囲で与えられる回帰問題に対する EM 法9

表 2: “EKBD”データセットにおける、各手法の平均予測 2 乗誤差の比較。 提案手法のほうが少ない予測誤差であることがわかる。各手法の間の差は、Wilcoxon の符号付順位和検定によるp 値で 0.02 以下であった。
手法
既存手法 1
既存手法 2 提案手法
平均 2 乗誤差
0.198
0.208
0.190

りもむしろ悪化していることがわかる。
6.

おわりに

本論文で、我々は、目的変数が範囲として与えられるような回帰問題を考え、この問題への確率的なアプローチを提案した。提案法における最適化問題の目的関数は、解析的に求めることのできない積分を含むため、これを直接的に解くことは困難であるが、これに対する近似解法として EM アルゴリズムによる解法を与えた。また、具体的なアルゴリズムとして、線形ガウスモデルを用いた場合を示した。また、最後に、家の価格予測および化合物の活性予測の 2つのデータセットを用いた数値実験によって、提案アプローチの有効性を示した。
今後の発展としては、よりベイズ的なモデル、例えばガウス過程などを同様の問題設定に対して適用できるような拡張を行っていくことが考えられる。また、Mangasarian et al.(2004) な
どの範囲を制約として用いる手法との比較や、予測時に範囲情報が与えられる場合の予測精度比較などの実験評価も行っていく予定である。

参考

文

献

Mangasarian, O.L., Shavlik, J.W., and Wild, E.W.(2004). Knowledge-Based Kernel Approximation, Journalof Machine Learning Research., 5, 1127–1141.
Bishop, C.M.(2006). Pattern Recognition and Machine Learning, Springer-Verlag.
McLachlan, G.L., and Krishnan, T. (1997). The EM Algorithm and Extensions, Wiley.
Saigo, H., Kadowaki T., and Tsuda, K. (2006). A Linear Programming Approach for Molecular QSAR
analysis, Proc. Mining and Learning with Graphs (MLG 2006), Berlin, Germany.
Inokuchi, A., Washio, T., and Motoda, H. (2000). An Apriori-Based Algorithm for Mining Frequent Substructures from Graph Data, Proc. The 4th European Conference on Principles of Data Miningand Knowledge Discovery(PKDD), 13-27, Lyon, France.
Le, Q.V., Smola, A.J., and Gärtner, T. (2006). Simpler Knowledge-based Support Vector Machines, Proc.
The 23rd International Conference on Machine Learning(ICML), Pittsburgh, PA.