2005 年情報論的学習理論ワークショップ
2005 Workshop on Information-Based Induction
Sciences (IBIS2005)
Tokyo, Japan, November 9 - 11, 2005.

リスク回避型学習
Risk-Sensitive Classification Learning
鹿島 久嗣∗
Hisashi Kashima
Abstract: A new approach for cost-sensitive classification is proposed. We extend theframework of cost-sensitive learning to mitigate risks of huge costs occurring with low
probabilities, and propose an algorithm that achieves this goal. Instead of minimizing the
expected cost commonly used in cost-sensitive learning, our algorithm minimizes expectedshortfall, a.k.a. conditional value-at-risk, known as a good risk metric in the area of financial
engineering. The proposed algorithm is a general meta-learning algorithm that can utilize
existing example-dependent cost-sensitive learning algorithms, and is capable of dealing
with not only alternative actions in ordinary classification tasks, but also allocative actions
in resource-allocation type tasks. Experiments on tasks with example-dependent costs showpromising results.
keywords: Cost-Sensitive Learning, Risk Management, Financial Engineering, Expected
Shortfall, Meta Learning

1

はじめに

分類学習は, データマイニングにおける基本的なタスクの１つであり, 対象とクラス（あるいはその対象に対してとるべきアクション）の組が, 訓練データとして複数与えられたときに, クラス未知の対象に対し, その対象が所属するクラス（アクション）を正しく予測すること, 言い換えれば, 誤り回数（誤り確率）を最小化することを目的としている. この問題は, 例えば, 医療分野
における診断や, 金融分野における与信審査, 検索エン
ジンにおける Web ページのトピック分類などのように,世の中のいたるところで現れる一般的かつ重要な問題である. しかしながら, 例えば, ある患者を, 本当は健康であるのにもかかわらず病気だと判断してしまい余計な治療を行ってしまう誤りのコストと, 本当は病気であるのにもかかわらず, 放置してしまい, 深刻な結果を引き起こしてしまう誤りのコストは, 明らかに対称であるとはいい難く, また, その大きさも患者によって異なってくるであろう.
単に誤り回数を最小化するだけでは十分ではなく, 対象ごとに, あるいはクラスごとに誤りコストが異なり, またそれらが予測時に未知であるような場合を許容する枠組みとして, コスト考慮型 (Cost-Sensitive) 学習 [18, 6,
3, 5, 7, 14, 9, 15, 1] がある. コスト考慮型学習では, 単にクラス未知の対象に対する誤り率を最小化するのでは∗ 日 本 ア イ・ビ ー・エ ム 株 式 会 社 東 京 基 礎 研 究 所, 242-8502
神 奈 川 県 大 和 市 下 鶴 間 1623-14, tel. 046-215-4698, e-mailhkashima@jp.ibm.com,
Tokyo Research Laboratory, IBM Research, 1623-14 Shimotsuruma, Yamato-shi, 242-8502 Kanagawa, Japanなく, 期待コストを最小化することを目的としているため, より広範囲の問題を扱えるようになる1 . しかしながら, リスクマネジメントの立場からは, 期待コストを最小化するコスト考慮型学習では十分でない状況が存在す
る. 期待コストの最小化は全体としては発生するコストを軽減するであろうが, これは, 必ずしも高いコストの発生するリスクを積極的に回避することを目指してはいるわけではないため, 対象によっては思いがけず大きなコストが生じる場合を抑えることができない. 起こる確率は小さいが, 大きなコストが発生してしまうような可能性があり, ユーザーがそのリスクをなるべく回避する
ことに興味がある場合, 期待コストではこの目的を正しく反映しているとはいえない. 特に, 金融工学においてはリスク回避は主要なテーマとなっており, 例えば, 株式投資の場合には, 小さな確率でおきる大きな損失を回避しながら収益を高めるようなポートフォリオを組むことが必要となる [17].
本論文では, コストの分布を考慮し, 期待コストではなく, 大きなコストが発生するリスクを抑えるような,リスク回避型 (Risk-Sensitive) 分類学習手法を提案する.
具体的には, 期待コストの代わりに, 金融分野において資産のもつリスクを測る指標として注目されている期待
ショートフォール（条件付きバリュー・アット・リスク）[16, 2] と呼ばれる量を目的関数として用いる学習アルゴ
リズムを提案する. このアルゴリズムは, メタ学習アルゴリズムであり, 既存のコスト考慮型学習アルゴリズム
1 通常の分類問題は, すべての誤りのコストが等しく 1 であると仮定していると解釈できる.

を, リスク回避型学習アルゴリズムに変換することのできる汎用的な手法になっている. また, 本論文で我々が示すアプローチは, 教師あり分類問題に限定することな
く, 様々な学習モデルにおいても適用可能であり, この意味でも非常に一般的であるといえる.

2

コストを考慮した学習

この章では, まず, 従来のコストを考慮する学習の基
本とその問題点を述べる.

2.1

は非常に大きくなる. そして, その結果が深刻であればあるほど, このコストはさらにより大きくなるであろう.
我々は, このように対象によってコストが異なり, かつ,真のコスト関数 c(x, y) は未知であるようなコスト考慮
型学習の枠組みでも最も一般的な場合を扱う [14, 9, 1].
c(x, h(θ)) を, x に対して h(x, y; θ) を用いてアクションを決定した場合に引き起こされるコストとする. 択一
的アクションの場合 (1) には, c(x, h(θ)) はc(x, h(θ)) = c(x, argmax h(x, y; θ))

意思決定モデルX を対象の集合 (たとえば X = RM ) とし, Y をこれらに対してとりうるアクションの集合（離散的で有限）とする. 対象 x ∈ X に対し, アクション y ∈ Y を決定するために用いる関数をとなる. 分散投資型のアクションの場合には, その定義は必ずしも自明ではないが, ここではもっとも簡単な場
合として c(x, h(θ)) が,X
c(x, h(θ)) =h(x, y; θ)c(x, y)(4)y∈Yh(x, y; θ) : X × Y → Rとする. ここで, θ はモデルのパラメータである. これを用いて通常, 取るべきアクション ŷ は,

ŷ = argmax h(x, y; θ)

(1)

y∈Y

によって択一的に決定される.
h(x, y; θ) には以下のように確率的な制約が入っていてもよい.
Xh(x, y; θ) = 1 s.t. h(x, y; θ) ≥ 0(2)y∈Y

対象 x ∈ X が与えられたとき, これに対してこの場合,
アクションの決定は (1) の代わりに, (2) によって確率的に決定してもよい.
また, アクションの決定が資源分散型, すなわち, 実際にとることのできるアクションがひとつではなく h(x, y; θ)の割合に応じて資源を分散投資できるような場合も考えられる. この場合については後に議論するが, ひとまずは, アクションは (1) によって択一的に決定されるものとして議論を進める.

2.2

(3)

y∈Y

コスト関数

コストとは, ある対象にとってとったアクションに対して, それがどのくらい悪かったかをあらわす指標として与えられる2 . 対象 x ∈ X に対し, アクション y ∈ Yをとったときのコストを c(x, y) ∈ R とおく. 例えば, ある検査結果 x であった患者に, ある治療 y を行なったときに引き起こされる結果の悪さの程度が c(x, y) となる.
正しい治療なら c(x, y) は小さく, 誤った治療なら大きくなる. この患者に対する治療として y が非常に不適切
で, より健康状態を損なってしまった場合, そのコスト
2 通常, 報酬ではなくペナルティとして与える. 報酬の場合には, コ
ストはマイナスになる.

のように, それぞれのアクションからもたらされるコストが, 投資量に比例するものとする.
もしも, (2) を用いて確率的なアクション決定が可能な場合にも, (4) を用いることができるが, この場合には,
c(x, h(θ)) は実現するコストではなく, x に対する期待コストとなっていることに注意する.

2.3

コスト考慮型学習

従来, コストを考慮するような分類問題に対しては,コストの期待値を最小化することを目的とした手法が用いられてきた. 具体的には, データの分布 D に対する期待コスト
C D (θ) = ED [c(x, h(θ))](5)
を最小化するように θ を決定したいところではあるが,実際には D は分からないので, 経験期待コスト
N

C E (θ) =1 X
c(x(i) , h(θ))
N i=1

(6)

を最小化するようにパラメータ θ を決定することにな
る [14, 9, 1]. 尚, 対象とコストは X × RY で定義された確率分布 D から互いに独立に発生すると考え, D からサンプリングされた, N 個のデータの集合 E が訓練デー
タとして与えられるとする. ここで, E の i 番目の訓練
データ e(i) = (x(i) , {c(i) (x(i) , y)}y∈Y ) とする. x(i) ∈ X
は訓練データの i 番目の対象とし, それぞれのアクショ
ン y ∈ Y をとった場合のコスト c(i) (x(i) , y) が与えられているとする.

2.4

コスト考慮型学習の問題点

しかしながら, リスク管理の立場から考えると, 単に経験期待コストを最小化するというアプローチでは十分でない場合がある. 訓練後, M 個のデータに対してアクションをとるものとする. M が大きいときには, これらに対するコストの和は M · C D (θ) に近づくため, C E (θ) を学習の目的関数とすることに問題はないように思える.
しかしながら, M が比較的少ないため上記の近似が成り立たず, また, 大きなコストの発生が致命的になるような状況を考えてみる. 例えば, 資金をどこに投資するべきかを決定するような問題の場合, 大きな失敗が何度か連続して起きるということは, 破産のリスクに直結する
重大な問題である. 起こる確率は小さいが, 許容できないほど大きなコストが発生してしまうような可能性がある場合, ユーザーはそのリスクをなるべく回避することを望むであろう. また, たとえば, 同じだけのコスト期待値が望める２つの決定関数 h1 と h2 があったとする.
h1 によってもたらされるコストの確率分布は期待値の周りに高いピークをもつが, h2 によってもたらされるコストの確率分布は高コストの領域に, なだらかで裾野が厚い形をもっているとする. この場合, 期待コストは等
しくとも, 望ましいのは, 高いコストが発生してしまう
可能性がより小さい h1 のほうであろう.
このような場合においては, 経験期待コスト最小化では目的を正しく反映しているとはいえず, コストの分布を考慮して, リスクをより積極的に回避するような学習手法が望まれる.

3

期待ショートフォール最小化によるリスク回避型学習

前節での問題意識をもとに, 期待コストにかわる, リ
スク軽減を積極的に指向した目的関数を用いた学習手法を提案する.

3.1

期待ショートフォール

我々の目的は, 大きなコストが発生してしまうリスクをなるべく小さく抑えることである. 金融工学の分野では, この目的を達成するために様々なリスク指標が研究されているが, その中でももっともポピュラーであるのが, バリュー・アット・リスク (Value-at-Risk:VaR) [17]と呼ばれる量であろう. バリュー・アット・リスクとは,
0 ≤ β ≤ 1 を定数として, 確率 100β%以下の確率で生じる大きなコストの最小値（＝トップ 100β%コストの最小値）である. 我々の場合では, 意思決定関数 h の, デー
タを発生する分布 D に対するバリュー・アット・リス
ク αβD (θ) は,

¯
©
£ ¡
¢¤
ª
αβD (θ) = min α ∈ R ¯ ED I c(x, h(θ)) ≥ α ≤ 1 − βのように定義される. ここで I(·) は引数となる条件が真のときに 1, そうでないとき 0 をとるような関数とする.
しかしながら, バリュー・アット・リスクは金融工学の分野で標準的に用いられているものの, いくつかの問
題点があることが指摘されている [16, 2]. 第 1 の問題
は, 2.4 節の議論と同様に, バリュー・アット・リスク以上の大きなコストが発生する場合, それがどのくらい大

図 1: 期待コスト, バリュー・アット・リスク, 期待ショー
トフォール（条件付きバリュー・アット・リスク）の定義.
きくなるかはまったく考慮されていない点である. 我々の興味は, むしろ, バリュー・アット・リスク以上のコストの大きさそのものにあり, これをいかにして抑えるかというのが問題である. さらに, バリュー・アット・リ
スクは多くの場合凸でないことが理論的, 実験的に示されており, これは, 実際に学習を行ううえで極めて不都合である. コスト分布が正規分布などの楕円分布に従う
場合には, バリュー・アット・リスクは期待コストと, コ
ストの標準偏差の線形結合で表されるため, 上記の 2 つの問題は解決されるが, この仮定は通常成り立たない.
そこで, 我々は目的関数として, 金融工学における新
しいリスク指標として近年注目を浴びている期待ショー
トフォール [16, 2]（あるいは条件付きバリュー・アッ
ト・リスク）を採用する. 期待ショートフォールとは,バリュー・アット・リスク以上のコストの期待値, 言い
換えれば, トップ 100β%コストの期待値であり, これはまさに我々の目的と合致するリスク指標である. また,期待ショートフォールには凸性などの望ましい性質があり [12], 学習の観点からも非常に好ましい.
さて, 期待ショートフォールを我々の枠組みにおいて定義すると, データを発生する分布 D に対する意思決定関数 h(x, y; θ) の期待ショートフォール φDβ (θ) は以下のように定義される.

φDβ (θ) =

£ ¡¢¤1
ED I c(x, h(θ)) ≥ αβD (θ) c(x, h(θ)) (7)1−β

ここで αβD (θ) は前述のバリュー・アット・リスクであり, 期待ショートフォールの定義には, バリュー・アッ
ト・リスクが含まれていることに注意する.
尚, 期待ショートフォールは αβD (θ) を超えるコストの期待値であることに注意すると, (7) は次のように分解することができる.
DφDβ (θ) = αβ (θ) +£¤+1
ED c(x, h(θ)) − αβD (θ)(8)
1−β

ここで [x]+ = max{x, 0} とする.

3.2

リスク回避型学習アルゴリズム

3.2.1 経験期待ショートフォール最小化アルゴリズム
パラメータ θ を具体的に推定するアルゴリズムを導く.
我々が最小化したい目的関数は (8) であるが, 実際には D は未知であるため, E に対して定義された経験期
待ショートフォール
N
X
¤+
£ (i)
1
c(x , h(θ))−αβE (θ) ,(1 − β)N i=1(9)Eを用いることにする. ここで αβ (θ) は E に対するバ
リュー・アット・リスクn¯
αβE (θ) = min α ∈ R ¯
(10)
E
φE
β (θ) = αβ (θ)+

o¢
1 X ¡ (i)I c(x , h(θ)) ≥ α ≤ 1 − β
N i=1NAlgorithm: MetaRisk(E, β)[Step:1] α̃ := 0 にセットする[Step:2] 現在の α̃ において, C̃α̃E (θ) を最小にする
θ 0 を求め, θ := θ 0 とする[Step:3] 現在の θ におけるバリュー・アット・
リスク αβE (θ) を求め, α̃ := αβE (θ) とする[Step:4] [Step:2]〜[Step:3] を FβE (θ, α̃) が収束するまで繰り返す
図 2: リスク回避型分類学習アルゴリズム MetaRisk

Theorem 1 (Rockafellar and Uryasev [12]).
NFβE (θ, α) = α +X£¤+
1c(x(i) , h(θ)) − α ,(1 − β)N i=1
(12)

とすると,
E
min φEβ (θ) = min Fβ (θ, α).
θである.
さて, (9) において, 仮に αβE (θ) が既知の定数 α̃ であるとすると, 2 項目の¤+1 X £ (i)c(x , h(θ)) − α̃N i=1αβE (θ) = min{α ∈ argmin FβE (θ, α)}(11)だけを最小化すればよいことになる. 尚, [x]+ は x について非減少な凸関数であるので, c(x(i) , h(θ)) が θ について凸であれば, (11) も同様に凸になる. ひとまずのところは, (11) を最小化するアルゴリズムがあるものと仮定する.
今度は θ が与えられたとしよう. θ に対するバリュー・
アット・リスク (10) は訓練データについて定義されて
いるから,
n
¯
αβE (θ) = minc(x(k) , h(θ)) ¯
k=1,...,NNo¢
1 X ¡ (i)I c(x , h(θ)) ≥ c(x(k) , h(θ)) ≤ 1 − βN i=1のように書き直すことができる. これは, θ によって発生するコストの中で b(1 − β)N c 番目に大きいもの
c(x(k) , h(θ)) に等しいため, 順序統計量を求めるアルゴ
リズムによって O(N ) 時間で発見することができる [4].
以上の観察より我々は, 図 2 に示す, リスク回避型学
習アルゴリズム MetaRisk を提案する. このアルゴリズ
ムは, 既存のコスト考慮型学習アルゴリズムを利用し, モ
デルのパラメータとバリュー・アット・リスクを交互に求めることによって経験期待ショートフォールを最小化するようなメタアルゴリズムになっている.
このアルゴリズムの最適性と収束は, 期待ショート
フォールの上界の凸性を示す次の定理 [12] によって直接的に保証される.

(13)が成立する. また, FβE (θ, α) は α について凸であり, さらに, (6) が θ について凸であれば FβE (θ, α) は θ と αについて凸である. さらに,NC̃α̃E (θ) :=

θ,α

α

(14)

が成立する. ¤(13) により, (12) の最小化は期待ショートフォール最小化に等しいことがわかる. また, (12) の凸性から, θ とα についてグリーディなアルゴリズムによって最適化が可能であること, さらに (14) より, αβE (θ) は FβE (θ, α)を最小化する α であるため, MetaRisk は FβE (θ, α) を θと α のそれぞれについて交互に最適化を行うようなア
ルゴリズムになっていることがわかる.

3.3

コスト考慮型からリスク回避型への変換

既存の事例依存型コスト考慮型学習アルゴリズムを利用して, (11) を最小化する方法を述べる.

3.3.1 択一型の決定関数
アクションが (1) によって択一的に決定される場合には, 実現されるコストは [c(i) (x(i) , y) − α̃]+ + α̃ の形に限定される. (11) は α̃ を超えるコストの期待値になっていることに注意すると,c̃(i) (x(i) , y) =[c(i) (x(i) , y) − α̃]+(15)をもともとのコストに置き換えることにより, (6) はNC̃α̃E (θ) =1 X (i) (i)c̃ (x , y)
N i=1

(16)

となり, これは (6) と同じ形になるため, 既存の事例依
存コスト考慮型学習アルゴリズム [9, 15, 1] に, (15) のようにコストを変更した訓練例を与えることによって最小化することができる.

3.3.2 分散投資型の決定関数
次に, (2) の制約のもとで, 分散投資型あるいは確率的なアクション選択を行う場合を考える. このとき (11) は次のように書き直される.
C̃α̃E (θ) =NX£X

h(x(i) , y; θ)c(x(i) , y) − α̃¤+h(x, y; θ) = hT (x, y; θ T ) =TX

wt ft (x, y)t=1

ここで, θ t = (w1 , . . . , wt ) はパラメータとする. また,h(x, y; θ) が確率的な制約 (2) を満たすため,TXwτ = 1 s.t. wt ≥ 0

τ =1

となる.
各ブースティングラウンド t において, ht−1 までがす
でに求まっているとすると, 新しい ht は, ht−1 に確率的な制約を保存したまま弱仮説 ft を加える形で, 次のように再帰的につくられる.

(1 − γt )ht−1 (x, y; θ t−1 ) + γt ft (x, y)= ht−1 (x, y; θ t−1 ) + γt (ft (x, y) − ht−1 (x, y; θ t−1 ))ここで, 0 < γt ≤ 1 はラウンド t での更新パラメータとする. そして, 最終的なパラメータは,

wt = γtTY(1 − γτ )τ =t+1のように求めることができる.
ラウンド t における弱仮説 ft を求めるために, γt が十分に小さいとして (17) の ht−1 の周りでのテイラー展開

C̃α̃E =

N
X
£X
i=1

+ γt

ht−1 (x(i) , y; θ t−1 )c(x(i) , y) − α̃

¤+

y

¤+
£P
N Xµ
(i)
(i)
X
∂
y ht−1 (x , y; θ t−1 )c(x , y) − α̃
i=1

y

N
X
i=1

(17)

択一的な場合と異なり, c(i) (x(i) , h(θ)) は c(i) (x(i) , y) の線形和として表されるため, (15) のような単純な重み付
けではコスト考慮型学習に帰着できない.
h(x, y; θ) の自然な選択としては, たとえば多クラスのロジスティック回帰などが考えられるが, 残念ながら,
c(x(i) , h(θ)) がパラメータについて凸にならず, 多峰性を示すため都合が悪い. そこで, 我々は (17) が θ について線形になるようなクラスの h(x, y; θ) を考え, これを勾配ブースティング [8, 13] によって推定するというアプローチをとることにする.
勾配ブースティングでは, h(x, y; θ) は T 個の弱仮説
f1 , . . . , fT の線形和として表現される.

=

γt

I

¡X

ht−1 (x(i) , y; θ t−1 )c(x(i) , y) > α̃

¢

y

¡X
¢
·
c(x(i) , y)ft (x(i) , y)
y

y

i=1

ht (x, y; θ t )を行い, 2 次以上の項を無視すると, 第 2 項∂ht−1 (x(i) , y; θ t−1 )
¶
¡
¢
(i)
(i)
· ft (x , y) − ht−1 (x , y) + O(γt2 )を最小化する ft を求めればよいことになる. これは, 択
一的アクションの場合と同様に, (15) を¡X¢
c̃(x(i) , y) = c(x(i) , y)I
ht−1 (x(i) , y; θ t−1 )c(x(i) , y) > α̃yのように修正した訓練例 Ẽ を, コスト考慮型のアルゴリ
ズムに渡すことによって最小化できる.
尚, 更新パラメータ γt は, (17) を最小化するように,線形探索や線形計画法によって求めることができる.

4

実験

提案法の効果を確かめるために, 計算機実験を行った.
データは, [9] で用いられている German Credit Data
Set [11] を用いた3 . このタスクは顧客の信用リスクを予測する問題で, 顧客の情報をもとに, その人がよい顧客
か悪い顧客かを分類するというものである. 顧客情報 xの属性としては, 性別や職業, 使用目的や過去の履歴な
ど, 20 の項目からなっている. この実験では, データセッ
トに付属している, すべての属性を 24 の数値属性に変換したものを用いた. クラスは”good customer”（700人）と”bad customer”（300 人）の 2 種類である. ”goodcustomer”を”bad customer”と誤って分類してしまうと,本来入るはずだった利息分の利益を失い, 逆に”bad customer”を”good customer”と誤分類してしまうと, 貸付分の大部分を失ってしまう. このデータセットでは, もともと個々のデータのコストは与えられていないが, [9]に倣って, “good customer”を “bad customer”に誤分類してしまうコストを 0.1 × 期間
12 × 貸付額（年率 10%の利息. 平均 6.27, 分散 43.512 , 最大値 78.27. ）, また,”bad customer”を”good customer”に誤分類してしまう
コストを 0.75 × 貸付額（75%が失われる. 平均 29.54, 分
散 78.092 , 最大値 138.18）とした4 . アクションを択一的に選択する場合のモデル h(x, y) および分散投資型のアクションの場合の弱仮説 ft (x, y) として用いるコスト考慮型学習器としてはコスト考慮型パーセプトロン [9]をカーネル化したものを用いた. カーネル関数としては
ガウシアンカーネル (σ = 50) を用いた5 .
3 データは UCI Machine Learning repository [10] より入手可能.

4 択一的アクションが「（良い顧客と判断して）貸し付ける」か「（悪い顧客と判断して）貸し付けない」のどちらかを選択するのに対し,分散投資型アクションの場合の解釈としては, 貸付額のうち, どれだ
けの割合を貸し付けるかということに対応する. このときのコストは実際, (4) の形になる.
5 パラメータは予備実験において, 期待コストを最小化するようなパラメータを求めた.

表 1: 択一的アクションの場合の実験結果： 数値は期待
ショートフォール, 括弧内は VaR, 最下段は平均コスト.

Test ES(VaR)
β =0.01
β =0.05
β =0.10β =0.20
Mean Cost

CostSensitive
64.47 (46.59)
34.66 (17.67)
23.58 (10.16)
14.71 (3.30)
3.31

RiskSensitive
55.34 (40.66)
30.13 (15.28)
23.04 (9.09)
14.40 (3.66)-

表 1 には択一的なアクションの場合の実験結果を, 表 2には分散投資型アクションの場合の実験結果を示す. すべての結果は, データを 3 分割（訓練データ 666 個, テスト
データ 334 個）した交差検定による値の平均値によって計測した. Cost-Sensitive の列は, 期待コストを目的関数とするような従来のコスト考慮型パーセプトロンによる結果を, Risk-Sensitive の列は, 期待ショートフォールを目的関数とするような提案手法 (β = 0.20, 0.10, 0.05, 0.01
それぞれの場合) による結果を示した. 各行はテストデー
タにおける各 β での期待ショートフォールの 3 回の平均を示している. また, 括弧内の数値はそれぞれの場合でのバリュー・アット・リスクを示している. Cost-Sentitiveの列の最下行の Mean Cost の行は平均コストを示している.
分散投資型のアクションは, 2 つのアクションのコス
トの間のコストが実現できるため, 択一的アクションの場合より全体的により小さなコストが実現できている.
また, 期待通り, コスト考慮型学習の場合には対応する
β における期待ショートフォールを減少できていることがわかる. β が大きくなるほどリスク回避型による期待
ショートフォールの減少分は著しくなくなっているが,これは, コスト分布が左側（0 付近）に大きく偏っているため, 期待ショートフォールと, 期待コストの違いが小さくなっているためと思われる. また, β = 0.20 では, コスト考慮型のほうがリスク回避型よりも小さなバ
リュー・アット・リスクを実現していることがみてとれる. これはバリュー・アット・リスクが小さいことは, かならずしも小さな確率で起こる大きなコストそのものを抑えることにはならないことを示唆している.

参考文献[1] N. Abe and B. Zadrozny. An iterative method for
multi-class cost-sensitive learning. In Proceedings of
ACM SIGKDD Conference, 2004.
[2] P. Artzner, F. Delbaen, J.-M. Eber, and D. Heath. Coherent measures of risk. Mathematical Finance, 9:203–
228, 1999.
[3] J. P. Bradford, C. Kunz, R. Kohavi, C. Brunk, andC. E. Brodley. Pruning decision trees with misclassification costs. In Proceedings of the 9th European
Conference on Machine Learning (ECML), 1998.

表 2: 分散投資型の場合の実験結果： 数値は期待ショー
トフォール, 括弧内は VaR, 最下段は平均コスト.

Test ES(VaR)
β =0.01
β =0.05
β =0.10β =0.20
Mean Cost

CostSensitive
64.47 (46.59)
34.66 (17.67)
23.58 (10.16)
14.71 (3.30)
3.31

RiskSensitive
44.29 (30.69)
26.17 (14.13)
20.25 (8.95)
13.01 (3.74)-[4] T. C. Cormen, C. E. Leiserson, and R. L. Rivest. Introduction to Algorithms. MIT Press, Cambridge, MA,
1990.
[5] P. Domingos. MetaCost: A general method for making classifier cost sensitive. In Proceedings of the 5thInternational Conference on Knowledge Discovery andData Mining, pages 155–164, 1999.
[6] C. Elkan. The foundations of cost-sensitive learning.
In Proceedings of the 17th International Joint Conference on Artificial Intelligence (IJCAI), pages 973–978,2001.
[7] W. Fan, S. J. Stolfo, J. Zhang, and P. K. Chan. AdaCost: Missclassification cost sensitive boosting. In
Proceedings of the 16th International Conference on
Machine Learning (ICML), pages 97–105, 1999.
[8] J. H. Friedman. Greegy function approximation: A
gradient boosting machine. Annals of Statistics, 29(5),2001.
[9] P. Geibel, U. Bredford, and F. Wysotzki. Perceptron
and SVM learning with generalized cost models. Intelligent Data Analysis, 8(5):439–455, 2004.
[10] S. Hettich, C. Blake, and C. Merz. UCI repository ofmachine learning databases, 1998.
[11] D. Michie, D. J. Spiegelhalter, and C. C. Taylor. Machine Learning, Neural and Statistical Classification.
Ellis Horwood, 1994.
[12] R. T. Rockafellar and S. Uryasev. Optimization of
conditional value-at-risk. Journal of Risk, 2(3):21–41,
2000.
[13] S. Rosset and E. Segal. Boosting density estimation.
In Advances in Neural Information Processing Systems
15, 2002.
[14] B. Zadrozny and C. Elkan. Learning and making decisions when costs and probabilities are both unknown.
In Proceedings of ACM SIGKDD Conference, 2001.
[15] B. Zadrozny, J. Langford, and N. Abe. Cost-sensitive
learning by cost-proportionate example weighting. In
Proceedings of the 3rd International Conference on
Data Mining (ICDM), pages 435–442, 2003.
[16] 山井, 吉羽. リスク指標の性質に関する理論的考察 - VaRと期待ショートフォールの比較分析. 金融研究, (12):95–
132, 2001.
[17] 野口, 藤井. 金融工学-ポートフォリオ選択と派生資産の経済分析. ダイヤモンド社, 2000.
[18] 鈴木. 正確な学習よりも得する学習 - 誤分類コストを考慮する分類学習 - (1)(2). 情報処理, 45(4-5), 2004.