……lll……………………‖＝‖‖＝………………l……川………………＝‖‖‖＝＝‖‖＝＝‖＝＝‖＝‖‖＝＝‖‖‖‖＝‖‖＝‖‖‖‖州Il‖＝‖‖＝＝‖‖‖‖…………………l‖州…＝‖＝＝＝m‖‖‖＝＝‖‖‖‖‖‖＝‖＝＝冊…………l…………‖‖‖‖‖‖＝‖州

リレーションシップ・データへのデータマイニングの適用
鶴田 育緒，後藤 正輝，香田 正人…………………………川………………＝‖川＝＝‖‖州……l………llllllll………川…州……州III………lll…l…＝‖＝‖‖‖川……州…川‖‖‖‖……＝‖‖‖＝＝＝＝＝‖＝………llll…ll…………川l………川＝＝＝‖‖㈱lllll…‖＝‖‖‖州lの維持につなげることができる．特に新規顧客の獲得

1． はじめにには，既存顧客維持の数倍のコストが必要であるとい

市場の成熟によって新規顧客の獲得が困難になった産業では，One−tO−Oneマーケテイング［7］導入の必われ，顧客セグメントの識別はリスク管≡哩の一観点からも重視される．

要性が高まっている．これは，製品の大量生産，大量本事例ではカード利用履歴データから，その顧客のプロモーションによる「市場シェア重視」から，個々所属するセグメントを識別することを目的とする．セの消費者や顧客の晴好やニーズに合わせて，一人一人グメント化はビジネス上の視点からあらかじめ実施さ個別にマーケテイングを展開する「個客佃値重視」へれ，各レコードにはカード利用層歴と共にその顧客ののシフトを意味する．

所属セグメントが記録されている．予測には適応リサ

近年企業におけるデータウェアハウスの整備に伴い，ンプI）ング（adaptiveresampling［8］）と重みつき投One−tO−Oneマーケテイングに利用可能なデータの蓄票（weighted voting）による，複合分類木モデル積がなされている．特に日々のトランザタションから（multipledecisiontrees）を利用し，限られたデータ生成されるリレーションシップ・データ（顧客の商品をもとにして，より高い識別精度を得ることを目指し購入行動に関する情報）は，顧客各人のニーズを直接た．

的に把握できる情報であり，また欠損値やノイズが比2．1利用データ

較的少ない精度の高い情報であるといえる．

本事例では，1998年10月にA社のクレジットカ

本稿ではリレーションシップ・データへのデータマードに入会した顧客16，382名の，1998年12月（入イニングの適用例として，顧客セグメント識別と顧客会3ヶ月日）から1999年9月（入会12ヶ月目）までスコアリングの2つの事例について述べる．いずれもの10ヶ月間のカード利用層歴データを利用する．10

教師付き学習アルゴリズムを利用する問題であり，デ月に入会した顧客群は，ボーナス時や年度末利用者のータに基づいてアプリケーションを生成するプロセス変動の影響を受けにくく，利用状況に特別な要因が含であるともいえる［1］．

まれにくいといわれている．

分析データには，スクランブル化された顧客IDを2．顧客セグメント識別キーとして，月別のキャッシング，カードショッピン

本革例の分析対象は，あるクレジットカード全社グの利用件数，金額などのリレーションシップ・デー（以下A社）のカード利用データである．データマイ

タ，また年齢，居住形態，勤務形態，勤続年数などのニングをクレジットカード業界に適用する際には，顧デモグラフイツタ・データ，そしてキャッシング，カ客の属するセグメントを正確に識別することが重要なードショッピングそれぞれのセグメント区分の情報な役割を果たす．たとえば継続的な高額利用者であればどが記録されている．

維持重視のプロモーションを，また離反が危供される

本事例では，特に顧客のキャッシングの利用状況に利用者には離反防止のキャンペーンを行い，既存顧客着目する．A社では顧客のキャッシングの利用につつるた いくお，ごとう まさてる
筑波大学システム情報工学研究科

いて，以下の4セグメントの分類を行っている（図（〒305−8573つくば市天王台トト1）
こうだ まさと筑波大学社会工学系（〒305−8573つくば市天王台1−ト1）

2002年9月号

1）．
セグメントA（13．793名）
キャッシング未利用者
セグメントB（805名）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（19）581図1各セグメントのキャッシングの入会3ヶ月日から10ヶ月日までの月別利用状況．折れ線グラフは利用件数，棒グラフは利用金額を示す

ボーナス期，年度末の高額利用者
セグメントC（582名）
ボーナス期，年度末以外の高額利用者
セグメントD（1，202名）
高額利用継続者

キャッシングの10ヶ月間の月別利用件数と月別利用金額の計20の属性値から，この4セグメントのいずれに属するかを予測するセグメント識別モデルを，複合分類木モデルによって作成する．
2．2 複合分類木モデル
顧客のキャッシング利用状況のセグメント分類を確認すると，多くの顧客がキャッシング未利用者のセグ

図2 複合分類木モデル

メントに属しており，他のセグメントに属する顧客の数は限られていることがわかる．

類木が作成されたら，それぞれの予測結果の線形結合

このようにセグメント間のデータ数が大きく異なるにより，最終予測が行われる（アンサンブル）．

場合，分類木アルゴリズムは，データ数のより多いセ

このように限られた数のデータから複数のブートレグメントから強い影響を受け，結果として出力に偏りプリカによる予測モデルを作成し，全体の予測精度をが生じることが知られている［3］．したがって，高い向上させる学習の手法は，アンサンブル学習

汎化性能を持つアルゴリズムを作成するためには，モ（ensemblelearning）と呼ばれており，他の代表的なデル学習時に，データ数の少ないセグメントの情報を手法としては，PAC学習の枠組みに従うAdaBoostより多く提示する必要がある．

（ADAptiveBOOSTing［4］）が知られている．

本研究では複合分類木モデル（図2）を用いて，望2．2．1適応リサンプリングましい構造を実現した．複合分類木モデルでは，分類アンサンプル学習の一つにbagging（Bootstrap

木がr回呼び出される．1番目の分類本には，訓練

AGGregatING［2］）がある．これはn件のデータかデータをそのまま人力してモデルを作成する．対してら，大きさ乃の復元無作為抽出を繰り返すことによ

2番目以降に呼び出される分類木には，直前の分類木り，複数の学習データ（ブートデータ）を生成する手における誤分類数に応じて，セグメント毎に抽出され法である．

る確率が異なった復元無作為抽出（ブートストラッ

プ・リサンプリンタ）が行われる．r個すべての分
582（20）

すべてのデータを1／乃の確率で抽出する操作を繰り返す代わりに，以前のモデルで誤分類が多く発生した© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチセグメントのデータを，より高い確率で抽出する手法データに分割する．
単純投票，重みつき投票それぞれについての複合分が適応リサンプリンタである．

f番目の分類本におけるセグメントcの誤分類数を類木モデルを訓練データから作成し，両者の識別性能

e（c），Cをセグメントの総数とした時に，次に与えを比較する．またテストデータに適用することにより，る擬似確率関数に従って，J＋1番目の各セグメント両モデルの汎化性能を評価する．各モデルを構成するのデータを抽出する．

分類木が1個から40個それぞれの場合について比較を行う．

Pr（c）＝

図3，4に，単純投票，重みつき投票それぞれにつ
ただしc＝1，・‥，Cであり，γは任意の整数である．
2．2．2 重みつき投票モデル

いて，モデルに含まれる分類木の数の増加に伴う，訓練データの誤分類率の推移を示した．単純投票モデル

Weissら［8］は，各分類木の識別結果の多数決をとでは，分類木が偶数個の場合に誤分類率が高くなってり（単純投票），最終モデルの予測を生成した．本事いる．これは，2つ以上のセグメントの得票が同数と例では，各分類木の識別結果を線形結合する際に，誤なり，識別不能になっていることを示している．対し

分類率の低い分類木の重みを大きく，誤分類率の高いて重みつき投票モデルでは，分類木の個数を増やすに分類木の重みを小さくするような重みつけ（重みつきつれて誤分類率が低下していくことがわかる．また，投票）を行う．

テストデータについても同様に，分類木の個数の増加

J番目の分類木の誤分類率をeγ（わ，分類木の総数に伴う誤分類率の低下が確認された．

をrとしたときに，〜番目の分類木の重みを次の式

2．4 議論で定毒する．

識別すべきセグメント数が4である本事例では，モデルに含まれる分類木が偶数個，奇数個にかかわらず，〜（ノ（り＝ただし′＝1，…，rであり，単純投票モデルにおいては抑（1）＝…＝ぴ（r）＝1である．また，最終モデルにおいて，2つ以上のセグメントに対して同一の出力値が得られて識別が不能の場合には，誤分類であるものとみなす．なお分類木はS−plusのライ7 ラリtreeを識別不能に陥る可能性は存在するはずであるが，図3からも分かるとおり，偶数個の分類木を含む単純投票モデルにおいて誤分類率が高くなっている．

表1，2にそれぞれ1番目と2番目の分類木の混同行列（confusion matrix）を示した．1番目の分類木
では，本来セグメントBまたはCに分類されるべき使用した．

顧客がセグメントDに分類されており，2番目の分類

2．3 数値実験

A社の顧客16，382件のデータを，非復元無作為抽出により10，000件の訓練データと6，382件のテスト木では逆の傾向がみられる．誤分類の多いセグメントは次のリサンプリンタにおいて重視されるため，単純モデルに含まれる分類木の故

図3 単純投票モデルの誤分類率の推移（訓練データ）

05
鋸0302
飢
∧V

甘膳垂溢

O0O
O
O

モデルに含まれる分類木の故国4 産みつき投票モデルの誤分類率の推移（訓練データ）
2002年9月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（21）583

表11番目の分頚木の混同行列

表3 入力属性

モデルの予測
A

B

真C

D

Key00

Inl−4In5−8In9−12In13In14In15In16In17の

18 308 56
28 0 707

分
類

表2 2番目の分類木の混同行列モデルの予測
A

B

真属性

項目

C

D00

［顧客ID］

期別購入回数
期別購入金額
期別購入品目数

購入回数合計購入金額合計

購入品目数合計
購入単価

注文あたり商品数

In18 初回購入からの経過期間の分

17 365 0類

受注明細データから，顧客IDをキーとする分析用データを作成する（表3）．その際カタログ発送スケジュールに従って，98年度秋冬期（以下98AW）か投票モデルにおける誤分類率の振動が繰り返される．

ら01年度春夏期（以下01SS）までの半年毎に顧客以上より，複合分類木モデルは単独の分類木より高の購買行動を捉える．また，カタログ発送が不定期的い識別精度を示し，また重みつき投票により，識別不である98年9月以前のデータも含め，合計値に関す能による精度悪化を防止することが確認された．

る属性と，単価などの比率を取る属性を作成する．
分析用データを構成する属性には，デモグラフィツ

3．顧客スコアリング

タ・データとリレーションシップ・データの利用が考次に，ある衣料・雑貨販売会社（以下B社）の通えられるが，本分析ではB社の顧客層が比較的均一

信販売カタログ全員からの受注履歴データをもとにしであることと，欠損値の状況からリレーションシップて，将来の購入可能性の高い順に顧客をランク付けすデータのみを使用する．

る顧客スコアリング問題を考える．

3．2 分析方法

一般に通信販売カタログに対する顧客の反応率は低く（B社の場合は10％程度），高ROIを得るために

3．2．1使用アルゴリズム
スコアリングモデル構築には，教師付き学習アルゴは反応率の高い顧客に限定したカタログ送付を行う必リズムと してニューラル・ネットワーク，RBF要がある．実際に米大手消費財企業の約3分の2が，（RadialBasis Function）ネットワーク，回帰木を利的を絞ったマーケテイングを行うために，現在データ用する［5］．

ベースを使用しているか作成中であることが知られて教師信号は，予測すべき期間に顧客からの反応があれば1，反応がなければ0をそれぞれ割り当て，それいる［6］．
3．1利用データ

以前のリレーションシップ・データから，反応の有無

分析対象データはB社カタログ会員12，242名の，を予測する回帰モデルを作成する．作成したモデルの1997年12月から2001年5月までの取引が記録され出力値を購入可能性（確率）であるとみなして，そのている受注明細データに，顧客に関する情報と商品属値をもとにして全顧客をランク付けする．

性についての情報を付加したものである．会員には季3．2．2 分析の流れ

節毎に年4回カタログが発行されるが，1998年9月

通常，データマイニングで用いられるノンパラメト以前の発送スケジュールは不定期的である．

リックな学習手法では，手元のデータを学習用データ

本分析の目的は2001年9月に発行された秋号カタログで高レスポンスが期待される，上位1，000名の優良顧客リストを作成することである．B社の協力をもとテスト用データに分割して，前者でモデルを作成し，後者で精度評価を行う．

しかしB社の事例では，分析時点で入手可能であとにテストマーケティングを行い，作成したリストのるデータをもとにして半期先の顧客のレスポンスを予有効性を検証する．

測することが目的である．本例では利用可能な最新期

584（22）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ

予測棉度の比較を行う．

間の一期手前のデータを，それ以前のデータから予測するモデルを作成し，そのモデルを最新期間のデータ3．2．3 予測精度の評価を予測するために，入力を一期ずらして適用すること

本分析で利用するアルゴリズムには，AICなどの統計的モデル選択基準を直接的に適用することはできによって，モデルの精度評価を行うことにする．

また，作成した分析用データには18の入力属性がない．また実務への応用の観点からも，モデルの有効性を，そのROIで評価できることが望ましい．

含まれているが，これらの中には重複する属性や，不必要な属性が含まれている可能性がある．以下の5種

予測全体の有効性を評価するためにゲインチャート（図5）を利用する．ゲインチャートは，高いレスポ類の入力属性の組み合わせを考える．
・期別受注回数（4）ンス率が期待される順に顧客一覧を並べ替えた時に，・期別受注金額（4）予測上位∬％の顧客について購入者数の累積割合をプ・期別受注品目数（4）ロットしたものである．図中の直線は無作為に顧客を・期別受注回数＋受注回数合計＋受注金額合計（6）抽出してカタログを発送した場合の反応者数の期待値・全属性（18）を示し，プロットされたカープがどれだけ直線から離れているかがモテリレの有効性を示す．

ただし括弧内は入力属性の総数である．これらの入力属性の組み合わせそれぞれについて，3種類の学習ア

また，予測上位エ名の顧客を抽出した場合のモデルの当てはまりの良さを定量的に評価するために，次ルゴリズムを適用し，15種類の予測モデルについて，に示すリフト率を利用する．
00109

リフト率（∬）

0807

予測上位エ名の顧客のレスポンス率06

脚こついてのレスポンス率050 0 0 0 0
4− 3 2 1︵葛罷細く蟄

リフト率は無作為に顧客を抽出した場合に比べて，予測モデルを用いることにより何倍の効果が得られるかという倍率を示す．
3．3 結果3．3．1予測精度の比較

モデル検討用データ11，515名中，01SSにレスポ
0 10 20 30 40 50 60 70 80 90 100

ンスのあった顧客は1，015名であった．すなわち全顧

カタログ発送故の割合伽）客についてのレスポンス率は8．8％である．表4にそ

図5 ゲインチャート■
表4 リフト率の比較
入力項目
期別受注回数（4）

期別受注金額（4）手法※ 1000名． 2000名 3000名 4000名 5000名
NN 3．88 2．89 2．37 2．01 1．81
RBF 3．51 2．63 2．28 l．94 1．75
RT2．59

2．66

2．22

1．96

1．70NN

3．51

2．72

2．25

1．97

1．77RBF3．30

2．512．15

1．95

1．76

期別受注回数＋受注回数合計＋受注金額合計（6）RT 3．13 2．53 2．16 1．88 1．63
NN 2．96 2．44 2．11 1．86 1．66
RBF 3．05 2．54 2．19 2．01 1．79
RT 3．34 2．60 2．22 1．96 1．70
NN 3．74 2．82 2．33 1．98 1．77
RBF 3．39 2．64 2．30 2．02 1．77
RT

3．49

2．56

2．17

1．97

1．74

期別受注回数＋期別受注金額＋期別受注品目数

NN3．65

2．90

2．32

1．99

1．79

RT 3．49 2．56 2．16
※NNはニューラル・ネットワーク，RBFはRBFネットワーク，RTは回帰木を示す．
表中の太字で表した数は最大値であることを示す．

1．95

1．73

期別受注品目数（4）＋受注回数合計＋受注金額合計＋受注商品種類合計＋受注単価＋受注当り品目数＋経過期間（18）2002年9月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（23）585

れぞれのモデルについて，上位1，000名から5，000名

デル検証段階での11，515名中，予測上位1，000名までのリフト率の値を示した．

（上位8．7％）の顧客のリフト率が3．88であったこと

予測上位1，000名についてのリフト率が最も高かったのは，期別受注回数のみを入力属性とするニューラ
ル・．ネットワークによるモテリレであった．11，515名と比較すると，ほぼ同程度の有効性が得られたといえる．
モデル検証段階と，テストマーケティング結果のゲ中，予測上位1，000名（上位8．7％）の顧客のレスポインチャートの比較を図6に示した．テストマーケテ

ンス率は34．2％であり，これは無作為にカタログを

ィング結果では，モデル検証段階と比べてモデルの精発送する場合の3．88倍の高レスポンスが得られるこ度は低下しているが，予測上位20％の顧客が全反応とを示している．またこのモデルは，他のリフト率に者数の50％を占め，上位50％の顧客が全体の80％をついても同様に高い値を示している．したがってテス占めていることが確認できる．

トマーケティングで用いる最適モデルとして採用する．
3．3．2 テストマーケティング

4．おわりに予測用データとして最新4期間を入力とする

本稿では，リレーションシップ・データヘのデータ12，005名の顧客のデータを用いる．期別受注回数のマイニングの適用例として，顧客セグメント識別と顧みを入力属性とするニューラル・ネットワークによる客スコアリングの2つの事例について述べた．精度のモデルで顧客のスコアリングを行い，上位1，000名の高いモデルを構築するためには，二乗誤差などの要約リストを作成した．

された統計量のみを評価するのではなく，セグメント2001年9月発行の秋号カタログに対する顧客のレ識別問題では混同行列，スコアリング問題ではゲインスポンスを約2ヶ月間にわたって調査した．予測スコチャートにあたるような，モデルの効果を直接的に評アを算出した12，005名の顧客り中で，実際にカタロ価できる方法をあわせて利用すべきであるといえる．

グが発送されたのは10，955名であった．また上位1，000名のリストの中で実際にカタログが発送された

謝辞 データの提供を頂きましたA社，B社に感謝のは997名であった．予測上位顧客のレスポンス率といたします．

全顧客のレスポンス率の比較を行い，モデルの有効性参考文献を検証した．
テストマーケティングの期間中に01年度秋号のカタログに反応したのは10，955名中573名であり，レスポンス率は5．2％であった．また予測上位顧客997名中194名の反応があり，レスポンス率は19．5％であった．したがって10，955名中，予測上位997名（上位9．1％）についてのリフト率は3．74である．モ［1］Bigus，）．：Data Mining with Neuralnetworks，
McGraw−HillCompanies，1996．

［2］Breiman，L．：

Baggingpredictors，，，MachineLeam−‡乃g，24，123−140，1996．

［3］Dupret，G．and M．Koda： Bootstrap re−Sampling
forunbalanceddatainsupervisedlearning，Eurppeanノ∂〟7ⅥαJ〆（初の協広川鳳仁兄おα椚戎，134，141−156，2001．

001［4］Freund，Y．andR．Schapire： Adecision−theoretic

09generalization ofon−1inelearningandanapplication

0807

to boosting，Joumal〆Co，，ゆuter and＄ystem Sci−

0605

［5］Hastie，T．，R．Tibshirani，andJ．Friedman：The

0 0 0 0 0d− 3 2 1︵￡車尋如く聾g乃Cお，55，119−139，1997．

ElementsofStatisticalLearning：DataMining，Infer−ence，and Prediction，Springer，2001．
［6］Kotler，P．and G．Armstrong：Marketing：AnIntroduction，Prentice−Hall，1999．

［7］peppers，D．and M．Rogers：The One to One
Future：Building Relationships One Customer at a

0 10 20 30 40 50 60 70 80 90 100
カタログ発送数の割合伽）

図6 ゲインチャートの比較．太線がモデル検証段階，細Time，Currency Doubleday，1997．

［8］Weiss，W．，C．Apte，F．Damerau，D．Johnson，F．

線がテストマーケティング結果を示す
586（24）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ

T．Goetz，andT．Hampp：
Performance

MaximizingText−Mining，．躇：EEIntelLigent ＄ystems andlheir

頑ゆJ加め乃ざ，14（4），63−69，1999．

イニング手法によるスコアリングモテ′ルの開発−リレー
ションシップ・データによる顧客のレスポンス予測− ，

α靴＝侮痴血好戯祓叫1，19−32，2002．

［9］後藤正輝，村山一穂，門間公志，香田正人： データマイ［11〕山部浩司，八巻智，山本良次，香田正人： 決定木を用ニングによる顧客スコアリング ，2002年度日本オペレ

いた複合学習モデルについて ，2000年度日本オペレーーションズ・リサーチ学会春季研究発表会アブストラタ

ションズ・リサーチ学会秋季研究発表会アブストラタト

ト集，144−145，2002．

集，222−223，2000．

［10］後藤正輝，村山一穂，門間公志，香田正人： データマ

2002年9月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（25）58丁