DEIM Forum 2023 1a-2-1

データドリフト対処のためのAdversarial Validation を用いたデータ選択手法の評価
今野由麻†

中野美由紀††

小口正人†† お茶の水女子大学人間文化創成科学研究科 〒 112–8610 東京都文京区大塚 2-1-1†† 津田塾大学学芸学部 〒 187–8577 東京都小平市津田町 2-1-1
E-mail: †{konno.yuma,oguchi}@is.ocha.ac.jp, ††miyuki@tsuda.ac.jp
あらまし Adversarial Validation は，機械学習において学習データとテストデータの違いを検出する手法であり，より性能の良いモデルを学習するために用いられる．先行研究として，Adversarial Validation をデータドリフト対処のために利用し，教師あり機械学習モデルを更新して時系列データの予測をバッチ単位で行う枠組みが提案されている．
その特徴量選択に注目した先行研究の枠組みを応用して，我々はこれまでにデータ選択を行う枠組みである，データ選択手法を提案してきた．本研究では，ドリフトが起こる人工データセットを用いて，データ選択手法の評価を行う．
キーワード 汎用機械学習技術，ストリームデータ処理，データドリフト，Adversarial Validation

1 はじめに3 人工ドリフトデータセット CIRCLES

機械学習モデルの運用上の課題として，model decay という

CIRCLES データセットは M.Kubat ら [5] によって提案され予測性能が低下する現象が知られており，その原因として学習たものであり，徐々にドリフトが進行するタイプの人工ドリフ

データと予測を行うデータに差が生じるデータドリフトが存在

トデータセットである．[6] で紹介されているように，これまでいする．そのようなドリフト環境下を想定して，我々は適切な学習

くつかのドリフトに関係する研究で使用されてきたものである．

データを過去のデータプールから選択してモデルの更新を行う

本研究では A. Pesaranghader によって公開されている実装 [7]

枠組みであるデータ選択手法を提案してきた [1], [2]．人工ドリをほとんどそのまま利用したが，クラスを n と p(negative とフトデータセットとして用いられてきた実績のある CIRCLES

positive) の二値からそれぞれ 0 と 1 の二値に置き換えている．

データセットを実験に利用し，直前のデータをもちいてモデルの更新を行う場合と比較すると，データ選択手法を用いたほうが性能のよいモデルを得られることを確認する．

3. 1 CIRCLES データセットの生成方法
このデータセットの特徴量は 0 から 1 までの範囲の二次元空間上の座標である．また，クラスはその座標 (特徴量) がある

2 先行研究円の外側にある場合を 1，内側にある場合を 0 とするような値である．0 と 1 の二つのクラスのデータは約半数ずつ生成されここでは，Adversarial Validation を利用した 2 つの研究

る．データセット生成時に利用する円を切り替えることで，既[3], [4] を紹介する．Adversarial Validation とは，学習データ

存のコンセプトから新しいコンセプトへの移行を再現している．

とテストデータを見分ける二値分類を行う敵対的分類器を用

各データセットにつき，バッチの数と同数の円を使ってデータ

いて，二つの集団の分布が異なっていることを検出する手法

セットを生成する．終端パッチはドリフトの発生がなく，他とである．この手法は，機械学習コンテストでよく用いられる

比べて特殊なバッチになっている．

手法であるが，論文としての発表は数少ない．論文においてAdversarial Validation を用いた先行研究を二件示す．一つ目

3. 2 CIRCLES データセットで設定可能な要素について

は，J. Pan ら [3] による Adversarial Validation を用いて特徴

CIRCLES データセットを生成する際にいくつかの設定を

量選択を行う方法を含む 3 通りのコンセプトドリフト適応手

変更して本実験で利用するデータセットを作成した．以下に法に適用し，比較・検討した，自動でコンセプトドリフトに適

CIRCLES データセット生成の際に設定した項目を示す．

応可能なユーザターゲティングシステムの事例である．我々が•Batch Size：各バッチに含まれるデータの数提案するデータ選択手法は，この研究の内容を拡張したもの•

Transition Length(tl)：既存のコンセプトが次のコンセとなっている．二つ目は，Adversarial Validation を用いてバリデーションデータ選択を行った事例 [4] である．この例では，プトに移り変わり始めてから終わるまでの移行期間の長さ•

ドリフトパターン：データセット生成に利用する 4 つのAdversarial Validation をバリデーションデータ選択に利用す円 (円 1 から円 4) であり，円の半径 r と中心座標 (x,y) の組みることで，E コマースの購入意図予測タスクにおけるデータの合わせの配列不均衡さに対処している．

図 1: 短い Transition Length で生成した CIRCLES データセットの様子

図 2: 長い Transition Length で生成した CIRCLES データセットの様子

図 1 には Transition Length を短く設定した場合の CIR-ている．これらのドリフトパターンを利用して生成したデータ

CLES データセットのイメージを，図 2 には長く設定した場合

セットは，Transition Length を均一に設定し，ドリフトが起この様子を示した．この二つの図では，バーの色とデータ生成時

すデータの変化度合いが異なる場合の結果を比較するために用に利用される円が一対一で対応している．各バッチの終端からいる．表 1 は，実験に利用する 7 つのデータセットを生成する

Transition Length 分のバーの色の切り替わりは，シグモイドために利用したドリフトパターンと Transition Length を組み関数を使って次の円で生成されるデータの量が増えていく様子

合わせの表である．以下では oritinal tl2000 のように，データを表現しており，この部分がコンセプトの移行期間に該当する．

セット生成に利用したドリフトパターンと Transition Length

バッチ 1 を例にすると，初めは赤いバーに対応する円 1 を利用を「 」で繋げて，各データセットを呼称する．

してデータを生成し，徐々に黄色いバーに対応する円 2 を利用するように移行する．

3. 3 実験で利用した 4 つのバッチで構成された 7 つの CIRCLES データセットの設定

4 ドリフトデータを見分けるデータ選択指標の検討
本章では，3 章で紹介した CIRCLES データセットを用いて，データ選択手法の根幹を担うデータ選択の指標について検討す本 実 験 で は, ド リ フ ト パ タ ー ン や Transition Length

る．選択指標には，学習データの特徴量にクラス 0，予測を行を 変 え ，7 つ の デ ー タ セット を 生 成 し て 実 験 を 行っ

いたいデータの特徴量にクラス 1 を新しく割り当てて，その二た ．ま た そ の 際 ，す べ て の 場 合 に お い て Batch Size

つを見分けるように学習した敵対的分類器から得られるクラス

は 10,000 と し た ．用 意 し た ド リ フ ト パ タ ー ン は予測確率を用いる．ここでは敵対的分類器のクラス予測確率を

5 種 類 で あ り，そ れ ぞ れ original/heavily-overlapping(h-利用した二つのデータ選択指標を用意し，生成した 4 つのバッ

overlapping)/overlapping/adjacent/separate と呼称することチを持つ CIRCLES データセットのバッチ 2 と 3 を用いて，そにする．それぞれのドリフトパターンの様子を図 3 に示す．

れぞれの指標に基づくデータ選択の効果を比較するための実験

5 つ の ド リ フ ト パ タ ー ン の う ち の 1 つ で あ る origi-を行った．以下に実験の流れを示す．

nal は CIRCLES デ ー タ セット 提 案 者 [5] が 利 用 し て い たも の で あ る ．ド リ フ ト パ タ ー ン original を 利 用 し て 生 成
し た デ ー タ セット は ，主 に Transition Length を 変 化 さ せ

表 1: 生成した 7 つのデータセットのドリフトパターンと Transition

Length の組み合わせ

た 場 合 の 結 果 を 確 認 す る た め に 用 い る ．そ れ 以 外 の h-tl2000 tl6000 tl10000✓✓✓

overlapping/overlapping/adjacent/separate の 4 つは，ドリoriginal

フトパターンに含まれるすべての円のサイズが均一 (半径 r がh-overlapping✓0.1) であり，円の中心間の距離が一定間隔になるよう設計しoverlapping✓

たデータセットである．半径 r に対してそれぞれのドリフトパ

adjacent✓

separate✓

ターンでは，中心間の距離が r，1.5r，2r(外接円)，2.5r となっ表 2: データ選択指標 1,2 に関するデータ選択時の性能比較 (Transition Length が異なる場合)

Metrics

2,000 件 4,000 件 6,000 件 8,000 件 10,000 件

AUC

81.87

84.65

87.49

84.77

82.98

Accuracy

51.88

52.91

63.46

65.61

64.03
80.21

Pattern
original tl2000
指標 1

original tl6000
original tl10000
original tl2000

指標 2

original tl6000
original tl10000

AUC

73.80

81.77

82.68

83.06

Accuracy

63.01

64.37

67.33

78.70

77.80

AUC

71.43

78.43

79.25

78.31

77.20

Accuracy

69.76

70.00

74.50

77.14

74.89

AUC

72.70

77.41

81.68

83.88

82.98

Accuracy

53.82

57.01

64.10

64.55

64.03

AUC

79.46

80.38

83.27

83.01

80.21

Accuracy

55.75

58.54

67.14

78.38

77.80

AUC

81.64

84.43

85.58

80.10

77.20

Accuracy

58.43

69.54

78.83

77.27

74.89

表 3: データ選択指標 1,2 に関するデータ選択時の性能比較 (円のサイズが均一なドリフトパターンの場合)

Patternh-overlapping tl10000
overlapping tl10000
指標 1

adjacent tl10000
separate tl10000h-overlapping tl10000
overlapping tl10000
指標 2

adjacent tl10000
separate tl10000

Metrics

2,000 件 4,000 件 6,000 件 8,000 件 10,000 件

AUC

75.35

76.01

78.73

84.46

85.41

Accuracy

67.02

63.44

65.27

75.10

78.76

AUC

69.55

72.16

72.72

79.53

78.89

Accuracy

57.57

59.75

62.24

68.58

71.51

AUC

67.40

69.51

69.21

72.92

75.79

Accuracy

55.27

58.29

66.35

66.33

66.95

AUC

65.03

66.38

65.79

78.93

74.28

Accuracy

53.26

60.57

65.16

65.43

67.03

AUC

75.26

82.57

86.64

87.40

85.41

Accuracy

51.72

53.03

60.22

74.94

78.76

AUC

77.40

72.09

71.16

84.86

78.89

Accuracy

60.83

56.92

57.64

71.96

71.51

AUC

81.63

82.89

81.62

75.35

75.79

Accuracy

67.17

70.46

70.35

68.09

66.95

AUC

85.00

85.68

80.46

79.74

74.28

Accuracy

70.87

68.49

66.41

63.15

67.03

表 4: データ選択指標ごとの予測性能 (AUC, Accuracy) と選択されたデータの分布 (original tl10000, 6,000 件選択の場合)
データ選択なし

指標 1

指標 2

AUC

77.20

79.25

85.58

Accuracy

74.89

74.50

78.83

データ分布

クラス 1 への予測確率

(a) ドリフトパターン original(b) ドリフトパターン h-overlapping(d) ドリフトパターン adjacent(c) ドリフトパターン overlapping(e) ドリフトパターン separate

図 3: ドリフトパターン（ 1 ） 学習に利用可能なデータとして，バッチ 2 の特徴量に結果を，表 3 にはドリフトパターンが異なる (中心座標が異なる

敵対的分類器のための新しいクラス 0 を付ける．また予測を行

均一な大きさの円のドリフトパターン)4 つのデータセットの結

いたいデータとして，バッチ 3 にクラス 1 を付ける．

果を示した．それぞれの表には，データ選択指標 1 と 2 を用い（ 2 ） (1) で付与した新しいクラスを見分けるような敵対的分てバッチ 2 から選択された 2,000 件から 10,000 件 (全件) を学

類器 (GBDT：Gradient Boosting Decision Tree) を学習する．

習に利用してバッチ 3 のクラス予測を行った場合の AUC(Area（ 3 ） 学習した敵対的分類器を用いて，バッチ 2 のデータのUnder the Curve) と Accuracy を示している．この結果はシーバッチ 3 への予測確率を得る．

ドを変えて 30 回実験を行った結果の平均であり，各行の最良の（ 4 ） クラス予測確率を利用したデータ選択指標に基づいて，結果が太字でハイライトされている．データ選択を行わなかっ

バッチ 2 のデータから予測に適したデータを選択する．

たとき (10,000 件のデータを持ちたとき) と比較して，データ（ 5 ） 選択されたデータを用いて，バッチ 3 のデータのクラ選択を行うことで性能の改善が見られるかどうかを確認する．

スを予測するモデルを学習し，その予測性能や選択されたデータの分布を確認する．

表 2 の結果では，データ選択を行わなかった場合 (10,000 件)
よりもすべての場合において，データ選択を行ったほうが性能クラス予測確率を用いる二つの指標として，以下を用意した．

が良くなる結果となった．AUC に注目すると，original tl10000

指標 1：学習に利用可能なデータ (クラス 0) のうち，予で指標 2 を利用した場合に最も性能を大きく改善できている．

測を行いたいデータ (クラス 1) への予測確率が高いものを学習

Transition Length が小さい場合では，指標 2 よりも指標 1 がに利用する

よりよい結果を出しているが，基本的には指標 2 のほうがよ•

指標 2：学習に利用可能なデータ (クラス 0) のうち，予りよい指標であると考えられる．今回実験で用いたバッチ 2 の測を行いたいデータ (クラス 1) への予測確率が 50%付近のも生成には円 2(ドリフトパターンの 4 つの円のうち左から 2 つのを学習に利用する

目の円) と円 3 が利用されており，バッチ 3 の生成には円 3 と•表 2 には Transition Length が異なる 3 つのデータセットの円 4 が利用されている．ここでのデータ選択では，バッチ 2 の図 4: データ選択手法概要

データのうち，バッチ 2 と 3 に共通して用いられる円 3 で生座標であるため，散布図にそのままプロットすることができる．

成されるデータを選択することが性能改善につながると考えら

この散布図では，正のクラスをピンク色，負のクラスを水色のれる．しかし，指標 1 が有利になった Transition Length が短ドットで表現している．ヒストグラムには，バッチ 2 のデータ

い場合には，バッチ 2 のうち性能改善につながる円 3 で生成さを水色で示し，そのうちの学習に利用した部分をオレンジ色でれたデータの量が少ないため，最大限よいデータ選択を行って示した．ヒストグラムの横軸は敵対的分類器のクラス 1(予測をも Transition Length が大きいときほどの効果が見込めない．

行いたいバッチ 3) への予測確率である．

よって，Transition Length が短い場合には指標 1 に劣る可能

この結果では，散布図の様子からデータ選択指標 1 とデータ性はあるものの，基本的には指標 2 のほうがよりよい指標であ選択指標 2 の間では，異なるデータが選択されていることがわると考えられる．Accuracy では，指標 1 を利用した場合と指かる．指標 2 を用いて選択されたデータの分布では，右端の部

標 2 を利用した場合それぞれの最良の結果を比較すると，1%分に空白ができている．この部分はちょうど予測を行うバッチ

程度の差しかないことがわかる．

でドリフトの影響を受ける範囲であり，この部分を学習データ

表 3 の結果では，指標 2 を用いてデータ選択を行なった場合，から省いたことが性能改善につながったと考えられる．

ほとんどのケースでデータ選択を行わなかった場合よりも性能を改善できていることが確認できた．性能の改善幅をそれぞれのデータセットごとに確認してみると，ドリフトによるデータの変化量が大きいデータセットの方がよりデータ選択による性能改善の幅が大きいことがわかる．また，データセットによって，2,000 件から 10,000 件までの範囲の選択件数のうち，最適な結果となる件数に違いがあることが確認できた．これは，そ5 データ選択手法
5. 1 データ選択手法概要
データ選択手法は J.Pan らによる先行研究 [3] を拡張するものである．[3] と同様に，ストリームデータがバッチ単位で処理され，新バッチ処理 (バッチ n) が行われるタイミングで直前

れぞれのドリフトパターンにおいて円と円が重複する部分の面

バッチ (バッチ n-1) のラベルが判明する．また，性能を評価す

積が異なることで，学習に有用なデータ数に違いがあることがる指標として AUC スコアを用いる．

関係していると考えられる．
続いて，データ選択を行なって選ばれたデータの分布を確認する．表 4 には，Transition Length を変えた実験 (表 2) のうち original tl10000 のデータを利用した場合において，最も性能の良かった 6,000 選択した場合に選択されたデータの分布を示している．散布図とヒストグラムには，バッチ 2 のデータのうち実際に学習に利用したデータの分布を示した．CIRCLES
データセットの特徴量は 0 から 1 までの範囲の二次元空間上の

図 4 にデータ選択手法の概要を示す．まず，新バッチ (バッチ n) の予測を行う時点でクラスが判明している過去のデータのうち，データ選択の対象にするデータの特徴量に対して，敵対的分類器の学習のために新しくクラス 0 を割り当てる．予測を行いたい新バッチ (バッチ n) に対しても同様にクラス 1 を割り当てる．そしてその新しく割り当てたクラス 0 と 1 を見分けるような二値分類器 (GBDT) を敵対的分類器として学習する．次に，学習した敵対的分類器の予測性能 (BA:Balanced

Accuracy) が与えられた閾値より小さくなるまで，ドリフトの図 5: データ選択の流れ影響を受けたデータの少量削減と敵対的分類器の再学習 (デー5. 2 データ選択ループ内の流れについて

タ選択のループ) を繰り返し行う. 最終的に残ったデータを学習

図 5 では，データ選択のループで削減するデータの選び方にデータとしてモデルの更新を行い，予測を行いたいデータのラ

ついて，さらに詳しい流れを説明している．以下にここで用いベル予測に用いる.

た 3 つの閾値を紹介する．

どのようなデータをドリフトの影響を受けたデータとみなす•

データ選択のループ終了条件：BA であり，この値よりのかが本手法の一つの要になる．ここでは，4 章の実験で効果も敵対的分類器の予測性能 (BA) が低下したときに，データ選を確認したデータ選択指標 2(学習に利用可能なデータのうち，択のループを終了する．また，削減できるデータがなくなった

敵対的分類器のクラス予測確率が 50%付近のデータをドリフト

場合にもループは終了される．

の影響が少ないデータとみなす) を用いる．また，ここでは最•終的な性能評価の指標として AUC を設定しているが，データる値

選択のループ終了条件である閾値には BA を使用している．その理由は，ループを繰り返すごとにクラス不均衡になっていく•閾値 lim(limit)：過剰なデータ削減を予防する働きをす閾値 red(reduce)：一度のループで削減するデータの割合を決める値

敵対的分類器の学習において，不均衡データの予測で高い値を

図 5 の 1. では，新しくラベル 0 を割り当てた学習に利用で示すことがある AUC を用いることでループ終了条件がうまくきる過去のデータとラベル 1 を割り当てた予測したいデータ

機能せず，過度にデータ選択が行われることを防ぐためである．

(バッチ n) を，シードを利用して敵対的分類器の学習用データ

この終了条件である閾値よりも，敵対的分類器の性能が低くなとテスト用データをランダムに分割する．2. では，敵対的分類

るような学習データを選ぶことで，敵対的分類器にとってクラ器を学習し，そのモデルから得たクラス予測確率がデータ選択

ス 1 のデータ (予測を行いたいデータ) と見分けがつかないよのループ終了条件を下回っていないかを確認する．3. では，ラうなクラス 0 のデータ (学習データ) を選択することができる．

ベル 0 を割り当てた過去のデータをクラス 1 への予測確率が次に生成するモデルは再利用されないため，汎化性能を必要

50%付近である (データ選択指標 2) もので並び替える．4. でとしない．また，本手法を利用する状況では，ドリフトの影響

は，閾値 lim によって与えられる削減可能範囲 (紫枠内)，かつにより学習データが母集団全体の代表的な値であるという仮説

データ選択指標 2 に基づいてドリフトを起こしている可能性のが成立しなくなる．そのため本手法を用いてドリフト後のデー

高い上位 red%の過去のデータを削除している. このとき削減可

タを説明可能な学習用データを選択することで，データ選択を能なデータがない場合も，データ選択のループを終了する．こ

行わない場合よりも適切な学習を行える可能性がある．

の 1 から 4 の流れを繰り返し行う．

表 5: 閾値 lim をなしとし，データ選択の終了条件を変化させた場合のバッチ 2 でバッチ 3 の予測を行うデータ選択手法の結果
ループ終了条件 (BA)AUC
original tl10000

選択件数 (/10,000)

81.36

77.25

77.20

全件

77.20

7026.17 9975.00 10000 10000
10.43

1.067

1.000

-

87.74

88.01

85.41

85.41

AUC

separate tl10000

70%

AUC
ループ数

adjacent tl10000

60%

ループ数

heavily-overlapping tl10000 選択件数 (/10,000)

overlapping tl10000

50%

選択件数 (/10,000)

6858.40 8533.93 10000 10000
11.00

5.167

1.000

-

86.97

85.92

78.89

78.89

7032.47 8783.73 10000 10000

ループ数

10.40

4.400

1.000

-

AUC

85.90

80.88

75.79

75.79

選択件数 (/10,000)

7236.67 8818.53 10000 10000

ループ数

9.633

4.300

1.000

-

AUC

84.12

79.55

74.28

74.28

選択件数 (/10,000)
ループ数7218.50 8943.53 10000 10000
9.633

3.933

1.000

-

表 6: データ選択のループ終了条件を 50%とし，閾値 lim を変化させた場合のバッチ 2 でバッチ 3 の予測を行うデータ選択手法の結果 (バッチ数

4 のデータセット)
50 ± 15% 50 ± 10% 50 ± 5% lim なし
original tl10000

AUC

78.30

79.62

81.36

81.36

選択件数 (/10,000)

9537.57

8454.277042.577026.17

ループ数

3.633

6.667

10.40

10.43

AUC

87.37

87.54

87.74

87.74
6858.40

heavily-overlapping tl10000 選択件数 (/10,000)

overlapping tl10000

adjacent tl10000

separate tl10000

8322.677392.376858.40

ループ数

9.533

10.10

11.00

11.00

AUC

85.37

86.09

86.11

86.97

選択件数 (/10,000)

8802.30

8245.477197.637032.47

ループ数

5.633

7.800

10.10

10.40

AUC

75.88

77.48

83.91

85.90

選択件数 (/10,000)

9551.639209.407997.30

7236.67

ループ数

2.467

2.000

7.700

9.633

AUC

77.85

79.49

82.60

84.12

選択件数 (/10,000)

9346.708946.907547.937218.50

ループ数

3.267

5.067

8.967

9.633

6 データ選択手法を用いた実験

7 まとめと今後の課題

4 章で行った実験の結果と比較を行うため，バッチ 2 でバッ

機械学習モデル利用の課題である model decay に対して，ドチ 3 の予測を行う場合の実験を 2 つ行った．2 つの実験に用リフトしていないデータを選択してモデルの更新を行うことで，いたデータセットは，用意した 7 つのデータセットのうち，性能の良いモデルを継続的に入手する枠組みの提案を行った．

Transition Length が 10,000 の 5 つである．一度のループにおまた，その枠組みの中で利用する，ドリフトの影響を受けていけるデータ削減量を決める閾値 red は，細やかな選択を行うた

ないデータを判別するためのデータ選択指標の検討を行った．

めに 5%と設定した．また実験結果では，いずれの結果もシー

今回の実験では，つねに新しいコンセプトへ移動するタイプ

ドを変えて 30 回実験を行った平均値を結果とした．

6. 1 閾値 lim を固定した実験の人工データセットで検証を行ったため，バッチ n の予測を行うために直前のバッチ (バッチ n-1) よりも古いデータを学習に用いることの有効性を確認することができなかった．しかし，一つ目の実験では，閾値 red を除いた残り二つのデータ選択

ドリフトに含まれるコンセプトは再帰的な変化を起こすことも手法の閾値のうち，閾値 lim は利用しない条件でデータ選択手

考えられるため，データセットを変えてデータ選択手法の効果法を行った．データ選択のループ終了条件は 50%，60%，70%を確認していきたい．

の 3 つを試した．
表 5 にこの実験の結果を示した．データ選択手法のループ終了条件である閾値を 50%,60%,70%の三つすべてを利用した
結果と，比較のためにデータ選択を行わなかった (全件を学習に利用した) ときの結果を掲載しており，それぞれの場合で最終的に選択されたデータを使ってバッチ 3 の予測を行った性能(AUC) と選択された件数とデータ選択ループの回数を示した．
この結果から，すべての場合において，データ選択を行って性能を改善できたことが確認できた．4 章の実験結果と比較して，AUC は original tl10000 では約 4%ほど下回る結果となったが，それ以外の 4 つの場合では同等かわずかに上回る結果となった．一方選択件数に注目して比較すると，4 章の表 2 や
表 3 の結果において，最も良い結果が出たときの学習データ数
は，h-overlapping tl10000 と overlapping tl10000 で 8,000 件，

adjacent tl10000 と separate tl10000 で 4,000 件であったことに対して，この実験では 7,000 件程度のデータで学習を行っていることがわかる．十分な性能は得られているものの，閾値を下回るまで学習データの少量削減を繰り返すデータ選択手法では，最小限以上のデータが選択されている可能性がある．

6. 2 データ選択のループ終了条件を固定した実験
二つ目の実験では，閾値 red を除いた残り二つのデータ選択

文献[1] 今野 由麻，中野 美由紀，小口 正人， コンセプトドリフト対処のための、Adversarial Validation を用いた学習データ選択に関する検討 , 第 14 回データ工学と情報マネジメントに関するフォーラム (DEIM2022)，D33-1．
[2] Yuma Konno，Miyuki Nakano and Masato Oguchi, Eﬃcient Data Selection Indicators for Updating Models under
Data Drifted Environment ，2022 IEEE International Conference on Big Data (Big Data), 2022.
[3] Jing Pan et al, Adversarial validation approach to concept drift problem in automated machine learning systems ,CoRR, Vol. abs/2004.03045, , 2020.
[4] Shotaro Ishihara et al,Adversarial Validation to Select Validation Data for Evaluating performance in Ecommerce Purchase Intent Prediction , https://sigirecom.github.io/ecom21DCPapers/paper3.pdf, SIGIR eCOM
21, 2021.
[5] Miroslav Kubat and Gerhard Widmer. Adapting to Driftin Continuous Domains, OFAI, Vienna, 1994.
[6] J. Lu, A. Liu, F. Dong, F. Gu, J. Gama and G.
Zhang, ”Learning under Concept Drift: A Review,” inIEEE Transactions on Knowledge and Data Engineering, vol. 31, no. 12, pp. 2346-2363, 1 Dec. 2019, doi:
10.1109/TKDE.2018.2876857.
[7] Ali Pesaranghader, ”The Tornado framework ” github.com.
https://github.com/alipsgh/tornado (accessed Aug. 6,2022).

手法の閾値のうち，データ選択のループ終了条件の閾値を直前の実験 6. 1 で最もよい結果を示した 50%に固定してデータ選
択手法を行った．データ選択指標に基づく一定範囲のデータをを削減範囲から退避するエリアを決めることができる閾値 lim
は，50%± 15,50%± 10,50%± 5,50%± 0(閾値 lim なし) の 4つを試した．
表 6 にこの実験の結果を示した．ここでは閾値 lim の値を変えて，表 5 と同様にデータ選択手法を行ったときの AUC と選
択件数とデータ選択のループの回数を示した．
この結果から，閾値 lim を設定することは今回のデータセッ
トにおいては性能改善に寄与しないことがわかった．6. 1 でも述べたように，選択件数 7,000 件程度と比較的多いことから，今回の実験環境ではデータ選択手法が過剰な環境ではなかった
ことが原因として予想される．

謝辞

本研究は一部を JST CREST JPMJCR22M2 の助成，一部をJSPS 科研費 18K11318 の助成を受けたものです．