博士（情報科学）西田京介
学位論文題名Learning and Detecting Concept Drift(Conc
eptDriftの学習と検出に関する研究）

学位 論文内容の要旨
情報科学の発展によって人類が創り出すデー夕量は爆発的に増大している，このため．大量のデータから入出力 関係や知識表現を抽出する機械学習の需要が高まり，現在では高度情報化社会を支える基盤技術のーっにまで成長した．音声・文字認識，検索エンジン，医療支援，ロポット工学っ画像処理，データマイニングなど，これまでに機械学習の技術が応用され大きな成果を挙げた分野は多岐に渡る．近年では，計算機の記憶容量や演算処理能カの飛躍的な向上を背景に，過去の計算機では実現不 可能 だっ た手 法 が次 々と 開発 され て おり ，今 後も 機械 学 習の さら なる 発 展が予想 される．
機械学習を 訓練サンプルの与え方によって大別すると，まとめて与えられた大量のサンプルを一度に学習する パッチ学習と，順次与えられるサンプルを追加的に学習するオンライン学習の二種類に分けられる．このうち，バッチ学習については非常に優れた手法が多数提案されているが．オンライン学習，特に，学習対象の基となる統計的な性質が時間と共に変化する環境下での学習については多くの課題が残されている．この変化はconceptdriftと呼ばれ，緩やかな変化のみならず，突然かつ大きな変化を も含む．変化の性質によって学習システムが採るべき戦略は大きく異なるため、様々な性質の変化 を含む問題の解決は非常に難しい．その実例のーっとしてはスバムフィルタリング問
題が挙げられ る．この問題においてスバムフィルタは，ユーザが持つスパム判定基準の僅かな揺らぎやメールで扱う話題の変化，さらには狡猾なスパム送信者が起こす変化など，日々発生する様々な性質の変化に対応しながら学習を進めなけれぱならない．
今後は様々 な分野において、幾多の変遷を経ながら大量に創出され続けるデータを処理するために，逐次的・追加的に学習可能な，そして高い順応性を持ったシステムがより一層必要となるであろう．そこで本 論文では，与えられた入カサンプルに対応するクラスを予測するクラス分類問題全般
を対象に，concept driftに対応可能なオンライン学習システムを様々なアプローチから複数提案する ．全 ての提案システムはconcept driftの発生を検出し て学習に利用するという特徴 を持つ，
以下に，全6章から成る本論文の構成を示す．
第 1章 で は ， 導 入 と し て 研 究 背 景 ， 目 的 ， 本 論 文 の 構 成 に つ い て 述 べ る ．
第2章 で は， 基本 原理 とし て 既存 のパ ッチ 学 習シ ステ ムとオンライン学習システム を示す．
第3章では，複数のクラス分類器を使用する提案システムACE (adaptive classi
fiers‑ensemble)につbゝて示す，複数のクラス分類器を用いるシステムは，単一のクラス分類器を修正しながら使用するシステムよ りもconcept driftに対応し易い場合が多く，近年多くの研究が行われている．A
CEは―1062―

システム全 体の出カを，常に更新を行う ーつのオンラインクラス分類器と，作成後は更新を行わな
い多数のバ ッチクラス分類器の出カの重 み付き多数決によって決定する．そして，各クラス分類器の最近のサ ンプルに対する予測精度とその信頼区間を利用してconceptdriftの検出を行い，新たなバッチクラ ス分類器を順次追加していく ． ACEは再発する変化に対して従来手法よりも高い性能を実現するが，変化検出の精度とシステム構成の複雑さに問題があった，そこで，以降の研究においては ， concept driftの 正 確 な 検 出 を 単 純 な シ ス テ ム に よ っ て 実 現 す る こ と を 目 指 し た ．
第4章では ，二つのオンラインクラス 分類器を利用してconceptdriftの学習と検出を行う提案シ
ステムT0di（fWO〇nhneClaSSi6erSSyStemfbrle弧dnganddeteCtfngcon
Ceptdrift）にっいて説明する ．ま ず， 我々 は 新た な変 化検 出 法と して STEPD手法を提案した ．STEPDは単一のオンライン クラス分類器 についてその予測精度を監視 し，conceptdnftの発生が引 き起こす最近の予測精度の急激な悪化を統計的検定（aぷtati
StiCa
1絶S
tofビqualpr
oponion
StodeteCt
conCeptdrift）によって検出する．そして ，検出後はクラス分類器を初 期化して新たな学習に備え る．S1EPDはACEで使用する手法や他の従 来手法に比ベ高い検出性能を 実現したが，誤検出が発生した場合にシステムの精度が大きく悪化す る問題があった．そこで，誤 検出が発生しても予測精度が悪化しない学習システムの実現を目指し て我々は1bdiを提案した．1bdiは，変化検出後に初期化されるクラス分類器に加えて．
検出後も継 続して学習を行うクラス分類 器を使用する．この工夫によって，Todiは高い予測精度を常に維持し 続けると共に，過去の検出の 正誤を自ら判断してconceptdnRの発生をユーザに正しく通知できる様になった．T・0diの有効性を検証するためスパムフィルタリング問題に取り組んだところ，高性能 なスバムフィルタとして知ら れるBogo丘lterをオンラインクラス分類器としてニつ使用し たTodiは ，単 体 のBog061terより も高 い予 測精度を実現した． 今後はACEとTodiの技術を結 合して，多くの実世界問題を解決して行きたい，
第5章で は， 人間 が行う変化検出に 関する知見を基にした提案手 法LD（尾akymtegrate−and−detect）について示す．我々は，人間が行う変化検出と，どのような誤分類も全て同様に扱って変化を検出する機 械学習手法との間には大きな 隔たりがあると考えた．そこで人間の変化検出について調査し，認知科学的知見を機械学習に取り入れることを目指して研究を行った，まず「最近の予測精度が高い状況 で確信度の高い回答が否定さ れるほど，人間は変化を高速に検出できる」という作業仮説を立てて行動実験を行い，仮説の正しさを示唆する結果を得た．そして，自信のある回答が連続して否定され ることの重要性を発見した． これらの知見から，スパイク発生機構の単純なモデルであるlea
kyint
egrat
e‐an
d‐轟reモデルを変化検出に応用できると考え，これを基にした手法LIDを提案した，LIDは 単一のオンラインクラス分 類器が持つ確信度と最近の予 測精度を利用して，突然かつ重大な変化 を検出する．その有効性を検 証するため計算機実験を行ったところ，ノイズや緩やかな変化が存在 する環境下でも，LIDは高速 かつ正確に変化を検出できた ．今後は本研究で得た確信度に関する知見をTodiやACEに導入していきたい．
第6章では，結論として本論文の成果と今後の課題を示す．
以上をま とめると，我々は学際的な研究を行って，concep
tddftの学習と検出が可能なオンライン学習システ ムを複数提案した．本論文は concept
driftを扱うオンライン学習システムが持つべき能カの実現に貢献を果たした．
ー 1063―

学位論文審査の要旨
主査

准教授

山内．康一郎

副査

教授

栗原正仁

副査

教授

大内副査

教授

和田充雄

副査

教授

大森隆司（玉川大学脳科学研究所）

東

学位論文題名Learning and Detecting Concept Drift(ConceptDriftの学習と検出に関する研究）

近年 のイン ターネ ットの発達によって，コンピュータは大量のデータを扱えるようようになった．
しか し，そ の一方 で，洪 水のように押し寄せる大量の情報をそのまま扱うのは現実的ではなく，大量のデ ータか ら規則 性を抽 出して 利用す る技術が 求めら れてい る．そ のーつのアプローチとして入出力 関 係や 知 識 表 現を 抽 出する 機械学 習を利 用する 方法が あり， 近年そ の重要 性が高ま ってい る．
学習 機械の 学習方 法には，大きく分けて二通り存在する．一っは，バッチ学習法であり，大量のサンプ ルをあ らかじ め貯め ておき，一度に学習する方法である．もうーっはサンプルを逐次的に学習するオ ンライ ン学習 法であ る．実用上は，全てのデータをあらかじめため込む必要のなぃオンライン学習法 が有効 である ，しか し，こ のオン ライン 学習法 には， 様々な 課題が 残されて いる． 特に学習対象の統計的な性質が時 間と共 に変化 する状 況での 学習は 困難を極 める． 一般に このよ うな変 化はconceptdrmと呼ばれて おり， 従来型 の学習 理論の多くがその礎とする，静的環境を前提とする統計理論が成立しない．
これ に対処 するた めには ，conceptdrmの 発生を 検知し ，その 時点で学 習機械の内部パラメータをり
セッ トする か，も しくは 再発す るconceptの場 合には，過去に獲た学習結果を再利用する等の対策が必要 となる ．っま り，当 該領域 ではで きるだけ 正確な concept‐ddR検 出手法を構築することが極めて重 要であ る・
とこ ろで， 従来に もconcep
t‐drmを扱う学習理論はいくっか提案されてきた．それらの多くは，緩やか な変化 のみへ の対処 方法であったり，もしくは突然かつ大きな変化のみへの対処方法であった．
これ は，そ れぞれ の環境 下に即した学習戦略が，お互いに異なるためである．しかし実環境では，緩やか な変化 と急激 な変化 の両方 が生ず るもので ある．したがって，この両方のconceptdr近に対処できる 学習機 械が必 要であ る，
この ような 状況を ふまえ ，本論 文は， 緩やか なconcept拙tと急激な conceptd
轟ftとの両方に対処する オンラ イン学 習シス テムを 実現す ることを 目的と して， そのた めの学習法と変化検出法とをいくっ か提案 してい る．特 に変化検出法については重要視しており，大きく分けて三っの手法を提案しー 1064―

て いる， ただし ここで は，与 えられ た入カ サンプル に対応するクラスを予測するクラス分類問題全般
を 対象と してい る．
本 論 文 の 第 1章 で は ， 研 究 背 景 ， 目 的 ， 本 論 文 の 構 成 に っ い て 述 べ て い る ．
第 2章 で は ， 既 存 の バ ッ チ 学 習 シ ス テ ム と オ ン ラ イ ン 学 習 シ ス テ ム を 示 し て い る ．
第 3章 で は ， 複 数 の ク ラ ス 分 類 器 を 使 用 する シ ス テ ムACEに っ い て提 案 し て いる ， ACEは シス
テ ム全体 の出カ を，常 に更新 を行う ーつの オンライ ンクラス分類器と，作成後は更新を行わない多数の バ ッチク ラス分類 器の出 カの重 み付き 多数決 によっ て決定 する． そして， 各クラ ス分類 器の最 近の サンプ ルに対 する予 測精度 とその 信頼区 間を利用 してconceptdriftの検 出を行い，新たなバッチ
ク ラ ス分類 器を順次 追加し ていく ． ACEは 再発する 変化に 対して 従来手 法より も高い 性能を 実現して いる．
第 4章 で はACEを 簡 単 化 して ，conceptdrift検 出精度 向上に 焦点を 絞った 手法を 提案し ている ．
ま ず ． 新 たな 変 化 検 出法 と して STEPD手法 を提案し ている ．これ は単一 のオン ライン クラス 分類器に っいてその予測精度を監視し，conceptdriftの発生が弓1き起こす最近の予測精度の急激な悪化を統計 的検定 によっ て検出 する.conceptdr潰が検 出され ると， そのオ ンライ ンクラス分類器は初期化され る．S田 弭Dは， ACEで使 用する手 法や他 の従来 手法に 比ベ高 い検出 性能を 実現するが，誤検出が発生 した場 合には 学習器 が誤っ てりセ ットさ れるため ，システムの精度を大きく落としてしまう，この欠 点を克 服する ため， 二つの オンラ イン分 類器を使 用して，誤検出が起きても学習精度の劣化しなぃ
T0mシステ ムヘと発 展させ ている ，この 手法は ，変化 検出後 に初期 化される クラス分類器に加えて，検 出後も継続して学習を行うクラス分類器とを使用する．この工夫によって，T（｝mは高い予測精度を常 に維持し続ける．計算機実験では，bogo丘1terと呼ぱれる分類器をニつ利用した1・odiをスパムフイ
ル タに適 用して いる． その結 果，現 在多用 されてい る単体のbogo丘lterによるスパムフイルタよりも良 い結果 が得ら れるこ とを示 してい る．
第 5章 で は， 人 間 が 行う 変 化 検 出に 関 す る 知見 を 基に した提 案手法 LIDについ て示し ている ．人は 時 と し て学 習 機 械 より も 鷲 く ほど 素 早 く 状況 の 変 化を検 出でき ることを 指摘し ，人間 の変化 検出 法 を concept讎 R検 出に 応 用 す るこ と を 目 指し て い る．こ のため に著者 は「最近 の予測 精度が 高い 状 況 で 確信 度 の 高 い回 答 が 否 定さ れ る ほ ど， 人 聞 は変化 を高速 に検出で きる」 という 作業仮 説を 立 て て 行動 実 験 を 行っ て いる ．そし てその 結果を 基に， スパイク 発生機 構のモ デルで あるleakyintegrateー and‐6reモデ ルを変 化検出 に応用 した手 法LIDを提 案して いる． uDは、単 一のオ ンライ
ン クラス 分類器 が持つ 確信度 と最近 の予測 精度とを 利用して，突然かつ重大な変化を検出する．計算機 実 験によ って，ノ イズや 緩やか な変化 が存在 する環 境下で も，uDは 高速か つ正確 に変化を 検出でき ること を示し てしヽ る．
第6章で は，結論 として 本論文 の成果 と今後 の課題 を示し ている ．
以 上 のよ う に こ の研 究 で は conceptdrmを 含 む 環 境での 学習に 必要と なる手 法をい くっか 提案した ものと なって いる． 特に変 化検出 手法に 関する手 法に関しては重きを置いて議論されている．今後
こ こ で 提 案さ れ た 手 法が 組 み 合 わさ れ ， 様 々な conceptdrm環 境に対 応する 学習シ ステム の構築がな される ことが 期待さ れる．
これを要するに，著者は，オンライン学習，特に，学習対象の基となる統計的な性質が時間と共に変 化 す る とい う conceptdr迅が引 き起こ す問題 につい て，conceptdrmの学習 と検出 の方法 の新知 見を 得たも のであ り，情 報科学 ，特に 機械学 習分野の 発展に貢献するところ大なるものがある．よって
著 者 は ，北 海 道大学博士 （情報科 学）の学 位を授与 される資 格あるも のと認める ．
一1065−