データウェアハウスとデータマイニングの概要
河野 浩之…ll州＝＝‖‖‖‖‖‖帖……ll……lll…lllll…llll……ll……lll……lllll川…ll…llllll……ll州Il…川Illl……………lll……l…ll‖‖‖‖‖‖‖‖‖‖‖＝‖刷Illll…llll……ll…‖＝‖刷Il……llll…lllll……l…l…lll…llll……………llll……ll……lllム）を構築する上でも，時々刻々と変化するデータを1．はじめに効率的に扱うデータ処理技術が要求され，例えば，データウェアハウス（Data Warehouse）やデータマイニング（Data Mining：データ発掘）に関連したソフトウェアなどが増えており，その関心が高くなっPOS（Point of Sales：販売時点管理システム）のような情報処理システムが成功をみている．
しかしながら，同様にデータベースに蓄積されるデている．そこで，本稿では，データウェアハウスとデータをさまざまな角度から活用することを試みた

ータマイニング関連分野の動向を，その昔景となってDSS（Decision Support System：意思決定支援シスいる研究を含めながら紹介する．

テム）は，必ずしも成功したとは考えがたい。これは，まず，2章では，データウェアハウスとデータマイ定型的なプロセス管理と非定型的な意思決定支援，基ニングの各々の研究背景を示す．3章では，データウ幹系システムと情報系システム，これら両者の相異なェアハウスとデータマイニングの両者の枠組みを述べる要求を満たすシステム統合をうまく実現できなかっる．4章では，データウェアハウス構築に関わる研究たからだと言える．

動向を，データベースの視点を加えながら述べる．そして，5章をむすびとする．

しかし，データウェアハウスを「サブジェクト指向」「統合イヒ」「時系列」「恒常性」をもつ情報システ

ムとするInmon氏の定義以後，エンドユーザー指向

2．それぞれの研究背景のDSSとしてデータウェアハウス構築が活発化した

データウェアハウスとデータマイニングは，複数の［6］．また，ちょうどその時期は，情報システム統合コミュニティ（データベースや人工知能，さらには，化を推し進める製品の市場拡大時期と重なっている．

統計等）に関わる研究であるため，さまざまな理論と技術が重なりあっており，その方向性が把握しづらい．
そこで，以下に，それぞれの研究背景を簡単に整理す

1．高性能計算機・大容量記憶媒体

計算機性能の向上は，GUI（GraphicalUserInterface）の操作性を高め，大量の時系列デーる．

タを高速に処理することを可能にした．また，長2．1データウェアハウスの研究背景

期・短期で異なる要約レベルにあるデータ蓄積が，データベースが，企業情報システムにおいて重要なさまざまな記憶媒体の利用により可能となった．

役割を果たし続けていることは，1960年代に登場した

EDPS（Electronic Data Processing System：電子2．ネットワーク製品
TCP／IPを中心とした標準的なネットワーク・データ処理システム）やMIS（ManagementInfor−

70ロトコルの普及と，ネットワークの高速化が，mation System：経営情報システム）などの情報シ各種業務系システムの接続を容易にした．

ステムの発展を見れば明らかだろう．また，SIS（StrategicInformation System二戦略情報システ

3．関係データベース（RDB）製品
異なるサブジェクトに対する各種業務系システ

ムが，RDBを用いて構築（または，再構築）さかわの ひろゆき

れた．また，RDB製品が提供する標準的・なイン

京都大学 大学院情報学研究科システム科学専攻

ターフェースが，システム統合イヒを促進した．

〒606−8501京都市左京区吉田本町
1998年12 月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（5）647

しかしながら，恒常的なデータを中心に扱うデータ

パターン認識，学習，視覚化（visualization）など数

ウェアハウスでは9 典型的なデ」タベースで重要な更多くの研究と関連しながら，知識発見という困雉な問新操作を必要としない。また9 関係デh夕べースを用題に対してシステム構成手法を与える視点を失わずにいたシステム構築が最適とも言えず，従来のデータベ挑戦するフレームワ叫クと言える。

ース（1曙aCyぬtabases）のデ山夕設計を見直すことが必要になった。そこで，これらに関係する研究に、 h・、・ご ∴∴一一−−・1：ニー・：■．−∴∴‥‥…■∴∴−・ダの関係ついて射章で触れる。

データから知識発見を行うプロセスは9 以下のよう
2．2 デⅧ夕▽イニングの研究背景にまとめられている（図＝）［3］8 そして，実肝性の高データマイニングは，人工知能分野の動向に強く影い知識を求めるために，各プロセスのバランス良い実響された研究である。1989年にAAAI（American行，特に収集データに対する前処理と，導出されたル

Associatiom for AYtificialIntelligence）のワークシールに対する後処理が重要とされる。つまり，質の高ョ ップとしてKDD（Knowledge りiscoveryin

いデータウェアハウスを構成することが，データマイDatabases：データベースからの知識発見）が開催さニングの成否を決める重要な鍵となってくるめ

れ，実働するデータベースに蓄えられたデータに対して，主として機械学習で提案された決定木などの学習知識発見プⅢセス

アルゴ訂jズムを適用する研究が盛んになった［9］。な（a）データが生成される領域の特性の理解に努め，お9 数多くの優れた研究が人工知能の分野ですでに行すでに知られている性質などに考慮してデータ収われていたにも関わらず，KDⅢワークショップが開集を行い，データベー催された背景には，トイ。プロブレム（toy prob−構築する。

1ems）に代表される人工知能分野の閉塞感から抜けス／データウェアハウスを（b）デーータに対する前処理として，選択操作／サン出すきっかけを，実データを対象としたシステム開発プリング（selection／sampling）によってデータに￣求めた部分が強い。

クリーニング（data cleaning）を行うの

なお，データマイニングの用語が定着するにつれて，K朋心ワークショップは，知識発見とデータ発掘（KnowledgeI）iscovery＆Ⅲata Mining）に関する（c）実用的な時間で処理が可能な範囲になるようにデ」タの次元低減などの前処理／データ変換（preprocessing／data transformation）を行う。

国際会議となったゎ そして，「データから情報へ，さ（d）データマイニング0アルゴリズムを実行する。

らには知識へ」という目標に向かって，人工知能だけ（e）生成されたルールに対する後処理として，求めではなく9 データベースや統計学の研究領域との交流られた記述の解釈／評価（interpretation／evalu−が試みられている。ただし，統計分野において人工知ation）を行うとともに，検証（verification）を能の各種手法を研究する必要性があり，さらに9 デー行う。

タ解析に伴う本質的な問題解決に向けて挑戦することば貴重な試みであるとはいうものの9「知識」を発見（f）最終的に得られたルールに対する評価を用いて，知識とする。

するための壁は厚いというトーンもある（脚注1）め

このように，データマイニングは，限定された領域

なお，データマイニングでは市場データのような芙の研究を指し示すというよりも，統計，データベース，デー一夕を対象とした知識発見過程を扱い，データ要約やデータ分析を通じて求められた知識は，データウェ（脚注1）アメリカ統計学会（American StatisticalAsso−ciation）に引き続いて開催されたKDD【97における，アハウスを用いた意思決定支援に役立つと期待される￠
さらに，求められた規則性（regularity），御j約（con−PeterJ．Huber博士（UniversityofBayreuth）によるKeynote Address99など．なお，KDD−98はデータベースの国際会議であるVLDB（VeryLargeDataBase）

straint），ルhル（rule）などの「知識」に対して，理と連続開催された虚 また， http：／／www。kdnuggets．

視覚化技術の援用が重視されており，さまざまなcomrによれば，今後は，ACM SIGKDD（SpecialImterest Group om Kmowledge Discovery＼＆ DataMimimg）の会議として開催される予定である。
笛堵爵（6）

解可能性（understandability）を高める技術として，GU‡の研究も活発に行われている。

また，文献［3］では，知識発見において最も重要な© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ8リサーチ

（e）解釈／評価
知識表現／データマイニング
（C）変形
（e）

／

検証

データク

＝≡二（b） ∈∋百日／

Transformed Data

Preprocessed Data

Target Data

択操作／サンプリング〒￣
データベース／データウェアハウス
図1 知識発見プロセス問題である知識の質の評価基準として「確実度（cer−2章で述べたデータウェアハウス構築に関わる問題tainty），妥当性（validity），新規性（novelty），潜在が，データベース領域の研究で全く扱われていなかっ的有効性（potentially useful），理解可能性（under−たわけではない．当然ながら，データベーstandabi］ity），興味深さ（interestingness）」からなる

作成するレポートには統計処理が必要であり，高度な評価関数の構成を示し，定められた開催を満たす知識要約（summary）処理を要求する研究もなされた．

が重要であるとしている．しかしながら，多くの研究

しかし，解析的処理の必要性を認めていたにも関わらは手順（a）〜（d）を扱っているため，発見科学（Sci−ず，システム性能を極端に劣化させるおそれのある操ence Discovery）の研究などの展開によって，今後，作を，データベースの基盤部分に実装する場合には，知識の本質に迫ることが必要である．

慎重な検討が行われた．

スを用いてまず，トランザクション処理性能を保証するには，4．研究動向

単一業務を指向したシンプルなシステム設計が要求さオペレーションズリサーチの視点から，データウェれた．さらに，記憶領域に関わるコストを最小化するアハウスやデータマイニングをとらえる上で，例えば，ために，正規形に代表されるスキーマ設計の枠組みがPaulGray教授による TheNewDSS：DataWare−不可欠であったと言える．そして，このような厳密なhousing，OLAP，MDD，and KDD

スキーマ設計は，解析処理には不利であったが，多く［4］が参考になる．そこで，講演［4］で述べられた内容にも注意を払の業務系システムで重要なデータ挿入・更新・削除にいながら研究動向をまとめる．

おけるトランザクション処理の一貫性を保証する上では非常に有効であった．

4．1データウェアハウスの研究
1998年12 月号

しかし，計算機性能の向上と記憶媒体の大容量化が，© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（7）649データ要約を伴う解析処理を現実的なものとした。例

ケットへのインパクトの分析も重要である。

例えば，小売業のPOSデータや，通信販売やクレ

えば9 ジョイン操ノ作によって非常に大きなテーブルを生成し，Group董∋y操作を用いて合計0平均などの集約

ジット産業の顧客の購買記′録などの市場データに対す演算（ag餅egation）を行う処理が該当する巾（これる有効な手法の研究が様々な角度から行われており，は，例えば9 売上データを，属性（α1，α2タ甲．。ブα乃）の組合相関ルールはその代表的なものである。

せや田付けの範囲（軋成）をさまざまに変えてデータ解

相関ルールは，どのようなアイテム（商品）を組み析を行うヲ ドリルダウン（drilトdowm）やロールアッ合わせて購入する場合が多いかということを示すもの

プ（TOllup）と呼ばれる操作で必要とされる。）

で，商品配置やカタログ構成などを決定する上で利用

そこで9 解析的処理を実時間で行うOLAP（On−−できるルーーールである（バスケット分析）。また，このmi‡1eÅna蝮tic Processimg）では，多次元データベような購買傾向のパターンを求める相関ルールは，ダ山ス（MDD：MultidimemsionalDatabases）が用いイレクトメール送付を行うデータベースマーケティン

られるゎ なお9 0LÅpの実現には，関係データベーグ（database marketing，mailshot response）におスを用いたROLA脛と，多次元データベースを用いいても有効である。

たMOLÅPの枠組みを比較することも多いが，両者しかし9 この種の基本的かつ典型的な分析も，非常それぞれにデータ処理止二の利点がある。また，この種に大規模なデータベース全体に対して9 効率よくアイの解析的処理を効率よく実現するために，既存の設計テムの組合せを求めることは難しい。そこで，頻繁に手法と異なるスキーマ構成手法（star schemaや，出現するアイテムの組合せ（ラージアイテム集合）をsnowflake schemaと呼ばれる）が提案されている。

効率よく求めるアルゴリズムの代表例が，aprioriで

なおヲ データキューブ（data cube）は9 データウある［1］。

ェアハウスにおけるデータ処理に対する理論を与えてところで，この種の技術が有効である分野は，例えいる。文献［5］では，問合せでひんばんに利用される

ば9 航空会社，銀行，クレジットカード会社，販売，ジョイン演算を前処理してデータベースに実体化した電話，保険などであると分析されている［4］。したがビュー（mate『ial宜zed view）として格納する場合のって，これらのアルゴリズムを実装したKDI〕Mコスト評価が行われている。そして，このような問合（Knowledge Discovery and Data Mining tooIs）

せ処要堅コストと記憶領域コストのトレードオフを考え関連ソフトウェア市場を形成する上で非常に重要な領たデータベース設計を現実のものとする上で，計算機域である。そこで，KI）D¶97，98では「KI〕DMツール速度の向上と記憶媒体の低価格化は非常に大きい位置に関する大会（K工虻トCUP）」が開催され，MineSetを占める。

（SGI），Enterprise Miner（SAS）などが良い成績をおさめている。その他，各種アルゴリズムの比較評価が，［10］においても試みられている。

董，2 実用化を目指すデ叩タマイ三ング
機械学習を含む人工知能の分野において，学習アル

以上9 デ⊥タマイニングでは，複数領域の研究を視ゴリズムが数多く提案され，計算量の面からも研究さ野にいれながら，市場データや医療データなどの実デれているが，多くのアルゴリズムは，理想的（実験ータを対象とした知識発見システムを開発する研究が的）なデー一夕に対する学習を考えており，スケーラビ活発に行われてきた。また，これらの処理を通して，リティ等の問題も多い。

有用なルー−ルを捨てない頑健なアルゴリズムが明らかにされてきた（，なお，データマイニングで扱われる主

しかし，データマイニングでは9 現実のデータから知識発見を行うアプリケーション。システム開発に有要なアルゴリズムは，「相関（associations），時系列（sequences）9 分類（classifications），クラスタリン効な技術を強く求めている。そのため，「要領を得ないデータ（imconclusive data），ノイズを含むデー（moisy data），疎なデータ（sparse data）」などを，タグ（clusters），予測（forecasting）」に大きく分類されている。

効率よく処理することがデ」タマイニングでは重要で4。3 各種デ州夕べ咄スとの関係ある。

また9 理論や技術面だけではなく，データウェアハ
ウスのユふザーである企業と，その企業が関わるマ一
国5殴（8）

ところで，前節の・最後に示した分類で同種のアルゴリズムであっても，文書データ，画像データ，地理デ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレー¶ションズ。

リサーチ

ータなどの対象となるデータによって，その応用形態等）に応じたデータマイニングが必要とされている．

は大きく異なる［2］．そこで，データベース技術の高さらに，システム性能面を考えた場合，データベー度化［7］にも注意を払いながら，幾つかの典型的なデスを構成するハードウエア面からのアプローチも不可ータベースを示し，それらに関連するデータマイニン欠であり，並列データマイニング（PDM，parallelグ研究について述べる．なお，詳細な文献は［8］などdata mining）は，処理効率を向上させる上で必要とを参照してほしい．

なる．

なお，データマイニングを行う問合せを，データウエアハウスに普及させるには，既存のシステムとの整●関係データベース

関係データベースでは，属性間の関数従属性が非合性を考えながら適切にインターフェースとなる問合常に重要な役割をもつ．そこで，データから従属せ言語を拡張することが必要である．例えば，標準的性を効率よく求める研究がされている．その他，なSQLを用いて相関ルールを求める記述を与え，問不正発見（fraud detection）や相関ルールを求合せ実行時に最適化を行う手法は，システム構成上，めるアルゴリズムも実装されている．

非常に受け入れられやすいアプローチと言える．

●オブジェクト指向データベース
オブジ

ェクト指向データベースでは，クラス階層が重要な役割を果たす．そこで，COBWEBのよ5．おわりに以上，実データをより高度に活用するシステムとしうな概念クラスタリング（conceptualcluster−てのデータウェアハウスと，知識発見システムを指向ing）の研究を踏まえながら，自動的あるいは半するデータマイニングの概要について述べた．なお，自動的に概念木（classification tree）を生成す

データウェアハウスは，データマイニングにおける研る研究が行われている．

究成果を広く実践するフィールドとなっている．詳し●文書データベース

くは，各種業務システムへと適用した例を解説した，

文書データベースは，Webシステムなどを用いて情報共有を行う場合などに重要な位置を占める．

本特集に含まれる論文を参照してほしい．
また，最後になったが，質の高い知識をデータマイ

そこで，相関ルールによる単語共起の分一析や，文ニングで得るには，より質の高いデータが蓄積される書クラスタリング，さらに，文書集合提示や要約

データウェアハウス構築を促進するシステムが不可欠

記述などの文書マイニング（textmining）の研である．よって，質の高いデータが蓄積されるデータ究が行われている．

ウェアハウスを構築する上で，ERP（Enterprise
Resource Planning）［11］，CTI（Computer Teleph−●地理データベース

空間データベースは，地理情報システム（GIS：onyIntegration），SCM（Supply Chain Manage−

GeographicInformationSystem）などの基盤でment），SFA（Sales Force Automation）などの各ある．なお，空間データマイニング（spatial

種システムの活用に関わるストラテジーを，オペレー

data mining）では，クラスタ1）ングアルゴリズ

ションズ・ムが重要な役割を果たし，CLARANS（Cluster−が期待される．

ing Large Applications Based upon Random−ized Search）などが提案されている．さらに，リサーチの研究を通じて明確に与えること

謝 辞

データベース特有のデータ構造（R−treeやPR−

日頃御指導頂く南山大学経営学部情報管理学科長

Quad tree）を考慮したクラスタリングの高速化

谷川利治教授に深謝致します．本稿の一部は，文部も研究されている．しかし，計算幾何学省科学研究費（10780259，08244103）の研究成果を含む．

（computationalgeometry）分野の研究の進展参考文献が不可欠である．

［1］Agrawal，R．and R．Srikant： Fast Algorithms
上述したように，文字や数値以外を扱うマルチメデ

forMiningAssociationRules

proc．ofthe20thInter−ィア領域へとデータベース応用が広がるにつれて，さnationalConference on Very Large Data Bases，

まざまなデータモデルやデータ構造（半構造データ

Santiago，Chile，pp．487¶489，1994．

1998年12 月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（9）651

［2］Che町 M：S。，Han，J，and Yu，P．S．：

Data［7］Kambayashi，Y．，Makinouchi，A．，Uemura，S，9 Mining：AnOverviewfromaDatabasePerspective，

Tanaka∴軋 amd Masunaga，Y．（eds．）：‡EEE Trams．on Knowledge and Data Engimeering，

Database SystemsforIntegrationofMediaandUser

Voユ．8，No．6，pp．866−883，1996。

Environments，98［3］『ayyad，U．M爪，㌘iatetskyⅣShapiro，G申，Smyth，

deveiopmentseries，Vol，9，WorldSciemtific，（1998）。

Pu and Uthurusamy，R＜：

Advamcesin Knowledge［8］河野浩之：慮ふ知識発見とデータマイニング，AAAI／MIT Press，

ジィ学会誌，Vol．9，Non6，pp．851−860，1997．

Discovery amdI）ata Mining，Advanced database research and日本ファ［9］Michalski，R−S。，Bratko，王。and Kubat，M。

（1996）【［4］Gray9P．，ニTheNewDSS：DataWarehousiYlg，（e鮎．），：ム Ma班imeIノearming and Ⅲata Miming，

OLAP，MDD，andKりD99，H互CSSⅣ31，1998。

Methods and Applications［5］Ha貢narayan，Vu，Rajaraman，A。andUllman，才．

（1998）。

D∴［川］津本周作他： 共通データに基づく知識発見手法のImplementimgDataCubesEfficientiyシ9，Proc．of［6］Inmon，1町．H。andIiackathorn，R．．mり，John Wiley＆ Sons，

比較と評価 ，第12回人工知能学会全国大会論文集，

班e1996ACM SIGMOm，pp。205−216，1996。

Using

ppⅣ7286，1998。

the DataWarehouse99，JohnWiley＆Sons，（1994），［11］安江仁一彦： 生産スケジュー仙リング8ソフトウェアニ（藤本康秀監訳9

統合業務システムERPと製造実施支援システムMES

よくわかるデータウェアハウス活用法∴インターナショナル0トムソン0パブリッシング￠との架け橋サ ヲ 生産スケジューリング。シンポジウム 97

ジャパン，（1996）。）

講演論文集，pp．7−′12，1997．

65望（10）

Advanced© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ8リサーチ