計測自動制御学会東北支部第165回研究集会（1996．12．13〕
資料番号165−2

Wave−Netを用いたトレンドデータからの知識抽出の試み
KnowledgeExtractionfromTrendDatabyusingVVAve−Net0鈴木保＊，山下善之＊，鈴木睦★
OTalllOtSllSllZuki＊，YoslliyllkiYaIllaSllita＊，Mllt．SumiSuztlki＊＊東北大学大学院化学工学専攻＊Del）artmentOfCllelllicalEnginecrl11g，TohokuUIlivcrsity
キーワード＝ ウエーブレソト（≠・aVelet），多重耶傾度解析（mllltire叩Iution乱naユysis），
ウJL−プネット（Wave−Nct），三角形表現（trianglarrepresentatiL）Tl），

二分木（l血arytree〕，知識獲得（knowledgea仁q11isition）
連絡先：〒980−77 仙台市青葉l克荒巻字青葉12−13東北大学大学院工学研究科化学工学専攻鈴木研究室
鈴木保，Tel∴（D22）217L7266，F孔X・＝（022）217−7293，Email＝ta几0叫Se・Ch8・tOhoku．ac，jp

1． はじめにチックな方法がなく、試行錯誤的にサイズを決定しなくてほならない。

化学プロセスにおいてその人力と出力を関係● ネットワーク内部がブラックボックスであり、づけるモデルを構築することは必要不可欠な作業である。従来、化学70ロセスのモデリングは、プ内部構造からプロセスの状態に関する知見をロセス内の諸現象を定量的に把握Lそれを完式化得ることができない。

する、という方法が探られてきた。しかし、化学化学プロセスのモデリングにおいては、とくに後プロセスは副反応を含めた詳細なモデルを構築す者の克服が大きな課題となっている。

ることが困難であったり、モデル中のパラメータ上記のような欠点を克服L得るネットワークのが求められない場合がほとんどである。それゆえ、1つとLて期待されているのがここで用いるWave＿

プロセスの人出カデ山タのみからモデリングするNetである。W乱Ve−Netとは直交ウエーブレットに方法が模索されている。

よる多重解像度解析の概念を、そのままネットワー

ニューラルネットワーク（以FANN）はその単クで表現Lたものである。Lたがってウェーブレッ

純な構造にもかかわらず、プロセスの入力と出力ト変換と同様に、プロセスデータから特徴的な波を柔軟に関係付けることができるため、新Lいモ形を抽出することが可能である。

デリング法とLて期待を集めている。しかL、プ本研究ではWave−Ⅳetと二分木を組み合わせる

ロセスのモデリングに一般的なAⅣⅣを使用する

ことにより、化学プロセスからのルール抽出を試には、以下のような難点がある。

みる。すでにStepll孔nOpOulosらにより、ウエーブレット変換と二分木を用いたルール抽出法が提案●ネットワークのサイズを決定するシステマ−1−

されている4）。ここでは二分木をファジィ化するこ

またMRAとは直交ウエーブレットを使って波とにより、より柔軟なルールの抽出を試みる。

形データにどのような周期の成分が含まれているかを解析する方法である。MRAでは解析に用いる

2． Ⅵ7盲Ⅳe−Net

ウエーブレットの周期を順次半分にしていく（すなわち、レベルを1つずつ上げていく）ことによ

Wav㌣ⅣetはAⅣⅣの1種であるが、以下のより、解像度を倍々に上げていくことができる。こうな特徴を持っている。

れは商連フーリエ変換において、周期を順次半分●ノードの基底関数に直交ウエーブレット中とにした三角関数を用いて波形解析する過程によくそのスケール関数￠を用いる。

似ている。

●ネットワークの学習法に多重解像度解析（以2．2 ネットワーク構造

下MRA）の概念を採り入れる。
囲1にWave−Ⅳ亡tの概略を示す。Wave−Netの2．1 直交ウェーブレットとMRA

構造は一般的な1入力1出力の三層階層型ニューラルネットワークと同様である。入力fに対するウエーブレットとは一般的に（1）式の条件を満

Wave−Ⅳeり（f）の出力は〔5）式となる。

たすすぺての関数中川に（2）式のような平行移動

j2Jと相似的変形を施した関数群を表Lている。

エ常仲）＝町紳）＋∑∑wj．勅拍）（5）i＝0た＝0

山＜∞（1）

ここではWavモーⅣetのノードの基底関数として図2のBattle−Lema∫ieウエーブレットとそのスケー1）（仙＝エ叩卜叫（坤）ング関数を用いる。

巾誹｝＝）

（2）

（1）式の条件は十分速く減衰する関数紳）については（3）式の簡明な条件と同値となる。

エ中（f）df＝0（3）

ある種のウエーブレットにおいてパラメーターα、bをうまく稚散化するとウエーブレット全体を完全正規直交基底にすることができる。標準的な離散化はαを2のべき乗とするもので、（4）式のよ
図1．WavかNetの概略図

うにして作られるウエーブレットが正親直交基底

1．6l．占となる。

（偏＝2叫（2ゴトた），J車g

1

10．1

0．100）（4）■．与■0．l

これが直交ウエーブレッ†と呼ばれるものである。
11■

ここで（4）式のJをウエーブレットのレベルと呼・2021●・▲ ・量〔a）ウエーブレット （b）スケール関数ぶことにする。

B12．Battle−Lemarieウエーブレット

−2−○量

■

2．3 学習アルコリズム

5）レベルjのウエーブレットのノードからの出力ち（t）を求める。

W乱Ve−Netでは学習法にMRAの概念を探り入れており、スケール関数のノード、レベル0のウJ

ち（t）＝∑wrA

エーブレットのノード、−レベル1のウエーブレッ（10）

i＝○トのノード、．．．の順番に重みを求めていく。人力

即W乱Ve欄etの出力叫t）を求める。

データti＝（fl，蒼2，．．．，fn）rと対応する出力データ
J

f（t）＝い∑ちⅩi＝（ェ1，諾2，…，∬托）Tを学習するアルゴリズムを

（11）

i＝0

以下に示す。
もL（Ⅹ−r）T（Ⅹ−f）≦e朗tであれば学習終
1）自乗誤差の和の最大値錯e亡を設定する。

了。そうでなければJ＝j＋1として4）へ戻る。

2）スケール関数のノードと出力層の間の重みw．を最小自乗法を用いて求める。
乱lβ＝乱 三角形表現∑こ1†摘（fi）†（6）Wa）e−Netによって分解された周期データをそ∑芸1†抑i）Iコのまま二分木の作成に用いることは不可能である。

3）スケール関数のノードからの出力も（t）を求それゆえ周期データを三角形表現を用いたトレンめる。

ドデータに変換する。三角形表現とは、波形デー㌔〔t）＝址．

タを図ほの4種類の三角形A、B、C、Dとその頂点（7）における種々の値を用いて、定性的かつ定量的に表すものである。固4に三角形表現の一例を示す。

もL（Ⅹ−りT（Ⅹ−り≦錯efであれば学習終了。そうでなければJ＝0とLて4）へ進む。

ノア7 『

4）レベルJのウェーブレット（￠耕，た＝0，1け，2りのノードと出力層の間の重みwjを求める。てとゝ∠プ
C＝（（ArA）■1AT）Ⅹ（8）D

図3．≡角形表現で用いる4種類の三角形

ここで行列AJは（9）式で表される。
Aj＝

中j．0（fl）恒．1（亡1）・■・転が〔fl）
転0（f2）軋1抽）… 叫，2j（f2）︶
nt′し
．J
ウ■

軋

巾，0（り・毎1（りI（9）囲4．三角形表現の一例

ー3−まず三角形表現を用いた定性的なトレンドは以下〃ですべての要素がた種類の状態のどれかに属すの手順で導出される。

る集合を考える。この集合のエントロピーは（12）に示すSbannonのエントロピーで表される。

1）♯散的な波形データ（本研究ではプロセスの周期データ）を三次スプライン補間L、スプJ（〃cl，〃b2，…，Ⅳc鳥）＝ライン曲線y（りにする。

一主著xlog2（筈〕（12） i＝12）スプライン曲線y（t）を極値点および変曲点

ここでⅣciは状態仁iに属する要素数である。こで区切る。の集合を2つの集合Gl、G2に分けた場合のエントロピーは（13）式で表される。

3）各区間を曲線y（f）の一次導関数および二次導関数の正則こよって図の4種類の三角形に即軋G2）＝叶帖，帥，帖β1）分類する。

・叶町恥，侮，G2）（13）・響≧0∩雪粁≦0→三角形A
こ・卓鮮≦0∩卓許≦0→三角形B

Giのうちで状態Cたに属する要素数である。ここ・望鮮≦0∩旦…辞≧0→三角形C

では（1ユ）式が最小となるように集合を分割するこ●背上≧0∩旦：辞≧0→三角形Dとにより二分木を作成していく。

4）分類された記号を順番に並べたものを定性

4．2：定量的トレンドによる二分木の作成的トレンドとする。Lたがって、ここで挙げここでは定性的トレンドの場合と異なり、集合た例の定性的トレンドはCDABとなる。

をファジィ集合として取り扱う。要素数がⅣ、要また、各三角形の定量的トレンドはAf、△ェおよ

素よの帰属度叫＞0ですべての要素がた種類のび三角形の始点と終点（すなわち、スプライン曲状態のどれかに属する集合を考える。さらに定性線の極値点および変曲点）の∬、t、審とする。し的†レンドの値耶が小きい順に並んでいるもの

たがって、1つの三角形につき8種の定量的トレとする。このファジィ集合のエントロピーは（14）ンドを得ることができる。

で表される。

4．二分木の作成

JJ（〟1，…，肘〃）＝

∑貴叫，C

∑苦竹c

ここでは最初に定性的トレンドのみを用いて

（14）

∑畏1叫

二分木を作成する。そして定性的トレンドのみで）］

ここで叫．cjは状態Ciに属する要素の帰属庶は十分な分類を達成できない場合に定量的トレンである。このファジィ集合をしきい値伊で2つのドを用いる。

ファジィ集合仁1、G2に分けた場合のエントロピーは（15）式で表される。

4．1定性的トレンドによる二分木の作成

且J（Gl，G2）

二分木の作成は集合を2つの小集合に分割する作業であるが、その分割の基準とLて以下に述∑叫，Gl項叫．．Gl，・リ〟叫Gl）

∑た1腫

∑叫，Gコ

JJ（〟1，G封‥，且オ〃．G2）べるSha．nnonのエントロピーを用いる。要素数が（呵ー4−ここで叫苗は要素よの集合qに対する帰属度rβ＝た1CA−た2C月であり、（16）で表される。

（21）

また、頼ま頼まともにAr止eniu占の式に従うもの

叫向＝〝句（如叫とL、それぞれ（22）式、（23）式で表される■。

（16）

ここで用いたファジィ集合Gl、Gっのメンバーシッ

た1（r）＝AleXp（一）（22）

岬）＝A2eXp（一）（23）

プ関軌帖1（如、I咄（如をそれぞれ（17〕式、（18）式に示す。

ここで、且1、且2は活性化エネルギー、月は気体

0（ヴ＜β−出ヂ岬）

1．1

（l1

定数である。

（叩−す1）F2

帖1（9）＝

岬一迫妄皿∫≦曾＜伊＋且写生∫）

初期状態ではリアクタ一に温度．孔、漉度CA。

1（9≦β＋彗皿ダ）のAが充填されており、リアクターを望ましい反（17）1（9≦β一撃L∫）
1

応温度に引き上げるためジャケットにスチームを

伊＿ 1（吼〃−ql）F■ 2 ＋真供給する。その後BがCへと転化するのを抑制

岬一出ヂLダ＜す≦伊＋且正吉皿∫）するためにジャケットに冷却水を供給する。また、

0（曾＜β＋当皿∫）

バッチ時間は95秒とする。学習データとしてリ（柑）ここで、ダは二分木のファジィ化の程度を表す係

アクター温度rの経時変化およぴBの最終強度数である。F＝0のとき二分木はファジィ化する前C即を用いる。囲6にrの軽時変化を示す．。ここと同じであり、ダが大きくなるにつれてファジィ

では冷却水温度れ〟にばらつきを与えてⅣ0．1〜14化の度合いが強くなる。ここでは（15）式のエントのデータを作成した。また計算に用いたパラメー

ロピーが最小となるLきい値βを用いて集合を分タを表1に示す。

割し、二分木を作成していく。

5．ケース．スタディ
5．1対象
ここでは固5に示すパッチリアクター叫を例としてケーススタディを行う。リアクターは完全混合槽であり、内部では（19）式のような連続反応が起こるのものとする。
A→月・→Cj饗kモl（19）図与．バッチリアクターの概略図

物質Aは反応物、物質Bは主生成物であり、物質Cは望ましくない副生成物である。反応A→月はAの浪度CAに関する一次反応、月→CはBの濃表1，計算に用いたパラメータ
A1729・与5min−1β11与000BTUハb・mOI

度Cβに関する一次反応であり、AおよびBの生J42 6与6T，6min￣1E2 20000BTU／lb・mOl

成速度rA、佃はそれぞれ（20）式、（21）式で表さ

孔 帥Fれる。
rA＝−た1CA（20）−5−CAO O・801b・m叫ftき26022018014010060020408080020 40 601t与e亡】

801【虻C】

702805022030180101ヰ0・10100−3060−50020020 40 60 80t【虻C】

450350250F 150F50・50・150020406D・25080028ヰ0l【駈C】

8080t【聞C】

図6．リアクター内部温度の経時変化

囲7．レベル1の周期データ

図6のデータからWavかNetを用いてレベル1の●C即≧0・41→状態GOOD周期データを抽出Lた。その結果を図7に示す。
表2に学習データの冷却水温度、データの定性的■0・39≦C即＜0．41→状態NORMAL

トレンドおよぴプロセスの状態を示す。ここでは

・C即＜0・39→状態BAD

プロセスの状態を以下の4種類に定義している。
●rが一点でも300を越えるものはC即が著Lく低くなるのでr≧300→状態丁一HIGH一6−表2．トレンドデータ

た定量的トレンドとそのLきい値を表している。たNo・‰ C即 定性的トレンド

状態

とえば、nOde2のtrend2，Ⅹend，26．040は2番目の定

1 70 0．376

DABCDA

BAD

2 75 0．381

DABCDANORMAL

3 78 0．385

DABCDANORMALで分割していることを示している。nOde3では34 80 0．389

DABCDA

ⅣORMAL

種類の定性的トレンドDABCDAB、CDABCDAB、

5 82 0．393

DABCDANORMAL

6DABCDAⅣORMAL

7 88 0．410

DABCDA

GOOl）

ドであるDABCDAの定量的トレンドを用いて二8 gO O．419

DABCDA

GOOD

分木を作成Lた。

g g2 0．430

DABCDAGOOD

10 95 0．454

DABCDABGOOD

11 97 0，480

DABCI）ABGOOD

12 98 0．490

CDABCDABGOOD

13 99 0．000

CDABCDA

T−HIGH14 100 0．000

CDABCDA】〕

T−HIGH

鮎0．400性的トレンドの終点の正についてLきい値26．040

CDABCDAが存在するので、共通の定性的■Tlレン

この二分木から次の与個のルールを抽出できる。

●IF定性的トレンドがDABCDA
and2番目の三角形の終点の∬＞26．040
THEⅣ状態ⅣORMAL●IF定性的トレンドがDABCDA
amd2番目の三角形の終点のェ≦26．040

5．2 二分木の作成

and4番目の≡角形のA∬＞−33．111
THEⅣ状態GOOD

最初にファジィ化Lていない二分木の作成を試みた。その結果を図8に示す。

●IF定性的トレンドがDAIiCDA
旭d2番目の三角形の終点の茸≦26．040

DABCDA CDA丑CD九B
DABCDA月 CDA8CDA

and4番目の三角形の△∬≦−33．111

THEN状態BAD●IF定性的Iレンドが
h亡nd2

加n肥
X亡ndxend

ユ丘040−5ユ．ユ11∧
ココ．4．5．6

NORMALDABCDABorCDABCDABorCDABCDA
and2番目の三角形の終点の∬＞一52．211

∧

nod亡4

匝］

13．14

THEⅣ状態GOOD
1D，1l．1ユ■IF定性的トレンドがT−mGH GOOD

叶亡nd4

DABCDABorCDABCDABofCDABCDA

d亡Ilaエーコ3．111

and2番目の三角形の終点の正≦−52．211∧
7且9GOOD

THEN状態T−HIGH
15．3 ファジィ化した二分木

BAD

図臥ファジィ化していない二分木

次にファジィ集合を用いた二分木の作成を試み

nodelでは定性的トレンドによる分割を、nOde2、た。その結果を園9に示す。nOdelでは定性的ト

node3、nOde4では定量的トレンドによる分割をレンドによる分割をmode2、nOde3、nOde4、nOde5行っている。囲中の四角の中の数字は分割後のエンでは定量的トレンドによる分割を行っている。

トロピーであり、その下の記号と数字は分割に用い−7−このメンバーシップ関数を用いてデータのGいG2DABCDA CDABCDABDABCDAB CDABCDAへの帰属度を（16）式により求める。その結果を表3に示す。

表3．メンバーシップ関数と帰属度
tr印dl
血仙血卸110．241

朋濫l

1：事1．【氾qlヰl．抑）l

T−HIGH1 0．198

0．000 1．000

0．000 0．198

6 0．0541．000 0．000

0．054 0．000

7 0．帥21．000 0．000

0．802 0．000

8 1．000

1．000 0．000

1．0（〕0 0．000

9 1．000

1．000 0．000

1．000 0．000

そLて、（14）式により仇、G2のエントロピー

GOOD∫J，別、キ．G2を求める。

匝垂コ几鵬5m血4匝］

囲1I帖2 〟Gl 〟G2

l∩＝UOLLll

爪Vlサーl瀾闇職制㈱OILL100l′∩−T089

濫㈱思潮澗

12q一4■コ′D7／ハ、∧

Ⅳ0・ 叫

甘亡nd5b℃ndl∫描1＝一7：事．7氾

dx／dtⅢd′、、

八

6 0．054

ユ1．（淵）10．＄02 7 0．802
31．【甜）
81．㈱召人D4l．（X氾91．（X氾51．（珊GOOD
6 0．9ヰdlog2 2．8与6
2．802
2．畠与6

10．1！柑0．135

BAD

JJ，G2＝07 0．198

最後に（1与）式により分割後のエントロピー勘を

NORMAL求める。

囲9．ファジィ化Lた二分木

畔1，瑚＝node5を例としてファジィ集合を2つのファジィ集
合仇、坑に分割したときのエントロピーの計算

xo■135・×0＝ 0・126

方法を示す。nOde5では5番目の定性的トレンド
ここで作成した二分木から次の6個のルール

Dの終点の亡の値を用いて、しきい値♂＝73．792を抽出できる。

で集合を分割Lている。この先量的トレンドの値●IF定性的トレンドがDABCDAを小さい順に並べると（『h恥恥恥曾8）＝（70．171，77．414，7乱朗3，79・071，79・225）となる。まandl番目の三角形の始点の審＞0．241

た、ここで用いているしきい値伊は凱と伽の中andl番目の三角形の終点の告＞2・796間値である。（17）式、（18）式より仇、坑のメン

THEⅣ状態ⅣORMAL

バーシップ関数はそれぞれ（24）式、（25）式となる。
0

帖1（曾）＝●I一定性的トレンドがDABCDA（甘く71．527）

乱mdl番目の三角形の始点の告＞0■241

諾好一15・帥0（71t与27≦曾＜76・053）
1

andl番目の三角形の終点の審≦2■796（甘≧76・053）

THEⅣ状態BAD（24）1

J時2（q）＝（曾≦71・527）●IF定性的トレンドがDABCI）A−i景子＋16・800（71・527＜甘≦76・053）
0andl番目の三角形の始点の告≦0・241（曾＞76．053）

乱md与番目の三角形の終点のl＞73．792（25）

THEⅣ状態GOOD−8−（28）●IF定性的トレンドがDABCl〕A

臥結論

andl番目の三角形の始点の告≦0■241
本研究ではW乱ⅤかⅣetと二分木を用いてプロセ

弧d5香呂の三角形の終点のf≦73．792

スデータからのルール抽出を読みた。その際二分TⅡEN状態BAD

木をフ7ジイ化することにより、より詳細なルー●IF定性的トレンドがルを得ることができた。また、プロセスの状態のDABCDABorCDABCDAB orCDABCDA過渡期を検出することもできた。

and2番目の三角形の終点の訂＞−52．211

参考文献

TIIEN状態GOOD

1＝rT・−Y・Che11ngaAdG・Stephanopoulos：Repfe一●IF定性的トレンドが班nt8■tiomofproce88tTend8−PaJtI．AfoT】丑山repTe一紙ntat主onh・ameWOrk，CompⅦt椚血emEngng，14．

DABCI）ABorCDABCDABorCDABCDA

4g町510（1g908）

乱nd2番目の三角形の終点の芳≦−52．211

2＝．T．−Y．Cbeung弧dG．Steph郎10pOⅦlo8：Repre−
SeZltationofproce聞trendトPaftII．TlleprOblem

THEⅣ状態T−HIGII

of8C山e別IdqtLdit且tiveBCding，Compllte柑Chem
Bngng．14，511／539（19gOa）

以上のようにファジィ化Lた二分木ではそうでな

3）B．R．駄止血i乱ndG．Stepb．a皿OpO11lo8：Repre粥n−t8．tion ofpro亡e88tren血¶P町tIII．Ml11ti6亡山e ex−
tra亡tionoftrend琴丘omproce88d出札，Comp血e一基い場合より多くのルールを抽出することができた。

cbemEn印g，18，26丁／302〔19g4）

また、データの各状態への帰属度を二分木から4）ヨ∴R．B濾＄hi乱ndG．Step一肌Op仙lo8：Repre占enta−
tioAOfpro亡e古5tre皿d6＋PzLrtIV．IndllCtionofre山・time patter皿白如m ope一札tingdatafor diagn伽is
amd引1perVi紺ry亡0皿tr0l，Comp山er8血emE叫弾唱，

求めてみた。その結果を表4に示す。データ6は状態NORMALへ0．946、GOODへ0．054の帰属

18．3D3／332（1994）

度を、データ7はⅣORMALへ0．1鮨、GOODへ

2つのデータ間にNORMALからGOODへの過渡

5）B・R．駄血正目姐d G．Steph即10pOtllo8：W訓㌣
Net：aMultire帥111tio叫Hier打dli仁山Ⅳ軋1山Net−
WOrkwith Locali五edLeaming，AICh耳Jl，39−1，期があることがわかる。十分なデータがあれば、

6）Wi11iam L．L11yben：PROCESS MODELING，0．帥2の帰属度を示している。このことから、この57／81（1粥3）SIMULATION，AND CONTROL FOR CHEM−

この他の過渡期も検出できると考えられる。

ICALEⅣG川EEmⅣGS．与7／157，M批G一札w−Him
P11bli8hi一喝Conp弧y，（1990）

表4．二分木から求めた各状態への帰属度

7）チャールズⅨ．チュウイ‥ウエーブレット入門，1／20a，
東京電機大学出版局，（1993）

No．孔・仁木 状態への帰属度
1 70 0．376

1．OB

275 0．．381

l．0Ⅳ

378 0．38与1．0Ⅳ4別） 0．389

1．0Ⅳ

与82

1．0Ⅳ

仇393

6 85 0．400

0．946N＋0．054G

7 88 0．410

O．198Ⅳ＋0．802G

8 90 0．419

l．OG

9 92 0．430

l．OG

109与 0．454

l．OG

11 97 ■0．480

l．OG

12 98 0．490

l．OG

13 99 0．000

l．OT

14 100 0．000

l．OT8）水本改晴＝ファジィ理絵とその応用，1／122，サイ
エンス社，（1988）

B： AD，N：NORMAL，G：GOOD，T：T−HIGH

一9T