情報処理学会研究報告
IPSJ SIG Technical Report

フィルタリング法に基づいたネットワーク異常検知のための特徴
選択手法に関する調査
YANG LYU a)

YAOKAI FENG b)

KOUICHI SAKURAI c)

概要：本稿では、特徴選択技術の中で重要かつ広く使われているフィルタリング法に基づく特徴選択技術に焦点を当てる。一般的な説明だけでなく、よく使われる探索アルゴリズムや関連性尺度も詳細に説明する。本稿では、関連するフィルタリング法に基づく特徴選択アルゴリズムを基本的な相関計算法から複雑なアルゴリズムのロジックまでの発展の流れに沿って整理している。
キーワード：ネットワーク攻撃の検出、特徴選択、フィルターテクニック

A Survey on Feature Selection Techniques Based on Filtering
Methods for Network Anomaly Detection
YANG LYU a) YAOKAI FENG b)

KOUICHI SAKURAI c)

Abstract: This paper focuses on feature selection techniques based on filtering methods, which are important and widelyused among feature selection techniques. Filtering methods are described not only in general terms, but also in detail with
commonly used search algorithms and relevance measures. In this paper, feature selection algorithms based on related
filtering methods are organized along the lines of development from basic correlation computation methods to complex
algorithmic logic.
Keywords: Network attack detection, Feature selection, Filter Techniques

1. はじめに
現在、ネットワーク攻撃が大きな問題となっていて、組織や個人に巨大な被害や損失をもたらすため、ネットワーク攻撃検知技術は重要な役割を果たしている。特徴選択は、多くの攻撃検知システムで重要なステップであり、不要な特徴の削除により、トレーニングコストを削減し、分類モデルをよ存の特徴選択アルゴリズムの重要な一種で、広く使用されている。一般的な説明に加えて、これらの技術でよく使われる
探索アルゴリズと関連性尺度も詳細に説明されている。本論
文では、1関連計算方法から特徴選択手法を含む複雑なアルゴリズムのロジックまで、関連するフィルタリング法に基づく特徴選択アルゴリズムを発展の軌跡に沿って整理されている。

り理解しやすくし、検知性能を向上させることができる。さらに、特徴選択はモデルサイズを縮小し、検知システムを軽2. 特徴選択アルゴリズム

量化することができる。これは、従来の攻撃検知システムを前のセクションで述べたように、特徴選択にはデータ収集

実装できない多数のパワー制限とリソース制限されたデバと分類モデルのトレーニングのコスト削減、モデルサイズのイスが存在する IoT ネットワークで特に有益である。特徴選

縮小、分類性能の改善、おそらく分類モデルの理解がよくな択の重要性から、多くの関連技術が提案されており、各技術

るといった多くの利点がある。そのため、多くの特徴選択アにはそれぞれの利点と欠点がある。どの技術を使用すべきか

ルゴリズムが提案されている。

は、多くのシステム開発者にとって困難な問題である。特徴

多くの作品では、特徴選択手法はフィルタ技法、ラッパー

選択手法に関する調査論文は多いものの、ほとんどが全体像技法、埋め込み技法 [1][2][3][4][5][6][7][8][9][10][11]. に分を捉えようとしていて一般的すぎて、読者に手法の具体的な類されることがある。しかし、ハイブリッドメソッドやこれイメージを把握することが困難である。本論文では、フィルらの 3 つのカテゴリに属さない他の手法もある。このセク

タリング法に基づく特徴選択技術を重点的に扱い、これは現ションでは、それらの簡潔なまとめが提供される。本論文はa)九州大学大学院システム情報科学府
九州大学マス・フォアイノベーション連携学府
amoyang98@gmail.com@gmail.comb)九州大学大学院システム情報科学研究院 fengyk@ait,kyushu-u.ac.jpc)九州大学大学院システム情報科学研究院 sakurai@inf.kyushu-u.ac.jpⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
フィルタ技法に焦点を当てるが、多くの研究者や開発者にと単変量フィルタ技術では、各特徴が個別に単変量統計的測って多くの利点があり、多くの人が注目するものである。こ定値を使用して重み付けされ、ランク付けされます。これはのセクションでフィルタ技法に関する詳細な説明がなされフィルタベースの特徴ランキングと呼ばれる。一方、多変量た後、3 つ目と 4 つ目のセクションで、フィルタ技法に不可

フィルタ技術では、複数の特徴をグループとして同時に評価

欠な技術的なコンポーネントである検索アルゴリズムと関するために多変量の測定値が使用される。これはフィルタベ

連性尺度が説明される。

ースのサブセット評価と呼ばれる。この場合、探索アルゴリ

フィルタテクニック

ズムを使用して異なるサブセットの価値を比較することが2.1

フィルタテクニックは、データ固有の性質に基づいて特徴の関連性を評価する。各特徴に対して関連スコアが計算され、

できる。
2.2

ラッパーテクニック

スコアが低い特徴が削除される。結果のサブセットの特徴はラッパー手法は分類器依存のものであり、分類器との相互検出器/分類器への入力として提供される。したがって、特作用がある。これらの手法は、特徴サブセットを分類アルゴ

徴の選択のプロセスは、分類アルゴリズムと完全に独立した

リズムのパフォーマンスを使って評価する。つまり、各特徴

統計的手法によって最適な特徴のサブセットを決定するこ

サブセットの評価者は予め定義された分類器（例えば、SVM、とである。フィルタテクニックの利点は次のとおりである。

Naive Bayes、Random Forest など）である。評価プロセスはA) データ自身の固有の性質に基づいて特徴の関連性を各サブセットに対して繰り返され、特徴サブセットの生成は評価するため、分類アルゴリズムに独立している。

フィルタ手法と同様の探索戦略に依存する。つまり、ラッパB) 計算効率が高いである。

ー特徴選択は分類アルゴリズムを特徴選択プロセスに埋めC) 多くの特徴を持つデータセット (高次元データセッ

込み、すべての特徴のさまざまなサブセットを探索アルゴリト) に簡単にスケールすることができる。
D) 特徴の選択のプロセスは一度だけ行われ、特徴の選択の結果は異なる分類器に使用することができる[4]。
E) ラベル付きトレーニングデータの利用可能性に応じて、ズムより生成して評価する。フィルタベースの手法との違い
は、分類器が特徴サブセットの評価に使われていることである。これらの手法の普遍的な欠点は、特徴選択プロセスが予め定義された分類モデルと深く相互作用するため、オーバー

監視または非監視の方法で使用することができる。この柔軟

フィットのリスクが高いこと、評価プロセスが各サブセット

性は、広範な IDS アプリケーションに使用することができに対して繰り返されるため、計算コストが非常に高いことでる[12]。

ある（大きなデータセットで分類器をトレーニングし、すべ

このように、フィルタ技術は多くの研究者やシステム開発ての特徴サブセットを評価することが計算コストが高いた

者に魅力的であり、複数の特定の方法が提案されており、そめです）[4][5]。また、特徴選択の結果は評価された分類アルれらは 2 つのタイプに分類することができる: 単変量フィ

ゴリズムに偏っていることもある。

ルタと多変量フィルタ。前者の方法は個別に特徴を評価し、

2.3

埋め込みテクニック

特徴間の依存関係や相互作用を無視する。したがって、それ埋め込みテクニックもラッパーテクニックのような分類

らは良い特徴選択の結果をもたらすことができない場合が器に依存しているため、分類器とも相互作用する。しかし、ある [13][14]。多変量の方法は特徴間の依存関係や相互作用

これらの方法では、特徴の最適なサブセットの決定は分類器をいくらか考慮する [2][3][4]。すなわち、フィルタ方法は個の構築に組み込まれている。つまり、埋め込み手法は分類ア

別の特徴 (単変量) をランク付けするか、全体の特徴のサブ

ルゴリズムの実行中に特徴選択を行う。特徴選択のプロセスセットを評価することができる (多変量)。フィルタ技法では、通常の機能または拡張機能として分類アルゴリズムに埋一般的に使用される評価方法はセクション 4 で詳細に説明

め込まれる。したがって、埋め込み手法は特定の学習/分類される。多変量フィルタ技法の特徴サブセットの生成は、探アルゴリズムに固有である[4][5]。この文脈で使用される一索戦略に依存する。一般的に、特徴サブセットの生成のため

般的な分類アルゴリズムには、一定の種類の決定木、加重ナの探索戦略には 4 つのタイプがあります: 1) 前向き選択、2)

イーブベイズ、SVM の点数ベクトル[4]、SVM-RFE[17]、カ後方排除、3) 双方向選択、4) ヒューリスティック [15]。フーネルペナルティ SVM[18]などがある。いくつかの決定木

ィルタ技法で一般的に使用される探索アルゴリズムは次のアルゴリズムの種類には、CART（分類と回帰木）[19]、セクションで説明される。

C4.5[20]、ランダムフォレスト[21]などがあり、多項式ロジス

サブセットの価値を評価するときには学習アルゴリズム

ティック回帰とそのバリエーション[22]などもある。埋め込ではなく、独立アルゴリズムや統計的測定値を使用する

み手法は特徴のサブセットの価値を評価するために独立統[16]。

計量と分類アルゴリズムを包括的に使用する[16]。

ⓒ2023 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
多くの論文は上述の 3 つの特徴選択手法のみを言及しているが、実際には、いくつかの研究者はハイブリッド技法や低下する。検索アルゴリズムは、過学習を防ぐために最小のサブセットの特徴を見つけるのに役立つ。

これら 3 つのカテゴリに分類することが困難な他の技法をC）モデルの解釈性を改善：検索アルゴリズムは、最も情提案している。次の 2 つのサブセクションで簡単にまとめ報的なサブセットの特徴を特定するのに役立ち、モデルをよられる。

り解釈可能にすることができる。

2.4

ハイブリッドテクニック

D）計算複雑度の縮小：特徴の数が非常に多い場合、トレフィルタとラッパーの技法のいくつかのハイブリッドアーニングと評価を行うことも計算上非常にコストがかかる。

プローチも提案されている。ここではフィルタとラッパーの重要な特徴のサブセットを特定するための検索アルゴリズ

良い性質が組み合わせられている [15][23][24][25]。まず、フムの使用により、計算複雑度が縮小することができる。

ィルタリング手法を使って複数の候補サブセットを得る。次に、ラッパーは最適な候補を見つけようとする。
2.5

その他のテクニック

E）一般化の改善：検索アルゴリズムは、新しいデータに適合するサブセットの特徴を特定するのに役立つ。
多変量フィルタの特徴サブセット生成には、前向選択、後

上記のカテゴリに含まれないいくつかの方法が提案され退除去、双方向検索、ヒューリスティック特徴サブセット選ている。これらの方法には、ファジー・ランダムフォレスト

択などの検索戦略が使用される。これらの戦略は、それらがに基づく特徴選択[26]、ハイブリッド遺伝的アルゴリズム

どのように開始し、可能な特徴サブセットの空間をどのよう[27]、ハイブリッド蟻コロニー最適化[28]、またはハイブリに探索するかによって異なり、与えられたタスクのための最ッド重力探索アルゴリズム[29]が含まれる。

良の特徴サブセットを見つけることを目的としている。これ

さらに、いくつかの特徴選択方法は、フィットエラーを最らの戦略は、それぞれがどのように開始し、可能な特徴サブ

小化する目的関数に基づく特徴ウェイト付けに基づいていセットの空間を探索するかにおいて異なるが、与えられたタる[30][31]。一般的には線形分類器（例えば、SVM）が使用

スクに最適な特徴のサブセットを見つけることが目的であされ、分類にほとんどまたは全く貢献しない特徴がペナルテる[15]。

ィを受ける。
論文[32]では、個々の特徴選択方法からの独立した結果をこれらの検索戦略は、指数、順次、およびランダムに大まかに分類できる[33]。

組み合わせるアンサンブル手法が提案されている。ヒューリ

指数アルゴリズムには、徹底的な探索と分岐と制限が含ま

スティックベースとグリーディーベースの 2 つのアンサンれる。これらの方法はすべての特徴のサブセットを評価する

ブル方法が提示され、選択プロセスを自動化しようとしていが、大きな特徴空間の場合は計算コストが非常に高いことがる。ただし、著者が述べたように、探索を停止する終了条件ある。

を決定するのは難しいということである。

3. フィルタベースの特徴選択方法における検索
アルゴリズム特徴選択は、多くの機械学習問題では、すべての可能な特徴を使用すると過学習や高計算複雑度が生じるため、最も予測性能が優れている最小のサブセットを選択することが有用である。検索アルゴリズムは、多数の特徴から最適なサブセットを見つけるのに役立つ。したがって、検索アルゴリズ
ムの品質は対応する特徴選択アルゴリズムの性能に大きく影響する。以下は、特徴選択アルゴリズムが検索アルゴリズ
ムの使用を必要とするシナリオである。
A）高次元データセット：特徴の数が非常に多い場合、すべての特徴のサブセットを評価することは計算上非常にコストがかかる。検索アルゴリズムは、サブセットのみを評価することで、効率的に最も重要な特徴を特定するのに役立つ。
B）過学習：モデルに特徴が多すぎる場合、トレーニング
データに適合することができるが、新しいデータでは性能がⓒ2023 Information Processing Society of Japan

シーケンシャルアルゴリズムには、前向選択、後退除去、
双方向検索が含まれる。これらの方法は一度に 1 つの特徴を追加または削除し、局所的な最小値に陥ってしまう可能性があり、最適な特徴のサブセットを見つけられない場合がある。
ランダムアルゴリズムには、ヒューリスティック特徴サブ
セット選択、遺伝的アルゴリズム、シミュレーテッドアニー
リング、ランダムサーチが含まれる。これらの方法は、探索手順にランダム性を組み込み、局所的な最小値を回避し、特徴空間をより広い範囲探索することができる。これにより、最適な特徴のサブセットを見つける可能性が高くなる。
この論文では、以下の主流の検索アルゴリズムを紹介する。
3.1

貪欲なヒルクライム

この探索戦略は、現在の特徴のサブセットに対する局所的な変更だけを考慮する。一般的に、局所的な変更は、サブセ
ットから特徴を追加または削除することだけである。初期サ
ブセットが空であり、一度に 1 つの特徴だけが追加される
場合、前向選択として知られている。逆に、初期サブセット

3情報処理学会研究報告
IPSJ SIG Technical Report
が完全なセットであり、一度に 1 つの特徴を削除する場合、合理的な特徴選択スキームを探すことに言い換えられる。

後退除去として知られている[34][35]。別のアプローチは、

現在、特徴間の相関を計算する複数の方法がある。これにステップワイズ双方向検索と呼ばれている。追加と削除の両は、線形メソッド（ピアソン、スピアマン相関係数）、非線方を使用する。現在のサブセットに対するすべての可能な変形メソッド（ユークリッド、マンハッタン、角度コサイン相更の中から、探索アルゴリズムは最善の変更を選択するか、関係数）などがある。カイ二乗検定や相互情報も使用できる。

単に現在のサブセットの利点を改善する最初の変更を選択

方法の選択は特定のシナリオや要件による。

することができる[36]。いずれの場合も、変更が受け入れら

4.1

れた場合は、再度考慮されない。

ピアソン相関ピアソンの相関係数（PCC）は、2 つのランダム変数の間に存在する線形の関係の深さと方向を測定する統計的手法

3.2

ベストファーストサーチ

ベストファーストサーチは、探索パスに沿ってバックトラです[39]。2 つの連続する変数 X と Y について、PCC（X、Y）は以下の式（1）を使って計算されます。

ックすることができる探索方法である。貪欲な山登りと同様、𝑃𝐶𝐶(𝑋, 𝑌) =ベストファーストサーチは現在のサブセットに局所的な変更を加えて探索空間を探索する[37]。しかし、貪欲な山登りとは異なり、ベストファーストサーチは現在探索しているパスが望ましくない場合でも、より有望なサブセットにバックトラックしてそこから再度探索することができる。この機能は主に 2 つのリストによって実現される。そのうち、オープ
ンリストは現在の状態のサブステートを記録し、クローズド
リストは以前の状態を記録する。図 3 はベストファースト
サーチアルゴリズムを示している。
3.3

遺伝的アルゴリズム

遺伝的アルゴリズムは、生物においての選択原理に基づいた適応的な探索アルゴリズムである[38]。アルゴリズムは競合する解の集合から開始し、時間の経過とともに最適解に収束する。探索戦略は解空間における並列探索で、局所的な最適解を避けることができる。次世代の新しいサブセットを生成する各操作には交叉と変異が含まれ、選択メカニズムは新しい個体の適合度に基づいている。適合度が高いほど、選択される確率が高くなる。このプロセスは終了条件が満たされるまで繰り返される。特徴選択では、解は通常、サブセットを表す遺伝的な固定長のバイナリ文字列で、文字列の各位置の値は特定の特徴の存在または不在を示す。

,(1)

ここで 𝑥̅𝑖 は X の平均、𝑦̅𝑖 は Y の平均である。
PCC(X,Y)の値は-1 から 1 までの正規化された範囲になる。
値が-1 または 1 の場合、2 つの変数間に強い相関があることを意味し、0 の場合、2 つの変数は相互独立であることを意味する。
PCC は非線形な依存変数の関係を明らかにすることができないため、またすべての特徴量に値がある必要があるため、別の相関測定方法として、以下に述べられたカイ二乗、情報
利得（IG）、相互情報（MI）などが提案されている。
4.2

カイ二乗

統計学において、カイ二乗検定は 2 つの確率変数の関係性を決定するための方法である。特に、2 つの変数が独立していると仮定され（帰無仮説）、実際の値と理論的な値（2 つの変数が本当に独立している場合に持つべき値）の誤差を観察する。誤差が十分に小さければ、帰無仮説が受け入れられる。
誤差が一定のレベルに達すると、このような誤差は偶然または不正確さによって引き起こされることはないと考えられ、
2 つの変数は実際に相関していると考えられる。すなわち、帰無仮説は拒否され、代替仮説が選択される。カイ二乗検定
は式（2）で定義されている [40][41]

4. フィルタメソッドに対する関連性尺度

𝜒 2 = ∑2𝑖=1 ∑𝑘𝑗=1

上述で、フィルタメソッドにおいて、特徴選択アルゴリズ
ムは（1）フィルタベースの特徴ランキング、（2）フィルタ∑𝑖(𝑥𝑖 −𝑥̅𝑖 )(𝑦𝑖 −𝑦̅𝑖 )√∑𝑖(𝑥𝑖 −𝑥̅𝑖 )2 ∑𝑖(𝑦𝑖 −𝑦̅𝑖 )2(𝐴𝑖𝑗 −𝐸𝑖𝑗 )2
𝐸𝑖𝑗

,

(2)

ここで、

ベースのサブセット評価に分類されることを述べた。どちらK = number of (no.) classes,

も、独立したアルゴリズムや統計的な測定に基づいて、特徴

𝐴𝑖𝑗 = no. patterns in the ith interval, jth class,または特徴のサブセットの品質を判断する必要がある。その𝑅𝑖 = no. patterns in the ith interval = ∑𝑘𝑗=1 𝐴𝑖𝑗 ,ため、このセクションでは、分類に対する特徴のメリットを

𝐶𝑗 = no. patterns in the jth class = ∑2𝑖=1 𝐴𝑖𝑗 ,評価する方法について議論する。一般的に、良い特徴はクラN = total no. patterns = ∑2𝑖=1 𝑅𝑖 ,スと関連しているが、他の特徴とは冗長ではない[36]。この

𝐸𝑖𝑗 = expected frequency of 𝐴𝑖𝑗 = 𝑅𝑖 ∗ 𝐶𝑗 /𝑁

定義に基づいて、特徴選択問題は、特徴の目的変数への関連

特徴選択において、各特徴と各カテゴリ間のカイ二乗検定性を計算するための 適切な方法を見つけ、それに基づいたを実施するだけでよく、その結果を降順で並べ替える。最後ⓒ2023 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report
𝐽𝑀𝐼𝐹𝑆 = 𝐼(𝐶; 𝑓𝑖 ) − 𝛽 ∑𝑓𝑠 ∈𝑆 𝐼(𝑓𝑠 ; 𝑓𝑖 ),に、相対的に大きいカイ二乗値を持ついくつかの特徴を選択
する。

(9)

ここで、𝑓𝑖 は元の特徴セットに属し、𝑓𝑠 は選択された特徴部

カイ二乗検定にもそれ自身の欠陥がある。特定のカテゴリ

分集合に属する。パラメータ β は冗長性に関連しており、最のインスタンスに特定の特徴が存在するかどうかを数える

適な特徴部分集合の選択に重要な影響を与える。ただし、冗が、特徴がインスタンスに何回出現するかは数えない。これ

長性パラメータ β の適切な値の選択はまだ解決されていなは低頻度の単語に偏ってしまう。したがって、カイ二乗検定

い問題である。

は通常他の計算方法（IG など）と組み合わせて強みを最大4.7化し、弱点を避ける必要がある。
4.3

多変量相互情報ベースの特徴選択 (MMIFS)

S. Mohammadi ら [44] は、特徴選択のための提案された

情報利得 (IG)

アルゴリズムとして、式 (9) を式 (10) に変更しました。

変数の不確実性を示すのがエントロピーである。情報利得は特定の条件下での変数の不確実性の減少度を示す。式(3)は変数 X のエントロピーを定義し、式(4)は Y の発見が判明したときの X の条件付きエントロピーを定義する。

𝐸𝑀𝑀𝐼𝐹𝑆 = 𝑎𝑟𝑔𝑚𝑎𝑥𝑓𝑖∈𝐹 (𝑀𝐼(𝐶; 𝑓𝑖 ) − 𝛽 ∗ 𝐼𝑁 (𝑓𝑖 ; 𝑓𝑠 )),(10)

ここで、IN (. ) は前に定義された MMI 関数である。
このアルゴリズムのアイデアは、最初に元のデータセット

𝐻(𝑋) = − ∑𝑥∈𝑋 𝑝(𝑥) 𝑙𝑜𝑔2 (𝑝(𝑥));(3)

𝐻(𝑋|𝑌) = − ∑𝑦∈𝑌 𝑝(𝑦) ∑𝑥∈𝑋 𝑝(𝑥|𝑦) 𝑙𝑜𝑔2 (𝑝(𝑥|𝑦)).

(4)内の各特徴とカテゴリ間の MI を計算することから始まる。
そして、最も高いスコアを持つ特徴を選択されたサブセットに入れる。その後、式（10）を通じて、残りの特徴から最も高い値を持つ特徴を選択し、目的の数に達するまで選択され式 (2) と (3) を組み合わせると、情報ゲインの式 (5) が得られます [42]。

たサブセットに追加する。
4.8

相関ベースの特徴選択 (CFS)

CFS のコアは、次の前提に基づくヒューリスティックな方
𝐼𝐺(𝑋, 𝑌) = 𝐻(𝑋) − 𝐻(𝑋|𝑌) = 𝐻(𝑌) − 𝐻(𝑌|𝑋).

(5)法で特徴サブセットの価値を評価することである：最適な特徴サブセットにはクラスと高い相関関係を持つが相互に相ここで、式 (5) は対称であるため、結果は変数の順序に依
存しない。
4.4

関関係を持たない特徴が含まれている。評価基準は式（11）[37]で示される。

相互情報 (MI)MI（相互情報）[43]は、2 つの変数間の相互依存関係を表𝑀𝑆 =す指標で、連続確率変数の場合は式(6)、離散確率変数の場合

̅̅̅̅̅
𝑘𝑟
𝑐𝑓

,

(11)

̅̅̅̅̅
√𝑘+𝑘(𝑘−1)𝑟𝑓𝑓

は式(7)によって定義される。 MI と IG は同じ式を持ってい

ここで、𝑀𝑆 は k 個の特徴を含む特徴サブセット S の「メることが見られる。

リット」、𝑟̅̅̅̅
𝑟𝑓𝑓 は特徴と特徴
𝑐𝑓 は特徴クラスの相関の平均、̅̅̅̅
の相互相関の平均である。 ここで、 ̅̅̅̅𝑟𝑥𝑦 は、ピアソンの相𝐼(𝑋; 𝑌) = 𝐻(𝑋) − 𝐻(𝑋|𝑌);(6)

関係数や対称不確実性 (Symmetric Uncertainty) [46] などで、相関を測定して得るメトリックである。対称不確実性は式𝐼(𝑋; 𝑌) = ∑𝑦∈𝑌 ∑𝑥∈𝑋 𝑝(𝑥, 𝑦) 𝑙𝑜𝑔
4.5

𝑝(𝑥,𝑦).
𝑝(𝑥)𝑝(𝑦)(7)(12)で示される。

多変量相互情報量 (MMI)
𝐻(𝑋)−𝐻(𝑋|𝑌)S. Mohammadi ら [44] は、同時に複数の変数を計算でき

𝑆𝑈(𝑋, 𝑌) = 2 [𝐻(𝑋)+𝐻(𝑌)

].

(12)

る相互情報の計算方法を提案した。つまり、式(8)である。

𝐾−1 ∑𝐼𝑁 (𝑋1 ; 𝑋2 ; . . . ; 𝑋𝑁 ) = ∑𝑁
𝑋∈(𝑋1 ;𝑋2 ;...;𝑋𝑁 ) 𝐻(𝑋). (8)𝑘=1(−1)|𝑋|=𝑘

4.6

相互情報特徴選択 (MIFS)

Battiti の算法（MIFS）[45]は、式（9）で定義されており、𝐼(𝐶; 𝑓𝑖 )と𝐼(𝑓𝑠 ; 𝑓𝑖 )を計算して関連する特徴を選択するために
MI を適用する。

ⓒ2023 Information Processing Society of Japan

この式の分子は実際の情報利得であることがわかる。実際、情報利得はより価値のある特徴に偏りがある。したがって、
式 8 は分母を通じてこのバイアスを補正し、値を[0,1]の範囲に正規化する。値 1 は 2 つの変数が強く相関していることを示し、値 0 は 2 つの変数が互いに独立していることを示す。

5

情報処理学会研究報告
IPSJ SIG Technical Report
効率的な相関ベースの特徴選択 (ECOFS)

4.9

アは、特徴がクラスに対する貢献が選択された特徴間の特徴

W. Wang ら[47]は、CFS 内の特徴間のペアワイズ計算を避の冗長性より大きい場合、特徴を「良い」ものとみなし、そけ、MIFS で適切な𝛽値を設定する負担を取り除くために、れを保持するという原則に従う。

効率的な相関ベースの特徴選択基準を提案した。これは式

5. フィルタベースの特徴選択手法のパフォーマンスに関する比較研究（13）で定義される。

表 1 は、2016 年以後の論文に含まれているフィルターベ
𝐽𝐸𝐶𝑂𝐹𝑆 = 𝑆𝑈𝑓𝑖∈𝐹 (𝑓𝑖 , 𝑐) − 𝑚𝑎𝑥 (𝑆𝑈(𝑓𝑠 , 𝑓𝑖 )),

(13)

𝑓𝑠 ∈𝑆

ースの特徴量選択技術の比較を示している。それ表に含まれる情報は、使用された FS 方法、あるデータセットに対してここで、 𝑓𝑖 と 𝑓𝑠 は式 (9) と同じように 定義さ れ る。

選択された特徴量の数、使用された検出方法、使用されたデ𝑚𝑎𝑥 (𝑆𝑈(𝑓𝑠 , 𝑓𝑖 ) は、特徴 𝑓𝑖 と選択された特徴 𝑓𝑖 の間の測ータセット、および技術の性能指標である。技術の性能指標

𝑓𝑠 ∈𝑆には、検出モデルの正確性率と生成時間が含まれている。

定された冗長性を表す最大値である。彼らが提案したアイデ
Author/Year

表 1 2016 年以後のフィルターベースの特徴選択手法の比較
FS method
No.of features
Detection method
DatasetPerformance metrics

Shahbaz et al.
(2016)[48]

CFS

4

J48

NSL-KDD

ACC(%): 86.1 ,Time(sec):<15

Ullah et al(2017)[49]IG

ISCX: 4
NSL-KDD: 6

J48

ISCX
NSL-KDD

ACC(%): 99.70(ISCX)
99.90(NSL-KDD) ,Time(sec): 15

Kushwaha et al.
(2017)[50]MI

5Support vector machine(SVM)

KDDcup’99

ACC(%): 99.91

Moham madi et al.
(2018)[44]MI/least square version of
SVM (LSSVM)

KDDcup’99,
NSL-KDD,
Kyoto 2006+

ACC(%):
94.31(KDDcup’99)
98.31(NSL-KDD)
99.11(Kyoto 2006+),

Wang et al.
(2019)[46]

Efficient CFS(MIFS + Symmetric
Uncertainty)

KDDcup’99: 9
NSL-KDD: 10

One-class
SVM

KDDcup’99,
NSL-KDD

ACC(%):
99.85(KDDcup’99)
98.64(NSL-KDD),
Time(sec):
5.3(KDDcup’99)
1.7(NSL-KDD)

6. まとめ特徴量選択の重要性を紹介した後、この論文では既存の特徴量選択技術の概要と分類を提供する。その後、重要で広く使用されているフィルターベースの方法について、一般的な説明、検索アルゴリズム、およびそのような方法で一般的に使用される関連性尺度を含めて詳しく説明する。
私たちは、基本的な相関計算方法から相関計算と特徴量選ある。
この作業の焦点は、相関に基づいて特徴量を効果的にスクリーニングする方法と、対応するルールを策定することにある。この論文は、研究者やシステム開発者の有用なガイドとして機能し、読者が既存の特徴量選択技術の一般的な概要を持つだけでなく、広く使用されているフィルターベースの特徴量選択技術のより具体的な理解を得ることができるようにする。

択手順の両方を含む複雑なアルゴリズムの論理まで、関連するフィルターベースの特徴量選択アルゴリズムを開発軌跡に沿って整理した。変数間の相関を測定するために、線形関係に基づくピアソン相関係数および統計に基づくカイ二乗

謝辞

本研究は、日本学術振興会とインド政府科学技術

省・科学技術庁(DST)の日印共同科学プログラム（2022-2024)の支援を受けたものである。

検定の制限のため、最近の論文で最も一般的に使用されるメ
トリックは、情報理論に基づく情報利得または相互情報量でⓒ2023 Information Processing Society of Japan6

情報処理学会研究報告
IPSJ SIG Technical Report

参考文献

classes datasets. In International Work-Conference on Artificial[1] Sharma, N., & Arora, B. (2022). A critical review of feature selection
techniques for network anomaly detection: Methodologies, challenges,
evaluation,

andopportunities.

https://www.researchsquare.com/article/rs-1940841/v1 (accessed on
Jan. 26, 2023)[2] Yu, L., & Liu, H. (2003). Feature selection for high-dimensional data:
A fast correlation-based filter solution. In Proceedings of the 20thinternational conference on machine learning (ICML-2003) (pp. 856863).
[3] Senliol, B., Gulgezen, G., Yu, L., & Cataltepe, Z. (2008, October). Fast
Correlation Based Filter (FCBF) with a different search strategy. In
2008 23rd international symposium on computer and information
sciences (pp. 1-4). IEEE. doi: 10.1109/ISCIS.2008.4717949.
[4] Saeys, Y., Inza, I., & Larranaga, P. (2007). A review of feature
selection techniques in bioinformatics. bioinformatics, 23(19), 25072517.
[5] Wah, Y. B., Ibrahim, N., Hamid, H. A., Abdul-Rahman, S., & Fong, S.
(2018). Feature Selection Methods: Case of Filter and Wrapper
Approaches for Maximising Classification Accuracy. Pertanika
Journal of Science & Technology, 26(1).
[6] Hoque, N., Bhattacharyya, D. K., & Kalita, J. K. (2014). MIFS-ND: A
mutual information-based feature selection method. Expert Systems
with Applications, 41(14), 6371-6385.
[7] Ladha, L., & Deepa, T. (2011). Feature Selection Methods andAlgorithms. International Journal on Computer Science andEngineering (IJCSE), 3(5), 1787 – 1797.
[8] Cantu-Paz, E. (2004). Feature subset selection, class separability, andgenetic algorithms. In Genetic and Evolutionary Computation–
GECCO 2004: Genetic and Evolutionary Computation Conference,
Seattle, WA, USA, June 26-30, 2004. Proceedings, Part I (pp. 959970). Springer Berlin Heidelberg.
[9] Bolón-Canedo, V., Sánchez-Maroño, N., & Alonso-Betanzos, A.
(2013). A review of feature selection methods on synthetic data.
Knowledge and information systems, 34, 483-519.
[10] Bolón-Canedo, V., Sánchez-Marono, N., Alonso-Betanzos, A.,
Benítez, J. M., & Herrera, F. (2014). A review of microarray datasets
and applied feature selection methods. Information sciences, 282, 111135.
[11] Thakkar, A., Lohiya, R. (2022). A survey on intrusion detection
system: feature selection, model, performance measures, application
perspective, challenges, and future research directions. Artif Intell
Rev 55, 453–563. https://doi.org/10.1007/s10462-021-10037-9[12] Sánchez-Maroño, N., Alonso-Betanzos, A., & Calvo-Estévez, R. M.
(2009, June). A wrapper method for feature selection in multipleⓒ2023 Information Processing Society of Japan

Neural Networks (pp. 456-463). Springer, Berlin, Heidelberg.
[13] Piao, Y., Piao, M., Park, K., & Ryu, K. H. (2012). An ensemble
correlation-based gene selection algorithm for cancer classification
with gene expression data. Bioinformatics, 28(24), 3306-3315.
[14] Yusta, S. C. (2009). Different metaheuristic strategies to solve thefeature selection problem. Pattern Recognition Letters, 30(5), 525534.
[15] Jović, A., Brkić, K., & Bogunović, N. (2015, May). A review of feature
selection methods with applications. In 38th international convention
on information and communication technology, electronics andmicroelectronics(MIPRO)(pp.

1200-1205).

IEEE.

doi:

10.1109/MIPRO.2015.7160458.
[16] Zuech, R., & Khoshgoftaar, T. M. (2015, August). A survey on feature
selection for intrusion detection. In Proceedings of the 21st ISSAT
International Conference on Reliability and Quality in Design (pp.
150-155).
[17] Guyon, I., Weston, J., Barnhill, S., & Vapnik, V. (2002). Gene selection
for cancer classification using support vector machines. Machinelearning, 46, 389-422.
[18] Maldonado, S., Weber, R., & Basak, J. (2011). Simultaneous feature
selection and classification using kernel-penalized support vector
machines. Information Sciences, 181(1), 115-128.
[19] Loh, W. Y. (2011). Classification and regression trees. Wileyinterdisciplinary reviews: data mining and knowledge discovery, 1(1),14-23.
[20] Patel, H. H., & Prajapati, P. (2018). Study and analysis of decision tree
based classification algorithms. International Journal of Computer
Sciences and Engineering, 6(10), 74-78.
[21] Sandri, M., & Zuccolotto, P. (2006). Variable selection using random
forests. In Data Analysis, Classification and the Forward Search:
Proceedings of the Meeting of the Classification and Data Analysis
Group (CLADAG) of the Italian Statistical Society, University ofParma, June 6–8, 2005 (pp. 263-270). Springer Berlin Heidelberg.
[22] Cawley, G., Talbot, N., & Girolami, M. (2006). Sparse multinomial
logistic regression via bayesian l1 regularisation. Advances in neural
information processing systems, 19.
[23] Das, S. (2001, June). Filters, wrappers and a boosting-based hybrid forfeature selection. In Icml (Vol. 1, pp. 74-81).
[24] Hsu, H. H., Hsieh, C. W., & Lu, M. D. (2011). Hybrid feature selection
by combining filters and wrappers. Expert Systems with Applications,38(7), 8144-8150.
[25] NAQVI, S. (2011). A Hybrid filter-wrapper approach for
FeatureSelection.
[26] Cadenas, J. M., Garrido, M. C., & MartíNez, R. (2013). Feature subset

7

情報処理学会研究報告
IPSJ SIG Technical Report
selection filter–wrapper based on low quality data. Expert systems
with applications, 40(16), 6241-6252.

Quinlan. Morgan Kaufmann Publishers, Inc., 1993. Mach Learn 16,[27] Oh, I. S., Lee, J. S., & Moon, B. R. (2004). Hybrid genetic algorithms
for feature selection. IEEE Transactions on[42] Salzberg, S.L. C4.5: Programs for Machine Learning by J. Ross

pattern analysis andmachine intelligence, 26(11), 1424-1437.

235–240 (1994). https://doi.org/10.1007/BF00993309.
[43] Cover, T. M., & J. A. Thomas, Elements of Information Theory.
Hoboken, NJ, USA: Wiley, 2012.

[28] Ali, S. I., & Shahzad, W. (2012). A feature subset selection method[44] Mohammadi, S., Desai, V., & Karimipour, H. (2018, October).

based on conditional mutual information and ant colony optimization.

Multivariate mutual information-based feature selection for cyberInternational Journal of Computer Applications, 60(11), 5-10.

intrusion detection. In 2018 IEEE electrical power and energy[29] Sarafrazi, S., & Nezamabadi-Pour, H. (2013). Facing the classificationof binary problems with a GSA-SVM hybrid system. Mathematicaland Computer Modelling, 57(1-2), 270-278.
[30] Ma, S., & Huang, J. (2008). Penalized feature selection andclassification in bioinformatics. Briefings in bioinformatics, 9(5), 392403.

Conference (EPEC) (pp. 1-6). IEEE.
[45] Battiti, R. (1994). Using mutual information for selecting features insupervised neural net learning. IEEE Transactions on neural networks,
5(4), 537-550.
[46] Teukolsky, S. A., Flannery, B. P., Press, W. H., & Vetterling, W. T.
(1992). Numerical recipes in C. SMR, 693(1).

[31] Zou, H., & Hastie, T. (2005). Regularization and variable selection via[47] Wang, W., Du, X., & Wang, N. (2018). Building a cloud IDS using an

the elastic net. Journal of the royal statistical society: series B

efficient feature selection method and SVM. IEEE Access, 7, 1345-(statistical methodology), 67(2), 301-320.

1354.

[32] Nakashima M., Sim A., and et al. (2021). Automated Feature[48] Shahbaz, M. B., Wang, X., Behnad, A., & Samarabandu, J. (2016,

Selection for Anomaly Detection in Network Traffic Data. ACM

October). On efficiency enhancement of the correlation-based feature

Transactions on Management Information Systems 12 (3), 1–28,

selection for intrusion detection systems. In 2016 IEEE 7th Annual

https://doi.org/10.1145/3446636

Information Technology, Electronics and Mobile Communication[33] Liu, H., & Motoda, H. (2012). Feature selection for knowledge
discovery and data mining (Vol. 454). Springer Science & BusinessMedia.
[34] Kittler, J. (1978). Feature set search algorithms. Pattern recognitionand signal processing.
[35] Miller, A. (2002). Subset selection in regression. chapman andhall/CRC.
[36] Hall, M. A. (1999). Correlation-based feature selection for machinelearning (Doctoral dissertation, The University of Waikato).

Conference (IEMCON) (pp. 1-7). IEEE.
[49] Ullah, I., & Mahmoud, Q. H. (2017, December). A filter-based feature
selection model for anomaly-based intrusion detection systems. In
2017 IEEE International Conference on Big Data (Big Data) (pp.
2151-2159). IEEE.
[50] Kushwaha, P., Buckchash, H., & Raman, B. (2017, November).
Anomaly based intrusion detection using filter based feature selection
on KDD-CUP 99. In TENCON 2017-2017 IEEE Region 10
Conference (pp. 839-844). IEEE.

[37] Winston, P. H. (1984). Artificial intelligence. Addison-WesleyLongman Publishing Co., Inc..
[38] Holland, J. H. (1992). Adaptation in natural and artificial systems: anintroductory analysis with applications to biology, control, andartificial intelligence. MIT press.
[39] Teukolsky, S. A., Flannery, B. P., Press, W. H., & Vetterling, W. T.
(1992). Numerical recipes in C. SMR, 693(1).
[40] Li, Y., Fang, B. X., Chen, Y., & Guo, L. (2006, November). A
lightweight intrusion detection model based on feature selection andmaximum entropy model. In 2006 International Conference on
Communication Technology (pp. 1-4). IEEE.
[41] Liu, H., & Setiono, R. (1995, November). Chi2: Feature selection anddiscretization of numeric attributes. In Proceedings of 7th IEEE
international conference on tools with artificial intelligence (pp. 388391). IEEE.

ⓒ2023 Information Processing Society of Japan

8