Pemilihan fitur

**Pemilihan fitur** (*feature selection*) atau turut dikenali sebagai pemilihan atribut merupakan sebahagian daripada konsep yang terdapat dalam bidang perlombongan data. Ia sering dilaksanakan dalam fasa prapemprosesan data. Objektif proses pemilihan fitur adalah bagi memilih subset fitur optimum daripada set fitur asal dengan cara menyingkirkan fitur yang tidak relevan, lewah (*redundant*) dan hingar (*noise*). Penggunaan subset fitur yang optimum dalam model pembelajaran mesin mampu meningkat ketepatan ramalan, mengurangkan kompleksiti model serta mengurangkan kos pengkomputeran.

Pemilihan fitur juga merupakan salah satu teknik yang dilaksanakan bagi mengelakkan berlakunya *curse of dimentionality*. Suatu model dikatanya menghadapi isu *curse of dimentionality* apabila semakin tinggi dimensi fitur, prestasi model semakin merosot. *Curse of dimentionality* mengakibatkan terjadinya isu terlebih padanan iaitu keadaan di mana model yang dibangunkan hanya menunjukkan prestasi yang baik apabila menggunakan data ujian namun sebaliknya berlaku apabila data baharu digunakan.

Secara umumnya kaedah pemilihan fitur dikategorikan kepada penapis (*filter*), pembalut (*wrapper*) dan hibrid. Perincian mengenai kaedah pemilihan fitur diterangkan dalam subtopik berikutnya.

## Kaedah pemilihan

### Penapis

Kaedah penapis (*filter*) merupakan kaedah pemilihan fitur yang paling ringkas di mana ujian statistik tertentu dilaksanakan bagi menentukan pemeringkatan fitur (*feature ranking*). Ia dilaksanakan sama ada berdasarkan ukuran kesandaran, jarak atau konsistensi di antara suatu fitur dengan kelas sasaran. *Information gain* dan *Pearson’s correlation* merupakan contoh ujian statistik yang menggunakan ukuran kesandaran manakala algoritma *Relief* adalah contoh yang menggunakan ukuran jarak. Pemilihan ujian statistik untuk digunakan perlu bersesuaian dengan jenis fitur yang ingin diproses sebagai contoh *information gain* hanya sesuai untuk fitur berjenis nominal manakala *Pearson’s correlation* sesuai digunakan untuk data numerik dan binomial sahaja. 

Pemilihan fitur menerusi kaedah penapis dilaksanakan dalam dua langkah seperti berikut:

* Langkah 1: Ujian statistik tertentu dilaksanakan terhadap semua fitur bagi mendapatkan skor setiap fitur. 

* Langkah 2: Subset fitur dengan skor terbaik dipilih manakala fitur selebihnya disingkirkan berdasarkan nilai ambang yang ditetapkan.

Antara kaedah yang digunakan untuk menentukan nilai ambang adalah berdasarkan jurang terbesar nilai skor di antara dua fitur berturutan yang disusun secara bertingkat atau menyingkirkan fitur dengan skor yang melebihi dua varians daripada nilai min skor. 

Kelebihan ketara kaedah pemilihan fitur secara penapis adalah penggunaan kos pengkomputeran yang minimum dan masa pemprosesan yang sangat pantas. Oleh itu ia amat sesuai digunakan untuk memilih subset fitur daripada set data yang bersaiz besar. Namun disebabkan keringkasan kaedah penapis yang tidak mengambil kira interaksi di antara fitur-fitur, terdapat kebarangkalian wujudkan masalah kelewahan fitur apabila subset fitur dipilih.

### Pembalut

Berbeza dengan kaedah penapis, kaedah pembalut (*wrapper*) menggunakan algoritma pembelajaran seperti Pohon Keputusan, Naive Bayes, Hutan Rawak dan lain-lain bagi menjana subset fitur. Secara umumnya, empat langkah utama yang terlibat dalam proses pemilihan fitur kaedah pembalut adalah seperti berikut:

* Langkah 1: Jana subset dengan menggunakan strategi carian (*search strategy*) tertentu, iaitu sama ada strategi carian menyeluruh (*exhaustive*), strategi carian berjujukan atau strategi carian rawak.

* Langkah 2: Nilai prestasi subset yang dijana menggunakan fungsi penilaian tertentu bagi membandingkan prestasi subset fitur, antaranya IG dan jarak Euclidean.

* Langkah 3: Tetapan kriteria berhenti (*stopping criterion*). Beberapa cara yang boleh digunakan untuk menentukan kriteria berhenti. Antaranya adalah proses janaan dan penilaian subset ditamatkan apabila penambahan atau pengurangan fitur yang seterusnya tidak lagi menunjukkan peningkatan prestasi, bilang tertentu fitur telah dipilih atau bilangan tertentu proses janaan dan penilaian subset telah dilaksanakan (Bolón-Canedo 2015).

* Langkah 4: Langkah terakhir adalah proses validasi subset fitur yang dipilih. 

Dalam kaedah pemilihan fitur secara pembalut ini, langkah pertama iaitu jana subset merupakan antara elemen penting. Penerangan lanjut berkaitan strategi carian yang boleh digunakan bagi menjana subset dihuraikan dalam sub topik berikutnya.


## Kaedah hibrid


Satu lagi kaedah pemilihan fitur yang sering digunakan adalah gabungan antara kaedah penapis dan pembalut iaitu dikenali sebagai kaedah hibrid. Kaedah hibrid diperkenalkan bagi memanfaatkan kelebihan yang ada pada kaedah penapis iaitu efisien dan ciri lazim kaedah pembalut iaitu ketepatan.

Dalam kaedah hibrid, pemilihan fitur dilaksanakan dalam dua peringkat.

* Peringkat 1 - Kaedah penapis digunakan terlebih dahulu bagi mengurangkan dimensi fitur dengan memilih subset fitur. 
* Peringkat 2 - Proses pemilihan fitur dilaksanakan sekali lagi menggunakan kaedah pembalut terhadap subset fitur yang dipilih menerusi peringkat 1. Kombinasi mana-mana jenis penapis dan pembalut boleh digunakan untuk menghasilkan kaedah hibrid. 



## Rujukan