1442 Jurnal Teknik Informatika dan Sistem Informasi                 ISSN 2407- 4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E-ISSN 2503- 2933

## Optimasi Hyper-Parameter Berbasis Algoritma Genetika
Pada Ensemble Learning Untuk Prediksi Saham Yang Mempertimbangkan Indikator Teknikal & Sentimen Berita
Rico Bayu Wiranata 1 , Arif Djunaidy 2 1,2 Departemen Sistem Informasi, Institut Teknologi Sepuluh Nopember, Surabaya e-mail: 1 rico.19052@mhs.its.ac.id, 2 adjunaidy@is.its.ac.id

## Abstrak
Investor harus memprediksi saham dengan tepat agar keuntungan maksimal sekaligus terhindar kebangkrutan. Namun bursa saham sulit dideteksi situasinya. Perilakunya berubah- ubah dipengaruhi berbagai faktor seperti situasi politik, ekonomi perusahaan dan global, maupun ekspektasi investor yang tersedia melalui berita. Penelitian ini bertujuan mengembangkan model yang dapat memprediksi saham lebih akurat mengkombinasikan indikator teknikal saham dan sentimen berita. Genetic algorithm (GA) mengoptimalisasi beberapa ensemble decision tree-based yang ditumpuk menggunakan metode stacked- generalization dengan konsep meta-learner digunakan dalam penelitian ini. Terdapat lima tahapan utama metodologi, dimulai pengumpulan data saham dan berita, praproses data, ekstraksi fitur indikator teknikal dan sentimen serta analisis data, selanjutnya pengembangan model. Serangkaian uji coba parameter crossover dan mutasi GA memberi hasil optimum pencarian kombinatorik hyper-parameter model dengan accuracy 81.63% dan f1-score 82.21%. Evaluasi model terhadap kombinasi jenis dataset mampu meningkatkan accuracy prediksi dari 75.91% menajdi 81.63%, dan f1-score dari 77.56% menjadi 82.21%. Terhadap evaluasi trading, metode yang diusulkan terbukti memberi return yang fantastis sebesar 121.27% dalam setahun, dengan nilai maximum drawdown yang paling kecil juga nilai sharpe ratio yang tinggi. Evaluasi tersebut melampaui hasil penelitian serupa terdahulu, bahkan jauh diatas performa pergerakan saham itu sendiri terindikasi melalui strategi buy & hold.
Kata kunci —ensemble method, metode stacking, algorithma genetika, prediksi saham

## Abstract
Investors must predict stocks correctly in order to maximize profits while avoiding bankruptcy. But the stock market situation is difficult to detect. His changing behavior is influenced by various factors such as the political situation, the company's and global economy, that are available through the news. This study aims to develop a model that can predict stocks more accurately by combining stock technical indicators and news sentiment. Genetic algorithm (GA) optimizes several stacked decision tree-based ensembles using the stacked-generalization method with the meta-learner concept used in this study. There are five main stages of the methodology, starting with stock and news data collection, data preprocessing, feature extraction and data analysis, then model development. A series of GA crossover and mutation parameter trials gave optimum results for searching combinatoric hyper-parameter models with an accuracy of 81.63% and an f1-score of 82.21%. The evaluation of the model on the combination of dataset types was able to increase the prediction accuracy from 75.91% to 81.63%, and the f1-score from 77.56% to 82.21%. In terms of trading evaluation, give a fantastic return of 121.27% in a year. This evaluation surpassed the results of previous similar studies, even far above the performance of the buy & hold strategy.
Keywords —ensemble method, stacking method, genetic algorithm, stock prediction
E- ISSN 2503- 2933  1443
Title of manuscript is short and clear, implies research results (First Author)
1. PENDAHULUAN
ntuk memperoleh keuntungan signifikan, investor harus memprediksi saham dengan tepat membeli saham yang harganya diperkirakan akan naik dalam waktu dekat dan menghindari saham turun. Namun pasar saham bergejolak [1], dinamis, non-linier, non- parametrik, non-stasioner [2] dan sifat ambiguitas pergerakan index harga saham membuat investasi secara instrinsik berisiko sangat tinggi dan menyebabkan investor sulit mendeteksi situasi pasar [3]. Para profesional analis teknis saham percaya bahwa historis harga menjelaskan pergerakan secara mendalam [6], sehingga strategi mereka didasarkan pada harga saham dan indikator matematika yang dihitung seperti RSI, MACD, dst. Penelitian sebelumnya tentang prediksi saham menggunakan harga dan indikator teknikal [1]; [7]; [8]; [9]; [10]; [11]; [12]; [13]; [14]; [15]; [16]; [2]; [17]; [18]; [19]; [20]. Namun, ada beberapa penelitian ada yang mencoba menggabungkan indikator teknikal saham dan sentimen berita untuk memprediksi saham lebih efektif. Seperti yang dilakukan pada [6]; [4]; [20] ternyata hasilnya terdapat peningkatan walaupun tidak signifikan.
Beberapa tahun terakhir, dalam pembelajaran mesin metode ensemble telah memperoleh banyak keberhasilan diberbagai bidang seperti pada prediksi kebangkrutan [25]; [26], saham [27]; [28], biomedis [29]; [30]; [31]; [32]; [33], pengenalan citra [34]; [35], ketidakseimbangan dataset [36], dan konstruksi [37]; [38] berbeda dengan model tradisional dalam domain pembelajaran mesin, model ensemble merupakan kombinasi multi-model dimana beberapa algoritma dasar digunakan bersamaan untuk memecahkan masalah terbukti dapat meningkatkan kinerja dan lebih unggul dibandingkan menggunakan algoritma tunggal [3].  Algoritma ansambel Bagging dan Boosting adalah diantara metode ansambel yang efektif dan populer dalam pembelajaran mesin keduanya mengkombinasikan algoritma tunggal yang sejenis, berbeda dengan Stacking dapat mengkombinasikan model berbeda jenis. Dalam  beberapa penelitian, Meta-Learner yang dibangun dengan metode Stacking memiliki kemampuan melampaui beberapa model ensemble Decision Tree-Based dan Deep Learning, seperti Random Forest (RF) [39]; [40]; [41], Extremely Randomized Tree (ERT) [3], Extreme Gradient Boosting (XGB) [42]; [43], Light Gradient Boosting Machine (LGBM) [42]; [3], Gradient Boosting Decision Tree (GBDT) [44], Recurrent Neural Network (RNN) [3], Long Short-Term Memory (LSTM) [45], Convolutional Neural Network (CNN) [46], Backpropagation neural Network (BPNN) [47]; [48] dan Gated Recurrent Unit (GRU) [3] namun demikian algoritma ini kurang digunakan di bidang keuangan termasuk saham.
Studi [50] menunjukkan bahwa untuk mendapatkan dampak kinerja optimum pada suatu model diperlukan jyper-parameter optimization method. Gris search (GS) dan randomized search (RS) merupakan metode pengoptimalan yang populer. Namun di beberapa studi terbaru [50];[51] menunjukkan genetic algorithm (GA) telah memberi hasil yang unggul bukan hanya dalam kinerja akurasi model tetapi juga waktu komputasi pada saat penyetelan. Oleh karena itu, dari uraian diatas penelitian ini akan melakukan eksperimen terhadap metode Stacking [46] dikombinasikan pada algoritma dasar ensemble Decision Tree-Based yakni RF [6]; [24], ERT, XGB, dan LGBM [3] yang telah terbukti kompeten digunakan sebagai model prediksi dipenelitian sebelumnya dioptimalisasi menggunakan GA.

## 2. METODE PENELITIAN
Bagian ini menjelaskan langkah-langkah individual yang dilakukan dalam metodologi yang diusulkan untuk prediksi saham. Seperti yang terlihat pada gambar 1 terdapat lima tahapan utama dalam metodologi penelitian. Dari tahapan identifikasi masalah dan studi literatur dapat
U
1444 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933
ditemukan rumusan masalah, tujuan penelitian dan dasar teori yang berhubungan sehingga dapat mendukung penelitian ini. Tahap selanjutnya dilakukan pengumpulan data. Pada tahap ini, pengambilan data time series saham dari aplikasi perdagangan sekuritas serta web crawler berita setelah itu, dilanjutkan dengan tahap praproses data, pembuatan model klasifikasi, pengukuran kinerja model, analisis hasil kinerja model, serta tertakhir pembuatan kesimpulan.

## Gambar 1. Metodologi Penelitian

## 2.1 Identifikasi Masalah
Terdapat celah untuk memperbaiki penelitian yang telah membuktikan menambahkan sentimen berita mampu meningkatkan kinerja seperti dalam [6]; [4]. Metode ensemble Decision Tree-based telah banyak dan berhasil dilakukan dalam prediksi [2]; [10]; [6]; [4]; [3]. Kemudian, pendekatan metode Stacking akhir-akhir ini digunakan sebagai model yang kuat meningkatkan kinerja prediksi. Berdasarkan hal tersebut, peluang besar melakukan perbaikan kinerja prediksi berdasar indikator teknikal dan sentimen berita. Permasalahan muncul ketika mempertimbangkan metode diatas yaitu, pertama bagaimanakah hyper-parameter yang optimal untuk kinerja algoritma ensemble Decision Tree-based yang dijadikan base-learner sebagai fitur masukan untuk meta-learner dalam kerangka Stacked-generalization. Kedua, bagaimana metode optimasi yang berkinerja baik untuk mengoptimalkan hyper-parameter.

## 2.2 Studi Literatur
Pencarian paper berdasar jurnal bereputasi internasional dilakukan. Topik utama dalam pencarian paper meliputi, (1) Ensemble method; (2) Hyper-parameter Optimization method; dan (3) Stock Prediction, menggunakan metode Systematic Literature Review (SLR)  yang  telah dipublikasi pada Journal of Computer Scence and Information Vol. 14(2) June 2021 . Gambar 2 menunjukkan metode pencarian dan seleksi studi utama. Topik ensemble method sebanyak 144 paper,  topik hyper-parameter optimization method sebanyak 67 paper,  dan topik stock prediction sebanyak 83 paper.
E- ISSN 2503- 2933  1445
Title of manuscript is short and clear, implies research results (First Author)

## Gambar 2. Pencarian dan Pemilihan Studi Utama

## 2.3 Pengumpulan Data
Data pasar saham dan berita dikumpulkan selama lima (5) tahun dari 1 Januari 2015 hingga 31 Desember 2019. Data saham tersedia diaplikasi Mandiri Sekuritas. Menggunakan metode web scraping dengan tool Data Miner Googlechrome, seluruh data berita didapatkan dari situs berita terbesar di Indonesia. Data time series meliputi, Date, Open price, High price, Low Price, Close Price, Volume . Data Berita meliputi, Date, Headines, Source dan Link.

## 2. 4 Praproses Data
Pembersihan data saham dari miss value ataupun derau yang dapat mengganggu proses ekstraksi fitur pada tahap selanjutnya yaitu merubah format koma (,) pada satuan ribuan harga saham menjadi format currency , dan mengurutkan data perdagangan saham dari historikal transaksi lama ke terbaru. Praproses data berita menggunakan metode Natural  Language Processing (NLP) [4]., yaitu menghapus karakter dan simbol, mengubah teks menjadi lowercase , melakukan tokenizing , filtering (s topword removal ) normalisasi kata, dan stemming .

## 2. 5 Ekstraksi Fitur
Dalam sub bagian ini, ekstraksi fitur dibedakan untuk indikator teknikal saham dan ekstraksi fitur sentimen berita. Ekstraksi fitur dihasilkan agar algoritma pembelajaran mampu merepresentasikan dan memecahkan sesuai permasalah dengan jauh lebih baik.
1446 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933

## 2.5.1 Ekstraksi Indikator Teknikal
Sebelas fitur indikator teknikal digunakan yaitu MACD, EMA, SMA, RSI, Bollinger Bands, Stochastic Oscilator KD, ATR, WR, dan CR [6]; [21]; [11]; [2]; [50]; [51] diekstrak dari time series saham melalui persamaan dalam studi Picasso et al., [4].

## 2.5.2 Ekstraksi Polaritas Sentimen
Data perlu diterjemahkan kedalam baha Inggris agar sesuai dengan Lexicon yang digunakan yaitu Loughran and Mc Donald Finance 2018 [6]; [21]; [52], nilai polaritas dihitung berdasarkan jumlah kata positif atau negatif seperti pada persamaan (1), semakin banyak kata bersentimen positif maka nilai polaritas akan positif begitu pula sebaliknya. Pada persamaan (2) menunjukkan bahwa sentimen positif, negatif, dan netral dihasilkan dari nilai polaritas yang terakumulasi.
= + (1) , > 0 , < 0 (2) , = , = 0

## 2.5.3 Join data indikator teknikal dan sentimen berita
Data berita yang telah memiliki nilai sentimen digabungkan bersama indikator teknikal saham menggunakan teknik inner join terhadap tanggal sebagai kunci primernya. Dataset akhir merupakan kombinasi indikator teknikal dan sentimen berita.

## 2. 6 Pengembangan Model
Model dibangun melalui beberapa metode. Pertama base-learner, bukan hanya sekedar memilih pembelajar lemah seperti pemahaman umum yang beredar namun penelitian ini selektif berdasarkan studi model yang telah memberi prospek bukti kinerja secara teoritis dan aplikatif. Serta bukan sekedar base-learner algoritma individu, melainkan pengembangan atau ensemble dari algoritma yang telah ada. Kedua ensemble meta-learner, bagian ini metode dipilih karena dapat menggabungkan beberapa algoritma yang berbeda jenis. Singkatnya, hubungan antara base-learner dan meta-learner adalah ensemble yang di ensemble -kan. Ketiga hyper-parameter optimization, selain sebagai optimalisasi kinerja suatu model yang dibangun, pembahasan terkait ini juga menjawab rumusan masalah yang didefinisikan dalam penelitan ini.

## 2.6.1 Base-Learner
Beberapa tahun terakhir, model decision tree-based memiliki kinerja tinggi dimayoritas studi literatur prediksi dalam masalah klasifikasi. Oleh karena itu, beberapa pengembangan metode decision tree seperti ensemble bagging dan boosting yang terbukti kompeten digunakan sebagai model pembelajar dasar. Mereka adalah RF [3]; [52]; [53]; [37], ERT [3], XGB [54]; [32]; [55]; [3], dan LGBM [56]; [57]; [58]; [41]; [59]; [60].
(1) RF merupakan pengembangan metode decision tree mengitegrasikan metode bagging dengan pendekatan random subspace. Subset dari data asli dibuat dengan metode Boostras. Berdasarkan kriteria tertentu, Gini impurity, Split optimal dari setiap pohon keputusan dihasilkan dengan mencari subset acak dari fitur kandidat [61]. Prediksi final didapatkan melalui proses majority vote ( one tree one vote ) dari banyak pohon yang dihasilkan.
E- ISSN 2503- 2933  1447
Title of manuscript is short and clear, implies research results (First Author)
(2) ERT juga bagging decision tree. Seperti RF, membangun beberapa multiple tree dan membagi node ( splitting nodes ) menggunakan subset fitur acak ( random subset ),  tetapi dengan dua perbedaan utama seperti yang ditunjukkan tabel 1, pertama tidak melakukan observasi boostrap yang berarti mengambil sampel tanpa pergantian, kedua node dipecah ( split node ) berdasarkan pemisahan acak ( random splitting ) bukan pemisahan terbaik ( best split ).
(3) XGB merupakan metode boosting decision tree, menggunakan kerangka kerja dan prinsip yang sama dengan gradient boosting menggunakan jumlah boost, learning rate, subsampling ratio, dan maximum tree untuk mengontrol overfitting dan meningkatkan kinerja. Selain itu XGB mengoptimalkan objective function, size tree dan besaran bobot sehingga menghasilkan kinerja unggul dengan banyak hyper-parameter [62].
(4) LGBM merupakan kerangka kerja gradient boosting terbaru dan mendukung paralel train yang efisien seperti XGB. Dibandingkan dengan XGB, LGBM akan menumbuhkan pohon secara vertikal ( leaf-wise tree-growth ).

## 2.6.2 Ensemble Method
Ensemble learning adalah pradigma pembelajaran mesin, yang menggunakan beberapa model (juga disebut model dasar atau pembelajar lemah) untuk memecahkan masalah yang sama kemudian membuat keputusan akhir dengan menggabungkan pendapat semua model [63]; [64]. Bagging dan boosting diantara metode ensemble yang efektif dan populer, namun terbatas menggabungkan model sejenis, berbeda dengan stacking yang dapat mengintegrasikan model berbeda jenis. Dalam beberapa penelitian [39]; [40]; [41]; [3]; [42]; [43]; [42]; [3]; [44]; [3]; [45];  [46];  [47];  [48], Meta-Learner yang dibangun dengan metode Stacking memiliki kemampuan melampaui beberapa model ensemble Decision Tree-Based dan Deep Learning. Gambar 3 menunjukkan proses pelatihan metode Stacking dan penjelasan rinci diilustrasikan sebagai berikut.
(1) Cross-Validation dari Base-Learner Terdapat n  base-learner dalam metode Stacking yaitu RF, ERT, XGB, LGBM. Proses validasi silang k-fold untuk setiap base-learner adalah sama. Model RF diambil sebagai contoh untuk menggambarkan prosesnya. Dataset yang digunakan dalam penelitian dibagi menjadi training set dan testing set. Trainin set di bagi berdasarkan jumlah k=10. Training set dibagi menjadi sepuluh bagian, dinotasikan sebagai TD1 hingga TD10 dengan ukuran p/5. Sembilan bagian dipilih secara acak sebagai data pelatihan dan bagian lainnya digunakan sebagai data pengujian (TD ditandai dengan warna abu-abu). Base-learner atau RF dalam contoh ini, dilatih berdasarkan sembilan bagian data pelatihan dan kemudian hasi prediksi dari bagian data pelatihan yang tersisa. Hasil prediksi dinotasikan sebagai Pred1 hingga Pred10.
(2) Konstruksi Dataset Baru Untuk Meta-Learner Sepuluh hasil prediksi training set dari masing-masing Base-Learner yaitu Pred 1 hingga Pred10 ditumpuk untuk membangun matriks baru ( meta-feature / meta-data ) dengan ukuran fitur sama seperti training set dan baris mengikuti jumlah kumpulan data pada bagian TD pengujian.
(3) Proses Pelatihan Meta-Learner
Meta-learner XGB akan dilatih dengan training set yang diperoleh pada langkah 2 kemudian melakukan set pengujian untuk sampel testing set, akhirnya prediksi final didapatkan. Oleh karena itu, sederhananya bahwa metode Stacking menjadi kerangka berperan dalam melakukan penumpukan hasil prediksi base-learner dan membuat meta-learner yang juga sebuah algoritma seperti base-learner dapat bekerja mempelajari hasil prediksi tersebut menguji testing set hingga menghasilkan prediksi baru.
1448 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933
Gambar 3. Ilustrasi Metode Stacked-Generalization (Stacking)

## 2.6.3 Hyper-Parameter Optimization
Prosedur  optimasi hyper-parameter base-learner dan meta-learner ensemble dengan Genetic Algorithm (GA) ditunjukkan oleh gambar 4. Proses awal menentukan parameter operasi GA meliputi jumlah generasi, banyak populasi, probabilitas crossover , probabilitas mutasi, dan fitness function . Fitness yang digunakan adalah nilai accuracy . Setelah menyusun kromosom dengan membangkitkan 100 individu terdiri dari kombinatorik masing-masing hyper-parameter, kemudian melakukan evaluasi berdasar fitness function . Seleksi dilakukan sebanyak 100 kromosom dari 100 induk yang berasal dari populasi menggunakan metode roulette wheel . Setelah mendapatkan hasil seleksi populasi awal, reproduksi crossover dan mutasi dilakukan berdasarkan bilangan acak yang dibangkitkan kurang dari nilai probabilitas. Proses berulang dari seleksi, crossover , hingga mutasi hingga salah satu stopping criteria terpenuhi. Pemilihan kromosom terbaik dengan cara membandingkan nilai fitnees disetiap generasi.
E- ISSN 2503- 2933  1449
Title of manuscript is short and clear, implies research results (First Author)
Gambar 4. Diagram Alir Algoritma Genetika
Studi [65]; [67], menunjukkan bawah tidak ada metode pasti untuk menentukan parameter GA yang digunakan seperti probabilitas crossover dan probabilitas mutasi, sedangkan kedua parameter tersebut sangat berpengaruh ke hasil optimisasi. Penelitian ini bermaksud melakukan rangkaian skenario yaitu uji coba untuk mencari kombinasi probabilitas crossover dan mutasi yang optimal. Penentuan kombinasi tingkat crossover dan mutasi sangat penting dilakukan untuk memperoleh solusi yang baik (mendekat optimum). Tingkat crossover dan mutasi yang terlalu besar akan meningkatkan kemampuan ekplorasi algoritma genetika untuk
1450 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933
mencari solusi terbaik. Tetapi hal ini membenai waktu komputasi karena akan mengplorasi area yang tidak mempunyai nilai optimum. Namun jika terlalu kecil akan menghilangkan kesempatan algoritma genetika untuk mengeksplorasi daerah pencarian baru yang mungkin saja terdapat solusi optimum [72]; [73]; [74].
Daftar jenis hyper-parameter dengan nilainya masing-masing pada base-learner dan meta- learner dikumpulkan melalui studi literatur sebagai kombinatorik kromosom dalam GA. Beberapa jenis hyper-parameter RF mengadopsi studi [3]; [21]; [18]; [66]; [37]; [41]; [4]; [67]; [50]; [51]; [68]; [55], jenis hyper-parameter ERT dari studi [3]; [4], jenis hyper-parameter XGB dari studi [3]; [21]; [2]; [54]; [43]; [51]; [32]; [69]; [62]; [70]; [68], dan jenis hyper-parameter LGBM dari studi [3]; [41]; [58]; [60]; [68]; [56]; [59]; [57]. Tabel 2 menunjukkan seluruh hyper-parameter hasil studi.
Tabel 2. Daftar Hyper-Parameter Untuk Base-Learner dan Meta-Learner Parameter Algoritma Daftar Ruang Pencarian criterion RF, ERT gini, entropy min_samples_split  RF, ERT 2, 4, 5, 6, 8, 10, 12, 20 min_samples_leaf RF, ERT 1, 2, 4, 6, 8, 10, 12, 15 max_features RF, ERT auto, sqrt, log2, none random_state RF, ERT 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 15 max_depth RF, ERT, XGB, LGBM 1, 2, 3, 4, 5, 6, 7, 8, 10, 12, 20, 30, 50 n_estimators RF, ERT, XGB, LGBM 20, 50, 100, 150, 200, 250, 300, 350, 400, 450, 500, 550, 600, 650, 700, 800, 900, 1000 nthread XGB 0, 1, 2, 4, 6, 8, 10 gamma XGB 0.0001, 0.001, 0.01, 0.1, 0.2, 0.5, 0.6, 0.8, 1.0 subsample XGB 0.2, 0.4, 0.5, 0.6, 0.8, 0.9, 1.0 colsample_bytree XGB, LGBM 0.1, 0.2, 0.5, 0.6, 0.8, 1.0 colsample_bylevel  XGB 0.1, 0.2, 0.5, 0.6, 0.8, 1.0 colsample_bynode  XGB, LGBM 0.1, 0.2, 0.5, 0.6, 0.8, 1.0 seed XGB, LGBM 0, 12, 27, 42 reg_alpha XGB, LGBM 0.001, 0.005, 0.01, 0.05, 0.1, 0.2, 1, 2, 5 reg_lambda XGB, LGBM 0.001, 0.005, 0.01, 0.05, 0.1, 0.2, 1, 2, 5 learning_rate XGB, LGBM 0.001, 0.005, 0.01, 0.03, 0.05, 0.1, 0.3, 0.5, 1.0 min_child_weight XGB, LGBM 0, 0.001, 0.01, 0.1, 1, 2, 3, 4, 6, 8, 10 num_leaves LGBM 2, 4, 5, 6, 8, 10, 15, 20, 31, 50, 100

## 2. 7 Pengukuran Kinerja
Dua tahap pengukuran, pertama confusion matrix memahami perilaku statistik model seperti accuracy, recall, precision, dan f1-score . Kedua, evaluasi simulasi perdagangan ( trading evaluation ) menggunakan Return ( annual return ) yaitu tingkat keuntungan, Max Drawdown (MDD) yaitu penurunan maksimum nilai aset portfolio, dan Sharpe Ratio yaitu mengukur kinerja porfolio investasi. Langkah pertama, kekuatan model prediksi yang diusulkan terbukti, sedangkan langkah kedua keefektifan sebenarnya dari prediksi ditunjukkan.
E- ISSN 2503- 2933  1451
Title of manuscript is short and clear, implies research results (First Author)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Dataset
Sebanyak 1.213 record data perdagangan saham dan 1.780 record data berita terkait performa dan sentimen PT. Bank Rakyat Indonesia Tbk (BBRI) selama periode 1 Januari 2015 hingga Desember 2019 ditetapkan sebagai data utama penelitian. Selanjutnya, untuk mengukur kestabilan performa dari model yang dikembangkam dilakukan pengujian untuk saham bank lain, yaitu sebanyak 1.213 record data perdagangan saham dan 924 record data berita PT. Bank Mandiri Tbk (BMRI), serta 1.213 record data perdagangan saham dan 1.232 record data berita PT. Bank Negara Indonesia Tbk (BBNI).

## 3.2 Hasil Praproses dan Ekstraksi Fitur
Hasil praproses dan ekstraksi menghasilkan kumpulan fitur teknikal indikator dan sentimen berita sebanyak 1.213 baris data dalam bentuk tabulasi. Tabel 3 menunjukkan ilustrasi potongan dataset untuk saham BBRI.
Tabel 3. Dataset Hasil Praproses dan Ekstraksi Fitur
Date SMA5  SMA10  EMA5
MACD RSI . . . W%R  CRI  Sentiment  Target 1/1/2019 3.920 3.760 3.950 96 98 . . . -10 680 Neutral Down 2/1/2019 3.960 3.690 3.965 94 97 . . . -15 113 Negative Down 3/1/2019 3.980 3.685 3.940 71 83 . . . -8 528 Positive Up
Untuk pengembangan model, dataset dibagi menjadi 2 bagian yaitu periode 2015-2018 sebagai dataset pelatihan, sisanya tahun penuh 2019 sebagai dataset pengujian dan evaluasi simulasi pedagangan saham (evaluasi trading ).

## 3.3 Hasil Hyper-parameters Optimization
Sesuai metodologi yang disusun, sebelum menentukan kombinatorik hyper-parameter optimal, skenario uji coba kombinasi probabilitas gen crossover dan gen mutasi dilakukan. Ukuran populasi sebanyak 100 kromosom, membangkitkan sebanyak 5 generasi dan kombinasi probabilitas crossover yang diuji coba adalah 0,1 : 0,9 sampai 0,9 : 0,1. Serangkaian uji coba menunjukkan accuracy dan f1-score terbaik kombinasi probabilitas crossover dan  mutasi dihasilkan pada kombinasi 0.4 : 0.6, artinya sebanyak 40% populasi secara pemilihan random dilakukan pindah silang selanjutnya 60% dilakukan mutasi. Selanjutnya nilai parameter ini ditetapkan untuk GA melakukan pencarian nilai hyper-parameter model yang dibangun. Perbedaan nilai probabilitas crossover maupun mutasi mempengaruhi nilai fitness dan kinerja model yang dihasilkan. Nilai probabilitas yang terlalu besar membuat kromosom awal hasil seleksi mungkin saja kromosom baik akan hilang, begitu juga probabilitas yang terlalu kecil menghilangkan kesempatan mengeksplorasi daerah pencarian baru yang mungkin saja terdapat solusi optimum. Gambar 5 menunjukkan hasil uji coba beberapa nilai tingkat crossover dan tingkat mutasi yang paling cocok terhadap nilai accuracy dan f1-score Stacking ensemble .
1452 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933
(a) (b)
Gambar 5 Hasil Uji Coba Nilai Probabilitas Crossover Dan Mutasi Coba Terhadap Kinerja,
(a) accuracy dan (b) F1-Score ensemble Stacking
Diperoleh kombinatorik nilai-nilai parameter optimal dari daftar ruang pencarian yang dilakukan GA untuk base-learner RF,  ERT,  XGB,  LGBM,  dan meta-learner XGB masing- masing ditunjukkan oleh tabel 4. Selanjutnya nilai kombinatorik digunakan membangun model.
Tabel 4. Hasil Tuning Algoritma Genetika pada Base-learner Stacking Algoritma Parameter Nilai RF criterion, n_estimator, min_samples_split, min_samples_leaf, max_depth, random_state entropy, 100, 6, 12, 12, 13 ERT criterion, n_estimator, min_samples_split, min_samples_leaf, max_depth, random_state entropy, 500, 12, 10, 10, 7 XGB n_estimator, max_depth, learning_rate, gamma, min_child_weight, subsample, colsample_bytree, colsample_level, colsample_bynode, nthread, reg_alpha, reg_lambda, seed,  booster 500, 5, 0.1, 0.2, 0, 1.0, 1.0, 0.6, 0.5, 2, 5, 0.001, 42, dart LGBM n_estimator, colsample_bytree, colsample_bynode, reg_alpha, reg_lambda, seed, max_depth, learning_rate, min_child_weight, num_leaves, boosting_type 700, 0.8, 0.6, 0.01, 0.05, 12, 4, 0.1, 2, 70, gbdt

## 3.4 Pengukuran Kinerja Model dan Analisis Hasil
Dua skenario, pertama menggunakan optimization method GA, RS, dan GS, kedua pengukuran kinerja berdasar jenis dataset.

## 3.4.1 Kinerja Optimization Method
Dalam menguji kinerja dari metode optimalisasi yang diusulkan yaitu GA, melakukan dua (2) skenario pengujian yaitu pertama, model yang dituning menggunakan GA GS, dan RS dievaluasi. Kedua, durasi tuning untuk mengetahui efisiensi metode GA dalam pengoptimalan.
E- ISSN 2503- 2933  1453
Title of manuscript is short and clear, implies research results (First Author)
(a)
(b) (c)
Gambar 6. Kinerja metode GA, RS, dan GS prediksi saham (a) BBRI, (b) BMRI, dan (c) BBNI
Seperti yang ditunjukkan gambar 6, GA memiliki kinerja accuracy yang sama dengan metode brute  force GS, namun dalam domain prediksi saham nilai accuracy bukanlah segalanya. Saham mana yang akan benar-benar naik lebih menginginkan terjadinya true positive setinggi mungkin dan sangat tidak menginginkan terjadinya false positive maupun false negative sehingga  pengukuran f1-score yang mempertimbangkan pengukuran recall dan precision diperhitungkan dalam domain bisnis ini.
Tabel 5. Perbandingan durasi tuning GS, RS, dan GA.
Optimization method Base-Learner Tuning Duration* Stacking Total RF ERT XGB LGBM Grid Search (GS) 360 menit 345 menit 1.457 menit 480 menit 2.657 menit Randomized Search (RS) 16 menit 5 menit 3 menit 2 menit 26 menit Genetic Algorithm (GA) 56 menit 14 menit 6 menit 17 menit 93 menit
* Metode pencatatan durasi: titik waktu start dan finish progress  optimalisasi pada enviroment sistem.
memory dikosongkan,  defrag dan cleansing sebelum run environment sistem.
Melihat dari domain use case , accuracy dan kecepatan syarat model prediksi saham mengingat dari waktu penutupan ke pembukaan perdagangan hanya berjarak 15 jam.

## 3.4.2 Kinerja Model terhadap Jenis Dataset
Pengujian ini akan mempertegas apakah kombinasi data dapat meningkatkan kinerja prediksi saham. Dalam pengujian ini, pertama model dilakukan pengecualian dari fitur-fitur sentimen berita, kedua model dengan kombinasi keduanya. Seperti yang ditunjukkan gambar 7, ketika model dikecualikan dari fitur sentimen berita kinerja model signifikan menurun.
1454 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933
(a) (b) (c)
Gambar 7. Perbandingan Kinerja Jenis Dataset Saham (a) BBRI, (b) BMRI, dan (c) BBNI

## 3.4.3 Evaluasi Kinerja terhadap Penelitian Sebelumnya
Kesenjangan penelitian yaitu terdapatnya prospek meningkatkan kinerja penelitian yang mempertimbangkan indikator teknikal dan sentimen berita membuat evaluasi terhadap penelitian terdahulu dengan studi sama sangat diperlukan ditunjukkan gambar 8.
(a)
(b) (c)
Gambar 8. Perbandingan Kinerja Saham (a) BBRI, (b) BMRI, dan (c) BBNI

## 3.5 Pengukuran Simulasi Trading dan Analisis Hasil Trading
Sebagai dampak terhadap kinerja model, pengukuran terhadap simulasi perdagangan yang nyata dan juga merupakan tujuan penelitian sehingga keefektifan sebenarnya dari prediksi ditunjukkan. Tabel (6-8) berikut hasil pengukuran trading, untuk menghitung nilai portfolio after fee , modal ditempatkan sebesar Rp 100.000.000, dan besar fee buy 0.18% sell 0.28% memakai standard fee Mandiri Sekuritas.
Tabel 6. Perbandingan Kinerja Trading Saham BBRI 2019
Penelitian Prediksi Up Prediksi Down Annual Return MDD Sharpe Ratio Portfolio After Fee Picasso et al., [6] 36 209 12.95% -8.82% 0.29 112.757.842 Khan et al., [4] 125 120 62.56% -4.25% 2.38 162.369.701 Penelitian ini, (2021) 113 132 121.27%  -2.22% 4.86 221.080.836 *Buy & Hold - - 20,22% - 15.29% 0.59  119.703.494
E- ISSN 2503- 2933  1455
Title of manuscript is short and clear, implies research results (First Author)
Tabel 7. Perbandingan Kinerja Trading Saham BMRI 2019 Penelitian Prediksi Up Prediksi Down Annual Return MDD Sharpe Ratio Portfolio After Fee Picasso et al., [6] 18 227 38.20% -0.89% 1.59 138.015.866 Khan et al., [4] 104 141 58.69% -5.07% 2.61 158.503.429 Penelitian ini, (2021) 118 127 137.92%  -0.61% 6.55 237.737.151 *Buy & Hold - - 4.07% - 10.32% 0.10  103.598.706 Tabel 8. Perbandingan Kinerja Trading Saham BBNI 2019 Penelitian Prediksi Up Prediksi Down Annual Return MDD Sharpe Ratio Portfolio After Fee Picasso et al., [6] 115 130 99.68% -2.52% 2.29 199.496.994 Khan et al., [4] 40 205 -14.56% -9.07% -0.51 85.254.143 Penelitian ini, (2021) 107 138 129.83%  -0.73% 3.02 229.644.118 *Buy & Hold - - -10.80% -9.66% -0.41 88.770.334
Teknik pengujian simulasi trading ini dilakukan dengan menambah fitur return per trade dan fitur generate prediksi yang berasal dari model. Berbeda dengan annual return , annual return merupakan jumlah  keseluruhan return  per  trade selama satu tahun penuh (dalam penelitian ini selama 2019). Return per trade ini akan digunakan untuk mengidentifikasi apakah hasil genegrate prediksi benar-benar tepat pada return yang positif atau negatif. Persamaan (3) menunjukkan aturan “ Buy & Sell ” simulasi trading.
Trading Rule " Up (3)

## 4. KESIMPULAN
Kontribusi penelitian ini merupakan studi pertama metode GA untuk optimalisasi base- learner ensemble decision tree-based (RF, ERT, XGB, LGBM)  dan untuk meta-learner (XGB) terintegrasi dalam ensemble Stacking. Tujuan utama meningkatkan seakurat mungkin kinerja model prediksi saham, dengan penentuan hyper-parameter yang optimal sebagai masalah yang ingin dipecahkan. Keefektifan dan kestabilan metode yang diusulkan terbukti sepanjang dua pengukuran: kinerja model ( accuracy, f1-score ) dan evaluasi trading ( return, MDD, Sharpe Ratio ). Berdasar hasil penelitian dapat ditarik beberapa kesimpulan penting dalam penelitian ini.
(1) Metode optimalisasi GA dapat menemukan kombinatorik hyper-parameter optimum dengan memperhatikan kombinasi probabilitas gen crossover dan gen mutasi yang paling cocok, dalam  penelitian  ini  sebesar  0.4  crossover  dan  0.6  mutasi  memperoleh  hasil  optimum  segi ukuran kinerja model. Untuk segi durasi, kecepatan GA jauh melampaui GS walaupaun masih lebih lambat dari pada RS.
(2) Studi prediksi saham mempertimbangkan indikator teknikal dan sentiment berita berhasil meningkatkan kinerja terhadap tiga studi serupa sebelumnya [6]; [4]; [21].
1456 Jatisi ISSN 2407-4322 Vol. 8, No. 3, September 2021, Hal. 1442-1456 E- ISSN 2503-2933

## 5. SARAN
Penelitian di masa mendatang mungkin dapat mengembangan beberapa prospek berikut.
(1) Mengekplorasi jumlah generasi, ukuran populasi dan teknik seleksi pada metode GA.
(2) Mengembangkan metode feature selection pada indikator teknikal.

## DAFTAR PUSTAKA
A
[1]   L. Xiang and L. Chao, "An Intelligent Stock Trading Decision Support System Based on Rough Cognitive Reasoning," Expert Systems with Applications, Vol. 160, No.  113763, 2020.
[2]   J.  Nobre  and  R.  F.  Neves, "Combining  Principal Component Analysis, Discrete Wavelet Transform and XGBoost to Trade In The Financial Markets, " Expert  Systems  With Applications, Vol. 125, pp. 181-194, 2019.
[3]   M.  Jiang,  J.  Liu  and  L.  Zhang, "An  Improved Stacking Framework For Stock Index Prediction By Leveraging Tree-Based Ensemble Models and Deep Learning Algorithms ," Physica A: Statistical Mechanics and Its Applications, Vol. 541, 2019.
[4]   W.  Khan,  M.  A.  Ghazanfar,  M.  A.  Azam,  A.  Karami,  K.  H.  Alyoubi  and  A.  S.  Alfakeeh, "Stock Market Prediction Using Machine Learning Classifiers and Social Media, News," Journal of Ambient Intelligence and Humanized Computing, 2020.
[5]   W. Wang, W. Li, N. Zhang and K. Liu, "Portfolio Formation With Preselection Using Deep Learning From Long-Term Financial Data," Expert Systems With Applications, Vol. 13042, No. 1, p. 143, 2020.
[6]   A. Picaso, S. Merello, Y. Ma, L. Oneto and E. Cambria, "Technical Analysis and Sentiment Emb E Ddings For Market Trend Prediction," Expert Systems With Applications, Vol. 135, pp. 60-70, 2019.
[8]   H.  Park,  M.  K.  Sim  and  D.  G.  Choi, "An  Intelligent Financial Portfolio Trading Strategy Using Deep Q-Learning," Expert Systems with Applications, Vol. 158, No. 1, p. 113, 2020.
[11]  Q. Chen, W. Zhang and Y. You, "Forecasting Stock Prices Using A Hybrid Deep Learning Model Integrating Attention Mechanism, Multi-Layer Perceptron, and Bidirectional Long- Short Term Memory Neural Network," IEEE, Vol. 8, pp. 117365-117376, 2020.
[12]  Y. Ma, R. Han and W. Wang, "Prediction-Based Portfolio Optimization Models Using Deep Neural Networks, " IEEE, Vol. 8, pp. 115393-115405, 2020.