10 MITOS PENELITIAN: Artificial Intelligence vs Revolusi Industri 4.0? Perbedaan Sudut Pandang Akademisi vs Industri? Romi Satria Wahono romi@romisatriawahono.net 08118228331
Romi Satria Wahono • SMA Taruna Nusantara Magelang (1993) • B.Eng, M.Eng and Ph.D in Software Engineering Saitama University Japan (1994-2004) Universiti Teknikal Malaysia Melaka (2014) • Core Competency in Enterprise Architecture, Software Engineering and Machine Learning LIPI Researcher (2004-2007) • Founder, CoFounder and CEO: PT Brainmatics Cipta Informatika (2005) • PT Imani Prima (2007) • PT IlmuKomputerCom Braindevs Sistema (2014) • PT Brainmatics Indonesia Cendekia (2020) Professional Member of IEEE, ACM and PMI • IT and Research Award Winners from WSIS (United Nations), Kemdikbud, Ristekdikti, LIPI, etc SCOPUS/ISI Indexed Journal Reviewer: Information and Software Technology, Journal of Systems and Software, Software: Practice and Experience, etc Industrial IT Certifications: TOGAF, ITIL, CCAI, CCNA, etc • Enterprise Architecture & Digital Transformation Expert: KPK, INSW, BPPT, LIPI, Kemenkeu, RistekDikti, Pertamina EP, PLN, PJB, PJBI, IP, FIF, Kemlu, ESDM, etc. 2
Research Myths Mitos (Indonesia) Myths (Inggris) Mythos (Yunani) Mythe (Belanda) Cerita turun temurun sejak masa lampau, yang mengandung penafsiran tentang alam semesta, dan dianggap benar-benar terjadi oleh para pengikut dan penganutnya 4
Mitos 1: Penelitian Yang Baik Itu Outputnya Nyata dalam Bentuk Produk Mitos 10: Satu Hasil Eksperimen Bisa Jadi Banyak Paper dan Dipublikasikan di Banyak Jurnal Mitos 2: Tujuan Utama Penelitian adalah Adanya Kontribusi ke Masyarakat Mitos 9: Saya Melakukan Citation dengan Meng-Copy Paste Kalimat dan Paragraf dari Paper Lain Mitos 8: Penelitian yang Baik itu Topik dan Skalanya Besar, serta Berhubungan dengan Banyak Bidang 10 MITOS PENELITIAN Mitos 3: Metode Penelitian yang Saya Gunakan adalah Waterfall Mitos 4: Masalah Penelitian itu adalah Masalah Yang Muncul di Masyarakat Mitos 7: Penelitian Itu Semakin Aplikatif dan Terapan Semakin Mudah Masuk Jurnal Terindeks Mitos 5: Studi Literatur Berisi Berbagai Teori Dasar dan Definisi yang Ada di Buku Mitos 6: Semakin Banyak Literatur yang Saya Baca, Saya Semakin Pusing 5
MITOS 1 Penelitian Yang Baik Itu Outputnya Nyata dalam Bentuk Produk (Software) 6
Mengapa Melakukan Penelitian? Berangkat dari adanya masalah penelitian yang mungkin sudah diketahui metode pemecahannya • tapi belum diketahui metode pemecahan yang lebih baik Research (Inggris) dan recherche (Prancis) re (kembali) • to search (mencari) The process of exploring the unknown, studying and learning new things, building new knowledge about things that no one has understood before (Berndtsson et al., 2008) 7
Penelitian Computing Produknya Software? Membangun software bukanlah tujuan utama penelitian, hanya testbed untuk mempermudah kita dalam mengukur hasil penelitian Tidak ada listing code, UML atau screenshot software di paper- paper journal (SCOPUS/WoS), kecuali penelitian tentang perbaikan paradigma pemrograman, analisis design, dsb Ketika pada penelitian kita mengusulkan perbaikan suatu algoritma (proposed method) Bidang image processing, topik penelitian face recognition, memikirkan perbaikan metode/algoritma untuk pengenalan wajah dengan akurat/efisien Bidang data mining, topik decision tree, memikirkan perbaikan algoritma decision tree sehingga bisa memprediksi (klasifikasi) dengan lebih akurat Untuk mempermudah eksperimen dan evaluasi, kita menulis kode program (software) untuk menguji dan mengevaluasi performance dari algoritma yang kita usulkan 8
Software Engineering Research Trends Penelitian bidang software engineering bukan penelitian tentang pengembangan software yang hasil akhirnya produk software, tapi penelitian untuk perbaikan metodologi pengembangan software Requirement Engineering s c i p o T g n i r e e n g n E e r a w i Software Design Software Construction Software Testing Software Maintenance Software Process Improvement Software Defect Prediction Software Effort Estimation Self Adaptive Systems Service Oriented Architecture Software Product Line 4 4 4 7 7 7 9 9 9 10 Software Architecture 7 t f o S Global Software Engineering Software Outsourcing 3 3 Systematic Literature Review 8 0 2 4 6 8 10 Jumlah Survey Paper Resources: Survey Papers from ScienceDirect, SpringerLink, and IEEE Explore (2011-2020) 9 12 13 14
Evolution of Sciences • Sebelum 1600: Empirical science Disebut sains kalau bentuknya kasat mata dan berbentuk barang 1600-1950: Theoretical science Disebut sains kalau bisa dibuktikan secara matematis atau empiris melalui eksperimen 1950s-1990: Computational science Seluruh disiplin ilmu bergerak ke komputasi • Lahirnya banyak model komputasi 1990-sekarang: Data science Kultur manusia menghasilkan data besar • Kemampuan komputer untuk mengolah data besar • Datangnya data mining sebagai arus utama sains (Jim Gray and Alex Szalay, The World Wide Telescope: An Archetype for Online Science, Communication of ACM, 45(11): 50-54, Nov. 2002) 10
It governance DATA SCIENCE Computing research bagaimana BUAT produk produk it JUALAN CD aplikasi dikembangkan & MUSIK GA langganan dijalankan LAKU? musik? di era gafam & startup? Service operation Infrastructure & Security Product management SOFTWARE ENGINEERING 11
MITOS 2 Tujuan Utama Penelitian adalah Adanya Kontribusi ke Masyarakat 12
Apa Yang Dikejar di Penelitian? Research is a considered activity, which aims to make an original contribution to knowledge (Dawson, 2009) 13
Bentuk Kontribusi ke Pengetahuan Kegiatan penyelidikan dan investigasi terhadap suatu masalah yang dilakukan secara berulang-ulang dan sistematis, dengan tujuan untuk menemukan atau merevisi teori, metode, fakta, dan aplikasi (Berndtsson et al., 2008) 14
Bentuk Kontribusi ke Pengetahuan
(Dawson, 2019)
Bentuk Kontribusi ke Pengetahuan Marketing Mix 7P (Booms and Bitner, 1981) 8P (Gold Smith, 1999) 4P (Jerome McCarthy, 1964) 12 Elements (Neil Borden, 1953) 16
Bentuk Kontribusi ke Pengetahuan Educational Objectives Taxonomy Bloom's Taxonomy (Bloom, 1956) Bloom's Digital Taxonomy (Churces, 2009) Bloom's Modified Taxonomy (Lorin, 2001) Psychomotor Domain (Simpson, 1966) 18
Bentuk Kontribusi ke Pengetahuan Decision Tree CART (Breiman ,1984) Credal C4.5 (Mantas, 2014) Adaptative Credal C4.5 (Abellan, 2018) Credal DT (Abellan, 2003) C4.5 (Quinlan, 1993) ID3 (Quinlan, 1986) 21
Contoh Ide Dasar Penelitian Ingin mengambil topik Algoritma Genetika Untuk penentuan nilai parameter (panjang, tinggi, lebar, dalam, bentuk, jenis material, etc) yang paling optimal pada desain bendungan Sehingga bisa menampung kubik air terbesar Judul Penelitian: Penerapan Algoritma Genetika untuk Penentuan Design Bendungan: Studi Kasus Bendungan Jati Luhur 22
Contoh Penelitian Dengan Kontribusi Masalah Penelitian: Algoritma genetika pada saat diterapkan untuk desain bendungan, sering sekali terkena konvergensi prematur Judul: Penerapan Metode XYZ untuk Pemecahan Masalah Konvergensi Prematur pada Algoritma Genetika untuk Penentuan Desain Bendungan Kontribusi: Menerapkan Metode XYZ yang sebelumnya tidak pernah digunakan orang untuk memecahkan masalah konvergensi premature pada Algoritma Genetika 23
Contoh Penelitian Tanpa Kontribusi Penerapan Algoritma Genetika untuk Penentuan Desain Bendungan di Bendungan Jatiluhur Penerapan Algoritma Genetika untuk Penentuan Desain Bendungan di Bendungan Gajah Mungkur Penerapan Algoritma Genetika untuk Penentuan Desain Bendungan di Bendungan Karang Kates banyak peneliti computing di Indonesia yang terjebak dengan penelitian tanpa kontribusi dan hanya mengganti obyek tempat, akhirnya ditolak ketika publikasi ke journal internasional terindeks 24
Kontribusi ke Pengetahuan vs Kontribusi ke Masyarakat Kontribusi ke masyarakat tidak secara langsung bisa diukur, karena itu tidak dimasukkan ke tujuan penelitian, tapi ke manfaat penelitian 25
MITOS 3 Metode Penelitian yang Saya Gunakan adalah Waterfall 26
Waterfall itu bukan metode atau metodologi penelitian, tapi metodologi pengembangan software 27
Metodologi Pengembangan Software 1. Structured Design (SD) Waterfall method • Parallel development More Prescriptive/ Documentation 2. Rapid Application Development (RAD) Phased Development • Prototyping 3. Agile Development More Adaptive/ Communication Extreme Programming (XP) • Scrum (Dennis, 2012) 28
Planning Implementation Keluar Sistem Mengecek Saldo Sistem Inti Perbankan Nasabah Memasukan Kartu Memasukan PIN "include" Petugas Mengupdate Informasi Kotak Deposit Mengirim Uang uc UCD Sistem ATM Sistem ATM Mengambil Uang Waterfall Sistem ATM Tampilkan Menu Pengambilan Uang Masukan Jumlah Uang Saldo Cukup? tidak Tampilkan Error Saldo Tidak Cukup tidak Sistem Inti Perbankan Request Kecukupan Saldo act 4 AD Mengambil Uang Proses Ambil Uang Selesai Mulai Nasabah Keluarkan Uang di Kotak Uang Cek Kecukupan Saldo Pilih Ambil Uang dari Menu Utama Analysis alt PIN Valid? blokirAccount() [tidak][ya] tampilkan(pesanKesalahan) tampilkan() tampilkan() masukanPIN() MenuPIN validasiPIN(id) :Nasabah MenuUtama alt Lebih dari 3x? [ya][tidak] ManajerValidasi Login getPIN() sd 2 SD Memasukan PIN Account ManajerDeposit m_Login: Login + blokirAccount(): void+ ManajerValidasi()+ validasiKartu(): int+ validasiPIN(): int MenuDeposit MenuLogout MenuPIN MenuPengambilanUang MenuPengecekanSaldo MenuPengirimanUang MenuUtama SistemATM mewarisi memiliki memiliki mengakses memiliki dikelola oleh mewarisi mengakses dikelola oleh memiliki dikelola oleh mengakses dikelola oleh mengakses mengakses dikelola oleh mewarisi dikelola oleh dikelola oleh mewarisi mewarisi mengakses Deposit ManajerPengirimanUang KotakKuitansi ManajerPengambilanUang class CD Sistem ATM Balance KotakKartu KotakUang Login ManajerPengecekanUang ManajerValidasi + getPIN(): int ManajerLogout Design 29
uc UCD Sistem ATM Memasukan PIN Mengambil Uang Mengirim Uang Mengecek Saldo Nasabah Keluar Sistem "include" Memasukan Kartu Sistem Inti Perbankan Mengupdate Informasi Kotak Deposit Petugas Sistem ATM Phased development Selesai Sistem ATM tidak Pilih Ambil Uang dari Menu Utama Masukan Jumlah Uang Cek Kecukupan Saldo act 4 AD Mengambil Uang tidak Tampilkan Menu Pengambilan Uang Saldo Cukup? Sistem Inti Perbankan Tampilkan Error Saldo Tidak Cukup Proses Ambil Uang Mulai Keluarkan Uang di Kotak Uang Nasabah Request Kecukupan Saldo Analysis Planning alt PIN Valid? tampilkan(pesanKesalahan) sd 2 SD Memasukan PIN tampilkan() :Nasabah MenuPIN masukanPIN() validasiPIN(id) alt Lebih dari 3x? MenuUtama [tidak][ya] blokirAccount() Login getPIN() tampilkan() ManajerValidasi [ya][tidak] Versi 1 Versi 2 Implementation ManajerPengambilanUang class CD Sistem ATM Deposit ManajerPengirimanUang KotakKuitansi ManajerLogout KotakUang ManajerDeposit m_Login: Login + blokirAccount(): void+ ManajerValidasi()+ validasiKartu(): int+ validasiPIN(): int MenuDeposit MenuLogout MenuPIN MenuPengambilanUang MenuPengecekanSaldo MenuPengirimanUang MenuUtama SistemATM mewarisi memiliki memiliki mengakses memiliki dikelola oleh mewarisi mengakses dikelola oleh memiliki dikelola oleh mengakses dikelola oleh mengakses mengakses dikelola oleh mewarisi dikelola oleh dikelola oleh mewarisi mewarisi mengakses ManajerValidasi KotakKartu + getPIN(): int ManajerPengecekanUang Account Login Balance Design 30
Planning Sistem Inti Perbankan uc UCD Sistem ATM Memasukan PIN Mengambil Uang Nasabah Mengirim Uang Sistem ATM Mengecek Saldo Mengupdate Informasi Kotak Deposit Petugas Keluar Sistem Memasukan Kartu "include" prototyping act 4 AD Mengambil Uang Masukan Jumlah Uang Sistem ATM Mulai Tampilkan Menu Pengambilan Uang Pilih Ambil Uang dari Menu Utama Cek Kecukupan Saldo Saldo Cukup? Nasabah Selesai Keluarkan Uang di Kotak Uang Proses Ambil Uang Sistem Inti Perbankan tidak Tampilkan Error Saldo Tidak Cukup tidak Request Kecukupan Saldo Prototype Analysis tampilkan(pesanKesalahan) alt PIN Valid? alt Lebih dari 3x? MenuPIN tampilkan() getPIN() sd 2 SD Memasukan PIN masukanPIN() :Nasabah ManajerValidasi Login blokirAccount() validasiPIN(id) MenuUtama tampilkan() [tidak][ya] [ya][tidak] Implementation ManajerValidasi ManajerLogout KotakUang ManajerDeposit class CD Sistem ATM Login ManajerPengirimanUang Account ManajerPengecekanUang + getPIN(): int Deposit Balance ManajerPengambilanUang KotakKuitansi KotakKartu m_Login: Login + blokirAccount(): void+ ManajerValidasi()+ validasiKartu(): int+ validasiPIN(): int MenuDeposit MenuLogout MenuPIN MenuPengambilanUang MenuPengecekanSaldo MenuPengirimanUang MenuUtama SistemATM mewarisi memiliki memiliki mengakses memiliki dikelola oleh mewarisi mengakses dikelola oleh memiliki dikelola oleh mengakses dikelola oleh mengakses mengakses dikelola oleh mewarisi dikelola oleh dikelola oleh mewarisi mewarisi mengakses Design 31
Planning Hasil Sprint 1 Hasil Sprint 2 Implementation Memasukan PIN uc UCD Sistem ATM Mengupdate Informasi Kotak Deposit Mengirim Uang Petugas Mengecek Saldo Keluar Sistem Sistem ATM Mengambil Uang "include" Nasabah Memasukan Kartu Sistem Inti Perbankan SCRUM Mulai tidak tidak Pilih Ambil Uang dari Menu Utama Proses Ambil Uang Cek Kecukupan Saldo Masukan Jumlah Uang Keluarkan Uang di Kotak Uang Tampilkan Menu Pengambilan Uang Nasabah Saldo Cukup? act 4 AD Mengambil Uang Sistem Inti Perbankan Tampilkan Error Saldo Tidak Cukup Request Kecukupan Saldo Selesai Sistem ATM Analysis tampilkan(pesanKesalahan) validasiPIN(id) masukanPIN() tampilkan() alt PIN Valid? sd 2 SD Memasukan PIN [tidak][ya] :Nasabah ManajerValidasi getPIN() alt Lebih dari 3x? blokirAccount() tampilkan() [ya][tidak] MenuUtama Login MenuPIN Sprint 1 Sprint 2 Login Deposit KotakUang ManajerValidasi + getPIN(): int Account ManajerLogout Balance ManajerDeposit m_Login: Login + blokirAccount(): void+ ManajerValidasi()+ validasiKartu(): int+ validasiPIN(): int MenuDeposit MenuLogout MenuPIN MenuPengambilanUang MenuPengecekanSaldo MenuPengirimanUang MenuUtama SistemATM mewarisi memiliki memiliki mengakses memiliki dikelola oleh mewarisi mengakses dikelola oleh memiliki dikelola oleh mengakses dikelola oleh mengakses mengakses dikelola oleh mewarisi dikelola oleh dikelola oleh mewarisi mewarisi mengakses ManajerPengambilanUang class CD Sistem ATM ManajerPengecekanUang ManajerPengirimanUang KotakKuitansi KotakKartu Design 32
Klasifikasi Penelitian 1. Pendekatan 2. Metode 3. Jenis 4. Level Kontribusi 33 1. Pendekatan Kualitatif 2. Pendekatan Kuantitatif 1. Metode Penelitian Tindakan 2. Metode Eksperimen 3. Metode Studi Kasus 4. Metode Survei 1. Dasar vs Terapan 2. Eksplanatori vs Konfirmatori 3. Deskripsi vs Eksperimen vs Korelasi 1. Pengujian Teori (S1) 2. Pengembangan Teori (S2) 3. Penemuan Teori (S3)
1. 2. 1. Pendekatan Pendekatan Kualitatif: • Dari ilmu sosial, konsepnya peningkatan pemahaman terhadap sesuatu, dan bukan membangun penjelasan dari sesuatu (Berndtsson et al., 2008) Sifatnya subyektif, berorientasi ke observasi tanpa dikontrol, dan secara umum tidak ada generalisasi (Blaxter, Hughes, & Tight, 2006) Dilakukan bidang sistem informasi, dengan metode penelitian seperti "studi kasus" dan "survei", berbasis pola alur induktif Pengamatan terhadap obyek penelitian (Khusus) Menghasilkan konsep atau teori baru (Umum) Pendekatan Kuantitatif: • Dari ilmu alam, konsepnya bagaimana sesuatu dibangun dan bekerja, dan membangun penjelasan dari sesuatu Sifatnya obyektif, berorientasi ke verifikasi, observasi yang dikontrol, dan secara umum ada generalisasi (Blaxter et al., 2006) Menggunakan skala numerik, berbasis pola alur deduktif-induktif Kumpulkan Teori (Umum) Hasilkan Konsep Rumuskan Hipotesis (Khusus) Uji Hipotesis Tarik Kesmpulan (Umum) (Berndtsson et al., 2008) 34
2. Metode 1. Penelitian Tindakan Studi berupa monitoring dan pencatatan penerapan sesuatu oleh peneliti secara hati-hati, yang tujuannya untuk memecahkan masalah dan mengubah situasi (Herbert, 1990) Penelitian Tindakan Kelas (PTK) di bidang Pendidikan 2. Eksperimen Investigasi hubungan sebab akibat dengan menggunakan ujicoba yang dikontrol oleh peneliti 3. Melibatkan pengembangan dan evaluasi • Penelitian bidang Science dan Teknik Studi Kasus • Eksplorasi satu situasi secara mendalam dan hati hati (Cornford and Smithson, 2006) 4. Penelitian bidang Sosial, Ekonomi, Politik Survei • Pengumpulan data dari populasi yang bisa diukur, dengan cara yang ekonomis (Saunders et al., 2007) • Melibatkan penggunaan kuesioner dan interview (Dawson, 2009) 35
3. Jenis Deskripsi
Kualitatif Eksplanatori
Eksperimen Kuantitatif
Konfirmatori Terapan
Dasar 36
Korelasi
4. Level Kontribusi Aspek Skripsi (D4/S1) Tesis (S2) Disertasi (S3) Level Kontribusi Pengujian Teori Pengembangan Teori Penemuan Teori Baru Bentuk Kontribusi Implementasi dan penerapan Perbaikan Secara Inkremental dan Terus Menerus Substansial dan Invention Target Publikasi Domestic Conference International Conference International Journal (Permendikbud No 3 tahun 2020 tentang SNPT) 37
Level Kontribusi Penelitian D4/S1 vs S2 vs S3 D4/S1: Pengaruh 4P Marketing Mix pada Peningkatan Penjualan Perusahaan XYZ • Kontribusi: menguji dan menerapkan teori/hukum/model/metode S2: Pengaruh 4P+3C Marketing Mix pada Peningkatan Penjualan Perusahaan XYZ Kontribusi: mengembangkan dan memperbaiki teori/hukum/model/metode S3: Pengaruh ABCD Marketing Mix pada Peningkatan Penjualan Perusahaan Kontribusi: mengembangan dan menemukan (invention) teori/hukum/model/metode baru yang sifatnya lebih general 38
Level Kontribusi Penelitian D4/S1 vs S2 vs S3 D4/S1: Penerapan Taksonomi Bloom untuk Evaluasi Pembelajaran Pelajaran IPS pada SMA ABC Kontribusi: menguji dan menerapkan teori/hukum/model/metode S2: Integrasi Teori Sosial Networking dan Taksonomi Bloom untuk Evaluasi Pembelajaran Pelajaran IPS Secara Online pada SMA ABC Kontribusi: mengembangkan dan memperbaiki teori/hukum/model/metode S3: Modifikasi Taksonomi Bloom untuk Evaluasi Pembelajaran Pelajaran Secara Online Kontribusi: mengembangan dan menemukan (invention) teori/hukum/model/metode baru yang sifatnya lebih general 39
Level Kontribusi Penelitian D4/S1 vs S2 vs S3 D1-D3: Pengembangan Sistem Informasi Rumah Sakit untuk Rumah Sakit "Suka Sembuh" Karakter: menguasai skill teknis D4/S1: Sistem Cerdas Berbasis Neural Network untuk Prediksi Harga Saham • Karakter: menguji teori, ada software development S2: Penerapan Algoritma Genetika untuk Pemilihan Arsitektur Jaringan Secara Otomatis pada Neural Network untuk Prediksi Harga Saham • Karakter: mengembangkan teori (perbaikan metode), ada kontribusi ke teori/metode meskipun specific obyek S3: Penerapan Algoritma XYZ untuk Pemilihan Arsitektur Jaringan Secara Otomatis pada Neural Network Karakter: menemukan teori (invensi metode), ada kontribusi ke teori/metode dengan generalisasi lebih luas 40
Metodologi Penelitian vs Metodologi Pengembangan Software Metodologi pengembangan software bukan metodologi penelitian! Jangan pernah masukan waterfall/RAD/Agile di Bab 3 skripsi/tesis/disertasi sebagai metode penelitian! Bab 3 seharusnya membahas tentang bagaimana metode, teknik, cara, tahapan dan evaluasi pada penelitian kita (metodologi penelitian) 41
MITOS 4 Masalah Penelitian itu adalah Masalah Yang Muncul di Masyarakat 42
Konsepsi Masalah Penelitian Penelitian dilakukan karena ada masalah penelitian Dimana masalah penelitian sendiri muncul karena ada latar belakang masalah penelitian Latar belakang masalah penelitian itu berangkatnya bisa dari masalah kehidupan (obyek penelitian) 43
Contoh Alur Latar Belakang Masalah Penelitian: Penerapan XYZ untuk Masalah E pada SVM untuk Prediksi Nilai Tukar Uang Nilai tukar uang adalah faktor penting pada perekonomian suatu negara. Nilai tukar uang perlu diprediksi supaya kebijakan perekonomian bisa diambil dengan lebih akurat dan efisien... • Metode untuk prediksi nilai tukar yang saat ini digunakan adalah regresi linier, neural network dan support vector machine... Regresi linier memiliki kelebihan A dan kelemahan B... • Neural network memiliki kelebihan C dan kelemahan D... • Support vector machine memiliki kelebihan bisa mengatasi masalah B (pada regresi linier) dan D (pada neural network)... tapi memiliki kelemahan E Masalah penelitian pada penelitian di atas? Kebijakan perekonomian negara? • Prediksi nilai tukar uang? • Metode apa yang sebaiknya dipakai untuk prediksi nilai tukar? Masalah: Support vector machine memiliki kelebihan memecahkan masalah B dan D (argumentasi dipilih), tapi memiliki kelemahan E • Tujuan: Menerapkan metode XYZ untuk memecahkan masalah E pada support vector machine 44
Contoh Masalah Penelitian Ungu: Obyek Data (Opsional, Bisa Data Publik) • Oranye: Topik (Obyek Metode yang Diperbaiki) • Merah: Masalah Penelitian • Hijau: Metode Perbaikan yang Diusulkan • Biru: Pengukuran Penelitian (Tidak Harus Masuk Judul) Penerapan Particle Swarm Optimization untuk Pemilihan Parameter Secara Otomatis pada Support Vector Machine untuk Prediksi Produksi Padi Research Problem (RP) Research Question (RQ) Research Objective (RO) SVM dapat memecahkan masalah 'over-fitting', lambatnya konvergensi, dan sedikitnya data training, akan tetapi memiliki kelemahan pada sulitnya pemilihan parameter SVM yang sesuai yang mengakibatkan akurasi tidak stabil Seberapa meningkat akurasi metode SVM apabila PSO diterapkan pada proses pemilihan parameter? Menerapkan PSO untuk pemilihan parameter yang sesuai pada SVM (C, lambda dan epsilon) , sehingga hasil prediksinya lebih akurat 46
MITOS 5 Studi Literatur Berisi Berbagai Teori Dasar dan Definisi yang Ada di Buku 47
Manfaat Studi Literatur Memperdalam pengetahuan tentang bidang dan topik yang diteliti (Textbooks) Memperdalam pengetahuan tentang topik lebih detail yang diteliti (Survey Paper) Mengetahui hasil penelitian yang berhubungan dan yang sudah pernah dilaksanakan (Related Research) (Technical Paper) Mengetahui perkembangan ilmu pada bidang yang kita pilih (state-of-the-art) (Technical atau Survey Paper) Memperjelas masalah penelitian (Technical Paper) • Studi literature adalah bingkai dari tahapan penelitian Kita lakukan pada setiap tahapan siklus penelitian 48
Tahapan Penelitian Literature Review 1. Penentuan Bidang Penelitian (Research Field) 2. Penentuan Topik Penelitian (Research Topic) 3. Penentuan Masalah Penelitian (Research Problem) 4. Perangkuman Metode-Metode Yang Ada (State-of-the-Art Methods) 5. Penentuan Metode Yang Diusulkan (Proposed Method) 6. Evaluasi Metode Yang Diusulkan (Evaluation) 7. Penulisan Ilmiah dan Publikasi Hasil Penelitian (Publications) 49
Jenis Literatur Ilmiah 1. Paper dari Journal * 2. Paper dari Book Chapter 3. Paper dari Conference (Proceedings) 4. Thesis dan Disertasi 5. Report (Laporan) dari Organisasi yang Terpercaya 6. Buku Textbook Prioritaskan paper journal terindeks WoS (Clarivate) or SCOPUS Cek dengan 50
Jenis Paper Ilmiah 1. Technical Paper (Research Articles) 1. Paper yang isinya adalah hasil penelitian dan eksperimen yang dilakukan seorang peneliti 2. Penilaian kualitas technical paper dari kontribusi ke pengetahuan 2. Survey Paper (Review Articles) 1. Paper yang isinya adalah review dan survey tentang topik/tema suatu penelitian, biasanya jumlah penelitian yang direview mencapai ratusan atau ribuan paper 2. Rujukan dan panduan penting bagi peneliti yang baru memulai penelitian untuk memahami suatu topic/tema penelitian secara komprehensif 51
Organisasi Yang Mengindeks Journal 1. Thomson Reuters Web of Science (Clarivate Analytics) Since 1963, formerly produced by ISI, 12032 journals are indexed • Pengindeks journal yang memiliki level paling baik • 2. Scopus Launched by Elsevier in 2004, 20000 journals, conference papers and other are indexed Pengindeks journal level standard, biasa untuk syarat menyelesaikan PhD • 3. Google Scholar Launched in 2004, mengindeks semua publikasi ilmiah yang online Organisasi pengindeks journal selain di atas (EBSCO, DBLP, ProQuest, dsb), boleh dikatakan selevel dengan Google Scholar 52
MITOS 6 Semakin Banyak Literatur yang Saya Baca, Saya Semakin Pusing 54
Jumlah Literatur yang Harus Dibaca • Adagium level pendidikan dan jumlah literatur yang harus dibaca untuk penyelesaian penelitian S1: 20-70 paper • S2: 70-200 paper • S3: 200-700 paper Kepala jadi pusing, bukan karena kita banyak membaca, tapi karena yang kita baca memang "belum banyak" 55
Tools Pengelola Literatur Ilmiah Mendeley: mengelola literature ilmiah yang didownload dan membantu dalam penulisan ilmiah Vosviewer: analisis, abstraksi dan visualisasi bibliometrik untuk mendapatkan insight dan finding dalam waktu cepat Researcher: monitoring literatur terbaru pada topik penelitian 56
Bibliometric Analysis (Mendeley
> RIS)
Bibliometric Analysis (RIS
> Vosviewer)
Bibliometric Analysis (RIS
> Vosviewer)
Researcher: Research Topics Monitoring 66
MITOS 7 Penelitian Itu Semakin Aplikatif dan Terapan Semakin Mudah Masuk Jurnal Terindeks 67
Penelitian Terapan Penelitian Dasar 68
Pengaruh 12 Elemen Marketing Mix pada Peningkatan Penjualan Perusahaan XYZ 12 Elements of the Marketing Mix (Neil Borden, 1953) Mixer of Ingredients (James Culliton, 1948) 69
Pengaruh 4P Marketing Mix pada Peningkatan Penjualan Perusahaan XYZ 4P of the Marketing Mix (Jerome McCarthy, 1964) Mixer of Ingredients (James Culliton, 1948) 70
Pengaruh 7P Marketing Mix pada Peningkatan Penjualan Perusahaan XYZ 7P of the Marketing Mix (Booms and Bitner, 1981) Mixer of Ingredients (James Culliton, 1948) 71
Penerapan Bloom's Taxonomy untuk Evaluasi Pembelajaran di Sekolah ABC Bloom's Taxonomy (Bloom, 1956) Basic Principles of Curriculum and Instruction (Tyler, 1949) 72
Penerapan Bloom's Modified Taxonomy untuk Evaluasi Pembelajaran di Sekolah ABC Bloom's Modified Taxonomy (Lorin, 2001) Basic Principles of Curriculum and Instruction (Tyler, 1949) 73
Penerapan Bloom's Digital Taxonomy untuk Evaluasi Pembelajaran di Sekolah ABC Bloom's Digital Taxonomy (Churces, 2009) Basic Principles of Curriculum and Instruction (Tyler, 1949) 74
Penerapan C4.5 untuk Prediksi Kelulusan Mahasiswa pada STMIK ABC Split Criterion C4.5 Gain Ratio (Quinland, 1993) Teori Gain (Kullback & Leibler, 1951) 75
Penerapan Credal C4.5 untuk Prediksi Kelulusan Mahasiswa pada STMIK ABC Split Criterion Credal C4.5 Imprecise Gain Ratio (Mantas, 2013) Imprecise Probability Theory (Walley, 1996) 76
Perbaikan 4P Menjadi 4E Marketing Mix Baru Khusus untuk Industri Turisme Marketing Mix Khusus untuk Private Labels Brand Equity Standarisasi Marketing Mix untuk Generalisasi Lebih Luas 77
78 Memperbaiki C4.5 Memperbaiki Use Case Points Memperbaiki Genetic Algorithms
Akademisi vs Technopreneur Meja Indah Meja Kuat Technopreneur? Jual Produk 1. 2. Beri Nilai Tambah Produk 3. Jadikan Aset, Jual Layanan Akademisi? Pelajari, Preteli Komponen • Ciptakan Meja Baru yang Berbeda dengan 3 Meja Itu Meja Luas 79
State-of-the-Art Frameworks on Software Defect Prediction Three frameworks have been highly cited and influential in software defect prediction field Menzies Framework Lessmann Framework Song Framework (Menzies et al. 2007) (Lessmann et al. 2008) (Song et al. 2011) 80
Menzies Framework (Menzies et al. 2007) Framework Dataset Data Preprocessor Feature Selectors (Menzies et al. 2007) NASA MDP Log Filtering Info Gain Meta- learning
81 Classifiers 3 algorithms (DT, 1R, NB) Parameter Selectors
Validation Methods 10-Fold X Validation Evaluation Methods ROC Curve (AUC)
Lessmann Framework (Lessmann et al. 2008) Framework Dataset Data Preprocessor Feature Selectors Meta- learning (Lessman et al. 2008) NASA MDP
82 Classifiers
22 algorithms Parameter Selectors
Validation Methods 10-Fold X Validation Evaluation Methods ROC Curve (AUC)
Song Framework (Song et al. 2011) Framework Dataset Data Preprocessor Feature Selectors (Song et al. 2011) NASA MDP Log Filtering FS, BE Meta- learning
83 Classifiers 3 algorithms (DT, 1R, NB) Parameter Selectors
Validation Methods 10-Fold X Validation Evaluation Methods ROC Curve (AUC)
Dari State-of-the-Art Methods ke Research Gaps Hasil dari literature review, kita menemukan research gaps yang nantinya akan menjadi kandidat masalah penelitian Kita selesaikan masalah penelitian di atas dengan "cara dan metode kita yang unik, berbeda, dan lebih baik" inilah yang disebut metode yang diusulkan • yang diharapkan ada kontribusi ke pengetahuan 84
Proposed Framework on Software Defect Prediction Framework Dataset Data Preprocessor (Menzies et al. 2007) NASA MDP Log Filtering (Lessman et al. 2008) NASA MDP
(Song et al. 2011) NASA MDP Log Filtering Proposed Framework NASA MDP
LEARNING SCHEME Performance Report Feature Selection Bagging Parameter Selection Parameter Selectors Meta Learning Method Learning Algorithms GA Models Learning Testing and Validation PSO 10 Classifiers Meta Learning TestingData Feature Selectors ProcessedTrainingData ProcessedTestingData NASAMDPDatasets TrainingData GA Feature Selectors Meta-Learning Classifiers Parameter Selectors Validation Methods Info Gain 3 algorithm (DT, 1R, NB)
Fold X Validation
22 algorithm
10-Fold X Validation FS, BE 3 algorithm (DT, 1R, NB)
10-Fold X Validation PSO, GA Bagging 85 10 algorithms GA 10-Fold X Validation Evaluation Methods ROC Curve (AUC) ROC Curve (AUC) ROC Curve (AUC) ROC Curve (AUC)
A Hybrid Particle Swarm Optimization based Feature Selection and Bagging Technique for Software Defect Prediction (PSOFS+B) Each particle represents a feature subset, which is a candidate solution Implement bagging technique and train the classifier on the larger training set based on the selected feature subset and the type of kernel If all classifiers are finished, combine votes of all classifiers
Finally, measure validation accuracy on testing dataset via the generated model 86
Results: With PSOFS+B Neighbor 0.294 KC3 0.66 0.606 0.667 CART 0.611 0.679 0.787 0.679 0.682 0.831 0.794 0.845 0.912 Statistical Classifier LR 0.738 0.798 0.695 0.78 0.751 0.848 0.827 0.816 0.897 0.814 0.723 0.822 0.792 0.792 0.721 PC2 0.809 KC1 0.725 Nearest Support Vector 0.572 MC2 0.547 k-NN 0.594 Machine NB 0.756 0.847 0.71 0.732 0.748 0.79 0.818 0.78 0.85 0.648 0.578 0.903 0.756 SVM PC3 PC1 K* 0.735 0.679 Decision Tree C4.5 0.682 0.606 0.592 0.648 0.615 0.732 0.732 0.78 0.769 Neural Network BP 0.7 0.799 0.726 0.734 0.722 0.809 0.89 0.823 0.915 MW1 0.632 0.878 CM1 0.67 LDA 0.469 0.627 0.653 0.686 0.632 0.665 0.571 0.604 0.715 0.675 0.738 PC4 0.681 RF 0.62 0.604 0.557 0.533 0.714 0.686 0.899 0.759 0.558 Classifiers Almost all classifiers that implemented PSOFS+B outperform the original method Proposed PSOFS+B method affected significantly on the performance of the class imbalance suffered classifiers 87
Without PSOFS+B vs With PSOFS+B Neighbor Nearest Result Decision Tree C4.5 0.0002 Sig. (P < 0.05) Neural Network BP 0.03 Sig. (P < 0.05) k-NN Machine K* 0.00007 0.001 SVM Support Vector P value of t-Test CART 0.002 Sig. (P < 0.05) Not Sig. (P > 0.05) Sig. (P < 0.05) Sig. (P < 0.05) RF 0.01 Sig. (P < 0.05) LDA 0.003 Sig. (P < 0.05) NB 0.007 Sig. (P < 0.05) Classifiers Statistical Classifier LR 0.323 Not Sig. (P > 0.05) 0.09 Although there are two classifiers that have no significant difference (P > 0.05), the results have indicated that those of remaining eight classifiers have significant difference (P < 0.05) The proposed PSOFS+B method makes an improvement in prediction performance for most classifiers 88
Proposed Methods vs Other Methods CM1KC1KC3MC2MW1PC1PC2PC3PC4NB only (Lessmann et with InfoGain (Menzies et with FS (Song et (GAFS+B)0.7020.790.6770.7390.7240.7990.8050.780.861 89
Research Publication Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic Optimization based Feature Selection for Software Defect Prediction, Journal of Software, Vol. 9, No. 5, May 2014 (SCOPUS SJR: 0.260) 90
MITOS 8 Penelitian yang Baik itu Topik dan Skalanya Besar, serta Berhubungan dengan Banyak Bidang 91
Penelitian yang Berkualitas Tinggi Topik dan skalanya kecil, fokus, dalam, dan membawa pengaruh yang besar ke bidang penelitian kita 92
The Illustrated Guide to a Ph.D (Might, 2010) 93
The Illustrated Guide to a Ph.D (Might, 2010) 94
The Illustrated Guide to a Ph.D (Might, 2010) 95
The Illustrated Guide to a Ph.D (Might, 2010) 96
The Illustrated Guide to a Ph.D (Might, 2010) 97
The Illustrated Guide to a Ph.D (Might, 2010) 98
The Illustrated Guide to a Ph.D (Might, 2010) 99
The Illustrated Guide to a Ph.D (Might, 2010) 100
The Illustrated Guide to a Ph.D (Might, 2010) 101
102 Memperbaiki C4.5 Memperbaiki Use Case Points Memperbaiki Genetic Algorithms
Research and (then) Development Setelah para peneliti memperbaiki algoritma sehingga membuat prediksi lebih akurat (contribution to knowledge) Peran technopreneur di dunia industri mengembangkan produk dengan berdasarkan algoritma yang sudah diperbaiki peneliti tadi Karena produk unik dan lebih akurat, harapannya bisa terserap pasar dengan baik dan dimanfaatkan untuk perbaikan kehidupan (contribution to people) 103
Penentuan Kelayakan Kredit Jumlah kreditmacet 20032004 05101520 104
Pola Profil Tersangka Koruptor 105
Pola Aturan Asosiasi dari Data Transaksi 106
Pola Aturan Asosiasi di 107
Revolusi Industri 4.0 108
From Stupid Apps to Smart Apps Stupid Applications Smart Applications Sistem Informasi Akademik Sistem Pencatatan Pemilu Sistem Prediksi Kelulusan Mahasiswa • Sistem Prediksi Hasil Pemilu Sistem Laporan Kekayaan Pejabat • Sistem Pencatatan Kredit Sistem Prediksi Koruptor Sistem Penentu Kelayakan Kredit 109
Perusahaan Pengolah Pengetahuan Uber - the world's largest taxi company, owns no vehicles Google - world's largest media/advertising company, creates no content Alibaba - the most valuable retailer, has no inventory Airbnb - the world's largest accommodation provider, owns no real estate Gojek - perusahaan angkutan umum, tanpa memiliki kendaraan 110
Contoh Lain dari Masalah Penelitian ke Produk Enterprise architecture is dead, too much in-breeding and self- asphyxiation (Jon Mc Leod, 2017) EA berbentuk statis cetak menggunakan banyak tools yang terpisah-pisah EA tidak sesuai dengan berbagai peraturan dan standard: SPBE, BPMN, APQC, UML, ISO, dsb EA tidak mendukung integrasi dimensi organisasi (strategi, program, risiko, kpi, standard, regulation) Framework TOGAF terlalu kompleks, tidak efisien, tanpa contoh praktis, tidak mendukung berbagai dimensi organisasi (Kotusev, 2018) (Alm & Wißotzki, 2013) Proses bisnis sebagi ruh pergerakan organisasi tidak dimodelkan dan disimulasikan secara komprehensif 111
Framework idEA 1 Compliance dan terintegrasi dengan berbagai standar 2 Tools dan template yang terintegrasi dan mendukung Digital Transformation 1. 2. 3. Business Process Big Data Internet of Things Simulation 4. Enterprise Architecture 3 Metode sistematis dan selaras dengan artifact sehingga mudah dipahami 4 Transfer pengetahuan dan Change Management secara iterative 112 6 Roadmap dan Governance yang komprehensif, selaras dengan visi dan misi organisasi 5 Terintegrasi dengan dimensi organisasi (program, regulasi, data, aplikasi, risiko, KPI)
Simplified Systematic Method idEA 113
Multidimensional Architectures n a i r e t n e m e K Strategi dan Program Standar dan Regulasi Aplikasi Data Proses Bisnis Risiko KPI 114 114
Penerapan idEA di Berbagai Organisasi 115
Penghargaan Malcolm Baldrige PJB-IMS 2.0 Perdir No. 3 Tahun 2019 tentang Implementasi PJB-IMS 2.0 116
s s e n e v i t c e f f E Hasil Penerapan idEA di PT PJB 4,00 3,50 3,50 3,60 3,50 3,33 3,33 3,00 3,00 3,00 Administration 2,50 Architecture Planning 2,00 2,00 Method 2,00 1,50 1,50 1,50 1,60 1,33 1,67 Deliverables Integration Agility Alignment Peningkatan Efektifitas Kerja dari 1.66 ke 3.32 1,00 0,50 4,00 0,00 3,50 3,32 Sebelum Sesudah Dimensi 3,00 s s e n e v i t c e f f E 2,50 2,00 1,66 1,50 1,00 0,50 0,00 Sebelum Sesudah 117
MITOS 9 Saya Melakukan Citation dengan Meng- Copy Paste Kalimat dan Paragraf dari Paper Lain 119
Jenis Citation 1. Kutipan (Quotation): Kata-kata yang diambil persis sama dengan apa yang dituliskan (tanpa perubahan). Ditulis dalam tanda kutip 2. Paraphrase: Menyusun kembali pemikiran penulis dan mengungkapkannya dengan kata-kata sendiri 3. Ringkasan: Sari dari suatu tulisan 4. Evaluasi: Interpretasi dalam bentuk komentar, baik setuju atau tidak dengan menyebutkan alasannya (Beast & Kohn, 1998) 120
Konsep Dasar Penulisan Kutipan itu tidak berarti bahwa satu paragraf kita copy-paste. Praktek seperti ini tetap disebut plagiarism meskipun referensi disebutkan Kutipan hanya untuk hal penting (hasil penelitian, teori, data, model, definisi) dalam paper Segala kalimat yang tidak merujuk atau menunjuk ke kutipan, berarti adalah tulisan karya sendiri • Daftar referensi bukan daftar bacaan, tapi daftar rujukan atau kutipan (dibaca langsung, bukan dari penulis ketiga) 121
Mensitasi Sitasi Orang Lain Mensitasi (mengutip) hasil rangkuman dan kutipan yang dilakukan orang lain di buku atau papernya Definisi logika fuzzy menurut Lotfie Zadeh dalam Suyanto (Suyanto, 2009) adalah: blablabla Jangan terlalu banyak dilakukan kecuali dalam keadaan: Kita tidak bisa mengakses publikasi asli • Bahasa asli publikasi bukan bahasa inggris (sulit dipahami) 122
MITOS 10 Satu Hasil Eksperimen Penelitian Bisa Jadi Banyak Paper dan Dipublikasikan di Banyak Jurnal 123
Research Problems (RP) RP1 1. While many studies on software defect prediction report the comparative performance of the classification algorithms used, but there is no strong consensus on which classifiers perform best when individual studies are looked separately 2. Noisy attribute predictors and imbalanced class distribution of software defect datasets result in inaccuracy of classification models RP2 3. Neural network has strong fault tolerance and strong ability of nonlinear dynamic processing of software fault data, but practicability of neural network is limited due to difficulty of selecting appropriate parameters 124 RP3 NN-GAPO+B RP1 RQ4RC2 GAFS+BRC3 RQ3 CF-SDPResearch PublicationsRomi Satria Wahono, Nanna Suryana Herman and Sabrina Ahmad, A Comparison Framework of Classification Models for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 8, August 2014Romi Satria Wahono and Nanna Suryana Herman, Genetic Feature Selection for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 1, January 2014Romi Satria Wahono and Nanna Suryana, Combining Particle Swarm Optimization based Feature Selection and Bagging Technique for Software Defect Prediction, International Journal of Software Engineering and Its Applications, Vol. 7, No. 5, October 2013Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic, Neural Network Parameter Optimization Based on Genetic Algorithm for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 8, August 2014Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic Optimization based Feature Selection for Software Defect Prediction, Journal of Software, Vol 9, No 5, May 2014 RQ5 RC1 RP2 RP3 RQ2 Software Defect Prediction Framework based on Hybrid Metaheuristic Optimization Methods PSOFS+BRC4 RQ1
Pola RP - RQ - RC pada Penelitian Research Problem (RP) atau masalah penelitian adalah alasan kita melakukan penelitian Satu RP bisa coba dipecahkan dengan banyak cara/metode/solusi/hipotesis (Research Question (RQ)) Satu RQ akan membentuk satu kontribusi ke pengetahuan (Research Contribution (RC)) Satu RC akan menjadi satu paper publikasi RP1 Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic Optimization based Feature Selection for Software Defect Prediction, Journal of Software, Vol 9, No 5, May 2014 RQ4 GAFS+B RC3 NN-GAPO+B RP2 RC4 RC2 RC1 RQ5 RQ3 RP3 RQ1 PSOFS+B RQ2 CF-SDPResearch PublicationsRomi Satria Wahono, Nanna Suryana Herman and Sabrina Ahmad, A Comparison Framework of Classification Models for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 8, August 2014Romi Satria Wahono and Nanna Suryana Herman, Genetic Feature Selection for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 1, January 2014Romi Satria Wahono and Nanna Suryana, Combining Particle Swarm Optimization based Feature Selection and Bagging Technique for Software Defect Prediction, International Journal of Software Engineering and Its Applications, Vol. 7, No. 5, October 2013Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic, Neural Network Parameter Optimization Based on Genetic Algorithm for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 8, August 2014 Software Defect Prediction Framework based on Hybrid Metaheuristic Optimization Methods 125
A Hybrid Particle Swarm Optimization based Feature Selection and Bagging Technique for Software Defect Prediction (PSOFS+B) Each particle represents a feature subset, which is a candidate solution Implement bagging technique and train the classifier on the larger training set based on the selected feature subset and the type of kernel If all classifiers are finished, combine votes of all classifiers
Finally, measure validation accuracy on testing dataset via the generated model 126
Results: With PSOFS+B Neighbor 0.294 KC3 0.66 0.606 0.667 CART 0.611 0.679 0.787 0.679 0.682 0.831 0.794 0.845 0.912 Statistical Classifier LR 0.738 0.798 0.695 0.78 0.751 0.848 0.827 0.816 0.897 0.814 0.723 0.822 0.792 0.792 0.721 PC2 0.809 KC1 0.725 Nearest Support Vector 0.572 MC2 0.547 k-NN 0.594 Machine NB 0.756 0.847 0.71 0.732 0.748 0.79 0.818 0.78 0.85 0.648 0.578 0.903 0.756 SVM PC3 PC1 K* 0.735 0.679 Decision Tree C4.5 0.682 0.606 0.592 0.648 0.615 0.732 0.732 0.78 0.769 Neural Network BP 0.7 0.799 0.726 0.734 0.722 0.809 0.89 0.823 0.915 MW1 0.632 0.878 CM1 0.67 LDA 0.469 0.627 0.653 0.686 0.632 0.665 0.571 0.604 0.715 0.675 0.738 PC4 0.681 RF 0.62 0.604 0.557 0.533 0.714 0.686 0.899 0.759 0.558 Classifiers Almost all classifiers that implemented PSOFS+B outperform the original method Proposed PSOFS+B method affected significantly on the performance of the class imbalance suffered classifiers 127
Without PSOFS+B vs With PSOFS+B Neighbor Nearest Result Decision Tree C4.5 0.0002 Sig. (P < 0.05) Neural Network BP 0.03 Sig. (P < 0.05) k-NN Machine K* 0.00007 0.001 SVM Support Vector P value of t-Test CART 0.002 Sig. (P < 0.05) Not Sig. (P > 0.05) Sig. (P < 0.05) Sig. (P < 0.05) RF 0.01 Sig. (P < 0.05) LDA 0.003 Sig. (P < 0.05) NB 0.007 Sig. (P < 0.05) Classifiers Statistical Classifier LR 0.323 Not Sig. (P > 0.05) 0.09 Although there are two classifiers that have no significant difference (P > 0.05), the results have indicated that those of remaining eight classifiers have significant difference (P < 0.05) The proposed PSOFS+B method makes an improvement in prediction performance for most classifiers 128
Proposed Methods vs Other Methods CM1KC1KC3MC2MW1PC1PC2PC3PC4NB only (Lessmann et with InfoGain (Menzies et with FS (Song et (GAFS+B)0.7020.790.6770.7390.7240.7990.8050.780.861 129
Research Publication Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic Optimization based Feature Selection for Software Defect Prediction, Journal of Software, Vol. 9, No. 5, May 2014 (SCOPUS SJR: 0.260) 130
Software Defect Prediction Framework based on Hybrid Metaheuristic Optimization Methods Research Publications Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic Optimization based Feature Selection for Software Defect Prediction, Journal of Software, Vol 9, No 5, May 2014 RQ4 RQ3 RC3 NN-GAPO+B RP2 RQ5 RC1 RP1 Romi Satria Wahono and Nanna Suryana Herman, Genetic Feature Selection for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 1, January 2014 GAFS+B RC4 CF-SDP Romi Satria Wahono, Nanna Suryana Herman and Sabrina Ahmad, A Comparison Framework of Classification Models for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 8, August 2014 RC2 PSOFS+B RQ1 Romi Satria Wahono, Nanna Suryana and Sabrina Ahmad, Metaheuristic, Neural Network Parameter Optimization Based on Genetic Algorithm for Software Defect Prediction, Advanced Science Letters, Vol. 20, No. 8, August 2014 Software Defect Prediction Framework based on Hybrid Metaheuristic Optimization Methods Romi Satria Wahono and Nanna Suryana, Combining Particle Swarm Optimization based Feature Selection and Bagging Technique for Software Defect Prediction, International Journal of Software Engineering and Its Applications, Vol. 7, No. 5, October 2013 RQ2 RP3 131
Mitos 1: Penelitian Yang Baik Itu Outputnya Nyata dalam Bentuk Produk Mitos 10: Satu Hasil Eksperimen Bisa Jadi Banyak Paper dan Dipublikasikan di Banyak Jurnal Mitos 2: Tujuan Utama Penelitian adalah Adanya Kontribusi ke Masyarakat Mitos 9: Saya Melakukan Citation dengan Meng-Copy Paste Kalimat dan Paragraf dari Paper Lain Mitos 8: Penelitian yang Baik itu Topik dan Skalanya Besar, serta Berhubungan dengan Banyak Bidang 10 MITOS PENELITIAN Mitos 3: Metode Penelitian yang Saya Gunakan adalah Waterfall Mitos 4: Masalah Penelitian itu adalah Masalah Yang Muncul di Masyarakat Mitos 7: Penelitian Itu Semakin Aplikatif dan Terapan Semakin Mudah Masuk Jurnal Terindeks Mitos 5: Studi Literatur Berisi Berbagai Teori Dasar dan Definisi yang Ada di Buku Mitos 6: Semakin Banyak Literatur yang Saya Baca, Saya Semakin Pusing 132
Terima Kasih Romi Satria Wahono romi@romisatriawahono.net 08118228331
Reference Abbott, M., & McKinney, J. (2013). Understanding and Applying Research Design. John Wiley & Sons, Inc. Berndtsson, M., Hansson, J., & Olsson, B. (2008). Thesis Projects: a Guide for Students in Computer Science and Information Systems (2nd ed.). London: Springer-Verlag Blaxter, L., Hughes, C., & Tight, M. (2006). How to Research (3rd ed.). Open University Press Blessing, L. T. M., & Chakrabarti, A. (2009). DRM, a Design Research Methodology. Springer-Verlag London Cohen, L., Manion, L., & Morrison, K. (2005). Research Methods in Education (5th ed.). Taylor & Francis Group. Dawson, C. W. (2009). Projects in Computing and Information Systems A Student's Guide (2nd ed.). Pearson Education Limited Jonker, J., & Pennink, B. (2010). The Essence of Research Methodology. Springer-Verlag Berlin Heidelberg Lichtfouse, E. (2013). Scientific Writing for Impact Factor Journals. Nova Science Publishers, Inc. 134
Reference Kothari, C. (2004). Research Methodology: Methods and Techniques. New Age International Might, M. (2010). The Illustrated Guide to a Ph.D. Matt.might.net. Retrieved from pictures/ Marczyk, G., DeMatteo, D., & Fertinger, D. (2005). Essentials of Research Design and Methodology. John Wiley & Sons, Inc. Rea, L. M., & Parker, R. A. (2014). Designing and Conducting Survey Research: A Comprehensive Guide (4th ed.). John Wiley & Sons, Inc. Runeson, P., Host, M., Rainer, A., & Regnell, B. (2012). Case Study Research in Software Engineering: Guidelines and Examples. John Wiley & Sons, Inc. Sahu, P. K. (2013). Research Methodology: A Guide for Researchers In Agricultural Science, Social Science and Other Related Fields. Springer. Veit, R., Gould, C., & Gould, K. (2013). Writing, Reading, and Research (9th ed.). Cengage Learning. 135