## PREDIKSI KEBERHASILAN TELEMARKETING BANK UNTUK MENCARI ALGORITMA DENGAN PERFORMA TERBAIK
Elin Panca Saputra Jurusan Manajemen Informatika, AMIK BSI Jakarta Jl. Kamal Raya No. 18, Ringroad, Cengkareng, Jakarta Barat elin.epa@bsi.ac.id
ABSTRACT  To  search  algorithm  has  the  best performance  in  predicting  the  success  of telemarketing  in  a  banking  course  researchers have  conducted  various  test  materials  several algorithms  to  the  data  in  proleh  of  uci  data  sets, and  have  as  many  as  17  attributes,  some algorithms  that  had  previously  been  in  ujikan  in research  this.  to  look  for  the  best  performance algorithm uses an algorithm writers among others, is  to  use  an  algorithm  based  on  particle  swarm optimization  to  optimize  some  attribute  values and to improve the accuracy of the algorithms and higher data classification, and can produce higher accuracy value again. From the algorithm neural network  (NN)  based  PSO  get  the  result  91.80%, Support Vector Machine (SVM) to get the accuracy of  90.20%.  Naive  Bayes  (NB)  with  89.41% accuracy results, and to use it algorithms Decision Tree  (DT)  with  hasi  accuracy  of  90.93%.  Then obviously  Neural  Network-based  PSO  algorithm generates higher  accuracy  of  some  algorithms  in ujikan with 91.80% accuracy results. Those results went into the classification is very good (excellent classification).
Keyword  :  Neural  Network,  Particle  Swarm Optimization, Suport vector Machine, Naive Bayes, Decision Tree
INTISARI  Untuk  mencari  algoritma  memiliki kinerja terbaik dalam memprediksi keberhasilan telemarketing  dalam  kursus  perbankan  peneliti telah  melakukan  berbagai  uji  materi  beberapa algoritma untuk data di proleh dari set data uci, dan  memiliki  sebanyak  17  atribut,  beberapa algoritma  yang  memiliki  sebelumnya  berada  di ujikan  dalam  penelitian  ini.  untuk  mencari algoritma  performa  terbaik  menggunakan penulis  algoritma  antara  lain  adalah  dengan menggunakan  algoritma  berdasarkan  optimasi partikel swarm untuk mengoptimalkan beberapa nilai  atribut  dan  untuk  meningkatkan  akurasi algoritma  dan  klasifikasi  data  yang  lebih  tinggi, dan dapat menghasilkan nilai akurasi yang lebih tinggi  lagi.  Dari  jaringan  algoritma  neural  (NN) berdasarkan  PSO  mendapatkan  hasil  91,80%, Support Vector Machine (SVM) untuk mendapatkan  akurasi  90,20%.  Naif  Bayes  (NB) dengan  hasil  akurasi  89,41%,  dan  untuk menggunakannya  algoritma  Decision  Tree  (DT)
dengan  akurasi  hasi  dari  90,93%.  Kemudian algoritma  PSO  Neural  Network  berbasis  jelas menghasilkan  akurasi  yang  lebih  tinggi  dari beberapa  algoritma  di  ujikan  dengan  hasil akurasi  91,80%.  Hasil  tersebut  masuk  ke klasifikasi sangat baik (klasifikasi sangat baik). Kata  kunci:  Neural  Network,  Particle  Swarm Optimization,  Suport  Mesin  vektor,  Naif  Bayes, Decision Tree

## I. PENDAHULUAN
Dalam dunia telemarketing bank menawarkan  dan  memperkenalkan  sebuah produk  hingga  saat  ini  dan  hingga  sekarang masih banyak menggunakan alat telekominikasi. Untuk sekarang ini, biasanya cara telemarketing ini  dipakai  oleh  beberapa  perusahaan  operator besar    untuk  menawarkan  sebuah  produknya. pemasaran,  penawaran  melalui  telemarketing cenderung  mudah  diterima,  karena  sifatnya memang  secara  pribadi  langsung  kepada konsumen.  cara  baru  dalam  bidang  pemasaran yang  menggunakan  teknologi  telekomunikasi sebagai  bagian  dari  program  pemasaran  yang teratur dan terstruktur. Telemarketing (pemasaran  jarak  jauh)  adalah  penggunaan telepon  dan  pusat  panggilan  (call  center) untuk menarik  prospek,  menjual  kepada  pelanggan yang telah ada dan menyediakan layanan dengan mengambil  pesanan  dan  menjawab  pertanyaan melalui  telepon.  Telemarketing  membantu perusahaan  dalam  meningkatkan  pendapatan, mengurangi  biaya  penjualan,  meningkatkan kepuasan  pelanggan  (Kotler  &  Keller,  2009). Untuk  mendapatkan  hasil  prediksi  yang  baik dalam  melakukan  penelitian  ini,  pada  model prediksi  penelitian  ini  sebelumnya  pernah  di lakukan  oleh  peneliti  (ali  keles  &  ayturk  keles, 2015)  melakukan  penelitian  hasil  tentang penawaran  manajemen  marketing  pada  sebuah bank dengan algoritma nave bayes, Decision Tree and Support Vector Machines). Dalam penelitian tersebut  algoritma  Decision  Tree  memiliki tingkat akurasi yang lebih tinggi.
Pada  penelitian  sebelumnya  juga  pernah dilakukan oleh peneliti lain untuk meningkatkan hasil  prediksi  keberhasilan  telemarketing dengan performa tingkat akurasi yang lebih baik
lagi  serta  meningkatkan  hasil  terhadap  akurasi algoritma,  hasilnya  dengan  menggunakan algoritma  Neural  network  dapat  memecahkan masalah  terhadap  decision  tree,  logistic regression,  dan  suport  vector  machine  ,  karena neural network memiliki kelebihan pada prediksi non    linear,  memiliki  performa  yang  lebiht  baik dan  memiliki  kemampuan  dengan  tingkat kesalahan rendah (Sergio , Cortez, & Rita, 2014). Algoritma neural network  dapat menyelesaikan masalah  decision tree, nave bayes, dan support vector  machine    khususnya  sampel  data  besar yang  di  dapat  di  uci  data  set,  tetapi    neural network  memiliki  kekurangan  pada  sulitnya pemilihan   fitur  yang  sesuai    dan  optimal    pada bobot  atribut  yang  digunakan    sehingga menyebabkan  tingkat  akurasi  prediksi  menjadi kurang tinggi. Dalam rumusan masalah tersebut maka  peneliti  menggunakan  algoritma  particle swarm  optimization  (PSO).  Algoritma  PSO  yang digunakan untuk mengoptimalkan bobot atribut serta dapat meningkatkan akurasi algoritma dan klasifikasi data yang lebih tinggi.  (cao, Cui, Shi, & Jiao, 2016).

## II. BAHAN DAN  METODE

## A. Tentang Temarketing
Telemarketing  berasal  dari  kata  Tele  dan Marketing.  Tele  artinya  jauh,  marketing  artinya aktifitas  pemasaran  secara  garis  besarnya Marketing merupakan sebuah kegiatan sosial dan sebuah pengaturan yang dilakukan oleh individu ataupun  kelompok  yang  bertujuan  untuk mendapatkan apa yang mereka inginkan dengan jalan membuat sebuah produk dan menukarkannya  dengan  besaran  nominal tertentu  kepada  pihak  lainnya  (Kotler  &  Keller, 2009).  agar  kegiatan  marketing  bisa  berjalan dengan  baik,  maka  dibutuhkan  strategi marketing  yang  baik  pula.  Strategi  marketing merupakan  sekumpulan  rancangan  dan  juga rencana  yang  sengaja  dibuat  oleh  perusahaan demi tercapainya kegiatan marketing yang efektif dan  efisien  sehingga  perusahaan  dapat  lebih mudah  mencapai  tujuannya.  Dalam  dunia marketing  dikenal  beberapa  strategi  marketing, seperti  salah  satunya  adalah  strategi  marketing 4P  yaitu  Place,  Product,  Price,  dan  Promotion (Waringin, 2008).

## B. Data Maining
Data mining terdiri dari algoritma inti yang memungkinkan  seseorang  akan  dapat  untuk mendapatkan sebuah dasar dasar wawasan  dan  pengetahuan  dari  data  besar.  Ini adalah  disiplin  tentang  penggabungan  antar bidang
konsep  dari  daerah  sekutu  seperti  sistem database,  statistik,  pembelajaran  pembelajaran mesin, dan pengenalan pola. Bahkan, data mining merupakan  bagian  dari  yang  lebih  besar  dari beberapa  penemuan  tentang  dari  pengetahuan proses,  yang  meliputi  tugas  pra-pengolahan seperti  ekstraksi  data,  pembersihan  data,  fusi data,  reduksi  data  dan  beberapa  terdapat  fitur konstruksi,  serta  langkah-langkah  pemrosesan (Zaki & Jr, 2014).

## C. Algoritma Neural Network
Neural Networks (Artificial Neural Networks dalam bahasa indoneisa dapat di artikan Jaringan Saraf Tiruan) sebuah metode softcomputing atau data  mining  yang  banyak  digunakan  untuk melakukan  pengklasifikasian  dan  memprediksi. Dalam  sejarah  Neural  Networks  pertama  kali dikembangkan  oleh  McCulloch  dan  Pitts  pada tahun  1943.  Menurut  (  Hagan,  2014)  Ada  dua konsep  penting  yang  digunakan  ketika menganalisis  sebuah  jaringan  untuk  prediksi  di antaranya dengan algortima tersebut di antarnya adalah sebagai berikut :
1. kesalahan  prediksi  tidak  harus  berkorelasi dalam waktu,
2. kesalahan  prediksi  tidak  harus  berkorelasi dengan urutan input. Jika kesalahan prediksi yang  berkorelasi  dalam  waktu,  maka  kita akan  mampu  memprediksi  kesalahan prediksi  dan,  karena  itu,    untuk meningkatkan prediksi penlitian ini memprediksi  kesalahan  prediksi  dan, karena  itu,  jika  kesalahan  prediksi  yang berkorelasi dengan urutan input, maka kita juga  akan  dapat  menggunakan  korelasi  ini untuk memprediksi kesalahan. Mendapatkan  hasil  dari  neural  network. Dapat  di  lihat  padaGambar  1.,  seperti  yang kita  lihat,  lebih  dari  koneksi  acak,  jaringan memiliki  arsitektur  layerwise.  input  layer mengambil  data  input  dan  output  layer dalam membuat prediksi.
Sumber : (Wang & Raj, 2015) Gambar 1.  A typical two layer neural network
Sebuah  neural  networks  umumnya  terdiri  dari input,  output  dan  hidden  layer.  Single  layer Neural Network merupakan bentuk  yang paling populer, tetapi seperti gambar di bawah, sebuah Neural Network juga bisa mempunyai lebih dari single  hidden  layer.  Pada    algoritma bakpropagation    ada  dua  tahapan  pertama feedforward  dan  yang  ke  dua    bakpropagation dari  galatnya.    Langkah  pembelajaran  dalam algoritma bakpropagation adalah sebagai berikut (Myatt, 2007).
1. Langkah  1  bobot  jaringan  secara  acak (biasanya antara -0.1 sampai 1.0),
2. Langkah 2  input dan bobot jaringan saat itu, dan menggunakan rumus:
3. Langkah yang ke 3 selanjutnya membangkitkan output.
4. Langkah ke 4  menghitung nilai Error antara nilai yang diprediksi Errorj  =  outputj  .  (  1-  outputj).(Targetj- Outputj).
5. Langkah  ke  5  Setelah  nilai  Error  dihitung, selanjutnya  dibalik  ke  layer  sebelumnya (bakpropagation). Errorj = Outputj(1-Outputj)
6. Langkah  6  Nilai  Error  yang  dihasilkan  dari langkah  sebelumnya  digunakan  untuk memperbarui  bobot  relasi  menggunakan rumus:
Wij = Wij + l . Errorj . Outputi Keterangan Notasi: Outputj  = Output aktual dari simpul j Errork   = error simpul k Wjk       = Bobot  relasi  dari  simpul  j  ke simpul k pada layer berikutnya
Outputj  = Output aktual dari simpul j Targetj  = Nilai target yang sudah diketahui pada data training Oi = Output  simpul  i  dari  layer sebelumnya wij = bobot  relasi  dari  simpul  i  pada layer sebelumnya ke simpul j ᶿj = bias (sebagai pembatas) Wij = bobot relasi dari unit i pada layer sebelumnya ke unit j l = learning rate (konstanta, nilainya antara 0 sampai dengan 1)
Errorj   = Error pada output layer simpul j Outputi  = Output dari simpul i

## D. Algoritma Suport Vector Machine
Cara  kerja  algoritma  SVM  dapat dijabarkan  dengan  sederhana  untuk  mencari hyperplane  terbaik  yang  digunakan  sebagai pemisah dua buah class pada input space.Gambar 2  dijelaskan  beberapa  pattern  yang  merupakan anggota dari dua buah class : positif (dinotasikan dengan +1) dan negatif (dinotasikan dengan –1).
Sumber : (Santoso, 2007) Gambar 2. Hyperlane

## E. Algortima Naive Bayes
Aloritma Naïve Bayes adalah  Classifier yang merupakan  sebuah  metode  machine  learning yang  dapat  memanfaatkan  sebuah  perhitungan probabilitas  dan  statistik  yang  di  temukan  oleh Thomas Bayes, yaitu memprediksi probabilitas di masa depan berdasarkan pengamatan pada masa sebelumnya.  Berikut  contoh  hipotesis  yang  di gunakan  pada  klarifikasi  probabilitas  dengan Naive  Bayes.  yang  di  terapkan  oleh  peneliti sebelumnya yaitu (Korada & Kumar, 2012).
F. Algoritma Decision Tree
Decision tree merupakan salah satu metode klasifikasi  yang  sering  di  gunakan  dalam penelitian  untuk  mengambil  sebuah  keputusan serta  mudah  untuk  dpahamii  oleh  pengguna. Decision tree adalah model prediksi menggunakan  struktur  pohon  keputusan  atau strukturnya secara berhirarki untuk memecahkan masalah (Dewan, Farida, & Zhanga, 2014). pengambilan keputusan dengan menggunakan  Decision  Tree    yang  kompleks menjadi  lebih  mudah  sehingga  pengambil keputusan  akan  lebih  memahami  solusi  dari suatu  permasalahan.  Berikut  contoh  pada gambar Decision Tree hasil eksperimen.
Sumber : (hasil eksperimen, 2016) Gambar 3. Decision Tree G. Algoritma  Particle  Swarm  Optimization (PSO) Algoritma  Particle  Swarm  Optimization (PSO)  adalah  algoritma  yang  mempunyai kecerdasan buatan yang digunakan menyelesaikan  permasalahan  optimasi  (Jadoun, Gupta, & Niazi, 2015). Algoritma ini terinspirasi dari  sebuah  sifat  kecerdasan  kumpulan  hewan, seperti  burung  dan  ikan.  Perilaku  sosial  ini berupa  tindakan  individu  dan  pengaruh  dari individu-individu lain dalam suatu kelompok.

## H. Pengumpulan Data
Data yang di dapat dari penulis di dapat dari UCI  Data  Set.  Untuk  mencari  algoritma  yang memiliki  performa  yang  terbaik  dalam memprediksi keberhasilan para pekerja telemarketing  di  sebuah  perbankkan.  Dalam penelitian  ini  juga  memiliki  beberapa  atribut yang  yang  memiliki  keterkaitan.  data  tersebut memiliki sebanyak 17 atribut.
Tabel 1. Data Telemarketing Bank
Sumber : Uci Dataset (2010)

## III. HASIL DAN PEMBAHASAN
A. Eksperimen dan Pengujian Metode
1. Metode  Neural  Network  (NN)  Berbasis PSO Berikut  adalah  hasil  dari  eksperimen  serta pengujian  data  dengan    menggunakan  metode Neural  Network  berbasis  PSO    dengan  K-Fold Cross  Validation.    Dengan  menggunakan Rapidminer.
2. Metode Suport Vector Machine (SVM)
Berikut  adalah  hasil  dari  eksperimen  serta pengujian  data  dengan    menggunakan  metode Suport  Vector  Machine  (SVM)  dengan  K-Fold Cross  Validation.    Dengan  menggunakan Rapidminer.
Sumber : (hasil eksperimen, 2016) Gambar 5. Pengujian K-Fold Cross Validation Suport Vector Machine (SVM)
3. Metode Naive Bayes (NB)
Berikut  adalah  hasil  dari  eksperimen  serta pengujian  data  dengan    menggunakan  metode Naive Bayes (NB)dengan K-Fold Cross Validation.
Dengan menggunakan Rapidminer.
Sumber : (hasil eksperimen, 2016) Gambar 6. Pengujian K-Fold Cross Validation Naive Bayes (NB)
4. Metode Decision Tree (DT)
Berikut  adalah  hasil  dari  eksperimen  serta pengujian  data  dengan    menggunakan  metode Decision  Tree  (DT)dengan  K-Fold  Cross Validation.  Dengan menggunakan Rapidminer.
Sumber : (hasil eksperimen, 2016)
Gambar 7. Pengujian K-Fold Cross Validation Decision Tree (DT)
5. Hasil Pengujian  Metode Neural Network Berbasis PSO
Confusion Matrix Tabel  2,  dibawah  inimenunjukkan  hasil  dari confusion  matrix  metode  Neural  Network  (NN) berbasis PSO.
Tabel 2. Hasil Confusion Materix NN Berbasis PSO Classification Predicted Class Class = 1 Class =2 Class = 1 7 2 Class = 2 43 458 Sumber: Hasil analisis(2016)
Tingakat  akurasi  yang  di  hasilkan  dengan menggunakan  algoritma  Neural  Network Berbasis PSO adalah sebesar 91, 80% dan telah di hitung  untuk  mencari  nilai  accuracy,  specificity, ppv, npv.
6. Hasil  Pengujian    Metode  Suport  Vector Machine
Tabel 3, dibawah ini menunjukkan hasil dari confusion matrix metode Suport Vector Machine.
Tabel 3. Hasil Confusion Materix SVM Classification Predicted Class Class = 1 Class =2 Class = 1 0 0 Class = 2 50 460
Tingakat  akurasi  yang  di  hasilkan  dengan menggunakan  algoritma  Suport  Vector  Machine adalah sebesar 90, 20% dan telah di hitung untuk mencari nilai accuracy, specificity, ppv, npv.
7. Hasil Pengujian  Metode Naive Bayes (NB)
Tabel  4,  dibawah  ini  menunjukkan  hasil  dari confusion matrix metode Naive Bayes.
Tabel 4. Hasil Confusion Materix NB Classification Predicted Class Class = 1 Class =2 Class = 1 9 13 Class = 2 41 447 Sumber: Hasil analisis(2016) Tingakat  akurasi  yang  di  hasilkan  dengan menggunakan  algoritma  Naive  Bayes  adalah
sebesar  89,  41%  dan  telah  di  hitung  untuk mencari nilai accuracy, specificity, ppv, npv.
8. Hasil  Pengujian    Metode  Decision  Tree (NT)
Tabel 5, dibawah ini menunjukkan hasil dari confusion matrix metode Decision Tree. Tabel 5, dibawah ini menunjukkan hasil dari confusion matrix metode Decision Tree. Classification Predicted Class Class = 1 Class =2 Class = 1 1 0 Class = 2 49 460 Sumber: Hasil analisis(2016)
Tingakat  akurasi  yang  di  hasilkan  dengan menggunakan  algoritma  Decision  Tree  adalah sebesar  90,  39%  dan  telah  di  hitung  untuk mencari nilai accuracy, specificity, ppv, npv.
9. Analisa Evaluasi dan Validasi Model
Hasil  analisis  dari  beberapa  metode algoritma  yang  telah  di  uji  dapat  di  lihat  pada tabel 6. Di bawah ini. Tabel 6. Hasil accurasy dari uji dengan beberapa metode. Algoritma Accuracy Neural Network Berbasisi PSO 91,80 % Accuracy  Perbandingan Suport Vector Machine 90,20% 1,6% Naive Bayes 89,41% 2,39% Decision Tree 90,93% 0,87% Sumber: Hasil analisis(2016)

## IV. KESIMPULAN
Untuk  menghasilkan  hasil  algoritma dengan  performa  terbaik  terhadap  perdiksi
keberhasilan  telemarketing  bank  dan  dengan akurasi  yang  lebih  tinggi  diperlukan  sebuah metode  yang  paling  tepat.  Pada  penelitian  ini algoritma  Neural  Network  Support  Vector Machine (SVM), Naive Bayes (NB), dan Decision Tree (DT)   yang digunakan karena diketahui dari hasil  penelitian  sebelumnya  bahwa    Neural Network (NN) memiliki kemampuan generalisasi yang sangat baik untuk memecahkan masalah walaupun dengan sampel yang terbatas, tentunya  dengan  untuk  mencari  akurasi  yang lebih baik lagi menggunakan algoritma berbasis Particle Swarm Optimization (PSO). Eksperiment menggunakan  metode  support  vector  machin
Neural Network (NN) berbasis PSO
menghasilkan  tingkat  akurasi  sebesar  91.80%. Sedangkan  dengan  metode  Support  Vector Machine  sebesar  90.20%,  dengan  perbandingan akurasi  1.6%.  dengan  metode  Naive  Bayes sebesar  89.41%  dengan  perbandingan  akurasi sebesar 2.39%. dan dengan metode Decision Tree sebesar  90,93%  dengan  perbandingan  akurasi sebesar 0,87%.
Maka dapat disimpulkan  pengujian data telemarketing  bank  menggunakan  neural network  dan    menerapkan  Particle  Swarm Optimization    dalam  mencari  algoritma  dengan performa terbaik  bahwa  metode tersebut  lebih akurat    dalam  memprediksi  keberhasilan marketing  bank  dibandingkan  dengan  metode- metode yang telah di ujikan yang terdapat pada tabel  6.  ditandai  dengan  peningkatan  nilai akurasi lebih besar, dengan nilai tersebut masuk kedalam  klasifikasi  sangat  baik  (excellent classification).

## V. REFERENSI
Hagan,  M.  T.  (2014).  Neural  Network  Design.
Oklahoma: Stillwater. cao, J., Cui, H., Shi, H., & Jiao, L. (2016). A Parallel Particle Swarm Optimization-Back- Propagation  Neural  Network  Algorithm Based on MapReduce. PLOS: journal.pone.0157551. Dewan,  M.,  Farida,  &  Zhanga,  L.  (2014).  Hybrid decision  tree  and  naïve  Bayes  classifiers for  multi-class  classification  tasks. ELSEVIER.
Jadoun,  V.  K.,  Gupta,  N.,  &  Niazi,  K.  R.  (2015). Improved Particle Swarm Optimization for Multi-area  Economi  Reserve  Sharing Scheme. ELSEVIER.
Korada,  N.  K.,  &  Kumar,  S.  P.  (2012). Implementation  of  Naive  Bayesian
Classifier  and  Ada-Boost  Algorithm  Using Maize  Expert  System  .  International Journal  of  Information  Sciences  and Techniques (IJIST).
Kotler,  P.,  &  Keller,  K.  L.  (2009).  Manajemen Pemasaran  (Jilid  1)  (Edisi  13).  Jakarta: Erlangga.
Myatt,  J.  G.  (2007).  Making  Sense  of  Data  A Practical Guide to Exploratory Data . New Jersey:  A  John  Wiley  &  Sons,  inc., publication.
Santoso,  B.  (2007).  Data  Mining  :  Teknik Pemanfaatan  Data  Untuk  Keperluan Bismis. Yogyakarta: Graha Ilmu.
Sergio  ,  M.,  Cortez,  P.,  &  Rita,  P.  (2014).  Adata driven approach to predict the success of bank  telemarketing.  Lisboa:  Research Centre, Univ. of Minho.
Wang, H.,  & Raj, B. (2015). Time Travel in Deep Learning  Space:  An  Introduction  to  Deep Learning Models and How Deep Learning Models  Evolved  from  the  Initial  Ideas. Pittsburgh: Carnegie Mellon University.
Waringin,  T.  D.  (2008).  Marketing  Revolution. Jakarta: Gramedia Pustaka Utama.
Zaki,  M.  J.,  &  Jr,  W.  M.  (2014).  Data  Mining  and Analysis:  Fundamental  Concepts  and Algorithms  1st  Edition.  Cambridge: Cambridge University.

## BIODATA
Elin  Panca  Saputra, lahir di Jakarta, 22 Maret 1985.  biasa  di  panggil saat  ini  di  kenal  dengan nama  Panca.  adalah seorang Dosen / akedemis  muda  dengan jabatan Fungsional Akedemik  Asisten  Ahli. Penelitian terakhir dengan judul “Penerapan Algoritma  SVM  Berbasis
PSOUNTUK  Tingkap  Pelayanan  Marketing Terhadap  Loyalitas  Pelanggan  Kartu  Kredit”, diterbitkan  Jurnal  Techno  Nusa  Mandiri  tahun 2015.  Pernah  mendapat  Hibah  Pengembangan Model Pembelajaran Non Konvensional berbasis TIK tahun 2013, sebagai anggota peneliti.