MIND Journal | ISSN (p): 2528-0015  | ISSN (e): 2528-0902 | Vol. 8 | No. 1 | Halaman 65 - 76
Juni 2023

## Implementasi ShuffleNet V2 pada Klasifikasi Penyakit Kulit Benign dan Malignant
JASMAN PARDEDE, MUHAMMAD RIFALDI BADU
Program Studi Informatika, Institut Teknologi Nasional Bandung Email: jasman@itenas.ac.id
Received 30 November 201x | Revised 30 Desember 201x | Accepted 30 Januari 201x

## ABSTRAK
Penyakit kulit atau kanker kulit disebabkan oleh adanya pertumbuhan abnormal sel kulit. Kanker kulit dapat diklasifikasikan menjadi dua kategori yaitu tumor kulit benign  (jinak)  atau  malignant  (tumor  ganas)  dengan  karakteristik  yang hampir sama. Beberapa metode telah dilakukan untuk membantu deteksi penyakit kulit salah  satunya  menggunakan  computer  vision.  Pada  penelitian  ini,  dirancang sebuah  sistem  yang  dapat  mengklasifikasi  penyakit  kulit  benign  dan  malignant pada  citra  dermoskopi  dengan  menggunakan  arsitektur  ShuffleNet  V2. Eksperimen  dilakukan  menggunakan  5  varian  model  ShuffleNet  V2  berbeda dengan hyperparameter yaitu optimizer adam, learning rate 0.0001, batch size 16 dan epoch 40.  Penelitian ini menunjukkan bahwa model ShuffleNetV2_1.0_1_373 menunjukkan  performa  terbaik  dibandingkan  dengan    varian  model  lainnya berdasarkan  hasil  evaluasi  accuracy,  precision,  recall  dan    f1-score  dengan mencapai skor masing-masing sebesar 87,2%, 87,5%, 87,0%, dan 87,2%.
Kata  kunci :  CNN,  Lightweight  CNN,  ShuffleNet  V2,  Kanker  Kulit,  benign, malignant

## ABSTRACT
Skin disease, or skin cancer, is caused by the abnormal growth of skin cells. Skin cancer can be classified into two categories, namely benign (benign) or malignant (malignant tumor) skin tumors, with almost the same characteristics. With it, early detection and accurate diagnosis are needed to help identify benign and malignant skin cancer. Several methods have been developed to aid in the detection of skin diseases, one of which is the use of computer vision. In this study, a system was designed  that  could  classify  skin  diseases  on  dermoscopy  images  using  the ShuffleNet V2 architecture. In the experimental results, 5 variants of the ShuffleNet V2  model  were  tested  using  hyperparameters  such  as  adam  optimizer  with  a learning rate of 0.0001, batch size of 16, and epoch 40. The model with the best performance  based  on  the  evaluation  results  was  the  ShuffleNetV2_1.0_1_373 model, which obtained 87.2% accuracy, 87.5% precision, 87.0% recalls, and an 87.2% F1 score.
Keywords : CNN, Lightweight CNN, ShuffleNet V2, Skin Cancer, benign, malignant

## 1. PENDAHULUAN
Penyakit Kulit atau Skin cancer telah menjadi penyakit yang paling tersebar luas secara global. Terjadinya kanker kulit non-melanoma  ataupun melanoma telah berkembang dalam beberapa dekade berikutnya (Rezaoana, Hossain, & Andersson, 2020) . Kanker kulit biasa terjadi pada bagian kulit yang terpapar sinar matahari dan beberapa bagian yang tidak terpapar sinar matahari. Kanker kulit memiliki pertumbuhan sel kulit yang tidak normal. Deteksi dini dapat menyelamatkan nyawa manusia hingga 95% (Manasa & Murthy, 2021).
Karena  pentingnya deteksi  dini,  banyak  pekerjaan  telah  didedikasikan  untuk  meningkatkan akurasi dan skala metode diagnostik. Pada tahun 2016 dan 2017, International Skin Imaging Collaboration  (ISIC),  kemitraan  global  yang  telah  membuat  sebuah  repository  gambar dermoscopic  terbesar  di  dunia  yang  tersedia  untuk  umum,  menyelenggarakan  tolok  ukur publik pertama untuk deteksi melanoma dalam gambar dermoscopic, berjudul “ Skin Lesion Analysis  Towards  Melanoma  Detection ”,  di IEEE  International  Symposium  of  Biomedical Imaging (ISBI) (Codella et al., 2019) . Skin lesion dapat diklasifikasikan menjadi dua kategori yaitu tumor kulit benign (jinak) seperti nevus, atau malignant (tumor ganas) seperti melanoma yang  merupakan  jenis  kanker  kulit  yang  paling  jarang  ditemukan  tetapi  paling  berbahaya. Hingga beberapa tahun terakhir, diagnosis dengan bantuan komputer digunakan untuk deteksi dini  kanker  kulit  dari  hasil  gambar  dermoskopi (Benyahia,  Meftah,  &  Lézoray,  2021) . Menurut uraian sebelumnya, dapat diartikan jika diagnosis dengan bantuan komputer pada gambar dermoskopi digunakan agar dapat melakukan deteksi dini pada penyakit kulit benign dan malignant.
Diagnosis  dengan  bantuan  komputer  seperti  ini  masih  merupakan  tugas  yang  menantang. Dalam beberapa tahun terakhir telah banyak aplikasi teknik pembelajaran mesin (ANN, SVM, KNN) yang berhasil serta pendekatan deep learning khususnya Convolutional Neural Network (CNN) (Benyahia et al., 2021) . CNN memiliki kerangka kerja konseptual yang signifikan, termasuk pembagian bobot, persepsi dan ruang pengambilan sampel domain, yang menjamin perpindahan  relative,  distorsi  dan  karakteristik  penskalaan (Luqman  Hakim,  Sari,  & Handhajani, 2021) .
Terdapat berbagai jenis arsitektur CNN yang mempunyai konsep dan komposisi yang berbeda- beda yang salah satunya adalah jenis lightweight CNN yang desain jaringannya diutamakan untuk merancang sebuah network calculation method yang lebih efisien. Metode perhitungan disini ditujukan pada metode konvolusi, sehingga mengurangi parameter jaringan, tetapi tanpa mengurangi kinerja jaringan (Zhou, Chen, Wang, & Huan, 2020) . Lightweight CNN sendiri mempunyai  beberapa  arsitektur  yaitu, SqueezeNet,  MobileNet,  EfficientNet,  MixNet  dan ShuffleNet. Salah satu arsitektur lightweight CNN yaitu ShuffleNet pertama kali diusulkan oleh (Zhang, Zhou, Lin, & Sun, 2018) dengan nama ShuffleNet V1 yang mendapatkan 70.9% top-1 accuracy pada klasifikasi citra ImageNet dan model terbaru yaitu ShuffleNet V2 (Ma, Zhang, Zheng, & Sun, 2018) mendapatkan 75.4%.
Penelitian ini akan melakukan pembuatan model dengan arsitektur ShuffleNet V2 yang dapat digunakan  untuk  melakukan  identifikasi  penyakit  kulit  atau skin  cancer  benign  (jinak)  dan malignant  (ganas).  Penelitian  ini  akan  menggunakan  HAM10000  dataset (Tschandl, Rosendahl,  &  Kittler,  2018) yang  telah  dirangkum  oleh  Claudio  Fanconi  di  Kaggle.com sebagai dataset untuk melatih model ShuffleNet V2 dalam klasifikasi penyakit kulit benign dan malignant. Penerapan arsitektur ShuffleNet V2 pada klasifikasi penyakit kulit diharapkan dapat memperlihatkan  bagaimana  sebuah lightweight  CNN  dengan  jumlah  parameter  yang  kecil dapat bekerja pada dataset penyakit kulit berdasarkan hasil accuracy, precision, recall dan f- measure serta waktu eksekusi pengujian.

## 2. METODE PENELITIAN
2.1 Deep Learning Metode deep learning adalah metode representation-learning atau feature dengan beberapa level  fitur,  diperoleh  dengan  menyusun  modul  sederhana  namun  non-linear  yang  masing- masing mengubah fitur pada satu level (dimulai dengan input mentah) sampai menjadi fitur pada level yang lebih tinggi. Convolutional neural netwrok yang merupakan bagian dari deep learning terdiri dari beberapa lapisan termasuk input, convolution, sub-layer dan lapisan non linear dengan fully connected  dan aktivasi softmax sering digunakan pada lapisan terakhir (Lecun et al., 2015) (Nguyen Quoc & Truong Hoang, 2020) . Ilustsrasi arsitektur CNN ditunjukkan pada Gambar 1.
Skin Lession Image Input Convolutional Layer 1 + ReLu Pooling Layer Convolutional Layer 2 + ReLu Flatten Fully Connected Softmax FEATURE
EXTRACTION
CLASSIFICATION Output :
Benign or Malignant Gambar 1. Arsitektur Convolutional Neural Network

## 2.2 Lightweight CNN
Lightweighting adalah konsep yang diusulkan dalam beberapa tahun terakhir, berfokus pada penyelesaian masalah  ukuran  dan  kecepatan  model.  Operasi  dasar  CNN  adalah  melakukan ekstraksi konvolusi pada area lokal pada citra. Tetapi operasi konvolusi standar biasa memiliki beberapa kelemahan seperti ketika jumlah saluran fitur bertambah, jumlah parameter kernel konvolusi  juga  akan  menjadi  besar,  sehingga  jumlah  perhitungan  juga  meningkat.  Untuk mengatasi  masalah  ini  beberapa  metode convolution  muncul  yang  salah  satunya  adalah depthwise separable convolution (Zhou et al., 2020) .

## 2.3 ShuffleNet V2
Model ShuffleNet  V2  merupakan  jenis  lightweight  CNN  yang  diusulkan  oleh  Megvii  dan Universitas Tsinghua (Ma et al., 2018) yang dirancang untuk small network dengan prinsip bottleneck. ShuffleNet V2 merupakan lanjutan dari model sebelumnya yaitu ShuffleNet yang menggunakan  operasi depthwise  separable convolution  dan channel shuffle dengan tujuan untuk meminimalkan jumlah parameter yang dihasilkan.

## ShuffleNet V2
Input 224 x 224 x 3
Convolution (3x3, Stride=2) MaxPooling (3x3,
Stride=2)
ShuffleNet Block1 (Stride=2) ShuffleNet Block2 (Stride=1) Stage 2 (Block1-1, Block2-3) ShuffleNet Block1 (Stride=2) ShuffleNet Block2 (Stride=1) Stage 3 (Block1-1, Block2-7) 1 1 ShuffleNet Block1 (Stride=2)
ShuffleNet Block2 (Stride=1)
Convolution (1x1, Stride=1)
Global Average pooling (7x7) Fully Connected Softmax Stage 4 (Block1-1, Block2-3) Selesai
Gambar 2. Diagram Blok Arsitektur ShuffleNet V2
Pada diagram blok ShuffleNet V2, terdapat beberapa operasi konvolusi, fungsi non linear dan stage yang terdiri dari dua blok shufflenet. Terdapat tiga stage yang merupakan gabungan dari dua blok shufflenet yang masing-masing stage mempunyai jumlah repitisi pada Block2. Selanjutnya pada  tahap  klasifikasi  terdapat  operasi global average pooling, fully connected dan  diikuti  dengan  fungsi  aktivasi softmax.  Tabel  1  menunjukan struktur  keseluruhan  dari arsitektur ShuffleNet V2.
Tabel 1. Arsitektur ShuffleNet V2 Layer Output Size KSize  Stride  Repeat Output Channel Image 224x224 3 Conv1 112x112 3x3 2 1 24 MaxPool 56x56 3x3 2 1 24 Stage2 28x28 28x28 2 1 1 3 116 116 Stage3 14x14 14x14 2 1 1 7 232 232 Stage4 7x7 7x7 2 1 1 3 464 464 Conv5 7x7 1x1 1 1 1024 GlobalPool 1x1 7x7 FC 2 Softmax 2
Pada Tabel 1 menunjukan bagaimana perubahan size dari citra input beserta output channel. Dimulai pada lapisan konvolusi (Conv1) dengan 24 filter lalu maxpool yang masing-masing mempunyai stride = 2 dan ukuran kernel 3x3. Selanjutnya pada bagian stage terlihat bahwa output shape mengalami perubahan tepat saat masuk ke dalam tahap pertama  stage atau pada Block1 dengan Block2 yang tetap mempertahankan nilai output shape. Setiap stage akan menghasilkan  perubahan  pada output  shape  dengan  nilai  ganda  pada  output  channel. Perubahan pada output shape ini mengikuti bottleneck ratio yaitu 1 dengan jumlah output channel  atau jumlah filter adalah 116 pada Stage2 (Ma et al., 2018) .
2.3.1 ShuffleNet Block Model pada CNN tradisional biasanya memiliki lapisan convolution, pooling dan fully connected. Keberadaan kernel konvolusi yang besar membuat model menjadi besar secara komputasi (Liu et al., 2019) . ShuffleNet V2  memiliki sebuah block yang memiliki sebuah kombinasi depthwise convolution dan kernel konvolusi 1x1 atau pointwise convolution. Penggambungan ini dinamakan depthwise separable convolution yang digunakan untuk menggantikan operasi convolutional biasa. Block dari shufflenet ditunjukkan pada Gambar 3.
BN Concat Channel Shuffle 1x1 Conv BN ReLU 3x3 DWConv (stride=1) 1x1 Conv BN ReLU Channel Split 3x3 DWConv (stride=2) BN 1x1 Conv BN ReLU Concat Channel Shuffle 1x1 Conv BN ReLU BN 3x3 DWConv (stride=2) 1x1 Conv BN ReLU (a) (b) Gambar 3. Unit Block ShuffleNet V2 : (a) Block1 Spatial Down Sampling; (b) Block2 Basic Unit (Ma et al., 2018)
Gambar  3 menunjukan  keuda  unit shufflenet block  yang terdiri dari  pointwise convolution, batch normalization, fungsi ReLU, depthwise convolution, concate dan channel shuffle dengan perbedaan pada jumlah stride dan operasi channel split pada Block2 basic unit.
a. Block  1  mempunyai  operasi depthwise  convolution  dengan  nilai  stride  adalah  2  yang bertujuan untuk melakukan down sampling pada input size. Input akan melalui dua operasi secara  paralel.  Pada  operasi  pertama  terdapat  1x1 convolution  yang  dilanjutkan  oleh depthwise  separable  convolution,  dan  operasi  kedua  yaitu  skip  connection  terdapat depthwise separable convolution yang masing-masing operasi ini akan dijumlahkan nilai output  channels  melalui  concatenate  lalu  diikuti  dengan  channel  shuffle  melakukan pengacakan  urutan output channel untuk memastikan pertukaran informasi fitur antara dua cabang (Liu et al., 2019) .
b. Block  2  merupakan basic  unit  dengan  operasi  yang  sama  dan  jumlah  stride  adalah  1. Pertama input  channel  akan  dibagi  dua  menggunakan  channel  split  sebelum  dilakukan operasi  secara  paralel  seperti  pada  Block1.  Berbeda  dengan  Block1,  operasi  kedua hanyalah  sebuah skip  connection  yang  mempertahankan nilai  input.  Output  shape  dari Block2 akan sama dengan nilai input dan dapat dilakukan repetisi untuk meningkatkan nilai parameter.

## 2.4 Penyakit Kulit Benign dan Malignant
Penyakit  kulit  atau  skin  cancer  merupakan  sebuah  pertumbuhan  abnormal  sel  kulit.  Jenis benign dan malignant adalah penyakit kanker kulit yang paling umum diderita orang (Hasan et al., 2021) . Tahap awal pada kanker kulit malignant sering kali dianggap benign karena karakteristik  yang  hampir  sama.  Untuk  mencegah  hal  ini  terjadi  maka  diagnose  dini  perlu dilakukan. Hingga beberapa tahun terakhir, diagnosis dengan bantuan komputer digunakan untuk  deteksi  dini  kanker  kulit  dari  hasil  gambar  dermoskopi (Benyahia  et  al.,  2021) . Gambar kedua jenis skin cancer ditunjukkan pada Gambar 4.
Gambar 4. Kanker Kulit Benign dan Malignant

## 2.5 Perancangan
Perancangan  sistem  pada  penelitian  klasifikasi  penyakit  kulit benign  dan  malignant menggunakan ShuffleNet  V2  ini  terdapat  tahapan-tahapan  yang  menunjukan  bagaimana model dibuat yang ditunjukkan pada Gambar 5.

## Gambar 5. Diagram Blok Sistem
Input  yang  berupa  citra  dermoskopi  kanker  kulit  benign  dan  malignant  yang  berasal  dari repositori HAM10000 dataset (Tschandl et al., 2018) . Dibagi menjadi data training, data validation dan data testing. Pada input training untuk proses training terdapat preprocessing dengan melakukan resize ukuran piksel menjadi 224 x 224 piksel dengan 3 buah channel RGB ( Red, Green dan Blue) dan dilanjutkan dengan image normalization. Proses selanjutnya adalah training  pada  citra  menggunakan  arsitektur  ShuffleNet  V2.  Hasil  dari  proses  training  pada dataset training akan dilakukan pengujian menggunakan data validation yang juga dilakukan preprocessing  untuk  mengukur  bobot  dan  akurasi  model  terhadap  dataset  baru.  Setelah proses training keseluruhan selesai, maka proses testing dilakukan untuk mengevaluasi model terbaik  yang  dihasilkan  oleh  proses training  terhadap data  testing  menggunakan  confusion matrix agar dapat mengetahui performa dari model yang telah dibuat.

## 2.5 Confusion Matrix
Confusion matrix (juga dikenal sebagai error matrix) merupakan pendekatan kuantitatif untuk mendeskripsikan  akurasi  kategorisasi  gambar,  dan  merupakan  tabel  yang  meringkas  hasil model klasifikasi. Confusion matrix didasarkan pada true positive (TP), dan false positive (FP), true negative (TN), false negative (FN) (Hasan et al., 2021) . Berikut beberapa Persamaan (1) pengukuran confusion matrix.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = TP + TN TP + FP+ TN + FN (1)
Persamaan  (1)  menunjukkan  perhitungan accuracy.  Accuracy  merupakan  perbandingan jumlah prediksi benar dengan total keseluruhan prediksi.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = TP TP + FP (2)
Persamaan  (2)  menunjukkan  perhitungan precision.  Precision  merupakan  perbandingan jumlah  prediksi  benar  terhadap  klasifikasi  positif  dengan  total  prediksi  benar  dan  salah terhadap semua klasifikasi positif.
𝑅𝑒𝑐𝑎𝑙𝑙 = TP TP + FN (3)
Persamaan  (3)  menunjukkan  perhitungan recall.  Recall  merupakan  perbandingan  jumlah prediksi benar terhadap klasifikasi benar dengan total prediksi benar terhadap klasifikasi positif dan prediksi salah terhadap klasifikasi negatif.
𝐹 − 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 = 2 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙
(4)
Persamaan  (4)  menunjukkan  perhitungan F-Measure.  F-Measure  merupakan  perbandingan antara nilai precision dan recall.

## 3. HASIL DAN PEMBAHASAN

## 3.1  Penggunaan Dataset
Pada dataset citra penyakit kulit benign dan malignant yang didapat dari HAM10000 dataset (Tschandl et al., 2018) melalui Claudio Fanconi. Total data citra penyakit kulit sebanyak 3,172 citra. Terdapat dua kelas citra pada dataset ini yaitu benign dan malignant dengan masing- masing mempunyai total 1,760 citra dan 1,412 citra. Data citra yang akan digunakan pada proses training dan testing dapat dilihat pada Gambar 6.
Gambar 6. Grafik Penggunaan Dataset
3.2 Training Model Tahap training  ditujukan  untuk  membuat  sebuah  model  terbaik  menggunakan  arsitektur ShuffleNet V2 terhadap dataset citra dermoskopi penyakit kulit. Proses training ini dibangun menggunakan platform Google Colaboratory dengan menerapkan beberapa hyperparameter yang  sudah  ditentukan  yaitu  penggunaan adam  sebagai  optimizer,  learning  rate  0.0001, jumlah epochs  sebanyak 40, dan batch size sebesar 16. Pada penelitian ini akan melakukan proses training  terhadap  5  varian  model  berbeda  yang  masing-masing  menggunakan bottleneck ratio yang sama yaitu 1 serta input size citra yaitu 224 x 224 piksel. Tiap-tiap varian model  dapat  dibedakan  berdasarkan  jumlah  pengulangan  atau  repitisi  yang  terdapat  pada stage (Block2) dan jumlah parameter. Semakin banyak jumlah pengulangan, maka semakin banyak  jumlah  parameter  yang  dihasilkan  oleh  model  tersebut.  Oleh  karena  itu,  terdapat variasi jumlah repetisi dan parameter pada masing-masing varian model yang dapat dilihat pada Tabel 2.
Tabel 2. Variasi Model Berdasarkan Jumlah Repetisi Stage No Model Jumlah Repetisi Stage (Block2) Jumlah Parameter 1 ShuffleNetV2_1.0_1_131 1,3,1 2,625,078 2 ShuffleNetV2_1.0_1_242 2,4,2 3,209,718 3 ShuffleNetV2_1.0_1_373 3,7,3 4,020,790 4 ShuffleNetV2_1.0_1_484 4,8,4 4,605,430 5 ShuffleNetV2_1.0_1_595 5,9,5 5,190,070
Hasil proses training pada setiap model menunjukkan akurasi berdasarkan validation accuracy tertinggi  yaitu  0.8598  dengan loss  0.6444  dan  training  accuracy  yaitu  0.9694  dengan loss 0.0858 pada model 4 dengan durasi training adalah 5 jam 31 menit. Grafik accuracy dan loss ditunjukkan pada Gambar 6.
Gambar 7. Grafik Accuracy dan Loss
3.3  Pengujian Kinerja Model Pengujian kinerja model dilakukan dengan mengukur accuracy, precision, recall dan f-measure model  yang  sudah  melewati  proses training  terhadap  data testing. Pengujian ini dilakukan terhadap 5 varian model yang sudah dilatih yang dibedakan dengan jumlah repetisi stage. Dalam proses pengujian didapatkan akurasi tertinggi pada model 3 dengan 87.2% accuracy, 87.5% precision, 87.0% recall, 87.2% f-measure yang ditunjukkan pada Gambar 8.
Pada penelitian ini terdapat 5 varian model yang diurutkan menurut jumlah total parameter yang dihasilkan berdasarkan kedalaman model. Jumlah parameter akan mempengaruhi waktu testing atau kecepatan model dalam melakukan klasifikasi. Berdasarkan tingkat akurasi pada pengujian  kinerja  model  dapat  dilihat  bahwa  model  3  yang  merupakan  model  dengan kedalaman atau jumlah repetisi Block2 pada Stage2, Stage3, Stage4 adalah masing-masing 3,7,3 mempunyai nilai tertinggi dari semua model yang diujikan. Gambar 9 menunjukkan hasil perbandingan akurasi dan rata-rata kecepatan dari 5 varian model yang diujikan.

## Gambar 9. Grafik Perbandingan Akurasi Terhadap Kecepatan Model
Berdasarkan  hasil  dari  pengujian,  ditunjukkan  bahwa  terjadi  penurunan  tingkat  akurasi  di antara Model 1 dan Model 2, kenaikan dengan nilai tertinggi pada Model 3 dan penurunan pada Model 4 serta pada Model 5 yang memiliki kecepatan rata-rata paling lama dengan nilai terendah.
Pada  pengujian  kinerja sistem  varian  model ini  menunjukan  nilai loss yang dihasilkan oleh setiap  model  dengan  Model  3  yang  memiliki  hasil loss  paling  rendah.  Hasil  eksperimen perbandingan model berdasarkan accuracy precision recall f-measure nilai loss serta kecepatan ditunjukkan pada Tabel 3.
Tabel 3. Perbandingan Pengujian Variasi model Model Precision Recall F-Measure Accuracy Loss Kecepatan (detik/citra) B M B M B M 1 93%  80% 81% 93%  86.5% 86% 86.6% 0.5007 0.038 2 98%  74% 73% 98%  83.6%  84.3% 84.1% 0.7524 0.057 3 93%  81%  83%  92%  88%  86.4% 87.2% 0.4260 0.064 4 96%  77% 77% 96% 86% 86% 85.9% 0.6444 0.072 5 89%  77% 79% 88%  84.1%  82.1% 83.1% 0.5239 0.082
Keterangan : B : Benign M : Malignant

## 4. KESIMPULAN
Hasil  pengujian  kinerja  model  terhadap  klasifikasi  penyakit  kulit benign  dan  malignant menunjukkan  model  dengan  arsitektur ShuffleNetV2_1.0_1_373 atau yang memiliki jumlah repetisi Block2 pada stage sebanyak 3,7,3 merupakan model yang memiliki nilai accuracy yaitu 87.2%, precision 87.5%, recall 87.0% dan f-measure 87.2% dengan akurasi, presisi dan f- measure tertinggi dibandingkan dengan varian model yang lain. Berdasarkan hasil eksperimen yang  dilakukan,  penentuan  kedalaman  model  atau  repitisi  pada stage  berpengaruh  pada kinerja  sistem  yang  dibangun.  Pada  model  yang  kedalaman  atau  jumlah  repetisi stage dikurangi mendapatkan nilai akurasi yang lebih rendah dibandingkan dengan jumlah repitisi default. Pada model yang kedalaman atau jumlah repetisi  stage ditambah juga mengalami penurunan pada nilai akurasi walaupun jumlah parameter bertambah.

## DAFTAR RUJUKAN
Benyahia, S., Meftah, B., & Lézoray, O. (2021). Skin Lesion Classification Using Convolutional Neural Networks Based on Multi-Features Extraction. Lecture Notes in Computer Science (Including  Subseries  Lecture  Notes  in  Artificial  Intelligence  and  Lecture  Notes  in Bioinformatics), 13052 LNCS, 466 – 475. https://doi.org/10.1007/978-3-030-89128-2_45
Codella, N., Rotemberg, V., Tschandl, P., Celebi, M. E., Dusza, S., Gutman, D., … Halpern, A. (2019). Skin Lesion Analysis Toward Melanoma Detection 2018: A Challenge Hosted by the  International  Skin  Imaging  Collaboration  (ISIC).  1 – 12.  Retrieved  from http://arxiv.org/abs/1902.03368
Hasan,  M.  R.,  Fatemi,  M.  I.,  Monirujjaman  Khan,  M.,  Kaur,  M.,  &  Zaguia,  A.  (2021). Comparative Analysis of Skin Cancer (Benign vs. Malignant) Detection Using Convolutional Neural Networks.
Journal of Healthcare Engineering, 2021,
1 – 17. https://doi.org/10.1155/2021/5895156
Lecun,  Y.,  Bengio,  Y.,  &  Hinton,  G.  (2015).  Deep  learning. Nature,  521(7553),  436 – 444. https://doi.org/10.1038/nature14539
Liu, H., Yao, D., Yang, J., & Li, X. (2019). Lightweight convolutional neural network and its application in rolling bearing fault diagnosis under variable working conditions. Sensors (Switzerland), 19(22). https://doi.org/10.3390/s19224827
Luqman  Hakim,  Sari,  Z.,  &  Handhajani,  H.  (2021).  Klasifikasi  Citra  Pigmen  Kanker  Kulit Menggunakan  Convolutional  Neural  Network. Jurnal  RESTI  (Rekayasa  Sistem  Dan Teknologi Informasi), 5(2), 379 – 385. https://doi.org/10.29207/resti.v5i2.3001
Ma,  N.,  Zhang,  X.,  Zheng,  H.  T.,  &  Sun,  J.  (2018).  Shufflenet  V2:  Practical  guidelines  for efficient cnn architecture design. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11218 LNCS, 122 – 138. https://doi.org/10.1007/978-3-030-01264-9_8
Manasa, K., & Murthy, D. G. V. (2021). Skin Cancer Detection Using VGG-16. European Journal of Molecular & Clinical Medicine, 8(1), 1419 – 1426.
Nguyen Quoc, T.,  & Truong  Hoang,  V. (2020). Medicinal  Plant  identification in  the  wild  by using  CNN. International  Conference  on  ICT  Convergence,  2020-Octob,  25 – 29. https://doi.org/10.1109/ICTC49870.2020.9289480
Rezaoana, N., Hossain, M. S., & Andersson, K. (2020). Detection and Classification of Skin Cancer by Using a Parallel CNN Model. Proceedings of 2020 IEEE International Women in Engineering  (WIE)  Conference  on  Electrical  and  Computer  Engineering,  WIECON-ECE 2020, 380 – 386. https://doi.org/10.1109/WIECON-ECE52138.2020.9397987
Tschandl, P., Rosendahl, C., & Kittler, H. (2018). Data descriptor: The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Scientific Data, 5, 1 – 9. https://doi.org/10.1038/sdata.2018.161
Zhang, X., Zhou, X., Lin, M., & Sun, J. (2018). ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices. Proceedings of the IEEE Computer Society Conference
on Computer Vision and Pattern Recognition, 6848 – 6856. https://doi.org/10.1109/CVPR.2018.00716
Zhou,  Y.,  Chen,  S.,  Wang,  Y.,  &  Huan,  W.  (2020).  Review  of  research  on  lightweight convolutional neural networks. Proceedings of 2020 IEEE 5th Information Technology and Mechatronics  Engineering  Conference,  ITOEC  2020,  (Itoec),  1713 – 1720. https://doi.org/10.1109/ITOEC49072.2020.9141847