Abstrak —Mata merupakan organ yang sangat sensitif, benda dan tekanan dengan ukuran kecil sudah dapat menimbulkan gangguan pada organ ini. Kedipan mata terjadi karena dipen- garuhi oleh sensitifitas kornea dan kekeringan mata. Terdapat dua parameter utama pada  kedipan  mata,  yaitu  frekuensi  dan durasi, frekuensi berkedip dapat bertingkat salah satunya adalah saat orang dalam kondisi  mengantuk.  Pada  peneli-  tian ini dilakukan pendenteksian pada kondisi mata berkedip dari dataset video. Peneletian ini menggunakan disiplin ilmu Deep Learning dengan metode Convolutional Neural Network. Dataset berupa video akan diekstrak menjadi frame gambar, yang kemudian dilakukan labelling pada kondisi mata terbuka dan mata tertutup. Setelah mendapatkan hasil klasifikasi untuk mata terbuka dan mata tertutup, dibuat suatu model untuk mendeteksi kedipan mata pada video. Pada klasifikasi kondisi mata terbuka dan mata tertutup didapatkan akurasi sebesar 96% dan akan dilakukan pengujian pada video untuk deteksi kedipan mata secara otomatis.
Kata Kunci —Kedipan Mata, Video, Klasifikasi, Convoltuional Neural Network.

## I. PENDAHULUAN
IDUR merupakan hal yang penting bagi kesehatan tubuh manusia. Kondisi tidur yang kurang atau sleep deprivation akan mempengaruhi fungsi kognitif dan perilaku manusia serta meningkatkan resiko penyakit kronis seperti obesitas, gangguan hormonal dan gangguan fungsi kardiovaskular [1]. Dalam jangka panjang, sleep deprivation dapat mengakibatkan terjadinya kantuk dan kelelahan kerja yang  beru-  jung pada penurunan tingkat kewaspadaan dan performansi mengemudi. Penelitian lain menyimpulkan bahwa perfor- mansi mengemudi yang menurun dalam jangka waktu  yang  panjang dapat menyebabkan terjadinya kecelakaan di sektor  transportasi (misalnya terjadi pelanggaran batas kecepatan  dan  pelanggaran  rambu  lalu lintas) [2].
Frekuensi kedipan mata dapat menjadi salah satu indikator tingkat kantuk pada seseorang. Pada umumnya orang dewasa berkedip 10 sampai 15 kedipan pada satu menit, sedangkan anak  –  anak memiliki tingkat kedipan yang lebih rendah. Durasi berkedip tergantung pada individu, biasanya sekitar 100 – 400 ms. Namun, hal tersebut dapat dipengaruhi banyak faktor, utamanya tingkat kantuk. Pada saat ini, sudah banyak peneletian terkait deteksi kedipan mata secara otomatis menggunakan disiplin ilmu Deep Learning.
Penelitian di bidang Deep Learning terus  berkembang dalam beberapa dekade terakhir. Deep Learning adalah bagian dari pembelajaran mesin ( Machine Learning )  yang berbasis jaringan syaraf tiruan dan memiliki kemampuan yang baik dalam image processing . Salah satu metode dari
deep learning adalah Convolutional Neural Network atau biasa  disebut  dengan  CNN.  CNN  digunakan  untuk memproses  data yang memiliki bentuk dua dimensi atau berbentuk suatu citra.

## II. STUDI LITERATUR

## A. Kondisi Kedipan Mata
Kedipan mata adalah suatu kondisi bawah sadar di mana terjadinya perubahan kondisi kelopak mata dari keadaan tertutup menuju keadaan terbuka secara sangat cepat. Tujuan utama dari kedipan mata adalah untuk melembabkan kornea mata, sekaligus membersihkan daerah kornea mata pada saat bulu mata tidak menangkap semua debu  dan kotoran yang masuk ke mata. Pada umumnya orang dewasa berkedip 10 sampai 15 kedipan pada satu menit, sedangkan anak – anak memiliki tingkat kedipan yang lebih rendah. Tingkat kedipan seseorang dapat ditingkatkan oleh angin kencang, kondisi udara kering, maupun dari emosional. Durasi berkedip tergantung pada individu, biasanya sekitar 100 – 400 ms [3].

## B. Deep Learning
Deep Learning merupakan salah satu cabang dari Machine Learning . Deep Learning juga merupakan salah satu algoritma dari Jaringan Syaraf Tiruan yang terinspirasi dari sistem otak manusia. Algoritma pada Deep Learning mempunyai  kemampuan  yang  unik,  yaitu  dapat mengekstraksi  fitur  secara otomatis. Lapisan tersembunyi ( hidden layer )  pada Deep Learning lebih banyak daripada Jaringan Syaraf Tiruan, sehingga pada Jaringan Syaraf Tiruan membutuhkan lebih banyak informasi tentang data masukan untuk menentukan model yang cocok.
C. Convolutional Neural Network Convolutional Neural Network merupakan metode Deep Learning yang paling sering digunakan untuk  mengolah  data dua dimensi. Convolutional Neural Network memiliki beberapa layer antara lain, Convolutional Layer , Padding , dan Pooling Layer .
D. Residual Neural Network Residual Neural Network atau ResNet adalah teknologi yang dikembangkan oleh Microsoft pada tahun 2015. Teknik ini dapat melatih neural network yang  lebih  dalam  dengan lebih efektif. Hal ini dibuktikan dalam kompetisi ImageNet 2015, ResNet memenangkan juara pertama [4].  Dalam arsitektur neural network tradisional, ketika kedalaman jaringan terlalu besar, akurasi yang didapatkan menurun dan akan menyebabkan tingkat kesalahan yang lebih tinggi [4]. ResNet berhasil menyelesaikan permasalahan tersebut dengan

## Perhitungan Frekuensi Kedipan Mata berbasis Convolutional Neural Network
Atyantagratia Vidyasmara Daryanto, Eko Mulyanto Yuniarno, dan Ahmad Zaini Departemen Teknik  Komputer, Institut Teknologi Sepuluh Nopember (ITS) e-mail : ekomulyanto@ee.its.ac.id; zaini@ee.its.ac.id.
T
menambahkan sebuah cara untuk melompat atau  melewati sejumlah layer yang dinamakan Residual Learning .

## III. DESAIN DAN IMPLEMENTASI  SISTEM
Studi ini merupakan  salah  satu  bentuk  penerapan dari disiplin ilmu Deep Learning yang  bertujuan  untuk mendeteksi kedipan mata pada video dengan menggunakan metode Convolutional Neural Network (CNN).  Gambar 1 menunjukkan blok diagram  kerja  sistem.  Sistem yang dibangun menggunakan data video yang didapat dari DROZY  The ULg Multimodality Drowsiness Database (http://www.drozy.ulg.ac.be/).
Mengacu pada Gambar 1, dapat dilihat jika desain sistem untuk pengerjaan studi  ini dimulai dengan data  masukan berupa citra video yang kemudian dilakukan pra pemrosesan berupa ekstraksi menjadi frame gambar, yang nantinya akan diberi label  untuk kondisi mata terbuka dan mata tertutup. Gambar yang sudah diberi label, dipotong untuk mendapatkan bagian mata saja. Data yang sudah melalui pra pemrosesan, akan dilatih untuk mendapatkan sebuah model. Proses  pelatihan  ( training )  menggunakan  metode Convolutional Neural Network .

## A. Akuisi Data
Data yang digunakan pada proses pengerjaan Studi  ini diambil dari DROZY The ULg Multimodality Drowsiness
Database. Data ini dikumpulkan dari 14 subyek pemuda yang sehat (3 laki-laki dan 11 perempuan) yang melakukan tiga tes kewaspadaan psikomotor 9 sampai 10 menit berturut-turut [5]. Agar data dapat diolah menggunakan metode Convolutional Neural Network , maka video diekstrak menjadi frame gambar, yang nantinya akan dilakukan pra pemrosesan sebelum melalui proses pelatihan ( training ).
B. Preprocessing Data Convolutional Neural Network merupakan metode Deep Learning yang paling sering digunakan untuk mengolah data dua dimensi, termasuk gambar. Dibanding dengan metode yang lain, Convolutional Neural Network mempunyai hasil yang lebih baik untuk mengolah gambar. Gambar 2 merupakan bagan umum tahap preprocessing data pada penelitian Studi ini.
Data berupa video diekstrak menjadi frame gambar. Kemudian frame gambar tersebut diberi label untuk gambar kondisi  mata terbuka dan gambar kondisi mata tertutup. Setelah  diberi label, gambar dipotong daerah bagian mata saja, untuk mempermudah dalam proses pelatihan ( training ).

## C. Ekstraksi Gambar
Ekstraksi gambar adalah proses pemecahan data video menjadi frame - frame gambar, yang nantinya gambar yang didapatkan akan digunakan untuk proses selanjutnya. Gambar 3 adalah sampel gambar yang telah diekstrak dari data video.
Gambar 1. Blok Diagram Kerja Sistem.
Gambar 2. Bagan Umum Preprocessing Data.
Gambar 3.   Contoh Hasil Sampel Ekstraksi Video ke Gambar
Gambar 4. Contoh Hasil Pemberian Label pada Gambar.
Gambar 5. Contoh Hasil Pemotongan Gambar Daerah Mata.
Gambar 6. Arsitektur ResNet50

## D. Labelling
Pada proses Labelling, gambar yang telah diekstrak akan dibagi menjadi dua kondisi, kondisi pada saat mata terbuka, dan kondisi pada saat mata tertutup, yang kemudian disimpan pada folder sesuai dengan kondisi mata. Gambar 4 merupakan contoh hasil pemberian label pada data yang digunakan.

## E. Pemotongan Gambar Daerah Mata
Proses pemotongan gambar pada daerah mata saja, bertujuan agar mempermudah dalam proses pelatihan ( training ), serta membuang fitur yang tidak dibutuhkan. Gambar 5 merupakan contoh hasil pemotongan gambar pada daerah mata.

## F. Arsitektur ResNet50
Pada penelitian ini menggunakan arsitektur jaringan ResNet50 untuk ekstraksi fitur. ResNet-50 terdiri dari lima blok konvolusional yang ditumpuk di atas satu sama  lain. Blok konvolusional dari ResNet berbeda dari Convolutional Neural Network pada umumnya karena pengenalan shortcut connection antara input dan output setiap blok. ResNet50 dapat menghasilkan pengoptimalan yang lebih baik dan mengurangi kompleksitas serta data input lebih cepat untuk dilatih  dan secara komputasi lebih murah daripada Convolutional Neural Network pada umumnya [4]. Gambar 6 merupakan arsitektur  ResNet50  yang  digunakan  pada penelitian ini.

## IV. PENGUJIAN DAN  ANALISA
Data  yang  digunakan  diambil  dari  DROZY  The  ULg Multimodality Drowsiness Database (http://www.drozy.ulg.ac.be/). Data ini dikumpulkan dari 14 subyek pemuda yang sehat (3 laki-laki dan 11 perempuan)
Table 1 Video yang Digunakan Berdasarkan Tingkat Skor KSS. KSS Videos 2 3-1.mp4 3 2-1.mp4 4 4-1.mp4 5 14-1.mp4 6 13-1.mp4 7 11-2.mp4 8 9-3.mp4
9 7-3.mp4 (a) Grafik Train Loss dan Validation  Loss
(b) Confusion Matrix (c) Classification Report
Gambar 7. Hasil Evaluasi Model.
Gambar 8. Hasil Pengujian Model pada Video 3-1.mp4.
Gambar 9. Hasil Pengujian Model pada Video 2-1.mp4
yang melakukan tiga tes kewaspadaan psikomotor 9 sampai 10 menit berturut-turut dan mempunyai skor skala kantuk Karolinska Sleepiness Scale ditiap perekamannya.
Sebelum data video diproses menggunakan CNN, video tersebut diekstrak menjadi frame gambar. Video  yang digunakan adalah video dengan anotasi tingkat kantuk 2 sampai  9  menurut Karolinska Sleepiness Scale , pada Database  DROZY  tidak ada perekaman dengan tingkat 1 KSS, sehingga tidak digunakan.  Tabel 1  adalah video dari Database yang digunakan pada penelitian ini.

## A. Klasifikasi Kondisi Mata
Pada tahap ini dilakukan proses  klasifikasi  menggunakan metode Convolutioal  Neural  Network dengan  arsitektur ResNet50. Tahap klasifikasi ini dibuat untuk mengklasifikasi kondisi mata terbukadan kondisi mata tertutup pada tiap video, sebelum diproses untuk membuat algoritma deteksi kedipan mata secara otomatis. Pengujian dilakukan pada 16240 gambar kondisi mata terbuka dan gambar kondisi mata tertutup, dengan rincian 8120 gambar kondisi mata terbuka
dan 8120 gambar kondisi mata tertutup. Pada klasifikasi kondisi mata menggunakan epoch sebesar 20 dan batch size sebesar 128, didapatkan akurasi sebesar 96% dan Train loss sebesar 1.8% serta Validation loss sebesar 2.05% yang dapat dilihat pada Gambar 7(a). Gambar 7(b) merupakan Confusion Matrix , Gambar 7(c) merupakan classification report dari hasil evaluasi pengujian dengan Dataset gambar.

## B. Hasil Pengujian
Model yang sudah didapatkan dari proses latih ( training ) pada klasifikasi kondisi mata, selanjutnya digunakan untuk deteksi kedipan mata dan perhitungan frekuensi kedipan mata secara otomatis pada video dari Database . Hasil pengujian akan disimpan dalam bentuk file video baru; file .csv berisi frame video, kondisi mata terbuka atau kondisi mata tertutup, kedipan mata pada frame ke-n; dan frekuensi kedipan mata akan ditampilkan dalam bentuk plot grafik.
1) Hasil Pengujian pada Video Tingkat 2 KSS Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 3-1.mp4. Hasil pengujian
Gambar 10. Hasil Pengujian Model pada Video 4-1.mp4.
Gambar 11. Hasil Pengujian Model pada Video 14-1.mp4.
Gambar 12. Hasil Pengujian Model pada Video 13-1.mp4.
Gambar 13. Hasil Pengujian Model pada Video 11-2.mp4
akan  disimpan berupa file video baru dengan perhitungan kedipan  mata secara otomatis, file .csv,  serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [20,  19,  19, 19, 19, 20, 16, 18, 19]. Gambar 8 adalah hasil pengujian model pada video tingkat 2 KSS.
2) Hasil Pengujian pada Video Tingkat 3 KSS
Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 2-1.mp4. Hasil pengujian akan  disimpan berupa file video baru dengan perhitungan kedipan  mata secara otomatis,  file  .csv,  serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [27, 22, 18, 28, 32, 26, 25, 30, 31]. Gambar 9 adalah hasil pengujian model pada video tingkat 3 KSS.
3) Hasil Pengujian pada Video Tingkat 4 KSS:
Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 4-1.mp4. Hasil pengujian akan  disimpan berupa file video baru dengan perhitungan kedipan mata  secara  otomatis,  file  .csv,  serta  plot  grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [42, 25, 28, 37, 26, 40, 26, 38, 37]. Gambar 10 adalah hasil pengujian model pada video tingkat 4 KSS.

## 4) Hasil Pengujian pada Video Tingkat 5 KSS:
Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 14-1.mp4. Hasil pengujian akan  disimpan berupa file video baru dengan perhitungan kedipan  mata secara otomatis, file .csv,  serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [47, 50, 39 36, 41, 44, 37, 47, 36]. Gambar 11 adalah hasil pengujian model pada video tingkat 5 KSS.
5) Hasil Pengujian pada Video Tingkat 6 KSS:
Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 13-1.mp4. Hasil pengujian akan disimpan  berupa  file  video  baru  dengan  perhitungan kedipan  mata secara otomatis, file .csv, serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [72, 44, 67, 61, 70, 90, 78, 94, 93]. Gambar 12 adalah hasil pengujian model pada video tingkat 6 KSS.
6) Hasil Pengujian pada Video Tingkat 7 KSS:
Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 11-2.mp4. Hasil pengujian akan  disimpan berupa file video baru dengan perhitungan kedipan  mata secara otomatis, file .csv,  serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [38, 18, 16, 27, 16, 16, 16, 11, 10]. Gambar 13 adalah hasil pengujian model pada video tingkat 7 KSS.
7) Hasil Pengujian pada Video Tingkat 8 KSS:
Pada pengujian model dari hasil training, digunakan video pada Database  dengan  nama  file  9-3.mp4.  Hasil  pengujian akan  disimpan berupa file video baru dengan perhitungan kedipan mata secara otomatis, file .csv, serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [31, 32, 41, 37, 33, 31, 31, 37, 29]. Gambar 14 adalah hasil pengujian model pada video tingkat 8 KSS.
8) Hasil Pengujian pada Video Tingkat 9 KSS:
Pada pengujian model dari hasil training, digunakan video pada Database dengan nama file 7-3.mp4. Hasil pengujian akan  disimpan berupa file video baru dengan perhitungan kedipan  mata secara otomatis, file .csv,  serta plot grafik.
Gambar 14. Hasil Pengujian Model pada Video 9-3.mp4.
Gambar 15. Hasil Pengujian Model pada Video 7-3.mp4.
Gambar 16. Hasil Pengujian Model pada Video Orang Asia.
Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [29, 58, 71, 78]. Gambar 15 adalah hasil pengujian model pada video tingkat 9 KSS.

## C. Hasil Pengujian pada Video Orang  Asia
Pengujian dilakukan pada video yang diambil menggunakan webcam Logitech HD C525, dengan resolusi video 1600x896 pixel, dan frame per second video sebesar 25fps. Hasil pengujian akan disimpan berupa file video baru dengan perhitungan kedipan mata secara otomatis, file .csv, serta plot grafik. Didapatkan frekuensi kedipan mata pada tiap menit, sebesar [45, 53, 50, 37] yand ditampilkan pada Gambar 16.

## V. KESIMPULAN
Dari hasil pengujian yang sudah dilakukan dapat ditarik beberapa kesimpulan sebagai berikut:
1. Klasifikasi kondisi mata terbuka dan mata tertutup menggunakan metode Convolutional Neural Network dengan aristektur ResNet50 didapatkan hasil accuracy sebesar 96%.
2. Model    dari    hasil training dapat melakukan deteksi kedipan mata pada video secara otomatis.
3. Pengujian pada video tingkat kantuk skor KSS 2 sampai 6 mengalami peningkatan frekuensi kedipan mata pada tiap menit.
4. Pengujian pada video tingkat kantuk skor KSS 7 mengalami penurunan frekuensi kedipan mata dari tingkat skor KSS sebelumnya, dikarenakan definisi pada tingkat skor KSS 7, subyek mengalami kantuk  tetapi tidak berusaha untuk mempertahankan agar tetap waspada. 5. Pengujian pada video tingkat kantuk skor KSS 9 mengalami error dikarenakan video pada dataset rusak.

## DAFTAR PUSTAKA
[1] M. H. Kryger, T. Roth, and W. C. Dement, Principles and Practice of Sleep Medicine . Philadelphia, Pennsylvania: Elsevier.
[2] P. Philip and T. Åkerstedt, “Transport and industrial safety, how are they affected by sleepiness and sleep restriction?,” Sleep Med.
Rev. , vol. 10, no. 5, pp. 347–356, 2006, doi: 10.1016/j.smrv.2006.04.002.
[3] T. Soukupová, “Eye-Blink Detection Using Facial Landmarks,”
Czech Technical University, Prague, 2016.
[4] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition , 2016, vol. 2016-Decem, pp. 770–778, doi: 10.1109/CVPR.2016.90.
[5] Q. Massoz, T. Langohr, C. Francois, and J. G. Verly, “The ULg multimodality drowsiness database (called DROZY) and examples of use,” 2016, doi: 10.1109/WACV.2016.7477715.