## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
April 2023
Penerapan Convolutional Neural Network (CNN) dan Euclidean Distance Matrices (EDM) untuk Mengurangi False Positive pada

## Pengenalan Aktifitas Finger Point Call
Rila Mandala #1 , Mohammad Deny Safari *2
* Sekolah Teknik Elektro dan Informatika Institut Teknologi Bandung Jl. Ganesha 10 Bandung 40132
1 rila@itb.ac.id
# Faculty of Computing, President Uni versi ty Jababeka Education Park, Jl. Ki Hajar Dewantara, Kec Cikarang Utara, Kabupaten Bekasi, Jawa Barat 17530
2 mohammad.safari@student.president.ac.id
Abstrak — Aktifitas finger point call (FPC) yang mengharuskan  operator  menunjuk  (finger  point)  dan mengucapkan  (call)  sebelum  menjalankan  suatu  proses, merupakan  aktifitas  yang  umum  diterapkan  di  industri manufaktur  khususnya  pada  perusahaan  Jepang.  FPC terbukti  efektif  mengurangi  human  error,  tetapi  operator sering  tidak  konsisten  dalam  menerapkan  FPC  sehingga perlu sistem untuk mendeteksi aktifitas FPC sudah dilakukan dengan  baik  dan  benar.  Salah  satu  metode  pengenalan aktifitas (activity recognition) yaitu menggunakan convolutional neural networks (CNN)
untuk mengklasifikasikan aktifitas manusia. Namun, aktifitas FPC dinyatakan  valid  atau  invalid  setelah  memastikan  operator menunjuk dengan benar ke arah objek dan menunjuk ke arah referensi,  sehingga  harus  dilakukan  analisis  pada  beberapa frame  video.  Apabila  hanya  menggunakan  CNN  saja,  akan menyebabkan  tingkat  false  positive  menjadi  tinggi,  karena CNN akan langsung melakukan analisis pada 1 frame video. Tujuan  penelitian  ini  yaitu  mengurangi  false  positive  ketika mendeteksi  aktifitas  FPC  dengan  cara  melakukan  anlaisis lebih  lanjut  pada  hasil  deteksi  menggunakan  euclidean distance matrices (EDM). Hasil penelitian menunjukkan pada percobaan  yang  diperagakan  oleh  1  orang:  false  positive berkurang  hingga  100%,  nilai  Precision  sebesar  1,  dan  nilai recall  sebesar  0,96.  Hasil  ketika  diperagakan oleh 10  orang: nilai  Precision sebesar 0,9, dan nilai recall sebesar 0,9. lebih baik  dibandingkan  YOLOv7  versi  original  yang  nilai Precisionnya hanya sebesar 0,5.
Kata kunci — activity recognition, finger point call, YOLOv7, false positive,  euclidean distance matrices

## I. P ENDAHULUAN
Dalam dunia industri manufaktur, penyebab utama dari masalah kualitas adalah kesalahan manusia ( human error )
yang  bisa  mencapai  50%  dari  total  penyebab  masalah kualitas.  Kesalahan  yang  paling  banyak  terjadi  seperti: salah input , tidak membaca data spesifikasi sebelum proses, lupa  urutan  proses,  salah  menekan  tombol  dan  lain sebagainya.  Untuk  mengurangi human  error aktifitas finger point call (FPC) atau “ shisa koshou ” dalam bahasa jepang, umum diterapkan terutama di lingkup transportasi khususnya kereta api. FPC merupakan aktifitas menunjuk dengan  jari (pointing )  dan  menyebutkan  ( call )  untuk memastikan bahwa semua hal sudah sesuai sebelum suatu proses dijalankan. Aktifitas ini sederhana tapi cukup efektif untuk  mengurangi human  error yang  dapat  mengurangi tingkat  kesalahan  hingga  85%  [1].  Pada  penelitian  [2] menunjukkan  tingkat error sebesar  0,11  jika  dilakukan tanpa  FPC,  akan  tetapi  dengan  menerapkan  FPC  tingkat error hanya 0,03.  Aktifitas  FPC  ini  terbukti  efektif  tetapi hasilnya  tidak  akan  maksimal  apabila  tidak  dilakukan dengan  konsisten,  oleh  karena  itu  perlu  dibuatkan  sistem yang  dapat  mendeteksi  aktifitas  FPC  dilakukan  dengan baik dan benar.
Berdasarkan pemetaan gelombang otak pada penelitian [1], aktifitas FPC akan maksimal ketika aktifitas menunjuk jari  ( finger  pointing ),  dan  mengucapkan  ( call )  dilakukan, akan  tetapi  pada penelitian  kali  ini  deteksi  akan  berfokus pada  aktifitas  menunjuk  jari  ( finger  pointing )  saja dikarenakan  sumber  video  berasal  dari  kamera closed circuit  television (CCTV)  yang  tidak  memiliki  sumber suara. Meskipun demikian, aktifitas menunjuk jari ( finger pointing )  menunjukkan  gelombang  otak  yang  lebih  aktif dibandingkan dengan hanya melihat saja ( silent reading ). Dengan  kondisi  otak  yang  lebih  aktif,  kemungkinan terjadinya human error menjadi lebih rendah [1].
Untuk  mendeteksi  suatu  aktifitas  dapat  menggunakan metode Convolutional neural network (CNN), dengan cara melatih  model  menggunakan  data  set  berupa  video  yang diberi label atau sensor data, melakukan penyesuaian pada parameternya untuk kemudian mengevaluasi performanya. CNN digunakan untuk memproses data dengan mengidentifikasi  pola  visual  dalam  Gambar  atau  video menggunakan lapisan konvolusi. Lapisan pooling digunakan  untuk  mengurangi  dimensi  spasial  dari  fitur yang dihasilkan oleh lapisan konvolusi, sedangkan lapisan fully connected mengambil fitur-fitur yang dihasilkan dan menghubungkannya  dengan  label  atau  kelas  yang  sesuai [4]. Aplikasi modern pertama dari CNN digunakan untuk mengenali tulisan tangan pada tahun 1998 [3]. CNN dapat mengklasifikasikan  beberapa  jenis  aktifitas  manusia dengan akurasi hingga 91,97% [4]. Dengan menambahkan long  short-term  memory  network (CNN  -LSTM),  akurasi meningkat  hingga  92%  [5].  Akan  tetapi  aplikasi  dari penelitian [4], [5] memerlukan sensor yang dipasang pada tubuh,  sehingga  kurang  praktis  dan  mahal  jika diaplikasikan  di  dunia  industri.  Metode  lain  yaitu menggunakan tool OpenCV  dan  CNN,  hasilnya menunjukkan akurasi sebesar 79%  - 90% [6]. Upaya lain yaitu  menggunakan tool yang  bernama  YOLO  yang merupakan implementasi dari CNN. Tool ini dikembangkan  oleh  Redmon  et  al,  yang  memiliki keunggulan  dalam  kecepatannya    [7],  [8],  [9],  [10],  [11]. Versi YOLO-LITE dapat digunakan pada perangkat tanpa graphics processing unit (GPU) dengan kecepatan 8,8 kali lebih  cepat  tetapi mean  average  Precision (mAP)  hanya sebesar  12,26%  [12].  Penggunaan  YOLO  pada  data  set LIRIS,  menunjukkan  hasil  deteksi  dengan  tingkat  presisi sebesar  77,7%  [13].  Versi  lain  dari  YOLO  diantaranya: YOLOv3 [8], YOLOv4 [14], YOLOv5 [15], YOLOv6 [16], dan  yang  terbaru  pada  saat  penelitian  ini  dibuat  yaitu YOLOv7 [17].
Penerapan  metode  pada  penelitian  [6]  ataupun penggunaan tool YOLO  memiliki  masalah  ketika digunakan  untuk  mendeteksi  aktifitas  FPC.  Hal  ini dikarenakan  YOLO  akan  langsung  melakukan  analisis pada  1 frame video,  sedangkan  aktifitas  FPC  harus dipastikan  dengan  menganalisis  beberapa frame video. FPC dikatakan baik dan benar, apabila operator menunjuk untuk memeriksa, kemudian mengarahkan jari telunjuk ke target dan menyebutkan namanya. Ketika perlu memanipulasi  target  operator  melakukannya  setelah melakukan prosedur di atas [18]. Berdasarkan hal tersebut potensi false positive akan tinggi ketika implementasi CNN melalui tool YOLO langsung digunakan untuk mendeteksi aktifitas  FPC,  hal  itu  dikarenakan  aktifitas  yang menyerupai  FPC  seperti  menggaruk  hidung  dengan  jari akan terdeteksi sebagai aktifitas yang valid.
Penelitian  ini  bertujuan  untuk  menghilangkan  tingkat false positive dengan menambahkan metode analisis pada koordinat  jari  pada  saat  melakukan  aktifitas  FPC  yang terdeteksi oleh implementasi CNN pada tool YOLO. Salah satu  metode  untuk  analisis  kemiripan  yaitu euclidan distance [19], [20],  [21], manhattan distance [22], [23],
dan minkowski distance [24]. Berdasarkan penelitian [22],
[23],  Metode euclidan  distance menunjukkan  kecepatan proses yang paling baik.
Metode yang digunakan untuk analisis kemiripan pada penelitian kali ini yaitu euclidean distance matrices (EDM) yaitu  bentuk  lain  dari euclidean  distance berupa  matriks yang  berisi  jarak euclidean antara  setiap  pasangan  titik dalam suatu data set [25].
Analisis kemiripan dengan EDM akan membandingkan kemiripan  koordinat  jari  dari  video  yang  dilakukan  tes dengan koordinat jari dari sampel aktifitas FPC yang sudah disiapkan sebagai acuan. Dengan menerapkan hal tersebut tingkat false positive dari  hasil  deteksi  dapat  dikurangi dengan  cara  menambahkan  analisis  kemiripan  koordinat gerakan  jari  yang  terdeteksi  menggunakan  CNN  dengan sampel  aktifitas  FPC  yang  baik  dan  benar  menggunakan euclidean  distance  matrices (EDM).  Saat  ini  belum  ada penelitian  yang  menggabungkan  CNN  dan  EDM  untuk mengurangi false positive dari activity recognition dengan tetap  mempertahankan  tingkat true  positive dan  tidak menambah tingkat false negative secara signifikan.

## II. M ETODE P ENELITIAN
Penelitian dilakukan menggunakan tool YOLOv7 untuk mendeteksi ketika aktifitas FPC dilakukan, yaitu ketika jari dalam  kondisi  menunjuk.  Selanjutnya  hasil  deteksi  akan dianalisis  kemiripannya  dengan  video  sampel  yang dijadikan  acuan  menggunakan  EDM.  Adapun  tahapan penelitian ini ditunjukkan pada Gambar 1.
Gambar  1. Diagram tahapan penelitian
Penjelasan dari tahapan penelitian pada Gambar 1 yaitu sebagai berikut:
A. Pengambilan Video
Proses pengambilan video yang memperagakan aktifitas kerja,  kemudian  di  tengah  aktifitas  kerja  akan memperagakan aktifitas FPC dengan baik dan benar yaitu peserta  harus  menunjuk  ke  arah  referensi,  kemudian menunjuk ke arah objek.

## B. Pembuatan Data Set
Data  set  bersumber  dari  video  yang  memperagakan aktifitas  FPC,  untuk  kemudian  video  tersebut  di capture untuk  mengambil  potongan  Gambar  ( frame )  pada  saat posisi  jari  dalam  keadaan  menunjuk.  Dalam  tahapan  ini data set yang akan dibuat ada 2 jenis yaitu:
a. Data  foto  jari  ketika  melakukan  aktifitas  FPC (kondisi jari menunjuk).
b. Data koordinat jari saat melakukan aktifitas FPC.
Data set berupa foto kondisi jari memperagakan aktifitas FPC akan diberikan label untuk dijadikan sebagai data pada proses training sesuai  dengan  format  YOLO.  Klasifikasi label  hanya  1,  yang  diberi  nama  “ pointing ” yaitu kondisi dimana jari dalam keadaan menunjuk.
YOLO merupakan implementasi dari CNN, yang terdiri dari  24 convolutional  layers yang  diikuti  oleh  2 fully connected  layers .  Alternatif  1  ×  1 convolutional  layers mengurangi features space dari layers sebelumnya. Proses pre  train  convolutional  layers pada  klasifikasi  ImageNet berperan pada setengah resolusi (224 × 224 input Gambar) kemudian  menggandakan  resolusi  untuk  deteksi  [7]. Arsitektur YOLO ditunjukkan pada Gambar 2.
Gambar  2. Arsitektur YOLO [7]

## C. Proses Training
Tahap training dilakukan untuk proses deteksi jari pada saat melakukan aktifitas FPC. Total Potongan frame yang digunakan sebanyak 1.712. Potongan frame ini akan dibagi menjadi  sebanyak  1.365 frame untuk  data train dan  347 potongan frame untuk  validasi.  Proses  menggunakan Google  Colab.  Proses  training  dilakukan  dengan  proses iterasi ( epoch ) sebanyak 100 kali dengan hasil akhir yang didapat yaitu nilai mean average Precision (mAP) sebesar 0.994, hal ini cukup untuk model dapat mendeteksi jari saat menunjuk.

## D. Proses Deteksi Jari
Proses  ini  yaitu  melakukan  tes  deteksi  jari  ketika melakukan  aktifitas  FPC  (kondisi  jari  menunjuk)  pada video  yang  sebelumnya  sudah  diambil.  Hasilnya  model dapat  mendeteksi  contoh  hasil  deteksi  ditunjukkan  pada Gambar 3.
Proses training dan deteksi menggunakan tool YOLOv7 tanpa  modifikasi  apapun.  Selanjutnya  dilakukan  proses pembuatan data koordinat referensi dan analisis kemiripan yang merupakan metode tambahan yang diusulkan dalam penelitian kali ini.
Gambar  3. Contoh Hasil Deteksi Jari Kondisi Menunjuk

## E. Pembuatan Data Koordinat Referensi
Pembuatan  data  koordinat  yaitu  dengan  menambahkan proses  untuk  menyimpan  koordinat  jari  yang  terdeteksi sesuai flow chart yang ditunjukkan pada Gambar 4. Proses merekap data koordinat dilakukan selama ada jari dengan kondisi  menunjuk  yang  terdeteksi.  Koordinat  jari  yang terdeteksi  tersebut  akan  direkap  dalam  data  berupa list ( pseudocode algoritma  1,  baris  4),  kemudian  dilakukan proses cleaning ,  yaitu  hanya  mengambil  koordinat  X paling  minimum  saat  menunjuk  referensi,  dan  X  paling maksimum saat menunjuk objek ( pseudocode algoritma 1, baris 8 - 11). Setelah itu data yang sudah dilakukan proses cleaning disimpan  kedalam  sebuah file CSV  “ file acuan_koordinat_FPC.CSV”  ( pseudocode algoritma  1, baris 12).
Flow  chart pada  Gambar  4  diimplementasikan  dalam bentuk pseudocode yang  ditunjukkan  pada  Gambar  5, penentuan  pemilihan  koordinat  yang  akan  disimpan  dan yang akan dibuang ditunjukkan pada Gambar 6.
Gambar  4. Flow Chart Proses Rekap Koordinat Jari Aktifitas FPC untuk Referensi
Gambar    5. Pseudocode Rekap  Koordinat  Jari  Aktifitas  FPC  untuk Referensi
Gambar  6. Penentuan Koordinat Jari yang Disimpan dan Dibuang

## F. Proses Analisis Kemiripan Koordinat Gerakan Jari
Proses  selanjutnya  yaitu  melakukan  analisis  kemiripan koordinat gerakan jari dengan koordinat acuan yang sudah disiapkan pada proses E. Flow chart proses ini ditunjukkan pada Gambar 7. Hasil rekap data koordinat yang terdeteksi diuji  kemiripannya  dengan  koordinat  data  yang  dijadikan acuan  (file:  “acuan_koordinat_FPC.CSV”)  menggunakan EDM (pseudocode algoritma 2 baris 13). Apabila nilai hasil perhitungan kurang dari atau sama dengan nilai minimum distance ,  maka  diberikan  keterangan  aktifitas  FPC  valid ( TRUE ) ( pseudocode algoritma 2 baris 15). Apabila hasil uji  bernilai FALSE maka  diberikan  keterangan  aktifitas FPC tidak valid ( FALSE ) ( pseudocode algoritma 2 baris 16). Proses tersebut terus dilakukan hingga akhir frame video. Flow  chart pada  Gambar  7  diimplementasikan  dalam bentuk pseudocode yang ditunjukkan pada Gambar 8. Penentuan  nilai  koordinat  yang  dijadikan  acuan,  dan nilai minimum  distance menggunakan  histogram,  yaitu grafis  dari  distribusi  sebuah  variabel  [26].  Penggunaan histogram  umum  digunakan  dalam  berbagai  bidang penelitian seperti pada penelitian [27], [28], [29], [30].
Nilai koordinat yang dijadikan acuan berdasarkan hasil analisis  menggunakan  histogram,  yaitu  ditentukan berdasarkan  nilai  koordinat  dengan  frekuensi  terbanyak yang mewakili keseluruhan sampel.
Perhitungan nilai euclidean distance dari setiap sampel video  yang  direpresentasikan  sebagai matrices A,  dan matrices B,  dan  seterusnya.  Bentuk  formula  matematis matrices yang berisi euclidean distance dari setiap sampel video adalah sebagai sebagai berikut [25]:
A =
⌈ ⌈ ⌈ ⌈ 0 𝑑 12 2 𝑑 13 2 … 𝑑 110 2
𝑑 21 2 0 𝑑 23 2 … 𝑑 210 2 𝑑 31 2 𝑑 32 2 0 … 𝑑 310 2 ⋮ ⋮ ⋮ ⋱ ⋮ 𝑑 101 2 𝑑 102 2 𝑑 103 2 𝑑 104 2 0 ⌉ ⌉ ⌉ ⌉ (1)
Setiap matrices berisi nilai koordinat saat menunjuk ke referensi  dan  saat  menunjuk  ke  objek,  adalah  sebagai berikut [25]:
𝑑 𝐴𝐵 =   ⌈ √(𝑋 𝐵 referensi −   𝑋 𝐴 referensi ) 2 + (𝑌 𝐵 referensi −   𝑌 𝐴 referensi ) 2 √(𝑋 𝐵 objek −   𝑋 𝐴 objek ) 2 + (𝑌 𝐵 objek −   𝑌 𝐴 objek ) 2 ⌉ (2)
Proses  selanjutnya  yaitu  menentukan  nilai minimum distance yang  akan  dijadikan  acuan  untuk  menentukan seberapa  mirip  aktifitas  FPC  dari  suatu  video  yang  akan diuji  dengan  video  sampel  FPC  yang  valid.  Jika  100% mirip,  jarak  hasil  perhitungan  EDM  akan  bernilai  0. Penentuan nilai minimum distance yang terlalu kecil akan menyebabkan tingkat false negative menjadi tinggi, karena video yang diuji harus sangat mirip dengan sampel video, sedangkan nilai minimum distance yang terlalu besar akan menyebabkan false  positive menjadi  tinggi,  karena  video yang  sedikit  menyerupai  aktifitas  FPC  akan  terdeteksi sebagai aktifitas yang valid.
Nilai minimum  distance ditentukan  berdasarkan histogram  dengan  mengambil  rata-rata  nilai euclidean distance pointing ke referensi dengan frekuensi terbanyak (EDR),  dan  rata-rata  nilai euclidean  distance  pointing ke objek  dengan  frekuensi  terbanyak  (EDO).  Persamaan matematis sebagai berikut:
𝑚𝑖𝑛𝑖𝑚𝑢𝑚 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒  = EDR + EDO
2 (3)
Gambar  8. Pseudocode Proses Analisis Aktifitas FPC dengan EDM

## G. Tahap Pengujian dan Evaluasi Model
Tahap  selanjutnya  yaitu  memastikan  metode  usulan dapat menurunkan tingkat false  positive tanpa menambah tingkat false  negative pada  saat  mendeteksi  dan menganalisis aktifitas FPC. Hasil analisis dari metode yang diusulkan  akan  ditunjukkan  menggunakan confusion matrix [31]seperti yang ditunjukkan pada Tabel 1.
TABEL I C ONFUSION M ATRIX [31] Total Populasi = P + N Kondisi prediksi Positive (PP) Negative (PN) Kondisi Aktual Positive (P) True Positive (TP) True Negative (TN) Negative (N) False Positive (FP) False Negative (FN)
Proses  selanjutnya  yaitu  menghitung  tingkat Precision dan recall menggunakan  formula  matematis  sebagai berikut [32], [33], [34]:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 (4) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 (5)

## III. H ASIL DAN P EMBAHASAN
Semua  hasil  dari  tahapan  yang  dibahas  dalam  metode penelitian yaitu sebagai berikut:

## A. Pengumpulan Data Koordinat Jari Acuan
Proses  pengumpulan  data  koordinat  bersumber  dari sampel FPC valid sebanyak 10 video. Data koordinat jari menunjuk ke objek dan menunjuk ke referensi ditunjukkan pada  Tabel  2.  Proses  selanjutnya  yaitu  menentukan  nilai koordinat yang mewakili menggunakan histogram dengan hasil  yang  ditunjukkan  pada  Gambar  9.  Berdasarkan histogram  tersebut  kemudian  ditentukan  3 nilai  koordinat yang  mewakili  yang  akan  dijadikan  sebagai  acuan koordinat  aktifitas  FPC  yang  valid.  Nilai  ini  disimpan
dalam file yang diberi nama: “acuan_koordinat_FPC.CSV”, yang ditunjukkan pada Gambar 10.
TABEL II N ILAI K OORDINAT P OINTING PADA O BJEK DAN R EFERENSI Video Nilai koordinat (X, Y) Pointing ke Referensi Pointing ke Objek 1 (414 , 358) (623 , 425) 2 (402 , 362) (599 , 423) 3 (408 , 338) (616 , 355) 4 (383 , 360) (604 , 360) 5 (346 , 345) (619 , 415) 6 (372 , 326) (612 , 410) 7 (366 , 335) (637 , 452) 8 (432 , 322) (622 , 434) 9 (414 , 358) (623 , 429) 10 (413 , 336) (598 , 416)
(a) (b) (c) (d)
Gambar    9.  Histogram  Koordinat  Jari:  (a)  Koordinat  X Pointing Ke Referensi,  (b)  Koordinat  Y Pointing Ke  Referensi,  (c)  Koordinat  X Pointing Ke Objek, (d) Koordinat Y Pointing Ke Objek
Gambar  10. File CSV Koordinat Acuan Aktifitas FPC

## B. Analisis EDM Pada Sampel FPC Valid
Untuk  selanjutnya  dari  10  video  sampel  tersebut dihitung  jaraknya  menggunakan  EDM.  Perhitungan euclidean distance saat jari menunjuk referensi dan saat jari menunjuk  objek.  Hasil  dari  perhitungan  ini  dianalisis menggunakan histogram untuk menentukan nilai minimum
distance yang  mewakili  keseluruhan  hasil  EDM  dari  10 sampel video. EDM dari 10 sampel video ditunjukkan pada Tabel  3.  Histogram euclidean  distance pointing ke referensi dan ke objek, ditunjukkan pada Gambar 11.
TABEL III EDM 10 S AMPEL V IDEO A KTIFITAS FPC Sampel 1 2 3 4 5 6 7 8 9 10 Video 1 0 [13] [24] [21] [70] [31] [68] [69] [11] [53] [19] [53] [30] [40] [9] [16] [4] [22] [27] 2 [13] [24] 0 [25] [70] [19] [63] [59] [22] [47] [18] [45] [48] [50] [25] [12] [25] [28] [7] 3 [21] [70] [25] [70] 0 [33] [13] [62] [60] [38] [55] [42] [99] [29] [79] [14] [74] [5] [64] 4 [31] [68] [19] [63] [33] [13] 0 [40] [57] [36] [51] [30] [98] [62] [76] [20] [72] [38] [56] 5 [69] [11] [59] [22] [62] [60] [40] [57] 0 [32] [9] [22] [41] [89] [19] [54] [15] [68] [21] 6 [53] [19] [47] [18] [38] [55] [36] [51] [32] [9] 0 [11] [49] [60] [26] [37] [22] [42] [15] 7 [53] [30] [45] [48] [42] [99] [30] [98] [22] [41] [11] [49] 0 [67] [23] [37] [27] [47] [53] 8 [40] [9] [50] [25] [29] [79] [62] [76] [89] [19] [60] [26] [67] [23] 0 [43] [5] [24] [30] 9 [16] [4] [12] [25] [14] [74] [20] [72] [54] [15] [37] [22] [37] [27] [43] [5] 0 [19] [28] 10 [22] [27] [28] [7] [5] [64] [38] [56] [68] [21] [42] [15] [47] [53] [24] [30] [19] [28] 0
(a) (b)
Gambar  11. Histogram Euclidean Distance : (a) Pointing Referensi, (b) Pointing Objek
Berdasarkan  histogram  pada  Gambar  11,  nilai  jarak dengan frekuensi terbanyak dari pointing ke referensi yaitu: 20,  25,  40,  45.  Maka  nilai  rata-rata euclidean  distance pointing ke  referensi  (EDR)  yaitu:  32,5  dibulatkan  ke kelipatan  10  terdekat  menjadi  40.  Nilai  jarak  dengan frekuensi terbanyak dari pointing ke objek yaitu: 20, 25, 70, 75.  Maka  nilai  rata-rata euclidean  distance  pointing ke objek  (EDO)  yaitu:  47,5  dibulatkan  ke  kelipatan  10 terdekat  menjadi  50.  Perhitungan  nilai minimum  distance yaitu dengan mengambil rata rata nilai euclidean distance pointing referensi  (EDR)  dan  nilai euclidean  distance pointing objek (EDO) sebagai berikut
𝑚𝑖𝑛𝑖𝑚𝑢𝑚 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒  = EDR + EDO 2 𝑚𝑖𝑛𝑖𝑚𝑢𝑚 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒  = 45 + 50 2 𝑚𝑖𝑛𝑖𝑚𝑢𝑚 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒  =  45
Penentuan nilai minimum distance dilakukan pembulatan  ke  kelipatan  10  terdekat  yaitu  menjadi  50. Tujuan penggunaan nilai rata rata dengan hasil dibulatkan ke  kelipatan  10  terdekat  yaitu  mencegah  model  terlalu sensitif  yang  akan  menyebabkan false  negative menjadi
tinggi  atau  sebaliknya  model  terlalu  longgar  yang menyebabkan false positive menjadi tinggi.

## C. Hasil Analisis EDM antara Sampel Valid dan Video Tes
Proses  selanjutnya  yaitu  melakukan  analisis  EDM terhadap  video  yang  akan  dilakukan  tes.  Percobaan menggunakan  50  video  yang  diperagakan  oleh  1  orang. Video terdiri dari 25 video aktifitas FPC yang valid, dan 25 video  aktifitas  FPC  yang  invalid.  Hasil  deteksi menggunakan toll YOLOv7 saja tanpa modifikasi apapun, metode ini selanjutnya dinamakan sebagai YOLOv7 versi original yaitu proses deteksi hanya mengimplementasikan CNN  pada tool YOLOv7  tanpa  modifikasi  apapun.  Hasil deteksi YOLOv7 versi original ditunjukkan pada Tabel 4.
TABEL IV C ONFUSION M ATRIX H ASIL D ETEKSI YOLO V 7 V ERSI O RIGINAL Total Populasi = 50 Kondisi prediksi Positive (PP) Negative (PN) Kondisi Aktual Positive (P): 25 True Positive (TP): 25 True Negative (TN):0 Negative (N): 25 False Positive (FP): 25 False Negative (FN):0 50 0
Berdasarkan Tabel 4 deteksi menunjukkan tingkat false positive yang  tinggi.  Perhitungan  untuk  nilai Precision adalah sebagai berikut:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒

## 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =  0.5
Perhitungan untuk nilai recall adalah sebagai berikut:
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒

## 𝑅𝑒𝑐𝑎𝑙𝑙 =  1
Hasil perhitungan di atas didapat nilai Precision hanya sebesar  0.5,  hal  ini dikarenakan  pada tool YOLOv7  versi original tidak ada fungsi untuk menganalisis lebih lanjut dari  objek  yang  terdeteksi  terutama  untuk  menganalisis aktifitas FPC.
Proses  selanjutnya  yaitu  melakukan  percobaan  deteksi dan  analisis  aktifitas  FPC  dengan  menambahkan  metode usulan.  Hasil  percobaan  sesuai  yang  diharapkan,  dengan penambahan metode usulan dapat mendeteksi aktifitas FPC dengan  kondisi  valid  ( true  positive) ,  dan  kondisi  invalid ( true negative ). Contoh potongan frame video hasil analisis dan terdeteksi true positive ditunjukkan pada  Gambar 12. Hasil  analisis  ditunjukkan  pada  akhir frame ketika  jari sudah tidak terdeteksi. Contoh hasil analisis true negative pada  Gambar  13.  Yaitu  meskipun  aktifitas  FPC  terlihat mirip, analisis EDM menunjukkan nilai euclidean distance nya besar sehingga dianggap invalid. Aktual sampel video ini invalid, karena operator hanya menunjuk ke arah objek saja tanpa menunjuk ke referensi.
Gambar  12. Contoh Potongan Frame Video Terdeteksi True Positive
Gambar  13 Contoh Potongan Frame Video Terdeteksi True Negative
Namun  berdasarkan  hasil  percobaan,  terdapat  sampel yang  terdeteksi  sebagai false  negative tetapi  tidak bertambah secara signifikan. Dari sampel 25 video hanya 1 video saja yang terdeteksi false negative. Hasil deteksi dari total  50  Video  sampel  (25  sampel  valid , dan 25  sampel invalid) ditunjukkan pada Tabel 5 berikut.
TABEL V C ONFUSION M ATRIX H ASIL D ETEKSI M ETODE U SULAN Total Populasi = 50 Kondisi prediksi Positive (PP) Negative (PN) Kondisi Aktual Positive (P): 25 True Positive (TP): 25 True Negative (TN):24 Negative (N): 25 False Positive (FP): 0 False Negative (FN):1 25 25 Perhitungan untuk nilai Precision adalah sebagai berikut 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 25 (25+0) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 1
Perhitungan untuk nilai recall adalah sebagai berikut
𝑅𝑒𝑐𝑎𝑙𝑙 = 25 (25+1) 𝑅𝑒𝑐𝑎𝑙𝑙 = 0,96
Hasil  percobaan  dengan  penambahan  metode  analisis hasil  deteksi  aktifitas  FPC  menggunakan  EDM,  tingkat false  positive berkurang  sebanyak  100%  dibandingkan
YOLOv7  versi original yaitu  25  sampel  yang  terdeteksi false  positive ,  menjadi  0  (nol).  Adapun  tingkat false negative tidak bertambah secara signifikan, hanya 1 dari 25 video  terdeteksi  sebagai false  negative ,  sehingga  nilai recall masih cukup baik yaitu sebesar 0,96.

## D. Hasil Percobaan dengan Variasi Sampel
Selanjutnya  dilakukan  percobaan  lebih  lanjut  dengan variasi sebagai berikut:
1)   Jumlah  Sampel  Video  Acuan  Dikurangi  Dari Sebelumnya  10  Sampel  Menjadi  3  Sampel :  Percobaan  ini untuk  melihat  pengaruh  jumlah  sampel  terhadap  hasil deteksi. Sampel dipilih secara acak yaitu sampel video no: 1, 3, 7, kemudian dilakukan analisis histogram sama seperti proses  sebelumnya. Hasil  dari  analisis  menghasilkan file yang diberi nama: “acuan_koordinat_FPC-2.CSV”, ditunjukkan pada Gambar 14.
Gambar  14. File CSV Acuan Koordinat FPC dengan 3 Sampel
Setelah itu dilakukan percobaan kembali pada 50 video yang sama yaitu terdiri dari 25 sampel aktifitas FPC yang valid,  dan  25  sampel  video  aktifitas  FPC  yang  invalid. Berdasarkan  hasil  percobaan,  nilai  recall  hasil  deteksi menjadi lebih rendah apabila menggunakan acuan 3 sampel. Hal  tersebut  dikarenakan  terdapat  5  video  terdeteksi sebagai false  negative meskipun  dapat  terdeteksi  sebagai true positive ketika dilakukan tes dengan acuan 10 sampel. Hasil percobaan selengkapnya ditunjukkan pada Tabel 6.
TABEL VI C ONFUSION M ATRIX H ASIL D ETEKSI M ETODE U SULAN DENGAN ACUAN 3
SAMPEL Total Populasi = 50 Kondisi prediksi Positive (PP) Negative (PN) Kondisi Aktual Positive (P): 25 True Positive (TP): 25 True Negative (TN):20 Negative (N): 25 False Positive (FP): 0 False Negative (FN):5 25 25
Perhitungan untuk nilai Precision adalah sebagai berikut:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 25 (25+0) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =  1
Perhitungan untuk nilai recall adalah sebagai berikut 𝑅𝑒𝑐𝑎𝑙𝑙 = 25 (25+5) 𝑅𝑒𝑐𝑎𝑙𝑙 = 0,83
Hasil  percobaan  menunjukkan  nilai recall yang  lebih rendah yaitu: 0,83 dibandingkan jika menggunakan acuan 10 sampel yaitu bisa mencapai nilai recall sebesar 0,96. Hal itu  dikarenakan  sampel  yang  dijadikan  acuan  tidak
mewakili keseluruhan video yang dilakukan tes, sehingga beberapa video dianggap tidak mirip dengan sampel.
Dari  hasil  percobaan  ini  dapat  disimpulkan  untuk menghasilkan nilai recall yang baik, jumlah sampel harus cukup  banyak  dan  mewakili  aktifitas  FPC  yang  valid. Percobaan kali ini menunjukkan sampel sebanyak 10 sudah cukup sebagai acuan aktifitas FPC yang valid untuk analisis aktifitas FPC yang diperagakan oleh 1 orang.
2)  Jumlah Variasi Peserta Ditambah Hingga 10 Orang: Percobaan  lebih  lanjut  dengan  tambahan  video  yang diperagakan  oleh  10  orang  yang  berbeda.  Percobaan menggunakan 20 sampel video yang terdiri dari 10 aktifitas FPC valid dan 10 aktifitas FPC invalid. Sampel acuan yang digunakan pada percobaan ini yaitu 10 sampel. Dari hasil percobaan,  terdapat  1  video  yang  terdeteksi  sebagai false negative sebagaimana  ditunjukkan  pada  Gambar  15. Aktual  video  tersebut  valid,  dikarenakan  aktifitas  FPC dilakukan dengan benar yaitu menunjuk ke arah objek dan referensi.
Gambar  15. Potongan Frame Video Terdeteksi False Negative pada

## Percobaan dengan 10 Orang
Hasil  dari  percobaan  yang  diperagakan  oleh  10  orang tersebut, juga terdapat 1 video yang terdeteksi sebagai false positive sebagaimana  yang  ditunjukkan  pada  Gambar  16. Video tersebut seharusnya terdeteksi sebagai aktifitas FPC yang invalid, dikarenakan peserta hanya menunjuk ke arah referensi, tanpa menunjuk ke arah objek.
Gambar  16 Potongan Frame Video Terdeteksi False Positive pada Percobaan dengan 10 Orang
Untuk  18  video  lainnya  terdeteksi  sesuai  yang diharapkan,  contoh  video  yang  terdeteksi true  positive ditunjukkan  pada  Gambar  17,  dan  video  yang  terdeteksi
true  negative ditunjukkan  pada  Gambar  18.  Keseluruhan hasil  tes  pada  percobaan  dengan  10  orang,  ditunjukkan pada confusion matrix Tabel 7.
Gambar  17. Contoh Potongan Frame Video Terdeteksi True Negative pada Percobaan dengan 10 Orang
Gambar  18. Contoh Potongan Frame Video Terdeteksi True Positive pada Percobaan dengan 10 Orang
TABEL VII C ONFUSION M ATRIX H ASIL D ETEKSI M ETODE U SULAN PADA P ERCOBAAN DENGAN 10 O RANG Total Populasi = 20 Kondisi prediksi Positive (PP) Negative (PN) Kondisi Aktual Positive (P): 10 True Positive (TP): 9 True Negative (TN):9 Negative (N): 10 False Positive (FP): 1 False Negative (FN):1 10 10
Perhitungan untuk nilai Precision adalah sebagai berikut:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 9 (9+1) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 0,9
Perhitungan untuk nilai recall adalah sebagai berikut:
𝑅𝑒𝑐𝑎𝑙𝑙 = 9 (9+1) 𝑅𝑒𝑐𝑎𝑙𝑙 = 0,9
Hasil percobaan menunjukkan nilai Precision yang lebih rendah  yaitu  0,9  dibandingkan  terhadap  hasil  percobaan yang diperagakan oleh 1 orang yang menggunakan acuan 10  sampel,  yaitu  nilai Precision sebesar  1,0.  Untuk  nilai recall menunjukkan nilai yang hampir sama yaitu sebesar 0,9.
Hasil Precision yang lebih rendah kemungkinan karena sampel  yang  dijadikan  acuan  tidak  cukup  banyak  untuk
melakukan  tes  terhadap  video  yang  diperagakan  oleh  10 orang  yang  berbeda.  Apabila  jumlah  10  sampel  sudah cukup  untuk  dijadikan  acuan  analisis  aktifitas  FPC  yang diperagakan  oleh  1  orang,  maka  untuk  analisis  aktifitas yang diperagakan oleh 10 orang, jumlah sampel seharusnya sebanyak 100 sampel (masing-masing 1 orang sebanyak 10 sampel).  Namun  demikian,  pada  aktual  implementasi  di dunia  industri,  jumlah  operator  yang  mengoperasikan  1 proses, rata-rata hanya sebanyak 3 orang yang berbeda (1 orang untuk setiap shift ), sehingga untuk sampel  video  acuan  tidak  harus  sebanyak  100  sampel, namun  meskipun  menggunakan  acuan  10  sampel,  hasil percobaan  masih  jauh  lebih  baik  dibandingkan  YOLOv7 versi original .  Nilai Precision bisa  mencapai  0.9,  hal tersebut lebih baik daripada YOLOv7 versi original dengan nilai recall yang hanya sebesar 0,5. Summary perbandingan nilai recall dan Precision hasil  deteksi  aktifitas  FPC YOLOv7 versi original dan metode usulan pada beberapa variasi sampel ditunjukkan pada Tabel 8.
TABEL VIII P ERBANDINGAN H ASIL D ETEKSI M ETODE O RIGINAL DAN M ETODE U SULAN PADA B EBERAPA V ARIASI S AMPEL Variasi Sampel Precision Recall YOLOv7 Versi Original Metode Usulan YOLOv7 Versi Original Metode Usulan 1 orang, 10 sample 0.5 1 1 0.96 1 orang, 3 sample 0.5 1 1 0.83 10 orang, 10 Sample 0.5 0.9 1 0.9

## IV. K ESIMPULAN
Berdasarkan percobaan yang dilakukan dalam penelitian kali  ini,  metode  usulan  yaitu  penambahan  analisis menggunakan euclidean  distance  matrices (EDM)  pada hasil  deteksi  aktifitas finger  point  call (FPC)  yang dihasilkan  melalui  implementasi convolutional  neural network (CNN)  pada  tool  YOLOv7,  menunjukkan  hasil yang cukup baik, sebagai berikut:
1) Metode  yang  diusulkan  dapat  mengurangi  tingkat false positive ,  hingga  100%  ketika  dilakukan  untuk menganalisis video yang diperagakan oleh 1 orang. Ketika menganalisis  aktifitas  yang  diperagakan  oleh  10  orang, hasilnya terdeteksi false positive sebanyak 1 dari 10 video (10%),  akan  tetapi  kondisinya  masih  jauh  lebih  baik dibandingkan versi original , yaitu terdeteksi false positive sebanyak 25 dari 50 video (50%).
2) Dengan  menggunakan  metode  yang  diusulkan, untuk deteksi aktifitas FPC meskipun diperagakan oleh 10 orang  yang  berbeda,  hasilnya  menunjukkan  penurunan false positive dan  peningkatan Precision dari  0,5  pada YOLOv7  versi original menjadi  0,9,  dengan  nilai  recall sebesar  0,9.  Sehingga  dapat  disimpulkan  dengan penambahan  metode  usulan  ini,  deteksi  aktifitas  FPC menjadi lebih terpercaya .
Adapun saran untuk meningkatkan hasil penelitian kali ini yaitu :
1) Dengan  menggunakan  metode  yang  sama,  proses deteksi  dan  analisis  bisa  dikembangkan  untuk  deteksi aktifitas  yang  mengacu  pada  anggota  tubuh  yang  lain, contoh:  deteksi  dan  analisis  gerakan  operator  meliputi gerakan tangan, gerakan kaki dan lain sebagainya, ketika mengoperasikan  mesin  supaya  sesuai  dengan  gerakan standar operasional prosedur (SOP) yang berlaku .
2) Perlu  dibuatkan  metode  untuk  menentukan  nilai minimum  distance dan  nilai  koordinat  yang  dijadikan acuan  secara  otomatis,  dikarenakan  pada  penelitian  kali ini masih memerlukan proses manual untuk menentukan nilai  koordinat  dan  nilai minimum  distance untuk dijadikan acuan, dengan cara menganalisis menggunakan histogram .

## REFERENSI
[1] B.  M.  Shoaib,  H.  Kawanaka  and  K.  Oguri,  "Finger-Pointing  to Reduce  Accidents," IEEE  Pulse,  a  magazine  of  the  IEEE Engineering in Medicine and Biology Society, 2016.
[2] K. Hikida, N. Matsuzaki, S. Yamamoto, Y. Sakane, S. Murata, M. Ogawa and M. Kusunoki, "The Human Error Reduction Effect of Point and Call Checks on Maritime Training," 2015.
[3] Y. Lecun, L. Bottou, Y. Bengio and P. Haffner, "Gradient-based learning  applied  to  document  recognition," Proceedings  of  the IEEE, vol. 86, no. 11, pp. 2278-2324, 1998.
[4] W.  Xu,  Y.  Pang,  Y.  Yang  and  Y.  Liu,  "Human  Activity Recognition Based On Convolutional Neural Network," 2018.
[5] R. Mutegeki and D. S. Han, "A CNN-LSTM Approach to Human Activity Recognition," 2020.
[6] V. Ramana, D. L. Prasanna, M. Tejasree and C. Yasaswi, Human Activity Recognition Using OPENCV, vol. 9, 2021.
[7] J.  Redmon,  S.  Divvala, R.  Girshick and  A.  Farhadi,  "You  Only Look Once: Unified, Real-Time Object Detection," 2016.
[8] J. Redmon and A. Farhadi, "YOLO9000: Better, faster, stronger," Proceedings  -  30th  IEEE  Conference  on  Computer  Vision  and Pattern  Recognition,  CVPR  2017, Vols.  2017-Janua,  pp.  6517- 6525, December 2017.
[9] J.  Redmon  and  A.  Farhadi,  "YOLOv3:  An  Incremental Improvement," April 2018.
[10]   C. Liu, Y. Tao, J. Liang, K. Li and Y. Chen, "Object Detection Based on YOLO Network," 2018.
[11]   Z. Rahman, A. M. Ami and M. A. Ullah, "A Real-Time Wrong- Way Vehicle Detection Based on YOLO and Centroid Tracking," 2020 IEEE Region 10 Symposium, TENSYMP 2020, pp. 916-920, October 2020.
[12]   R. Huang, J. Pedoeem and C. Chen, "YOLO-LITE: A Real-Time Object Detection Algorithm Optimized for Non-GPU Computers," 2018.
[13]   S. Shinde, A. Kothari and V. Gupta, "YOLO based Human Action Recognition and Localization," Procedia Computer Science, vol. 133, pp. 831-838, 2018.
[14]   A.  Bochkovskiy,  C.-Y.  Wang  and  H.-Y.  M.  Liao,  "YOLOv4: Optimal Speed and Accuracy of Object Detection," April 2020.
[15]   G.  Jocher,  A. Chaurasia,  A.  Stoken, J.  Borovec,  NanoCode012, Y. Kwon, TaoXie, K. Michael, I. Fang, Imyhxy, Lorna, C. Wong, Z. Yifu, V. Abhiram, D. Montes, Z. Wang, C. Fati, J. Nadar and Laughing,  "ultralytics/yolov5:  v6.2  -  YOLOv5  Classification Models,  Apple  M1,  Reproducibility,  ClearML  and  Deci.ai integrations," Zenodo, p. N/A, 2022.
[16]   C. Li, L. Li, H. Jiang, K. Weng, Y. Geng, L. Li, Z. Ke, Q. Li, M. Cheng, W. Nie, Y. Li, B. Zhang, Y. Liang, L. Zhou, X. Xu, X. Chu,  X.  Wei  and  X.  Wei,  "YOLOv6:  A  Single-Stage  Object Detection  Framework  for  Industrial  Applications,"  September 2022.
[17]   C.-Y.  Wang,  A.  Bochkovskiy  and  H.-Y.  M.  Liao,  "YOLOv7: Trainable  bag-of-freebies  sets  new  state-of-the-art  for  real-time object detectors," July 2022.
[18]   K. Shinohara, H. Naito, Y. Matsui and M. Hikono, "The effects of “finger pointing and calling” on cognitive control processes in the task-switching paradigm," International Journal of Industrial Ergonomics, vol. 43, no. 2, pp. 129-136, March 2013.
[19]   I. Dokmanic, R. Parhizkar, J. Ranieri and M. Vetterli, "Euclidean Distance Matrices: Essential theory, algorithms, and applications," IEEE Signal Processing Magazine, vol. 32, no. 6, pp. 12-30, November 2015.
[20]   L.  Wang,  Y. Zhang  and  J.  Feng,  "On  the  Euclidean distance  of images," IEEE  Transactions  on  Pattern  Analysis  and  Machine Intelligence, vol. 27, no. 8, pp. 1334-1339, August 2005.
[21]   Q.  Zhang,  J.  Hu,  J.  Feng,  A.  Liu  and  Y.  Li,  "New  Similarity Measures  of  Pythagorean  Fuzzy  Sets  and  Their  Applications," IEEE Access, vol. 7, pp. 138192-138202, 2019.
[22]   M.  D.  Malkauthekar,  "Analysis  of  euclidean  distance  and manhattan distance measure in face recognition," 2013.
[23]   L.  Greche,  M.  Jazouli,  N.  Es-Sbai,  A.  Majda  and  A.  Zarghili, "Comparison between Euclidean and Manhattan distance measure for facial expressions classification," 2017.
[24]   Z.  R.  Maruf  and  A.  D.  Laksito,  "The  Comparison  of  Distance Measurement  for  Optimizing  KNN  Collaborative  Filtering Recommender System," 2020.
[25]   A.  Y.  Alfakih,  Euclidean  Distance  Matrices  and  Their Applications  in  Rigidity  Theory,  Springer  International Publishing, 2018.
[26]   R.  L.  Nuzzo,  "Histograms:  A  Useful  Data  Analysis Visualization," PM and R, 2019.
[27]   D. Lord, X. Qin and S. R. Geedipally, Highway Safety Analytics and Modeling, 2021, pp. 1-488.
[28]   L. Boels, A. Bakker, W. V. Dooren and P. Drijvers, "Conceptual difficulties when interpreting histograms: A review," Educational Research Review, vol. 28, p. 100291, November 2019.
[29]   V. P. Andreev, R. C. Dwivedi, G. Paz-Filho, O. V. Krokhin, M. L.  Wong,  J.  A.  Wilkins  and  J.  Licinio,  "Dynamics  of  plasma proteome during leptin-replacement therapy in genetically based leptin deficiency," Pharmacogenomics Journal, vol. 11, no. 3, pp. 174-190, June 2011.
[30]   S.  Stern,  G.  Livan and R.  E.  Smith, "A  network perspective  on intermedia agenda-setting," Applied Network Science, vol. 5, no. 1, p. 31, December 2020.
[31]   A.  Tharwat,  "Classification  assessment  methods," Applied Computing and Informatics, vol. 17, p. 168–192, July 2020.
[32]   S. Yohanandan, "mAP (mean Average Precision ) might confuse you!. " towardsdatascience.com.https://towardsdatascience.com/m ap-mean-average- Precision -might-confuse-you-5956f1bfa9e2 (accessed Oct. 5, 2022)
[33]   R.  J.  Tan,  "Breaking  Down  Mean  Average Precision (mAP)."towardsdatascience.com.https://towardsdatascience.com /breaking-down-mean-average- Precision -map-ae462f623a52 (accessed Oct. 5, 2022)
[34]   N.  Rasiwasia,  J.  C.  Pereira,  E.  Coviello,  G.  Doyle,  G.  R.  G. Lanckriet,  R.  Levy  and  N.  Vasconcelos,  "A  new  approach  to cross-modal multimedia retrieval," 2010.