## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058

## Deep Learning dalam Mengindetifikasi Jenis Bangunan Heritage dengan Algoritma Convolutional Neural Network
Sri Winiarti * , Mochammad Yulianto Andi Saputro 1 , Sunardi 2,*
1 Fakultas Teknologi Industri, Teknik Informatika, Universitas Ahmad Dahlan, Yogyakarta, Indonesia
2 Fakultas Teknologi Industri, Magister Informatika, Universitas Ahmad Dahlan, Yogyakarta, Indonesia Email: 1 sri.winiarti@tif.uad.ac.id, 2 y.andisaputro47@gmail.com, 3,* sunardi@mti.uad.ac.id Email Penulis Korespondensi: sunardi@mti.uad.ac.id
Abstrak− Bangunan heritage merupakan bangunan yang memiliki corak khas atau tradisi dari suatu budaya yang kegiatannya dilakukan terus menerus hingga sekarang dan dijadikan ciri khas dari budaya tersebut. Permasalahan yang terjadi di dalam masyarakat adalah kurangnya pengetahuan untuk mengenal jenis bangunan heritage serta dokumentasi digital yang kurang. Masalah lain yang terjadi dalam mengidentifikasi bangunan heritage ditemukan kemiripan antar bangunan heritage dengan bangunan  baru  yang  meniru  gaya  arsitektur  bangunan  heritage  dari  ornemen.  Hal  ini  dapat  menimbulkan  keraguan  dalam informasi  terkait  sejarah  bangunan heritage yang  asli  bagi  masyarakat  atau  pengunjung.    Penelitian  ini  bertujuan  untuk menerapkan Convolutional  Neural  Network  (CNN) mengidentifikasi  jenis  bangunan heritage .  Manfaat  dari  penelitiandapat diketahui  ciri  suatu  bangunan  berdasarkan  ornamen  sehingga  dapat  digunakan  untuk  memperoleh  informasi  tentang  jenis bangunan heritage di Indonesia. Digunakan dataset sebanyak 7184 citra ornamen yang berasal dari bangunan heritage yang diambil secara langsung di lokasi Yogyakarta, yaitu; Masjid Gede Mataram, Masjid Taqwa Wonokromo, Rumah Kalang, Joglo KH Ahmad Dahlan dan Ketandan. Perlunya dilakukan identifikasi bangunan heritage tersebut dikarenakan objek bangunan sewaktu-waktu  dapat  mengalami  kepunahan,  sehingga  untuk  mempertahankannya  diperlukan  dokumentasi  sebagai  upaya pelestarian budaya serta untuk edukasi. Berdasarkan evaluasi performa pengujian yang dilakukan dengan menggunakan metode confusion matrix dari 391 citra ornamen diperoleh hasil akurasi sebesar 98%.
Kata Kunci : Klasifikasi; Bangunan Heritage ; Ornamen; Convolutional Neural Network
Abstract− A heritage building is a building that has a distinctive style or tradition from a culture whose activities are carried out continuously until now and are used as a characteristic of that culture. The problems that occur in the community are the lack of knowledge to recognize the types of heritage buildings and the lack of digital documentation. Another problem that occurs in identifying heritage buildings is that there are similarities between heritage buildings and new buildings that imitate the architectural style of heritage buildings from ornaments. This can raise doubts in the information related to the original history of heritage buildings for the public or visitors. This study aims to apply the Convolutional Neural Network (CNN) to identify the types of heritage buildings. The benefits of this research can be found in the characteristics of a building based on ornaments so that it can be used to obtain information about the types of heritage buildings in Indonesia. A dataset of 7184 images of ornaments from heritage buildings were used which were taken directly at the Yogyakarta location, namely; Mataram Grand Mosque, Taqwa Wonokromo Mosque, Kalang House, Joglo KH Ahmad Dahlan and Ketandan. It is necessary to identify the heritage building because the object of the building can become extinct at any time, so to maintain it, documentation is needed as an effort to preserve culture and for education. Based on the evaluation of the performance of the tests carried out using the confusion matrix method from 391 ornamental images, the results obtained are 98% accuracy.
Keywords : Classification; Heritage Building; Ornament; Convolutional Neural Network

## 1. PENDAHULUAN
Bangunan heritage atau bangunan warisan budaya adalah bangunan yang memiliki corak khas atau tradisi dari suatu  budaya  yang  kegiatannya  dilakukan  terus  menerus  hingga  sekarang  dan  dijadikan  ciri  khas  dari  budaya tersebut [1]. Heritage juga memiliki arti tradisi yang perlu dilestarikan serta dijaga dan dirawat. Bangunan heritage sendiri  merupakan  bangunan  yang  dulunya  menjadi  sebuah icon atau  maskot  suatu  kawasan  yang  berada  di lingkungan tersebut. Bangunan heritage ini bisa berupa candi, bangunan tradisional dan bangunan kolonial. Dalam Penelitian [2] menyatakan bahwa bangunan bersejarah adalah produk peradaban manusia. Ini adalah bahan sejarah yang berharga untuk mempelajari ekonomi politik, seni budaya, dan kepercayaan agama masyarakat kuno, dan warisan sejarah dan budaya yang berharga yang  tidak dapat diperbarui. Karena kategorisasi warisan budaya UNESCO, bangunan cagar budaya termasuk dalam warisan budaya tak bergerak yang berwujud [3].
Oleh karena itu, klasifikasi citra dapat digunakan dalam domain warisan arsitektur  sebagai tugas penting yang  digunakan  untuk  penilaian  dan  pelestarian  [4][5].  Selain  untuk  pengolahan  citra  diperlukannya  juga pelestarian digital karena dianggap sebagai prirotas utama untuk budaya khusunya bangunan heritage dengan cara meningkatkan  alat  digitalisasi  berupa  dokumentasi  digital  [6],  Dalam  penelitian  [7]  menjelaskan  bahwa pendokumentasian  dan  pelestarian  pusaka  merupakan  kegiatan  yang  terus  meningkat  karena  beberapa  alasan: pertama, pemerintah mendedikasikan lebih banyak sumber daya untuk masalah ini karena nilai sosiokultural dan dampak ekonominya di sekitar barang yang dianggap baik. Kedua, besarnya ancaman yang tinggi (degradasi alam, serangan,  perang,  bencana  alam,  polusi  udara,  perubahan  iklim,  vandalisme  dan  penelantaran)  dan  akhirnya sumber  daya  teknis  yang  tersedia  semakin  maju  dan  jauh  lebih  mudah  diakses.  Salah  bentuk  upaya  untuk melestarikan warisan budaya dengan mengenali bangunan heritage yang ada di Indonesia.
Seiring dengan perkembangan zaman, kebutuhan teknologi semakin banyak salah satunya digunakan untuk dokumentasi  digital  dan  sebagai  sarana  pendidikan  atau  pengetahuan.  Penelitian  yang  diteliti  adalah  tentang

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058
identifikasi  sebuah  bangunan heritage ,  karena  masih  banyak  masyarakat  atau  pelajar  yang  belum  mengetahui mengenai jenis bangunan heritage yang ada di Indonesia. Bangunan heritage penting diketahui dan dikenal, karena bangunan  ini  sebagai  warisan  budaya  bangsa  yang  di  mana  memiliki  rekam  jejak  dan  kegiatan  dari  pemikiran aktivitas masyarakat di masa sebelumnya serta dapat digunakan untuk edukasi bagi masyarakat untuk memahami, melaksanakan dan menjunjung tinggi nilai-nilai budaya bangsa Indonesia. Agar dokumentasi bangunan heritage memiliki  nilai  informasi  yang  tinggi,  maka  sebelum  merencanakan  intervensi  atau  perubahan  terhadap  suatu bangunan heritage dibutuhkan  suatu  dokumentasi  paling  lengkap  dan  lebih disukai  dalam  format  digital  untuk memudahkan  pemerintah  atau  seseorang  dalam  mengelola.  Dokumentasi  semacam  itu  sesuai  dengan  keadaan bangunan heritage saat  ini  tetapi  idealnya  harus  dilanjutkan  ke  fase  selanjutnya  untuk  membantu  tugas-tugas pemantauan dan pemeliharaan. Alasan perlunya mengenali sejarah dan budaya melalui bangunan heritage sebagai wujud pelestarian bangunan heritage di Indonesia disebabkan oleh tiga hal, yaitu;
a. terbukti bahwa administrasi memberikan kontribusi tertinggi sebagai sumber daya untuk masalah pelestarian dan pemeliharaan bangunan heritage ini karena memiliki nilai sosiokultural dan dampak ekonomi di sekitar barang yang dianggap baik;
b. tingginya  pengaruh  lingkungan  alam  sebagai  ancaman  terbesar  (degradasi  alam,  serangan,  perang,  bencana alam, polusi udara, perubahan iklim, vandalisme dan pengabaian);
c. Sumber daya teknologi yang semakin maju dan jauh lebih mudah diakses dengan spesifikasi pada peningkatan kecepatan dan akurasi akuisisi gambar perangkat, sensor multispektral dan banyak sistem pengumpulan data lainnya, serta ketersediaan alat perangkat lunak yang sangat canggih untuk mendukung dokumentasi digital ini [7][8].
Pada  penelitian  ini  melakukan  identifikasi  bangunan heritage berdasarkan  ornamen,  karena  identifikasi sendiri  bisa  menghasilkan  sebuah  hasil  (jenis  bangunan)  berdasarkan  data  yang  dimiliki  yaitu dataset jenis bangunan heritage yang telah dikumpulkan. Dalam penelitian .ini, identifikasi bangunan berdasarkan ornamen, karena  ornamen  di  setiap  jenis  bangunan  itu  dominan  berbeda.  Ornamen  memiliki  makna  tersendiri  terhadap bangunannya, sehingga perlu dibuat sebuah knowledge yang di mana masyarakat bisa mengetahui jenis bangunan heritage ini untuk edukasi. Hasil dari pengetahuan ini memberikan sebuah informasi kepada masyarakat, sehingga mereka  tetap  mengenali  bangunan heritage ,  khususnya  pada  bagian  ornamen.  Kebutuhan  terhadap  identifikasi jenis  bangunan heritage ini  memberikan  informasi  secara  digital  tentang  ciri  bangunan  yang  unik.  Perubahan kondisi  bangunan  dan  munculnya  bangunan  baru  yang  meniru  gaya  arstitektur  bangunan  heritage  dapat menimbulkan kebingungan dari masyarakat dalam mempelajari sejarah bangunan.
Dalam  uraian  permasalahan  di  atas  dapat  disimpulkan  bahwa  perlu  adanya  perkembangan  di  bidang teknologi informasi, dalam klasifikasi sebuah objek maka dilakukan untuk ekstraksi fitur dari citra menggunakan CNN. Dibandingkan dengan metode tradisional untuk ekstraksi fitur manual, penelitian ini menggunakan CNN untuk  ekstraksi  fitur,  menghindari  prosedur  rumit  dalam  rekayasa  fitur  [9].  Beberapa  penelitian  sebelumnya menggunakan teknik seperti ini yang diterapkan untuk mengganti lapisan softmax dengan Support Vector Machine (SVM),  dengan  membuktikan  hasil  ekstraksi  fitur  dari  CNN  untuk  SVM  meningkatkan  akurasi  klasifikasi [10][11].  Dalam  penelitian  ini  alasan  menggunakan  algoritma  KNN  karena  metode  non-linier  yang  dapat memperoleh  batasan  keputusan  yang  lebih  kompleks  daripada  pemetaan  linier  yang  umum  digunakan  dalam lapisan softmax CNN. Alasan lain karena pertimbangan bahwa CNN dan KNN benar-benar saling melengkapi dalam  hal  ekstraksi  fitur  dan  batasan  keputusan  dalam  sistem hybird ,  kedua  algoritma  dapat  mengeksploitasi potensinya dan melihat kekurangannya [12].
Hal berbeda yang dilakukan dari penelitian-penelitian terdahulu adalah dengan menerapkan deep learning untuk mengidentifikasi bangunan heritage di Yogyakarta, Indonesia dengan mengkombinasikan algoritma CNN dan KNN serta meningkatkan uji akurasi klasifikasi.

## 2. METODOLOGI PENELITIAN
Dalam penelitian ini diawali dengan melakuka kajian penelitian terkait dengan penerapan algoritma CNN yang banyak  digunakan  dalam  topik deep  learning .  Langkah  selanjutnya  dilakukan  dengan  pengumpulan dataset . Karena dataset tidak  tersedia untuk umum, akuisisi data dilakukan dengan berfoto langsung ke lokasi kawasan pelestarian cagar budaya di Daerah Istimewa Yogyakarta dan menangkap gambar bangunan cagar budaya melalui Google Street View di Google Map. Setelah data set diperoleh dilakukan analisis terhadap data bangunan yang yang telah diekstrak untuk selanjutnya dilakukan training data dan uji data. Untuk implementasi sistem digunakan bahasa pemrograman Phyton dan PHP untuk membangun  antarmuka sistem. Agar mengetahui performa model jaringan yang dibangun dilakukan uji akurasi dengan menggunakan metode Confution Matrix sebagai evaluasi. Untuk lebih jelasnya Gambar 1 menjelaskan tahapan dari penelitian yang dilakukan.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058
Gambar 1 . Tahapan Penelitian yang dilakukan
Metode deep  learning yang  diusulkan  untuk  mengklasifikasikan  jenis  bangunan heritage berdasarkan ornamen yang digunakan  dalam mengidentifikasi bangunan heritage dengan CNN ditunjukkan pada  gambar 2. Metode ini menggunakan citra bangunan cagar budaya sebagai input. Tugasnya adalah mengkategorikan masukan ke dalam tiga jenis arsitektur bangunan pusaka yaitu gaya Cina, Jawa dan Islam.
Gambar 2. Desain metode Deep Learning yang diusulkan.
Dari gambar 2 menjelaskan setelah dataset diperoleh kemudian membagi citra menjadi training set dan test set.  Bagian  pelatihan  digunakan  untuk  menghasilkan  pengklasifikasi  gaya  arsitektur  bangunan  cagar  budaya. Bagian uji digunakan untuk mengevaluasi kinerja model. Model mengimplementasikan arsitektur CNN dengan perhatian  visual.  Proses  ini  dilakukan  dengan  menggunakan  bahasa  pemrograman  Python.  Untuk  gambar  3 merupakan rancangan arsitektur yang dipakai dengan menggunakan algoritma CNN.
Gambar 3. Rancangan Arsitektur untuk Proses CNN yang diterapkan
Dari gambar 3, data gambar setelah di load kemudian ukurannya diubah agar sesuai dengan input CNN, selanjutnya  gambar  tersebut  diproses  untuk feature  extraction atau  ekstraksi  fitur  menggunakan  CNN.  Alasan menggunakan  CNN  karena  saat  ini  algoritma  ini  cukup  popler  dipakai  dapal deep  learning  terutama  untuk klasicikasi image dan paling banyak digunakan untuk mengatasi permasalahan metode konvensional  [13]–[15]. Hasil  dari  ekstrak  fitur  dilakukan  klasifikasi  dengan    menggunakan  KNN,  sehingga  mampu  mengidentifikasi menjadi 3 kelas gaya arsitektur bangunan heritage , yaitu; bangunan Islami, China dan Jawa.
Metode  pembelajaran  mendalam  yang  diusulkan  ditunjukkan  pada  Gambar  2.  Metode  tersebut menggunakan citra bangunan cagar budaya di lokasi Yogyakarta sebagai masukan.  Untuk memperoleh dataset maka  akuisisi  data  dilakukan  dengan  berfoto  langsung  ke  lokasi  kawasan  cagar  budaya  dengan  mengunakan kamera Nikon D3300 DSLR camera with 24.2 Megapixel dan menangkap gambar bangunan bersejarah melalui Google Street View di Google Map.
Setelah dataset didapatkan  kemudian  gambar  tersebut  dibagi  menjadi  data  latih  dan  data  uji.  Bagian pelatihan  digunakan  untuk  menghasilkan  klasifikasi  gaya  arsitektur  bangunan heritage .  Bagian  uji  digunakan
• review jurnal
Penelitian
terdahulu
• langsung
dataset • pengolahan citra Preprocessing
• CNN
Ekstrak Ciri • training dan uji data
Evaluasi
Kesimpulan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058
untuk mengevaluasi kinerja model. Model tersebut mengimplementasikan arsitektur CNN dengan perhatian visual. Proses ini dilakukan dengan menggunakan bahasa pemrograman Python.

## 3. HASIL DAN PEMBAHASAN
Berdasarkan desain arsitektur model deep learning yang dibangun seperti yang ditunjukkan pada Gambar 3, maka dapat dijelaskan secara rinci untuk setiap tahapnya, sebagai berikut: 1. Dataset Bangunan Heritage
Bangunan heritage atau bangunan warisan budaya adalah bangunan yang memiliki corak khas atau tradisi dari suatu budaya yang kegiatannya dilakukan terus menerus hingga sekarang dan dijadikan ciri khas dari budaya tersebut.  Jenis  bangunan yang  menjadi  subjek  penelitian  berasal  dari  tipe  bangunan  Islam,  Jawa  dan  China dapat dilihat pada Tabel 1 dengan total citra ornamen sebanyak 7184.
Tabel 1. Data Jenis Bangunan No Tipe Bangunan Nama Bangunan 1 Islam Masjid Gede Mataram Masjid Taqwa Wonokromo 2 Jawa Rumah Kalang Joglo KH Ahmad Dahlan 3 China Ketandan
Tabel 1 menunjukkan data jenis dan nama bangunan yang diambil, yaitu; Masjid Gede Mataram dan Masjid Taqwa  Wonokromo  termasuk  dalam  tipe  bangunan  Islam.  Jenis  bangunan  Rumah  Kalang  dan  Joglo  KH Ahmad Dahlan termasuk dalam tipe bangunan Jawa, sedangkan jenis bangunan Ketandan termasuk dalam tipe bangunan  China.  Dalam  penelitian  ini,  untuk  identifikasi  bangunan heritage berdasarkan  ornamen.  Karena, ornamen adalah suatu dekorasi yang digunakan untuk memperindah bagian dari sebuah bangunan. Ornamen ini dapat diukir dari batu, kayu, atau logam. Ornamen juga sebagai representasi bentuk peradaban pada kawasan tersebut. Ornamen yang bersifat historical attribute akan memberikan suasana yang berbeda dan memberikan identitas atau ciri khas yang kuat pada suatu kawasan. Ornamen juga salah satu bentuk pembeda dari suatu bangunan, karena memiliki nilai-nilai yang berbeda di setiap bangunan.
2. Proses Risize Image
Pada tahap ekstraksi feature, image yang digunakan harus memiliki ukuran piksel yang sama besarnya. Proses resizing mengatur besar ukuran piksel pada image selanjutnya dirubah dan dibuat menjadi ukuran yang sama antara  satu  image  dengan  image  lainnya  dengan  menggunakan  fungsi  imresize.  Besar  ukuran  piksel  citra ditentukan dengan mencoba satu persatu besar ukuran yang sesuai agar image terhindar dari blurring. Setelah dilakukan  proses  resize  yang  berulang,  ditemukan  ukuran  piksel  yang  tepat  sebesar  180x180  piksels  untuk diterapkan pada semua image yang digunakan.
3. Proses Augmentasi dan ekstrak Fitur
Secara praktis dalam aplikasi pemrosesan citra, banyak peneliti menggunakan data augmentation (augmentasi data) selama proses pelatihan CNN. Terutama ketika jumlah citra latih relatif sedikit. Teknik augmentasi data ini dapat dilakukan dengan berbagai cara, di antaranya adalah flip, random cropping dan random rotation [15]. Convolutional Neural Network (CNN) termasuk dalam jenis Deep Learning karena kedalaman jaringan yang tinggi dan banyak diaplikasikan pada data citra. CNN merupakan operasi convolutional yang menggabungkan beberapa lapisan pemrosesan. Pada CNN setiap neuron direpresentasikan dalam bentuk 2 dimensi, sehingga metode ini cocok untuk pemrosesan dengan input berupa data citra. CNN memiliki beberapa input layer yaitu convolutional layer, Rectified Linear Unit (ReLU) layer, Max Pooling layer, dropout layer, fully connected layer . Fungsi dari beberapa lapisan di atas dijelaskan sebagai berikut: Convolutional layer merupakan layer yang  memiliki  kumpulan  filter  yang  digunakan  untuk  mempelajari  citra  input.  Konvolusi  adalah  suatu sistematis yang mengaplikasikan fungsi pada hasil fungsi lain secara berulang kali. Dalam layer ini juga akan dilakukan  sebuah  operasi  konvolusi  terhadap  input  atau  hasil  dari  layer  sebelumnya. Rectified  Linear  Unit (Relu)  adalah  layer  yang  memetakan  suatu  nilai  negatif  atau  nilai  lebih  kecil  dari  0  menjadi  nilai  0  dan mempertahankan  nilai  positif. Pooling  layer yaitu  terdiri  dari  sebuah  filter  dengan  ukuran  dan  jumlah pergeseran tertentu, yang secara bergantian bergeser pada seluruh area feature map . Jika ada filter pada pooling layer tidak  dapat  terjangkau  akan  dihilangkan  tanpa  melalui  proses pooling [16][17]. Dropout  layer adalah sebuah proses untuk mencegah terjadinya overfitting dan juga untuk mempercepat sebuah proses pembelajaran. Fully  connected  layer merupakan  sebuah  lapisan  di  mana  semua  neuron  aktivitas  dari  sebelumnya  hingga selanjutnya terhubung ke semua angka dan volume yang digunakan untuk menghitung skor kelas. Dalam Penelitian ini, struktur arsitektur CNN menggunakan 3 layer convolutional dengan ukuran kernel 3x3 serta 3 layer maxpooling . Model struktur arsitektur CNN yang digunakan dapat dilihat pada gambar 2 yang menunjukkan ekstraksi fitur dan gambar 3 menunjukkan fully connected .

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058
5. Klasifikasi Gambar dan Uji Performa
Dalam penelitian ini, menggunakan algoritma K-Nearest Neighbor (KNN). Alasan menggunakan algoritma ini karena objek-objek dikelompokkan ke dalam kelas tertentu berdasarkan kelompoknya yang biasanya disebut dengan kelas. Hasil citra ornamen bangunan yang telah diekstraksi menggunakan CNN diklasifikasikan dengan Algoritma K-Nearest  Neighbor  (KNN) digunakan  untuk  mengidentifikasi  jenis  bangunan heritage .  Setelah menemukan  masing  –  masing  nilai  dari  image  yang  digunakan  dari  hasil  proses  CNN,  selanjutnya  image dipakai  untuk  mengukur  performa  dari  suatu  model  klasifikasi.  Metode  uji  performa  yang  dilakukan menggunakan metode confusion matrix dari model tersebut. Parameter yang yang akan diukur adalah accuracy, precision, recall dan f1-score menggunakan persamaan (1), (2), (3) dan (4) di mana TP adalah True Positive , FP adalah False Positive , TN adalah True Negative dan FN adalah False Negative .
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 ∗  100% (1) 𝑃𝑟𝑒𝑠𝑖𝑠𝑖 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 ∗  100% (2) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 ∗  100% (3) 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 = 2 ∗ (𝑅𝑒𝑐𝑎𝑙𝑙 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛) (𝑅𝑒𝑐𝑎𝑙𝑙 + 𝑃𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛) ∗  100% (4)
Proses  training  menggunakan  data  sebesar  5.438  dan  data  untuk  uji  validitas  sebesar  1.355  sehingga  total dataset sebesar 7.184 data. Proses uji evaluasi menggunakan data testing sebanyak 391 data, untuk lebih detail pembagian data ditunjukkan pada tabel 2.
Tabel 2. Pembagian Dataset Jenis Bangunan Training Data Validation Data Testing Data Jenis Bangunan Total Masjid Gedhe Mataram 1890 472 71 Islam 2433 Masjid Taqwa Wonokrowo 1766 442 116 Islam 2324 Rumah Kalang 325 80 33 Jawa 438 Joglo KH Ahmad Dahlan 744 181 28 Jawa 953 Ketandan 713 180 143 China 1036 Total 5438 1355 391 3 7184
Image ornamen  bangunan heritage diambil  menggunakan  kamera smartphone dan DSLR .  Dari image yang telah  diambil,  ketika  sebelum  memasuki  tahap  proses training gambar  tersebut  di resize menjadi  ukuran 180x180 pixel .  Beberapa  contoh  gambar  ornamen  dari dataset ditunjukkan  pada  gambar  4.  Berdasarkan gambar 4, di setiap ornamen memiliki gaya arsitektur dan memiliki corak warna serta tekstur yang berbeda karena setiap bangunan memiliki corak historical yang berbeda.
O1 O2 O3 O4

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058
Tahap selanjutnya merupakan pengujian model yang telah dilakukan dengan menggunakan data testing dan hasil features dari proses training digunakan untuk klasifikasi jenis bangunan dengan menerapkan algoritma K-Nearest Neighbor  (KNN) .  Langkah  selanjutnya  mengevaluasi  model  dengan  menggunakan confusion  matrix .  Tabel  3 menunjukkan hasil klasifikasi bangunan heritage menggunakan feature extraction CNN dengan klasifikasi KNN.
Tabel 3. Confusion Matrix Data Testing Confusion Matrix Predicted Class Masjid Gedhe Mataram (Islam) Masjid Taqwa Wonokrowo (Islam) Rumah Kalang (Jawa) Joglo KH Ahmad Dahlan (Jawa) Ketandan (Cina) A ctu a l Cl a ss
Masjid Gedhe Mataram (Islam) 71 0 0 0 0 Masjid Taqwa Wonokrom o (Islam) 0 113 1 2 0 Rumah Kalang (Jawa) 1 2 30 0 0 Joglo KH Ahmad Dahlan (Jawa) 0 0 0 28 0 Ketandan (China) 0 0 0 0 143 Pengukuran Statistik Precision 0.99 0.98 0.97 0.93 1.00 Recall 1.00 0.97 0.91 1.00 1.00 F1-Score 0.99 0.98 0.94 0.97 1.00 Accuracy 0.98
Dari tabel 3 semua data uji diklasifikasikan sempurna kecuali dalam kategori bangunan Islam, yaitu; Masjid Taqwa Wonokromo dan kategori bangunan Jawa, yaitu; Rumah Kalang. Citra yang diklasifikasikan dengan benar terletak secara diagonal dari kiri atas ke kanan  bawah tabel confusion matrix pada tabel 3 dan dari data testing mendapatkan hasil akurasi sebesar 98%. Hasil performa klasifikasi yang sangat bagus dari metode yang diusulkan terutama  disebabkan  oleh  proses  ekstraksi  fitur  menggunakan  CNN  kemudian  diklasifikasikan  menggunakan Algoritma K-Nearest Neighbor (KNN) .

## 4. KESIMPULAN
Karya  ini  mengusulkan  sistem  otomatis  untuk  mengidentifikasi  bangunan heritage dengan  menghasilkan  3 kelompok yaitu gaya China, Islam dan Jawa dengan menggunakan model CNN untuk ekstrak fiturnya dan untuk klasifikasi  menggunakan  algoritma  KNN.  Setiap  gambar  ditingkatkan  dengan  proses  peregangan  kontras  sub- wilayah.  Pada  bagian  ornamen  bangunan  heritage.  Operasi  augmentasi  yang  berbeda  kemudian  diterapkan  ke setiap wilayah gambar, dan penyeimbangan kelas dilakukan untuk membuat jumlah gambar di setiap kelas sama.. Setiap wilayah gambar kemudian diberikan pelatihan ke jaringan CNN yang berbeda dan memilih model terbaik dalam  mengklasifikasikan  setiap  wilayah  yang  diidentifikasi.  Dari  hasil  pelatihan  model  terbaik  untuk  setiap wilayah digunakan untuk mengekstrak fitur untuk melakukan evaluasi lebih lanjut. Hasil dari lapisan konvolusi terakhir model diekstraksi, dan deskriptor pola biner diterapkan untuk mendapatkan pola gambar-gambar ornamen dari bangunan. Evaluasi kinerja yang telah dilakukan dengan menggunakan confusion matrix menunjukkan bahwa metode  yang  diusulkan  dapat  mengklasifikasikan  bangunan heritage dengan  akurasi  mencapai  98%.  Hasil pengujian sangat berpengaruh dari proses epoch, jumlah convolution layer , jenis pooling layer , ukuran kernel dan ukuran dropout, sehingga menjadi perhatian para peneliti saat melakukan pengujian. Penentuan parameter model ini digunakan untuk membandingkan model mana yang memiliki akurasi terbaik untuk dapat digunakan dengan data penelitian. Berdasarkan pengujian yang dilakukan dapat disimpulkan bahwa dalam penerapan deep learning untuk  mengidentifikasi  bangunan  heritage  berdasarkan  ornament  dengan  menggunakan  algoritma  CNN  dapat bekerja  dengan  baik  berdasarkan  hasil  akurasi  yang  diperoleh.    Untuk  penelitian  selanjutnya,  diharapkan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i3.3058
menambah lebih banyak jenis bangunan heritage yang diklasifikasikan dengan menggunakan algoritma yang dapat dikombinasikan, seperti menggunakan CNN dan Support Vector Machine .

## UCAPAN TERIMAKASIH
Terima kasih tak terhingga kepada semua pihak yang mendukung  terlaksananya penelitian ini, yaitu; Lembaga Penelitian  dan  Pengabdian  Universitas  Ahmad  Dahlan,  Sekolah  Tinggi  Arsitektur  YKPN  Yogyakarta  untuk dukungan transfer pengetahuan dan pakar arsitek yang terlibat.

## REFERENCES
[1] E. Virdianti, S. A. Vatrina, D. P. Angkasa, J. Arsitektur, and F. Teknik, “Citra visual koridor kawasan kota lama semarang ditinjau dari potensi wisata edukasi arsitektur heritage,” J. Rekayasa Hijau , vol. I, no. 1, pp. 11–22, 2017.
[2] Z. Zou, X. Zhao, P. Zhao, F. Qi, and N. Wang, “CNN-based statistics and location estimation of missing components in routine inspection of historic buildings,” J. Cult. Herit. , vol. 38, pp. 221–230, 2019, doi: 10.1016/j.culher.2019.02.002.
[3] R.  Janković,  “Machine  learning  models  for  cultural  heritage  image  classification:  Comparison  based  on  attribute selection,” Inf. , vol. 11, no. 1, 2020, doi: 10.3390/info11010012.
[4] M. Cosovic and R. Jankovic, “CNN classification of the cultural heritage images,” 2020  19th  Int.  Symp.  INFOTEH- JAHORINA, INFOTEH 2020 - Proc. , no. March, pp. 18–20, 2020, doi: 10.1109/INFOTEH48170.2020.9066300.
[5] J. Boehm, P. Bryan, J. Still, and H. England, “Building Information Models for Monitoring and Simulation Data,” Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. , vol. XLII, no. June 2018, pp. 4–7, 2020.
[6] A. Belhi and A. Bouras, “CNN Features vs Classical Features for Largescale Cultural Image Retrieval,” 2020 IEEE Int. Conf. Informatics, IoT, Enabling Technol. ICIoT 2020 , pp. 95–99, 2020, doi: 10.1109/ICIoT48696.2020.9089643.
[7] J. Llamas, P. M. Lerones, R. Medina, E. Zalama, and J. Gómez-García-Bermejo, “Classification of architectural heritage images using deep learning techniques,” Appl. Sci. , vol. 7, no. 10, pp. 1–26, 2017, doi: 10.3390/app7100992.
[8] Y.  Peng et  al. ,  “CNN-SVM:  A classification  method  for  fruit  fL  image  with  the  complex background,” IET  Cyber- Physical Syst. Theory Appl. , vol. 5, no. 2, pp. 1–5, 2020, doi: 10.1049/iet-cps.2019.0069.
[9] F. J. López, P. M. Lerones, J. Llamas, J. Gómez-García-Bermejo, and E. Zalama, “A Framework for Using Point Cloud Data of Heritage Buildings Toward Geometry Modeling in A BIM Context: A Case Study on Santa Maria La Real De Mave Church,” Int. J. Archit. Herit. , vol. 11, no. 7, pp. 965–986, 2017, doi: 10.1080/15583058.2017.1325541.
[10]  A.  J.  Gallego,  A.  Pertusa,  and  J.  Calvo-Zaragoza,  “Improving  Convolutional  Neural  Networks’  accuracy  in  noisy environments using k-Nearest Neighbors,” Appl. Sci. , vol. 8, no. 11, 2018, doi: 10.3390/app8112086.
[11]  N.  Q.  K. Le,  Q.  T.  Ho,  and  Y. Y.  Ou,  “Incorporating deep  learning  with  convolutional  neural  networks  and position specific scoring matrices for identifying electron transport proteins,” J. Comput. Chem. , vol. 38, no. 23, pp. 2000–2006, 2017, doi: 10.1002/jcc.24842.
[12]  N.  Q.  K.  Le,  Q.  T.  Ho,  E.  K.  Y.  Yapp,  Y.  Y.  Ou,  and  H.  Y.  Yeh,  “DeepETC:  A  deep  convolutional  neural  network architecture for investigating and classifying electron transport chain’s complexes,” Neurocomputing , vol. 375, no. xxxx, pp. 71–79, 2020, doi: 10.1016/j.neucom.2019.09.070.
[13]  J. N. Sua et al. , “Incorporating convolutional neural networks and sequence graph transform for identifying multilabel protein Lysine PTM sites,” Chemom. Intell. Lab. Syst. , vol. 206, p. 104171, 2020, doi: 10.1016/j.chemolab.2020.104171.
[14]  S. Winiarti, A. Prahara, Murinto, and D. P. Ismi, “Pre-trained convolutional neural network for classification of tanning leather image,” Int. J. Adv. Comput. Sci. Appl. , vol. 9, no. 1, pp. 212–217, 2018, doi: 10.14569/IJACSA.2018.090129.
[15]  Suyanto, K. N. Ramadhani, and S. Mandala, Deep learning modernisasi machine learning untuk big data . Informatika Bandung, 2019.
[16]  I. Wulandari, H. Yasin, and T. Widiharih, “Klasifikasi citra digital bumbu dan rempah dengan algoritma convolutional neural network (cnn),” J. Gaussian , vol. 9, no. 3, pp. 273–282, 2020, doi: 10.14710/j.gauss.v9i3.27416.
[17]  B.  Xiao,  K.  Wang,  X.  Bi,  W.  Li,  and  J.  Han,  “2D-LBP:  An  Enhanced  Local  Binary  Feature  for  Texture  Image Classification,” IEEE  Trans.  Circuits  Syst.  Video  Technol. ,  vol.  29,  no.  9,  pp.  2796–2808,  2019,  doi: 10.1109/TCSVT.2018.2869841.