Abstrak —Piano  yang  diketahui  berbentuk  besar,  tidak portabel  dan  relatif  mahal  sehingga  banyak  masyarakat  yang memanfaatkan  kemajuan  teknologi  untuk  belajar  piano  melalui teknologi  komputer.  Telah  banyak  aplikasi  bermain  piano  yang ada,  namun  metode  yang  digunakan  kurang  menarik.  Oleh karena itu, perlu dibuat sebuah aplikasi yang  dapat  menjadikan piano lebih menarik untuk dimainkan. Salah satu teknologi yang sedang  berkembang  saat  ini  adalah  teknologi Augmented  reality (AR).  AR  mampu  memberikan  pengalaman  yang  interaktif dengan  menampilkan  objek  3  dimensi  sehingga  terlihat  nyata kepada  pengguna.  Untuk  mengembangkan  tampilan  AR, digunakan Library  Vuforia SDK.  Pengguna  juga  dapat menyentuh  langsung  tombol  virtual  atau Virtual  button yang merupakan  fitur  bawaan Library  Vuforia SDK.  Hasil  pengujian aplikasi  menunjukkan bahwa aplikasi dapat menampilkan objek piano  dengan  tampilan  AR  dan  pengguna  dapat  menyentuh tombol  virtual.  Maka  dari  itu,  aplikasi  yang  dibangun  berhasil memberikan  pengalaman  baru  kepada  pengguna  dari  segi tampilan dan permainan.
Kata  Kunci — Augmented  reality ,  Perangkat Mobile ,  Piano Virtual, Virtual button dan Vuforia SDK

## I. PENDAHULUAN
USIK  adalah  bunyi  yang  mengandung  unsur-unsur tertentu  yang  dihasilkan  oleh  alat  musik  atau  vokal ataupun  keduanya.  Musik  dapat  dihasilkan  dari  alat musik  yang  salah  satunya  adalah  piano.  Piano  adalah  alat musik  yang  menggunakan  jari  untuk  memainkan  alatnya dengan  cara  menekan  tuts  piano.  Piano  tidak  portabel  dan sering mahal sehingga banyak masyarakat yang memanfaatkan kemajuan teknologi untuk belajar musik mulai dari  drum,  gitar,  bass,  piano  ataupun  alat  musik  lainnya melalui teknologi komputer.
Sementara  itu,  dalam  bidang  komputer  terdapat  teknologi yang  disebut Augmented  reality (AR).  Pada  dasarnya  AR memiliki  kelebihan  yaitu  mampu  memberikan  pengalaman yang  interaktif  kepada  pengguna.  Ini  berarti  tidak  menutup kemungkinan  bahwa  teknologi  ini  dapat  dijadikan  alat  untuk bermain  musik  yang  lebih  menyenangkan.  Dari  metode  yang membosankan  dan  dianggap  sulit  itu  menjadikan  antusiasme masyarakat  menurun  untuk  bermain  musik  di  piano.  Dengan menggunakan  teknologi  AR,  metode  yang  membosankan  itu dapat diminimalisasi sehingga dapat menjadi metode bermain alat  musik  piano  yang  lebih  menarik  karena  AR  mampu memberikan pengalaman yang interaktif kepada pengguna.
Dalam  AR  sendiri  telah  banyak  pengaplikasian Virtual
button yang  merupakan  fitur  bawaan Library Vuforia SDK. Virtual  button sendiri  adalah  tombol  bersifat  visual  yang memungkinkan  penggunanya  untuk  menyentuh  tombol tersebut sehingga dapat menghasilkan berbagai macam output, seperti  animasi,  suara  dan  lain-lain. Virtual  button akan muncul saat animasi AR telah muncul sehingga memungkinkan pengguna mendapatkan sensasi dan pengalaman untuk terlibat sendiri dalam teknologi AR tersebut sehingga sangat interaktif untuk menjadi metode bermain alat musik piano [1].
Maka  dari  itu,  penulis  membuat  aplikasi  alat  musik  piano virtual  Menggunakan  Teknologi  AR  dan Vuforia SDK. Dengan adanya aplikasi ini, diharapkan dapat menjadi metode dalam  bermain  piano  yang  mampu  memberikan  pengalaman luar  biasa  dan  tidak  membosankan  sekaligus  menjadi  media edukasi untuk pengguna mengenai alat musik piano.

## II. TINJAUAN PUSTAKA

## A. Piano
Piano adalah alat musik yang dimainkan dengan jari-jemari tangan  dengan  menggunakan keyboard .  Untuk  membuat rangkaian  nada  harmonis  pada  piano  dapat  menggunakan chord . Chord atau kunci nada adalah rangkaian dua nada atau lebih  secara  bersama  –  sama  sehingga  menimbulkan  kesan indah. Permainan chord digunakan untuk mengiringi jalannya suatu lagu [2].
Pada piano terdapat kunci not yang merupakan deretan tuts yang jika ditekan, maka akan mengeluarkan suara berdasarkan kunci  note  yang  ada.  Dimulai  dari  kunci  paling  kecil  yang terletak di sebelah kiri berurutan hingga kunci paling besar di sebelah  kanan.  Tuts  berwarna  putih  mengandung  kunci  C Mayor , yaitu: C,D,E,F,G,A,B. sedangkan tuts berwarna hitam mengandung kunci selain C Mayor , yaitu C#, D#. F#, G#, A# [3].
B. Augmented reality
Augmented reality (AR) adalah teknologi yang menggabungkan  objek  dua  atau  tiga  dimensi  yang digambarkan dan diproyeksikan bersamaan dengan lengkungan  nyata  secara real  time. Pada  dasarnya  objek animasi  tersebut  ada  atau  ditambahkan  kedalam  kehidupan nyata  dengan  alat  bantu  penglihatan  atau  layar.  AR memanfaatkan  fitur gyroscope dan accelerometer dalam memproyeksikan  objek  sehingga  dapat  dilihat  dari  sudut manapun, tidak terganggu oleh lingkungan  nyata, dan bahkan

## Rancang Bangun Aplikasi Piano Virtual Menggunakan Teknologi Augmented reality dan

## Vuforia SDK
Rahma Fida Fadhilah, Nanik Suciati, dan Wijayanti Nurul Khotimah Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS)
Jl. Arief Rahman Hakim, Surabaya 60111 Indonesia
e-mail : nanik@if.its.ac.id, wijayanti@if.its.ac.id, rahma.fida@gmail.com
M
dapat beradaptasi dengannya [4].

## C. Vuforia SDK
Vuforia adalah Software  Development  Kit (SDK)  untuk perangkat mobile dalam  pembuatan  aplikasi Augmented reality . Vuforia SDK  membantu  mengombinasikan  kamera perangkat mobile sebagai  perangkat  masukan,  sebagai  mata elektronik  yang  mengenali  penanda  tertentu  sehingga  dapat muncul objek animasi di kehidupan nyata  [5].
Vuforia menggunakan  teknologi  computer  vision  yang mengenali  dan  menelusuri  gambar planar yang  digunakan sebagai  gambar  target  dan  objek  3D  seperti  kubus,  dalam satuan waktu yang nyata. Kemampuan pengenalan gambar ini memungkinkan  pengembang  untuk  menentukan  posisi  dan arah  objek  virtual,  seperti  model  3D  dan  media  lain,  yang berkaitan  dengan  gambar  dunia  nyata  ketika  dilihat  melalui kamera  perangkat mobile .  Objek  virtual  tersebut  akan menelusuri posisi dan orientasi dari gambar tersebut, sehingga dari  perspektif  pengguna,  objek  berkorespondensi  dengan perspektif gambar target, sehingga objek virtual tersebut akan tampak  terlihat  seperti  bagian  dari  dunia  nyata  [6].  Adapun arsitektur sistem dari Vuforia SDK adalah seperti Gambar 1.
Gambar 1. Arsitektur Sistem Vuforia SDK
D. Marker
Dalam Vuforia SDK, marker atau  penanda  adalah  sesuatu yang  dapat  dikenali  oleh  masukan  perangkat mobile dalam pengembangan Augmented  reality .  Penanda  akan  berbeda- beda  yang  merujuk  pada  objek  yang  dihasilkan  beserta datanya.  Penanda  dapat  dicetak  dengan  ukuran  apapun  dan semakin  berbeda  corak  yang  dipakai  maka  akan  bagus  pula kemampuan tracking sistemnya.  Objek  akan  muncul  diatas penanda  yang  telah  dicetak  dan  dapat  berinteraksi  sesuai dengan hasil pengembangannya [7].

## E. Virtual button
Virtual  button adalah  sebuah  area  persegi  di  dalam  area penanda,  yang  digunakan  untuk  men- trigger sebuah event tertentu  dengan  menyentuhnya. Virtual  button dapat digunakan untuk mengimplementasikan event seperti OnButtonPress atau  untuk  mendeteksi  apakah  area  tertentu dari image target ditutupi  sebuah  objek  tertentu. Event pada virtual  button hanya  dapat  dieksekusi  ketika  tampilan  dari kamera  dan  kamera  tersebut  stabil.  Artinya,  jika  terjadi perpindahan kamera secara cepat, maka virtual button akan di- disable . Virtual  button didefinisikan  dalam  konfigurasi dataset . unitypackage yang  menjadi property dari image target (penanda).  Dengan  menggunakan virtual  button interaksi antara  objek  3  dimensi  dengan  pengguna  dapat  dilakukan.
Karena virtual  button merupakan property dari image target , maka virtual button hanya dapat berpindah sepanjang gambar penanda  atau image target . Virtual  button berupa  tombol virtual  yang  dapat  ikut  berpindah  bersama  objek  3  dimensi yang menjadi parent dari virtual button tersebut [8].

## III. ANALISIS DAN PERANCANGAN

## A. Analisis Perangkat Lunak
Aplikasi  piano  virtual  menggunakan  penanda  berupa gambar  sebagai  pendeteksi  objek  3D  yang  akan  ditampilkan. Interaksi  antara  pemain  dengan  objek  3D  dilakukan  dengan menggunakan  inputan  berupa  objek  yang  menyentuh  area penanda dalam aplikasi ini berupa tombol virtual atau  virtual button ,  di  mana  saat  di- render , virtual  button akan  ditandai dengan  warna  tertentu  di  kamera.  Sehingga  saat  disentuh, objek  memiliki  perilaku  yang  berbeda.  Pengguna  diberi  dua pilihan  untuk  bermain  piano  secara  bebas  atau  bermain  lagu yang  telah  disediakan  pada  piano  untuk  mengejar  skor tertinggi  yang  mana  terdapat  level  normal  dan hard dengan menggunakan  tangan  untuk  menyentuh virtual  button di gambar  penanda.  Semakin  banyak  tuts  yang  berhasil  ditekan, maka  semakin  meningkat  skor  yang  diperoleh  pengguna. Dalam  fitur  ini,  terdapat  waktu  yang  telah  ditentukan  untuk mengumpulkan skor sebanyak-banyaknya.
Kebutuhan utama dalam aplikasi ini antara lain :
1. Pengguna  dapat  memilih  jenis  permainan  yang diinginkan
2. Pengguna dapat memilih jenis suara musik pada piano
3. Pengguna dapat memilih lagu untuk dimainkan
4. Pengguna dapat memilih tingkatan level pada permainan
5. Pengguna dapat memainkan piano virtual dengan adanya visualisasi Augmented reality Piano Virtual pada kamera handphone.
Adapun  gambaran  arsitektur  secara  umum  aplikasi  dapat dilihat pada Gambar 2.

## Gambar 2. Rancangan Sederhana Arsitektur Aplikasi
B. Perancangan Perangkat Lunak
Pada perancangan perangkat lunak menjelaskan perancangan  proses  beserta  alurnya.  Pada  aplikasi  memiliki rancangan  proses  yang  dilakukan  untuk  mendukung fungsionalitas yang sudah dirancang pada aplikasi dimulai dari proses  pendeteksian  penanda,  penanda  yang  telah  terdeteksi, aplikasi  menampilkan  objek  tiga  dimensi,  hingga  pemain dapat  mulai  bermain.  Penjelasan  proses  perancangan  pada aplikasi dijelaskan pada berikut ini. 1. Proses Deteksi Gambar Penanda Gambar yang akan dijadikan penanda, terlebih dahulu harus diunggah ke dalam situs Target Manager Vuforia , yaitu sebuah situs  yang  memiliki  sistem  pendeteksian  kelayakan  kualitas dari  suatu  gambar  untuk  dapat  dijadikan  penanda.  Gambar
yang  telah  memiliki rating yang  cukup  baik  dapat  dijadikan sebagai  penanda,  yaitu  dengan  cara  mengunduh file . unitypackage yang  berisi  identitas  penanda  dan  ukuran ketajaman  penanda  yang  akan  digunakan. File yang  telah diunduh  di- import dalam  kakas  bantu  yang  digunakan  untuk membangun aplikasi ini.
Proses  gambar  penanda  ini  dimulai  dengan  pengecekan ketersediaan  gambar  penanda.  Sistem  akan  mencari  gambar penanda  melalui camera  device yang  digunakan.  Gambar penanda dicari dan disesuaikan dengan gambar penanda  yang telah  tersimpan  di  sistem.  Jika  gambar  penanda  belum ditemukan,  maka  sistem  akan  terus  mencari.  Dan  jika  telah ditemukan  gambar  penanda,  maka  sistem  akan  menampilkan objek  3  dimensi  ke  lingkungan  pengguna.  Sistem Vuforia SDK akan mengenali penanda dan mulai membangun objek 3 dimensi dengan alur proses yang digambarkan pada Gambar 3.
Gambar 3.  Alur Proses Mendeteksi Gambar Penanda
2. Proses Permainan
Proses permainan dilakukan dengan melakukan pengecekan terhadap  kondisi start terlebih  dahulu.  Saat  aplikasi berada pada  kondisi start ,  maka  akan  ditampilkan  pilihan  jenis permainan.  Pengguna  memilih  jenis  permainan  yang diinginkan.  Terdapat  dua  jenis,  yaitu freeplay dan challenge . Diagram Alur proses permainan digambarkan pada Gambar 4.

## Gambar 4. Alur Proses Permainan
Pada  jenis  permainan Free  Play ,  pada  awalnya  pengguna memilih  jenis  suara  musik  yang  diinginkan.  Kemudian pengguna  dapat  memainkan  piano  virtual  secara  bebas  tanpa ada  waktu  dan score sesuai  dengan  jenis  suara  musik  yang dipilih.
Pada  jenis  permainan Challenge, pengguna  diberikan tantangan  memainkan  piano  virtual  dengan  lagu  yang  telah dipilih dan terdapat waktu yang telah ditentukan dimana pada akhir  permainan  terdapat  skor  yang  telah  berhasil  dicapai pengguna.  Terdapat  dua  level  pada  permainan,  yaitu Normal dan Hard . Pada level Normal , pengguna bermain piano virtual dengan  waktu  yang  telah  ditentukan  dan  pengguna  harus menekan  tombol  yang  berwarna  merah  untuk  mendapatkan skor.  Tombol  tidak  akan  berpindah  jika  pengguna  tidak menekan  tombol  tersebut.  Sedangkan  pada  level Hard , pengguna  juga  bermain  piano  dengan  waktu  yang  telah ditentukan  dan  harus  menekan  tombol  yang  berwarna  merah secepat-cepatnya.  Jika  tombol  tidak  tertekan  dalam  waktu tertentu,  tombol  berwarna  merah  secara  otomatis  akan berpindah. Diakhir permainan, skor akan muncul.
Setelah  memilih  jenis  permainan  yang  diinginkan. Pengguna memilih menu-menu yang telah disediakan aplikasi sesuai  jenis  permainan  yang  dipilih.  Kemudian  dilanjutkan
dengan  proses  interaksi  pengguna  dengan  objek  3  dimensi diawali dengan pendeteksian posisi jari pemain pada daerah di sepanjang penanda. Selama posisi jari tidak berada dalam area virtual button , maka tidak akan ada kejadian ( event ) yang akan dieksekusi.  Interaksi  hanya  dapat  terjadi  ketika  jari  pemain berada di area atau menyentuh area dari virtual button . Setiap event selesai  dieksekusi,  sistem  akan  menampilkan  tombol objek  lain  yang  berwarna  merah  secara  acak  untuk  ditekan pemain.

## IV. IMPLEMENTASI
Pada implementasi, aplikasi dibangun menggunakan Bahasa pemograman C#, perangkat pengembang Unity 3D dan Visual Studio  2012  serta Library Vuforia SDK.  Aplikasi  Piano Virtual menggunakan data set gambar penanda berupa file .jpg yang  telah  dikompres  dan  dikemas  dalam    bentuk file . unitypackage dari website Vuforia .  Data  set  ini merepresentasikan  penanda  dalam  bentuk  data  yang  mana akan  dimuat  dalam  kelas DatabaseLoadBehaviour sehingga sistem  dapat  membaca  dan  menggunakan data  set tersebut untuk  menampilkan  objek  3  dimensi  dalam    aplikasi.  Setelah penanda  dimuat,  sistem  akan  memulai  untuk  mengenali penanda  yang  berada  pada  area  yang  dilacak  oleh  kamera. Vuforia SDK  dapat  digunakan  untuk  gambar  penanda  yang lebih  dari  satu.  Namun  pada  satu  waktu,  sistem  hanya  dapat mengenali  satu  jenis  penanda.  Proses  pelacakan  gambar marker
diimplementasikan
dalam
kelas DefaultTrackableEventHandler . Dalam  kelas ini, terdapat dua fungsi utama dalam pelacakan penanda, yaitu OnTrackingFound dan OnTrackingLost .  Gambar  penanda yang  dipakai  dapat  dilihat  pada  Gambar  5.  Kemudian  susun dan  konfigurasi  objek  3  dimensi  dan Virtual  button pada gambar  penanda.  Gambar  konfigurasi Virtual  button pada marker dapa dilihat pada Gambar 6.
Gambar 5. Gambar Penanda Aplikasi Piano Virtual
Gambar 6. Konfigurasi Virtual button pada Objek Piano
Pada  proses  permainan  aplikasi  ini,  pengguna  memilih tombol Start pada  aplikasi,  aplikasi  memberikan  dua  pilihan
jenis  permainan  yang  diinginkan,  yaitu Free  Play dan Challenge . Free  Play merupakan  permainan  piano  virtual secara  bebas,  sedangkan Challenge merupakan  permainan piano  virtual  yang  memiliki  tingkatan  level  untuk  setiap lagunya.  Berbeda  dengan Free  Play ,  pada  jenis  permainan Challenge terdapat penunjuk tuts yang harus ditekan, info not, Score , TimeCounter , dan GameOver sehingga pengguna dapat mengetahui skor dari tantangan yang diberikan. Halaman Free Play dapat  dilihat  pada  Gambar  7,  sedangkan  halaman Challenge dapat dilihat pada Gambar 8.
Gambar 7. Halaman Free Play
Gambar 8. Halaman Challenge

## V. PENGUJIAN TERHADAP PENGGUNA
Setelah  aplikasi  selesai  dibangun,  maka  perlu  dilakukan pengujian  dengan  metode  kuesioner  untuk  pengujian performance Augmented reality dari aplikasi piano, pengujian permainan  dan  tingkat kenyamanan  aplikasi  dengan melibatkan  Mahasiswa  Teknik  Informatika  FTIf  ITS.  Metode kuesioner  yang  digunakan  adalah Likert-type  scale dengan skala  1-6.  pengisian  kuesioner  melibatkan    enam    responden yang  sudah  melakukan  pengujian.  Responden  diminta  untuk memainkan  aplikasi  ini,  setelah  itu  responden  diminta  untuk mengisi  kuesioner.  Kuesioner  tersebut  berisi  tiga  parameter yang mana masing-masing parameter terdiri dari 3 pernyataan yang memiliki bobot penilaian sebagai berikut:
1. sangat tidak setuju    = 1,
2. tidak setuju         = 2,
3. kurang setuju        = 3,
4. cukup setuju        = 4,
5. setuju              = 5,
6. sangat setuju          = 6.
Rangkuman hasil kuesioner dapat dilihat pada Tabel 1.
Tabel 1. Hasil Kuesioner NO PARAMETER NILAI RATA RATA TAMPILAN 1. Aplikasi memiliki tampilan, desain dan warna yang menarik 4.3 2. Aplikasi memiliki tampilan yang mudah dipahami 5 3. Aplikasi memiliki tata letak tombol yang mudah dikenali 4.6 KENYAMANAN 1. Aplikasi sudah nyaman digunakan (Dengan posisi tangan memegang smartphone ) 3.15
2. Aplikasi sudah nyaman digunakan (Tanpa memegang
smartphone , smartphone diletakkan di penyangga) 4,8 3. Pengguna bingung saat memainkan aplikasi 3 PERMAINAN 1. Aplikasi menyenangkan untuk dimainkan 4.5 2. Permainan pada aplikasi mudah dipahami 5 3. Tampilan virtual dari piano yang muncul pada smartphone sudah interaktif 4.17
Dari hasil kuesioner pada Tabel 1 didapatkan nilai rata-rata penilaian  terhadap  tampilan,  kenyamanan  dan  permainan. Nilai yang sudah melebihi angka 4 yang berarti “Setuju.”. Dari penilaian  pada  tampilan,  pengguna  cukup  setuju  aplikasi memiliki  tampilan  dan  desain  yang  menarik,  pengguna  juga setuju  bahwa  aplikasi  memiliki  tampilan  yang  mudah dipahami dan pengguna cukup setuju bahwa tata letak tombol aplikasi mudah dikenali.
Dari  penilaian  pada  kenyamanan,  pengguna  kurang  setuju bahwa  aplikasi  telah  nyaman  digunakan  jika  sambil memegang smartphone , pengguna lebih setuju jika smartphone diletakkan di penyangga saat memainkan aplikasi. Pengguna  juga  kurang  setuju  bahwa  pengguna  bingung  saat memainkan aplikasi.
Dari  penilaian  pada  permainan,  pengguna  cukup  setuju bahwa  aplikasi  menyenangkan  untuk  dimainkan.  Pengguna juga  setuju  bahwa  permainan  aplikasi  mudah  dipahami. Pengguna  cukup  setuju  bahwa  tampilan  piano  virtual  sudah interaktif.

## VI. KESIMPULAN/RINGKASAN
Aplikasi  Piano  Virtual  yang  dibangun  menggunakan teknologi Augmented  reality dan Vuforia SDK  berhasil mendeteksi Virtual  button fitur  bawaan  dari Library Vuforia SDK. Dari hasil pengujian, dapat disimpulkan bahwa  aplikasi ini  sudah  menyediakan  tampilan  yang  menarik  dan  mudah dipahami, permainan yang interaktif dan menyenangkan, serta aplikasi  ini  lebih  nyaman  dimainkan  tanpa  memegang smartphone dan diletakkan di penyangga.

## UCAPAN TERIMA KASIH
Penulis  R.F.F.  mengucapkan  terima  kasih  Jurusan  Teknik Informatika Institut  Teknologi Sepuluh Nopember,  Direktorat Pendidikan  Tinggi,  Departemen  Pendidikan  dan  Kebudayaan Republik Indonesia yang telah memfasilitasi penelitian ini.

## DAFTAR PUSTAKA
[1]   V.  Chouvatut  and  W.  Jindaluang,  "Virtual  Piano  with  Real-Time Interaction  Using  Automatic Marker Detection,"  in International
Computer Science and Engineering Conference , 2013. [2]   Wikipedia, "Piano," [Online]. Available: https://en.wikipedia.org/wiki/Piano. [Accessed 18 Februari 2016]. [3]   Wikipedia, "Musical Instrument," [Online]. Available: https://en.wikipedia.org/wiki/Musical_ keyboard #/media/ File :Klaviatur- 3-en.svg. [Accessed Mei Juni].
[4]   Wikipedia, " Augmented reality ," [Online]. Available:
https://en.wikipedia.org/wiki/Augmented_reality. [Accessed 18 Februari 2016].
[5]   Wikipedia,  " Vuforia Augmented  reality SDK,"  [Online].  Available: https://en.wikipedia.org/wiki/ Vuforia _Augmented_Reality_SDK. [Accessed 18 Februari 2016].
[6] Vuforia Developer,  " Vuforia API  Reference,"  [Online].  Available: https://developer. vuforia .com/ library /sites/default/api/unity/annotated.ht ml. [Accessed Mei 2016].
[7]   PTC Inc, "Frame Marker s," [Online]. Available:
https://developer. vuforia .com/ library //articles/Training/Frame- Marker s- Guide. [Accessed 18 Februari 2016].
[8]   PTC  Inc,  "How  To  Implement Virtual  button s,"  [Online].  Available: https://developer. vuforia .com/ library //articles/Solution/How-To- Implement-Virtual-Buttons. [Accessed 18 Februari 2016].