Abstrak —  Perkembangan  olah  citra  digital  telah  mengalami peningkatan  yang  sangat  signifikan  pada  awal  tahun  2010. S ebelumnya,  citra  digital  khususnya  animasi  komputer pertama  kali  bersifat  sederhana.  Dengan  majunya  teknologi komputer,  Citra  digital  telah  dapat  membuat  film  animasi dengan kualitas gambar yang mendekati nyata. Terdapat 2 cara membuat  ekspresi  wajah  pada  film  animasi  yaitu  dengan manual  dan  menggunakan  set  kamera  animator dengan biaya terbilang  mahal.  Intel  Realsense  3D Camera adalah teknologi kamera  yang  mampu  merespon  tangan,  lengan,  dan  gerakan kepala  serta  ekspresi  wajah.  Kemampuan  kamera  Intel Realsense  ini  dapat  mendeteksi  kedalaman  objek  secara  3 Dimensi.  Pada  S tudi  ini,  Penulis  membuat  aplikasi  faceshift dengan  menggunakan  teknologi  Intel  Realsense.  Aplikasi  ini mendeteksi  wajah  menambahkan  poin  landmark  pada  wajah pengguna  kemudian  data  wajah  disimpan  dan  kemudian digunakan  untuk  menggerakan  wajah  karakter.  S elain  itu studi ini juga dapat mendeteksi dan menampilkan ekspresi dari pengguna  melalui  pergerakan  emosi  pada  wajah.  Dari  hasil ujicoba  terhadap  berberapa  koresponden  pada  aplikasi  ini, aplikasi yang dibangun  berhasil memberikan pengalaman baru kepada  pengguna.  Aplikasi  ini  dapat  mendeteksi  dan menggerakan  karakter  sesuai  dengan  pergerakan  pengguna. S elain itu aplikasi ini juga sudah dapat mendeteksi emosi dari pengguna  walaupun  akurasi  masih  harus  ditingkatkan  lagi pada  hardware  kamera intel realsense. Dengan dikembangkan aplikasi  ini,  diharapkan  bisa  memudahkan  pengguna  untuk membuat  ekspresi  wajah  karakter  yang  lebih  baik  dan  lebih natural.
Kata  Kunci — Face  Tracking,  Intel  Realsense,  Musik,  User Experience, Avatar .

## I. PENDAHULUAN
erkembangan olah citra digital telah mengalami peningkatan yang sangat signifikan pada awal tahun 2010. Sebelumnya, citra digital khususnya animasi komputer pertama kali  hanya  sekadar  sebuah  garis  dan  bulat,  akan  tetapi sekarang  animasi  telah  berbentuk  hamper  seperti  asli.  Pada awalnya,  animasi  komputer  digunakan  dengan  tujuan penelitian  ilmiah,  teknik  dan  ilmu  pengetahuan  lain  nya. Dengan  majunya  teknologi  komputer,  semakin  canggih  hasil
yang  dihasilkan  dari  animasi  komputer  sehingga  animasi komputer juga digunakan untuk tujuan hiburan dan lain-lain.
Untuk  membuat animasi pun beragam, seperti dengan cara manual,  dynamic  simulation  dan  motion  capture.  Motion capture adalah metode pembuatan animasi dengan menggunakan  gerakan  asli,  kemudian  ditangkap  dengan  alat motion  capture  dan  hasilnya  kemudian  diaplikasikan ke objek digital  [1].  Akan  tetapi  banyak  alat  untuk  menangkap  motion pada  tubuh,  khususnya  pada  muka  yang  mengharuskan pengguna  untuk  menggunakan  helm khusus dan marker pada muka  untuk  mendeteksi  ekspresi  yang  dilakukan  oleh pengguna.
Intel  Realsense adalah pengembangan teknologi dari Intel, dimana Realsense menempatkan diri di teknologi tersebut sama seperti  kompetitor  lainnya  yang  menjadi  teknologi  awalnya yakni  Kinect  oleh  primesense,  dan  Leap  Motion  oleh  Leap. Fitur  yang  dimiliki  oleh  Intel  Realsense  sendiri  adalah  dapat melakukan  Facial  Analysis  seperti  deteksi  wajah,  mata, ekspresi, Hand & Finger Tracking dimana kita bisa mendeteksi setiap  sendi  yang  ada  di  jari  kita,  speech  recognition dimana kita  bisa  mengenali  suara  dan  bisa  mengendalikan  segala sesuatu  dikomputer  dengan  suara,  background  subtraction , dan Augmented Reality [2].
Pada  studi  ini  akan  mencoba  menerapkan  fitur  pada teknologi  Intel RealSense yaitu Face Tracking untuk membuat ekspresi  pada  karakter  avatar  sehingga  dihasilkan  ekspresi wajah yang terlihat nyata secara real time.

## II. TINJAUAN PUSTAKA

## A. Intel Realsense
Intel  Realsense  3D  Camera adalah  teknologi  kamera  yang mampu  merespon  tangan,  lengan,  dan  gerakan  kepala  serta ekspresi  wajah.  kemampuan  kamera Intel Realsense ini  dapat mendeteksi  22  sendi  di satu telapak tangan kita dan juga bisa mendeteksi kedalaman daam bentuk 3 dimensi.
Teknologi  Intel  Realsense  terdiri  dari  perangkat  dengan kamera  Intel  RealSense  3D  memiliki  tiga lensa. Jadi terdapat 3 kamera  yang  saling  terintegrasi,  tiga  kamera  tersebut  adalah kamera  konvensional,  kamera  inframerah,  dan  laser  proyektor inframerah.  Gambar  kamera  intel  realsense  dapat  dilihat  pada

## Rancang Bangun Aplikasi Faceshift
Menggunakan Motion Capture pada Wajah dengan Teknologi Intel Realsense
Ishardan, Darlis Herumurti, dan Anny Yuniarti
Departemen Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember
(ITS)
e-mail : anny@if.its.ac.id
P
Gambar 1.
Ketiga lensa kamera tersebut memungkinkan perangkat untuk menyimpulkan kedalaman dengan mendeteksi cahaya inframerah dari benda-benda yang ada di depannya.

## Gambar 1. Gambar kamera intel realsense [3]
Kemudian  data  visual  yang  diambil  dikombinasi  dengan software pelacak gerak Intel RealSense [3].
Intel  Realsense  memiliki  3  s ensor  dengan  fungsi  yang berbeda  seperti  terlihat  pada  gambar  di  atas.  Ketiga  sensor tersebut  akan  meneruskan  data  yang  sudah  diperoleh  ke komponen  Imaging  Processor.  Sensor  yang  pertama  bernama IR  (Infra-Red)  Sensor  atau  sensor  inframerah  yang  memiliki fungsi  untuk  menghitung itentitas cahaya (brightness). Selain Infra-Red  Sensor,  terdapat  Color  Sensor  dan  Infra-Red Projector.
Prinsip  kerjanya  yaitu  gelombang  inframerah  dipancarkan kedepan  kamera,  kemudian  gelombang  akan  memantul  balik ketika  terkena  dengan  benda.  Itensitas  cahaya  yang dipantulkan  akan  semakin  besar  apabila  terkena  benda  yang memiliki  itensitas  cahaya  lebih  terang.  Infra-Red  Sensor  ini biasanya digunakan pada kamera digital dan robot Line Tracker Sensor  yang  kedua  adalah  Color  Sensor  yang  berfungsi untuk menerima warna pada gambar. Sensor ini dapat menerima warna  dengan  format  Red  Green  Blue  (RGB) pada permukaan objek.  Kemudian  warna  yang  sudah  diperoleh  akan dikonversikan ke dalam bentuk pixel. Sensor warna ini biasanya digunakan  pada  perangkat  kamera  digital.  Intel  Realsense  ini dapat mengambil gambar dengan ukuran maksimal 1080p.
Sensor  yang  ketiga  adalah  IR  Laser  Projector.  Sensor  ini berguna  untuk  mendeteksi  kedalaman  atau  jarak  terhadap objek.  Sensor  ini  dapat  menangkap objek 3 Dimensi sehingga alat  ini  dapat  digunakan  untuk  memindai objek dan kemudian dikonversi  dalam  bentuk  3  Dimensi.  Prinsip  kerjanya  adalah sensor  ini  akan  memancarkan  resonansi ke depan kamera dan apabila  resonansi  tersebut  bertabrakan  dengan  objek,  maka resonansi  akan  memantul  kembali.  Dengan  begitu  sensor  ini akan menerima jarak/kedalamn suatu objek.

## B. Avatar
Film  animasi,  atau  biasa  disingkat  animasi  saja,  adalah  film yang  merupakan  hasil  dari  pengolahan  gambar  tangan sehingga  menjadi  gambar  yang  bergerak.  Pada  awal
penemuannya, film animasi dibuat dari berlembar-lembar kertas gambar  yang  kemudian  di-"putar"  sehingga  muncul  efek gambar  bergerak.  Dengan  bantuan  komputer  dan  grafika komputer,  pembuatan  film  animasi  menjadi sangat mudah dan cepat.  Bahkan  akhir-akhir  ini  lebih  banyak  bermunculan  film animasi 3 dimensi daripada film animasi 2 dimensi.
Avatar  merupakan  karakter  yang  ada  di dalam film animasi. Avatar terdiri dari 2D dan 3D. Pembuatan avatar juga bermacam macam salah satunya adalah dengan cara manual atau deng an komputer.  Untuk  manual  dan  komputer  sang  creator memerlukan  contoh  dari  orang  atau  hewan  nyata  agar  dapat membentuk  avatar  yang  nyata.  Akan  tetapi untuk pembuatan dengan  komputer  dapat  lebih  mudah  karena  tidak  perlunya membuat setiap frame dari avatar.  Pembuatan ekspresi karakter dengan  komputer  bisa  dengan  manual  atau  dapat  otomatis dengan  bantuan  alat,  salah  satunya  adalah  kamera Intel Realsense.

## C. Blender 3D
Blender  adalah  perangkat  lunak  sumber  terbuka  grafika komputer  3D.  Perangkat  lunak  ini  digunakan  untuk  membuat film  animasi, efek visual, model cetak 3D, aplikasi 3D interaktif dan permainan video. Blender memiliki beberapa fitur termasuk pemodelan  3D,  penteksturan,  penyunting  gambar  bitmap, penulangan,  simulasi  cairan  dan  asap,  simulasi  partikel, animasi, penyunting video, pemahat digital, dan rendering.

## III. ANALISIS DAN PERANCANGAN

## A. Analisis Sistem
Aplikasi  ini  dibangun  untuk  memudahkan  creator  animasi membuat  karakternya  agar  terlihat  lebih  hidup.  Karena pembuatan animasi wajah yang bagus dan cepat membutuhkan peralatan  lain  yang  lebih mahal seperti helmet camera rig atau creator  dapat  menggunakan  aplikasi  saja  dan  menghasilkan ekspresi  yang  kurang  hidup  dan  cenderung  memakan  waktu yang lama.
Aplikasi  ini  digangun  menggunakan  teknologi  Intel Realsense  sehingga  pengguna  dapat  membuat  ekspresi karakter  sesuai  dengan  ekspresi  dari  pengguna  itu  sendiri. Aplikasi  ini  dibangun  menggunakan  Unity  karena  fitur-fitur pada aplikasi ini tergolong lengkap dan mudah untuk dipahami. Fitur  tersebut  seperti  pembuatan  kamera,  pendeteksi  wajah, mengganti  karakter,  deteksi  emosional  dengan  imk  UI  (User Interface) serta UX (User Experience) yang baik.

## B. Perancangan UI (User Interface) Faceshift
Perancangan UI (User Interface) aplikasi faceshift menggunakan Blender 3D. Pembuatan desain karakter dan latar dibangun  dengan  Blender  3D.  Desain  karakter dan latar yang dibuat merupakan desain 3D. Aplikasi ini termask open source yang  fiturnya  cukup  lengkap  serta  banyak  animator  yang membuat  karakter  menggunakan  aplikasi  ini.  Setelah  itu diberikan  pencahayaan  pada  unity  agar  memberikan  kesan
yang lebih nyata.

## C. Perancangan Algoritma
1. Rancangan Pendeteksi Wajah Pengguna
Aplikasi  ini  menggunakan  pergerakan  muka  pengguna sebagai  input  utama.  Sehingga  aplikasi  ini  harus  dapat mendeteksi  gerakan  wajah. Untuk itu dibutuhkan kamera Intel Realsemse yang  dapat  mendeteksi  gerakan  pada  wajah. Kemudian  agar  data  gerakan  wajah  dapat  digunakan  pada aplikasi,  diperlukn Intel  Realsense  SDK. Intel Realsense SDK sendiri  memiliki  banyak  fitur  salah  satunya  adalah face detection.
Konsep  dari face  detection adalah  kamera Intel  Realsense mendeteksi  bagian  serta  pergerakan  ekspresi  pada  wajah. Selain pergerakan ekspresi pada wajah, kamera Intel Realsense juga  dapat  mengenali  pergerakan  leher  pengguna  sehingga karakter  dapat  menggerakan  kepala.  Jarak  yang  dapat dijangkau kamera ini untuk mendeteksi wajah adalah 35 sampai 60  cm.  Kemudian  processor Intel dengan  minimal  generasi  4 keatas  akan  memproses landmark   data dengan  algoritma Landmark  Detection akan menampilkan 78 landmark poin pada wajah  untuk  mendeteksi  wajah  secara  3D  [2].  Setiap  titik mewakili  dari  bagian  wajah,  seperti  mata,  hidung,  alis  dan mulut.  Penggunaan  kacamata dan rambut yang panjang dapat menyebabkan focus pada kamera menjadi berkurang. 2. Rancangan Pendeteksi ekspresi Wajah Ketika  titik-titik  pada  wajah  berhasil  ditampilkan  di  layar dengan fitur face tracking pada Intel Realsense, maka tahapan selanjutnya  adalah  mengolah  data  tersebut  agar  didapatkan ekspresi pada wajah.
Untuk  mendeteksi  ekspresi  yang  sedang  dilakukan  oleh pengguna,  Intel  Realsense  menyediakan  library  Emotion Detection  yang  digunakan  untuk  mendeteksi  emosi  dari pengguna.  Library  Emotion  Detection  menyediakan  2 parameter  yaitu  evidence  dan  intencity  [3].  Evidence  adalah nilai  yang  merepresentasikan  kemungkinan  di  dalam  berbasis 10  bahwa  ekspresi  tersebut  terjadi  dalam  waktu  sekarang.
Sebagai  contoh  ekspresi  senyum  yang  dilakukan  pengguna memiliki nilai 2 untuk ekspresi Happy sehingga mengidentifikasi  bahwa  nilai  tersebut  memiliki  100  kali  lebih terkatagoris  pada    ekspresi  happy,  dan  nilai  -2  pada ekspresi Sad  mengidentikasi  bahwa  nilai  tersebut  memiliki  100  kali kemungkinan  tidak  terjadi  pada ekspresi sad. Intencity adalah nilai  yang  menunjukan  intensitas  suatu  ekspresi  mu ncul dengan nilai pada Tabel 1.
Library  Emotion  Detection  memiliki  6  data  ekspresi  yaitu happy, sad, angry, surprise, disgust dan fear, serta.3 sentimen positive negative dan neutral yang memiliki nilai intencity dan evidence  yang  berbeda  sehingga  intel  realsense  dengan otomatis  mengetahui  ekspresi  pengguna  dengan  memasukan nilai  landmark  pengguna  kedalam  tiap  ekspresi  dan sentimen. Setelah  itu  nilai  dari  masing  masing  ekspresi  dan  setiment diambil  paling  tinggi  untuk  diketahui  ekspresi  mana  yang cocok  pada  pengguna.  Contohnya  ketika  pengguna  senyum, maka nilai intencity dan evidence pada happy akan lebih besar dibandingkan  ekspresi  yang  lain  sehingga  ekspresi  yang dilakukan adalah happy.
3. Rancangan Pergerakan Animasi Wajah Karakter Untuk  mengerakkan  wajah  dari  karakter,  pertama  kali  di inisialisasi object pada karakter seperti bodyobject, mouthobject, dan eyeobject.  Intel  Realsense  SDK memiliki library faceanimation untuk pergerakan ekspresi wajah seperti leftEyeRotation,  rightEyeRotation, jawposition dan  gesture lainnya  sesuai  dengan  object  masing  masing.  Untuk menggerakan  ekspresi  tersebut  terdapat 2 data yang berbeda, yang  pertama  digunakan  untuk  menggerakan  karakter,  dan yang kedua data landmark pengguna. Contohnya _rBrowDownInitialValue digunakan  untuk  menyimpan  nilai pergerakan  karakter  dan _rBrowDownBodyBlendShapeIndex digunakan  untuk  menyimpan  data  dari  wajah  pengguna. Kemudian  dicek  apakah  karakter  memiliki  objek  yang diperlukan  atau  tidak.  Apabila  karakter  memiliki  semua  objek yang  diperlukan,  maka  data  dari face  track ing dipindahkan untuk  menggerakan  karakter  sesuai  dengan  gerakan  wajah pengguna.
4. Rancangan Pengganti karakter
Aplikasi  yang  akan  dibangun  akan  memiliki  fitur  tambahan yaitu  pengguna  dapat  mengganti  karakter  yang  digunakan sesuai  dengan  jumlah  karakter  yang  ada  di  aplikasi.  Untuk mengganti  karakter  pertama  kali  semua  karakter dimasukan ke dalam  array  karakter.  Setelah  itu  di  set  urutan  dari  semua karakter.  Untuk  karakter  pertama  diset  sebagai current character . Ketika  karakter  diganti, current  character dipindahkan  ke  urutan  setelahnya  dan environtment dan object dipindahkan ke depan kamera dan setactive dihidupkan . . Karakter  sebelumnya  diambil environtment dan object kemudian  dipindahkan  ke  tempat  yang  lain  dan setactive dimatikan.

## D. Perancangan Perangk at Lunak
Aplikasi  yang  akan  dibangun  adalah  sebuah  aplikasi  yang menggerakan  ekspresi  karakter  animasi.  Aplikasi  faceshift  ini akan menampilkan badan manusia secara penuh seperti kepala, badan  dan  tangan.  Sudut  pandang  yang  digunakan  pada aplikasi ini adalah mengambil dari sisi depan.
Cara memainkan aplikasi ini menggunakan pergerakan wajah. Tidak  seperti  aplikasi  animasi  lain  nya,  aplikasi  ini menggunakan wajah pengguna digunakan untuk menggerakan pergerakan  wajah  karakter  secara  langsung.  Pergerakan dimaksudkan  adalah  pergerakan  kepala,  badan  dan  ekspresi wajah pada karakter menggunakan kamera Intel Realsense.
T abel 1.
Nilai interval intencity[3] Value interval Description of Emotion Expression 0.0  , 0.2 Expression is likely absent 0.2 , 0.4 Expression is of low intencity 0.4, 0.6 Expression is of medium intencity 0.6 , 0.8 Expression is of high intencity 0.8 , 1.0 Expression is of high intencity

## E. Perancangan Sistem
Tahap  perancangan  dalam  subbab  ini  dibagi  menjadi beberapa bagian yaitu perancangan diagram kasus penggunaan,  perancangan  skenario  kasus  penggunaan, perancangan  arsitektur,  perancangan  antarmuka  pengguna, dan perancangan kontrol aplikasi.
Dalam aplikasi studi ini, terdapat 4 kasus penggunaan yang ada  yaitu  dapat  mendeteksi  wajah  pengguna,  menampilkan emosi  pengguna, menggerakan wajah karakter, dan mengganti karakter yang dapat dilihat pada Gambar 2.
Gambar 2. Gambar diagram kasus

## IV. UJI COBA APLIKASI
Bab  ini  membahas  hal  mengenai  uji  coba  dan  evaluasi aplikasi  Faceshift  menggunakan  kamera  intel  realsense.  Uji coba  dilakukan  menggunakan  metode  black box (kotak hitam) berdasarkan skenario yang telah ditentukan.

## A. Pengujian Fungsionalitas
Hasil  pengujian  fungsionalitas  yang  sudah  dilakukan berdasarkan  usecase  UC-001  sampai  dengan  UC-004.  Empat pengujian  yang  telah  dilakukan  menunjukan  bahwa  program telah berjalan dengan baik. Rekapitulasi ditunjukan pada Tabel 2.
Penggujian  fungsionalitas  terdiri  dari:  Mendeteksi  wajah pada  Gambar  4,  Penggerakan Kepala Karakter pada Gambar 5, Gambar  6,  dan  Gambar  7,  Mendeteksi  emosi  pengguna  pada Gambar 8 dan Gambar 9, dan Mengganti karakter pada Gambar 10 dan Gambar 11.
Gambar 4. Mendeteksi wajah pengguna
Gambar 5. Implementasi yawl
Gambar 6. Implementasi pitch
Gambar 7. Implementasi roll Gambar 8. Implementasi emosi happy
T abel 2. T abel pengujian fungsionalitas
Nomor pengujian Hasil pengujian UCI-001 Berhasil UCI-002 Berhasil UCI-003 Berhasil UCI-004 Berhasil
Gambar 9. Implementasi emosi sad
Gambar 10. Implementasi Sebelum Ganti Karakter
Gambar 11. Implementasi Sesudah Ganti Karakter

## B. Pengujian Pengguna
Pengujian  pad  perangkat  lunak  yang  dibangun tidak hanya  digunakan  pada  fungsionalitas  sendiri,  tetapi  ada juga pada pengguna untuk percobaan secara langsung. Penggujian ini berfungsi sebagai pengujian subjektif yang bertujuan untuk megetahui  tingkat  keberhasilan  aplikasi  dari  sudut  pandang pengguna. Hal ini didapatkan dengan quisioner yang diberikan kepada  penguji.Pengujian  memiliki penilaian pada Tabel 3 dan Tabel 4.
V. KESIMPULAN/RINGKASAN
Dalam  proses  pengerjaan  studi  mulai  dari  tahap  analisis, desain, implementasi, hingga pengujian didapatkan kesimpulan sebagai berikut:
1. Aplikasi  faceshift  yang  dibangun  menggunakan tekologi Intel  Realsense  SDK  dapat  mendeteksi  emosi  pengguna walaupun  dengan  akurasi  yang  kurang  tepat  dikarenakan, kamera  Intel  Realsense  sering  memiliki  nilai  intencity  yang sama  pada  dua  atau  lebih  emosi  sehingga  salah  mengartikan emosi dari pengguna.
2. Aplikasi  ini  menyediakan  tampilan  yang  menarik  dan mudah dimengerti.

## DAFTAR PUSTAKA
[1] Wikipedia,  “Computer  Animation,”  2012. [Online]. Available: https://en.wikipedia.org/wiki/Computer_animation.
[2] V.  Silva,  F.  Soares,  J.  S.  Esteves,  and  J.  Figueiredo,  “ Real-time Emotions Recognition System,” New York, 2016.
[3] Intel, “Intel Realsense,” 2015.  [Online].  Available:
https://intelrealsense.com. T abel 3. T abel nilai pengujian Nilai Hasil pengujian 1 Sangat tidak setuju 2 T idak setuju 3 Kurang setuju 4 5
6
Cukup setuju
Setuju
Sangat Setuju
T abel 4. T abel quisioner No Pasangan 1 2 3 4 5  Rata 1 Apakah aplikasi mudah digunakan? 6  5 3 6 6 5.8 2 Apakah tampilan aplikasi sudah baik? 5  5 6 6 5 5.2 3 Apakah  aplikasi  sudah  nyaman digunakan? 5  5 5 5 5 5 4 Aplikasi  dapat   berjalan  lancar tanpa adanya lag dan atau crash 5  5 5 5 4 4.6 5 Saya  merasa  terbantu  dengan adanya petunjuk yang disediakan 4  5 4 5 6 5 6 Saya dapat menggunakan kamera, walaupun untuk pertama kalinya 5  5 5 6 6 5.4 7 Semua  karakter  bergerak  sesuai dengan gerakan pengguna 4  4 5 5 5 4.6 8 Emosi  dapat  ditampilkan sesuai dengan yang diinginkan 4  3 5 5 4 4.2 Nilai total = 44.75