Pemanfaatan Tools Live2D  terhadap  Animasi  menggunakan Metode Face Tracking
Azhilla Margiani Saraswati 1 , Iwan Rizal Setiawan 2 , Asriyanik 3 1,2,3 Universitas Muhammadiyah Sukabumi Jl. R. Syamsudin, S.H. No. 50, Cikole, Kec. Cikole, Kota Sukabumi, Jawa Barat 43113, (0266) 218345, e-mail: 1 margiani.azhilla@gmail.com, 2 metalizer5150@ummi.ac.id, 3 asriyanik@ummi.ac.id

## ARTICLE  INFO
Article history:
Received Februari  2023
Received in revised form April 2023 Accepted Mei 2023
Available online Juli 2023

## ABSTRACT
In  the  era  of  globalization,  cultural  exchange  is easier  to  do.  One  of  the  cultures  that  are  popular with  young  people  in  Indonesia  is  Japanese animation.  Animation  is  an  image  that  is  made  to look  real  with  artificial  intelligence  technology.  At this  time  many  people  are  interested  in  animated content  that  is  displayed  in  real-time  via  social media,  but  there  are  still  many  who  have  not  been able  to  present  it  optimally  regarding  the expressions and movements of the characters. So the researchers  used  the  face  tracking  method  in  the Live2D  application  to produce  animated characters that can  interact  directly  with  the  exact expressions of  the  actors  behind  the  camera.  Tests  using  Vtube Studio  Unity  proved  that  the  animations  created succeeded in  displaying  the actors'  expressions  and movements  in  real-time.  The  final  result  of  the animation  created  is  distributed  via  social  media YouTube and TikTok.
Keywords: Animation,  Live2D,  Character,  Face Tracking

## 1. Pendahuluan
Pesatnya  arus  globalisasi  membuat  mudahnya  budaya  asing  masuk  ke  dalam  negeri. Salah satu kebudayaan yang banyak diminati oleh kalangan muda di Indonesia adalah berasal dari negara  Jepang.  Melalui  hasil  “ Survey  on  Japanese-Language  Education  Abroad  2021 ”  yang diadakan  oleh  The  Japan  Foundation,  diketahui  bahwa  terdapat  lebih  dari  700.000  orang Indonesia yang sedang belajar bahasa Jepang [1]. Maraknya orang Indonesia yang belajar bahasa Jepang  selain  karena  tujuan  ingin  belajar  bahasa  itu  sendiri,  juga  dipengaruhi  oleh  populernya kebudayaan  Jepang  seperti  animasi,  manga,  kultur  pop  Jepang,  mode  busana,  dan  lain-lain  yang membuat daya tarik luar biasa pada kalangan muda di Indonesia.
Animasi  merupakan  salah  satu  produk  media  jepang  yang  terus  berkembang  selaras dengan  perkembangan  teknologi.  Animasi  merupakan  gambar  yang  dibuat  seperti  tampak  nyata dengan  teknologi  kecerdasan  buatan  untuk  memvisualisasikan  objek,  animasi  berasal  dari penyesuaian  kata animation yang  berasal  dari  kata  dasar to  animate .  Animasi  terdiri  dari  dua jenis,  yang  pertama  adalah  2D  yaitu  suatu  gambar  dua  dimensi  yang  dibuat  secara  tradisional menggunakan  media  pensil  dan  kertas  yang  berbentuk  datar,  dan  yang  kedua  adalah  3D  yaitu animasi  tiga  dimensi  yang  merupakan  perkembangan  dari  animasi  2D  yang  dibuat  semirip mungkin  dengan  objek  di  dunia  nyata.  Dengan  adanya  animasi  3D,  karakter  yang  ditunjukkan semakin  menyerupai  wujud  aslinya  hal  itu  juga  berkat  bantuan Artificial  Intelligence atau kecerdasan buatan.
Pemanfaatan Tools Live2D terhadap Animasi menggunakan Metode Face Tracking (Azhilla Margiani Saraswati)
Kecerdasan  buatan  adalah  kemampuan  yang  ditambahkan  ke  dalam  sistem  untuk menafsirkan informasi eksternal dengan benar dan mengelola serta menggunakan informasi yang diproses  untuk  tujuan  tertentu  [2]  [3].  Contoh  dari  kecerdasan  buatan  yang  diterapkan  dalam animasi  yaitu  digunakan  dalam  pembuatan  konten  oleh  para virtual  content  creator . Virtual content  creator merupakan  pembuat  konten  digital  layaknya  manusia  tetapi  menampilkan  diri dalam  bentuk  karakter  animasi  2D  atau  3D  yang  berinteraksi  secara  langsung  melalui  layanan media sosial seperti YouTube, TikTok dan sebagainya. Meski dalam bentuk karakter, para virtual content  creator tidak  perlu  lagi  menganimasikan frame  by  frame dari  karakter  yang ditampilkannya,  dalam  hal  ini  kecerdasan  buatan  berperan  penting  pada  setiap  hasil  yang ditampilkan.
Pada  tahun  2016  istilah virtual  content  creator muncul  pada  kalangan  para youtuber di Jepang,  virtual  youtuber  adalah  istilah  yang  dipakai  para youtuber yang  menggunakan  animasi untuk  berinteraksi  dengan  manusia  sebagai  pengganti  dirinya  sendiri,  salah  satu virtual  content creator pertama  di  Jepang  adalah  Hatsune  Miku.  Terlepas  dari  ketenarannya  yang  luar  biasa, sampai  saat  ini  para  penggemarnya  masih  belum  mengetahui  siapa  orang  di  balik  karakter tersebut  [4].  dari  uraian  ini  dapat  diambil  kesimpulan  bahwa virtual  content  creator mampu membuat  privasi  si  pembuat  konten  tetap  terjaga  meskipun  memiliki  popularitas  yang  besar. Dalam  pembuatan  konten  visual  secara  virtual,  ada  suatu  metode  yang  dapat  digunakan  yaitu Facial Motion Capture atau biasa disebut dengan Face Tracking . Face tracking adalah teknologi hasil proses  komputer yang digunakan  untuk  identifikasi wajah manusia yang tertangkap oleh kamera. Dengan algoritma yang telah dikembangkan secara luas, komputer dapat mengenali  wajah  melalui tekstur, bentuk,  dan  hal lain  yang  ditangkap oleh kamera.  Metode  ini  menyesuaikan  titik-titik  pada  pergerakan  wajah  manusia  yang  kemudian dapat digunakan  dalam pembuatan ilustrasi yang dapat menyesuaikan pergerakan  manusia. Face tracking bekerja  secara  kompleks  mengingat  betapa  fleksibelnya  gerakan  yang  mungkin ditangkap  kamera  terlepas  dari  pencahayaan,  ekspresi,  transformasi,  pose,  dan  perubahan  sudut pandang [5].
Salah  satu  aplikasi  yang  dapat  membantu  dalam  pembuatan  animasi  dengan menggunakan  metode face  tracking adalah  Live2D.  Live2D  merupakan  aplikasi  buatan  Jepang yang memberikan kemudahan penggunanya dalam membuat animasi, aplikasi ini  memungkinkan ilustrasi menjadi bergerak dan tampil interaktif tanpa perlu membuat model 3D ataupun frame by frame. Live2D biasanya menggunakan metode rigging , yaitu digital framework dalam bentuk 3D mesh ,  metode  ini  bekerja  dengan  melakukan  pemasangan  tulang  pada  setiap  karakter  sehingga dapat digerakan sesuai dengan pergerakan  manusia yang telah  ditangkap dengan kamera melalui bantuan face tracking [6].
Tujuan  dari  penelitian  ini  adalah  menghasilkan  sebuah  karakter virtual  content  creator yang  dikembangkan  melalui  aplikasi  Live2D  dengan  menggunakan  metode face  tracking yang kemudian dapat dimanfaatkan dalam membuat konten untuk dipublikasikan melalui media sosial media  ataupun  kanal  pemutar  video  secara  langsung  sehingga  dapat  dinikmati  oleh  khalayak umum tanpa khawatir adanya pelanggaran privasi.

## 2. Metode Penelitian
Dalam  pengembangannya,  penelitian  ini  menggunakan  metode  MDLC.  Multimedia Development  Life  Cycle  (MDLC)  yaitu  merupakan  metode  yang  biasa  digunakan  dalam merancang  aplikasi  dari  penggabungan  media  suara,  gambar,  animasi,  video,  dan  sebagainya. Ada enam tahapan umum dalam metode MDLC, diantaranya concept, design, material collecting, assembly, testing, dan distribution [7] . Sementara dalam pembuatan dan pengujian animasi untuk membuktikan  bahwa  karakter  dapat  berjalan  interaktif,  digunakan  metode face  tracking .  Berikut ini diagram dan alur kerja metode-metode yang digunakan.

## Gambar 1. Tahapan Umum Metode MDLC

## 2.1 Konsep (Concept)
Konsep  diperoleh  lewat  beberapa  cara,  yang  pertama  adalah  analisa  terhadap  beberapa komunitas  melalui  survei  yang  disebarkan  dalam  bentuk  kuesioner  dengan  media google  form yang diisi oleh 125 responden, yang kedua adalah melalui studi pustaka dari jurnal terdahulu, dan yang  terakhir  adalah  wawancara  tidak  terstruktur  terhadap  beberapa  orang  yang  memiliki ketertarikan dalam animasi.
2.2 Perancangan (Design)
Perancangan  dilakukan  setelah  mendapatkan  konsep  yang  sesuai  dari  hasil  analisa. Dibuat suatu skesta karakter yang diharapkan dapat diminati oleh para penikmat animasi.
2.3 Pengumpulan Bahan (Material Collecting)
Pengumpulan bahan dilakukan sebagai penunjang dalam terlaksananya proses penelitian. Diantaranya  yaitu  mempersiapkan  perangkat  keras  dan  perangkat  lunak  yang  dibutuhkan  dalam pembuatan animasi dan tahapan lainnya.
2.4 Perakitan (Assembly)
Perakitan  mulai  dikerjakan  ketika  tahap  konsep,  perancangan,  dan  pengumpulan  bahan telah  dilakukan.  Yang  pertama  dilakukan  dari  perakitan  adalah  membuat  karakter  berdasar  pada sketsa sebelumnya, lalu mentransfer data kedalam aplikasi Live2D sehingga metode face tracking dapat bekerja.
Gambar 2. Alur Metode Face Tracking
Dari alur metode face tracking ini dapat dijabarkan sebagai berikut:
1. Object ditujukan kepada wajah manusia.
2. Kamera atau webcam digunakan untuk menangkap data wajah dari object
3. Extracting adalah  proses  mengekstrak  data  dari object ,  menyesuaikan  titik-titik  pada pergerakan  wajah  manusia  yang  selanjutnya  data  tersebut  diarahkan  kedalam object tracker .
Pemanfaatan Tools Live2D terhadap Animasi menggunakan Metode Face Tracking (Azhilla Margiani Saraswati)
4. Data  live2D  yang  dihasilkan  dari  proses  pemberian  struktur  karakter  diarahkan  juga kedalam object tracker .
5. Didalam object tracker ,  data  titik-titik  pada object yang  sudah  di  ekstrak  melakukan konfigurasi terhadap data live2D karakter.
6. Jika  konfigurasi  telah  selesai  maka  langkah  selanjutnya  yaitu  menuju  OBS  ( Open Broadcaster System ) .
7. Maka  karakter  telah  siap  ditampilkan  dalam  aplikasi live  streaming maupun  aplikasi meeting online.
2.5 Pengujian (Testing)
Untuk  menguji  apakah  karakter  yang  dibuat  berjalan  interaktif  sesuai  yang  diharapkan, maka  data  Live2D  diinput  ke  dalam  aplikasi  pengujian face  tracking yaitu  Vtube  Studio  Unity. Pengujian berjalan dengan cara pengguna menggerakkan wajahnya, dan apabila karakter bergerak sesuai  dengan  perintah  atau  mengikuti  ekspresi  wajah  pengguna  secara  keseluruhan,  maka penelitian  dapat  dilanjutkan  menuju  tahap  distribusi,  namun  jika  karakter  belum  bergerak  sesuai dengan perintah, maka penelitian harus kembali dievaluasi dan kembali ke tahap perakitan. 2.6 Distribusi (Distribution)
Distribusi  merupakan  tahap akhir  yang  dilakukan  dalam  penelitian.  Distribusi  dilakukan ketika semua tahap telah terlaksana dengan baik sehingga karakter yang dibuat sudah sangat siap untuk  dipublikasikan  secara  umum.  Karakter  dipublikasikan  ke  dalam  aplikasi  live  streaming menggunakan  aplikasi  OBS  yang  selanjutnya  dapat  didistribusikan  pada  media  sosial  seperti YouTube, TikTok, FaceBook, dan sebagainya.

## 3. Hasil dan Pembahasan
Setelah  melakukan  analisa  melalui  survei  terhadap  125  responden,  dihasilkan  bahwa 78,4% atau 98 orang menyatakan tertarik dengan budaya Jepang.
Gambar 3. Hasil Survei Ketertarikan terhadap Budaya Jepang Selain  itu  juga,  terdapat  88,4%  responden  menyatakan  tertarik  dengan  animasi,  yang artinya 28,4% lebih banyak daripada ketertarikan mereka terhadap manga.
Gambar 4. Hasil Survei Ketertarikan terhadap Manga dan Animasi Sementara  itu,  dari  hasil  wawancara  tidak  terstruktur  ditanyakan  mengenai  karakter seperti  apa  yang  disukai,  dan  hasilnya  didapatkan  informasi  bahwa  para  responden  cenderung
menjawab  menyukai  karakter  wanita  dan  karakter  lucu  lainnya  seperti  hewan  menggemaskan, anak  kecil,  dan  penggunaan  warna  yang  beragam.  Dari  hasil  analisa,  maka  peneliti  mengambil kesimpulan untuk membuat suatu karakter animasi interaktif yang menggabungkan beberapa poin yang disukai para responden.
Gambar 5. Sketsa Karakter
Pengumpulan  bahan  dalam  penelitian  ini  dibagi  menjadi  dua  yaitu  perangkat  keras  dan perangkat  lunak.  Setelah  berbagai  pertimbangan,  berikut  adalah  perangkat  keras  yang  peneliti gunakan selama melakukan penelitian.
Tabel 1. Perangkat Keras yang Digunakan Komputer Sistem Operasi Windows 10 64-bit Processor  AMD  /  Intel  CPU  1.8 GHz Memori RAM 4GB Grafik AMD / NVIDIA Pen Tablet Huion H420 Graphic Tablet Veikk Creator VK1060PRO Ipad Mini 6 include Apple Pencil Komputer digunakan sebagai media dalam  menampilkan hasil dari gambar yang peneliti rancang  melalui  pen  tablet,  selain  itu  juga  komputer  digunakan  sebagai  media  dalam memprogram karakter yang  dihasilkan, untuk dimasukkan ke dalam aplikasi Live2D.  Sedangkan Pen tablet digunakan untuk mempermudah peneliti dalam proses menggambar karakter, goresan- goresan  yang  dibuat  dalam  pen  tablet  akan  tertuang  dalam  aplikasi  gambar  digital.  Selain  dari perangkat keras, terdapat perangkat lunak yang dijadikan alat utama dalam melakukan penelitian.
Tabel 2. Perangkat Lunak yang Digunakan
Aplikasi Gambar PaintTool Sai Aplikasi Pengujian Face Tracking
Vtube Studio Unity
Setelah  mempertimbangkan  kekurangan  dan  kelebihan  dari  beberapa  aplikasi,  peneliti memutuskan  menggunakan  PaintTool  Sai  sebagai  aplikasi  dalam  pembuatan  gambar,  beberapa kelebihan diantara yang lain adalah karena aplikasi ini paling ringan dari segi minimun spesifikasi perangkat dan memiliki tools yang lengkap untuk  menggambar digital. Selain itu, untuk aplikasi pengujian face  tracking ,  peneliti  menggunakan  Vtube  Studio  Unity  karena  lebih  lengkap  dan pengujian yang akurat.
Dalam  perakitan,  yang  pertama  dilakukan  adalah  pembuatan  karakter,  mengubah  sketsa yang  sebelumnya  dirancang,  menjadi  gambar  yang  penuh  warna  dan  wajah  yang  menampilkan berbagai  ekspresi.  Setiap  bagian  tubuh  karakter  digambar  secara  terpisah  dengan  menampilkan bagian depan dan bagian belakang yang berbeda.
Pemanfaatan Tools Live2D terhadap Animasi menggunakan Metode Face Tracking (Azhilla Margiani Saraswati)
Gambar 6. Penggambaran Karakter secara Terpisah Beberapa  bagian  yang  digambar  terpisah  diantaranya,  rambut,  telinga,  mata  kiri  dan kanan,  wajah  dan  leher,  mulut  dan  gigi, pakaian  dan aksesoris, tangan  dan  jari, serta kaki. Hasil akhir  karakter  yang  digambar  dan  dilengkapi  dengan  warna  adalah  sebagai  berikut.  Karakter  ini identik  dengan  warna  ungu  dan  hitam  yang  melambangkan  kegembiraan,  euforia,  feminim, kekanakan, kesenangan, kreatif namun juga kuat dan misterius.
Gambar 7. Hasil Gambar Karakter dengan Warna Setelah  gambar  karakter  dibuat,  selanjutnya  melakukan  implementasi rigging pada aplikasi  Live2D  untuk  menghasilkan  animasi  interaktif  yang  dapat  digerakkan  secara real  time . Sebelum  proses  rigging,  ada  proses  yang  disebut  tekstur,  yaitu  pemisahan  bagian  tubuh  dengan memastikan tidak ada gambar yang tertimbun dengan gambar lain.
Gambar 8. Tekstur
Proses rigging yaitu  memberikan  tulang  pada  setiap  bagian  dilakukan  melalui  beberapa tahap,  yang  pertama  adalah  pemberian mesh, dan  yang  kedua  adalah deformer yang  dibagi menjadi  dua  yaitu warp  deformer yang  diterapkan  pada  seluruh  bagian  objek  dan rotation deformer yang  hanya diterapkan pada beberapa bagian seperti gerakan dagu,  lengan, sendi paha, lutut, dan pergelangan kaki.
Gambar 9. Rigging
Dalam  pembuatan  rigging,  ada  parameter  yang  digunakan  sebagai  informasi  setiap gerakan  karakter,  gerakan-gerakan  yang  terjadi  di  dalam  pembuatan  animasi  dibagi  kedalam  X, Y, Z, bentuk, dan sudut yang kemudian dapat digabungkan untuk membuat gerakan lainnya. X
= Gerakan ke kiri dan ke kanan Y = Gerakan naik dan turun Z = Gerakan rotasi ke kiri dan ke kanan Bentuk dan Sudut
=  Pelengkap  gerak  seperti  memberikan  kesan  memantul  atau gemerencing
Terdapat hukum fisika yang diterapkan pada proses pembuatan animasi, hukum fisika ini akan  menganimasikan  gerakan  sehingga  sinkron  dengan  gerakan  lain.  hukum  fisika  ini  berlaku bagi beberapa bagian kelompok  gerak diantaranya rambut, pita, telinga, kedipan  mata, baju, dan aksesorisnya.
Pemanfaatan Tools Live2D terhadap Animasi menggunakan Metode Face Tracking (Azhilla Margiani Saraswati)
Gambar 10. Hukum Fisika Selain semua gerakan yang dilakukan melalui proses rigging, peneliti juga menambahkan gerakan  khusus  lain  yang  akan  muncul  ketika  menekan  tombol.  Empat  ekspresi  yang ditambahkan, diantaranya marah, konyol, terkejut, dan simbol damai.
Gambar 11. Penambahan Ekspresi Setelah  selesai  menambahkan  ekspresi,  dan  sebelum  dilakukan  pengujian,  file  karakter yang disimpan dan yang baru ditambahkan diubah ke dalam bentuk json.
Pengujian  dilakukan  pada  dua  media  yaitu  komputer  dan  ponsel  pintar.  Dalam pengembangan  animasi  begitupun  pengujiannya  digunakan  metode face  tracking untuk mendeteksi pergerakan aktor manusia yang  ditangkap kamera untuk  kemudian  diterjemahkan  ke dalam  bentuk  animasi  digital.  Berikut  adalah  hasil  pengujian  yang  dilakukan  melalui  komputer dan ponsel pintar dengan menggunakan aplikasi yang sama yaitu Vtube Studio Unity.
Gambar 12. Pengujian dengan Media Komputer dan Ponsel Pintar Distribusi  dilakukan  melalui  dua  media  sosial  yaitu  YouTube  dan  TikTok  dengan  nama pengguna  “Bafu  Nyan  Kamoe”.  Nama  ini  diambil  dari  serapan  bahasa  Indonesia  “Babu  nya kamu” yang familiar didengar para pencinta kucing. Dari kata tersebut dilakukan penyesuaian ke dalam bahasa Jepang karena animasi yang dibuat identik dengan negeri Jepang.  Dalam penulisan Jepang,  maka “Bafu  Nyan  Kamoe”  atau ばふー にゃん 鴨江 mempunyai  arti  penggemar  kucing sungai Kamoe, yaitu salah satu sungai yang ada di Jepang.
Untuk livestreaming dapat  menggunakan  bantuan  aplikasi Open  Broadcaster  Software yang dapat mengoptimalkan kualitas video saat siaran berlangsung.
Gambar 13. Akun YouTube Bafu Nyan Kamoe
Gambar 14. Akun TikTok Bafu Nyan Kamoe

## 4. Kesimpulan
Pemanfaatan Tools Live2D terhadap Animasi menggunakan Metode Face Tracking (Azhilla Margiani Saraswati)
Dari  pemaparan  diatas  diketahui  bahwa  perancangan  dan  pengembangan  animasi  pada aplikasi  Live2D  menghasilkan  sebuah  karakter  animasi  interaktif  dengan  nama  pengguna  “Bafu Nyan  Kamoe”  yang  berasal  dari  serapan  bahasa  Indonesia  yaitu  “babu  nya  kamu”  ke  dalam bahasa  Jepang ばふー にゃん 鴨江 yang  berarti  penggemar  kucing.  Pengujian  membuktikan bahwa  animasi  berhasil  menangkap  gerakan  aktor  manusia  yang  ditangkap  oleh  kamera  dengan metode face  tracking, sehingga  ketika  melakukan  siaran  langsung,  karakter  yang  dibuat  sudah dapat  mengikuti  pergerakan  dan  ekspresi  aktor  yang  berada  di  balik  kamera  sehingga  para penonton akan mendapatkan pengalaman yang menarik karena interaksi yang lebih nyata.

## Referensi
[1]  The Japan Foundation, "Survey Report on Japanese-Language Education  Abroad 2021," The Japan Foundation, Tokyo, 2021.
[2]  M.  A.  Goralski  and  T.  K.  Tan,  "Artificial  intelligence  and  sustainable  development," The International Journal of Management Education, vol. 18, no. 1, 2020.
[3]  W.  G.  d.  Sousa,  E.  R.  P.  d.  Melo,  P.  H.  D.  S.  Bermejo,  R.  A.  S.  Farias  and  A.  O.  Gomes, "How  and  where  is  artificial  intelligence  in  the  public  sector  going?  A  literature  review  and research agenda," Government Information Quarterly, vol. 36, no. 4, 2019.
[4]  L. Ardandireza and S. Mataram, "Perancangan Komik Tentang Menjaga Identitas Kebangsaan bagi  Komunitas  Weeaboo  Milenial  di  Indonesia," Journal  of  Visual  Communication  Design Study & Practice, vol. 1, no. 1, pp. 17-28, 2021.
[5]  K.  Dharma,  O.  A.  F.  Laia,  B.  T.  Saragih  and  M.  Harahap,  "Face  Tracking  menggunakan algoritma Camshift untuk mendeteksi," Digital Transformation Technology, vol. 2, no. 2, pp. 45-51, 2022.
[6]  M.  B.  Nendya,  E.  M.  Yuniarno  and  S.  Sumpeno,  "Clustering  Titik  Fitur  Model  Wajah  3D Menggunakan K-Nearest Neighbour," JUISI, vol. 7, no. 1, pp. 19-24, 2021.
[7]  Q.  S.  A.  Shidiqi,  E.  Utami  and  A.  F.  Sofyan,  "Tinjauan  Literatur  Sistematik  Tentang Penerapan Motion Capture Pada Proses Produksi Animasi," Jurnal Informa: Jurnal Penelitian dan Pengabdian Masyarakat, vol. 6, no. 2, pp. 28-34, 2020.