This work is licensed under a Creative Commons Attribution 4.0 International License

## Artificial Intelligence Dalam Autonomous Weapon Systems: Masalah Teknis atau
Masalah Hukum?
Teguh Yuwono; Rahayu R. Harahap; Bernard Sipahutar Fakultas Hukum Universitas Jambi *Corresponding author: t.guhyuwono@gmail.com
Submission : 06 Juli 2022 Revision : 23 Agustus 2022 Publication : 11 Oktober 2022

## Abstract
This article discusses legal problems in the use of Artificial Intelligence (AI). In its development, AI has built human existence in various fields including the military. There is a problem when an Autonomous Weapon System (AWS) uses AI instead of a non-human operator. It was found that, AWS was unable to fulfill the principle of distinction and principle of  proportionality  set  forth  in  article  51  paragraphs  (1-3)  and paragraph (5) of Additional Protocol I 1977. These principles are two solid matters, as they relate to the technical requirements expected on performance.  field  that  can  only  be  carried  out  by  humans.  Although AWS uses sensors as a distinguishing tool, it provides an estimate that this  weapon  system  can  apply  the  principle  of  discrimination.  A discriminatory attack will also violate the law if it is not adjusted to the principle of proportionality. This is where the important role of humans in preventing unnecessary losses. In addition, the use of AI on AWS has also led to the disconnection of supervisory responsibilities that require superiors  and  subordinates.  This  is  clearly  what  AWS  does  and  a commander who gives the order to carry out the attack. For this reason, special arrangements are needed to regulate AWS in the form of a new convention  or  the  addition  of  a  protocol  to  The  United  Nations Convention on Certain Weapons 1980 with the aim of limiting the use of AI so that human presence remains in every use of weapons.
Keywords:  autonomous  weapon  systems;  artificial  intelligence; international humanitarian law
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)

## Abstrak
Artikel  ini  membahas  problematika  hukum  dalam  pemanfaatan Artifficial  Intelligence  (AI).  Dalam  perkembangannya,  AI  telah menggantikan keberadaan manusia dalam berbagai bidang termasuk militer. Terdapat sebuah permasalahan ketika sebuah sistem senjata otonom  atau  Autonomous  Weapon  Systems  (AWS)  menggunakan  AI sebagai  pengganti  operator  selain  manusia.  AWS  tidak  dapat memenuhi  prinsip  pembedaan  dan  prinsip  proporisionalitas  yang diatur dalam pasal 51 ayat (1-3) dan ayat (5)  Protokol Tambahan I 1977.  Prinsip  ini  merupakan  dua  hal  yang  solid,  karena  berkaitan dengan kriteria kinerja teknis yang bergantung pada kinerja lapangan yang  hanya  bisa  dilaksanakan  oleh  manusia.  Meskipun  AWS menggunakan  sensor  sebagai  alat  pembeda,  namun  hal  tersebut tidaklah  memberikan  lagitimasi  bahwa  sistem  senjata  ini  dapat menerapkan prinsip pembedaan. Sebuah serangan diskriminatif juga akan  melanggar  hukum  jika  tidak  disesuaikan  dengan  prinsip proporsionalitas. Inilah letak penting peran manusia dalam mencegah adanya  kerugian  yang  tidak  diperlukan.  Selain  itu,  penggunaan  AI pada  AWS  juga  telah  membuat  putusnya  rantai  tanggungjawab komando yang mensyaratkan adanya unsur atasan dan bawahan. Hal inilah  yang  tak  dimiliki  secara  jelas  antara  AWS  dan  seorang komandan  yang  memberikan  perintah  untuk  melakukan penyerangan. Untuk itu, diperlukan pengaturan yang secara khusus mengatur  tentang  AWS  dalam  bentuk  konvensi  baru  atau penambahan protokol pada The United Nations Convention on Certain Weapon 1980 dengan tujuan untuk membatasi penggunaan AI supaya keberadaan manusia tetap ada dalam setiap penggunaan senjata.
Kata  Kunci:  autonomous  weapon  systems;  artificial  intelligence; hukum humaniter internasional

## A. Pendahuluan
Articicial Intelligence (selanjutnya disebut AI) merupakan teknologi mutakhir yang banyak dimanfaatkan oleh manusia pada  saat  ini  termasuk  pihak  militer.  Teknologi  AI  yang
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
digunakan  oleh  militer  telah  membuat  keberadaan  manusia ditiadakan sebagai operator dalam penggunaan Autonomous Weapon  Systems  (AWS).    Dengan  hilangnya  keberadaan manusia  telah  membuat  adanya  kekosongan  hukum  terkait pemanfaatan  sistem  senjata  otonom  (senjata  yang  dapat bergerak sendiri setelah diaktifkan).
Teknologi  telah  banyak  digunakan  oleh  militer  sebagai cara  untuk  mempermudah  operasi  militer.  Perkembangan teknologi  telah  membantu  manusia  dalam  menciptakan senjata yang tujuannya untuk mengalahkan lawannya dengan cara  menghancurkan  maupun  melumpuhkan  pihak  lawan dalam waktu yang singkat dan cara yang efektif serta efisien ketika digunakan di lapangan. 1 Senjata konvensional, senjata kimia,  senjata  biologi,  senjata  pemusnah  massal  dan environmental  weapons  menjadi  senjata  yang  berkembang pesat saat ini. 2 Pada senjata konvensional, telah berkembang sistem persenjataan yang dikenal dengan nama Autonomous Weapon Systems 3 (selanjutnya disebut AWS). AWS merupakan
1 Sarah Marisi Ireney Sidauruk, Nuswantoro Dwiwarno, dan H.M.  Kabul  Supriyadhie.  Penggunaan  Autonomous  Weapons  System Dalam Konflik Bersenjata Internasional menurut Hukum Humaniter Internasional. Diponegoro Law Journal. Vol.8, No.2. 2019. hal. 1490.
2 Timothy Hillier, sebagaimana dikutip dalam Kirana Yasyfa Kamila & M. Husni Syam. Penggunaan Autonomous Weapons Systems (AWS)  dalam  Konflik  Bersenjata  Berdasarkan  Hukum  Humaniter Internasional. Prosiding Ilmu Hukum. Vol.4, No.2. 2018. hal. 989.
3 Terdapat  literatur  yang  menamakan  senjata  ini  dengan lethal  autonomous  weapon  systems,  namun  dalam  artikel  ini menggunakan Autonomous Weapon Systems.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
senjata  dengan  teknologi  terbaru  karena  menggunakan sistem  otomatis  dalam  penggunaannya.  Sistem  Senjata otonom  juga  akan  dilengkapi  dengan  aplikasi  Artificial Intelligence atau kecerdasan buatan tingkat lanjut . 4 Senjata ini adalah perpaduan antara penggunaan AI dengan alat militer yang dapat membunuh bahkan merusak lingkungan.
Dengan menggunakan teknologi AI, maka proses berpikir bahkan  langkah  untuk  mengambil  keputusan  diserahkan secara  mandiri  oleh  algoritma  yang  telah  dipasang  pada  AI. Teknologi  AI  memiliki  dua  kemampuan,  pertama, menggunakan  komputer  untuk  menyelesaikan  hal-hal  yang berguna (kadang-kadang dengan menggunakan metode yang sangat berbeda dengan yang digunakan oleh pikiran). 5 Kedua, menggunakan  konsep  dan  model  AI  untuk  membantu menjawab  pertanyaan  tentang  manusia  dan  makhluk  hidup lainnya. 6 Berdasarkan hal tersebut, maka teknologi ini sangat berkaitan  dengan  AWS  jika  dimanfaatkan  sebagai  senjata yang  dapat  bergerak  dan  mengambil  keputusan  sendiri. Sistem kecerdasan buatan menunjukkan kemampuan kognitif seperti  manusia,  memungkinkan  mereka  untuk  membuat
4 Schmitt,  M.  N.  and  Thurnher,  J.  S.  "Out  of  the  loop": autonomous weapon systems and the law of armed conflict. Harvard National Security Journal. Vol.4, No.2. 2013. hal. 239.
5 Margaret  A.  Boden.  AI  Its  Nature  and  Future.  United Kingdom: Oxford University Press. 2016. hal. 2.
6 Ibid.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
keputusan  dalam  menanggapi  masalah  dan  situasi  yang kompleks. 7
Kemampuan yang mumpuni dan sangat menguntungkan ini  membuat  teknologi  AI  sangat  dimungkinkan  untuk digunakan  pada  AWS.  Jika  manusia  menggunakan  panca indra,  ingatan  maupun  kemampuan  berpikir  kognitif,  maka AWS  menggunakan  berbagai  sensor  untuk  melihat  dunia sekitarnya.  Sensor  tersebut  seperti  LIDAR  (Light  Detection and  Ranging),  GPS  (Global  Positioning  System),  Inframerah, dan  radar  adalah  metode  umum  dari  sensor  robot  yang digunakan AWS untuk mempersepsikan lingkungannya. 8
AWS  merupakan  sistem  persenjataan  militer  yang dianggap  lebih  mementingkan  misi  dan  mengabaikan  nilai kemanusiaan.  Dengan adanya teknologi AI, maka senjata ini tentunya  akan  bergerak  secara  otomatis  sesuai  dengan algoritma dan program yang ada. AWS dapat bergerak sendiri setelah  diaktifkan,  dan  melakukan  penyerangan  dengan memiminalisir serta membuat keterlibatan manusia menjadi sangat  minim,  sehingga  banyak  pihak  yang  menyebutnya sebagai agen independen dalam sebuah konflik bersenjata. 9
7 Schmitt, M. N. and Thurnher, J. S. Loc. Cit.
8 Sarah Marisi Ireney Sidauruk, et.al. Op.Cit. hal. 1494.
9 Ibid. hal. 1490.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Minimnya  kehadiran  manusia  pada  AWS  telah  memicu sebuah  kejadian  yang  dinamakan  dehumanization 10 ,  dimana dalam proses mencari musuh dan membuat keputusan untuk melumpuhkannya atau tidak hanya bergantung pada sistem senjata tersebut. 11 Karena alasan tersebut AWS dinilai tidak dapat  mengikuti  arah  dan  perkembagan  situasi  di  lapangan yang kompleks sehingga sistem AI pada AWS akan kesulitan dalam  melakukan  prediksi.  Karena  keterbatasan  tersebut, AWS  dinilai  sangat  berbahaya  jika  digunakan  secara sembarangan tanpa adanya pembatasan.
Aturan hukum saat ini mensyaratkan hal yang sulit untuk dipenuhi oleh AWS. Keberadaan manusia sangat dibutuhkan karena  manusia  mempunyai  emosi  yang  tidak  dimiliki  oleh AWS.  Emosi  memainkan  peran  konstruktif  dalam menentukan pilihan mana seorang individu akan benar-benar mengambil keputusan pada saat tertentu. 12 Seorang prajurit yang  memiliki  emosi  akan  berempati  untuk  menahan  atau menembak  sasaran.  Berbeda  dengan  AWS,  proses
10 Dehumanization  (dalam  KBBI  dinamakan  Dehumanisasi) adalah penghilangan harkat manusia. maksudnya adalah keberadaan dari manusia dalam hal penggunaan senjata AWS ditiadakan.
11 Aulia  Putri  Yunanda.  Autonomous  Weapon  Systems  dan Legalitas  Penggunaannya  Dalam  Hukum  Humaniter  Internasional. Jurist-Diction. Vol.2, No. 2, 2019. hal. 378.
12 Markus  Wagner.  The  Dehumanization  of  International Humanitarian  Law:  Legal,  Ethical,  and  Political  Implications  of Autonomous Weapon Systems. vanderbilt journal of transnational law. Vol. 47. 2014. hal. 45.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
pengambilan  keputusan  AWS  akan  mengarahkannya  ke tindakan  tertentu  yang  mungkin  melibatkan  penggunaan kekuatan. 13 Disinilah letak pentingnya keberadaan manusia yang harus tetap ada.
AWS  adalah  sistem  senjata  dengan  konsep  yang  baru, sehingga  pengaturan  hukum  internasional  saat  ini  belum mampu  memberikan  alasan  yang  kuat  untuk  memberikan justifikasi, apakah senjata ini diperbolehkan atau tidak. Selain itu, AWS juga dinilai berpotensi melanggar ketentuan hukum perang yang diatur dalam Protokol Tambahan 1 Tahun 1977 yang berkaitan dengan weapons law 14 dan Targeting Law. 15

## B. Pembahasan

## 1. Human Meaningful pada AWS
Dalam  penggunaan  AWS  sebagai  senjata  militer, ketentuan  weapons  law  dan  targeting  law  harus  diterapkan sebagai standar atau tolak ukur ketentuan hukum humaniter internasional.  Namun,  belum  terdapat  aturan  yang  spesifik mengenai AWS. Sehingga prinsip umum yang berlaku dalam
13 Ibid. 14 Weapons  Law  akan  mengkaji  sistem  senjata  yang digunakan terkait dengan norma-norma ataupun aturan yang berlaku dalam  hukum  internasional  dengan  tujuan  untuk  melihat  sah  atau tidaknya sistem senjata tersebut. Lihat Sarah Marisi Ireney Sidauruk, et.al. Op.Cit. hal. 1498.
15 Targeting Law akan melihat sah atau tidaknya penggunaan senjata terhadap sasaran yang  akan dituju oleh sistem senjata yang digunakan.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
hukum  humaniter  internasional  dapat  menjadi  rujukan apakah  AWS  melanggar  aturan  atau  tidak.  Prinsip  umum dapat digunakan karena hukum humaniter internasional juga tidak memiliki larangan umum  terhadap pengembangan dan penggunaan  senjata  “baru”  atau  sistem  senjata  seperti “AWS”. 16
Pasal 36 Protokol Tambahan I 1977, dijelaskan bahwa In the  study,  development,  acquisition  or  adoption  of  a  new weapon, means or method of warfare, a High Contracting Party is  under  an  obligation  to  determine  whether  its  employment would,  in  some  or  all  circumstances,  be  prohibited  by  this Protocol or by any other rule of international law applicable to the  High  Contracting  Party.  Ketentuan  dalam  pasal  tersebut sangat  kabur  dan  tidak  memberikan  batasan  yang  jelas. Kalimat  “in  some  or  all  circumstances,  be  prohibited” menunjukkan  adanya  inkonsisten  dalam  menetapkan pelarangan senjata. kalimat tersebut menggambarkan bahwa negara  tidak  dilarang  dalam  batasan  apapun  untuk mengembangkan dan menggunakan senjata.
Permasalahannya  ialah  pada  intervensi  manusia  yang ditiadakan  pada  senjata  ini.    Dalam  Konvensi  Jenewa  1949, Protokol  Tambahan  1977,  Konvensi  Senjata  Tertentu  1980
16 Yordan Gunawan, Mohammad Haris Aulawi, & Andi Rizal Ramadhan.  Command  Responsibility  of  Autonomous  Weapons Systems  under  International  Humanitarian  Law.  Jurnal  Cita  Hukum (Indonesian Law Journal). Vol.7, No.3. 2019. hal. 355.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
dan  konvensi  lainnya  secara  jelas  menyebutkan  adanya keberadaan  manusia  sebagai  subjek  yang  menggunakan senjata.  Namun,  berbeda  dengan  AWS  yang  dapat  bergerak tanpa  adanya  operator  dalam  melakukan  operasi  militer. Manusia sangat dibutuhkan sebagai pengawas supaya dapat memastikan  bahwa  penyerangan  yang  dilakukan  telah memenuhi  prinsip  pembedaan  dan  prinsip  kehati-hatian sebagaimana prinsip tersebut diakui dalam hukum humaniter internasional. 17
Dalam  sebuah  kasus  penyerangan  warga  sipil  di  Gaza, disebutkan  bahwa  terdapat  kematian  sebanyak  248  warga Palestina, termasuk 66 anak-anak. Berdasarkan laporan New Scientist,  bahwa  Pasukan  Pertahanan  Israel  (IDF)  telah menggunakan segerombolan drone AI untuk mengidentifikasi dan  menyerang  target di  Jalur Gaza pada perang tersebut. 18
Senjata  yang  digunakan  dalam  penyerangan  ini  memiliki bentuk  atau  karakteristik  yang  sama  seperti  AWS,  yaitu menggunakan  AI  sebagai  alat  berpikir  dalam  mengambil keputusan. Namun, fakta bahwa penyerangan menggunakan senjata  semacam  ini  telah  melanggar  prinsip  pembedaan,
17 Kirana Yasyfa Kamila & M. Husni Syam. Op.Cit. hal. 993. 18 Sindonews.com.  Israel  disebut  Kerahkan  Segerombolan Drone  AI  Saat  Perang  11  Hari  dengan  Hamas. https://international .sindonews.com/read/475322/43/israel-disebut-kerahkan-segerom bolan-drone-ai-saat-perang-11-hari-dengan-hamas-1625544435? sshowpage=all .  Diakses pada 10 Juli 2022.
karena telah memakan korban sipil yang tidak terlibat dalam konflik.
Selain itu, dalam sebuah laporan PBB tahun 2021 telah terjadi sebuah penembakan drone tak berawak kepada pihak Afiliasi Jendral Khalifa Haftar yang diakui sebagai lawan dari pemerintah Nasional Libia. Serangan tersebut menyasar konvoi logistik yang mundur kemudian diburu dan  ditembaki  dari  jarak  jauh  oleh  kendaraan  udara tempur  tak  berawak  atau  sistem  senjata  otonom mematikan bernama STM Kargu-2. 19 Kargu adalah drone
yang menggunakan klasifikasi objek berbasis pembelajaran  mesin  untuk  memilih  dan  melibatkan target. 20 Sistem senjata ini diprogram untuk menyerang target  tanpa  memerlukan  konektivitas  data  antara operator  dan  amunisi  alias  “tembak,  lupakan,  dan temukan”. 21
19 Alia  Aoun,  Dina  Badawy,  Luis  Antonio  de  Alburquerque Bacardit, Yassine Marjane & Adrian Wilkinson. United Nations Security Council Panel Expert about Final report of the Panel of Experts on Libya established pursuant to Security Council resolution 1973 (2011). 2021. hal. 17.
20 Suara.com.  Ngeri!  PBB  Ungkap  Drone  Militer  Serang Manusia Tanpa diinstruksikan. https://www.suara.com/tekno/2021 /06/01/104841/ngeri-pbb-ungkap-drone-militer-serang-manusia- tanpa-diinstruksikan . Diakses pada 7 Agustus 2022.
21 Tempo.co.  PBB  Catat  Kasus  Pertama  Serangan  Drone Otonom  ke  Manusia. https://tekno.tempo.co/read/1468209/pbb-
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Dalam laporan Panel of Experts on Libya established pursuant to Security Council resolution 1973 (2011) pada tahun  2021,  tidak  menyebutkan  adanya  korban  jiwa akibat  serangan  ini.  Hal  ini  dikarenakan  posisi  yang masih jauh dan senjata tak berawak tersebut, sehingga membuat  pasukan  dari  pihak  Afiliasi  Jendral  Khalifa Haftar  dapat  menghindari  serangan.  Akan  tetapi, serangan  bersifat  berlebihan  dan  tak  proporsional, karena  telah  aktif  dan  langsung  menyerang  ketika jaraknya  masih  jauh.  Sistem  senjata  otonom  yang mematikan  diprogram  untuk  menyerang  target  tanpa memerlukan  konektivitas  data  antara  operator  dan amunisi:  pada  dasarnya,  kemampuanya  ialah  "tembak, lupakan, dan temukan". 22
Seperti  yang  telah  disebutkan  bahwa  tidak  ada  aturan hukum yang melarang penggunaan senjata bersifat otomatis dalam melakukan pergerakan sendiri. Sehingga rezim hukum humaniter  internasional  kesulitan  bagaimana  beradaptasi dengan prestasi teknologi zaman baru ini ke dalam kerangka kerja  Hukum  Humaniter  Internasional  yang  statis  dan  tua
catat-kasus-pertama-serangan-drone-otonom-ke-manusia .  Diakses pada 7 Agustus 2022.
22 Alia Aoun.Loc.Cit.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
ini. 23 Aturan hukum saat ini hanya dapat memberikan payung hukum terhadap senjata yang digunakan oleh manusia, bukan oleh selain manusia.
Penggantian  keberadaan  manusia  menjadi  AI  akan menimbulkan dampak yang prinsipil terhadap legalitas AWS dalam  hukum  humaniter  internasional.  Aturan  mengenai senjata  militer dibentuk  pada  masa  senjata  tersebut sedang berkembang.  Sehingga  perkembangan  terbaru  teknologi mengalami gap antara aturan dan keberadaannya yang tidak dapat dijangkau oleh hukum.  AWS secara  kualitatif berbeda dari  kemajuan  teknologi  militer  sebelumnya,  karena meningkatkan  kemungkinan tentara  robot  yang  dapat  pergi ke tempat yang tidak dapat dilalui manusia. 24
Aturan hukum tentang penggunaan senjata militer sangat berkaitan dengan eksistensi manusia. Karena pada dasarnya manusia  sendiri  yang  akan  menggunakan  senjata  tersebut, sehingga  keberadaan  senjata  perlu  diatur  dalam  hukum humaniter internasional. Aturan hukum tentang penggunaan senjata  saat  ini  mengandung  prinsip  proporsionalitas 25 dan prinsip pembedaan 26 yang pada kenyataannya berkaitan erat
23 Bradan  T.  Thomas.  Autonomous  Weapon  Systems:  The Ana-tomy Of Autonomy And The Legality of Lethality. Houston Journal of International Law. Vol.12, No.1. 2015. hal. 246.
24 Nathan  Leys.  Autonomous  Weapon  Systems  and  Intern- ational Crises. Strategic Studies Quarterly. Vol. 12, No. 1. 2018. hal. 55.
25 Lihat pasal Pasal 51 ayat (5) protokol tambahan I 1977 26 Lihat pasal 51 ayat (1-3) protokol tambahan I 1977
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
dengan kriteria kinerja teknis yang bergantung pada kinerja lapangan.  Sehingga  penting  sekali  disini  untuk  tetap mempertahankan  adanya  keberadaan  manusia  pada  AWS. Mematuhi  prinsip-prinsip  utama  hukum  humaniter internasional  sebagai  sarana  peperangan  diperlukan  dalam menanggapi kritik atas penerapan AWS. 27
Akan tetapi, penilaian AWS terhadap prinsip pembedaan dan  prinsip  proporsionalitas  sangat  negatif  dan  masih menjadi perdebatan. Hal ini terlihat dalam perdebatan antara Human  Rights  Watch  dan  advokat  AWS,  dimana  proyeksi legalitas  AWS  bergantung  pada  kapasitas  sistem  untuk memenuhi kewajiban hukum secara fungsional dan praktis. 28
menurut Asif Khan Turlandi, dijelaskan bahwa: 29
Identifikasi  dan  pemilihan  target  manusia  oleh  AWS, serta  inisiasi  kekuatan  kekerasan  yang  dilakukan  di bawah kendali mesin tidak dapat membuat pembedaan antara  kombatan  atau  pejuang  musuh  yang  telah menyerah atau terluka sehingga dapat dihitung sebagai hors de combat dan menikmati perlindungan dari hukum humaniter internasional.
27 Andreas  Wilia  &  Diajeng  Wulan  Christianti.  The  Use  of Autonomous  Weapon  Systems  in  Armed  Conflict:  Legality  and Challenges  for  Future  Weapon  Regulation.  Padjadjaran  Journal  of International Law. Vol.3, No.2. 2019. hal. 278.
28 Hin-Yan  Liu.  From  the  Autonomy  Framework  towards Networks  and  Systems  Approaches  for  'Autonomous'  Weapons Systems. Journal of international humanitarian legal studies. Vol. 10. 2019. hal. 98.
29 Asif Khan Turlandi. Autonomous Weapons Systems and the Principles of International Humanitarian law, first edition. United State of Amerika: Kindle Direct Publishing. 2022. hal 25.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Ketergantungan terhadap sistem yang dirancang pada AI membuat  AWS  menjadi  diragukan  dapat  memenuhi kewajiban hukum terutama aturan tentang weapons law dan tergeting law jika digunakan pada sebuah konflik bersenjata. Sejatinya manusia adalah subjek hukum yang dapat mematuhi kewajiban hukum yang berlaku.
Fakta  bahwa,  prajurit  manusia  dapat  membuat kesalahan. Tetapi sejauh AWS dikembangkan dan digunakan karena  mereka  meningkatkan  kemampuan  militer  untuk memberikan  kekuatan  mematikan,  maka  kesalahan  oleh sistem  otonom  mungkin  memiliki  konsekuensi  yang  lebih besar. 30 Kesalahan yang terjadi pada AWS bersifat kelompok, karena  mereka  digerakan  pada  satu  server  yang  diaktifkan oleh  markas  militer.  Sehingga  satu  kesalahan  akan mengakibatkan satu kelompok AWS melakukan pelanggaran.
Penggunaan  AI  juga  berdampak  pada  akibat  serangan AWS  yang  proporsional  atau  tidak.  Alexander  Kott  Kepala Ilmuan  Laboratorium  Penelitian  Angkatan  Darat  Amerika Serikat, menyatakan bahwa salah satu dari banyak fitur luar biasa  AI  adalah  kemampuannya  untuk  membuat  segala sesuatunya  “secara  individu  dan  kolektif  lebih  cerdas”. 31
30 Nathan  Leys.  Autonomous  Weapon  Systems  and International Crises. Strategic Studies Quarterly. Vol. 12, No. 1. 2018. hal. 53.
31 Stephanie  Mae  Pedron.  The  Future  of  Wars:  Artificial Intelligence  (AI)  and  Lethal  Autonomous  Weapon  Systems  (LAWS).
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Namun,  pada  waktu  yang  sama  juga  akan  membuat  situasi menjadi  lebih  tidak  stabil. 32 Ketidakstabilan  ini  akan mempengaruhi  dampak  yang  tidak  umum  jika  AWS digunakan  dalam  konflik  bersenjata.  Bahaya  mesin  yang menghasilkan hasil yang tidak konvensional dan jika hasilnya tidak  dihentikan  sama  sekali  dapat  mengakibatkan  efek destabilisasi jika sistem lepas kendali. 33 Dampak ini akan lebih parah  jika  senjata  tidak  tepat  dalam  menentukan  apakah sasaran  yang  dituju  adalah  objek  militer  yang  boleh  untuk diserang atau objek sipil yang tentunya tidak boleh diserang sebagaimana  hukum  humaniter  internasional  telah mengaturnya.  Karena  objek  sipil  dan  objek  militer  pada umumnya  berdekatan  dan  cenderung  tidak  dipisahkan  oleh negara. 34
Prinsip  proporsionalitas  menjadi  konsen  ketika  AWS digunakan.  Dalam  pasal  51  ayat  (1-3)  Protokol  Tambahan  I 1977  secara  ringkas  menjelaskan  bahwa  tidak  boleh menyerang  maupun  mengancam  penduduk  sipil  dalam sebuah  serangan  militer.  Sehingga  kepatuhan  para  pihak harus  dipastikan  dalam  menyesuaikan  penyerangan  oleh
International Journal of Security Studies. Vol.2 Issue 1, article 2. 2020. hal.10.
32 Ibid. 33 Ibid. hal.10. 34 Eno  Prasetiawan  &  Lina  Hastuti.  Penerapan  Distinction Principle Dalam Perundang-Undangan di Indonesia. Udayana Master Law Journal. Vol.9, No.2. 2020. hal. 450.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
militer. Namun, dalam penggunaan AWS pada sebuah koflik telah  memicu  ketidakpastian  ketika  berinteraksi  dengan lingkungannya. Sistem senjata otonom tidak dapat diprediksi dalam arti luas, karena dipicu oleh lingkungannya pada waktu dan  tempat  yang  tidak  diketahui  oleh  pengguna  yang mengaktifkannya. 35 Sulit  untuk  memetakan  semua  variabel maupun  interaksinya  yang  beraneka  ragam,  sehingga  akan selalu sulit untuk mengantisipasi efek dari AWS dengan pasti bahkan  ketika  sistem  tersebut  dapat  diprediksi  dalam pengertian  teknis. 36 Tentu  saja  hal  ini  akan  berimbas  pada kepatuhan prinsip proporisionalitas para pihak dalam sebuah konflik bersenjata.
Selain  itu,  dalam  pasal  51  ayat  5  Protokol  Tambahan  I 1977  juga  mengandung  prinsip  pembedaan.  Prinsip  ini merupakan salah satu prinsip yang fundamental karena harus memberikan perlindungan kepada warga sipil  dan objek sipil dalam sebuah konflik bersenjata.  Sehingga prinsip ini secara tak  terbantahkan  juga  berlaku  pada  AWS. 37 Namun, bagaimana cara bagi AWS untuk membedakan penduduk sipil dan  kombatan  masih  belum  jelas.  Tentu  saja,  penggunaan sensor  tidak  saja  membuat  serangan  itu  sah. 38 Bahkan
35 Alexander  Blanchard  &  Mariarosaria  Taddeo.  Predict- ability,  Distinction  &  Due  Care  in  the  use  of  Lethal  Autonomous Weapon Systems. SSRN Electronic Journal. 2022. hal. 8.
36 Ibid. 37 Schmitt, M. N. and Thurnher, J. S. Op. Cit. hal. 251. 38 Ibid. hal. 252.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
serangan  diskriminatif  akan  melanggar  hukum  jika  tidak sesuai  dengan  prinsip  proporsionalitas  atau  persyaratan untuk  mengambil  tindakan  pencegahan  dalam  serangan. 39
Untuk itu, akan sulit bagi AWS dalam melakukan pembedaan antara  warga  sipil  dan  kombatan  di  lapangan  yang  selalu berubah-ubah  kondisi  dan  situasinya.  Meskipun  dapat melakukan  pembedaan,  tentu  saja  serangan  yang  akan dilakukan  juga  akan  dipertanyakan,  apakah  sudah  sesuai dengan prinsip proporsionalitas atau tidak.
Secara  teknis,  AI  akan  sangat membantu pekerjaan jika diperuntukan dalam hal yang tepat. Namun, jika penggunaan AI harus menggantikan keberadaan manusia pada AWS telah menghilangkan poin penting bahwa tujuan hukum humaniter internasional  dan  AWS  tidak  searah.  Tujuan  hukum humaniter  internasional  adalah  mengarahkan  kekerasan bersenjata yang terorganisir ke arah sasaran-sasaran militer dan menahan kekerasan untuk mencapai tujuan militer yang sah. 40 Sedangkan  AWS  sebagai  senjata  baru  tidak  dapat memenuhi prinsip pembedaan dan prinsip proporsionalitas.
Meskipun AI adalah teknologi terbaru dan canggih, resiko serangan siber terhadap AWS juga semakin kompleks. salah satu kasus serangan siber yang menjadi perhatian dunia ialah, penyerangan  instalasi  nuklir  Natanz    Iran  oleh  Amerika
39 Ibid.
40 Hin-Yan Liu. Op.Cit. hal. 99.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
menggunakan  Stuxnet 41 pada  tahun  2010.  Serangan  oleh Amerika  ini  dilakukan  dengan  cara  berulang  kali  dengan memanfaatkan  stuxnet  sehinnga  mengakibatkan  setidak- tidaknya  1.000-1.800  sentrifuse 42 menjadi  rusak  parah. 43
Serangan  seperti  ini  juga  dapat  terjadi  terhadap  AWS mengingat senjata tersebut sangat bergantung pada teknologi. Untuk  itu,  manusia  sangat  dibutuhkan  keberadaanya  dalam menggunakan AWS, selain dapat mematuhi kewajiban hukum, manusia juga dapat melakukan kontrol sehingga penyerangan siber terhadap AWS dapat dihindari.
Salah  satu  dampak  dari  hilangnya  keberadaan  manusia pada  AWS  ialah  membut  rantai  tanggungjawab  komando dalam  hukum  humaniter  internasional  menjadi  putus. Terdapat  perbedaan  yang  sangat  prinsipil,  dimana  manusia adalah subjek hukum sedangkan mesin (AI) bukanlah subjek hukum. Untuk itu, Group of Governmental Experts (GGE) telah mencapai kesepakatan tentang fakta bahwa pertanggungjawaban tidak dapat dialihkan ke mesin. 44
41 Stuxnet adalah sebuah malware berbahaya yang berukuran 500 kilobyte (kb) atau 10 kali lebih besar dari malware biasa
42 Sentrifuse  sebuah  alat  laboratorium  yang  dibuat  untuk memisahkan suatu zat tertentu yang ada dalam larutan dengan cepat
43 Ary  Melysa.  Analisis  Penggunaan  Offensive  Cyber Operations Menghadapi Ancaman Nuklir Iran. Journal of International Relations. Vol.2, No.4. 2016. hal. 216.
44 Human  responsibility  for  decisions  on  the  use  of  weapons systems must be retained since accoun-tability cannot be transferred to machines. This should be considered across the entire life cycle of the weapons  system.  Lihat  Report  of  the  2018  session  of  the  Group  of
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Dalam  menerapkan  tanggung  jawab  komando,  harus terdapat  unsur  hubungan  yang  jelas  antara  AWS  dan komandan.  Namun,  pada  pasal  25  statuta  roma  1998 menyebutkan  harus  adanya  unsur  hubungan  antara  atasan dan  bawahan  dalam  menerapkan  pertanggungjawaban komando.  menurut  Menurut  Stefanus  Agung  Hariwicaksono Passar bahwa: 45
Frasa “hubungan” mengacu pada makna bahwa komando serta  bawahan  tersebut  memiliki  tugas  bersama  dalam suatu lingkungan militer yang mana hubungan tersebut bersifat  vertikal  dengan  komandan  sebagai  senior sedangkan bawahannya sebagai junior dalam lingkungan tersebut.
Secara  teknis,  AWS  yang  diberi  alat  berpikir  berupa  AI dan  seorang  komandan  tidak  memiliki  hubungan  vertikal atasan dan bawahan. Akibat dari tiadanya manusia disini ialah terdapat  gap  yang  sulit  bahkan  tidak  mungkin  dicapai  oleh hukum.  Untuk  itu  diperlukan  keberadaan  manusia  dalam mengatasi gap ini.  Keberadaan aturan yang selalu tertinggal dari perkembangan terbaru membuat kepastian hukum tidak dapat  dicapai  sebagai  salah  tujuan  hukum  yang  diinginkan oleh masyarakat.
Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems. Doc CCW/GGE.1/2018/3. hal. 4.
45 Stefanus Agung Hariwicaksono Passar dan Ida Bagus Erwin Ranawijaya. Tanggung Jawab Komando Terhadap Penggunaan Lethal Autonomous  Weapon  System  (LAWs).  Jurnal  Kertha  Negara.  Vol.  9, No. 8. 2021. hal. 604.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
2. Ius  Constituendum  Pemanfaatan  AI  pada  Sistem

## Senjata Otonom
Berdasarkan  pembahasan  diatas,  aturan  hukum  perlu diperbarui  supaya  dapat  lebih  fleksibel  dalam  mengikuti perkembagan  zaman  yang  sangat  dinamis.  Pada  akhirnya, dalam  mengatur  sistem  senjata  seperti  AWS,  negara-negara mungkin  dapat  menciptakan  rezim  hukum  yang  dapat mengatur  penggunaan  teknologi  perang  yang  baru. 46
Pengaturan  lebih  lanjut  mengenai  sistem  senjata  otonom khususnya  AWS  dapat  dilakukan  dengan  melakukan pembentukan konvensi ataupun penambahan protokol baru pada The United Nations Convention on Certain Weapon 1980 (Konvensi  Senjata  Tertentu  1980).  Pembentukan  protokol baru pada Konvensi Senjata Tertentu 1980 dirasa lebih masuk akal  dan  efisien  mengingat  konvensi  ini  mengatur penggunaan senjata konvensional dalam bentuk tertentu.
Bentuk  pengaturan  harus  bersifat  membatasi  bukan melarang.  Karena  pada  dasarnya  teknologi  AI  tidak  dapat dihindari keberadaannya. Secara teknis AI  dapat memberikan
46 John  Lewis.  The  Case  for  Regulating  Fully  Autonomous Weapons. The Yale Law Journal. Vol.124, No.4. 2015. hal. 1310.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
manfaat yang signifikan jika dimanfaatkan dengan itikad baik dan pada porsinya yang sesuai.
Berdasarkan  Pasal  36  Protokol  Tambahan  I  1977, diperlukan  peninjauan  oleh  negara  terhadap  sistem  senjata yang dikembangkan untuk memastikan jika sistem senjatanya tidak  sembarangan  atau  cenderung  menyebabkan  cedera yang  tidak  perlu.  Untuk  itu,  penggunaan  senjata  tertentu harus  menerapkan  aturan  hukum  humaniter  internasional yang  sudah  dikenal. 47 Aturan  hukum  saat  ini  memang terkesan  tua  dan  rigid  untuk  masa  seperti  sekarang  ini. Namun, dengan sifatnya yang rigid tentunya memiliki tujuan untuk  tetap  konsisten  dalam  memberikan  manusia  untuk melakukan kontrol terhadap suatu senjata.
Pembatasan  penggunaan AI pada sistem senjata otonom dirasa lebih masuk akal serta dapat menjadi win-win solution. Sistem otonom dapat merusak dengan cara yang tidak dapat dilakukan  oleh  penglihatan  manusia. 48 Untuk  itu,  dengan membiarkan  dan  menggunakan  sistem  senjata  ini  secara bebas  tanpa  adanya  pembatas  hanya  akan  memberikan dampak  dan  problematika  yang  lebih  besar.  Untuk  itu, pembatasan  dapat  dilakukan  dengan  cara  mempersempit ruang  gerak  penggunaan  sistem  senjata  ini  seperti
47 Ibid. hal. 1312.
48 Allan  Gyngell  And  Stephanie  Koorey.  Lethal  Autonomous Weapons Systems: Challenges and Opportunities. Australian National University Journal of Law and Technology. Vol.2, No.1. 2021. hal. 181.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
penggunaan sistem senjata otonom pada senjata militer yang bersifat difensif dan tidak bersifat ofensif. Penerapan sistem senjata otonom seperti ini dapat ditemui pada senjata militer Iron  Dome  milik  israel  yang  mampu  menghalau  datangnya roket masuk ke wilayahnya.
Selain itu penggunaan AI pada senjata militer juga dapat bermanfaat  dan  berguna  bagi  militer  untuk  pemberian pertolongan bagi personel yang terluka ataupun pengiriman barang untuk suplai pasokan makanan dan kebutuhan militer lainnya.    Seperti  Angkatan  Darat  dan  Marinir  AS  telah mengembangkan  versi  yang  disebut  helikopter  K-Max  yang mampu  terbang  secara  mandiri  di  sepanjang  rute  yang diarahkan. 49 Helikopter  telah  terbang  secara  mandiri  di Afghanistan  dugunakan  untuk  mengirimkan  kargo  antara pangkalan operasi depan. 50
Penegasan terhadap pembatasan penggunaan AWS dapat dilakukan  dengan  melakukan  penambahan  protokol  pada Konvensi Senjata Tertentu 1980 atau membentuk ketentuan hukum  baru  yang  secara  khusus  mengatur  tentang  AWS. Pengaturan  secara  khusus  terkait  penggunaan  AWS  dirasa sangat  perlu,  mengingat  selama  ini  senjata  selalu dioperasikan  oleh  manusia,  sedangkan  pada  kasus  ini
49 Schmitt, M. N. and Thurnher, J. S. Op.Cit. hlm. 239. 50 Ibid.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
manusia telah digantikan oleh AI sebagai otak berpikir dalam mencari target dan memutuskan untuk membunuh atau tidak.

## C. Penutup
AWS merupakan senjata militer dengan metode atau cara berperang  yang  baru.  Sistem  senjata  ini  memanfaatkan  AI sebagai  alat  berpikir  dan  mengambil  keputusan  untuk melumpuhkan  musuh  ketika  bergerak  di  lapangan.  Namun, dengan  adanya  AI  sebagai  alat  bantu  berpikir  telah menyingkirkan  manusia  sebagai  subjek  utama  dalam peperangan.  Sehingga  banyak  pertimbangan  bahwa  AWS menimbulkan permasalahan serius dari sisi hukum. Terbukti bahwa, sistem senjata ini belum memiliki pengaturan secara spesifik.  Terbukti  bahwa  sistem  senjata  ini  tidak  mampu menerapkan prinsip pembedaan dan prinsip proporsionalitas yang  secara  nyata  berkaitan  erat  dengan  kriteria  kinerja teknis  dan  sangat  bergantung  pada  keadaan  di  lapangan. Untuk  itu,  tidak  terbantahkan  bahwa  keberadaan  manusia menjadi peran sentral dalam sebuah konflik untuk mencegah adanya  dampak  yang  berlebihan.  Seorang  prajurit  yang memiliki empati akan menahan serangannya terhadap musuh yang  tidak  berdaya  ataupun  musuh  yang  sudah  menyerah. Berbeda dengan AWS yang memiliki penilaian objektif namun minim  akan  emosi.  Untuk  itu  diperlukan  sebuah  kerangka
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
hukum  baru  agar  dapat  memberikan  payung  hukum  dalam pemanfaatan  AI  pada  sistem  senjata  seperti  AWS. Pembentukan hukum baru dapat berupa membuat kerangka hukum dalam bentuk konvensi atau perjanjian internasional, ataupun  membentuk  penambahan  protokol  baru  pada  The United Nations Convention on Certain Weapon 1980 (Kovensi Senjata Tertentu 1980).

## Referensi
Additional Protocol  1 relating to the protections of International Armed Conflicts 1997 (Protokol Tambahan 1 1977).
Aoun,  Alia  et.  al.  United  Nations  Security  Council  Panel  Expert about  Final  report  of  the  Panel  of  Experts  on  Libya established pursuant to Security Council resolution 1973 (2011). 2021. hal. 17.
Blanchard,  Alexander  &  Mariarosaria  Taddeo.  Predictability,
Distinction & Due Care in the use of Lethal Autonomous Weapon Systems. SSRN Electronic Journal. 2022.
Boden, Margaret A. AI Its Nature and Future. United Kingdom:
Oxford University Press. 2016.

## Geneive Convention For The Amelioration of The Condition Ofthe
Wounded  And  Sick  In  Armed  Forces  In  The  Field  1949 (Konvensi Jenewa 1949)
GGE.  Report  of  the  2018  session  of  the  Group  of  Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems.
Gunawan,  Yordan,  Mohammad  Haris  Aulawi,  &  Andi  Rizal Ramadhan.  Command  Responsibility  of  Autonomous Weapons  Systems  under  International  Humanitarian Law. Jurnal Cita Hukum (Indonesian Law Journal). Vol.7, No.3. 2019.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Gyngell,  Allan  And  Stephanie  Koorey.  Lethal  Autonomous Weapons  Systems:  Challenges  and  Opportunities. Australian  National  University  Journal  of  Law  and Technology. Vol.2, No.1. 2021.
Hillier,  Timothy,  sebagaimana  dikutip  dalam  Kirana  Yasyfa
Kamila  &  M.  Husni  Syam.  Penggunaan  Autonomous Weapons  Systems  (AWS)  dalam  Konflik  Bersenjata Berdasarkan Hukum Humaniter Internasional. Prosiding Ilmu Hukum. Vol.4, No.2. 2018. Sindonews.com. Israel disebut Kerahkan Segerombolan Drone AI Saat Perang 11 Hari dengan Hamas. https://international.sindonews.com/read/475322/4
3/israel-disebut-kerahkan-segerombolan-drone-ai- saat-perang-11-hari-dengan-hamas- 1625544435?showpage=all .  Diakses pada 10 Juli 2022.
Suara.com.  Ngeri!  PBB  Ungkap  Drone  Militer  Serang  Manusia Tanpa  diinstruksikan. https://www.suara.com/tekno/ 2021/06/01/104841/ngeri-pbb-ungkap-drone- militer-serang-manusia-tanpa-diinstruksikan .  Diakses pada 7 Agustus 2022.
Tempo.com. PBB Catat Kasus Pertama Serangan Drone Otonom ke  Manusia. https://tekno.tempo.co/read/1468209 /pbb-catat-kasus-pertama-serangan-drone-otonom- ke-manusia . Diakses pada 7 Agustus 2022.
Lewis,  John.  The  Case  for  Regulating  Fully  Autonomous Weapons. The Yale Law Journal. Vol.124, No.4. 2015.
Leys, Nathan.Autonomous Weapon Systems and International Crises. Strategic Studies Quarterly. Vol.12, No. 1. 2018.
Melysa,  Ary.  Analisis  Penggunaan  Offensive  Cyber  Operations Menghadapi  Ancaman  Nuklir  Iran.  Journal  of International Relations. Vol.2, No.4. 2016.
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
N, Schmitt, M. and Thurnher, J. S. "Out of the loop": autonomous weapon systems and the law of armed conflict. Harvard National Security Journal. Vol.4, No.2. 2013.
Passar,  Stefanus  Agung  Hariwicaksono  dan  Ida  Bagus  Erwin Ranawijaya.  Tanggung  Jawab  Komando  Terhadap Penggunaan  Lethal  Autonomous  Weapon  System (LAWs). Jurnal Kertha Negara. Vol.9, No.8. 2021.
Pedron,  Stephanie  Mae.  The  Future  of  Wars:  Artificial Intelligence  (AI)  and  Lethal  Autonomous  Weapon Systems  (LAWS).  International  Journal  of  Security Studies. Vol.2 Issue 1, article 2. 2020
Prasetiawan,  Eno  &  Lina  Hastuti.  Penerapan  Distinction Principle  Dalam  Perundang-Undangan  di  Indonesia. Udayana Master Law Journal. Vol.9, No.2. 2020
Sidauruk, Sarah Marisi Ireney, Nuswantoro Dwiwarno, dan H.M. Kabul Supriyadhie. Penggunaan Autonomous Weapons System  Dalam  Konflik  Bersenjata  Internasional menurut Hukum Humaniter Internasional.  Diponegoro Law Journal. Vol.8, No.2. 2019.

## The United Nations Convention on Certain Conventional Weapon
1980 (Konvensi Senjata Konvensional Tertentu 1980)
The Rome Statute of the International Criminal Court 1998
Thomas,  Bradan  T.  Autonomous  Weapon  Systems:  The Anatomy  Of  Autonomy  And  The  Legality  of  Lethality. Houston Journal of International Law. Vol.12, No.1. 2014.

## Turlandi,  Asif  Khan.  Autonomous  Weapons  Systems  and  the
Principles  of  International  Humanitarian  law,  first edition.  United  State  of  Amerika:  Kindle  Direct Publishing. 2022.
Wagner,  Markus.  The  Dehumanization  of  International Humanitarian  Law:  Legal,  Ethical,  and  Political
Uti Possidetis: Journal of International Law, Vol. 3, No. 3 (2022)
Implications  of  Autonomous  Weapon  Systems. vanderbilt journal of transnational law. Vol. 47. 2014.
Wilia,  Andreas  &  Diajeng  Wulan  Christianti.  The  Use  of Autonomous  Weapon  Systems  in  Armed  Conflict: Legality and Challenges for Future Weapon Regulation. Padjadjaran  Journal  of  International  Law.  Vol.3,  No.2. 2019.
Yunanda,  Aulia  Putri.  Autonomous  Weapon  Systems  dan Legalitas  Penggunaannya  Dalam  Hukum  Humaniter Internasional. Jurist-Diction. Vol.2, No.2. 2019.