## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
Simulasi Entropi Shannon, Entropi Renyi, dan informasi pada kasus Spin Wheel
1 Ali Khumaidi, 2 Ridwan Raafi'udin, 3 Indra Permana Solihin
1 Program Studi Informatika, Universitas Krisnadwipayana, Jakarta
2,3 Program Studi Teknik Informatika, Universitas Pembangunan Nasional Veteran Jakarta Email: alikhumaidi@unkris.ac.id

## Abstrak
Entropi adalah besaran yang mengukur ketidakpastian variabel acak, dan ini adalah besaran yang merupakan kunci dalam konsep teori informasi. Entropi adalah ukuran ketidakpastian. Konsep entropi dimulai dengan terminologi yang disebut konten informasi. Shannon Entropy sering dinyatakan sebagai asal mula ukuran informasi yang digunakan dalam beberapa aplikasi. Pada penelitian ini menggunakan balanced dan unbalanced spin whell dengan nilai q = 1,000001 diperoleh  entropi  Shannon,  Renyi  dan  informasi  pada  balanced  spin  wheels masing-masing 2.079442, 2.079442, 2.079439 dan pada unbalanced spin wheels masing-masing juga 1.936798, 1.936798, 1.936796 jadi nilainya dari entropi dan informasi  akan  cenderung  shanon  entropi  ketika q  →  1. Sehingga  model percobaaan  ini  dapat  menjadi  bahan  acuan  keperluan  optimasi  pada  proses pembelajaran sistem cerdas berikutnya.
Kata kunci: Entropi; Shannon; Renyi; Information; Spin Wheel

## Abstract
Entropy is a quantity that measures the uncertainty of a random variable, and this is a quantity that is key in the concept of information theory. Entropy is a measure  of  unpredictability.  The  concept  of  entropy  begins  with  a  terminology called information content. Shannon Entropy is often stated as the origin of the information size used in several applications. In this study using a balanced and unbalanced spin whell with a value of q = 1.000001 obtained by Shannon, Renyi entropy  and  information  on  balanced  spin  wheels  respectively  2.079442, 2.079442, 2.079439 and on unbalanced spin wheels respectively also 1.936798,
1.936798,  1.936796  so  the  value  of  the  entropy  and  information  will  tend  to shanon entropy when q → 1. This experimental model can be used as a reference for optimization purposes in the next smart system learning process.
Keywords: Entropy; Shannon; Renyi; Information; Spin Wheel

## A. Pendahuluan
Dalam  teori  informasi,  entropi  adalah  besaran  yang  mengukur ketidakpastian variabel acak, dan ini adalah besaran yang merupakan kunci dalam  konsep  teori  informasi.  Entropi  adalah  ukuran  ketidakpastian (Namdari  dan  Steven,  2019).  Konsep  entropi  dimulai  dengan  terminologi yang disebut konten informasi (Popovic, 2014). Pertumbuhan telekomunikasi di awal abad ke-20 membuat beberapa peneliti mempelajari informasi dari sinyal (Hartley, 1928). Oleh Shannon, kemudian menjadi teori komunikasi secara  terstruktur  yang  koheren  dan  memulai  bidang  penelitian  yang sekarang  dikenal  sebagai  teori  informasi  (Shannon,  1948).  Shannon

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
menyatakan bahwa ukuran banyaknya informasi H (p) yang terdapat pada rangkaian  peluang  p1  ...  pN  harus  memenuhi  tiga  syarat  yaitu  (1)  H merupakan fungsi kontinu pada pi, (2) Jika peluang untuk pi sama , maka pi = 1 / N, maka H harus menjadi fungsi Monoton Naik dari N, dan (3) H bisa menjadi fungsi aditif (Shannon, 1948). Shannon membuktikan bahwa fungsi H (p) pada persamaan (1) memenuhi ketiga kondisi di atas, di mana K adalah konstanta positif. Fungsi ini kemudian dikenal sebagai entropi Shannon.
H(P) = ∑ 𝑝 𝑖 𝑙 𝑛 𝑝 𝑖 𝑁 𝑖=1 (1)
Entropi Shannon sering dinyatakan sebagai asal mula ukuran informasi yang digunakan dalam beberapa aplikasi termasuk coregistration citra medis multi-modalitas. Perluasan karya asli Shannon telah menghasilkan banyak langkah  alternatif  informasi  atau  entropi.  Misalnya,  entropi  Renyi  Hq  (P) diperoleh dengan menghilangkan sayatan ketiga dari Shanon (Renyi, 1961). Entropi Renyi dirumuskan dalam persamaan (2).
Hq(P) = 1 1 − 𝑞 𝑙𝑛 ∑ 𝑃 𝑖 𝑞 𝑁 𝑖=1 (2)
Di mana, nilai entropi renyi akan cenderung entropi shannon ketika       q →  1.  Kendall  mendefinisikan  kandungan  informasi  Iq  (P)  dari  distribusi probabilitas  pada  kasus  diskrit  (Kendall  dan  Stuart,  1973),  dinyatakan dalam persamaan (3).
Iq(P) = 1 𝑞 − 1 𝑙𝑛 ∑ 𝑃 𝑖 𝑞 𝑞 − 1 𝑁 𝑖=1 (3)
Entropi  Renyi  Hq  (P)  dan  informasi  Iq  (P)  akan  cenderung  ke  entropi Shannon. Entropi Renyi juga termasuk fungsi monoton. Hubungan monoton menyiratkan  bahwa  entropi  dan  informasi  dapat  digunakan  secara bergantian dalam aplikasi praktis. Konsep entropi Shannon dapat digunakan untuk  memperoleh  ukuran  informasi  timbal  balik  yang  umum  digunakan dalam  informasi  medis  multi-modalitas,  koregistrasi  teori-modalitas, menghitung  informasi  kandungan  sinyal  yang  terdiri  dari  simbol  alfabet independen  terpisah.  Selain  itu,  entropi  Shannon  identik  dengan  fungsi kemungkinan (Bromiley, Thacker dan Bouhova, 2004).
Penelitian  tentang  pengintegrasian  model  entropi  Shannon  dengan penginderaan  jauh  dan GIS  untuk menganalisis  pola  rambat  perkotaan  di Bodetabek  menunjukkan  bahwa  pola  rambat  linier  lebih  dominan  di Kabupaten  Bogor,  Bekasi  dan  Kota  Bogor.  Studi  tersebut  menyimpulkan bahwa  peningkatan  indeks  entropi  Shannon  menunjukkan  kecenderungan penyebaran  perkotaan  yang  semakin  acak  (Prastyo,  2017).  Riset  entropi

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
Renyi terkait dengan klasifikasi tiga jenis sinyal EKG. Nilai entropi dihitung dengan urutan q = 2-100 sebagai fitur dari setiap data dan ditambahkan ke entropi sinyal Shannon. Sebagai pengklasifikasi digunakan dukungan mesin vektor  dengan  beberapa  variasi  (Estananto,  2018).  Penelitian  untuk mengevaluasi  kompleksitas  perilaku  menggunakan  entropi  informasi dengan  membuat  distribusi  probabilitas  empiris  yang  berfungsi  langsung dari  kumpulan  data,  selain  itu  entropi  informasi  digunakan  untuk mengevaluasi  kompleksitas  temporal  dan  spasial  dari  proses  aliran  yang disimulasikan  dengan  infiltrasi  ke  media  berpori  yang  heterogen  (Mays, Faybishenko,  dan  Finsterle,  2002).  Berdasarkan  hasil  penelitian  terkait penerapan entropi Shannon, entropi Renyi dan informasi, penelitian ini akan mensimulasikan  hubungan  antara  entropi  Shannon,  entropi  Renyi,  dan informasi pada kasus spin wheel .

## B. Metode Penelitian
Untuk memperkuat bukti hubungan antara entropi Shannon, Renyi, dan informasi dilakukan simulasi  pada kasus spin wheel . Simulasi ini diujikan pada 2 jenis spin wheel yaitu jenis seimbang dan jenis tidak seimbang.
Gambar 1. Spin Wheel Seimbang dan Tidak Seimbang
Studi kasus 1 spin wheel seimbang, di mana 1 bidang lingkaran dibagi menjadi 8 bagian yang sama besar yaitu 18 bagian atau 45 °. Sehingga setiap bidang memiliki probabilitas yang sama yaitu 0,125.
Studi kasus 2 spin wheel tidak seimbang, dimana 1 area lingkaran dibagi menjadi 8 bagian dengan lebar yang berbeda. Adapun pembagiannya sebagai berikut:

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
1. Bidang 1 adalah 1/36 bagian atau 10 ° dengan probabilitas 0,02777
2. Bidang  2  adalah  2/36  bagian  atau  20  °  dengan  probabilitas 0,055555556
3. Bidang  3  adalah  3/36  bagian  atau  30  °  dengan  probabilitas 0,083333333
4. Bidang  4  adalah  4/36  bagian  atau  40  °  dengan  probabilitas 0.111111111
5. Bidang  5  adalah  5/36  bagian  atau  50  °  dengan  probabilitas 0.138888889
6. Bidang 6 6/36 bagian atau 60 ° dengan probabilitas 0.166666667
7. Bidang  7  adalah  7/36  bagian  atau  70  °  dengan  probabilitas 0.194444444
8. Field  7  adalah  8/36  bagian  atau  80  °  dengan  probabilitas 0.222222222
Dan nilai q yang digunakan untuk pengujian adalah q = 3, q = 2,            q = 1,5, q = 1,000001, dan q  = 0,5. Perhitungan Shannon, Renyi dan  entropi informasi menggunakan persamaan (1), (2), dan (3).

## C. Hasil dan Pembahasan
Perhitungan  simulasi  entropi  Shannon,  entropi  Renyi,  dan  informasi diterapkan pada studi kasus spin wheel dimana terdapat 2 jenis spin wheel yaitu spin wheel seimbang dan spin wheel tidak seimbang sebagai berikut:
1. Perhitungan pada spin wheel seimbang
Studi kasus 1 spin wheel seimbang, dimana 1 bidang lingkaran dibagi menjadi 8 bagian yang sama besar yaitu 18 bagian atau 45 °. Sehingga setiap field memiliki probabilitas yang sama yaitu 0,125, seperti terlihat pada tabel 1.
Tabel 1. Peluang dalam Studi Kasus Spin Wheel Seimbang
Gambar 2, 3, dan 4 merupakan  simulasi perhitungan entropi dengan nilai q = 3 pada spin wheel seimbang.

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
Gambar 2. Simulasi Perhitungan Entropi Shanon pada Spin wheel Seimbang
Gambar 3. Simulasi Perhitungan Entropi Renyi pada Spin wheel Seimbang
Gambar 4. Simulasi Perhitungan Informasi pada Spin Wheel Seimbang Terlihat dalam gambar 2, 3, dan 4 diperoleh entropi dengan nilai q = 3 yaitu Shannon = 2.079442, Renyi = 2.079442 dan informasi = 0.492188
2. Perhitungan pada Spin Wheel tidak Seimbang
Studi kasus 2 spin wheel tidak seimbang, di mana 1 area lingkaran dibagi  menjadi  8  bagian  dengan  tampilan  lebar  berbeda,  ditunjukkan pada tabel 2.
Tabel 2. Peluang dalam Studi Kasus Spin Wheel Tidak Seimbang
Gambar 5 merupakan simulasi perhitungan entropi dengan nilai q = 3 pada spin wheel tidak seimbang.
Dari gambar 5, diperoleh hasil perhitungan simulasi entropi dengan nilai  q  =  3.  Untuk  hasil  perhitungan  simulasi  entropi  Shannon didapatkan nilai sebesar 1.936798, untuk entropi Renyi didapatkan hasil

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
perhitungan  simulasi  sebesar  1.791759,  dan  untuk  hasil  Informasi didapatkan 0.486111.
Gambar 5. Simulasi Perhitungan Entropi pada Spin wheel Tak Seimbang

## 3. Hubungan antar Entropi
Untuk melihat hubungan antar entropi dilakukan simulasi dengan berbagai nilai q sehingga diperoleh nilai entropi pada tabel 3 dan tabel 4. Hubungan antar entropi juga dapat di lihat dalam gambar 8.
Tabel 3. Hasil Simulasi Nilai q pada Entropi pada Spin Wheel Seimbang Value q 3 2 1.5 1.000001 0.5 Shannon 2,079442 2,079442 2,079442 2,079442  2,079442 Renyi 2,079442 2,079442 2,079442 2,079442  2,079442 Informasi 0,492188 0,875 1,292893 2,079439  3,656854
Tabel 4. Hasil Simulasi Nilai q pada Entropi pada Spin Wheel Tidak Seimbang Value q 3 2 1.5 1.000001 0.5 Shannon 1,936798 1,936798 1,936798 1,936798  1,936798 Renyi 1,791759 1,848918 1,887744 1,936798  1,999547 Information 0,486111 0,842593 1,221764 1,936796  3,435334

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
Gambar 6. Hasil Plot pada Spin Wheel Seimbang
Gambar 7. Hasil Plot pada Spin Wheel Tidak Seimbang
Dari hasil simulasi perubahan nilai q pada spin wheel seimbang dan spin wheel tidak seimbang yang dapat dilihat pada gambar 6 dan gambar 7, maka ketiga entropi tersebut memiliki hasil yang sama ketika nilai q mendekati 1, simulasi diberikan pada nilai q = 1,000001, nilai entropi diperoleh pada tabel 5.
Tabel 5. Hasil Entropi dengan Nilai q = 1,00 0001 (q → 1) Entropi Balanced Spin Wheel Unbalanced Spin Wheel Shannon 2,079442 1,936798 Renyi 2,079442 1,936798 Information 2,079439 1,936796

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646

## Gambar 8. Hubungan Entropi Shannon dan Renyi serta Informasi

## D. Simpulan
Pengujian  sederhana  dengan  simulasi  spin  wheel  dengan  nilai  q mendekati  1  maka  entropi  Renyi  dan  informasinya  akan  cenderung  ke entropi  Shannon,  seperti  terlihat  pada  gambar  8.  Hubungan  monoton menyatakan  bahwa  entropi  dan  informasi  dapat  digunakan  secara bergantian dalam aplikasi praktis. Konsep entropi Shannon dapat digunakan untuk  memperoleh  ukuran  informasi  timbal  balik  yang  umum  digunakan dalam informasi.

## E. Daftar Pustaka
Bromiley  P.  A.,  Thacker  N.  A.,  dan  Bouhova-Thacker  E.  (2004). Shannon entropy, Renyi entropy and information , UK.
Estananto  N.  (2018).  Klasifikasi  Sinyal  Elektrokardiogram  Menggunakan Renyi  Entropy. J.  Elektro  dan  Mesin  Terap .,  4(2),  11 – 18,  doi: 10.35143/elementer.v4i2.2139.
Hartley R. V. L. (1928). Transmission of Information. Bell Syst. Tech. J., pp.
535 – 563. Kendall  M.  &  Stuart  A.  (1973). Kendall’s  Advanced  Theory  of  Statistics: Volume 2 Inference and Relationship . Hafner Publishing. Mays D. C., Faybishenko B. A., dan Finsterle S. (2002). Information entropy to  measure  temporal  and  spatial  complexity  of  unsaturated  flow  in heterogeneous  media. Water  Resour.  Res., 38(12),  49-1-49 – 11,  doi: 10.1029/2001WR001185.
Namdari A. & Steven Z. (2019). A review of entropy measures for uncertainty quantification  of  stochastic  processes. Adv.  Mech.  Eng .,    11(  6).  doi: 10.1177/1687814019857350.
Popovic M. (2014). Comparative study of entropy and information change in closed and open thermodynamic systems. Thermochim. Acta , 598, 77 – 81. doi: 10.1016/j.tca.2014.11.002.
Prasetyo  A.  (2017).  Pola  Spasial  Penjalaran  Perkotaan  Bodetabek:  Studi Aplikasi  Model  Shannon’s  Entropy . J.  Geogr.  Gea ,  16(2),  144,  doi: 10.17509/gea.v16i2.2439.

## AKSIOMA: Jurnal Matematika dan Pendidikan Matematika
Vol. 12, No. 1 April 2021 e-ISSN 2579-7646
Rényi A. (1961). On Measures of Entropy and Information. Proceedings of the Fourth  Berkeley  Symposium  on  Mathematical  Statistics  and Probability , 1961, hal. 547-561.
Shannon C. E. (1948). A mathematical theory of communication. Bell Syst. Tech. J., vol. 27, 379 – 423.
Shannon C. E. (1948). A mathematical theory of communication. Bell Syst. Tech. J. , vol. 27, 623 – 656