Bilgi Kuramında Shannon Entropisi ve Uygulamaları
Shannon Entropy and Its Applications in Information Theory
Yazar: Bahadır, Oğuzhan; Türkmençalıkoğlu, Hande
Dergi: Avrupa Bilim ve Teknoloji Dergisi No. 32, 2021
Anahtar kelimeler: Engineering ; Mühendislik ; Entropi,Bilgi kuramı,Bilgi kazancı ; Entropy,Information Theory,Information Gain

21. yüzyılda iletişim ve teknoloji çağında fizikten istatistiğe, mühendislikten sosyal bilimlere kadar pek çok alanda uygulamaları olanentropi, güvenli veri aktarımı, kayıpsız veri sıkıştırma, veri madenciliği, makine öğrenmesi ve sınıflandırma gibi alanlarda bilgi teorisininbir uygulaması olarak karşımıza çıkmaktadır. Shannon tarafından olasılık hesaplamaları kullanılarak oluşturulan entropi formülü, bilgiteorisinde kullanılan önemli bir ölçüm yöntemidir. Bu çalışmada, Shannon'ın entropi formülünün bilgi teorisindeki bazı kullanımlarıuygulamalar ile gösterilmektedir. İlk olarak adil ve hileli madeni paralar ile oynanan bir yazı-tura oyununda bilgi ve entropi miktarlarıhesaplanmış, elde edilen sonuçlar birbiri ile karşılaştırılmıştır. Adil madeni paradan elde edilen entropi değeri, hileli madeni paradan daha yüksek çıkmış ve bu durum entropinin bir sistemdeki belirsizliğin ölçüsü olduğunu kanıtlamıştır. Entropinin bilgi kuramında kullanılmasıyla birlikte etkili iletişim ve minimum bit kullanarak veri depolama gibi işlemlerde büyük gelişme sağlanmıştır. Yapılan ikinci uygulamada bir veri grubundaki karakterler kodlanırken, gereken minimum bit sayısı entropi formülü ile hesaplanmış ve örnek bir kodlama yapılmıştır. Bilgi teorisinde Shannon entropisi, bilgi iletimi ve depolama alanlarının yanı sıra veri madenciliği, makine öğrenmesi ve yapay tahmin mekanizmalarında da kullanılmaktadır. Yapılan son uygulamada yapay öğrenme alanlarından ‘Karar Ağacı’ oluşturulmasında entropi formülünün, ağacın oluşumundaki ‘kök düğüm’ün tespit edilmesinde kullanıldığı gösterilmiştir. Yapılan uygulamalar Shannon entropisinin bilgi teorisindeki işlevselliğini göstermiştir.

Entropy has applications in many fields from physics to statistics, from engineering to social sciences in the age of communication and technology in the 21st century. It appears as an application of information theory in areas such as secure data transfer, lossless data compression, machine learning and classification. The entropy formula created by Shannon using probability calculations is an important measurement method used in information theory. In this study, some uses of Shannon's entropy formula in information theory are demonstrated with applications. Firstly, in a coin flip game played with fair and fraudulent coins, the amount of information and entropy were calculated, and the results were compared with each other. The entropy value obtained from the fair coin was higher than that of the fraudulent coin, proving that entropy is a measure of uncertainty in a system.With the use of entropy in information theory, great progress has been made in processes such as effective communication and data storage using minimum bits. In the second application, while coding the characters in a data group, the required minimum number of bits was calculated with the entropy formula and an example coding was made. In information theory, Shannon entropy is used in data mining, machine learning and artificial prediction mechanisms as well as information transmission and storage. In the last application, it has been shown that the entropy formula is used to determine the 'root node' in the formation of the tree in the creation of the 'Decision Tree' from artificial learning areas. The applications have shown the functionality of Shannon entropy in information theory.