Entropi kavramının istatistikteki bazı uygulamaları
Some applications in statistics entropy
Yazar: GÖKHAN DİNÇER
Danışman: DOÇ. DR. ATIF AHMET EVREN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: İstatistik = Statistics

Özet:
İstatistiksel entropi, bir istatistiksel deneydeki belirsizliğin ölçüsüdür. Deneyin sonucu ne ölçüde öngörülebilir ise entropi o kadar düşük, deney sonucunun öngörülebilirliği ne ölçüde yüksekse entropi o kadar yüksek olmaktadır. Bunun dışında istatistiksel entropinin bazı ilginç uygulama alanları vardır.
İlk olarak, olasılık (ya da frekans) dağılımının nitel olması durumunda dağılma ölçüsü için istatistiksel entropiden yararlanılabilir. Bilindiği gibi nitel dağılımlarda merkezi toplanma ölçüsü olarak aritmetik ortalama kullanılamadığından, dağılma ölçüsü olarak varyans, standart sapma gibi istatistikler de hesaplanamamaktadır. Buna ek olarak değişkenler nitel olduğu zaman,  klasik korelasyon ölçüleri de kullanılamamaktadır.  Bu nedenle entropi ve karşılıklı bilgi ölçülerinin; değişkenler arasındaki bağımlılıkların analizinde kullanılması yerinde olacaktır. 
İkinci olarak entropi kavramından türeyen göreli entropi, olabilirlik fonksiyonu ile ilgilidir. Genel olarak göreli entropi (Kullback-Leibler sapması) ve göreli entropiden türeyen bazı uyum iyiliğini ölçmeye yarayan istatistikler ki-kare dağılımları ile yakından ilişkilidir. 
Tezde bu konular detaylıca tartışıldıktan sonra yapılacak bazı uygulamalarla entropi ve entropiden türeyen bazı istatistiklerin yukarıda sözü edilen temel istatistik problemlerine uygulanabilirliği tartışılmaktadır. 
Anahtar Kelimeler: Shannon entropi, Rényi entropi, Tsallis entropi, Havrda-Charvat entropi, Kullback-Leibler mesafesi,  Nitel Değişim, Karşılıklı Bilgi Ölçüsü

Abstract:
Statistical entropy is a measure of uncertainty that a statistical experiment possesses. The more predictable the outcome of an experiment, the lower the entropy; and the less predictable the outcome, the higher the entropy . In addition there are some interesting application areas for statistical entropy.
First of all, whenever the probability (or frequency) distribution is qualitative, entropy can be used as a measure of variation. In these cases, as known well, the statistics like variance and standard deviation can't be computed since arithmetic mean cannot be obtained as a measure of central tendency for qualitative distributions.  Besides, whenever two variables are qualitative, classic correlation measures cannot be used. For this reason the application of measures of entropy and mutual information to the study of association between variables will be useful.
Entropy and relative entropy are closely related to likelihood function. In general, relative entropy (Kullback-Leibler divergence) is closely associated with some goodness of fit statistics like chi-square statistics.  
In this thesis, after these issues are discussed in detail, by some applications, applicability of some of the measures based on entropy and relative entropy to basic problems of statistics mentioned previously is studied.  
Keywords: Shannon entropy, Rényi entropy, Tsallis entropy, Havrda-Charvat entropy, Kullback-Leibler divergence, Qualitative variation, Mutual information