Kesikli rassal değişkenler için entropi optimizasyon prensipleri ve uygulamaları
Entropy optimization principles for discrete random variables and applications
Yazar: ÇİĞDEM GİRİFTİNOĞLU
Danışman: Y.DOÇ.DR. ZERRİN AŞAN
Anadolu Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2005
Konu: İstatistik = Statistics

Özet:
ÖZETYüksek Lisans TeziKESİKLİ RASSAL DEĞİŞKENLER İÇİNENTROPİ OPTİMİZASYON PRENSİPLERİVEUYGULAMALARIÇİĞDEM GİRİFTİNOĞLUAnadolu ÜniversitesiFen Bilimleri Enstitüsüİstatistik Anabilim DalıDanışman: Yard. Doç. Dr. Zerrin AŞAN2005, 93 sayfaBu tezde, öncelikle olasılıksal bir sistemde var olan belirsizliğinölçümünü ifade eden entropi kavramı ve buna bağlı olarak Shannon EntropiÖlçütü ile Kullback-Leibler Entropi Ölçütü tanımlarına yer verilmiştir. Buiki entropi ölçütünün özellikleri ile bu ölçütleri optimize etmeyöntemlerinden Jaynes'in Maksimum Entropi Prensibi (MaxEnt) veKullback'in Minimum Çapraz Entropi Prensibi (MinxEnt) ele alınmıştır.Sözü edilen ilkelerin mantığı ve matematiği ayrıntılarıyla gösterilmiş,aralarındaki ilişki ve farklılıklara değinilmiştir. Her iki ilke, istatistikselproblemlere uygulanarak elde edilen denklem veya denklemler sistemiYarıya Bölme Yöntemi ve Newton Yöntemi kullanılarak Visual Basicprogramlama dilinde hazırlanan programlarda çözülmüş ve iki prensibinsonuçları karşılaştırılarak sunulmuştur. Ayrıca Devlet İstatistikEnstitüsü'nden alınan 2003-2004 elektrik tüketimi verileri üzerindeMinimum Çapraz Entropi Prensibi kullanılarak 2004 tüketim oranlarıtahmin edilmiş ve gerçek değerlerle yakınlığı ortaya konulmuştur.Anahtar Kelimeler: Shannon Entropi Ölçütü, Maksimum Entropi Prensibi,Kullback-Leibler Entropi Ölçütü, Minimum ÇaprazEntropi Prensibi, Olasılık Dağılımı Tahminii

Abstract:
ABSTRACTMaster of Science ThesisENTROPY OPTIMIZATION PRINCIPLES FOR DISCRETE RANDOMVARIABLES AND APPLICATIONSÇ ĞDEM G R FT NOĞLUAnadolu UniversityGraduate School of SciencesStatistics ProgramSupervisor: Assist. Prof. Dr. Zerrin AŞAN2005, 93 pagesIn this thesis, first of all the concept of entropy as an expressionmeasuring the uncertainty in probabilistic system and depending on thisconcept the definitions of Shannon Entropy Measure and Kullback-LeiblerEntropy Measure are given. The properties of these two entropy criterionsand their optimization principles, Jaynes?s Maximum Entropy Principle(MaxEnt) and Kullback?s Minimum Cross-Entropy Principle (MinxEnt), aredealt. The idea and mathematical base of mentioned principles are shown indetails, existing relationships and differences between these principles arealso discussed. Equations which are obtained by applying both principles onstatistical problems are solved via Visual Basic by using the Newton?sMethod and Bisection Method. Results of these two principles are compared.Furthermore, an estimation procedure is shown by using Minimum Cross-Entropy Principle on the data of 2003 rates of electric consumption takenfrom State Institute of Statistics. Moreover, the closeness of estimated andreal rates is shown.Keywords: Shannon?s Entropy Measure, Maximum EntropyPrinciple, Kullback-Leibler Entropy Measure, MinimumCross-Entropy Measure, Estimate of Probability Distributionii