Ентрописка стапка

Во математичката теорија на веројатност, стапката на ентропија или стапката на изворна информација на стохастички процес е, неформално, временската густина на просечната информација во стохастичкиот процес. За стохастички процеси со пребројлив индекс, стапката на ентропија  е граница на заедничката ентропија на  членови на процесот  поделено со , кога  се стреми кон бесконечност:



кога постои граница. Алтернативно, соодветната количина е:



За силно стационарни стохастички процеси, . Ентрописката стапка може да се смета како општо својство на стохастичките извори; ова е својство на асимптотска еквиподелба. Стапката на ентропија може да се користи за да се процени сложеноста на стохастичките процеси. Се користи во различни апликации кои се движат од карактеризирање на сложеноста на јазиците, слепо одвојување на изворите, до оптимизирање на квантизаторите и алгоритми за компресија на податоци. На пример, може да се користи критериум за максимална стапка на ентропија за избор на одлики во машинското учење.

 Ентрописки стапки за Марковски вериги 
Бидејќи стохастичкиот процес дефиниран со Марковска верига која е несводлива, апериодична и позитивно рекурентна има стационарна распределба, стапката на ентропија е независна од почетната распределба.

На пример, за таква Марковска верига дефинирана на пребројлив број на состојби, со оглед на транзициската матрица ,  е дадена со:



каде  е асимптотската дистрибуција на веригата.

Едноставна последица на оваа дефиниција е дека стохастичкиот процес на независни еднакво распределени случајни има стапка на ентропија која е иста како ентропијата на секој поединечен член на процесот.

 Поврзано 

 Извор на информации (математика)
 Марковски извор на информации
 Својство на асимптотска еквиподелба

 Наводи 

 Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc.,  

Категорија:Ентропија
Категорија:Теорија на информациите
Категорија:Временски стапки