Phân kỳ Kullback–Leibler

Trong toán học thống kê, phân kỳ Kullback–Leibler (hay còn gọi là khoảng cách Kullback–Leibler, entropy tương đối) là một phép đo cách một phân phối xác suất khác biệt so với cái còn lại, phân phối xác suất tham chiếu. Các ứng dụng chứa đặc tính entropy thông tin quan hệ  trong các hệ thống thông tin, ngẫu nhiên theo chuỗi thời gian liên tục, và thông tin đạt được khi so sánh các mô hình thống kê suy luận. Tương phản với sự thay đổi thông tin, phân kỳ Kullback–Leibler là một phép đo bất đối xứng phân phối thông minh và vì vậy không đủ điều kiện là một metric thống kê có tính lây lan. Trong trường hợp đơn giản, một phân kỳ Kullback–Leibler có giá trị 0 chỉ ra rằng hai phân phối là giống nhau. Nói cách đơn giản, phân kỳ Kullback–Leibler là một phép đo sự ngạc nhiên, với nhiều ứng dụng khác nhau như thống kê ứng dụng, cơ học chất lưu, khoa học thần kinh và học máy.

Tham khảo

Liên kết ngoài 
 Information Theoretical Estimators Toolbox
 Ruby gem for calculating Kullback–Leibler divergence
 Jon Shlens' tutorial on Kullback–Leibler divergence and likelihood theory
 Matlab code for calculating Kullback–Leibler divergence for discrete distributions 
 Sergio Verdú, Relative Entropy, Conference on Neural Information Processing Systems 2009. One-hour video lecture.
 A modern summary of info-theoretic divergence measures

Entropy và thông tin
Nhiệt động lực học