Teoría da información

A teoría da información é unha rama da teoría da probabilidade e da matemática estatística relacionada cos sistemas de comunicación, transmisión de datos, criptografía, codificación, teoría do ruído, corrección de erros, compresión de datos. .. Non se debe confundir coa tecnoloxía da información.
Claude E. Shannon (1916-2001) é coñecido como "o pai da teoría da información". A súa teoría foi a primeira en considerar a comunicación como un problema matemático rigorosamente baseado na estatística, e deu aos enxeñeiros da comunicación un modo de determinar a capacidade dunha canle de comunicación en termos de ocorrencia de bits. A teoría non se preocupa da semántica dos dados, mais pode envolver aspectos relacionados coa perda de información na compresión e na transmisión de mensaxes con ruído na canle.
Acéptase, en xeral, que a disciplina moderna da teoría da información comezou coa publicación do artigo "The Mathematical Theory of Communication" por Claude E. Shannon no Bell Systen Technical Journal en xullo e outubro de 1948. No proceso de desenvolvemento dunha teoría da comunicación que puidese ser aplicada por enxeñeiros eléctricos para proxectar sistemas de telecomunicación mellores, Shannon definiu unha medida chamada de entropía, definida como: H ( X )
− ∑ i p ( x i ) ∗ log 2 ⁡ p ( x i ) {\displaystyle H(X)
-\sum _{i}p(x_{i})*\log _{2}p(x_{i})} que determina o grao de caoticidade da distribución de probabilidade p ( x i ) {\displaystyle p(x_{i})} e pode ser usada para determinar a capacidade da canle necesaria para transmitir a información. A medida de entropía de Shannon pasou a considerarse como unha medida da información contida nunha mensaxe, en oposición á parte da mensaxe que está estritamente determinada (polo tanto previsível) por estruturas inherentes, como por exemplo a redundancia da estrutura das linguaxes ou das propiedades estatísticas dunha linguaxe, relacionadas coas frecuencias de ocorrencia de diferentes letras (monemas) ou de pares, tríos, (fonemas) etc. , de palabras. Ver cadea de Markov.
A entropía como foi definida por Shannon está intimamente relacionada coa entropía definida por físicos. Boltzmann e Gibbs fixeran un traballo considerable sobre termodinámica estatística. Este traballo foi a inspiración para a adopción do termo entropía en teoría da información. Hai unha profunda relación entre entropía nos sentidos termodinámico e informacional. Por exemplo, o demo de Maxwell necesita informacións para reverter a entropía termodinámica e a obtención desas informacións equilibra exactamente a ganancia termodinámica que o demo alcanzaría doutro xeito.
Outras medidas de información útiles inclúen a información mutua, que é unha medida da correlación entre dous conxuntos de sucesos. A información mutua defínese por dous eventos X e Y como: I ( X, Y )
H ( X, Y ) − H ( X ) − H ( Y ) {\displaystyle I(X, Y)
H(X, Y)-H(X)-H(Y)} onde H ( X, Y ) {\displaystyle H(X, Y)} é a entropía conxunta (joint entropy) ou H ( X, Y )
− ∑ x i, ∑ y j p ( x i, y i ) log ⁡ p ( x j, y j ) {\displaystyle H(X, Y)
-\sum _{x_{i}, }\sum _{y_{j}}p(x_{i}, y_{i})\log p(x_{j}, y_{j})} A información mutua está relacionada de forma moi próxima con testes estatísticos como o teste de razón logarítmica e mais co teste Chi-cadrado.
A teoría da información de Shannon é apropiada para medir incerteza sobre un espazo desordenado. Unha medida alternativa de información foi criada por Fisher para medir incerteza sobre un espazo ordenado. Por exemplo, a información de Shannon é usada sobre un espazo de letras do alfabeto, xa que letras non teñen 'distancias' entre elas. Para información sobre valores de parámetros continuos, como as alturas de persoas, úsase a información de Fisher, xa que os tamaños estimados teñen unha distancia ben definida.
As diferenzas na información de Shannon corresponden a un caso especial da distancia de Kullback-Leibler da estatística Bayesiana, unha medida de distancia entre distribucións de probabilidade a priori e a posteriori.
Andrei Nikolaevich Kolmogorov introduciu unha medida de información baseada no menor algoritmo que a pode computar (ver complexidade de Kolmogorov).