Sesión 7 - Teoría de la información.

## **Un poco de historia**

Claude Elwood Shannon (1916-2001) fue un matemático, ingeniero eléctrico y criptógrafo estadounidense, siendo recordado como el padre de la teoría de la información. Se empezó a dar a conocer por haber sentado la base de la teoría del diseño de circuitos digitales en el año de 1937, demostrando en su tesis que las aplicaciones electrónicas del algebra booleana podrían construir cualquier relación lógico-numérica. Pero su legado se debe al haber fundado el campo de la teoría de la información, realizando una publicación llamada: “Una teoría matemática de la comunicación”, dándose como algo revolucionario en 1948. Las siguientes publicaciones en 1949 demostraron como se podía analizar la cuantificación de la teoría mediante métodos estrictamente matemáticos, de esta manera se media la confiabilidad de la información mutilada por perdida de bits, distorsión, elementos extraños añadidos, etc. Esto supuso ser extremadamente útil en el diseño de circuitos de computadoras, informática y tecnología de comunicaciones, pero también se han hallado aplicaciones en campos como la biología, psicología, fonética e incluso, en la semántica y la literatura.

## **¿Qué es teoría de la información?**

Es una propuesta para la rama de las matemáticas que fue desarrollada por Claude Elwood Shannon a mediados del siglo XX. Se relaciona con las leyes matemáticas rigiendo la transmisión y procesamiento de la información, ocupándose de su medición y representación, al igual que la capacidad de los sistemas de comunicación que permiten transmitirla y procesarla.
"La teoría de la información provee una base conceptual al desarrollo de técnicas de procesamiento de señales para transportar señales eléctricas. El teorema de Shannon establece un límite superior de rendimiento de un sistema de comunicación, y señala el camino, desde un punto de vista conceptual a la ingeniería de comunicaciones" (Mavares, D. 2020).

De esta manera quisimos hacer la introducción a lo que es la Teoría de la Información, concepto importante porque da un soporte teórico conceptual de la cantidad de información que se puede transmitir, o de otra forma, la cantidad de información que se puede enviar mediante un canal de comunicación, que enlaza cualesquiera dos sistemas en el que uno emite y otro recibe, de esta manera es como lo define Shannon.

El aporte de Shannon fue tal, que para la Teoría de Información, con base en sus teoremas, se les consideran *las **leyes de la información***, y se pueden enlistar de la siguiente manera:

1) Existe un límite superior de información que se puede comunicar por un determinado medio. A este se le conoce como Capacidad del Canal.

2) El ruido reduce la capacidad de canal.

3) Es posible acercarse a esos límites haciendo empaquetamientos o codificando los datos.

## **Sorpresa**

Ahora, una forma didáctica para entender lo que es la sorpresa es con el ejemplo del camino. Supongamos que hay un camino que se bifurca en otros dos, ir a la izquierda supone escoger el bit 0, e ir a la derecha supone escoger el bit 1, entonces al seleccionar uno de esos dos caminos significa un bit de información. Luego, nuevamente se bifurca en otros dos caminos, entonces al escoger cualesquiera de esos dos se añade un bit a la decisión que tomaste, creando así una secuencia de bits. Para visualizarlo de mejor manera, se presenta la siguiente gráfica extraída del texto *Information Theory: A Tutorial Introduction* James V Stone.

Para hacer aún más entendible este concepto tan abstracto, se le diferencia a el valor número (0 o 1) como "**bit**" y al "espacio" que contiene ese bit se le conoce como "**dígito binario**", para esto, se ha realizado una ilustración:

Teniendo esto claro, entonces se procede a definir la **Sorpresa**.

Supongamos ahora de que hay un carrito que en el camino que se bifurca siempre selecciona la derecha, es decir, escogerá siempre 1, por ende, esto no contiene una gran cantidad de información, porque al fin de cuentas ya sabíamos que el carrito iba a escoger ese camino, es decir, no había sorpresa, en el caso de que el carrito llegase a tomar la izquierda (o el bit 0) ahí podríamos decir que la sorpresa es mucha, ya que era una decisión que no esperábamos y por ende, se puede extraer mucha información. De hecho, ahora pongamos a un ser humano, quién tiene libre decisión de escoger cualquier camino, por ende habrá sorpresa siempre, pero, no habrá tanta información como la habría si el carrito escogiera la izquierda, siguiendo el mismo principio de que es un caso extremadamente difícil de que pase.

Se tiene entonces que al ser sorpresa, es decir, probabilidades, se definiría la información de la siguiente manera:

S
o
r
p
r
e
s
# a

log

2

⁡

1

P
k

,

P
k

=
P
r
o
b
a
b
i
l
i
d
a
d

d
e

k

{\displaystyle Sorpresa = \log\_{2}\frac{1}{P\_k} , P\_k = Probabilidad\ de\ k }

También se le conoce como la Información de Shannon y su unidad son bits.

## **Entropía**

Se puede considerar como la cantidad de información promedio que contiene diferentes símbolos. Los símbolos con menor probabilidad son los que contienen y aportan mayor información. Al tener todos los símbolos igualmente probables, todos aportan información relevante y la entropía puede considerarse máxima.

Este concepto es usado tanto en termodinámica, mecánica estadística y la teoría de la información, y en todos estos casos la entropía se define como una “medida del desorden”, una medida de incertidumbre y de información necesaria para que, en cualquier proceso, modificar la incertidumbre.

De acuerdo con la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de esta. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resultan equiprobables, sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje. Para codificar los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor que la cantidad de bits promedio de los mensajes originales. Esta es la base de la compresión de datos.

Para el caso de la información corresponde a la sorpresa promedio, tomando todos los eventos posibles:

H
(
x

# i
1

M

P

(

x
i

)

log

2

⁡

1

P

(

x
i

)

,

x
i

=
V
a
r
i
a
b
l
e

a
l
e
a
t
o
r
i
a

d
i
s
c
r
e
t
a

{\displaystyle H(x)=\sum\_{i=1}^M P\_{(x\_i)}\log\_{2}\frac{1}{P\_{(x\_i)}},\ x\_i= Variable\ aleatoria\ discreta }

H(x) también tiene como unidad bits. Para ejemplificar lo anterior, se presenta el caso de los dados (sin estar trucados, más adelante se presentará el ejercicio para cuándo uno de ellos lo está):

x
k

=
[
2
,
3
,
4
,
.
.
.
,
12
]
→
11

p
o
s
i
b
i
l
i
d
a
d
e
s

{\displaystyle x\_k=[2,3,4,...,12] \rightarrow 11\ posibilidades }

H
(
x
# )

P

(

x
1

)

log

2

⁡

1

P

(

x
1

)

P

(

x
2

)

log

2

⁡

1

P

(

x
2

)

.
.
.

P

(

x

11

)

log

2

⁡

1

P

(

x

11

)

{\displaystyle H(x)=P\_{(x\_1)}\log\_{2}\frac{1}{P\_{(x\_1)}}+P\_{(x\_2)}\log\_{2}\frac{1}{P\_{(x\_2)}}+...+P\_{(x\_{11})}\log\_{2}\frac{1}{P\_{(x\_{11})}}
 }

H
(
x
# )
3.27

b
i
t
s
→
# M

2

3.27

=
9.65

V
a
l
o
r
e
s

e
q
u
i
p
r
o
b
a
b
l
e
s

{\displaystyle H(x)=3.27\ bits\rightarrow M=2^{3.27}=9.65\ Valores \ equiprobables }

Este ejercicio se puede resolver también mediante tablas que faciliten la visualización del problema:

El outcome corresponde a los eventos que pueden ocurrir la suma de ambos dados con esa combinación de números, la frecuencia es la cantidad de veces que se puede repetir la suma de ambos dados, P corresponde a la probabilidad y la sorpresa respectiva,

Entonces, con el valor obtenido por la Entropía se puede entender como la información que se puede extraer de la salida (que corresponde a tirar ambos dados y sumar sus valores) o la sorpresa que este nos debería generar.

## **Entropía para variables continuas**

Del mismo modo, hay **Entropía para variables continuas**, donde hay infinitos eventos con probabilidad infinitesimal, es por esta razón que esta se puede decir que tiene entropía infinita, ya que como se definió anteriormente, la entropía depende de los eventos que se le ingresen como Xi, entonces al tener infinitos eventos con probabilidad infinitesimal, entonces se puede decir que tiene infinita entropía.

H
(

x
c

# )
∫
P
(

x
c

)

log

2

⁡

1

P
(

x
c

)

d

x
c

{\displaystyle H(x\_c)=\int P(x\_c)\log\_{2}\frac{1}{P(x\_c)}dx\_c }

Con esto, se define la **Función de probabilidad** (pdf) que corresponde a la probabilidad de Xc, pero como al ser una variable continua entonces requiere de una función de probabilidad, y el diferencial corresponde a la **Entropía diferencial**.

Ahora, para la relación entre H(Xc) con la pdf, se tiene lo que es la **Distribución de Máxima Entropía (o de probabilidad)**, donde se puede decir que tiene tanta entropía como técnicamente sea posible y esto es importante, ya que si se desea transmitir una variable con la mayor cantidad de información posible, entonces su entropía debe ser máxima. Para esto, se tienen tres tipos de distribución:

**Distribución de Gaussiana:**

La variable Xc no tiene ningún tipo de restricción, presenta una forma de campana o Gaussiana y por ende, la media es fija y es la punta, lo que significa que es el valor más probable, y esta es la que provee mayor información para una menor cantidad de energía, lo que significa que su eficiencia es muy alta. Entonces, si la variable tiene una distribución Gaussiana, se puede decir que su probabilidad es de la siguiente forma:

P
(
x
# )

1

2
π
σ

e

−
(
μ
−
x

)

2

2

σ

2

{\displaystyle P(x)=\frac{1}{\sqrt{2\pi \sigma}}e^{\frac{-(\mu -x)^{2}}{2\sigma ^{2}}} }

Se presenta una señal para ejemplificar lo anterior:

Es así entonces como se caracteriza para una probabilidad con distribución Gaussiana.

La siguiente distribución es la **Exponencial**, que se aplica para cuándo una variable no tiene valores negativos y no tiene ninguna restricción, además de que su media es fija, es ahí donde se puede decir que la distribución de entropía máxima es Exponencial.

Y por último, está la **Distribución Uniforme**, que es para cuándo se tiene un valor o límite x mínimo y otro máximo, además, como en las demás distribuciones, no debe tener ningún tipo de restricción Xk, si se cumple esto entonces tendría la siguiente probabilidad:

P
(
x
# )

1

x

m
a
x

−

x

m
i
n

{\displaystyle P(x)=\frac{1}{x\_{max}-x\_{min}} }

Se podría ejemplificar con la siguiente señal, además de como es el comportamiento de la pdf:

Cabe recordar que todo esto aplica para la aleatoriedad, es decir, son distribuciones probabilísticas y deben tener un factor de aleatoriedad, ya que si no lo hubiera, entonces no habría sorpresa.

## **Primera Ley Fundamental de Codificación de Shannon**

Como se mencionaba anteriormente, la capacidad del canal esta relacionado con la cantidad máxima de información que el canal puede llevar desde la entrada hasta su salida, pero esto se puede afectadar con la implementación de un factor importante que arriba con la realidad y es el ruido. Teniendo esto en cuenta, ahora el ratio con el que la información se va a transmitir depende de 3 cosas: La entropía de H(x) que se refiere a la entrada, la entropía de H(y) que se refiere a la salida y finalmente H(η) que se refiere al ruido. La idea está en que esta entropía del ruido sea la menor posible, esto con el fin de que no ocupe capacidad del canal, ya que no se puede transmitir más información que la que el canal permite.

Se puede decir que si cada dígito binario contiene menos de 1 bit, o podríamos decir lo siguiente, R < C donde R es el bit y C (canal) es el dígito binario, entonces la tasa de transmisión es menor a C, o capacidad del canal.

Teniendo esto claro, se puede entonces introducir la definición de la *Primera ley Fundamental de codificación de Shannon* : Si una fuente tiene entropía H (bit por símbolo) y un canal de capacidad C (bits per second), entonces es posible codificar la salida de la fuente para transmitir C/H - ε, donde ε -> 0. La consecuencia a este teorema es que no se puede transmitir o no es posible transmitir con una tasa mayor que C/H Símbolos per second. Cabe mencionar que este teorema aplica para canales sin ruido, es una aclaración que debe tener presente siempre.

Para ejemplificar esto, digamos que estamos en una piscina que tiene un tobogán, pero entonces hay una fila larguísima para poder deslizarse por el mismo, en este caso, la forma más rápida para que dicha fila se haga más corta es que varias personas formen una especie de cilindro y tirarse juntos, si sobrepasan la cantidad de personas pues no van a caber o directamente no se deslizarían porque está sobrepasando la capacidad del tobogán, pero en cambio si se forma un cilindro con menos personas suficientes para caber en el tobogán entonces van a poder deslizarse a la vez y disminuir la larga fila de espera. También, se podría hacer la analogía con respecto al ruido para este ejercicio, una fuente de ruido podría considerarse que tanta fricción genera las personas con respecto al tobogán, y del mismo modo, el filtro para ese ruido puede ser el humedecer fluyendo agua constantemente.

Entonces, la capacidad de que esta información sea transmitida ahora dependerá del ruido de la siguiente manera:

y
(
t
# )
H
(
t
)
x
η
(
t
)
,

H
(
y
# )
H
(
x
)
H
(
η
)

{\displaystyle y(t)=H(t)x+\eta (t), \ H(y)=H(x)+H(\eta)}

Como se mencionaba anteriormente, con el teorema de codificación de Shannon se busca es que en el momento de realizar la codificación se disminuya la redundancia lo máximo posible para así poder aprovechar al máximo la capacidad del canal.

## **Entropía condicional**

Ahora definiremos lo que es la **Entropía condicional**, y se puede entender como la incertidumbre que se presenta en la salida, habiendo conocido la entrada **H(x|y),** que significa que podemos conocer la entrada ya habiendo conocido la salida, de igual modo, podemos conocer la salida dependiendo de que ya conocemos la entrada **H(y|x)** que es la que usualmente se aplica, entonces, si conocemos la entrada y queremos saber la salida, que nos faltaría para conocerla? La respuesta es la entropía que produce el ruido, por la ecuación de H(y) que es la suma de la entropía de la entrada mas la de la salida, teniendo lo siguiente:

H
(
y

x
# )
H
(
η
)

{\displaystyle H(y|x)=H(\eta)}

## **Información Mutua**

Se puede definir como la información promedio para cada valor de "x" viendolo como una entrada, que provee acerca de "y" que es la salida, esto para cuándo se expresa de la forma **I(x,y)**. De la misma manera, se puede decir entonces para **I(y,x)** que esl la información promedio para cada valor de y, que provee acerca de "x", es por esto que no importa cuándo se cambia la dirección al canal, se puede definir como bilateral y se le denomina formalmente como **Teorema de dualidad**:

I
(
x
,
y
# )
I
(
y
,
x
)

{\displaystyle I(x,y)=I(y,x)}

Donde, como se mencionó anteriormente, si se envía la información de un punto A al B, va a dar exactamente las mismas caracteristicas si se envía de B a A. Para ejemplificar esto, se tiene un canal de agua, si la pendiente del canal se inviertiera, entonces todos los residuos orgánicos empezarán a fluctuar en dirección contraria, pero sigue transmitiendo la misma cantidad de residuos orgánicos que antes, con la única diferencia de que ahora el destinatario sería la ciudad.

De esta manera se puede diferenciar siempre desde donde proviene la información, algo que es de suma importancia para cuándo se tienen varios canales de información y puede provenir de varios puntos a un solo receptor. Presentamos entonces una tabla que reune todos los conceptos de entropía condicional y la Información mutua para facilitar la comprensión al lector:

Todo el estudio de la Teoría de la información es muy fructifera para el entendimiento del principio o la fundamentación de lo que son los Sistemas de Comunicación, es decir, partiendo desde las leyes fundamentales que llegaron incluso antes de la digitalización, que será de gran importancia para futuros temas, además enlazando los temas con los medios de transmisión y estudios en Electrónica para Radiofrecuencia, es posible enlazar y potenciar aún más el conocimiento, se hace mucho mas fructifero y ameno para nosotros, que algo tan abstracto como la sorpresa, la entropía, que si la información se puede cuantificar, que si el canal, digitos binarios, bits, son muchos conceptos que se han presentado en esta sesión y que aún así es posible comprender gracias a las lecturas propuestas y enlazando todos los conocimientos.

Por esto, te invitamos a que prosigas con el aprendizaje realizando un punto presente en el taller, con el que podras afianzar el conocimiento aprendido en esa sesión y todos los conceptos que aún estén deambulando por la abstracción del mismo, queden más que claros, puedes acceder por el siguiente link Taller Sesión 7 - Teoría de la información. o con el botón de la parte inferior de la página.

También, si desea extender el conocimiento acerca de este tema, puede hacerlo mediante el siguiente enlace que aparece en un cuadro azul [1]. De igual manera, el texto guía: Stone, J.V. (2018). Information Theory: A Tutorial Introduction. ArXiv, abs/1802.05968. Además, del Rappaport. “Wireless communications: principles and practice” Prentice Hall. 2002. 621.382R, libro al que puedes acceder con el siguiente link [2]

 **Sesión Anterior** **Taller**