Sesión 6 - Teoría de la Información.

"La teoría de la información provee una base conceptual al desarrollo de técnicas de procesamiento de señales para transportar señales eléctricas. El teórema de Shannon establece un límite superior de rendimiento de un sistema de comunicación, y señala el camino, desde un punto de vista conceptual a la ingeniería de comunicaciones" (Mavares, D. 2020).

De esta manera quisimos hacer la introducción a lo que es la Teoría de la Información, concepto importante porque da un soporte teórico conceptual de la cantidad de información que se puede transmitir, o de otra forma, la cantidad de información que se puede enviar mediante un canal de comunicación, que enlaza cualesquiera dos sistemas en el que uno emite y otro recibe, de esta manera es como lo define Shannon.

El aporte de Shannon fue tal, que para la Teoría de Información, en base a sus teoremas, se les consideran *las **leyes de la información*** , y se pueden enlistar de la siguiente manera:

1) Existe un límite superior de información que se puede comunicar por un determinado medio. A este se le conoce como Capacidad del Canal.

2) El ruido reduce la capacidad de canal.

3) Es posible acercarse a esos límites haciendo empaquetamientos o codificando los datos.

Ahora, una forma didactica para entender lo que es la sorpresa es con el ejemplo del camino. Supongamos que hay un camino que se bifurca en otros dos, ir a la izquierda supone escoger el bit 0, e ir a la derecha supone escoger el bit 1, entonces al seleccionar uno de esos dos caminos significa un bit de información. Luego, nuevamente se bifurca en otros dos caminos, entonces al escoger cualesquiera de esos dos se añade un bit a la decisión que tomaste, creando así una secuencia de bits. Para visualizarlo de mejor manera, se presenta la siguiente grafica extraída del texto *Information Theory: A Tutorial Introduction* James V Stone.

Para hacer aún más entendible este concepto tan abstracto, se le diferencia a el valor número (0 o 1) como "**bit**" y al "espacio" que contiene ese bit se le conoce como "**digito binario**", para esto, se ha realizado una ilustración:

Teniendo esto claro, entonces se procede a definir la **Sorpresa**.

Supongamos ahora de que hay un carrito que en el camino que se bifurca siempre selecciona la derecha, es decir, escogera siempre 1, por ende, esto no contiene una gran cantidad de información, porque al fin de cuentas ya sabiamos que el carrito iba a escoger ese camino, es decir, no había sorpresa, en el caso de que el carrito llegase a tomar la izquierda (o el bit 0) ahí podríamos decir que la sorpresa es mucha, ya que era una decisión que no esperabamos y por ende, se puede extraer mucha información. De hecho, ahora pongamos a un ser humano, quién tiene libre decisión de escoger cualquier camino, por ende habrá sorpresa siempre, pero, no habrá tanta información como la habría si el carrito escogiera la izquierda, siguiendo el mismo principio de que es un caso extremadamente díficil de que pase.

Se tiene entonces que al ser sorpresa, es decir, probabilidades, se definiría la información de la siguiente manera:

S
o
r
p
r
e
s
# a

log

2

⁡

1

P
k

,

P
k

=
P
r
o
b
a
b
i
l
i
d
a
d

d
e

k

{\displaystyle Sorpresa = \log\_{2}\frac{1}{P\_k} , P\_k = Probabilidad\ de\ k }

También se le conoce como la Información de Shannon y su unidad son bits.

Ahora, se define lo que es la **Entropía**, que para el caso de la información corresponde a la sorpresa promedio, tomando todos los eventos posibles:

H
(
x

# i
1

M

P

(

x
i

)

log

2

⁡

1

P

(

x
i

)

,

x
i

=
V
a
r
i
a
b
l
e

a
l
e
a
t
o
r
i
a

d
i
s
c
r
e
t
a
,
# i
E
v
e
n
t
o
s

{\displaystyle H(x)=\sum\_{i=1}^M P\_{(x\_i)}\log\_{2}\frac{1}{P\_{(x\_i)}},\ x\_i= Variable\ aleatoria\ discreta, i=Eventos }

H(x) también tiene como unidad bits. Para ejemplificar lo anterior, se presenta el caso de los dados (sin estar trucados, más adelante se presentará el ejercicio para cuándo uno de ellos lo está):

x
k

=
[
2
,
3
,
4
,
.
.
.
,
12
]
→
11

p
o
s
i
b
i
l
i
d
a
d
e
s

{\displaystyle x\_k=[2,3,4,...,12] \rightarrow 11\ posibilidades }

H
(
x
# )

P

(

x
1

)

log

2

⁡

1

P

(

x
1

)

P

(

x
2

)

log

2

⁡

1

P

(

x
2

)

.
.
.

P

(

x

11

)

log

2

⁡

1

P

(

x

11

)

=
3.27

b
i
t
s

{\displaystyle H(x)=P\_{(x\_1)}\log\_{2}\frac{1}{P\_{(x\_1)}}+P\_{(x\_2)}\log\_{2}\frac{1}{P\_{(x\_2)}}+...+P\_{(x\_{11})}\log\_{2}\frac{1}{P\_{(x\_{11})}}
=3.27 \ bits }

# M

2

3.27

=
9.65

V
a
l
o
r
e
s

e
q
u
i
p
r
o
b
a
b
l
e
s

{\displaystyle M=2^{3.27}=9.65\ Valores \ equiprobables }

Este ejercicio se puede resolver también mediante tablas que faciliten la visualización del problema:

El outcome corresponde a los eventos que pueden ocurrir la suma de ambos dados con esa combinación de números, la frecuencia es la cantidad de veces que se puede repetir la suma de ambos dados, P corresponde a la probabilidad y la sorpresa respectiva,

Entonces, con el valor obtenido por la Entropía se puede entender como la información que se puede extraer de la salida (que corresponde a tirar ambos dados y sumar sus valores) o la sorpresa que este nos debería generar.

Del mismo modo, hay **Entropía para variables continuas**, donde hay infinitos eventos con probabilidad infinitesimal, es por esta razón que esta se puede decir que tiene entropía infinita, ya que como se definió anteriormente, la entropía depende de los eventos que se le ingresen como Xi, entonces al tener infinitos eventos con probabilidad infinitesimal, entonces se puede decir que tiene infinita entropía.

H
(

x
c

# )
∫
P
(

x
c

)

log

2

⁡

1

P
(

x
c

)

d

x
c

{\displaystyle H(x\_c)=\int P(x\_c)\log\_{2}\frac{1}{P(x\_c)}dx\_c }

Con esto, se define la **Función de probabilidad** (pdf) que corresponde a la probabilidad de Xc, pero como al ser una variable continua entonces requiere de una función de probabilidad, y el diferencial corresponde a la **Entropía diferencial**.

Ahora, para la relación entre H(Xc) con la pdf, se tiene lo que es la **Distribución de Máxima Entropía (o de probabilidad)**, donde se puede decir que tiene tanta entropía como técnicamente sea posible y esto es importante, ya que si se desea transmitir una variable con la mayor cantidad de información posible, entonces su entropía debe ser máxima. Para esto, se tienen tres tipos de distribución:

**Distribución de Gaussiana:**

La variable Xc no tiene ningún tipo de restricción, presenta una forma de campana o Gaussiana y por ende, la media es fija y es la punta, lo que significa que es el valor más probable, y esta es la que provee mayor información para una menor cantidad de energía, lo que significa que su eficiencia es muy alta. Entonces, si la variable tiene una distribucción Gaussiana, se puede decir que su probabilidad es de la siguiente forma:

P
(
x
# )

1

2
π
σ

e

−
(
μ
−
x

)

2

2

σ

2

{\displaystyle P(x)=\frac{1}{\sqrt{2\pi \sigma}}e^{\frac{-(\mu -x)^{2}}{2\sigma ^{2}}} }

Se presenta una señal para ejemplificar lo anterior:

Es así entonces como se caracteriza para una probabilidad con distribución Gaussiana.

La siguiente distribución es la **Exponencial**, que se aplica para cuándo una variable no tiene valores negativos y no tiene ningúna restricción, además de que su media es fija, es ahí donde se puede decir que la distribución de entropía máxima es Exponencial.

Y por último, está la **Distribución Uniforme**, que es para cuándo se tiene un valor o límite x mínimo y otro máximo, además, como en las demás distribuciones, no debe tener ningún tipo de restricción Xk, si se cumple esto entonces tendría la siguiente probabilidad:

P
(
x
# )

1

x

m
a
x

−

x

m
i
n

{\displaystyle P(x)=\frac{1}{x\_{max}-x\_{min}} }

Se podría ejemplificar con la siguiente señal, además de como es el comportamiento de la pdf:

Cabe recordar que todo esto aplica para la aletoriedad, es decir, son distribuciones probabilisticas y deben tener un factor de aletoriedad ya que si no lo hubiera, entonces no habría sorpresa.

Como se mencionaba anteriormente, la capacidad del canal esta relacionado con la cantidad máxima de información que el canal puede llevar desde la entrada hasta su salida, pero esto se puede llegar a ver afectado con la implementación de un factor importante que arriva con la realidad y es el ruido. Teniendo esto en cuenta, ahora el ratio con el que la información se va a transmitir depende de 3 cosas: La entropía de H(x) que se refiere a la entrada, la entropía de H(y) que se refiere a la salida y finalmente H(η) que se refiere al ruido. La idea está en que esta entropía del ruido sea la menor posible, esto con el fin de que no ocupe capacidad del canal, ya que no se puede transmitir más información que la que el canal permite.

Se puede decir que si cada digito binario contiene menos de 1 bit, o podriamos decir lo siguiente, R < C donde R es el bit y C (canal) es el digito binario, entonces la tasa de transmisión es menor a C, o capacidad del canal.

Teniendo esto claro, se puede entonces introducir la definición de la *Primera ley Fundamental de codificación de Shannon* : Si una fuente tiene entropía H (bit por simbolo) y un canal de capacidad C (bits per second), entonces es posible codificar la salida de la fuente para transmitir C/H - ε, donde ε -> 0. La consecuencia a este teorema es que no se puede transmitir o no es posible transmitir con una tasa mayor que C/H Simbolos per second. Cabe mencionar que este teorema aplica para canales sin ruido, es una aclaración que debe tener presente siempre.

Para ejemplificar esto, digamos que estamos en una piscina que tiene un tobogan, pero entonces hay una fila larguísima para poder deslizarse por el mismo, en este caso, la forma más rapida para que dicha fila se haga más corta es que varias personas formen una especie de cilindro y tirarse juntos, si sobrepasan la cantidad de personas pues no van a caber o directamente no se deslizarían porque está sobrepasando la capacidad del tobogan, pero en cambio si se forma un cilindro con menos personas suficientes para caber en el tobogan entonces van a poder deslizarse a la vez y disminuir la larga fila de espera.

Entonces, la capacidad de que esta información sea transmitida ahora dependerá del ruido de la siguiente manera:

y
(
t
# )
H
(
t
)
x
η
(
t
)
,

H
(
y
# )
H
(
x
)
H
(
η
)

{\displaystyle y(t)=H(t)x+\eta (t), \ H(y)=H(x)+H(\eta)}

Como se mencionaba anteriormente, con el teorema de codificación de Shannon se busca es que en el momento de realizar la codificación se disminuya la redundancia lo máximo posible para así poder aprovechar al máximo la capacidad del canal.

Ahora definiremos lo que es la **Entropía condicional**, y se puede entender como la incertidumbre que se presenta en la salida, habiendo conocido la entrada **H(x|y),** que significa que podemos conocer la entrada ya habiendo conocido la salida, de igual modo, podemos conocer la salida dependiendo de que ya conocemos la entrada **H(y|x)** que es la que usualmente se aplica, entonces, si conocemos la entrada y queremos saber la salida, que nos faltaría para conocerla? La respesta es la entropía que produce el ruido, por la ecuación de H(y) que es la suma de la entropía de la entrada mas la de la salida, teniendo lo siguiente:

H
(
y

x
# )
H
(
η
)

{\displaystyle H(y|x)=H(\eta)}