# Máxima entropia

O desenvolvimento do método da máxima entropia (ME) ocorreu através de duas linhas de pesquisa: inferência estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon).
O objetivo da primeira linha de investigação é a de formular uma teoria/metodologia que permite a compreensão das características gerais (distribuição) de um sistema de informação parcial e incompleto. Na segunda linha de investigação, este mesmo objectivo é expresso na forma de determinar como atribuir valores numéricos (iniciais) das probabilidades quando apenas algumas quantidades globais limitadas (teoricamente) do sistema investigados são conhecidas. O reconhecimento dos objetivos básicos comuns destas duas linhas de pesquisa auxiliou Jaynes (1957) no desenvolvimento do seu trabalho clássico, de formalização da máxima entropia. Isto é, a formalização da ME foi baseada na filosofia da primeira linha de investigação e na matemática da segunda linha de investigação.
Jaynes mostrou que maximizar estatisticamente a entropia (mecânica) com a finalidade de revelar o modo como as moléculas de gás estavam distribuídas seria equivalente à simples maximização da entropia (de informação) de Shannon com informação mecânica estatisticamente. O método foi correto para atribuir probabilidades independentemente das especificidades da informação. Esta ideia conduziu a máxima entropia ou à utilização do método da máxima entropia para atribuir probabilidades. Este método tem evoluído para um método mais geral, o método de máxima entropia relativa (MEr), que tem a vantagem de não só atribuir probabilidades, mas atualizá-las quando nova informação é dada sob a forma de restrições sobre os probabilidades.
A ME pode ser aplicada para análise de uma grande variedade de problemas na maioria das disciplinas da ciência. por exemplo, trabalhos sobre a reconstrução de imagem e análise espectral em medicina, física, química, biologia, topografia, engenharia, comunicação e informação, investigação de operações, ciência política e economia (tomografia, imagens de satélite, motores de busca, matriz insumo-produto, métodos tipo GMM, modelagem de dados em econometria); a investigação em estimação e inferência estatística (métodos bayesianos e não bayesianos); e inovações em curso no processamento de informação e de TI.

## Definição

Em Física, a entropia de um sistema é uma medida de sua ‘desordem’. O físico austríaco Ludwig Boltzmann definiu a entropia de um sistema através da seguinte expressão:
    $S=k\ln \theta$
em que $k$ é uma constante (positiva) de ajuste dimensional e $\theta$ é número de estados do sistema. A ‘desordem’ (denotada por $D$) está diretamente relacionada ao número de estados. Então,
    $S=k\ln D$
Portanto, se $S$ mede a desordem, $-S$ (uma entropia negativa) mede a ordem do sistema. Uma das mais importantes variantes da equação anterior é a entropia de Shannon, também conhecida como entropia de informação, definida como:
    $S(X)=-k\sum _{i=1}^{n}{P_{i}\ln P_{i}}\,$
onde $S(X)$ é a entropia da variável aleatória X, que denota a probabilidade de que X esteja no estado i, k é uma constante de ajuste dimensional, n é o número total de categorias ou estados, e $P_{i}$ representa sua respectiva probabilidade. Os valores de $P_{i}$ que maximizam $S(X)$ são submetidos às condições da informação disponível.
O princípio da máxima entropia é útil explicitamente apenas quando aplicado a informações testáveis. Uma informação é testável se for possível determinar se uma dada distribuição é coerente com ela. Por exemplo, as declarações
    O valor esperado da variável X é 2,87
e
    $P_{2}+P_{3}>0{,}6$
são declarações de informações testáveis.
Dada uma informação testável, o procedimento de máxima entropia consiste em procurar a distribuição de probabilidade de que maximiza a entropia da informação, sujeita às restrições da informação. Este problema de otimização restrita normalmente é resolvido utilizando o método de multiplicadores de Lagrange.
O problema pode ser enunciado como segue: Maximizar
    $S(X)=-\sum _{i=1}^{n}{P_{i}\ln P_{i}}\,$
com o conjunto de restrições (r):
    $[Q_{r}]=\sum _{i=1}^{n}{P_{i}Q_{r}(i)}\,$ = $Q_{r}^{m}$ onde $r=0,1,2...$
que significa que o valor médio de $Q_{r}$ é igual a $Q_{r}^{m}$. Para r = 0, temos a condição de normalização, que assegura que $\sum _{i=1}^{n}{P_{i}}=1\,$. Para r ≥ 1, $Q_{r}^{m}$ é obtido da informação parcial que se tem do sistema.
Utilizando multiplicadores de Lagrange, $\lambda _{r}$, o problema é maximizar
    $-\sum _{i=1}^{n}{P_{i}\ln P_{i}}\,$ $-\sum _{r}{\lambda _{r}Q_{r}(i)}\,$
A solução geral é
    $P_{i}=e^{-\sum _{r}{\lambda _{r}Q_{r}(i)}\,}$

## Propriedades

* $S(X)=0$ se e somente se todos os $P_{i}$ são zero, com exceção de um que tem valor unitário. Intuitivamente, essa é a situação de maior certeza. De outra maneira, $S(X)$ é positivo.
* Para um dado $n$, $S(X)=0$ e igual a $\ln(n)$ quando todos os $P_{i}$ são iguais (i.é., $1/n$). Contrariamente à situação anterior, esse é o caso de maior incerteza.
* Se existem dois eventos, $X$ e $Y$, com $m$ possibilidades para o primeiro e $n$ para o segundo e $P(i,j)$ é a probabilidade de ocorrência conjunta de $i$ para o primeiro e $j$ para o segundo, a entropia do evento conjunto é:
       $S(X,Y)=-\sum _{i,j}{P(i,j)\ln P(i,j)}\,$
    com
       $S(X)=-\sum _{i,j}{P(i,j)\sum _{j}{\ln P(i,j)}\,}\,$ e
       $S(Y)=-\sum _{i,j}{P(i,j)\sum _{i}{\ln P(i,j)}\,}\,$
    Destas definições segue que:
       $S(X,Y)\leq S(X)+S(Y)$
* Por definição, a entropia condicional de $Y$ é dada por:
       $S_{x}(Y)=-\sum _{i,j}{P(i,j)\ln P_{i}(j)}\,$
    De onde resultam
       $S(X,Y)=S(X)+S_{x}(Y)$
    e
       $S(Y)\geq H_{x}(Y)$