質問: エントロピーというのは、乱雑さの指標であるときいておりました。 したがって、エントロピーは増大に向かうというのが、熱力学の第二法則であると。 しかしながら、情報理論においては、2を底とする対数でエントロピーを求めるということですから、情報量が多いほどエントロピーが大きくなり、情報量が減ると、エントロピーが減ることになります。 これはいったいどういうことなのでしょう。 情報理論におけるエントロピーは、乱雑さを表さないで、何か別のものを表しているのでしょうか。なぜ、そうなのですか。
回答: 熱力学というより統計力学ですね。 熱力学では巨視的な物理量を使って dQ/T の積分として定義され、統計力学で微視的な定義、-ΣP Log P を使うとこれが熱力学の定義と一致することが分かります。 この統計力学の定義と同じ式になるので情報の方もエントロピーと呼ばれます。 それで感覚的な説明になりますが、たとえば0-255が均等にランダムに表れるファイルと、0だけが続くファイルを見てどちらが乱雑に見えますか?前者ですね。実際統計力学では前者のエントロピーが大きくて、情報量も多いです。 乱雑でない信号列というのは実際に信号をみなくても内容が予想できる、すなわち信号あたりの情報の価値が低いということです。 dummy