情報源
情報源としては例えば次のようなものがある。
書籍 - 書籍は一つのテーマを徹底的に論述し、しばしば歴史的な文脈の中で具体的な反論を提起しており有益である。
定期刊行物 - 定期的に刊行されているもの。一般向けの定期刊行物もあるが、専門家向けの定期刊行物(専門誌)もある。季刊誌、月刊誌、週刊誌など。
新聞 - 議論の行う時にはしばしば最新の情報、タイムリーな情報が必要だが、新聞はそうした情報源として優れている。
年鑑とデータブック - 具体的な統計を探すのに適しており、それを書籍で探すよりも時間の節約になることが多い。
政府刊行物 - 政府側の見解や、政府が把握している情報を調べるのに適した情報源。委員会や公聴会などにおける専門家の発言などを知るのにも役立つことがある。
人物による口頭での発言、証言 - 裁判などでは人の証言が決定的な根拠となることも多い。
情報理論においては、情報源とはビット列(もしくはより一般になんらかのシンボルの有限列)が、選ばれるもととなる空間の事。より厳密に言えば、シンボルの有限列全体の空間とその上の確率分布の組のこと。シンボルの有限列はその確率分布に従って選ばれる。
代表的な情報源として次のものがある:
無記憶情報源とは、各シンボルが統計的に独立に発生する情報源である。この種の情報源は、各シンボルの生起確率 P ( s 1 ) , . . . , P ( s n ) {\displaystyle P(s_{1}),...,P(s_{n})} が与えられることにより一意に定まる。この情報源のシンボルあたりの平均情報量のことをエントロピーという。エントロピーの最大値は、 log 2  n {\displaystyle \log _{2}n} シャノンであり、それは各シンボルの生起確率が等しいとき( 1 n {\displaystyle {\frac {1}{n}}} ずつのとき)である。
m {\displaystyle m} 重マルコフ情報源とは、各シンボルの生起確率がその直前に生じた m {\displaystyle m} 個のシンボルに依存する、 m {\displaystyle m} 重マルコフ過程とみなせる情報源のことである。特に、 m = 1 {\displaystyle m=1} のとき、単純マルコフ情報源という。
エルゴード情報源とは、エルゴード性を満たす情報源のことである。