確率という言葉は, 今日ではいろいろな場面で使われる. 降水確率や, 合格確率, 事故の起きる確率, 宝くじの当選確率などその使われ方は多岐に渡る. 大抵の場合確率何％（パーセント）というように, パーセント表示されるが, ％とは本来per centつまり100あたりいくらか？という値を示す記号である. 例えば, 降水確率で考えてみると, 降水確率40％とは, 同じような天気図になった日が100日あったとしたら, その内40日は雨が降るということになる. 100日あたり40日ということは, 1日あたり 40/100=0. 4 の割合で起きていることになる. 必ず雨が降ると言われている100％であれば, 100÷100=1の割合で起きるということで, 必ず降らないと言われる0％であれば, 0÷100=0 の割合で起きるという予測になる. つまり確率というのは0から1までの値を取る.
確率というのはこのように「ある物事が起こる割合」として考えられる.
標本空間で定義したとおり, 標本空間や事象というのは「起こりうる結果（標本点）の集合」だった. ある事象''A''が起こる確率 ''P''(''A'') とは, 実験を沢山繰り返した時に, ''A''が起こる割合の事である.
例えば, コイン投げであれば, 表が出る確率は1/2である. 1回コインを投げて表が出たとすると, 全1回の試行中, 1回表が出たので, 表が出た割合は1÷1=1になる. もう1回投げて, また表が出たとすると, 表が出ている割合は2÷2=1である. 全然, 1/2と違うのではないか？と思われるかも知れない. しかし重要なのは「沢山」繰り返した時にということである. コイン投げを10回,100回と繰り返すと、限りなく1/2に近づくのである。
次の3つの式の事を確率の公理という.
これらの性質を持つ ''P''(''x'') の事を確率（確率測度）という. 最初についてる ''P''1 , ''P''2 , ''P''3 は, これから説明するための便宜上の番号である.
''P''1 の式は, 確率は 0 から 1 までの値を取るという意味である. 説明したとおり確率というのは, 実験回数に対してその事象が起きている「割合」である. 世の中には「合格確率 120 ％」のような変な言葉もあるが, 同じような実力の人が 100 人集まって入学試験などを受験して 120 人合格するなどという変なことはない. 100 人しか受験していないのなら, 合格する人数の最大値も 100 人ですし, 割合の最大値も 1 である.
''P''2 の式を見てください. 標本空間 Ω は起こり得る全ての結果の集合なので, 実験を何度繰り返しても, Ω に含まれる標本点のうちのどれか 1 つが「必ず」起きている. したがって, 標本空間という事象が起きる確率は 1 となる.
''P''3 の式が一番分かりにくいかもしれない. 「 σ -加法性（しぐまかほうせい）」という難しい名前もついている.
背反事象とは何だったか思い出すと, ''A''j ∩ ''A''k = φ の時, 即ち, ''A''jと ''A''kに重なりが無いとき, この ''A''jと ''A''kは背反事象になる. 互いに背反とはどういう意味なのかといえば, j ≠ k の時
''A''jと ''A''kが背反事象, 即ち, どの 2 つの事象を取ったとしても, 互いに重ならないという意味である.
左辺にある\bigcup^{\infty}_{k=1} A_k は''A''kに重なりが無いので, それぞれの''A''kに含まれる標本点は, この和集合を取るという操作で重なり無く足され, \bigcup^{\infty}_{k=1} A_k という一つの集合になる. 右辺は, 各''A''kに与えられた確率''P''(''A''k)をそのまま足しなさいという意味である. 重なりが無いからこそ足せるのである. 重なりがあると簡単には足せない.
たった''3''つの確率の公理からいろいろな事が分かる.
まず ''A''1 = Ω ととり, k ≥ 2 のときは ''A''k = φ とする. この時, ''P''3 の式は
だから, ''P''1 , ''P''2 の条件より, ''P''(φ )=0 とわかる.
まずは, ''P''(φ )=0 という式が得られた. これから, ''P''3 の式についてもう少し条件を厳しくして k > n のときは ''A''k = φ とすると, ''P''3 は次のように書き換えられる.
''k'' > ''n'' のときは, ''P''(''A''k )= ''P''(φ) =0 であることを使った.
なんだか回りくどいことをしてると思われるかもしれないが, 数学では最初に決めておく約束事は少ない方がよく, その少ない約束事からいかに多くの事実を導き出せるか？ということが数学の面白さでもある.
差事象 ''A'' - ''B'' について (''A'' - ''B'') ∪ (''A'' ∩ ''B'') = ''A'' かつ (''A'' - ''B'') ∩ (''A'' ∩ ''B'') = φ なので
となる.
ここで, ''A'' ⊇ ''B'' であれば ''A'' ∩ ''B''=''B'' なので
となる.
また, ''A'' = Ω であれば, 差事象 Ω - ''B'' は, 事象''B''の補事象 ''B''c の事なので
となる.
ここまで来て, 勘の良い方は気付くかも知れないが
より
である. この不等式を導くまで, ''P''1 の不等式 0 ≤ ''P''(''A'') ≤ 1 は, 左側の不等号しか使ってないことに注目すると, ''P''1 の右側の不等号は余分ということで, ''P''1 は次のようにも書き換えられる.
''A'' ∪ ''B'' = (''A'' - ''B'') ∪ ''B'' かつ (''A'' - ''B'') ∩ ''B'' = φ ですから和事象 ''A'' ∪ ''B'' について
となる. この式は加法定理とも呼ばれる.
''P''(''A'')>0 のとき
を条件付き確率という.
''P''(''B''|''A'')は, 全事象をΩ から''A''に取り替えたときの事象''B''の起きる確率と考えることができる. 即ち, ''P''(''B''|''A'')は事象''A''が必ず起きるという条件の元での事象''B''の起きる確率である.
このとき, ''A''は全事象と考えるのだから
である. これは, 確率の公理の ''P''2 に当たる式になる. ''A''を固定したとき ''P''(''x''|''A'')という関数が ''P''1 や ''P''3 も満たし, 確率となることが分かる.
定義式の分母を払った等式
を乗法定理と言う. 条件付き確率の定義では ''P''(''A'')>0 を仮定したが, このように見てみると ''P''(''A'') ≥ 0 に拡張しても問題ないと分かる. 定義の項では, 何故このような細かい条件をつけたりしたのかと言えば, 割り算において 0 で割るという操作は認められてないためである. 分数の分母に 0 が来ることは避けなければならない.
事象''A''と''B''が
を満たすとき''A''と''B''は独立であると言う.
0< ''P''(''A'')<1 のとき
となる.
ここで,
となるので結局
つまり, ''B''の起きる確率は''A''が起きたかどうかに寄らないということである.
''P''(''A'') = 1 or 0 の時は, ''A'' が必ず起きたり, 必ず起きなかったりするので, この場合 ''B'' の起きる確率と ''A'' は関係しない.
見た目が全く同じ箱が 2 つある. 箱1 と 箱2とする.
入っているとする. どちらの箱か分からないが, 手を入れて玉を一つだけ取りだしてみると赤い玉だった. この場合, 選んだ箱が箱1である確率はいくつだろうか？箱を選ぶ確率はどちらも等しく(1/2) であるとする.
箱1の方が赤玉が出やすそうであるので, 箱1の方を選んでいた可能性は高そうだろう. すなわち, 赤玉が出たという事が決定した後では, 箱1と箱2のどちらを選んだか？という確率は等しくなさそうである.
このような確率をどのように調べたらいいだろうか？というのがこの節の目的である.
''B''1, ''B''2, … , ''B''n が互いに背反事象で,
''B''1∪''B''2∪…∪''B''n = Ωであるとする.
の2つの式から,
とわかる. これをベイズの定理という.
この式の右辺の分子の意味は, ''B''iが起きて''A''が起きる確率である. それを''P''(''A'')で割っている.
すなわち ''A'' が結果として起きたときに, ''B''i が起きている確率という意味である.
''P''(''B''i)を事前確率, ''P''(''B''i|A)を事後確率という.
最初の問題に戻ると, 箱i を選ぶという事象を ''B''i, 赤玉が出るという事象を A とする.
となり, 箱1を選んでいた確率は, ほぼ 0.82 くらいと言えるのである.
もう一つ、ベイズの定理を知らないと正しい判断が出来ない例を挙げておこう。
「10000人に1人の割合でかかる病気がある。また、その病気にかかっているかどうかを判別するためのある検査は、99パーセントの精度を持っている。もし、あなたがこの検査で病気にかかっているといわれたとき、あなたが病気である確率はどのくらいだろうか？」
おそらく、ベイズの定理を知らないと99パーセントと答えてしまうのではないだろうか。ここで、実際に、ベイズの定理を用いて計算してみて欲しい。病気にかかっていないのに検査が間違えたという可能性のほうが高く、正しくは1パーセントにも満たないということが分かるだろう。