【数理溢れ話】【Token】ベイズ更新とモンティホール問題と3囚人問題。

とりあえずベイズ更新(Bayesian Update)の話ですが、「更新」なる言葉の不可逆的ニュアンスが気になって「ここだけ採用」なる可逆性を示唆する言葉を方便で導入してどうなるか見てみたいと思います。

# 条件付確率は「ここだけ採用」

事象AとBが独立であるとき，​Aが起きて，さらにBが起きる確率は，(Aが起きる確率)×(Bが起きる確率)で求められます。

$P(A \cap B)=P(A)P(B)$

* $P(A \cap B)$=事象AとBが両方とも起きる確率
* P(A)事象Aが起きる確率
* P(B)事象Bが起きる確率

例えば
[【Token】カテゴリー認識問題②e進数(ネイピア進数)概念の登場](https://qiita.com/ochimusha01/items/6dcd59f533eafc5eb58f)

* 六面体サイコロをn回降ってある目が出続ける確率は$(\frac{1}{6})^n$
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/95dd9412-b65b-ef36-b205-39282547fb10.png)
* 六面体サイコロをn回降ってもずっとある目が出ない確率は$(1-\frac{1}{6})^n=(\frac{5}{6})^n$
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/3a0d7389-bbb1-f72d-8ea7-98c0f02d7191.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/94a4f7c8-bc81-4cd9-a7f9-8fbee4840087.png)

事象AとBが独立ではない場合は以下の計算で求められます。

$P(A \cap B)=P(A|B)P(B)$
$P(A \cap B)=P(B|A)P(A)$
$P(A|B)P(B)=P(B|A)P(A)$

* $P(A \cap B)$=事象AとBが両方とも起きる確率
* P(A)=事象Aが起きる確率
* P(B)=事象Bが起きる確率
* P(A|B)=事象Bが起きたという条件のもとで事象Aが起きる確率
* P(B|A)=事象Aが起きたという条件のもとで事象Bが起きる確率

ここでいうP(A|B)やP(B|A)を「条件付き確率」といいます。

[とけたろう「条件付き確率とベイズの定理【中学の数学からはじめる統計検定２級講座第２回】」](https://toketarou.com/bayes/)
>縦棒は英語で”given”と読まれたりしますが，日本人の感覚としては，”when”だと思うのがわかりやすいでしょう。縦棒を”when”で置き換えると，P(A|B)のかっこ内は「A when B」と読めます。「A when B」を日本語に訳すと，「BのときA」となります。つまり，P(A|B)はBのときAが起きる確率を表していて，縦棒の右に書かれたBが条件を表しているんです。P(A|B)はBのときAが起きる確率，P(B|A)はAのときBが起きる確率です。

例えば
[とけたろう「条件付き確率とベイズの定理【中学の数学からはじめる統計検定２級講座第２回】」](https://toketarou.com/bayes/)
「６本のうち２本があたりのくじがある。Aさんが１本のくじをひき，ひいたくじをもとに戻さずに，Bさんが１本のくじをひくとする(くじを戻さないので両事象の発生確率は独立ではない)。」​

①Aさんが当たりくじを引けた確率空間

$P(A)=\frac{2}{6},P(B|A)=\frac{1}{5}$

②Aさんが当たりくじを引けなかった確率空間

$P(A)=\frac{2}{6},P(B|A)=\frac{2}{5}$

③Aさんに続いてBさんも当たりを引く確率(①の確率空間を採用)

$P(A \cap B)=P(B|A)P(A)=\frac{1}{5}*\frac{2}{6}=\frac{1}{15}$

$P(B|A)=\frac{P(A \cap B)}{P(A)}=\frac{\frac{1}{15}}{\frac{2}{6}}=\frac{1 * 6}{2 * 15}=\frac{1}{5}$
$P(A)=\frac{P(A \cap B)}{P(B|A)}=\frac{\frac{1}{15}}{\frac{1}{5}}=\frac{1 * 5}{1 * 15}=\frac{1}{3}(\frac{2}{6})$

![スクリーンショット 2024-09-07 2.11.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/f6cf1bf5-306f-e2e6-5dd6-b610272b2fa2.png)

条件付確率における「ここだけ採用」という考え方は以下の様な状況にも応用可能です。
[とけたろう「条件付き確率とベイズの定理【中学の数学からはじめる統計検定２級講座第２回】」](https://toketarou.com/bayes/)
「ある学校のテニス部の男子36人と，女子32人が合宿に行き，１つのフロアを貸し切った。男子のうち，メガネをかけているのは12人，女子のうち，メガネをかけているのは8人である。テニス部が宿泊しているフロアでメガネの落とし物が見つかったとき，それが男子のものである確率を求めなさい」
![スクリーンショット 2024-09-06 12.17.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/e2652217-9003-28a6-4232-842da09ca67b.png)

* 無作為に１人を抽出したとき，それが男子である確率をP(A)，メガネをかけている確率をP(B)とする。求めたいのはメガネをかけている人であることがわかったとき男子である確率なので条件付確率P(A|B)は以下。

```math
P(A|B)=\frac{P(A \cap B)}{P(B)}
```

* ここでP(B)=「全部員のうち眼鏡を掛けている人の確率」=$\frac{20}{68}$、$P(A \cap B)$=「全部員のうち眼鏡を掛けている男子部員の確率」=$\frac{12}{68}$、よって

```math
P(A|B)=\frac{P(A \cap B)}{P(B)}=\frac{\frac{12}{68}}{\frac{20}{68}}=\frac{12}{20}=\frac{3}{5}
```

# 「分母をいじる」ベイズ過程

ベイズの定理は上掲の条件付確率の一種です。
[Wikipedia「ベイズの定理」](https://ja.wikipedia.org/wiki/%E3%83%99%E3%82%A4%E3%82%BA%E3%81%AE%E5%AE%9A%E7%90%86)

> ある事象に関連する可能性のある条件についての事前の知識に基づいて、その事象の確率を記述するものである。例えば、健康問題の発生リスクが年齢とともに増加することが知られている場合、ベイズの定理により、ある年齢の個人のリスクを、単にその個人が集団全体の典型的な例であると仮定するよりも、（年齢を条件として）より正確に評価することができる。

```math
P(A|B)=\frac{P(A \cap B)}{P(B)}=\frac{P(B_k|A)P(A)}{\sum_{i=1}^n P(B_i|A)P(A)}
```
* AおよびBはそれぞれ別の事象でP(A)≠0である必要がある。そして確率P(A)やP(B)を「周辺確率」や「事前確率」と呼ぶ。
* 最終的に求める条件付確率P(A|B)を「事後確率」と呼ぶ。
* 条件付確率$P(B_k|A)$はAが真である場合にBが発生する確率であり、$P(B_k|A)=L(B_k|A)$であることから、固定された$B_k$に対するAの尤度とも解釈できる。

具体例から詳細を探っていきましょう。

### ベイズ「更新」(条件絞り込みパターン)

ここで単純化の為に一品だけで勝負している和菓子屋が存在したとして、店舗訪問客のうち購買に至る確率が$\frac{1}{5}$、購買に至らない確率が$\frac{4}{5}$、そして試食を伴う確率が前者だと$\frac{2}{3}$、後者だと$\frac{1}{3}$だったとします。
![スクリーンショット 2024-09-06 15.25.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/91bc49f8-7dba-e8d7-e829-79cd6565b5d8.png)
全体確率が１になる様に展開したのが以下。
![スクリーンショット 2024-09-06 15.26.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/9ac3d356-2f74-b28c-2651-de46b470719e.png)

```math
P(A \cup B)=P(A \cap B_1)+P(A \cap B_1)+P(\bar{A}|B_1)+P(\bar{A}|B_2)
```

```math
=P(B_1|A)P(A)+P(B_2|A)P(A)+P(B_1|\bar{A})P(\bar{A})+P(B_2|\bar{A})P(\bar{A})
```

```math
=(\frac{2}{3} * \frac{1}{5})+ (\frac{1}{3} * \frac{1}{5})+(\frac{1}{3}*\frac{4}{5})+(\frac{2}{3} * \frac{4}{5})=1
```
![スクリーンショット 2024-09-06 17.59.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/51d9fe54-243f-bcf8-eaa0-38ebb3cd2678.png)

ここである訪問客が試食したとします。購買に至る確率はどうなりましたか？

![スクリーンショット 2024-09-06 15.57.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/f3bbaaeb-a4f3-de56-5be7-1233dadc5e98.png)

```math
P(A \cap B)=P(B_k|A)P(A)=\frac{2}{3} * \frac{1}{5}=0.134
```

```math
P(B)=\sum_{i=1}^n P(B_i|A)P(A)=(\frac{2}{3} * \frac{1}{5})+(\frac{1}{3}*\frac{4}{5})=0.4
```
よって

```math
P(A|B)=\frac{P(B_k|A)P(A)}{\sum_{i=1}^n P(B_i|A)P(A)}=\frac{0.134}{0.4}=0.335
```

### ベイズ「更新」(条件拡大パターン)=逆ベイズ推定

ここで上掲の和菓子屋がネット通販に着手したところ、4倍の訪問客を得たものの、そこでの購買率は0.05に留まったものとします。さて、購買比率全体における実店舗の占める比率はどうなりましたか？
![スクリーンショット 2024-09-06 18.11.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/4f77e977-b1b8-b5d1-c42c-9ae8c71651b0.png)
![スクリーンショット 2024-09-06 18.11.33.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/ebe7ec3b-eba8-9ae8-1dd3-1054cde90583.png)

```math
P(A|B)=\frac{P(B_k|A)P(A)}{\sum_{i=1}^n P(B_i|A)P(A)}=\frac{0.04}{0.04+0.04=0.08}=0.5
```
この様にベイズ過程は「(検索範囲を絞り込んで)分母が小さくなる場合」だけでなく「(検索範囲を拡大して)分母が大きくなる場合」にも適用可能な主観確率(Subjective Probability)的統計演算です。その一方でこの数理処理は「視界(検索範囲)の拡大縮小による主観確率の可逆的揺らぎ」と「主観確率の変動に連動する形での不可逆的な行為の連鎖」が混在し両者の峻別が難しいので注意が必要です。

[Wikipedia「主観確率」](https://ja.wikipedia.org/wiki/%E4%B8%BB%E8%A6%B3%E7%A2%BA%E7%8E%87)

>主観確率（Subjective Probability）は、客観確率(Objective Probability)に対比される概念。1920年代から1930年代ごろにフランク・ラムゼイやブルーノ・デ・フィネッティらによって導入された。
>
>客観確率とは、世界の中に存在する頻度や傾向性など、我々の主観によらず存在するものとしての確率を指す。実験または理論的考察（思考実験）から求められ、客観的な観測結果と比較できるランダムな事象についての確率である。典型例としては試行を無数に繰り返したときの事象の頻度の極限値として定義されるものであり、頻度主義ともいわれる。これと別に、「無差別の原理」（どちらが多いか少ないかといった情報のない事象同士の間では同じ確率を割り振るという原理）から論理的に確率が決まるとする論理説や、対象の持つ傾向性を「確率」と呼ぶ傾向説と呼ばれる立場も存在する。
>
>主観性に程度があり、どこまで認めるかについていろいろな意見があるが、主観確率をも容認する立場を一般に「ベイズ主義」という。この語源となったトーマス・ベイズ自身は主観確率を積極的に認めたかどうか必ずしも明らかでないが、主観確率を扱う際に重要なベイズの定理を示したとされる。
>
>一方、客観確率にも問題がない訳ではなく、例えば頻度主義には一回限りの出来事について確率を割り当てることが出来ない。たとえば、「このサイコロで1の目が出る確率」は「このサイコロを無限回ふったときに1の目が出る頻度」と言い換えることができるが、「次にこのサイコロをふったときに1の目が出る確率」はそのような頻度の言葉に置き換えることができないのである。

有意味水準を下回る事象については「答えが出ない」と放り出す(例えば2σ=0.05水準は20面体サイコロの出目と同確率で、その水準に達しない確率事象はまとめて「誤差の範囲」と結論付けてしまう)客観確率=頻度主義に対して、主観確率=ベイズ主義にはボスから、どんなに「出来るか出来ないかで答えろ」と迫られても「成功率はこれだけですよ」としか答えない部下の生存戦略的側面が透けて見えるので「社長決済尺度」なんて悪口も存在したりする様です。使い分けが難しい…

# 「主観確率の変動に連動する形での不可逆的な行為の連鎖」の代表例としてのモンティホール問題と「視野(検索範囲)の拡大縮小による主観確率の可逆的揺らぎ」の代表例としての3囚人問題

そもそもモンティホール問題とは何か? ChatGPTに簡潔にまとめてもらいました。

>モンティホール問題は、確率論に基づく有名なパラドックスで、アメリカのテレビ番組「Let's Make a Deal」に由来します。問題の内容は以下の通りです。
>
>①あなたの前に3つの扉があり、そのうち1つには車が、残りの2つにはヤギが隠されています。
>②あなたは3つの扉のうち1つを選びます。
>③司会者（モンティホール）は、残った2つの扉のうち、ヤギがいる扉を1つ開けます。
>④その後、司会者は「選んだ扉を変えるかどうか」を尋ねます。
>
>問題の本質
>扉を変えるべきか、それとも変えないべきか？
>
>解答
>①扉を変えた場合の勝率は2/3。
>②変えない場合の勝率は1/3。
>直感に反して、扉を変える方が車を獲得する確率が高いことが、この問題の重要なポイントです。

* 「モンティ情報」がない場合…扉を変更してもしなくても当選確率は同じ。

![スクリーンショット 2024-09-06 19.33.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/d9ee56b3-844c-1b79-7b09-d309ee6d934b.png)
扉を変更しなかった場合の当選確率
```math
P(B_1|A)P(A)+P(B_2|A)P(A)+P(B_3|A)P(A)
```
```math
=(1 * \frac{1}{3})+(0 * \frac{1}{3})+(0 * \frac{1}{3})=\frac{1}{3}
```
扉を変更した場合の当選確率
```math
P(B_1|A)P(A)+P(B_2|A)P(A)+P(B_3|A)P(A)
```
```math
=(0 * \frac{1}{3})+(\frac{1}{2} * \frac{1}{3})+(\frac{1}{2} * \frac{1}{3})=0+\frac{1}{6}+\frac{1}{6}=\frac{1}{3}
```

* 「モンティ情報」がある場合…扉を変更すると当選確率が二倍に。

![スクリーンショット 2024-09-06 19.33.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/c4fc5701-1b53-318c-f177-788368f72a7c.png)
扉を変更しなかった場合の当選確率
```math
P(B_1|A)P(A)+P(B_2|A)P(A)+P(B_3|A)P(A)
```
```math
=(1 * \frac{1}{3})+(0 * \frac{1}{3})+(0 * \frac{1}{3})=\frac{1}{3}
```
扉を変更した場合の当選確率
```math
P(B_1|A)P(A)+P(B_2|A)P(A)+P(B_3|A)P(A)
```
```math
=(0 * \frac{1}{3})+(1 * \frac{1}{3})+(1 * \frac{1}{3})=0+\frac{1}{3}+\frac{1}{3}=\frac{2}{3}
```

ここで興味深いのが、実際は真逆なのに一般的には「選ぶ扉を変えても変えなくても同じ」と考えるのが主観確率的誤謬、「扉を変える事で当選確率が2倍になる」と考えるのが客観確率敵正解と考えられているという事。実際「2倍」は微妙な数字で(そもそも微妙過ぎて頻度主義で扱えない)、確かに金儲けの話ならどんなに金額が些細でもただ嬉しいだけですが、命懸けの話しとなると途端に精彩を欠いたりします。そのジレンマを明らかにしてくれるのが、数理的には全く同じ内容の「3囚人問題」で、同じくChatGPTに要約させるとざっとこんな感じ。

>3囚人問題は、確率論におけるパラドックスの一つで、モンティホール問題と似た構造を持っています。この問題では、3人の囚人が登場します。
>
>問題の概要
>
>①Alan(以下囚人A)、Bernard(以下囚人B)、Charles(以下囚人C)の3人の囚人が死刑を宣告され、そのうち1人だけが恩赦を受けて助かることが決まっています。
>②しかし、誰が助かるかは囚人たちには知らされていません。
>③囚人Aは看守に「恩赦を受けない2人の名前のうち、1人を教えてほしい」と頼みます。看守は、囚人A以外の2人（囚人Bと囚人C）のうち、少なくとも1人は死刑になるため、死刑になる囚人の名前を教えることができます。
>
>例えば、看守が囚人Bが死刑になると告げた場合、囚人Aは次のように考えます。「囚人Bが死刑になることが分かったので、残る自分（A）と囚人Cのどちらかが恩赦を受ける確率は、半々になったはずだ」と思うかもしれません。
>
>実際の確率
>
>この考えは直感的ですが、実際の確率は異なります。最初に囚人Aが恩赦を受ける確率は1/3で、囚人BまたはCのどちらかが恩赦を受ける確率は2/3です。看守が囚人Bが死刑だと告げても、この事前確率は変わりません。囚人Cが恩赦を受ける確率は依然として2/3、囚人Aが恩赦を受ける確率は1/3のままです。
>
>この問題は、モンティホール問題と同様に、情報が与えられた後の確率の変化を直感的に捉えるのが難しい例です。

おやおや？こう表現されると真逆に「生存率が2倍になった様に感じられる」のが主観確率的誤謬で「結局生存率は変わらない」が客観確率的正解に思えてくるから不思議なもの。

* ただし3囚人問題には「視界(検索範囲)の拡大縮小による主観確率の可逆的揺らぎ」のみが存在し、モンティ・ホール問題には確実に存在する「(ただ単に情報を与えられるだけでなく、選ぶ扉を変えられるといった形での)主観確率の変動に連動する形での不可逆的な行為の連鎖」は存在しない点には注意が必要。

どうやら背後にマズローの欲求階層説みたいな原理が存在し、それによって嬉しいか嬉しくないか、自明の場合として定まる様です。ついでにChatGPTに要約させるとこんな感じに。

>マズローの欲求階層説は、人間の欲求を5つの段階に分け、低次の欲求が満たされると、より高次の欲求を追求するという理論です。欲求はピラミッド状に構成されており、以下の順序で説明されます。
>
>①生理的欲求：食事、睡眠、呼吸など、生存に必要な基本的な欲求。
>②安全の欲求：身体的な安全、健康、安定した生活環境を求める欲求。
>③社会的欲求（所属と愛の欲求）：家族や友人との人間関係、愛情、所属感を求める欲求。
>④尊厳の欲求：自己尊重や他者からの尊敬、達成感を求める欲求。
>⑤自己実現の欲求：個人の可能性を最大限に引き出し、自己成長や創造性を追求する欲求。
>
>この理論では、下位の欲求がある程度満たされると、次の段階の欲求を追求し始めるとされます。

どうやら「主観確率論の父」デ・フィネッティ(Bruno de Finetti、1906年~1985年)が、それを基礎付ける思考実験の対象に「一億年前の火星に生命があったら1ドルを支払い、なければ払わないという約束をする。答えは明日明らかになる」なる瑣末感あふれる事例を使ったのは、この心理機制に抵触しない様にする為だった？

[Wikipedia「ブルーノ・デ・フィネッティ」](https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AB%E3%83%BC%E3%83%8E%E3%83%BB%E3%83%87%E3%83%BB%E3%83%95%E3%82%A3%E3%83%8D%E3%83%83%E3%83%86%E3%82%A3)

>デ・フィネッティは次のような思考実験を提案した。「あなた」は、一億年前の火星に生命があったら1ドルを支払い、なければ払わないという約束をする。答えは明日明らかになる。あなたは相手にそのような約束をあなたの設定した価格で買わせることもできるし、相手からそのような約束を同じ価格で買うこともできる。つまり、あなたがオッズを設定し、相手があなたの賭けたのがどちらなのかを決める。あなたの設定した価格は、あなたがそれに賭けるとしたときの「操作的主観的確率 (operational subjective probability)」である。その価格は損をしたくなければ、確率の公理に従う必要があり、1ドルより大きな価格やマイナスの価格を設定すると損をすることになる。複数の事象について賭ける場合を考え、デ・フィネッティは加法性があるとした。価格やそれと等価なオッズがあなたに一定以上の損をさせないなら、それを Dutch book あるいは coherent であると呼ぶ。

ChatGPTに質問「ダッチ・ブック論証について簡潔に説明してください」

>ダッチ・ブック論証は、確率論や意思決定理論において、矛盾した信念や確率の割り当てが経済的損失（確実な敗北）をもたらすことを示す論証です。もともとはギャンブルの世界から来た概念で、以下のように説明できます。
>
>内容
>ダッチ・ブックとは、ある賭けに対して不合理な確率を設定している人から、確実に利益を得る方法のことです。
>例えば、ある人が異なる賭けに対して矛盾した確率を割り当てている場合、その人と複数の賭けをする>ことで、どの結果が出ても損をするような賭けを仕掛けることができます。
>
>論証の目的
>ダッチ・ブック論証は、特にベイズ的確率論において、自分の信念（確率）が一貫していなければ、他者に経済的に搾取される可能性があることを示しています。これにより、合理的な意思決定を行うためには、主観的な確率が一貫性を持つべきであることが強調されます。
>
>まとめ
>ダッチ・ブック論証は、信念や確率の不一致がギャンブルや取引において確実な敗北を招くことを示し、合理的な意思決定には一貫した確率の割り当てが必要であると主張する考え方です。

[Wikipedia「確率の公理」](https://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E3%81%AE%E5%85%AC%E7%90%86)

さらにChatGPTに質問「ダッチ・ブック論証の実例を3個あげてください。」

>ダッチ・ブック論証の実例は、矛盾した確率や信念に基づく賭けが、どんな結果でも確実な損失をもたらす状況を示しています。以下に3つの実例を挙げます。
>
>実例1: サッカーの試合の賭け
>ある人が、サッカーの試合の結果について次のような確率を割り当てています。
>
>●チームAが勝つ確率：0.6
>●チームBが勝つ確率：0.4
>●引き分けになる確率：0.2
>
>これらの確率を合計すると1.2になり、合計が1を超えているため、確率が矛盾しています。この矛盾を利用して賭けを仕掛けると、どの結果でも確実にその人に損失を与える「ダッチ・ブック」が構成できます。
>
>実例2: 株価予測の賭け
>ある投資家が、株価が上がる、下がる、または変わらない場合の確率を次のように信じています。
>
>●株価が上がる確率：0.55
>●株価が下がる確率：0.45
>●株価が変わらない確率：0.1
>
>これも合計が1.1となり、確率の合計が1を超えています。この信念に基づいて取引を行うと、他のトレーダーが矛盾を利用し、必ずその投資家に損をさせる取引を作り出せます。
>
>実例3: 競馬のオッズ
あるギャンブラーが、競馬で次のようなオッズを考えています。
>
>●馬Aが勝つ確率：0.5
>●馬Bが勝つ確率：0.6
>
>確率の合計が1.1となり、こちらも矛盾しています。この場合、どちらの馬が勝ってもギャンブラーは負けるように賭けを組むことが可能です。たとえば、他の人が両方の馬に賭けるような仕組みを作り、ギャンブラーに経済的損失を強いることができます。
>
>まとめ
>これらの例は、矛盾した確率や信念がダッチ・ブックを生じさせ、合理的でない意思決定が損失を招くことを示しています。

どちらかというと私個人としては「タフでなければ生き残れない。タフなだけでは生き残る資格がない(ただし生き残る資格を問われるのは、生き残れた者だけである)」なる、よりロバストな省略形で振り回す機会の方が多いです。

# ベイズ更新の連鎖と情報量と尤度の変遷

例えば誰かにトランプの任意のスーツ(♠︎❤︎♣︎♦︎)と数(A,2,3,4,5,6,7,8,9,10,J,Q,K)を思い浮かべてもらい、あなたが52枚の山札を一枚ずつめくって正解か確かめる状況を想定します。ノーヒントで間違いとわかった札を山札に戻さないとすれば正解である確率は$\frac{1}{52},\frac{1}{51},…,\frac{1}{1}$と推移し、その途中で正解に到達する事になります。ならばもし引いた札を山札に戻す代わり、スーツか数が当たっていたら教えてもらえ、それ以外の札が除去出来るとしたら？
![スクリーンショット 2024-09-13 12.29.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/d72425e6-eded-ec95-256f-0b2409d065ad.png)
この様に情報量はベイズ更新が発生する都度、正規化によって最大値の１に復元されます。厄介なのが逆の動き。すなわち逆ベイズ推定=コインでいうと「裏が出るまで表しか出ないと想定し続ける」尤度の変遷。
![スクリーンショット 2024-09-13 19.17.11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/368a77be-6b27-5522-97b1-e42dd7d7d646.png)
この間、主観確率は以下の様に変遷します。
![スクリーンショット 2024-09-13 20.02.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/2148f26c-f016-10f5-eb73-425f87ff3627.png)

* 一様分布に従うN面体サイコロの場合は、出目が７の場合実際に存在する正多面体の種類から八面体以上を想定する。
[【Token】連続一様分布の平均と分散と最尤値](https://qiita.com/ochimusha01/items/ca01c8671522ede6bdda)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597772/a65fb7f5-6cb3-3c8d-32ab-e7c61eeee321.png)
* トランプのデッキ構成にそういう幾何学的制約は存在しないので、例えば「♠︎の他に❤︎も出た時、いきなり山札に♠︎❤︎♣︎♦︎の４スーツが揃っていると仮説を拡大しない(実際に出た♠︎と❤︎のみを想定)」「Aの他にJも出た時、いきなり山札にA,2,3,4,5,6,7,8,9,10,J,Q,Kの数全てが揃っていると仮説を拡大しない(実際に出たAとJのみを想定)」と刻む事も出来る。この様に想定確率モデルの構成によって確率空間展開が全く異なる様相を見せるのも主観確率の重要な特徴の一つである。

ここで気をつけなければならないのが以下の2点。

* ベイズ更新に伴う正規化によって情報量が毎回最大たる１に復元されてしまう。
* いずれにせよ「(裏が出るまで表しか出ない、表が出るまで裏は出ないと想定し続ける)偏った尤度」に対応する情報量は常に０と見積もられる。

この辺りの問題は「運用でのカバー」を心掛けないと「待ちぼうけ」問題に直面してしまうという事ですね。
[『「守株待兎」（しゅしゅたいと）』](https://424.ciao.jp/shibushi-jhs/2020/10/2829/)
>昔，中国の宋という国にある農夫がいました。その農夫は，毎日いやいやながら農作業をしていました。その農夫の畑の隅に木の切り株がありました。ある日そこに走ってきたウサギがぶつかり，首の骨を折って死んでしまいました。「しめしめ。今日は，何もしていないのにウサギを手に入れたぞ」と喜んだ農夫は，次の日から鍬（くわ）を捨て，またウサギがこないかと待ちました。しかし，別のウサギは来ませんでした。来る日も来る日も待っていたために，畑には作物が実らず，国中の笑い者になった，という逸話です。

ChatGPTに質問「サンプル数が少ない時の尤度の問題点を韓非子「守株待兎」の例えを用いて説明してください。」
>サンプル数が少ないときの尤度の問題点は、韓非子の「守株待兎」の寓話を使って説明することができます。
>
>「守株待兎」の故事
>この寓話では、農夫が田んぼで働いていると、偶然にもウサギが木の切り株にぶつかり、死んでしまいます。農夫は運良くそのウサギを得ました。その後、農夫は再びウサギが切り株にぶつかるのを期待して、畑仕事をやめて切り株の前で待ち続けましたが、二度とウサギはやって来ませんでした。
>
>少数サンプルでの尤度の問題
>これを尤度の問題に例えると、次のように考えられます。
>
>ウサギが切り株にぶつかった経験を一度だけサンプルとするなら、農夫は「ウサギは切り株に頻繁にぶつかる」と誤解してしまいます。この少ないサンプルに基づいて未来を予測するのは極めて不確実です。
尤度関数を使って観測されたデータ（ここではウサギが切り株にぶつかった出来事）に基づいて確率モデルを構築する場合、サンプル数が少ないとそのモデルは非常に偏った推定になってしまいます。この偏った推定は、将来の予測が現実からかけ離れたものとなり、農夫のように誤った行動を導く可能性があります。
>
>まとめ
>サンプル数が少ないと、尤度に基づいた推定はその出来事が一般的かのように見せかけてしまうリスクがあります。これを韓非子の「守株待兎」の例えで説明すると、一度の偶然の出来事を過信することで、誤った結論に至りやすいという教訓になります。

しかも現実の事象においては、単なる「サンプル不足のケース」だけでなく「パラダイムシフトを経るまでは事象Aが連続するのみだったが、パラダイムシフト以降は事象Bが混じる様になり、ある段階以降は事象Bが連続するのみとなった」なんて困った展開も想定しなければなりません。

そんな感じで以下続報…