新米データサイエンティストの日常（架空）｜p値編

# はじめに
今回は、「新米データサイエンティストの日常」シリーズの第５弾になります。
新米データサイエンティストが躓きがちなテーマについて、先輩データサイエンティストと会話しているシーンをChatGPTに生成してもらいました。

第４弾はこちら↓

https://qiita.com/UKI_datascience/items/e3cfc5136a2bbd754fc7

---

# 登場人物（架空）
- 佐藤：新卒１年目の新米データサイエンティスト。
- 田中：入社５年目の先輩データサイエンティスト。

---

#### **シーン：プロジェクトのデータ分析を進める二人**
（オフィスにて、新米の佐藤が分析結果を持ってきた）

**佐藤**：「田中さん、先日のマーケティング施策のデータを分析してみました！t検定をしたところ、p値が0.03だったので、有意な差があると言えます！」

**田中**：「ほう、p値0.03か。それで、有意な差があるって判断したんだね。でも、ちょっと待って。『有意な差がある』ってどういう意味だと思う？」

**佐藤**：「えっ、p < 0.05 だから統計的に有意、つまり施策の効果があったってことですよね？」

**田中**：「うーん、惜しい。でも、それはちょっと危ない解釈だな。p < 0.05 だからって、施策の効果が確実にあったとは言えないんだよ。」

**佐藤**：「え？でも大学では、p値が0.05未満なら帰無仮説を棄却できるって習いましたよ。」

**田中**：「それ自体は間違ってない。でも実務では、p値だけ見て結論を出すのは危険なんだ。例えば、効果量はどれくらいだった？」

**佐藤**：「えっと……（慌てて資料を見直す）確認してませんでした……。」

**田中**：「そうか。じゃあ、仮にp < 0.05だったとしても、効果量がほぼゼロだったらどう思う？」

**佐藤**：「あ、それだと統計的には有意でも、実務的には意味がないってことですか？」

**田中**：「その通り！p値は『データが偶然ではなさそう』ってことを示すだけで、効果の大きさは教えてくれないんだ。」

**佐藤**：「なるほど……。じゃあ、何を見れば施策の効果が本当にあるか判断できるんでしょう？」

**田中**：「大事なのは、**効果量（Cohen's d, 回帰係数 など）**や**信頼区間**を確認すること。それに、p値が0.05ちょうどを境にして、0.049なら『成功！』で、0.051なら『ダメ！』って判断するのは乱暴すぎる。」

**佐藤**：「たしかに、p値の境目が0.05っていうのも人間が決めたルールですもんね。」

**田中**：「そうそう。それと、サンプルサイズの影響も考えた？」

**佐藤**：「サンプルサイズですか？ t検定ならnが大きいほうがいいですよね？」

**田中**：「うん。でも、nが大きすぎると『実際には無視できるほど小さな差』でもp値が小さくなっちゃう。逆にnが小さいと、実際には大きな差があっても検出できないこともある。」

**佐藤**：「なるほど……。p値が0.03だったからといって、素直に『成功！』って思っちゃダメなんですね。」

**田中**：「そういうこと。p値はあくまで判断材料の一つ。これからは、**p値＋効果量＋信頼区間＋サンプルサイズ**のバランスを見ながら結論を出す癖をつけよう。」

**佐藤**：「ありがとうございます！ もう一度、効果量と信頼区間を計算して、施策の本当の影響を確かめてみます！」

**田中**：「いいね。その姿勢が大事。慎重に分析していこう！」

---

#### **シーン：翌日、効果量や信頼区間を再分析した結果を確認**
（佐藤が前日の指摘を踏まえて分析し直し、田中のデスクに向かう）

**佐藤**：「田中さん！ 昨日のご指摘を受けて、効果量と信頼区間も計算してみました！」

**田中**：「お、いいね。どんな結果だった？」

**佐藤**：「まず、p値は0.03で変わらず有意でした。でも、Cohen's dを計算したら0.15で、ほとんど効果がないレベルでした……。」

**田中**：「おっと、0.15か。それだと実務的な意味はほぼないかもしれないな。」

**佐藤**：「はい……。それに、信頼区間も確認したんですが、効果の範囲が -0.02 から 0.32 でした。つまり、効果がないどころか、場合によってはマイナスの影響すらあり得るんですよね？」

**田中**：「そういうこと！信頼区間がゼロをまたいでるってことは、『本当に効果があるのか、ないのか』まだはっきりしないってこと。」

**佐藤**：「昨日の時点では、p値が0.03だから施策が成功したって思い込んでました。でも、実際は『統計的には有意だけど、実務的には微妙』な結果だったんですね……。」

**田中**：「そうそう。そして、サンプルサイズはどうだった？」

**佐藤**：「n = 5000 です。結構大きめですよね？」

**田中**：「それだと、ほんのわずかな差でもp値が小さくなりやすい。つまり、『有意だけど、効果は実質ゼロ』の典型パターンだったわけだ。」

**佐藤**：「うーん……。これだと、施策の改善にはつながらないですよね？」

**田中**：「そうだね。このデータだけで『施策が成功した』って言ったら、マーケティングチームを誤った方向に導いちゃうかも。」

**佐藤**：「じゃあ、この結果をどう伝えるのがベストでしょうか？」

**田中**：「例えば、こう伝えるのはどうかな？  
- 『統計的にはp < 0.05で有意だが、効果量は極めて小さい』  
- 『信頼区間がゼロをまたいでおり、効果が確定的ではない』  
- 『サンプルサイズが大きいため、微小な差でも有意になった可能性が高い』  
- 『施策の影響は限定的と考えられるため、追加の分析や別の指標での検証が必要』」

**佐藤**：「確かに、これなら『統計的には有意だけど、実務的には要再検討』というニュアンスが伝わりやすいですね！」

**田中**：「そういうこと！ 実務では、ただp値を見て『有意だった！』と喜ぶんじゃなくて、**『その結果がビジネスにとって意味があるか』を考えるのが大事**なんだ。」

**佐藤**：「分かりました！ じゃあ、この分析結果を整理して、マーケティングチームに報告してみます！」

**田中**：「いいね。こうやってデータを深く見ていくと、p値の意味が本当に分かってくるよ。」

---

#### **シーン：マーケティングチームへの報告**
（会議室にて、データサイエンスチームの佐藤が、マーケティングチームの担当者・高橋に施策の分析結果を報告）

**高橋（マーケティング）**：「お疲れ様です！ 先日実施したマーケティング施策の効果分析、どうでしたか？ p値が0.03だったって聞いたんですけど、それってつまり『成功』ですよね？」

**佐藤（データサイエンス）**：「結論から言うと、統計的にはp < 0.05で有意でしたが、実務的には『効果がほとんどない』という結果になりました。」

**高橋**：「えっ？ でも p値が小さいなら、施策が上手くいったってことじゃないんですか？ だって、前に『p < 0.05ならOK』って聞いたことありますよ？」

**佐藤**：「そう思いますよね。でも、p値は『偶然ではない』ことを示すだけで、『効果が大きい』ことは保証してくれないんです。」

**高橋**：「……うーん、ちょっとよくわからないです。」

**佐藤**：「では、わかりやすく説明しますね。たとえば、あなたがサイコロを振ったとします。6が出た確率を調べるために、100万回振るとしましょう。」

**高橋**：「はい。」

**佐藤**：「100万回振ったら、6の出る回数はすごく正確に測れますよね。でも、仮に6が出る割合が『16.67%』になったとします。このとき、p値が0.03だったら、『このサイコロは普通のものと違う可能性がある』と判断できる。」

**高橋**：「はいはい、なるほど。」

**佐藤**：「でも、たった**0.17%**多いだけですよね？ 実際にサイコロを使うとき、この違いって気になりますか？」

**高橋**：「……あんまり気にしないかも？」

**佐藤**：「そうなんです！ つまり、**統計的には違いがあっても、それが実際に影響を与えるとは限らない**んです。」

**高橋**：「なるほど……。でも、今回のp値が0.03ってことは、それなりに影響があるんじゃ？」

**佐藤**：「いえ、それが違うんです。実際に効果の大きさを示す『効果量』を計算したところ、**Cohen's d = 0.15**で、ほとんど影響がないレベルでした。」

**高橋**：「えっ、それってどういうことですか？」

**佐藤**：「効果量を簡単にいうと、『どれくらい差が大きいか』を示す数字です。**今回の施策の影響は、ほぼ誤差レベル**ということなんです。」

**高橋**：「ええ……。でも、p値が0.03なら成功って言ってもいいんじゃ……？」

**佐藤**：「では、もう一つ例を出しましょう。たとえば、あなたがマーケティングのキャンペーンをして、売上が『1円』増えたとします。サンプル数が10万人なら、統計的に『この1円の増加は偶然ではない』と示せるかもしれません。でも……」

**高橋**：「あ、それでも1円しか増えてないなら、ビジネス的には意味がないってことですね！」

**佐藤**：「その通り！ だから、今回のp値が0.03という結果を見て『成功』と判断するのは時期尚早なんです。」

**高橋**：「じゃあ、どうしたらいいんでしょう？」

**佐藤**：「今回の結果を踏まえて、以下のように判断するのが妥当です。」

1. **『統計的には有意だが、実務的な影響はほぼない』**
2. **『施策の影響が確実とは言えず、追加の分析が必要』**
3. **『別のKPI（クリック率以外の指標）もチェックすべき』**

**高橋**：「なるほど……。でも、上司には『施策の効果があった』って報告しちゃったんですよね……。これ、どう説明すればいいですか？」

**佐藤**：「『統計的には差が出たが、実際の影響は限定的』と正しく伝えれば問題ないと思います！」

**高橋**：「うーん、なんか統計って難しいですね……。でも、意味のない施策を『成功』と報告しなくてよかったです。」

**佐藤**：「そうですね。今回の結果を活かして、次の施策をどう改善できるか考えていきましょう！」

**高橋**：「わかりました！ ちょっと頭を整理して、社内に正しく報告します。ありがとうございました！」

---

### **会議後のフィードバック**

**佐藤**：「いやー、p値だけで『成功！』って思い込んでたみたいですね。」

**田中**：「うん、でもそれは普通のことだよ。マーケティングの人は統計が専門じゃないし、p < 0.05という基準を単純に覚えていることが多い。」

**佐藤**：「なるほど……。でも、説明したらちゃんと理解してくれましたね！」

**田中**：「そうだね。こういうときは、**実生活の例やビジネスの話に落とし込んで説明する**と納得してもらいやすい。」

**佐藤**：「たしかに！ サイコロの例とか、売上1円アップの話とか、分かりやすかったです。」

**田中**：「これからも、相手の理解度に応じて説明を調整することを意識してみよう。」

**佐藤**：「はい！ じゃあ、次のデータ分析に取り掛かります！」

---

### **まとめ**
✅ **p < 0.05 でも、効果量が小さいなら実務的に意味がない**  
✅ **サンプル数が多いと、小さな差でもp値が有意になりやすい**  
✅ **マーケティングの人には、身近な例を使って説明すると理解しやすい**  
✅ **データサイエンティストは、p値の解釈だけでなく『次にどう活かすか』を考えるべき**