集合知メカニズム研究会 2014/10/03(Web公開版)

市場調査におけるベイジアン自白剤の活用

インサイト・ファクトリー
小野 滋

目次
1. ベイジアン自白剤
1.1 ベイジアン自白剤とは
1.2 インサイド・ベイジアン自白剤
1.3 既存研究
2. 市場調査からみたベイジアン自白剤
2.1 背景2.2 意義2.3 課題
3. 研究計画I. 消費者調査における活用 (Web公開版では割愛)
4. 研究計画II. 従業員調査における活用 (Web公開版では割愛)

2

1. ベイジアン自白剤3

1.1 ベイジアン自白剤とは
 “Bayesian Truth Serum”
 心理学者 D. Prelec によって提案された
 質問に対する回答へのスコアリング手法
 スコアは回答の真実性 (truthfulness) を表す
 スコアをインセンティブに連動させることで、真実性のある回答を引き出せる 必要な設問
Q1: 任意のカテゴリ質問 (K択質問)
Q2: 「Q1に他の人がどう答えるか」を予測させる設問
2択設問の例:
Q1. これまでに万引きをしたことはありますか？
Q2. Q1にYesと答える人は、どのくらいいると思いますか？

Yes____ %No4

1.1 ベイジアン自白剤とは
 BTSスコア
対象者 i のカテゴリ k に対するQ1での選択有無を 𝒙𝒊𝒌 , Q2での回答を 𝒚𝒊𝒌 とする。
下式で定義するBTSスコアの期待値は、真実回答において最大化される。
BTSスコアをインセンティブとすると、真実回答がベイジアン・ナッシュ均衡となる。
𝑛1
𝑥𝑘 =𝑛log 𝑦𝑘 =

𝑥𝑖𝑘

1𝑛𝐾

𝐵𝑇𝑆 𝑆𝑐𝑜𝑟𝑒𝑖 =𝑘𝑖𝑛log 𝑦𝑖𝑘𝑖𝑥𝑘
𝑥𝑖𝑘 log + 𝛼𝑦𝑘
情報スコア

𝐾𝑥𝑘 log
𝑘𝑦𝑖𝑘
𝑥𝑘

0<𝛼<1

予測スコア

5

1.1 ベイジアン自白剤とは 算出例

Q1. 万引きしたことはありますか？

Q2. Q1にYesと答える人はどのくらいいると思いますか？

はい20%⇒+0.31

いいえ10%⇒-0.18はい5%⇒+0.09

いいえ30%⇒-0.09

…

…

はい25%

「はい」回答率
25%「はい」率予測の平均
18%

BTSスコア
質が高い回答

質が低い回答…
⇒+0.32※上の例のQ1は2択設問だが、任意のカテゴリ数のSA設問について同じ方法でBTSスコアを算出できる
6

1.1 ベイジアン自白剤とは 算出例
データ (架空例)
対象者A
回答

Q1. この製品を買ってみたいですか？

回答率 Q2. Q1に「はい」と答える人は何
予測パーセントいると思いますか？

はい25%

対象者B
いいえ30%

集計結果

…
…

…

実際の実際の「はい」回答率「いいえ」回答率

25%

75%「はい」回答率「いいえ」回答率

予測の幾何平均

予測の幾何平均31%

65%「はい」回答者に与 「いいえ」回答者に
情報スコア「はい」についての対象者の回答率予測と、実際の回答率との比の対数-0.22+0.08log(0.25/0.25) log(0.30/0.25)=0.00=+0.18log(0.75/0.75)log(0.7/0.75)=0.00=-0.070.25x(0.00)

0.25x(+0.18)+0.75x(0.00)+0.75x(-0.07)=0.00=-0.01

0.00

-0.01

(情報スコア) + α (予測スコア)-0.22+0.00-0.08+(-0.01)(ここではα=1の場合を示す)＝-0.22=+0.07BTSスコア-0.22+0.07「いいえ」についての対象者の回答率予測と、実際の回答率との比の対数
上記の2つの値を実際の回答率で重みづけた
和
予測スコア

…

える情報スコア

与える情報スコアlog(0.25/0.31)

log(0.75/0.65)=-0.22=+0.08…
…

情報スコアは、Q1においてその回答カテゴリが “surprisinglycommon”である程度を表す…
…

…

予測スコアは、その対象者のQ2への回答の正確さを表す

7

1.1 ベイジアン自白剤とは
 特徴
外的な「正解」に依存しないスコアリング「正解」が存在しない質問についてもスコアリングできる
回答の分布に依存しないスコアリング
少数意見であっても高いスコアを得る可能性がある
インセンティブ整合性
スコアをインセンティブに連動させることで、望ましい行動 (真実申告) を引き出せる8

1.2 インサイド・ベイジアン自白剤
 Prelec (2004) が実際に示したことはなにか？
 セッティング
•対象者 r の問1の回答を二値ベクトル xr, 問2の回答をベクトル yr で表す。
選択肢が(イイエ, ハイ)の2つで、回答が問1「イイエ」問2「イイエは20%」だったら、xr = (1,0),yr=(0.2, 0.8)•

対象者 r の問1への本当の答えを二値ベクトル tr で表す。
もし本当の答えがハイなら、tr = (0, 1)•

選択肢 k の選択率についての対象者 r の本当の推測を p(tk | tr) と表す。

•母集団における t の分布をベクトル Ω で表す。
本当の答えがハイの人が全体の2割なら、Ω = (0.8, 0.2)

9

1.2 インサイド・ベイジアン自白剤
 Prelec の前提
A. 対象者1,2,…,nの本当の答え t1, t2, ..., tn は、Ωの下で互いに独立である
B. 本当の答えが違っているとき、そのときに限り、本当の推測が異なるもしtr <> ts なら、そのときに限り p(tk | tr) <> p(tk | ts)※ Prelec が挙げている、前提B.が破られる例:(1)ふたりの t は異なるのに、ふたりの p(tk | tr) がほぼ等しい場合
例: 公的情報が利用可能で、個人的意見が情報的でないとき。たとえば、母集団における女性の割合についての判断。本人の性別は効かない。
(2)ふたりの t は同じなのに、ふたりの p(tk | tr) が異なる場合
例: 好みや性質のちがう人が混じっていて、違う理由で同じ答えを持ち、しかし母集団についての推測は異なる場合。

 Prelec が示したこと•

他の人は正直だと仮定したとき、正直に答えることがベイジアン・ナッシュ均衡となる。

•ほかの均衡解もあるうるが、情報スコアの期待値は正直に答えた時が最大。

10

1.2 インサイド・ベイジアン自白剤
 小野の素朴な疑問のコーナー
1. どんな質問であれ、他者の回答の推測に際しては、自分の信念以外にも、なんらかの手がかり情報があるのではないでしょうか？
「うちのおばあちゃんならきっとイイエと答えるだろう」とか…
このとき tr = ts かつ p(tk | tr) <> p(tk | ts) となるのでは？

2. 「回答」を情報不完備ゲームにおける行動として捉えたとき、「他の人は正直だ」という仮定は、どの程度まで現実的なのでしょうか？
3. 「あるスコアを最大化するために真実回答が均衡解だ」ということは、「そのスコアが高い回答は真実性が高い」ということを含意するのでしょうか？
4. そもそも、人の行動はどの程度合理的なものなのでしょうか？
聞くところによれば、“平均値推測ゲーム”では、参加者の行動はナッシュ均衡解になかなか一致しないそうではないですか…？

111.3 既存研究

A. 調査結果の精度向上

BTSスコアでウェイティングして集計・分析

B. 優れた回答者の特定

BTSスコアが高い回答者をピックアップ

C. 回答行動の変容

BTSスコアを報酬と連動させる

12

A. 調査結果の精度向上
 BTSによる予測精度向上 (Howie, Wang, & Tsai, 2011)
医師の処方意向は、BTSスコアが高いときにあてになる上市前の処方薬について医師に処方意向(「処方したいですか？」)を聴取しても、その回答は上市後の実際の処方とあまり関係しないことがわかっている。
↓処方意向とともに「他の医師が処方する割合は？」と尋ね、BTSスコアを算出。
↓
BTSスコアでウェイティングして分析すると、上市後の実際の処方を上市前処方意向で予測するモデルの説明率が向上した。

13

B. 優れた回答者の特定
 BTSによる教育評価 (Miller, Bailer, & Kirlik, 2014)
BTSスコアが高い人は、質問をほんとうに理解している
デザイン教育では、デザインが守るべき「デザイン原理」を教えるが、受講者がそれを真に理解したかどうかを採点するのは困難。原理を正しく理解していても、それを現実のデザインに当てはめると、簡単な「正解」は存在しないから。
↓
デザイン例を示し、「デザイン原理を守っているか」「他の人はどう答えると思うか」を聴取。回答を教師が採点するかわりに、BTSスコアを算出。
↓
教師の採点よりもBTSスコアのほうが、その後のデザイン制作実習における学生のパフォーマンスと相関が高かった。

14

C. 回答行動の変容
 BTSによる正直さの促進 (Weaver & Prelec, 2013)
BTSスコアに応じて報酬を渡すと、回答者は正直になる
調査において、調査参加者は往々にして正直に答えていない。
↓
ブランド名を示し「知っているブランドは？」と尋ね、「知っている」と答えたら10セント渡す 。このとき、調査参加者は実在しないブランド名に対してさえ「知っている」と答えやすくなる。(不誠実な回答を促進するための手続き)
ブランド名を示し「知っているブランドは？」「他の人はなんと答えると思いますか？」と尋ね、答えるたびにBTSスコアをフィードバック。知っていると答えたら10セント

正直でない回答↓渡すが、さらにBTSスコアに応じた少額のコインを渡す。
↓
これを繰り返すと、参加者は次第に実在しないブランド名を「知らない」と答えるようになる。

BTSスコアに応じた報酬付与の繰り返し

15

2. 市場調査からみたベイジアン自白剤

16

2.1 背景 消費者調査の悲劇

調査のコモディティ化・低価格化

調査環境の悪化調査回答の質の低下
ソーシャルデータの登場
調査結果の質の低下

行動データの充実

調査の価値の低下

新手法の模索17

2.1 背景 新手法の模索

GRIT Q1-Q2 2014 Report "Adoption of New Research Methods"
http://www.greenbookblog.org/2014/09/29/the-top-20-emerging-methods-in-market-research-a-grit-sneak-peek/18

2.1 背景 消費者調査の不思議

調査のコモディティ化・低価格化

調査環境の悪化調査回答の質の低下

調査回答・調査結果そのものに対する改善の取り組みは少ない

ソーシャルデータの登場
調査結果の質の低下

行動データの充実

調査の価値の低下

新手法の模索19

2.2 意義 期待される貢献
既存の取り組み

ベイジアン自白剤

A. 調査結果の精度向上

調査パネル管理技術の向上
認知科学的観点からの調査票改善 (CASM)

B. 優れた回答者の特定

マーケット・メイブン同定

C. 回答行動の変容

予測市場
インセンティブ整合的メカニズムの導入

20

2.2 意義 集合知活用における位置づけ？

マーケット・メカニズム

収束的手法

集合知の生成合意形成メカニズム…
デルファイ法…

スコアリング・メカニズム

拡散的手法

予測市場

ワークショップ…
…
ベイジアン自白剤…

※集合知: 多くの人の知識・思考から、その単純な総和を超えた、価値ある情報を導き出すこと21

2.3 課題
 基準関連的妥当性の検証
BTSスコアが高い回答は、実際に真実性が高いのか？
BTSスコアをインセンティブとすると、真実回答が引き起こされるか？
→ 外的基準 (なんらかの「正解」)を用いた検証は、いまだ十分ではない
 認知的基盤 (作用機序) の解明
1. 「BTSスコアが高い回答は真実性が高い」として、それはなぜ？
•

Q1, Q2の質問文を正確に理解しているから•

Q1, Q2の回答にあたって十分な注意・推論を行っているから•

Q1, Q2の回答に必要な知識を十分に持っているから•

BTSスコアは真実性を表し、その人は誠実だから

2. 「BTSスコアによって真実回答が引き起こされる」として、それはなぜ？
•教示におそれをなしたから (“bogus-pipeline effect”)•

フィードバックに伴い、十分な注意・推論を行うようになったから•正直な回答が個人合理的であると判断したから
22ありがとうございました！

引用文献
Howie, P.J., Wang, Y., Tsai, J. (2011) Predicting new product adoption using Bayesian truthserum. Journal of Medical Marketing, 11, 6-16.
Miller, S.R., Brailey, B.P., Kirlik, A. (2014) Exploring the utility of Bayesian truth serum forassessing design knowledge. Human–Computer Interaction. 29(5-6), 487-515.
Prelec, D. (2004) A Bayesian Truth Serum for Subjective Data. Science, 306(5695), 462-433.
Weaver, R. & Prelec, D. (2013) Creating truth-telling incentives with the Bayesian Truth Serum.
Journal of Marketing Research, 50(3), 289-302.

23