第７回 世論・選挙調査研究大会 (毎日ホール 2017/09/22) [Web公開版]

TV視聴予測における真実申告メカニズムの活用～調査参加経験のデザイン～株式会社インサイト・ファクトリー
小野 滋
ono@insightfactory.jp

自己紹介
認知心理学を学び、大学講師、教育サービス企業、外資系リサーチ会社を経て現職

エビデンスに基づき、マーケティング意思決定を支援します
ただいまスタッフ９名

このへん

マーケティング・
リサーチ業界弊社の所在地2

本日の内容

消費者調査の手法開発について、私たちの取り組みをご紹介します

その一例として、＜ベイジアン自白剤による視聴率予測＞の実験をご紹介します

マーケティング・リサーチの文脈における、消費者調査に焦点を当てます
私たちの取り組みが、世論調査・選挙調査、ならびに社会調査全般に対して、どのような示唆を持っている (いない) のか、私たち自身はよくわからずにおります。
ご教示をいただければ幸いです。

3本日の内容1.

背景2.

調査に対する２つの視点

3.

ベイジアン自白剤

4.

実験：ベイジアン自白剤による視聴率予測

5.

リサーチという経験のデザイン

4

１．背景

5

消費者調査手法の開発

マーケティング意思決定

購買・行動
データ

integration

私たちの
専門領域

ソーシャル
リスニング

消費者調査
データ

消費者
6

消費者調査手法の開発

マーケティング意思決定

integration
消費者調査手法の開発に取り組んでいます

購買・行動
データ

ソーシャル
リスニング

消費者調査
データ

消費者
7

なぜ、消費者調査手法の開発に取り組んでいるのか？

… なぜ、いまさら？
8なぜ、消費者調査手法の開発に取り組んでいるのか？
消費者調査の価値は低下している

マーケティング･リサーチ

ビッグ･データ

ソーシャル･メディア

Google Trendでみた検索量

9なぜ、消費者調査手法の開発に取り組んでいるのか？
消費者調査の価値はなぜ低下したのか？
消費者理解の方法が多様化しているマーケティング意思決定

消費者調査

消費者

消費者調査は差別化された価値を提供していない

マーケティング意思決定

消費者調査

消費者
10

なぜ、消費者調査手法の開発に取り組んでいるのか？

マーケティング意思決定

消費者調査

消費者

消費者調査だけが提供できる
インプリケーションは？

調査手法の新開発11調査手法開発の2つの側面

調査対象者

目標母集団に照らして適切な調査対
象者を、いかにして選択するか

調査方式

調査対象者から、どのように回答
を集めるか

本日の
焦点

12

２. 調査に対する２つの視点

13

調査に対する２つの視点

 導管としての調査
 社会的相互作用としての調査

14導管としての調査

どんな調査票にも目標が３つある。
第一に、必要な情報を、調査対象者が答えることができるような、また、答えようとするような一連の特定な質問に表現(翻訳)しなければならない。[...]
第二に、調査対象者がそのインタビューに関心を持ち、協力し、最後までインタビューに答えようという気になるよう、対象者の気持ちを高め、動機づけ、励ますものでなければならない。[...] 調査票を上手に設計すれば、[...] 調査対象者を動機づけ、回答率を上げることができる。

第三に、調査票による回答誤差を最小限に抑えなければならない。[...]
N.K.マルホトラ(小林和夫監訳) 「マーケティング・リサーチの理論と実践：理論編」, 同友館, 2006.(原著2004)15導管としての調査

質問項目を文章にしていく作業やその結果の言い回し[...]においては、とくに、①調査者と対象者(のだれも)が同じ意味に理解できること、②信頼のおける回答が得られること、③特定の反応に誘導しないようにすること、などに注意する。
具体的には...
・曖昧な質問や用語は明確にする
・難解な用語は使わないか、理解できる人だけに質問対象を絞る
・抵抗や反発を引き起こす言葉やステレオタイプ的な言葉をなるべく用いない・長すぎる文章にしない・意味がとりにくい文章にしない・対象者がひとつの質問でふたつの事柄に反応を迫られないようにする
・過去の細かい記憶をもとにした質問はしない・威光暗示効果などによる誘導質問はしない
・あまりにも突飛な質問はしない

森岡清志(編著)「ガイドブック社会調査」, 日本評論社, 1998.

16導管としての調査

 調査について考えるときの、私たちの暗黙の前提

A. 対象者は、ある態度・意見を持っている
B. 調査者と対象者は、ことばという容器によって意味を伝える
C. 特段の事情がない限り、対象者はこの行為に無目的に関与する調査について考えるとき、私たちは導管メタファに支配されている(Houtkoop-Steenstra, 2000)17導管としての調査

 導管メタファ (conduit metaphor; Reddy, 1979)• 「言語は思考の導管である」• 私たちの素朴なコミュニケーション観を支配する概念枠組み• 政治、教育、芸術などさまざまな領域における言説を組織化している (e.g. Lakoff & Johnson, 1980)

質問意図

バイアス源
バイアス源がないかぎり、聞き手から話し手に、質問の意図が正しく伝
達される

態度・意見

バイアス源
バイアス源がないかぎり、話し手から聞き手に、答えとなる情報が正しく伝達される18

社会的相互作用としての調査

 調査に対するもうひとつの見方

A’. 対象者は、整合的な態度・意見を持っていない
B’. 調査者と対象者は意味を創造する
C’. 対象者はなんらかの社会的・対人的目標を追求している

19

社会的相互作用としての調査

A’. 対象者は、整合的な態度・意見を持っていない• Zaller & Feldman (1992) (政治学)• 質問紙調査の回答についてのモデルを提案• たいていの事柄について、人は互いに対立するconsiderations
を持っている• 調査の設問に答える際、人はその瞬間に顕著性が高かった
considerationを平均して答える• considerationの顕著性はアクセス容易性で決まる• アクセス容易性は確率的なサンプリング過程に依存する

20

社会的相互作用としての調査• Piazza, Sniderman & Tetlcok (1989) (政治学)• 「相互作用的調査」を提案• 例) 反論テクニック• まず、政策・価値観に対する支持/不支持を聴取• 回答に対して反論を提示し、再聴取• 再聴取における回答に注目する

21

社会的相互作用としての調査
白人の対象者に対して、合衆国政府は黒人を助けるプログラムへの支出を増やすべきだ、と考える人がいます。また、黒人は自分たちだけでどうにかすべきだと考える人もいます。
あなたはどちらが正しいと思いますか？
支出を増やすべきだ

政府が黒人を助けるということが、黒人がただ黒人だというだ
けの理由で特別な扱いを受けるということを意味するとしても、やはりあなたはそう思います
か？ それとも意見を変えます
か？

支出を増やすべきでない

その結果、黒人は引き続き貧しいままであり、白人よりも職を失いやす
いままであるとしても、やはりあな
たはそう思いますか？それとも意見を変えますか？

反論テクニックの例
22社会的相互作用としての調査「黒人を助けるプログラムへの支出」

最初に
賛成
57%

最初に
反対
43%

「大学入試でのアファーマティブ・アクション」
最初に
賛成
27%

17%

反対に変化
52%

最初に
反対
73%

23%

賛成に変化
40%

現実の政治行動の基盤となるのは、
むしろ圧力下(反論後)の態度
23

社会的相互作用としての調査

B’. 調査者と対象者は意味を創造する• 調査プロセスの会話分析 (社会言語学)• 主に面接調査・電話調査の実査プロセスについて記述的に分析• いっけん相互作用性とは無縁に思われる回答も、実は調査者と参加者の間の相互依存的コミュニケーションの産物である• Houtkoop-Steenstra (2000)• 設問が厳しく標準化されているはずの調査においてさえ、調査員と参加者の間に豊かなコミュニケーションが生じている• 設問作成者の意図に反して、回答が相互依存的に生成されていく24

社会的相互作用としての調査• 自記式調査回答の会話的性質 (認知心理学)• 自記式調査の回答プロセスを、日常の会話を支配する一般的原理(Grice,1975)によって説明• Schwarz, Strack, & Mai (1991)• 既婚者に対して、
A) まず結婚に対する満足度を聴取し、次に人生に対する満足度を聴取すると、2つの満足度の相関は高くなる
B) 最初に「人生のふたつの側面について伺います」と教示すると相関は低くなる• 会話の原理による説明• 私たちは継続する会話において、「話し手の情報に冗長性がない」ことを前提とする• A)では、人生の満足度についての設問は「結婚以外の人生について」という意味合いで解釈される
25

社会的相互作用としての調査

C’. 対象者はなんらかの社会的・対人的目標を追求している•

Kuncel, Borneman & Kiger (2012) (心理学)•

調査参加という行為において、回答者はなんらかの対人的目標を達成しようとしている•

想定される３つの目標• Credible• True to the Self
• Impressive26

社会的相互作用としての調査•

真実申告メカニズム (truth-telling mechanism) (ゲーム理論)• 例) インセンティブ整合的コンジョイント分析 (Ding, 2007)
実際の製品をプレゼント用に用意

コンジョイント課題
XXX
XXX
XXX

XXX
XXX
XXX

XXX
XXX
XXX

XXX
XXX
XXX

Choice!

くじ引き
落選

当選

謝礼 (低額)謝礼 (高額)プレゼント製品に対する当選者の支払意思額を、コンジョイント分析で得た個人効用によって推定

ルーレット
ルーレットで出た値段が支払意思額よりも上

終了

ルーレットで出た値段が支払意思額よりも下
ルーレットで出た値段で、プレゼント製品を強制的に購入させられる

27

社会的相互作用としての調査
インセンティブ整合的コンジョイント分析の性質

コンジョイント課題
XXX
XXX
XXX

XXX
XXX
XXX

XXX
XXX
XXX

もしいいかげんに答えたら、なにが起きるんだろう？

仮にくじ引きで当選したとして…
プレゼント製品に対する自分の支払意思額が、本当の支払意思額よりも高く評価されたら？

買いたくもないものを高値で買わされる羽目になる！

低く評価されたら？

ルーレットでハズレになりやすい→せっかく安く買える機会を失う！

いいかげんに答えると、損をする！
28

社会的相互作用としての調査

正予測率

通常のコンジョイント分析より、予測的妥当性が高い

80%

60%

40%

20%

0%
通常の

インセンティブ整合的

コンジョイント分析

コンジョイント分析

異なる選択課題に対する予測成績 (Ding, 2007; Table 2)29

社会的相互作用としての調査

 調査に対するもうひとつの見方

A’. 対象者は、整合的な態度・意見を持っていない
B’. 調査者と対象者は意味を創造する
C’. 対象者はなんらかの社会的・対人的目標を追求している調査を社会的相互作用として捉えている

相互作用

対象者

調査者

30

まとめ：調査に対する２つの視点

導管としての調査

社会的相互作用としての調査

A. 対象者は、ある態度・意見を持っている

A’. 対象者は、整合的な態度・意見を持っていない

B. 調査者と対象者は、ことばという容器によって意味を伝える

B’. 調査者と対象者は意味を創造する

C. 特段の事情がない限り、対象者
はこの行為に無目的に関与する

C’. 対象者はなんらかの社会的・対人的目標を追求している

素朴なコミュニケーション観と合致調査の新しい可能性を開く？

31

3. ベイジアン自白剤32

調査へのゲーム理論的視座

 なぜゲーム理論？

• 社会的相互作用のデザインについて考える際の、現代の代表的枠
組み
 ゲーム理論の観点からみると...
• ＜回答の質の評価＞＝ 個々の参加者が持っている、＜与えられた情報とインセンティ
ブ・メカニズムの下で合理的に行動しようとする傾向＞の評価• ＜質の高い回答の促進＞= 回答行動に対する(有形・無形の)インセンティブを、情報開示と整合的な形にデザインすること (真実申告メカニズム)

 ベイジアン自白剤• 調査手法研究における、ゲーム理論の観点からの提案のひとつ
33

ベイジアン自白剤とはBayesian Truth Serum(Prelec, 2004)

カテゴリカル質問への回答に対し、スコア(BTSスコア)を付与するルール



対象者がBTSスコアの最大化を目指すとき、真実申告がベイジアン・ナッシュ均
衡解となる



ほかの均衡解もありうるが、期待値は真実申告時に最大となる

BTSスコアは回答の真実性 (truthfulness) を表す

34

ベイジアン自白剤とは


設問
Q1: 任意のカテゴリ質問 (K択質問)

Q2: 「Q1に他の人がどう答えるか」を予測させる質問
2択質問の例:
Q1. 今週末の大河ドラマを見ますか？

Yes

Q2. Q1にYesと答える人は、どのくらいいると思いますか？

____ %

No35

ベイジアン自白剤とはBTSスコアの例
Q1. 今週末の大河ド
ラマを見ますか？

Q2. Q1にYesと答える人はどのくらいいると思いますか？

BTSスコア

はい

20%

⇒

+0.31

いいえ

10%

⇒

-0.18

はい

5%

⇒

+0.09

いいえ

30%

⇒

-0.09

…

…

はい

25%

「はい」回答率
25%「はい」率予測の平均
18%

真実性が高い

真実性が低い…
⇒+0.32※上の例のQ1は2択設問だが、任意のカテゴリ数のSA設問について同じ方法でBTSスコアを算出できる
36

ベイジアン自白剤とはBTSスコアの定義
対象者 i (=1,...,n)のカテゴリ k(=1,...,K) に対する
Q1での選択有無を 𝑥𝑖𝑘 , Q2での回答を 𝑦𝑖𝑘 とする。

1
𝑥𝑘 =
𝑛

log 𝑦𝑘 =1𝑛
𝐾

𝐵𝑇𝑆 𝑆𝑐𝑜𝑟𝑒𝑖 =
𝑘

𝑛

𝑥𝑖𝑘
𝑖

𝑛

log 𝑦𝑖𝑘𝑖

𝑥𝑘
𝑥𝑖𝑘 log + 𝛼
𝑦𝑘
情報スコア

𝐾

𝑘

𝑦𝑖𝑘
𝑥𝑘 log
𝑥𝑘

0<𝛼

予測スコア

※本研究ではα=1とする
37

ベイジアン自白剤とは

計算例
データ (架空例)
対象者A
回答

Q1. この製品を買ってみたいですか？

回答率 Q2. Q1に「はい」と答える人は何
予測パーセントいると思いますか？

はい

25%

対象者B
いいえ

30%

集計結果

…
…

…

実際の

実際の

「はい」回答率「いいえ」回答率

25%

75%「はい」回答率「いいえ」回答率

予測の幾何平均

予測の幾何平均31%

65%「はい」回答者に与 「いいえ」回答者に
情報スコア「はい」についての対象者の回答率予測と、実際の回答率との比の対数

-0.22

+0.08

log(0.25/0.25) log(0.30/0.25)=0.00=+0.18log(0.75/0.75)log(0.7/0.75)=0.00=-0.070.25x(0.00)

0.25x(+0.18)+0.75x(0.00)+0.75x(-0.07)=0.00=-0.01

0.00

-0.01

(情報スコア) + α (予測スコア)-0.22+0.00-0.08+(-0.01)(ここではα=1の場合を示す)＝-0.22=+0.07BTSスコア

-0.22

+0.07

「いいえ」についての対象者の回答率予測と、実際の回答率との比の対数
上記の2つの値を実際の回答率で重みづけた
和
予測スコア

…

える情報スコア

与える情報スコアlog(0.25/0.31)

log(0.75/0.65)=-0.22=+0.08

…
…

…
…

…

情報スコアは、Q1においてその回答カテゴリが“surprisingly common”である程度を表す(Prelec,
Seung, McCoy, 2017)
予測スコアは、その対象者のQ2への回答の正確さを表す

38

ベイジアン自白剤の特徴
A. ＜回答の質の評価＞


本研究の焦点

外的な「正解」を用いない「正解」が存在しない質問についてもスコアリングできる

回答の分布に依存しない
少数意見であっても高いスコアを得る可能性がある

B. ＜質の高い回答行動の促進＞

スコアをインセンティブに連動させることで、望ましい行動 (真実申告) を引き出せる (Weaver & Prelec, 2013)

39

実証研究

 教育評価 (Miller, Bailer, & Kirlik, 2014)•

デザイン教育では、デザインが守るべき「デザイン原理」を教えるが、受講者がそれを真に理解したかどうかを採点するのは困難•

原理を正しく理解していても、それを現実のデザインに当てはめると、簡単な「正解」は存在しないから•

デザイン例を示し、「デザイン原理を守っているか」「他の人はどう答えると思うか」を聴取。回答を教師が採点するかわりに、BTSスコアを算出。

•

教師の採点よりもBTSスコアのほうが、その後のデザイン制作実習における学
生のパフォーマンスと相関が高かった

40

実証研究

 従業員による新製品評価 (小野, 2015)•

自社製品の販売員に対して、上市前製品/上市後製品への顧客の反応を聴取•

上市前製品についての回答には強い評価懸念バイアスが働き、高く歪むものと考えられている
BTSスコアは想定と合致した•新製品に対しては、ポジティブ評価のBTSスコアが低い•

既存製品に対しては、評価とBTSスコアは関連しない

60%

2
1

40%

0
20%

-1

0%

BTSスコア平均

割合•

割合-上市済割合-上市前BTSスコア-上市済BTSスコア-上市前

-2
よい

ややよい

どちらともいえない～悪い
お客様の反応についての回答 (n=341)

41

4. 実験：ベイジアン自白剤による視聴率予測

本項の一部は、以下で発表したものです：
小野滋(2017) 「消費者調査における真実申告メカニズムの活用～ベイジアン自白剤によるテレビ視聴行動予測～」,日本行動計量学会第45回大会, 2017.08.

42

目的

 マーケティング・リサーチにおけるベイジアン自白剤の利用可能性について検討する ＜個々の回答の質を評価する＞タイプの用途に焦点を当てる
 本実験の特徴:• 外的基準を用いた妥当性検証• 管見の限り、国内では初めて• マーケティング・リサーチにおいて一般的な文脈 (TV視聴率予測)を用いる

43

仮説

仮説1
TV番組の視聴予定回答をベイジアン自白剤と組み合わせることで、
TV視聴率をより正確に予測できる
仮説2
回答者自身の視聴予定の回答よりも、他者の視聴予定についての推測が、TV視聴率と関連する (“citizen forecast”; Graefe 2014)

44

概要

 手法：

ネット調査

 対象者：

関東地方の15-64歳男女, 2069名
性・年代を人口に合わせて割付 調査時期：2017年1月21～23日

 聴取項目：

今週放送されるテレビドラマ 15番組について• リアルタイムで見る予定はありますか(「リアルタイムで見る」「リアルタイムで見ない」)• この質問について、このアンケートに参加しているほかの人たちのうち何%位の人が、「リアルタイムで見る」と回答すると思いますか(スライダー, 0%～100%)

45

分析対象
対象者が回答を終了した時点で放映がはじまっていない番組についての回答を分析
分析対象
回答数

番組
1 『おんな城主 直虎』
2 『大貧乏』（NHK総合（フジテレビ

3 『A LIFE 愛しき人』

日曜20：00～｜主演

日曜21：00～｜主演

（TBS

柴咲コウ）

小雪）

日曜21：00～｜主演

815

木村拓哉）

4 『視覚探偵 日暮旅人』 （日本テレビ 日曜22：00～｜主演
5 『突然ですが、明日結婚します』
6 『嘘の戦争』（フジテレビ

7 『カルテット』（TBS

8 『東京タラレバ娘』（フジテレビ（日本テレビ（テレビ朝日

10 『嫌われる勇気』

木曜22：00～｜主演

12 『お母さん、娘をやめていいですか？』
13 『下剋上受験』（TBS

14 『精霊の守り人 悲しき破壊神』

15 『スーパーサラリーマン左江内氏』

2069
2069
三浦友和）

香里奈）
金曜20：00～｜主演

金曜22：00～｜主演

土曜21：00～｜主演

2069
2069

北大路欣也）波瑠）

阿部サダヲ）（日本テレビ

2069
2069

木曜21：00～｜主演（NHK総合（NHK総合西内まりや）

吉高由里子）（テレビ東京金曜22：00～｜主演

853

松たか子）

水曜22：00～｜主演

11 『三匹のおっさん3 正義の味方、みたび!!』

松坂桃李）

草彅剛）

9 『就活家族 きっと、うまくいく』（フジテレビ815

月曜21：00～｜主演

火曜21：00～｜主演

火曜22：00～｜主演

779

2069
2069
2069

綾瀬はるか）

土曜21：00～｜主演

堤真一）

2069
2069

46

外的基準
 個人視聴率を外的基準とする• 提供：スイッチ・メディア・ラボ社• テレビ視聴分析サービスSMART による、
関東地方5000人のリアルタイム視聴データ

47

結果

個人視聴率

調査対象者のTV視聴予定回答は、実際の視聴率を大幅に上回る

視聴予定回答率
48

結果

個人視聴率

他者のTV視聴予定回答の予測は、さらに高い値となる

視聴予定回答率 [緑丸: 他者の視聴予定回答率の推測の幾何平均]
49

結果

個人視聴率

視聴予定回答をBTSスコアで重みづけて集計すると、実際の視聴率に近づく

視聴予定回答率 [青矢印：exp(BTSスコアx0.2)で加重平均]50

結果

先週までに番組を見た人は、自分の視聴確率を(おそらく実際より)高く見積もる
BTSスコアは、これらの人々の回答の影響を割り引く役割を果たしている
これまでの視聴行動とBTSスコアとの関係(番組4,5を除く13番組についての平均)
当該番組に対する
これまでの視聴行動(視聴予定回答率)/(実際の個 予測スコア
人視聴率)

割合

情報スコア

BTSスコア

先週の放送をリアルタイムで見た

7%

25.5

-0.51

-0.35

-0.86

先週の放送を録画して後で見た

6%

5.0

-0.28

0.12

-0.16

先週の放送を録画したがまだ見てい
ない

3%

4.1

-0.25

0.13

-0.12

先週の放送はみていないが、それ以前の放送は見たことがある

2%

6.5

-0.20

0.09

-0.11

82%

0.4

-0.15

0.23

0.08

見たことがない・知らない51

結果
視聴予定回答を「その人の他の番組の回答に対するBTSスコアの平均」で重みづけて集計しても、ある程度まで実際の視聴率に近づく→ 当該項目のスコアとしてではなく、個人特性を表すスコアとしても利用できる

視聴予定回答率[青矢印：exp(BTSスコアx0.2)で加重平均][緑矢印：exp(他の番組の回答に対するBTSスコアの平均x0.2)で加重平均]52本実験から得られた知見

TV番組の視聴予定回答は、実際の視聴率とは異なっていた

他者の視聴予定の推測も、実際の視聴率とは大きく異なった (仮説2を不支持)

視聴予定回答をベイジアン自白剤と組み合わせることで、

TV視聴率をより正確に予測できた (仮説1を支持)

回答の質の評価手法としての、ベイジアン自白剤の有用性を示唆

53

限界と課題•視聴予定回答率は、すべての番組について実際の視聴率より高かった••

実際の視聴率よりも低い場合であっても、ベイジアン自白剤による修正が正しい方向に働くかどうか、検討が必要

ベイジアン自白剤による修正は、どの番組でも同程度••

視聴予定回答率と視聴率との相関は、修正の前と後のあいだで有意差がな
かった
より多様な番組についての検討が必要

54

5. リサーチという経験のデザイン

55

調査へのふたつの視点：そのインパクト

導管としての調査

社会的相互作用としての調査

リサーチのデザイン

リサーチという経験のデザイン• 認知負荷の軽減、バイアス源の除去• 態度・意見の相互作用的生成• 動機づけ的バイアス源の除去• 対人的目標の設計・支援

56

経験デザインケリー & リットマン(2002)
57

経験デザインhttp://www.thefuntheory.com
58

経験デザイン

モノ

相互作用

ユーザ

Experience
Aesthetics 感覚
Emotion感情
Meaning
モノへの意味の付与(Hekkert, 2006)
59

経験デザインモノ

ユーザ

Experience

Experience Design「経験をデザインする」という考え方

60

リサーチという経験のデザイン
階段

階段のデザイン

リサーチ

リサーチの
デザイン

ユーザ

階段

階段という経験のデザイン

リサーチ

参加者

リサーチという
経験のデザイン61

事例(1) インセンティブのデザインによる回答行動の変容•Weaver & Prelec (2013)
BTSスコアに応じて報酬を渡すと、回答者は正直になる
ブランド名の再認課題•••

ブランド名を示し、知っているかどうかを訊ねる

正直でない回答を促進する実験手続き•「知っている」と答えたら10セント渡す•

調査参加者は実在しないブランド名に対してさえ「知っている」と答えやすくなる

さらに、BTSスコアを報酬と連動•「知っているブランドは？」「他の人はなんと答えると思いますか？」と尋ね、答える
たびにBTSスコアをフィードバック。

•「知っている」に対する10セントに加え、さらにBTSスコアに応じた少額のコインを渡す

62

事例(1) インセンティブのデザインによる回答行動の変容•

これを繰り返すと...
参加者は次第に実在しないブランド名を「知らない」と答えるようになる

実在しないブランドに対する「知っている」反応

BTSスコアと連動した報酬付与の繰り返し

63

事例(2) 回答行動を通じた集合知生成
アイデア・エボリューション

弊社開発事例 (小野, 2014)

共同開発：株式会社マーシュ64

事例(2) 回答行動を通じた集合知生成
通常の自由回答聴取

アイデア・エボリューション

自由回答画面

自由回答画面1

Question:

Question:

AnswerAnswer

アイデア・エボリューション画面

他の人の回答を評価
自由回答画面2

全く同じ質問に再度回答
Answer「最初に書いてくださった
アイデアのままでも、全く新しいアイデアにしていた
だいても結構です。」
65

事例(2) 回答行動を通じた集合知生成ある参加者の聴取フロー以降の参加者の聴取フロー

自由回答画面1

自由回答画面1

Question:

アイデア1

アイデア・エボリューション画面

他の人の回答を評価

自由回答画面2

全く同じ質問に再度回答

アイデア2

Question:

最適化アルゴリズム
 一定以上の語数を持つ回
答のみを提示する(無意
味な回答は提示しない)
 評価が高い回答(有望回答)は、提示回数を多めにする
 同一の参加者に、複数の類似した回答は提示しない (入力直後に形態素解析を行い、過去回答との類似性を測定)アイデア1

アイデア・エボリューション画面

他の人の回答を評価

自由回答画面2

全く同じ質問に再度回答

アイデア2

66

事例(2) 回答行動を通じた集合知生成

課題: 「こんな自販機があったらいいな」
アイデア1

アイデア2

ソフトクリームの自販機。
いろいろなテイストがあり、自分の好みの味をチョイスできる。ミックスでも良いし、いろいろな味を混ぜ込んでも良い。
最後に自販機から、自動で自分のチョイスしたフレーバーのソフトクリームが出てくる。

フルーツジュースの自販機。
色々な果物の中から自分の好きな果物を選び、自分の食べたいミックスのフルー
ツジュースができる。

「いいね」 18.2%「いいね」 33.3%

他の人の回答この人の評価

評価者数

いいね%

野菜サラダとかカットフルーツなど手をくわえないですぐにたべられるものがあったらいいなと思います。都会にはもうあるのかもしれませんが・・・

5

11

.18

食中毒などの心配もあるのでカットフルーツまたは、個包装のフルーツなどならあってもいいと思います。

5

11

.27

フルーツセットの自動販売機。それぞれに切り、皮をむいた物のセット（開ければすぐ食べれる）
最近は若者の間でフルーツ離れをしていると聞きます。
学校の帰り、通勤の帰り道などにあると買ってすぐに食べれるので便利だと思います。
食べごろのフルーツで自動販売機なので適度に冷えていていいと思うのですが。

5

11

.18

67

事例(2) 回答行動を通じた集合知生成

アイデア1よりアイデア2 のほうが、評価の高いアイデアとなりやすい

p<.10

68

事例(2) 回答行動を通じた集合知生成

調査の進行に伴い、アイデア2の評価が高くなる

69

事例(2) 回答行動を通じた集合知生成

アイデア・エボリューションを通じて、
通常の自由記述聴取に比べ、評価の高い、優れたアイデアが生成される
参加者間相互作用に伴い、より優れたアイデアが生成される (集合知の創出)

集合知
アイデア2
アイデア1
アイデア2
アイデア1
アイデア2
アイデア1
アイデア2
アイデア1

70

事例(3) 市場メカニズムによるアイデア開発
アイデア市場

参加者は、アイデアを”株”として取引する
取引の成績に応じて報酬が与えられる



参加者は、新しいアイデアを投稿することもできる
投稿者は、株の発行によって報酬を得ることができる

組織内アイデア開発の新しい手法

創造的なアイデアを、効率よく収集・フィルタリングできる
投稿・評価を参加者の利益と結びつけることで、強いインセンティブが生まれる

アイデアの”株価”によって、アイデアの価値を評価できる
アイデアの価値を反映する、正確かつ安定的な指標となることが知られている

71

事例(3) 市場メカニズムによるアイデア開発
目標

アイデア市場の特徴

強力なインセンティブ

創造的なアイデアの収集

参加者は自分の利益の増大を目標にして行動する

分散的暗黙知の集約

多面的・包括的なアイデア評価

さまざまな参加者の暗黙知が、株価として集約される

遊戯性

組織の活性化

透明なルールの下での、日常業務を離れた競技ゲーム72

事例(3) 市場メカニズムによるアイデア開発
弊社開発事例 ：アイデア市場による組織内アイデア開発 (小野・佐藤, 2016)

アイデア・ボーティング

準備

アイデア・トレーディング

報酬・調査

投稿者に
報酬配布

参加者に
報酬配布

全社員を対象にアンケート調査
アイデア株の取引73

管理職
インタビュー

事例(3) 市場メカニズムによるアイデア開発
弊社開発事例 ：アイデア市場をとりいれたワークショップ (小野・水山, 2017)

証
券
の
累
積
売
上
量

500
450
インターバル1400

インターバル2

350

A

300

B

250

C

200

D

150

E

100

F

50
0
1

4

7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61
取引順序

74

事例(4) 状況に埋め込まれたリサーチ
リサーチ・イン・アクション

弊社開発事例

MOVIE
75

事例(4) 状況に埋め込まれたリサーチ
３次元センサーとジェスチャー認識技術を組み合わせた、ポータブルな調査デバイスを開発
任意の空間 をタッチパネルに変えることができる

消費の現場に深く埋め込まれたリサーチを実現

回答者にとっては、必ずしもリサーチではない(例, ビールのお勧め銘柄を教えてくれるエンターテインメント)

76事例(4) 状況に埋め込まれたリサーチ
通常の定量調査

リサーチ・イン・アクション「調査」という状況「パブ」という状況

どちらのビールが好きですか？

どっちが好き？

77

事例(4) 状況に埋め込まれたリサーチ
眼鏡店を想定した開発事例78

事例(4) 状況に埋め込まれたリサーチ
赤外線センサーによる骨格追跡79

事例(4) 状況に埋め込まれたリサーチ

観察を通じた、消費者の行動スキーマの抽出が鍵となる
例) 眼鏡店における、眼鏡の試着の際の定型的動作とは？

人々を眺めるわたしたち80リサーチの科学と「リサーチという経験のデザイン」
リサーチ

参加者

リサーチ

リサーチの
デザイン

リサーチという
経験のデザインリサーチの科学？？？

代表例: CASMアプローチ•••

Cognitive Aspects of Survey Methodology
80～90年代、米の調査法研究者たちによって提唱されたアプローチ
回答行動の背後にある認知過程の分析を通じて、調査の改善を目指す (例, Sirken, et al. 1999)

インセンティブ・
デザイン
集合知の生成状況に埋め込まれたリサーチ
市場メカニズム

認知インタビュー81

まとめ

リサーチという経験のデザイン

調査の価値を拡張

ご清聴ありがとうございました！
82

引用文献
Ding, M. (2007) An incentive-aligned mechanism for conjoint analysis, Journal of Marketing Research, 44, 214-223.
Graefe, A. (2014) Accuracy of vote expectation surveys in forecasting elections. The Public Opinion Quarterly, 78, 204-232.
Grice, P. (1975) Logic and Conversation. In Cole, P., Morgan, J.L. (eds.) "Syntax and Semantics 3: Speech Acts", Academic Press.
Hekkert, P. (2006) Design aesthetics: Principles of pleasure in design. Psychology Science, 48(2), 157-172.
Houtokoop-Steenstra, H. (2000) "Interaction and the standardized survey interview: The living questionnaire". Cambridge University Press.
Kuncel, N.R., Borneman, M., & Kiger, T. (2012) Innovative item response process and Bayesian faking detection methods: More questions than answers.
in Ziegler, M., Maccann, C., & Roberts, R.D. (eds.) "New perspectives on faking in personality assessment", Oxford University Press.
Lakoff, G., Johnson, M. (1980) “Metaphors we live by”. University of Chicago Press.
Miller, S.R., Brailey, B.P., Kirlik, A. (2014) Exploring the utility of Bayesian truth serum for assessing design knowledge. Human–Computer Interaction.
29(5-6), 487-515.
Piazza, T., Sniderman, P.M., Tetlock, P.E. (1989) Analysis of the dynamics of political reasoning: A general-purpose computer-assisted methodology.
Political Analysis, 1(1), 99-119.
Prelec, D. (2004) A bayesian truth serum for subjective data. Science, 306(15).
Reddy, M. (1979) The conduit metaphor: A case of frame conflict in our language about language. In A. Ortony (Ed.), "Metaphor and Thought."
Cambridge University Press.
Schwarz, N., Strack, F., Mai, H. (1991) Assimilation and Contrast Effects in Part-Whole Question Sequence: A Conversational Logic Analysis. The Public
Opinion Quarterly, 55(1), 3-23.
Sirken, M.G., et al. (1999) “Cognition and Survey Research.” Wiley.
Weaver, R. Prelec, D. (2013) Creating truth-telling incentives with the Bayesian Truth Serum. Journal of Marketing Research, 50(3), 289-302.
Zaller J., Feldman, S. (1992). A Simple Theory of the Survey Response: Answering Questions versus Revealing Preferences. American Journal of Political
Science, 36(3), 579-616.
小野滋・佐藤哲也(2016) 市場メカニズムを活用したアイデア改善支援, 第53回消費者行動研究コンファレンス, 2016.11.

小野滋・水山元 (2017) 消費者インサイト発見における集合知活用：予測市場を取り入れたワークショップによる検討, サービス学会第５回国内大会, 2017.03.
小野滋 (2014) Web調査による集合知創出とアイデア開発支援. 日本行動計量学会第42回大会, 2014.09.
小野滋 (2015) 消費者調査における真実申告誘発メカニズムの活用. 日本行動計量学会第43回大会, 2015.09.
小野滋 (2017) 「消費者調査における真実申告メカニズムの活用～ベイジアン自白剤によるテレビ視聴行動予測～」, 日本行動計量学会第45回大会, 2017.08.
ケリー, T. & リットマン, J. (2002) 「発想する会社！」, 早川書房. (原著2001)
マルホトラ, N.K. (2006)「マーケティング・リサーチの理論と実践：理論編」, 小林和夫監訳, 同友館. (原著2004)
森岡清志(編著)(1998)「ガイドブック社会調査」, 日本評論社,

83