DEIM Forum 2019 C2-4

文書の意見と信憑性がユーザの検索行動および信念の変化に与える影響の分析
ポチラッタナチャイクル スパナット†

山本 岳洋†

山本 祐輔††

吉川正俊†† 京都大学 大学院情報学研究科 〒 606–8501 京都府京都市左京区吉田本町†† 静岡大学 大学院総合科学技術研究科 〒 432–8011 静岡県浜松市中区城北 3–5–1
E-mail: †{suppanut,tyamamot}@dl.kuis.kyoto-u.ac.jp, yoshikawa@i.kyoto-u.ac.jp,††yamamoto@inf.shizuoka.ac.jp
あらまし 本研究では，Web 検索中に検索ユーザが閲覧する文書の意見と信憑性という 2 つの要因に着目し，これらの要因が検索時の行動や検索後の最終的な意思決定に与える影響を分析した．具体的には，「乳製品は高血圧の改善に効果的か」といった，yes–no 型での解答が求められる検索タスクを被験者に与え，被験者に返す検索結果を人工的に操作することで，これらの要因が与える影響を分析した．275 名の被験者から得られたデータを分析した結果，被験者は，検索前にいだいていた検索タスクに対する yes か no かという考え（信念）と相反する意見を含んだ文書を閲覧すると，検索プロセスにより労力をかけ，検索後に検索前とは反対側の信念へと変える可能性が高くなることが分かった．本研究で得られた知見は，ユーザの事前の信念と相反する文書を検索結果の上位に配置することで，ユーザが慎重に情報を収集する可能性があることを示唆している．
キーワード 情報検索，Web 検索，信憑性，確証バイアス改善に効果的か」といった yes–no 型での解答が求められる検

1 はじめに
Web 検索時に正確な情報を集め意思決定することは重要ではあるが難しい．正確な情報を獲得するためには，多様な情報に触れること [9] [13] や，できる限り検索に時間を書けて情報を獲得したり，文書の書き手が誰であるかを意識しながら閲覧したりしながら，検索時に慎重に情報を精査すること [17] [19] が重要であると言われている．しかし，別の研究によれば，検索時にユーザは自らの信念（belief）に沿った情報のみを探すという，認知バイアスの一種である確証バイアスの影響を受けてしまうことが知られている [15]．確証バイアスに強く影響を受けてしまうと，前述した慎重に情報を精査するような行動をとることは難しい．システムがユーザの興味に合わせて情報をランキングしたりフィルタリングすることでユーザが閲覧する情報が偏ってしまう状況を近年ではフィルターバブルと言い，その危険性が指摘されている [11]．

索タスクに注目し，ユーザが検索前に検索タスクに対していだ
く，乳製品は高血圧に効果的であると信じるかどうかという事
前の信念と文書の内容が一致するか相反するかという文書の意
見（opinion），また，その文書がどの程度信じられると感じるかという文書の信憑性（credibility）という２つの要因に着目する．本研究の目的は，これらの要因とユーザの検索行動や意思決定との関係を明らかにすることで，ユーザがこれまでよりも慎重に情報を精査するようなランキングをどのように実現すべきかという問いに対する示唆を得ることである．
本研究で取り組む研究課題は以下のとおりである:

RQ1: 検索時に閲覧する文書の意見と信憑性が，その検索における検索行動にどのような影響を与えるか．

RQ2: 文書の意見と信憑性が，検索前後の信念の変化にどのように影響を与えるか．

RQ3: 信念の変化の有無と検索行動に関連はあるか．

一方で，ユーザが獲得する情報の意見や質がユーザの確証バ

これらの研究課題を明らかにするため，クラウドソーシングに

イアスや情報行動に影響を与えることを示す実験結果が報告さよるユーザ実験を行った．実験ではまず被験者に検索タスクにれている [4] [6] [10]. たとえば，Schwind らはユーザの興味と一対する事前の信念をアンケートにより回答してもらう．その後，致しない情報をそのユーザに提示することで，確証バイアスを被験者の事前の信念に合わせて，我々が用意した文書を被験者抑制することができると報告している．[14]．こうした研究は，が閲覧する検索結果中に人工的に挿入する．そして，検索タス

Web 検索時においても，ユーザが情報をより精査しながら検索

ク終了後に再度ユーザに対して検索タスクに対する信念を獲得

するようなランキングが実現可能であることを示唆しているとする．これにより，ユーザが検索中に遭遇する文書の意見や信考えられる．

憑性をコントロールでき，異なる意見や信憑性がユーザの検索

そこで本研究では，検索結果中にユーザが閲覧する文書の意

行動や信念の変化に与える影響を分析することができる．

見やその質に着目し，これらの要因がユーザの検索行動や意思275 名の被験者から得られたデータを分析した結果，主に以決定に与える影響を分析する．具体的には，「乳製品は高血圧の下のような知見を得た．(1) 被験者は検索前の信念と相反する

意見を含んだ文書に遭遇すると，より多くのクエリを投入し，ションに時間をかけて情報を集める，さまざまなクエリを投入

多くの文書を閲覧し，より多くの文書を最終的な意思決定の証して多様な情報を集める，書き手が誰であるかを意識して文書拠としてあげるなど，検索プロセスにより労力をかけた．(2) まを閲覧する，最終的な意思決定をサポートするためにより多くた，検索前の信念と相反する意見を含んだ文書に遭遇すると，の文書を証拠として集める，といったものが含まれている．具

検索後に検索前とは反対の信念へと変える可能性が高くなった．

体的には，本研究では以下の行動を批判的検索行動として捉(3) さらに，この信念の変化と (1) で見られたような検索行動

える．

の違いは認められなかった．これらの知見は，ユーザの事前の•より多くのクエリの投入して情報を収集する．

信念と相反する文書を検索結果の上位に配置することで，ユー•より多くの文書を閲覧する．

ザが慎重に情報を収集する可能性があることを示唆していると•より下位にランキングされた文書まで閲覧する．

ともに，ユーザの興味や嗜好に基づくランキングがユーザの確•より多くの時間をかけて文書を閲覧する．

証バイアスをより強くする可能性があることを示唆している．

•

検索タスクにより多くの時間をかける．

•

より多くの情報を意思決定の判断に考慮する．

2 関連研究これまでに，ユーザの検索行動や意思決定が検索結果中のバイアスや，文書の信憑性に影響を受けることを示唆する研究が報告されている．White は検索プロセスを通じてユーザの確証バイアスが強まっていくこと [15] [16]，Pogacar らは検索結果

本研究の目的は文書の意見や信憑性といった要因がこれらの行動にどのような影響を与えるのかを明らかにする（RQ1）とともに，信念の変化（RQ2）とこれらの行動との関係を分析す
る（RQ3）ことである．

3. 2 検証する要因の多くが不正確な情報を含んでいた場合，検索ユーザの検索後本研究では，文書の意見と信憑性という 2 つの要因に着目すの信念も不正確なものになってしまう可能性が高くなることをる．まず，文書の意見について説明する．本研究では，文書の意

明らかにしている [12]．また，Kammerer らは [7] ユーザは検見を，検索ユーザの事前の信念に対する極性と定義し，ユーザ

索結果の信憑性を高いと判断した場合，あまり労力をかけずにの事前の信念と一致（consisitent）する意見，相反（incon-

検索結果の評価を行うことを報告している．さらに，1 章で述

sistent）する意見という 2 種類の意見を考慮する．たとえば，

べたように，情報の意見や質がユーザの確証バイアスに与える「乳製品は高血圧の改善に効果的か」という検索タスクに対しことを調査した研究もなされてきた [4] [6] [10] [14].

てユーザが検索タスク開始前に，乳製品は高血圧の改善に効果

一方で，検索中に閲覧する文書の意見や質（信憑性）が，ク的であると信じているとき，文書の内容が「乳製品は高血圧にエリ投入やクリック，文書閲覧といった詳細な検索行動にどの効果的であると示す根拠はない」ことを主張しているとき，そような影響を与えるのか，また，それらの行動と意思決定とのの文書の意見はユーザの事前の信念と相反した意見である．

関連などについては明らかにされていない．本研究では，こう

つぎに，文書の信憑性について説明する．本研究では，Fogg

した点を明らかにすることで，検索プロセス中にユーザがよりらの定義 [5] に従い，信憑性（credbility）をその情報や情報源

慎重に情報を精査する要因についてより理解するための知見をが信じられる度合い（believability）とする．具体的には，文得る．

書の信憑性として高信憑性（high credibility）と低信憑性（low credibiltiy）の 2 種類を考える．

3 実験デザイン
3. 3 制御文書の作成
本章ではまず，検索時に正しい情報を獲得するために必要だと考えられる検索行動について説明する．つぎに，本研究で検証する文書の意見と信憑性について詳しく述べる．最後に，本研究で我々が実験のために用意した，それぞれの意見と信憑性に応じた文書をどのように作成したのかについて説明する．

3. 1 批判的検索行動
Ennis は批判的思考を，何を信じどのように行動するかという意思決定における慎重な思考プロセスと定義している．批判的思考に基づいて行動するユーザは，代替案を探し，さまざまな観点から思考し，そして自らの信念やバイアスについて自覚することが必要であると述べられている [3]．Yamamoto らは
この Enis の批判的思考の定義に基づいて，Web 検索において批判的思考を発揮し情報を精査するユーザに求められる行動を議論している [17] [18] [19]. 本研究では，そのような行動を批
判的検索行動と呼ぶ．批判的検索行動の中には，より検索セッ

本研究の目的は，前節で述べた要因が検索行動や信念の変化に与える影響を分析することである．この目的を達成するため，
本研究ではそれぞれの要因に応じた Web 文書を作成し，その文書をシステムがユーザに返す検索結果ページ中に人為的に混ぜる．本研究ではそのような文書を制御文書（controlled

documents）と呼び，本節では制御文書の作成方法について述べる．4. 1 節で述べるように，本研究の実験は被験者内計画
にて行った．すなわち，文書の意見と信憑性それぞれの要因について 2 種類の水準を考えるため，C1 (相反, 高信憑性)，C2(相反, 高信憑性, 低信憑性)，C3 (一致, 高信憑性) および C4 (一致, 低信憑性) という 4 つの実験条件に対応する制御文書を各検索タスクに対して用意した．
まず，文書の意見について説明する．ユーザの意見と一致あるいは相反する意見を含む文書を用意するため，我々は検索タ
スクごとに，検索タスクについて支持する，すなわち「乳製品（図 1(a)）は整ったレイアウトでモダンなデザインである一方で，低信憑性なページ（図 1(b)）は素人がデザインしたようなレイアウトである．また，一般的に Web ページのドメインも情報の信憑性を判断するうえで重要な情報となるため，それぞれのデザインに合わせてドメインを用意した 2 ．後で報告する
ように，被験者の多くは高信憑性なページの方がより信じられると回答しており（4. 2 節参照），今回用意したデザインによりユーザの信憑性判断をコントロールできたと考えられる．
具体的な制御文書の作成方法は以下のとおりである．検索タ
スクに対して支持する意見を含む高信憑性な制御文書は，表 1(a) 高信憑性文書に記載した，検索タスクを支持する情報源を引用する形で検索タスクに対して支持する主張をし，図 1(a) に示した視覚的デザ
インで表示する．一方，検索タスクを支持する低信憑性な制御
文書は，同じ情報源を引用するが視覚的デザインを図 1(b) の形で提示する．ここで，高信憑性，低信憑性な文書両者とも，同一の情報限を引用するという形式で文書を作成しているため，
視覚的デザイン以外は両者の内容はほぼ同一である．これは，高信憑性文書と低信憑性文書間で文書の主張に差異が生じてしまい，その差異が検索行動や意思決定に影響を及ぼしてしまう
ことを最小限に抑えるためである．本研究では 4 つの検索タス
クを用いて実験を行ったため，合計 16 件（4 検索タスク ×4 実
験条件）の制御文書を作成し，次章で述べる実験に用いた．

(b) 低信憑性文書
図 1 実験で用いた制御文書のスクリーンショット．ある検索タスクの意見に関して，制御文書中の記事の内容は (a) 高信憑性，(b) 低
信憑性ともに同一の記事を引用している．

は高血圧の改善に効果的である」と主張しているページと，支持しない，すなわち「乳製品は高血圧の改善に効果的であるとは言えない」と主張しているページを人手で収集した．本研究では，支持, 非支持どちらの意見にも信頼できる主張があるという前提のもと，以下の基準のどれかを満たすページを信頼できるページとして，ページを収集した．

•

科学技術論文もしくは学会報告を引用している記事•

根拠に基づく医療のための医療ナレッジベース 1•

人物もしくは団体が著者として明記されているページ

表 1 に実験で用いた検索タスクおよび収集したページの一覧を示す．
つぎに，文書の信憑性について説明する．信憑性の高い文書，
低い文書を用意するため，本研究では表面型の信憑性（surface

credibility）[5] に着目し，高信憑性，低信憑性それぞれに応じたページの視覚的デザインを用意した．表面型の信憑性とは信
憑性判断基準の 1 つであり，外見上の特徴によって情報の信憑性を判断するような判断基準である．たとえば，専門家がデザインしたように見える洗練されたデザインのページを信憑性が高いと判断することは，表面型の信憑性の例である．

4 実

験

本章では実施したユーザ実験の詳細を述べる．まず実験計画について述べ，その後具体的な実施手順について説明する．最後に，被験者の募集方法および最終的に分析したデータについて述べる．

4. 1 実 験 計 画
本研究では 2 要因被験者内実験計画を用いた．すなわち，各被験者は意見（一致・相反），信憑性（高信憑性・低信憑性）のすべての組み合わせによる 4 つの条件の下で実験する．被験者は，各条件に対して表 1 に示した 4 つの検索タスクから 1 つが割り当てられ，計 4 つの検索タスクを実施する．このとき，被験者が 4 つの検索タスクを行う順序については，実験条件およびタスクの両者を考慮した Graeco-Latin 方格 [8] に従い被験者を割り当て，実験条件およびタスクに関する順序効果を最小限に抑えた．

4. 2 実 験 手 順
まず，被験者に対して検索タスクの概要，収集するデータ，
収集したデータの研究目的への利用などについて説明した．また，「タスクに関する説明に従っていないと判断した人については報酬を支払わない可能性がある」とあらかじめ説明を与えた．
これらについて同意した被験者のみが実際の実験タスクへ進み，実験を行った．

図 1 に実際に用意したデザインを示す．高信憑性なページ
2：高信憑性文書: http://www.med-japan.com/,
1：https://www.cochrane.org

低信憑性文書: http://www.kenko-blog-life.org/

表 1 実験で用いた検索タスクおよび人工文書中で引用する情報源およびその情報源を選択した判断基準．
検索タスク

情報源

タスク文

ID

支持

非支持

http://bit.ly/2Tr2mYG (科学技術論文を引用)

http://bit.ly/2TmjsHo (科学技術論文を引用)

1

乳製品は高血圧の改善に効果的か．

2

イソフラボンはコレステロール値の低下に効果的か． https://nkbp.jp/2CNTjM5（学会報告を引用） http://bit.ly/2Tshjdc（医療ナレッジベース）

3

高麗人参は認知症予防に効果的か．

http://bit.ly/2COPciQ（学会報告を引用）

http://bit.ly/2CPDV21（医療ナレッジベース）

4

ホメオパシーはぜんそくの改善に効果的か．

http://bit.ly/2TrKGfA（実在の団体）

http://bit.ly/2Tq7Z9B（医療ナレッジベース）

つぎに，実際の検索タスクに入る前に，これから行う検索タ
スクへのイメージを深め使用する検索システムに慣れるために訓練タスクを行ってもらった．訓練タスクでは，「漢方薬はアト
ピー性皮膚炎に効果があるか」を後述する検索システムで調べてもらった．
訓練タスクの後，被験者に 4 つの検索タスクを実施してもらった．各検索タスクは以下の手順で実施した．まず，各検索
タスクを開始するにあたり，検索タスクに関する背景およびタ
スクの内容に関する説明を被験者に提示した．たとえば，表 1に示したタスク 1 に関しては，以下に示す説明文を被験者に提
示した．



図 2

高血圧は心臓や血管系の病気になりやすく，また，高血圧な人実験で用いた検索システムのスクリーンショット．図中の 2 位の検索結果は我々が用意した制御文書に対応する検索結果である．

はそうした病気になった際に死亡率が高いということが知られています．そのため高血圧を予防・改善することが健康のために重ぎに，被験者の事後の信念の根拠となった文書を被験者に選択要であると考えられています．

してもらった．具体的には，検索タスク中に被験者がクリック

あなたは現在高血圧の症状を持っており，医者に血圧を下げるした文書の集合（制御文書を含む）を被験者に提示し，被験者よう言われています．そのような状況のなか，牛乳やヨーグルト，にその中から 1 つ以上の文書を選択してもらった．

チーズなどの乳製品が高血圧の改善に効果があるらしいという噂

4 つの検索タスクを終えた後，被験者に我々が用意した制御を耳にしました．そこで，このタスクでは，ウェブ検索を用いて，文書に対する信憑性を回答してもらった．具体的には，我々が乳製品が高血圧の改善に効果があるかどうかを自由に調べてくだ用意した制御文書の高信憑性文書，低信憑性文書の両者を 4 つさい．

の検索タスクを通してクリックした被験者を対象に，高信憑性

被験者に上記の説明文を読んでもらった後，タスク前質問に文書，低信憑性文書それぞれについて「このウェブページはど

回答してもらった．タスク前質問では，検索タスクに対する事の程度信じられると思いましたか？」という質問項目に 4 段階

前の知識に加え，検索タスクに対して yes と信じるかか no とのリッカート尺度（1:信じられない， 2:どちらかというと信じ信じるかの信念の度合いを測定した．具体的には，「現時点で，

られない，3:どちらかというと信じられる，4:信じられる）で回

乳製品が高血圧の改善に効果があるかと思いますか？」という答してもらった．なお，4. 4 節で述べる分析対象に用いた 275

質問項目に対して 4 段階のリッカート尺度（1: そう思わない，

名の被験者による本質問項目に対する回答結果は，高信憑性

2:どちらかというとそう思わない，3:どちらかというとそう思

ページに対しては平均 2.90（SD=0.80），低信憑性文書は平均

う 4:そう思う）で回答してもらった．本研究では，この質問項

2.41（SD=0.75）であり，Welch の t 検定にて統計的有意差が目によって得られた，検索タスクに対する被験者の検索前の信認められた（p < 0.001, t = 9.31).

念を事前の信念（prior belief）と定義する．

最後に，被験者のデモグラフィック属性に関する質問に回答

タスク前質問に回答してもらった後，被験者に実際に検索タしてもらうとともに，検索タスクに関して気づいた点を任意でスクを実行してもらった．このとき，被験者には次節で述べる

自由に記述してもらった．これは，次節で詳しく述べるように

検索システムだけを利用し，既存の検索エンジンは使用しない実験で用いる検索システムは通常の検索結果をコントロールしよう指示を与えた．検索タスク中は，被験者は自由に検索クエているため，それに気づいた被験者の検索行動は今回の分析対リをシステムに投入でき，また，検索結果をクリックすること

象としては不適切と考え，分析結果から除くためである．

で実際のページを自由に閲覧できた．また，検索タスクの制限
時間は設けず，被験者が満足いく回答を得たと感じた時点で自由に検索タスクを終了してもらった．

4. 3 検索システム
図 2 に実験で用いた検索システムを示す．本検索システムは，被験者が検索タスクを終了した後，タスク後質問に回答して画面上部に検索タスクに関する説明文，検索タスク開始からのもらった．タスク後質問ではまず，検索タスクに対する信念を経過時間，およびタスクを完了し次へ進むためのするためのボ

前述と同じ質問項目とリッカート尺度で回答してもらった．本

タンがある以外は一般的な商用検索エンジンと同様のインタ研究ではこれを事後の信念（posterior belief）と定義する．つフェースである．

本システムは通常の検索結果に 3. 3 節で述べた制御文書を混ぜた検索結果を被験者に提示する．被験者がいまクエリ q を

表 2 意見の違いによる被験者の検索行動の違い．統計的に有意な指標のみ表に示している.
相反入力したとき，システムはまず Bing Web Search API を通じ
3

Mて q に対する Web 検索検索 50 件 d1 , . . . , d50 を取得する．そ

一致

SD

M

SD

の後，現在の実験条件に合わせて，あらかじめ用意した制御

クエリ投入数2.67 2.08 2.40 1.77

クリック文書数

6.15 3.51 5.79 3.05

文書 dcontrolled を検索結果の 2 位に挿入した 50 件の検索結果

証拠文書数2.58 1.66 2.33 1.39

d1 , dcontrolled , d2 , . . . , d49 を被験者に提示する．
挿入する制御文書 dcontrolled は，被験者が現在行っている検索タスクの実験条件とタスク前質問で測定した事前の信念に応

表 3 信憑性の違いによる被験者の検索行動の違い．統計的に有意な指標のみ表に示している.

じて決まる．たとえば，いま検索タスクが表 1 に示したタスク

1，実験条件が C1 (相反, 高信憑性)，かつ被験者の事前の信念

高信憑性

低信憑性

M

M

SD

SD

クリック文書の最低順位 11.01 8.82 12.19 10.72

が「そう思わない」，あるいは「どちらかといえばそう思わない」であるとき，制御文書は事前の信念と相反した主張，つまクエリ投入数り「乳製品は高血圧の改善に効果がある」と主張し，高信憑性

クリック文書数

検索タスク中に入力したクエリの数．
検索タスク中にクリックした文書の数（制御

文書用の視覚的デザインで表示される．なお，制御文書に対応文書を含む）．

する検索結果のタイトルに関しては文書の主張を端的に表すテ

事前の信念と一致した文書のクリック数

キスト（例:「乳製品は高血圧の改善に効果があるという研究報

ックした文書（制御文書は除く）でユーザの事前の信念と一致

告」を我々で人手で用意し，それにウェブサイトのサイト名をした意見を含んでいたものの数．

加えたものを用いた．また，スニペットについては制御文書の事前の信念と相反した文書のクリック数

記事中で引用しているテキストの先頭約 100 文字を用いた．

た意見を含んでいた文書の数．

4. 4 被 験 者
2018 年 7 月 10 日から 2018 年 8 月 3 日にかけて，クラウド

うち，最も下位にランキングされていた文書の順位．
タスク時間

検索タスクの開始から終了までに費やした時間．

ページ閲覧時間者を募集し，401 名の被験者が実験に参加した．実験の開始か

証拠文書数後まで完了した 401 名の被験者には 400 円を支払った．

上記と同様に相反しクリック文書の最低順位 検索タスク中にクリックした文書のソーシングプラットフォームであるランサーズ 4 を用いて被験ら終了までにかかる時間は中央値で 22 分であった．実験を最検索タスク中にクリ

1 つの文書あたりの閲覧時間の平均．

証拠としてあげた文書の数．

なお，事前の信念と一致（相反）した文書のクリック数を測定するためには各文書の意見，すなわち，検索タスクについて

401 名の被験者から得られたデータから，我々が用意した検支持する内容を含むか支持しない内容を含むかに関する情報が索システム以外を用いて検索を実行した被験者，検索タスクに必要である．そのため，評価者 1 名（情報学を専攻する学部生）

費やす時間が極端に短すぎる，あるいは長すぎる被験者，タスを雇い，被験者が検索タスク中にクリックした文書集合（1,103

ク後の自由記述で検索結果が操作されていると明示的に記述し件）に対して，文書の意見をアノテーションしてもらった．

た被験者を分析データから除いた．さらに，検索タスク中で制

5. 1. 2 分 析 方 法

御文書を実際に閲覧した検索タスクのデータのみを分析対象と4. 4 節で述べたように，本研究では検索タスク中に制御文書するため，検索タスク中に制御文書をクリックしなかった検索をクリックした検索タスクのデータのみを分析に用いた．そのタスクに関するデータを除いた．これらの操作により，最終的ため，分析対象となる 822 件の検索タスクに関するデータは，に 275 名（うち，男性 120 名，女性は 149 名，未回答 7 名）の実験計画は Graco-Latin 方格に基づいていたものの，均衡な被験者から計 822 件の検索タスクに関するデータを得て分析にデータではない．そこで，分析方法として不均衡なデータに対用いた．

しても適用できる，線形混合効果回帰分析（linear mixed-eﬀect

regression analysis）を用いた 5 ．

5 分

析

本章では，1 章で述べた 3 つの研究課題それぞれについて分析した結果を報告する．

具体的には，5. 1. 1 節であげた各指標 bi（例: クエリ投入数）
について，以下のプロセスに従って bi を従属変数とする回帰モデルを構築し結果を分析した．まず，被験者および検索タスク
を変量効果（random eﬀects）として扱った帰無モデル mi0 を

5. 1 RQ1: 文書の意見・信憑性と検索行動との関係構築する．つぎに，mi0 に意見を固定効果（fixed eﬀects）とし

5. 1. 1 分析対象とした指標て追加したモデル mi1 ，mi1 に信憑性をさらに固定効果として追3. 1 節で述べた批判的検索行動に関連して，以下の行動を検加したモデル mi2 ，mi2 に意見と信憑性の交互作用を固定効果と索タスクごとに測定，分析に用いた．
3：https://azure.microsoft.com/en-us/services/cognitive-services/bing-

して追加したモデル mi3 という 3 つの回帰モデルを構築する．
その後，各モデル mij (j = 1, 2, 3) の適合度が変数を追加する前

web-search-api/
4：https://lancers.jp

5：分析ツールとしては R の lme4 パッケージ [1] を用いた．

のモデル mij−1 よりも有意に改善するかを尤度比検定により評

表 4 実験条件ごとの信念の変化の分布．また，各事前の信念につい価し，統計的に有意なモデルから得られた結果を報告する．有て，より多くの被験者が事後の信念として回答した側の極性を灰色でハイライトしている．

意水準には 5%を用い，タスク時間およびページ閲覧時間に関(a) 相反, 高信憑性

しては対数変換をした後，モデルを構築した．

事後の信念

果

線形混合効果回帰分析の結果，意見の主効果が，クエリ投入数（β = 0.12, SE = 0.05, t = 2.60, p < 0.01），文書クリック 数（β = 0.15, SE = 0.07, t = 2.04, p < 0.05），証 拠 文 書 数

事前の信念

5. 1. 3 結No (n =32)
Lean No (n=92)
Lean Yes (n=80)
Yes (n=9)No
Lean-No(n=21)(n=49)
15.62%
31.25%
5.43%
21.74%
13.75%
22.50%
1
11.11%（β = 0.15, SE = 0.07, t = 2.04, p < 0.05）に対して認められ(b) 相反, 低信憑性

た．表 2 にこれらの指標を意見の種類ごとにまとめたもの

No
Lean No(n=28)(n=35)
25.81%
22.58%
10.89%
13.86%
14.04%
24.56%
1
20.00%-

M = 2.67, 一致: M = 2.40), より多くの文書をクリックし (相

事後の信念

事前の信念

を示す．表 2 より，被験者の事前の信念と相反する制御文書を提示したとき，被験者はより多くのクエリを投入し (相反:No (n=31)
Lean No (n=101)
Lean Yes (n=57)
Yes (n=5)

反: M = 6.15, 一致: M = 5.79)，より多くの文書を証拠と

事後の信念

事前の信念

かった．
（β = −0.49, SE = 0.25, t = −1.99 , p < 0.05）に認められた．
表 3 にこの指標を信憑性の違いごとにまとめたものを示す．表No (n=47)
Lean No (n=97)
Lean Yes (n=66)
Yes (n=5)

No
Lean No(n=53)(n=65)
51.06%
29.79%
25.77% 3 46.39%
6.06%
9.09%
2
-

3 より，低信憑性な制御文書を提示したとき，被験者はより(d) 一致，低信憑性

下位の文書まで閲覧した (高信憑性: M = 11.01, 低信憑性:

No
Lean No(n=37)(n=58)
37.84%
37.84%
4
20.79%
34.65%
3.33%
15.00%
2-

意見と信憑性の交互作用に関しては，どの指標に対しても，統計的に有意な効果は認められなかった．本研究の分析からは，

Lean Yes
Yes(n=66)(n=31)
14.89%
4.26%
26.80% 2 1.03%
48.48%
36.36%
3
20.00%
80.00%

事後の信念

事前の信念

M = 12.29)，ことが分かった．

Lean Yes
Yes(n=101)(n=30)
41.94%
9.68%
56.44% 1 18.81%
50.88%
10.53%
40.00%
40.00%(c) 一致, 高信憑性

して考慮した（相反: M = 2.58, 一致: M = 2.33）ことが分
ま た ，信 憑 性 の 主 効 果 が ，ク リック 文 書 の 最 低 順 位

Lean-Yes
Yes(n=106)(n=37)
28.12%
25.00%
53.26% 1 19.57%
51.25%
12.50%
77.78%
11.11%No (n=37)
Lean No (n=101)
Lean Yes (n=60)
Yes (n=2)

Lean Yes
Yes(n=74)(n=31)
24.32%
37.62% 2 6.93%
45.00%
36.67%
4
100.00%

文書の意見と信憑性の異なる組み合わせが，被験者の検索行動に異なる影響を与えることを示唆する結果は得られなかった．

5. 1. 4 要約念として「そう思わない」あるいは「どちらかというとそう思わない」と回答した被験者が事後の信念としても「そう思わな

本節の分析で得られた知見をまとめると以下のようになる．

い」あるいは「どちらかというとそう思わない」と回答（もしまず，事前の信念に相反する文書を提示したとき，被験者は検

くはその反対）した場合である．本節では，この 2 種類の信念

索プロセスより労力を割いたことが分かった．具体的には，その変化と制御文書の意見と信憑性との関係について分析する．

のような被験者はより多くのクエリを投入し，より多くの文書分析方法としては，ロジスティック混合効果回帰分析（logisticをクリックし，また，より多くの文書を証拠としてあげたこと

mixed-eﬀect regression analysis）を用いて，意見と信憑性のが分かった．逆にいえば，事前の信念と一致する文書を提示し各要因が，信念の極性の変化に影響を与えたかどうかを分析したときは，そのような行動をとらないことが分かった．このこした．具体的には，信念の変化 di を 2 値の従属変数（0: 信念とは，事前の信念と相反する文書を検索結果中に見せることで，の極性を保持，1:信念の極性を変化）とし，意見，信憑性，おユーザがより検索プロセスに労力を割き，3. 1 節で述べた批判

よびその交互作用を考慮した 3 つの回帰モデルを 5. 1 節と同様

的検索行動をとるようになることを示唆していると考えられる．

に構築し，各モデルの適合度が統計的に有意であるどうかを評価した．

5. 2 RQ2: 信念の変化
5. 2. 1 分 析 方 法

5. 2. 2 結果ロジスティック混合回帰分析の結果，意見（β = 0.65, SE =文書の意見と信憑性が検索タスク開始前の被験者の信念（事0.08, z = 8.53, p < 0.001）と 信 憑 性（β = −0.19, SE =前の信念）から検索タスク後の信念（事後の信念）への変化に

0.08, z = −2.52, p < 0.05）それぞれに信念の変化に対するどのような影響を与えたのかを分析するため，事前の信念と事主効果が認められた．それぞれの影響を詳しく分析するため，後の信念の極性の変化に焦点を当てて分析を行った．

表 4 に実験条件ごとに事前の信念と事後の信念の分布をまとめ極性の変化は 2 種類に分類できる．1 つは，被験者の信念のたものを示す．表中の “No”，“Lean No”，“Lean Yes”，“Yes”

極性が変化したとき，すなわち，事前の信念として「そう思わは，4. 2 節で述べた，信念の測定に用いた質問の回答項目，「そない」あるいは「どちらかというとそう思わない」と回答した

う思わない」，「どちらかというとそう思わない」，「どちらかとい被験者が事後の信念として「どちらかというとそう思う」ある

うとそう思う」，「そう思う」，にそれぞれ対応している．たとえいは「そう思う」と回答（もしくはその反対）した場合である．

ば，表 4(a) 中の左上セルにある 15.62%という数値は，相反か

もう 1 つは，信念の極性を保持したとき，すなわち，事前の信つ高信憑性な文書を検索結果に含めた実験条件において，事前表 5 検索タスクごとに被験者がクリックした文書の意見の分布（制御文書は除く）．表中のタスク ID は表 1 中の ID に対応している．
タスク ID 支持

表 6 信念の極性の変化と検索行動の関係．統計的に有意な指標のみ
表に示している．

非支持

両方

1

87

9

5

変化

保持

2

52

5

1

M

M

3

52

1

2

4

33

21

3

信念の変化

SD

SD

事前の信念と一致した文書のクリック数 0.72 1.37 2.00 2.23
事前の信念と相反した文書のクリック数 3.28 2.83 1.71 2.17の信念として「そう思わない」と回答した被験者の 15.62%が示した場合，より多くの被験者が検索後に信念の極性を変化さ

事後の信念としても「そう思わない」と回答したこと，つまり，

せ，そうでない場合は事前の信念を保持することが分かった．

信念を保持したことを表している．

また，事前の信念を保持する度合いは，文書の信憑性に影響を

まず，検索タスクの前後で極性を変化させた場合について分析した．表 4 より，事前の信念と相反する文書を提示した場合

受け，高信憑性文書を提示した場合の方が，信念を保持する被験者が多いことが分かった．

1 ）と一致する文書を提示した場合（⃝2 ）を比較すると，相（⃝反する文書を提示した場合の方が，より多くの被験者が信念を反対の極性へと変化させていたことが分かる．

5. 3 RQ3: 意見の変化と検索行動との関係
5. 3. 1 分 析 方 法

つぎに，被験者が事前の信念を保持した場合について分析し最後に，5. 2 節で分析した意見の変化と，5. 1 節で分析した

3
た．表 4 より，事前の信念と一致する文書を提示した場合（⃝

検索行動との関係について分析した．両者の関係を分析するた4 ）と⃝，相反する文書を提示した場合と比べてより多くの被験者

め，ロジスティック混合効果回帰分析を用いた．具体的には，が検索タスク後も信念を保持したことが分かった．被験者が信

5. 1. 1 節であげた各指標 bi について，5. 2 節と同様に信念の変念を保持した場合についてさらに分析すると，高信憑性の文書

化 d を 2 値の従属変数とし，bi を固定効果，被験者とタスクを3 ）の方が，低信憑性の文書を提示した場合を提示した場合（⃝変量効果としたロジスティック混合効果回帰モデル M1i を構築

4 ）に比べて，信念を保持した被験者が多いことが分かった．
（⃝

した．そして，M1i の適合度が被験者とタスクの変量効果のみ

最後に，表 4(a) および (b) から分かるように，事前の信念を考慮した帰無モデル M0i に対して統計的に有意に改善するかと相反する文書を提示した場合，多くの被験者が事後の信念とを尤度比検定により評価した．

して検索タスクを支持する側に偏っていることが分かる．この5. 3. 2 結現象を理解するため，我々は被験者がクリックした文書の意見

ロ ジス ティック混 合 効果 回 帰分 析 によ り 統計 的 に有意 な果の分布を調べた．表 5 は被験者が検索タスク中にクリックした

主効果が認められた指標の結果を表 6 に示す．事前の信念文書（制御文書を除く）が検索タスクについてどのような意見と一致した文書のクリック数（β = −0.46, SE = 0.06, z =を含んでいたのかの分布である．表 5 より，多くの文書が検索−7.81, p < 0.001）および事前の信念と相反する文書のクリッ

タスクについて支持する内容であったことが分かる．このこと

ク数（β = 0.26, SE = 0.04, z = 7.44, p < 0.001）の信念の変は，今回の実験で被験者が検索し閲覧した検索結果の多くは検化に対する主効果がそれぞれ認められた．表 6 が示すとおり，

索タスクを支持する内容であったことを示している．検索結果

信念を保持した被験者は検索中に事前の信念と一致する文書を中の大部分の文書が検索タスクを支持する内容であったため，

多くクリックする（保持: M = 2.00，変化: M = 0.72）一方

多くの被験者が検索を通して検索タスクを支持する意見へと信で，信念を変化させた被験者は事前の信念と相反する文書を多念と変化させたのではないかと考えられる．また，White [16]くクリックしていた（保持: M = 1.71，変化: M = 3.28）こは自身の研究において検索ユーザの多くは，それ自体が正しい，とが分かる．

誤っているに関わらず，検索を通してある治療方法は正しいと

この分析の興味深い点は，事前の信念と相反する制御文書をいう事後の信念を抱くというバイアスの存在を報告している．

提示した場合，被験者はクエリの投入数や文書のクリック数な

こうしたバイアスも，多くの被験者が事後の信念として支持側

どより検索プロセスに労力を割いていたということが分かったに偏ったのではないかと考えられる．一方，注目すべき点としにもかかわらず（5. 1 節），そのような行動の違いは信念を変て，事前の信念と一致する制御を提示した場合は，通常の検索化させたかどうかという観点では得られなかったという点であ

結果の多くが支持側の内容であったにも関わらずそのような傾る．これは，被験者が信念を変化させるかどうか，という点と，2 ）．これは，事前の信念と一致する文向は見られていない（⃝

検索プロセスに労力をかけて情報を調べるかどうか，という点書を上位に提示することによって確証バイアスが強く働き，被は関連性が少ないのではないかということを示唆していると考験者の事前の信念を強める方向に作用したのではないかと考え

えられる．

られる．

5. 2. 3 要約

本節の分析で得られた知見をまとめると以下のようになる．
被験者の信念の極性の変化は，文書の意見に影響を受けることが分かった．具体的には，事前の信念と相反する制御文書を提6 議論

本章では，前章の分析で得られた知見を基に，ユーザが情報をより精査するようなランキングについて議論する．

本研究の大きな知見は，5. 1 節で示したように，ユーザの事
前の信念と相反する文書を検索結果中に提示することで，ユー
ザがより積極的に検索プロセスに関与する可能性があるということである．近年ではクエリに対する文書の意見を自動的に分析したり，ユーザの検索ログからそのような意見にユーザがどのように興味を持っているかを推測することは難しくないと考えられる [20]．そのような技術を用いることで，ユーザの事前の信念に相反するような文書をあえて上位にランキングすることで，より慎重な Web 検索を促進することができるのではな
いかと考えられる．その場合，そのようなランキングにおいてもユーザの満足度を担保するための仕組みについて考える必要がある．
また，信憑性に関していえば，5. 2 節の結果から，信憑性の高い文書を閲覧した場合は事前の信念を保持しやすいことが分かった．この結果は，事前の信念と一致した意見を持つ信憑性の高いページに出会うと，自身の確証バイアスをより強く影響を受けてしまい，たとえそのページの内容が不正確でも信じてしまう可能性を示唆している．たとえば，近年の商用検索エ
ンジンはページの表示時間のようなユーザビリティに関する指標をランキングに考慮していると言われている 6 ．ユーザビリ
ティの高いページは信憑性が高いと判断されやすく（流暢性バイアスの 1 種として知られる），洗練されたデザインであった
り使いやすいページを上位にランキングすることは，ユーザの批判的な検索行動を抑制し，確証バイアスをより強めてしまう
可能性があること示唆している．

7 ま と め本研究では文書の意見と信憑性がユーザの検索行動と信念の変化に与える影響を分析した．実験の結果，被験者の事前の信念と相反する文書を提示した場合，被験者はより多くのクエリを投入し，より多くの文書をクリックし，そしてより多くの文書を意思決定の証拠としてあげたことが分かった．また，被験者の事前の信念と相反する文書を提示した場合は被験者は信念
を反対側の意見へと変化させる可能性が高く，一方で信念と一致する文書を提示した場合は事前の信念をそのまま保持する可能性が高いことが分かった．さらに，そうした信念の変化と検索行動の関連は，クリックする文書の意見の分布以外に差異は見られなかった．
本研究では，被験者が実際に制御文書をクリックした検索タ
スクのみを分析した．しかし，ユーザは検索結果ページのみからでも影響を受けることがあることが知られている [2]．今後
は，被験者が制御文書をクリックしなかった検索タスクのデー
タも合わせて分析することで，文書の意見や信憑性がどのように影響を与えたのかをより詳しく分析したい．
謝辞 本研究の一部は，JSPS 科学研究費助成事業 18H03494,

18H03243, 18H03244, 16H01756, 16H02906 によるものです．
ここに記して謝意を表します．
6：https://webmasters.googleblog.com/2010/04/using-site-speed-in-websearch-ranking.html

文献[1] D. Bates, M. Mächler, B. Bolker, and S. Walker. Fitting linear mixed-eﬀects models using lme4. Journal of Statistical
Software, 67(1):1–48, 2015.
[2] C. L. A. Clarke, E. Agichtein, S. Dumais, and R. W. White.
The influence of caption features on clickthrough patterns
in web search. In SIGIR, pages 135–142, 2007.
[3] R. H. Ennis. A taxonomy of critical thinking dispositions
and abilities. W H Freeman/Times Books/Henry Holt &Co, 1987.
[4] L. Festinger. Conflict, decision, and dissonance. Stanford
University Press, 1964.
[5] B. J. Fogg. Persuasive Technology Using Computers toChange What We Think and Do. Morgan Kaufmann Publishers, 2003.
[6] D. Frey and D. Stahlberg. Selection of information after
receiving more or less reliable self-threatening information.
Personality and Social Psychology Bulletin, 12(4):434–441,
1986.
[7] Y. Kammerer, I. Bråten, P. Gerjets, and H. I. Strømsø.
The role of internet-specific epistemic beliefs in laypersons’
source evaluations and decisions during web search on a
medical issue. Computers in Human Behavior, 29(3):1193–
1203, 2013.
[8] D. Kelly. Methods for evaluating interactive information
R in
retrieval systems with users. Foundations and Trends⃝
Information Retrieval, 3(1–2):1–224, 2009.
[9] V. Q. Liao, W.-T. Fu, and S. S. Mamidi. It is all aboutperspective: an exploration of mitigating selective exposure
with aspect indicators. In CHI, pages 1439–1448, 2015.
[10] A. Lowin. Further evidence for an approach-avoidance interpretation of selective exposure. Journal of Experimental
Social Psychology, 5(3):265 – 271, 1969.
[11] E. Pariser. The Filter Bubble: What is the Internet Hidingfrom You? Penguin Press, 2011.
[12] F. A. Pogacar, A. Ghenai, M. D. Smucker, and C. L. Clarke.
The positive and negative influence of search results on people’s decisions about the eﬃcacy of medical treatments. In
ICTIR, pages 209–216, 2017.
[13] P. Resnick, K. R. Garrett, T. Kriplean, S. A. Munson, andN. J. Stroud. Bursting your (filter) bubble: strategies forpromoting diverse exposure. In CWSW, pages 95–100, 2013.
[14] C. Schwind, J. Buder, U. Cress, and F. W. Hesse.
Preference-inconsistent recommendations: an eﬀective approach for reducing confirmation bias and stimulating divergent thinking? Computers & Education, 58:787–796,
2012.
[15] R. W. White. Beliefs and biases in web search. In SIGIR,
pages 3–12, 2013.
[16] R. W. White. Belief dynamics in web search. Journal of
the Association for Information Science and Technology,
65(11):2165–2178, 2014.
[17] T. Yamamoto, Y. Yamamoto, and S. Fujita. Exploring
people’s attitudes and behaviors toward careful information
seeking in web search. In CIKM, pages 963–972, 2018.
[18] Y. Yamamoto and T. Yamamoto. Query priming for promoting critical thinking in web search. In CHIIR, pages
12–21, 2018.
[19] Y. Yamamoto, T. Yamamoto, H. Ohshima, and H. Kawakami.
Web access literacy scale to evaluate how critically users canbrowse and search for web information. In WebSci, pages
97–106, 2018.
[20] E. Yom-Tov, S. Dumais, and Q. Guo. Promoting civil discourse through search engine diversity. Social Science Computer Review, 32(2):145–154, 2014.