2023年度日本認知科学会第40回大会

P1-065予測精度の高い AI を利用しても、人間の意思決定は正確にならない。
AI with high prediction performance does not necessarily makehuman decisions more accurate.
香川 璃奈1，本田 秀仁2，野里 博和3
Rina Kagawa, Hidehito Honda, Hirokazu Nosato
1筑波大学，2追手門学院大学，3産業技術総合研究所

University of Tsukuba, Otemon University, AIST
kagawa-r@md.tsukuba.ac.jp

概要
人間が他者からの助言を参照して意思決定を行う際に、助言をそのまま採用するわけではない現象は自己中心的助言割引として知られる。昨今の AI の急速な発展により、AI を助言として人間が意思決定を行う場面が今後増加すると予想される。しかし、AI の精度と、それを利用した人間の意思決定の関係性は明らかでない。本研究ではシミュレーションと行動実験を通じて、AI の助言の予測誤差が小さくなるほど、それを利用した人間の意思決定が正確になるとは限らないことを示した。

論する。実社会における AI の利用場面を想定して、以下の 2 点を前提とする。
1. 人間は、AI の予測結果を知る前に、自分なりの予測をする。その後、AI の予測結果を踏まえて人間が最終的な判断を下す。AI の予測結果が自動的に人間の意思決定に代わるのではない。
2. AI の予測結果は予測誤差を伴って示される。予測誤差が狭いほど精度の高い AI とみなす。例：「AIは、写真の男性の体重を 72.5–75.5kg だと予測した」

キーワード：自己中心的助言割引, AI, 意思決定,algorithm aversion, algorithm appreciationという予測結果より「AI は、写真の男性の体重を73.8–74.2kg だと予測した」という予測結果の方がAI の精度は高いと判断する。

背景
人間は、意思決定を行う際に、他者からの助言を参目的照することがある。その一方で、人間が他者からの助言をそのまま採用するわけではない現象が、自己中心数値予測タスクにおいて、予測誤差を伴う助言を利的助言割引として知られている(Yaniv & Kleinberger,

用する認知過程のモデルを提案し、以下の 2 点につい2000)。昨今では深層学習を始めとするいわゆる AI 技てシミュレーションおよび行動実験により検討する。

術1の急速な発展に伴い、人間が AI による予測や分類

RQ1：助言の予測誤差が変化すると、人間の最終判断の正確性はどのように変化するか？の結果を助言として利用して意思決定を行う場面も多RQ2：助言の予測誤差の変化に伴う人間の最終判断くなっている。それと同時に、AI による助言は人間にの正確性の変化は、助言者によって変化するか？

よ る 助 言 と 比 較 し て 、 利 用 さ れ に く い (algorithmaversion) (Dietvorst, Simmons, & Massey, 2015)、または利助言を利用するシナリオの整理と問題定義用されやすい(algorithm appreciation) (Logg, Minson, &Moore, 2019)という報告が認められる。しかし、人間がまず、判断者は助言なしに判断 𝐽! を行う(図 1 におけAI の助言をどのように利用するのか、人間による助言る「80」)。次に、“𝑥" –𝑥# ” (𝑥" < 𝑥# ) という予測誤差の利用とどのように異なるのか、一定の知見には至っ(𝐸𝑟𝑟$%&'() )を持つ助言が示される。𝑥" と𝑥# のうち𝐽! に近ていない。特に AI による助言の精度と、それを利用しい値を𝐴𝐷𝑉*)$+ (図 1 における「75.5」)とし、もう片た人間の意思決定の変化に関する系統的な特徴は明ら方を𝐴𝐷𝑉,$+ (図 1 における「72.5」)とする。本研究でかになっていない。

は、正答(𝑡𝑎𝑟𝑔𝑒𝑡 ≥ 0)は𝑥" と𝑥# の平均値とする (図 1 の本研究では数値予測を対象として、AI の予測精度の例では 74.0)。最後に、助言を確認した人間が最終判断向上に伴い、それを利用した人間の意思決定がどのよ𝐽- (図 1 における「75」)をする2。

うに変化するかを、理論的および実験的検証により議2

1 本稿では、何かしらの数理的技術に基づく識別また

この手続きは、助言に基づく意思決定を評価するた

めの実験プロトコルとして知られる judge-advisor

は予測手法を指すこととする。
282

2023年度日本認知科学会第40回大会

P1-065

本稿では、人間の最終判断の正確性として、𝐸𝑟𝑟$%&'()当初の判断(𝐽! )から変更するか決定する段階を示す。判の変化に伴う𝐸𝑟𝑟.! = |𝐽- − 𝑡𝑎𝑟𝑔𝑒𝑡| の変化を評価する。

断者が最終判断を𝐽! から変更する確率(𝑃(#$*/) )は当初

Advice： 8”𝐴𝐷𝑉,$+ − 𝐴𝐷𝑉*)$+ ””𝐴𝐷𝑉*)$+ − 𝐴𝐷𝑉,$+ ”

if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 ≥ 0,
if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 < 0.の 判 断 へ の 自 信 ( 𝑊𝑒𝑖𝑔ℎ𝑡." ) と 助 言 へ の 信 頼

𝑡𝑎𝑟𝑔𝑒𝑡 − 𝐸𝑟𝑟$%&'()
𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐸𝑟𝑟$%&'()

if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 ≥ 0,
if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 < 0.

ンスは𝐽! と𝐴𝐷𝑉*)$+ の距離に従うと考える。𝑎' と𝑑' は𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐸𝑟𝑟$%&'() if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 ≥ 0,
𝑡𝑎𝑟𝑔𝑒𝑡 − 𝐸𝑟𝑟$%&'() if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 < 0.

伴う𝑊𝑒𝑖𝑔ℎ𝑡' の変化の傾きを意味する。𝑐' は𝑊𝑒𝑖𝑔ℎ𝑡'

𝐴𝐷𝑉,$+ = 8𝐴𝐷𝑉*)$+ = 8(𝑊𝑒𝑖𝑔ℎ𝑡$%&'() )のバランスで決定され、さらにそのバラ𝑊𝑒𝑖𝑔ℎ𝑡' の上限と下限を意味する。 𝑏' は𝑑𝑖𝑠! の変化にの変曲点である。
𝐽 − 𝐴𝐷𝑉*)$+ if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 ≥ 0,
𝑑𝑖𝑠! = 8 !
𝐴𝐷𝑉*)$+ − 𝐽! if 𝐽! − 𝑡𝑎𝑟𝑔𝑒𝑡 < 0.
𝑊𝑒𝑖𝑔ℎ𝑡' (𝑑𝑖𝑠! ) =図 1: 実社会における助言利用シナリオのイメージ

𝑎'1 + e012# (%'4"0(# )6+ 𝑑'

𝑃(#$*/) (𝑑𝑖𝑠! ) = 𝑊𝑒𝑖𝑔ℎ𝑡." (𝑑𝑖𝑠! ) × 𝑊𝑒𝑖𝑔ℎ𝑡$%&'() (𝑑𝑖𝑠! )◯Integration Step: 𝐽- ≠ 𝐽! の場合、𝐽- の値は以下に従う。なおN𝐴𝐷𝑉,$+ + 𝐴𝐷𝑉*)$+ O⁄2 = 𝑡𝑎𝑟𝑔𝑒𝑡である。

予測誤差を伴う助言を利用した意思決定プロ
セスのモデル

𝐽! = 𝑁((𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐽" )⁄2 , 𝜎! )助 言 利 用 の 先 行 研 究 (Himmelstein, 2022;Vodrahalli, Daneshjou, Gerstenberg, & Zou, 2022)をシミュレーション実験参照し、予測誤差を伴う助言を利用した意思決定プロ

𝑁(𝑡𝑎𝑟𝑔𝑒𝑡, 𝜎! )に従う 500 点をランダムに生成し、各セスについて、以下の 3 段階のモデルを提案する。

パラメーターを変化させた際の平均値を図 2 に示した。

◯Pre-step: 当初の判断(𝐽! )は𝑁(𝑡𝑎𝑟𝑔𝑒𝑡, 𝜎! )にしたが𝐸𝑟𝑟$%&'() が小さくなるほど𝐸𝑟𝑟.! が小さくなる傾向って決定される。𝜎! は判断者の知識レベルやタスクのが多くの条件で確認されたものの、その傾向は非単調難しさを反映する。

かつ非線形であった。𝐸𝑟𝑟$%&'() が小さくなるほど𝐸𝑟𝑟.!

◯Activation Step: 助言を得た判断者が、最終判断をが小さくなる傾向を示さない条件（𝜎! = 15 かつ

図 2: シミュレーション実験の結果
system (JAS; Sniezek & Buckley, 1995)と一致している。

283

2023年度日本認知科学会第40回大会

P1-065

activation step が(C)）も確認された。このことから、値を決定する。なお、自身の当初の推定値と助言は同

𝐸𝑟𝑟$%&'() が小さくなるほど𝐸𝑟𝑟.! が小さくなるとは限一の画面に示されている。

らないと示唆された。

本実験は、筑波大学医学医療系医の倫理委員会の承認(承認番号 1743)を得ている。

行動実験 方法
行動実験 結果・考察

次に、実際にシミュレーション研究と同様のシナリ

3 段階モデルの検証4オを利用した行動実験を行なった。
実験参加者: 152 名(男性 104 名、女性 48 名、Mage = 42.6、Activation Step について、助言者ごとに𝐸𝑟𝑟$%&'() のSDage = 22.7)。

階層性を考慮した状態空間モデルを利用して算出した

刺激・手続き: 全ての実験参加者は、ランダムに提示

𝑑𝑖𝑠! と𝑃(#$*/) の関係を図 3(A-1)に示した。
助言者を問される 60 問の数値推定タスクに回答した。

わず、𝑑𝑖𝑠! が 0 以下のときは𝑃(#$*/) が小さく、0 以上

地 理 的 な 予 測 タ ス ク (Himmelstein and Budescu,になると𝑃(#$*/) が大きくなったこと、さらに、𝑑𝑖𝑠! が2023)として、過去 8 週間のとある地下鉄駅の乗降者数ある一定以上になると𝑃(#$*/) が一定になったことがの推移から翌週のその駅の乗降者数3を推定した。正答確認できた。

(𝑡𝑎𝑟𝑔𝑒𝑡)の平均値は 521.2 ± 198.2 (最小：123、最大：Integration Step について、(𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐽! )⁄2と𝐽- の1,010)。𝐸𝑟𝑟$%&'() は 10 段階(0.0, 4.95, …, 44.55)を設定

関係を図 3(A-2)に示す。(𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐽! )⁄2を固定効果、した。

𝐽- を目的変数、𝐸𝑟𝑟$%&'() と助言者と参加者をランダム

1 問のタスクは、以下の 3 段階から構成される刺激効果としたマルチレベルモデルで推測された傾きと95% 信 用 区 間 は 1.01 [0.98, 1.05] で あ り 、で構成される。
まず、参加者は、過去 8 週間のある地下鉄駅の乗降(𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐽! )⁄2 = 𝐽- の関係が成り立つと判断できる。

者数の推移から翌週のその駅の乗降者数を推定する。

これらの結果から、想定した 3 段階モデルは妥当で次に、助言が提示される。助言は助言者と助言内容あると判断した。

がランダムに組み合わされて構成される。助言者は、「AI」「ある鉄道会社の職員」「以前この課題を解いた助言の予測誤差と最終的な推定値の正確性の関係100 人」の 3 通り 4 とした。助言内容は問題ごとに、𝐽!

𝐸𝑟𝑟$%&'() と𝐸𝑟𝑟.! の関係を図 3(B)に示した。𝐸𝑟𝑟$%&'()に 応 じ て ”𝐴𝐷𝑉,$+ − 𝐴𝐷𝑉*)$+ ” ま た は ”𝐴𝐷𝑉*)$+ −と𝐸𝑟𝑟.! は助言者に依らず非単調かつ非線形であり、シ

𝐴𝐷𝑉,$+ ”とした、ただし𝐴𝐷𝑉,$+ および𝐴𝐷𝑉*)$+ は四捨五

ミュレーション実験と結果に矛盾はなかった。また、入した整数とした。

助言者が「AI」または「ある鉄道会社の職員(specialists)」

助言内容の例：「来週のこの駅の乗降者数についの場合と比較して、助言者が「以前この課題を解いたて、AIは118－128(万)人と推定した。
」(𝑡𝑎𝑟𝑔𝑒𝑡 =100 人(laypeople)」の場合、判断者の最終判断の誤差

123, 𝐸𝑟𝑟$%&'() =4.95 の場合)がより大きくなる傾向が認められた。
助言者が「AI」の場合と「以前この課題を解いた 100

最後に、その助言に基づき、参加者は最終的な推定

図 3: 行動実験の結果
3https://catalog.data.gov/dataset/mta-subway-custo

4 実際にこれらの助言者が計算または回答したわけで

mer-journey-focused-metrics-beginning-2015 (lastaccessed 2023/4/1)

はなく、あくまでランダムに表示しただけである。

284

2023年度日本認知科学会第40回大会

P1-065

文献人」の判断者の最終判断の誤差の差を、助言の予測誤差ごとに推定した結果が図 3(C-1)である。この結果か[1] Himmelstein, M. (2022). Decline, adopt or compromise? A
dual hurdle model for advice utilization. Journal of
Mathematical Psychology, 110, 102695.
[2] Himmelstein, M., & Budescu, D. V. (2023). Preference forhuman or algorithmic forecasting advice does not predict if andhow it is used. Journal of Behavioral Decision Making, 36(1),e2285.
[3] Sniezek, J. A., & Buckley, T. (1995). Cueing and cognitive
conflict in judge-advisor decision-making. Organizational
behavior and human decision processes, 62(2), 159-174.
[4] Yaniv, I., & Kleinberger, E. (2000). Advice taking in decision
making: Egocentric discounting and reputation formation.
Organizational behavior and human decision processes, 83(2),260-281.

ら、全ての𝐸𝑟𝑟$%&'() において、助言者が「以前この課題を解いた 100 人」であった場合には、「AI」であった場合と比較して有意に𝐸𝑟𝑟.! が大きいといえた。
助言者の違いに影響を受ける認知過程
最後に、助言者に依って𝐸𝑟𝑟.! が変化する事象について、提案した 3 過程の認知モデルのうち、activation
step と integration step のどちらが有意に影響を受けているのか、𝐸𝑟𝑟$%&'() ごとに検討した結果を図 3(C-2,C-3)に示す。利用したモデルは上記と同様である。この結果から、𝑃(#$*/) は全ての𝐸𝑟𝑟$%&'() において、助言者が「以前この課題を解いた 100 人」であった場合に、「AI」であった場合と比較して有意に値が小さかった。
この結果は𝐸𝑟𝑟.! と同様であった。その一方で、(𝑡𝑎𝑟𝑔𝑒𝑡 + 𝐽! )⁄2 − 𝐽- は全ての𝐸𝑟𝑟$%&'() において、助言者が「以前この課題を解いた 100 人」であった場合と「AI」であった場合との間で有意差を認めかった。この結果から、助言者が変わると、助言を確認して助言を利用するか決定する認知過程が影響を受け、最終的な人間の判断の正確性が変化する、というメカニズムが示唆された。

まとめ
本研究では、シミュレーションと行動実験を通じて、予測誤差を伴う助言を人間が利用する場合、助言の予測誤差が小さくなるほど、それを利用した人間の意思決定がより正確になるとは限らないことを明らかにした。また、助言者が変わると、助言を確認した上で助言を利用するか決定する認知過程が影響を受け、最終的な人間の判断の正確性が変化することが示唆された。
今後は、他ドメインおよび数値推定に限らないタスクに実験を拡張した上で、最終的な人間の意思決定がより正確になる意思決定支援システムの開発につなげたい。

謝辞
本研究成果の一部は、国立研究開発法人新エネルギ
ー ・ 産 業 技 術 総 合 開 発 機 構 (NEDO) の 委 託 業 務(JPNP20006)、
JST 未来社会創造事業の助成(JP19211284)の結果得られた。

285