⾃⼰紹介

Computer Security Symposium 2023
UWS企画① 招待講演• 氏名）田中優子• 現職）名古屋工業大学大学院工学研究科 准教授

認知バイアスと「コグニティブセキュリティー」• 専門分野）認知科学、実験心理学

工学の目的

社会問題
（誤情報）

• 研究キーワード）認知バイアス、誤情報、批判的思考• 経歴）
名古屋工業大学
田中優子• 京都⼤学⼤学院 教育学研究科で博⼠号を取得後、⽇本学術振興会 特別研究員、Chulalongkorn University, Stevens
Institute of Technologyでのポスドク、国⽴情報学研究所

2023.10.30

特任研究員を経て現職

概要• 「コグニティブセキュリティー」に関する動向• 誤情報・偽情報• ⼈の認知の特徴• 今後の課題動向「コグニティブセキュリティー」

心理学の目的（心の解明）

研究開発の俯瞰報告書
システム・情報科学技術分野（2023年）

コグニティブセキュリティー

CRDS 研究開発の俯瞰報告書システム・情報科学技術分野（2023年）

コグニティブセキュリティー
コグニティブセキュリティーの目的
個人や集団に対する悪意のある影響を弱めること

B. M. Pierce (2021). “Protecting people fromdisinformation requires a cognitive security
proving ground” C4ISRNET

サイバー攻撃の拡⼤に伴い、これまでのシステムの脆弱性を狙った攻撃に加えて、フィッシングメールによる人への攻撃や、フェイクニュースやデマによる世論の誘導などが社会に影響を及ぼしている。情報サービスを利用するユーザー（人）の認識や行動に着⽬して、セキュリティー技術単体に加えて、⼼理学、経済学などの⼈⽂・社会科学を含めた学際的アプローチによるセキュリティーを扱う。
図2-4-1 セキュリティー・トラストの俯瞰図（時系列）

研究開発の俯瞰報告書
システム・情報科学技術分野（2023年）

2021年報告書から重点テーマに

誤情報・偽情報

Applied Research Laboratory forIntelligence and Security (ARLIS),
University of Maryland

Increase cognitive resilience against malicious influence (悪意のある影響に対する認知的レジリエンスの強化)

誤情報

偽情報

批判的思考とメディア・リテラシーの育成
巧妙な悪意ある影響に遭遇した人や組織をリアルタイムで識別・防御するツールの開発

誤情報・偽情報の影響
サイバーセキュリティー はデバイス・コンピュータ、ネットワークなどの保護に重点があるのに対し、コグニティブセキュリティー は人間の保護に重点をおく。社会科学・行動科学、AI、データサイエンスなどを含む多くの学問分野を統合する社会技術的アプローチが必要となる。

Wardle, C., & Derakhshan, H. (2017). Information disorder: Toward an interdisciplinary framework for research and policymaking (Vol. 27, pp. 1-107). Council of Europe.

総務省「プラットフォームサービスに関する研究会第二次とりまとめ」（2022.8）

ウォール・ストリート・ジャーナル紙は、アメリカのミサイルがガザの病院爆発を引き起こしたとは報じていない

ファクトチェックの推進『ウォール・ストリート・ジャーナル』紙は、10⽉17⽇のガザ病院の爆発はアメリカのミサイルによるものだと報じた。
「ウォール・ストリート・ジャーナル紙
病院に投下された爆弾はアメリカのMK84だ」「この爆弾は精密誘導式で、MKファミリーの中で最⼤のもので、重量は約950キロ」 この投稿は本誌発⾏時点で37万5000回以上閲覧されている。

ICTリテラシー向上の推進

ウォール・ストリート・ジャーナル紙が、この爆発はアメリカの弾道ミサイルによるものだと報じたという主張を[FALSE」だと評価する。

Duke Reportersʼ LAB “Global Fact-checking Sites”

Active (419)
Inactive (139)

日本は５件• ファクトチェックナビ
• リトマス• 日本ファクトチェックセンター• InFact• 毎日新聞-ファクトチェック

コグニティブセキュリティー
コグニティブセキュリティーの目的
個人や集団に対する悪意のある影響を弱めること

B. M. Pierce (2021). “Protecting people fromdisinformation requires a cognitive security
proving ground” C4ISRNET

Applied Research Laboratory forIntelligence and Security (ARLIS),
University of Maryland

Increase cognitive resilience against malicious influence (悪意のある影響に対する認知的レジリエンスの強化)
批判的思考とメディア・リテラシーの育成
巧妙な悪意ある影響に遭遇した人や組織をリアルタイムで識別・防御するツールの開発
どのような攻撃にどのような影響を受けるか︖

誤情報に対する認知的脆弱性の理解

誤情報・偽情報の影響

サイバーセキュリティー はデバイス・コンピュータ、ネットワークなどの保護に重点があるのに対し、コグニティブセキュリティー は人間の保護に重点をおく。社会科学・行動科学、AI、データサイエンスなどを含む多くの学問分野を統合する社会技術的アプローチが必要となる。

どのような状況で、どのような攻撃に、どのような影響を受けるか︖

Why Johnny canʼt …?

なぜ脆弱性が⽣じるか︖
その背後に、どのような認知的性質があるか︖？？
認知的脆弱性⼈の認知の特徴

How human cognition works?

Cognition

⽩いチームの選⼿が何回ボールをパスするかを正確に数えてください

⾒えないゴリラ

Youtube“The Monkey Business Illusion”

黒T３• 認知的処理（視覚的注意）の限界

白T３• すべてに同時に注意を払うことはできない• ⽩チームのパス回数• ゴリラの登場• カーテンの⾊の変化• ⿊チームから１⼈退場

黒T 1人退場！
ゴリラ入場！

Inattentional Blindness（不注意による見落とし）

視野の中には入っているものの、注意がむけられていないために見落とす現象

ゴリラ、胸をたたいてアピール！
カーテン赤色から金色にDrew T, Võ ML, Wolfe JM. The invisible gorilla strikes
again: sustained inattentional blindness in expert
observers. Psychol Sci. 2013 Sep;24(9):1848-53.

⾒えないゴリラ（ふたたび）

Information
膨大な外界情報

放射線科医によるCT画像診断••••

3分で５枚の画像をみて、肺がんの兆候（肺結節）を探す（肺結節の検出は専門医でも55％と難しい課題）
1枚の画像は平均10個の肺結節を含む肺結節の箇所をクリックするよう求められる最後の画像にゴリラを表示

予測

放射線科医の…
•

83％はゴリラに気づかない（非専門家は100％）•50％はゴリラの箇所を注視していても気づかなかった

す、すべてを受け⽌めきれない…！

認知的制約「見る」という行為には通常予測予測していない刺激には気づかない

外界に対する人の情報処理プロセスを解明する分野

知覚・注意・記憶・言語理解・思考・意思決定など

認知（Cognition）

スティーブン・ピンカー（2013）
⼼の仕組み＜上＞筑摩書房

⼼とは複数の演算器官からなる系であり，この系は，われわれの祖先が狩猟採集⽣活のなかで直⾯したさまざまな問題，とくに，物，動物，植物，他の⼈間を理解し，優位に⽴つために要求されたはずの課題を解決するなかで，⾃然淘汰によって設計されてきた。
この⾒⽅に⽴つと，⼼理学はリバースエンジニアリングの⼀種にほかならない。通常のエンジニアリングにあっては，なにかの⽬的が先にあって，機械を設計する。逆に，機械が先にあって，なんのために設計されたのかを考えるのがリバースエンジニアリングである。

記述的（descriptive）アプローチ

認知心理学・認知科学

Cognitionがある

二重過程理論（Dual Process Theory)
System 1

System 2

進化的に古い自動的
速い
直観的努力を要さない

進化的に新しい
制御的
遅い
熟慮的努力を要する

真実錯覚効果す、すべてを受け⽌めきれない…！

認知容量は非常に限られている
外界をそのまま入力・保持しているわけではない

認知的制約

Cognition
仮説

刺激・介入

膨大な外界情報

Dual Processing

確証バイアススティーブン・ピンカー
認知⼼理学，実験⼼理学

Information

反応を記述

設計図（認知モデル）を考察

知覚・注意・記憶・言語理解・思考・意思決定など

認知心理学・認知科学
外界に対する人の情報処理プロセスを解明する分野

Ecker, U. K. H., Lewandowsky, S., Swire, B., & Chang, D. (2011).
Correcting false information in memory: Manipulating thestrength of misinformation encoding and its retraction.
Psychonomic Bulletin and Review, 18(3), 570–578.

真実錯覚効果

「訂正情報」も繰り返し流せばいいのでは？
誤情報の３倍の頻度で訂正情報を出しても、誤情報の影響は消えない（読売新聞⼤阪本社社会部，2022，中央公論新社）

誤情報への接触頻度
１回

０回

３回

⾃分で頑張って調べ，ネッ
トの海の中からようやく探り当てた真実。そう信じて疑わなかった情報が，実はデタラメだったー。

誤情報
への言及
頻度

真実錯覚効果の非対称性
0回「誤情報の信じられやすさ」 と「⼀度受け⼊れられた誤情報の影響を事後的に緩和することの難しさ」のギャップ

0回

1回

3回
０回

0回

1回

3回

選択的接触 -

合致する情報の探索、過⼤評価- ⽭盾する情報を探索しない、無視、過⼩評価

選択的回避 -

⽭盾する情報を探索しない、無視、過⼩評価

共和党

誤情報に関する認知的脆弱性としはどちらも重要

一度拡散した誤情報の影響をデバンクするには、訂正情報を避ける「選択的回避」という認知的脆弱性に対策する必要がある• 2012年⽶国⼤統領選挙• ファクトチェックメッセージのリツイート・リプライ⾏動民主党

情報• 既有の信念や期待を裏づける証拠を収集しようとする傾向- 合致する情報の探索、過⼤評価• SNSでの確証バイアス（Shin & Thorson, 2017)

無党派

情報

共和党に有利取材していると，そのケースに当てはまる⼈は何⼈もいた。

確証バイアス• 既有の信念や期待を裏づける証拠を収集しようとする傾向

民主党に有利「毎⽇，必死で調べれば，普通の⼈が知らない優れた治療法にたどり着けると信じていた」

訂正への接触頻度

Shin, J., & Thorson, K. (2017). Partisan
Selective Sharing: The Biased Diffusion ofFact-Checking Messages on Social Media.
Journal of Communication, 67(2), 233–255.

確証バイアス

積極的に調べればよいか？

• 『情報パンデミックーあなたを惑わすものの正体』• 繰り返し同じ情報に接触することで、その情報が正しく感じれるようになること。
• 情報への「親近性（familiarity)」や「処理の流暢性 (fluency）」が「正しさ」のシグナルとして利⽤されるヒューリスティック「調べれば調べるほどはまる罠」

biased

信念「選択的回避」がそもそも観察できるか？
「選択的回避」傾向の個人差はあるか？
訂正情報はどの程度選択的に避けられるのか？

情報

biased信念

Yuko Tanaka, Miwa Inuzuka, Hiromi Arai, Yoichi Takahashi, Minao Kukita, and Kentaro Inui. 2023. WhoDoes Not Benefit from Fact-checking Websites? A Psychological Characteristic Predicts the Selective
Avoidance of Clicking Uncongenial Facts. In Proceedings of the 2023 CHI Conference on Human Factors in
Computing Systems (CHI '23). Association for Computing Machinery, New York, NY, USA, Article 664, 1–17.

事前信念

訂正情報
信じているか誤情報クリック行動「信じている誤情報」
に対する訂正クリックするかクリック「信じていない誤情報」
に対する訂正Yes
No

信念検証クリック

クリックなしクリック

信念確証クリック

クリックなし田中優子（名古屋工業大 認知科学・実験心理学）
犬塚美輪（東京学芸大 教育心理学）

荒井ひろみ（理研、知能情報学・情報セキュリティ）久木田水生（名古屋大 技術哲学、技術倫理）

乾健太郎（東北大・MBZUAI 自然言語処理）

訂正情報
信じているか誤情報

Yes
Noa「信じている誤情報」
に対する訂正「信じていない誤情報」
に対する訂正

個人ごと…

a 正しいと信じている誤情報の数

クリック行動xクリック

x 正しいと信じている誤情報（a）のうちクリックされた数
EV ランダムにb回クリックした場合，偶然含まれる事前信念と合致しないファクトリンクの数の期待値「信じていない誤情報」に対すフィラー（無関係なクリック）
信じている誤情報の訂正がほとんど確認されないる訂正（信念確証クリック）

ネット上に訂正を出す

信念検証クリック

訂正を届ける

クリックなしクリック

信念確証クリック

Fact Avoidance/Exposure Index (FAEI)!"#$ = & − #($!" = $!"#

どのような認知的メカニズムで選択的回避が起こるのか？

42％

クリックなしb クリック総数
n 表示されていリンク総数（bの最大値）「信じている誤情報」に対する訂正（信念検証クリック）

クリックするか

クリック率

事前信念

説明・予測

→ 対策

23％

23％

26％
17％

選択的回避
7％

C × (n – a)C(b – i)×&n Cba i*FAEI (Fact Avoidance/Exposure Index)

今後の課題

効果的なコグニティブセキュリティーに向けてConfirmation bias（確証バイアス）

効果的なコグニティブセキュリティーに向けて

1. これまで蓄積されてきた認知に関する知見の共有

1. これまで蓄積されてきた認知に関する知見の共有

2. 情報セキュリティー環境におけるヒューマン・ファクターの仮説・検証・説明・予測

2. 情報セキュリティー環境におけるヒューマン・ファクターの仮説・検証・説明・予測• 情報環境における認知的な脆弱性は何とトレードオフ関係にあるのか？
• 「正確な認知処理」と「効率的な認知処理」の両⽴を可能にする⽅法はあるか？

3. セキュリティー対策におけるfeasibilityの検討• 「気をつけて！」（warning, alart）はどこまで効果的？
• ユーザーの認知的特徴（制約）を考慮した対策が必要• 情報環境における認知的な脆弱性は何とトレードオフ関係にあるのか？
• 「正確な認知処理」と「効率的な認知処理」の両⽴を可能にする⽅法はあるか？

3. セキュリティー対策におけるfeasibilityの検討• 「気をつけて！」（warning, alart）はどこまで効果的か？
• ユーザーの認知的特徴（制約）を考慮した対策が必要

放射線科医はゴリラも⾒落とさないで！

CHI 2023 Opening Keynote"The Human Element in Cybercrime and Cybersecurity"

全員いるか確認して！
カーテンの⾊も⾒逃さないで！
パスの回数に注意して！
ゴリラに注意して！

すべてのメールを詳細にチェックしていたら，仕事にならないご清聴ありがとうございました