DEIM Forum 2022 B34-3

言及箇所と賛否に注目した
ソーシャルメディア上でのニュース信憑性判断支援三倉 温樹†

莊司 慶行†

Martin J. Dürst†† 青山学院大学理工学部情報テクノロジー学科 〒 252–5258 神奈川県相模原市中央区淵野辺 5–10–1
E-mail: †mikura@sw.it.aoyama.ac.jp, ††{shoji,duerst}@it.aoyama.ac.jp
あらまし

本論文では，批判的にニュースを読むことを促す，ソーシャルメディア情報を組み合わせたニュース閲覧インタフェースを提案する．具体的には，ソーシャルメディア上で言及されたあるニュース記事に対して，それと関連する複数の報道会社の記事と，それらへのツイートを，言及箇所とセンチメントとあわせて同時に提示する．このような情報提示方法が読者のニュース閲覧行動にどのような影響を及ぼすかを確認するために，被験者実験を行った．

Twitter 上で言及された約 25 の主要報道サイトのニュース記事を収集し，同じニュースに関する記事をクラスタリン
グし，実際の言及と同時に表示できるウェブアプリケーションを作成した．意見の割れるニュースを読ませる実験を通して，ニュースを読み終えるのにかかった時間や，ニュースに対する読み方や感想などをアンケートにより調査し，分析する．
キーワード 意思決定支援，ニュース，Twitter，批判的思考，信憑性
このような状況下においても，Web の利用する多くのユーザ

1 はじめにソーシャルメディアの普及に伴い，だれもが四六時中，様々な出来事をインターネット上に投稿し，共有するようになってきている．共有する話題の中でも，特に，ニュースに関する話
題は人気が高く，2010 年以降報道会社のニュース記事についての Tweet の数が急激に増加している [1] ことなどが指摘されている．特に若年層では，テレビや新聞などのニュース媒体以上にインターネットや SNS でニュースに触れることが増えてきているといわれる．例えば，2020 年度では，従来の新聞や民放テレビ局などよりもインターネット上でニュースに触れる利用者が多いことが指摘されている 1 ．中でも，10 代や 20 代のイ
ンターネット利用者は，ソーシャルメディア上でニュースを読むことがテレビで見ることよりも多いという調査報告もある 2 ．
主要ソーシャルネットワーキングサービス（SNS）である

Twitter では，多くのニュースメディアに Twitter で投稿する
ボタンが表示されていることもあり，数多くの人たちがニュースに対しての意見を発信している．こうしたニュースに関するTweet からニュースを見る人も多いと考えられる．このように，誰でも容易に情報を発信，収集できるようになった現代において，どの意見やニュース記事を信じてよいかを判断することは，困難性を増している．たとえば，一部の報道会社の利益になるような書き方のニュース記事が存在するかもしれないし，ニュースに対して発信者の偏った意見や嘘の情報が書き込まれる場合もある．

が，Web をある程度信用できるものだと感じているという調査結果が報告されている [2]．これは 2003 年の調査であるため，

SNS がより発達した現在では情報への不信感が増えてきている可能性もある．筆頭著者にとって身近な例で言うと，2020 年の新型コロナウイルスの影響で日用品が不足するという嘘の情報
が SNS 上で拡散された際の事象が特に記憶に残っている．この際には，こうした嘘の投稿を見た多くの人が必要以上に日用品を買い占め，品薄，品切れ状態にまでなった．こういった SNS
利用者が誤った情報を鵜呑みにしないような，情報の信憑性判断を支援する仕組みの重要性が，増してきていると考えられる．
情報の信憑性判断支援に関しての研究は盛んに行われており，例として Castillo [3] らは，トレンドの話題に関連する Tweetの情報の信憑性度合いを算出して提示するシステムを提案し，精度 70%で信憑性を Tweet に付与している．一方で Agrawal
ら [4] は，SNS 上で意図的に流された誤報の拡散を抑える問題
は，困難な最適化問題であることを示しており，機械的に情報信憑性をすべて判断できないことを指摘している．このような状況下では，フィルタリングなどで不確かな情報を排除するだ
けでなく，利用者自身が閲覧した投稿内容が正しいかどうか判断するような，批判的思考が重要になると考えられる．一方で，批判的思考は考えるための時間や労力を要するという意味で非常に認知的コストを伴う．そのため，日常的に接するすべてのソーシャルメディア投稿に対して，批判的思考を働かせながら閲覧しつづけることは，困難である．
そこで本研究では，批判的にニュースを読むことを促す，ソーシャルメディア情報を組み合わせたニュース閲覧インタフェー

1：新聞通信調査会 「第 13 回メディアに関する全国世論調査」
https://www.chosakai.gr.jp/
2：MMD 研究所 「2019 年 ニュースに関する意識調査」
https://mmdlabo.jp/investigation/detail_1888.html

スを提案する．具体的には，ソーシャルメディア上で言及されたニュース記事に対して，それと関連する複数の報道会社の記事と，それらへの Tweet を，言及箇所とセンチメントと合わ

せ提示する．ニュース記事に言及している Tweet はニュース内

る [8]．一方で，本研究ではニュース記事の URL が含まれたツ容の重要な点に関して言及している事がほとんどである．そのイートやそれに対するリプライを言及ツイートとして取得してため言及している Tweet が記事のどの文に言及しているかがいる．

分かると，ニュース記事内の注目すべき点が分かり，ニュース

ニュース記事の特徴を可視化する研究も盛んに行われている。

内容の理解の手助けになると考えられる．また，ニュース記事

Negar ら [9] は報道機関ごとのニュース記事のイデオロギー的や，それへのコメントのセンチメントも用いる．Ajzen ら [5]な書き方を数値化し，ニュースのフレーミングの理解を助ける

らは，情報そのもののあり方で態度変容の度合いが変わること分析を提案している．この研究との関係性は，記事のテキストを指摘しており，特に自身の主張に有利不利の情報を含めて提を単語ごとに分けて分析を行っていることで，イデオロギー的供することが公平な情報提供につながるとしている．

な書き方に数値を与え可視化しているが，本研究では賛否を数

このような情報提示方法が読者のニュース閲覧行動にどのような影響を及ぼすか検証するために，実際に，同一トピックに属する複数のニュース記事と，それらへのソーシャルメディア

値に与え可視化し，分析を行う．

2. 2 情報信憑性上の反応，センチメントを表示できるウェブアプリケーション

ニュース記事や SNS を用いて，情報信憑性についての研究を実装した．被験者実験を使って，それぞれの要素が，利用者も盛んに行われている．Castillo ら [3] は，ニュース記事に対のニュース閲覧行動にどのような影響を与えるかを，行動ログ

する Tweet を解析することで Twitter 上にあるニュース記事

分析とアンケートから調査する．実際に，「コロナワクチンを接種すべきか」などの，賛否の割れそうなニュースを読ませるの信憑性を評価するアルゴリズムを提案している．情報を提示する方法が変わることで信憑性の判断に影響する研究として，実験を行った．ニュースの閲覧前後で自分のスタンスに影響がDoyle ら [10] は Twitter においてプライミング効果は存在する

あったか，また言及やセンチメントやニュースを読む時間が変のか，ポジティブまたはネガティブな Tweet を見た後にター

わるか，関連するニュースをいくつ見たか，ニュースを見た後ゲットとなる Tweet を見てもらう実験を行い，ネガティブなWeb で検索した場合の検索クエリに影響があるかを検証する．
本論文は本章を含め，全 6 章からなる．本章では，本研究を行うに至った背景と研究の目的について述べた．第 2 章では，
本研究に関連する研究について紹介する．第 3 章では，提案手法について述べる．第 4 章では使用したデータと実験方法について述べる．第 6 章では実験結果について考察する．第 7 章では，本研究のまとめと今後の課題について議論する．

Tweet を見るときその後に見る Tweet に対して否定的な印象を持ってしまう可能性があることが明らかになった．このことから Twitter において，コンテキストによるプライミング効果がある可能性が示された．Bhuiyan ら [11] はニュースサイトごとに強調表示をするシステムを提案し，強調された記事は信憑性が高いと認識し，グレーアウトした記事は信憑性が低いと認識する傾向が高く，視覚に影響される明らかにしている．

lingaard ら [12]．は情報の信憑性が Web サイトのデザイン

2 関連研究と関係があるか調査し，見た目がきれいなデザインの Web サ
イトを信用する人が多いということを明らかにしている本研究

この研究では，読者のソーシャルメディア上で情報の信憑性ではニュース記事と記事に言及した投稿に，言及箇所と賛否のの判断支援を目的として，ニュース記事とツイートに言及箇所

極性を付与し提示をすることで閲覧者の判断にどう影響があると賛否の極性を付与して提示するインタフェースを作成する．

かを調査する．

これはニュース記事と SNS の分析，情報信憑性に関する既存研究と関係する．また，情報の信憑性判断をする際の読者の意
思決定には批判的思考態度が関連する．そのためこれらの観点から既存研究について説明し，本研究の位置付けを示す.

2. 1 ニュース記事と SNS の分析

2. 3 批判的思考態度
批判的思考態度とは情報を正しく理解するために必要な思考態度である．そこで批判的思考態度についての論文を紹介する．

Kusumi ら [13] によると，情報を適切に判断するためには，言語や推論力といった批判的思考だけでなく，批判的であろうと

SNS の研究の中でも Twitter を用いてニュースを分析する

する批判的思考態度が必要とされている [14]．Begoña らは文研究について盛んに行われている．Zubiaga ら [6] は、Twiiter章を理解するためには批判的に読むことで，それは文脈を理解からニュースを収集するアプリケーションを提案している。ツ

し，書き手の意図を推測する必要があり，読者の予備知識に依イートの内容と追加情報（ハッシュタグ，プロフィール画像な存すると主張している．田中ら [15] は批判的思考に影響を及ぼど）をもとに，機械学習アルゴリズムを用いてニュース性の高

す要因について，論法のタイプ，批判の要求，情報ソースの信いツイートをフィルタリングしている。ニュースに対する言及

憑性の高さによって促進されることを明らかにしている．以上

ツイートの取得の研究の例として，Krestel ら [7] のニュースのことから，ニュースの内容を正しく理解するのも，批判的な記事の掲載時刻とツイート時刻，ニュース記事とツイートの類思考態度でニュースを閲覧することが重要である．そのために似度から取得するシステムを提案している．
．言及ツイートをも，本研究では，批判的思考に影響を与えるような提示方法が同じように掲載時刻とツイート時刻を用いて取得し，そこから必要である．提案した言及箇所と賛否の極性を提示することにニュースと関係ないツイートを除去に取り組んでいる研究もあ

よって，批判的思考に影響があるかを検証する．

3. 2 同一トピックに関する記事のクラスタリング

3 提案手法
本研究では，ニュース記事に言及した Tweet を，極性とともに提示するニュース閲覧インタフェースを提案する．この閲覧
インタフェースでは，読者がニュース内容に対して，その内容を支持するかを判断する際の負担を減らすことを目的としている．そのために，ニュースに関係する Tweet がニュース記事のどこに言及しているか，他に同一のトピックを扱ったニュース
記事があるか，それぞれの言及が肯定的か否定的かを判定する．
そのために，実際にソーシャルメディア上で頻繁に言及され同じニュースイベントについて，複数のメディアが，複数のニュース記事を発表する場合がある．そして，それらの個別のニュース記事に対して，ソーシャルメディア上で言及される場
合がある．そのために，記事をクラスタリングし，同じニュースに関する記事をまとめた．
文章間の類似度で同一トピックかを判定した．記事の本文の類似度で判定を行う場合，記事ごとに長さが違うことで不必要な単語が多く上手く判定ができない．そのため，短く重要な単語のみが含まれるタイトルを用い，類似度で判定を行った．

ているニュース記事を収集し，同一トピックに関するニュース

文章間の類似度は，Doc2Vec を使用し類似算出を行った．各

記事をまとめた．そして，それぞれのニュース記事について，タイトルを形態素解析で単語ごとに分割し Doc2Vec でベクトルほかの利用者からの言及も収集したうえで，それらの極性を計を生成した．算出する際には分散表現を 3,000 次元に設定した．

算し，記事中のどこに言及しているかを推定した．最後に，同生成したベクトルを密度型クラスタリングである DBSCAN で一トピックに対するニュースを 1 画面にまとめ，それらへの言及を賛否によって色分けした状態で表示できるようにした．
本研究では，対象とするソーシャルメディアとして Twitterを用いたため，本節では Twitter を例にとって手法を解説する．

3. 1 ニュース記事、記事に対する言及ツイートの収集
はじめに，実際にソーシャルメディア上でニュース記事に言及した投稿を収集し，それらの言及先の記事の本文を抽出する．
ニュース記事に言及する投稿を収集するために，まず，URLを含んでいる投稿を網羅的に収集した．Twitter においてニュース記事に対して言及する際には，その記事の URL を含んだ投稿に対してリツイート（転載）したうえで自分の意見を直後に投稿したり，その投稿に対するリプライ（返答）として意見を記述する場合が多い．そのため，本研究においては，ニュース記事に対する言及として，ニュース記事の URL が含まれた

Tweet とそれに対するリプライを言及 Tweet とみなした．
この際，Twitter に特によく見られる現象として，ニュース
記事の URL が含まれる Tweet の中に，ニュース記事のタイト
ルだけを含む Tweet が多く含まれた．これは，多くのサイトに「Twitter に投稿」などのボタンが設置されており，そこをクリックすると記事タイトルと URL だけが自動で投稿されるためである．本研究では，これらの Tweet の本体は除外し，これらへのリプライや直後の Tweet だけを言及として扱った．
次に，それぞれの Tweet 本文から，余計な情報を取り除いクラスタリングした．

3. 3 言及箇所の特定
ニュース記事に言及する投稿がニュース記事のどこに言及しているかを推定するためにニュース記事を「。」で区切り，言及している投稿との類似度が一番高い一文を言及箇所とした．文章間の類似度は TF-IDF でベクトルに変換し，コサイン類似度を算出した．

3. 4 賛否の極性判断
それぞれの Tweet がニュース記事に対して否定的か肯定的かを表すために，それぞれの Tweet に含まれる単語から，Tweetの極性（センチメント）を算出した．ニュース記事，ニュース記事に言及した投稿の賛否の判定には東北大学の日本語評価極性辞書 3 を用いて判断した．日本語評価極性辞書では，単語ごとに-1 から 1 までの数値が振り分けされていて 1 に近いほど良い印象を与える単語を表し，-1 に近い値ほど悪い印象を与える
単語を表す．
ニュース記事，ニュース記事に言及した投稿を形態素解析で単語ごとに分割し，極性辞書に含まれている単語の値のみで平均を算出し，賛否の極性を判断した．また，動詞や形容詞のあとに「ない」がある場合は，否定になるため単語のスコアを反転させた．こうして計算した Tweet ごとの極性について，
ニュース提示インタフェース上で，ネガティブなものは赤色，
ポジティブなものは緑色で表示した．

た．また，Twitter では投稿にハッシュタグと呼ばれるタグをつけることができるが，これらのタグは取り除いた．また，メンション（@から始まる，別のユーザ宛のコメント）などの，不必要な単語も除外した．

4 評価実験
提案するインタフェースが，ニュースに対して，その内容を本手法の実運用上の注意事項として，ある Tweet に対するリ支持するかの判断を支援できるか検証するために，被験者実験

プライや，URL を含んだ Tweet の後の同ユーザによる Tweetを行った．そのために，言及箇所とセンチメントと合わせて提群は，API の制限によりすべてを網羅的に収集することはでき

示するインタフェースを持つウェブアプリケーションと，比較ない．そのため，本研究における実験では，実験用に選別した用のアプリケーションを実装した．また，実際にニュース記事

一部のニュース記事に対して，Web 上で人手で言及を収集する必要があった．

3：東北大学:日本語評価極性辞書
https://www.cl.ecei.tohoku.ac.jp/Open_Resources-Japanese_Sentiment_
Polarity_Dictionary.html

やソーシャルメディア上でニュース記事に言及した投稿，関連する報道会社の記事を収集して閲覧可能にした．

4. 1 実験タスク
提案したインタフェースを使うことで，読者の信憑性判断の•プレーン：ニュース記事と言及を，極性表示や言及箇所の提示なしに並べただけのページを用意した．5 つの比較手法の提示方法を図 1 に示す．

5. 1 実装支援ができるかを検証するために，被験者実験を実施した．被ニュース記事やソーシャルメディア上でニュース記事に言及

験者の人数は 10 人である．実験は 2022 年初頭に行われた．今した投稿に言及箇所，センチメントを付与して提示するため，回の実験では 2021 年に賛否両論あったニュースの中の 5 つにPython の Web アプリケーションフレームワークである Flask

ついて，実際に提案したインタフェースを使用してニュースをを用いて評価用アプリケーションを実際に作成した．

閲覧させた．
今回の実験で用いた賛否両論あった 5 つのニュースは，•

ニュース記事を同一トピックごとにクラスタリングし，Top
ページに一覧表示した．各トピックには，図 2 のように，ニュー

自民党，公民党が主張していた 10 万円（クーポン，現

ス群の重要単語をつなぎ合わせた仮タイトルをつけた．仮タイ金）配布，

トルは，クラスタ内の記事のタイトルの中での頻出単語 4 つを•

小室圭，結婚に向け眞子さまと再開，秋篠宮夫妻と面会， 「-」でつなぎ合わせたものである．またクラスタリングされた•

3 回目ワクチン接種，副反応増加，

ニュースが Top ページ内に大量にあるため，見たいトピックを•ネット誹謗中傷に厳罰化，懲役刑導入，すぐ探せるように，Top ページには Javascript を用いて，ペー•米大統領バイデン，米軍のアフガン撤退

ジ内検索を取り入れた．図 3 のように検索窓に単語を入力するである．

と，その単語が含まれるタイトルのみを表示する．

被験者は，提案したインタフェースでニュースを閲覧する前

出現数の多い単語の表示名をクリックすると，図 4 のようにに，それぞれのニュースに関してアンケートに回答した．事前

そのトピックに関してのニュース記事，ソーシャルメディア上

アンケートにおける質問項目は，「このニュースを知っているでニュース記事に言及した投稿をまとめたページに遷移する．

か」、「このニュースに対して賛成、反対のどちらか」、「なぜそ複数のニュース記事，それに対する言及をすべて表示してしう思うのか」の 3 項目で，それぞれのニュースに対してそれぞ

まうと情報量が多くなってしまうので，ニュース記事，言及しれ 1 回ずつ回答した．

た投稿に文字数を制限して表示した．右下の「言及箇所・極性

その後，提案したインタフェースで 5 つのニュースを閲覧し，詳細」ボタンを押すと，ニュース記事，ニュース記事に言及し再度アンケートに回答した．事後アンケートにおける質問項

た投稿に，言及箇所と，センチメントが付与されたページにそ目は，れぞれ遷移する．
言及箇所と，センチメントが付与されたページでは図 5 のよ•

このニュースに対して賛成，反対のどちらか，•

なぜそう思うのか，

うにニュース記事とニュース記事に言及した投稿のすべてを表•どういう手順で読んだか，

示する．左側が記事の本文で右側がそのニュースに言及してい•賛成コメントと反対コメントどちらを先に読んだか，る投稿である．センチメントの提示方法はテキストを色で囲い•印象に残ったコメントはあったか

提示している．反対意見の文の場合は赤，賛成意見の文は緑での 5 項目をそれぞれのニュースに対して回答した．

表現している．言及箇所の提示方法は，記事に言及した投稿の最後に，被験者は，5 つすべてのニュース閲覧とにアンケー

ニュース記事の言及箇所の部分を太字で強調している．また，トを済ませたあとに，全体を通してのアンケートに回答した．

ニュース記事に複数の言及した投稿がある場合，太字にした言アンケート項目は「ニュース記事に強調した文があった場合，及箇所がどの投稿の言及箇所かわからなくなるため，記事の本

ニュースを読むのに影響があったか」、「ニュース記事やコメン

文の上から順にその言及箇所に対応した，言及した投稿を順番

トに賛否を色表示があった場合，ニュースやコメントを読むのに配置した．さらに見た目でわかりやすいように言及した投稿に影響があったか」である．

の極性の色と同じ色で言及箇所に下線を入れた．

5 比較手法の行動のログを収集し保存する機能を実装した．すべてのペー

実験のために，これらすべてのインタフェース上で，利用者本研究で提案した賛否の極性と言及箇所の特定の 2 つをニュースの閲覧時に提示することによって，読者の信憑性判断にどう影響するかを検証する．そのために，比較対象とし，•賛否と言及：賛否の極性，言及箇所の特定 2 つを付与したページ（提案手法），•

賛否のみ：賛否の極性のみを付与したページ，•

言及のみ：言及箇所のみを付与したページ，•

ランダム言及：言及箇所をでたらめにしたページ，

ジで，遷移してきてから，他のページに遷移するまでの時間を記録できるようにし，比較手法ごとに閲覧時間が変わるか検証できるようにした．実際の実験時の注意事項として，このアプ
リケーションでは，ページを開いたまま別の作業をすると，その時間も記録される．そのため，実験時のアンケートはこのウェ
ブアプリケーションとは別のウィンドウで行ったため，ニュース詳細ページのままアンケートを記入すると，閲覧時間が正確に測れなかった．実験時には，ニュースを見終わったら，Top
ページに一度戻らせてからアンケートに回答させた．

プレーン

賛否と言及（提案手法）
下線を引いてそれぞれの発言の言及箇所を可視化
下線の色でその文のセンチメントを表示
下線の横に実際の発言を表示
各発言の枠線の色で発言の賛否を可視化
記事全体の枠線の色で発言の賛否を可視化

ランダム言及言及のみ

賛否のみ

図 1 5 つの比較手法の提示方法

図 4 同一トピックでの複数のニュース記事，そのニュース記事に言及した投稿をまとめたページ
図 2 提案システムのニューストピックの一覧ページ．ニュース記事がトピックによってクラスタリングされ，クラスタの代表語が表示
されている

図 5

言及箇所，極性を付与したニュースページ．左側に表示された
ニュース記事に対して，対応した位置に個人の SNS 上での言及が表示され，センチメントが緑（ポジティブ）と赤（ネガティブ）に色分けされて表示される事の中で主要なサイトを表 1 に示す．
図 3 各トピックの検索キーワードによる絞り込みの例．キーワードを入力すると再読み込みを挟まずトピックを絞り込める

5. 3 実 験 結 果
本節では，被験者実験の結果について述べる．5 つのニュース内容に対してのアンケート結果について，実験を行う前と

5. 2 データセット

後の結果をそれぞれ表 2，表 3 に示す．実験前のアンケートで提案した閲覧インタフェースでは，Twitter で言及しているニュースに対して意見をした中で，「なぜそう思うのか？」といニュースサイト，そのニュースに言及している投稿を Twitter

う質問に対して，「なんとなく」，「あまり詳しく知らない」といのデータを用いて作成した．Twitter Streaming API 経由でう回答が多かった．実験後のアンケートでニュースに対しての集めた Tweet から，Twitter で言及されているニュース記事意見をした中で「なぜそう思うのか？」という質問に対しては，

68,705 件を収集した．すべてのニュース記事に対して，記事の賛否両方の意見を踏まえた上での回答が多く見られた．
「賛成コ

タイトル，本文を抽出した．Twitter で言及されたニュース記

メントと反対コメントどちらを先に読んだか」という質問に対表5

表 1 Twitter 上で言及された主要ニュースサイト

ニューストピック，手法ごとのページ閲覧時間．1 手法 1 トピッ

サイト名

クあたり被験者 2 名．表示は分:秒．表中の ※ はアンケート回答

朝日新聞

www.asahi.com

時にブラウザを閉じ忘れたユーザの記録のため，平均時間の計

テレビ朝日

5.tvasahi.jp

算からは取り除いた

名前

マイナビ

news.mynavi.jp

TBSnews.tbs.co.jp

NHK

小室圭

www3.nhk.or.jp

毎日新聞

ネット侮辱

mainichi.jp

Yahoonews.yahoo.co.jp

Googleアフガン撤退news.goo.ne.jp

読売新聞

ワクチン 3 回目接種

www.yomiuri.co.jp

Livedoor News news.livedoor.com
10 万円分クーポン配布
平均時間

表 2 事前アンケート

このニュースを知っていますか？
このニュースに対して、賛成ですか？
このニュースに対して、反対ですか？
このニュースに対して、
賛否どちらでもない

小室圭

ネット侮辱罪アフガン撤退

7人

6人

5人

3人

4人

1人

ワクチン

10 万円分

3 回目接種

クーポン配布

4人

8人

2人

4人

賛否と言及

プレーン 言及のみ ランダム言及 賛否のみ

3:46

6:34※

1:50

2:43

2:35

1:33

1:55

3:03

2:44

2:28

4:04

1:22

2:35

2:33

4:39

2:02

2:16

2:35

2:33

1:30

3:51

2:22

2:13

6:35※

6:51 ※

2:10

2:07

3:33

1:20

1:53

1:41

2:20

2:09

7:55※

1:20

2:32

2:45

1:29

1:51

1:40

2:43

2:18

6:23※

7:59※

2:18

2:50

1:23

1:17

2:04

2:33

2:43

2:05

2:18

2:15

2:19

表 6 言及箇所，賛否の極性があった場合，ニュースを読む際に影響があったかのアンケート
読みやすかった 読みにくかった

どちらでもない

全体を通して、ニュース記事に
0人

1人

1人

1人

4人

強調された文があった場合

７人

１人

２人

８人

０人

２人

ニュースを読むのにどう影響しましたか？
4人

1人

3人

1人

0人

全体を通して、ニュース記事やコメントに賛否を色表示があった場合ニュースやコメントを読むのにどう影響しましたか？

表 3 事後アンケート
小室圭
このニュースに対して、賛成ですか？
このニュースに対して、反対ですか？
このニュースに対して、
賛否どちらでもない

ネット侮辱罪アフガン撤退ワクチン

10 万円分

３回目接種

クーポン配布

ジのままアンケートに記入した人もいたため，閲覧時間が一部

4人

7人

3人

4人

8人

0人

2人

0人

1人

1人

表 6 は全体を通してのアンケートの回答結果を示す．強調文

6人

1人

7人

5人

1人

があった場合，賛否の色表示があった場合どちらも，ほとんど正確に取れなかった．

の人が「読みやすかった」と回答した．
表 4 閲覧インターフェースを用いてニュースを閲覧した手順
賛否と言及

プレーン

言及のみ

ランダム言及

賛否のみ

４人

０人

４人

１人

０人

３人

０人

３人

２人

０人

０人

０人

０人

０人

０人

０人

０人

０人

０人

０人

０人

０人

０人

１人

０人

１人

０人

１人

１人

０人

記事の本文→コメント

１人

６人

２人

３人

９人

コメント→記事の本文

０人

０人

０人

０人

０人

回答なし

１人

４人

０人

１人

１人

記事の本文→
コメント→強調文
記事の本文→強調文→コメント
強調文→記事の本文→コメント
強調文→コメント→記事の本文
コメント→記事の本文→強調文
コメント→強調文→記事の本文

6 考

察

本章では被験者実験の各手法の結果をもとに，提案した言及箇所と賛否をそれぞれ提示することの信憑性判断支援の度合いと，研究全体について考察する．
はじめに，各手法ごとのアンケート結果について議論する．
表 4 に表されるように，使用したニュース提示インタフェース
によって，閲覧の順序が変わる傾向が見られた．原因として，ランダム言及での閲覧は強調部分を眺めたがニュース内容対して重要な文ではなかったため，しっかり読まなかったことが考えられる．
また，正しい言及箇所を提示した 2 つの手法は強調文をほとんどの利用者が読んでいた．コメントの記事に対する言及箇所

しては，「どちらでもない」という回答が一番多く，次に多かっがニュース内容に対して，重要な文であると考えられる．このたのが「自身の意見と同じ意見を読む」であった．

ことに加え，全体を通して強調部分，賛否の色表示があった場

5 つの手法ごとのページの閲覧手順を表 4 に示す．提案手法

合どう影響があったかというアンケート結果から，言及箇所との賛否と言及，正しい言及箇所とランダム言及でニュースの閲

賛否の極性を閲覧時に提示することで，読者の信憑性判断の支覧手順が変わっていた．正しい言及箇所の手法の場合強調部分

援をできたと考えられる．

を見る人が多い中，ランダム言及では強調部分を見ない人が増え，閲覧手順にばらつきが多かった．

次に，全体を通してのアンケート結果について議論する．
ニュース閲覧インタフェースの可読性に関する評価項目では，

表 5 に各手法ごとのページ閲覧時間を示す．閲覧時間には手「読みにくかった」，「どちらでもない」と回答した利用者がい法ごとの特徴は見られなかった．また，本実験では，アンケー

た．強調部分が読みにくかったという意見について，情報が多トは Word ファイルに記入するようにしたため，ニュースペー

すぎて単純に見づらいと感じた可能性や，でたらめの言及箇所を強調した手法の印象が残った可能性もある．賛否の色表示の原因として，本実験では，極性辞書で賛否の判断を行ったが，外するなどの前処理を加えることで，クラスタリング精度が上

これは文の単語ごとの賛否のスコアの平均値で判断したため，がると考えられる．

賛否の判断精度があまり高くなかったことが考えられる．
また，ニュース記事にも賛否の極性を赤と緑で色分けして表ニュースに対する言及の収集も改善すべき問題の一つである．
今回の実験で用いたデータセットでは，抽出したニュース記事示したが，実験で扱ったような賛否のわかれる記事は，記事のに言及している Tweet の数が少なかった．本研究では，ニュー

書かれ方が否定的な場合が多かった．そのため，ほとんどの記

ス記事の URL がついた Tweet と，それに対するリプライを事が単に赤枠で囲われている状態になっているだけで，記事ごニュースへの言及として扱った．しかしながら，実際の Twitterとの比較をすることができなかった．これはニュース記事のタでは，URL を含まないニュースに言及する Tweet や，リプラ

イトルと本文すべてで賛否の極性判断を行ったことが原因としイ機能を用いない暗黙的な返信が多く見られる．これらは，実てあげられる．改善策として，タイトルのみで極性判定を行際の運用上では，API の制限上の問題で，網羅的に収集する

うか，Tweet の言及先の文だけを抽出して記事の賛否としてことが困難であった．また，実際に Twitter でニュースを見る

扱うことなどが考えられる．これは，ニュース記事に言及する

際は，ニュースに関するトレンドワードで検索をすることが一

Tweet の言及箇所がニュース記事の重要な文である可能性が示

般的である．ニュースに関連するトレンドワードを抽出して検されたためである．

索するなどの工夫で，API の回数制限の中でも，より多くの

次に，閲覧時間について考察する．表 5 に表されるように，

ニュースへの言及を収集可能になると考えられる．

ページ閲覧時間に注目すると，手法ごとに特徴は出なかった．

ニュース記事からの本文抽出も改善が必要であった．記事の原因として，被験者ごとに読解力が異なる点，ニューストピッ

本文を抽出する際に本文の間に広告がある場合，写真の説明文

クごとに記事の長さが違う点が挙げられる．本実験では，被験が入ったまま抽出されていた記事がいくつかあった．本文中に者数とニューストピック数が十分でなかったため，これらの影挟まれた広告などを取り除く，より高度な本文抽出アルゴリズ

響が強かったと推測される．被験者の人数を増やすことで，手ムが必要である．

法ごとの違いを分析可能になると考えられる．
また，アンケートをシステム内に組み込んでいなかったため，一時的にトップページに移動させ，別のプログラムでアンケー
トに回答させた．この際に，トップページに戻り忘れた利用者
や，ブラウザとの切り替えに手間取った被験者がいた．そのため，正しく閲覧時間が計測できなかった場合もあった．より正しく閲覧行動を記録するために，同一 Web システム内にアン
ケートページを作り，1 つのブラウザ上ですべてを完結させるべきであった．
本実験を通じて，改善すべきだと考えられた研究上の事項についても考察する．今回の実験では，5 つの手法を 5 つのニュースを用いて，手法ごとに差がでるかを検証するために，5 つの手法すべてについて同じ内容のアンケートを用いた．しかし，手法によって注目するべき点は異なったので，手法ごとの質問項目を設けるべきであった．例として，正確な言及箇所とランダム言及では強調文に対しての質問や，手法ごとにどういう所がニュースを読む際に影響があったか質問をするべきであった．
発展的な課題として，実験時は 5 つのニュースで賛否両論あったニュースを用いた．嘘の記事に騙されないようにするこ
とも情報信憑性の判断を支援する目的の一つであったため，完全に嘘の記事でも実験を行うべきであった．
手法上の問題として，クラスタリングの精度の限界が挙げられる．抽出したニュース数に対して，同一トピックとしてクラスタリングされたニュースの件数が多くなかった．今回の実験
では，それぞれ異なるニュースメディアにおける 3 つの記事が含まれるニューストピックを用いたが，それ以外の記事ではト
ピックにまとまらないものが多く見られた．今後はより高精度にニューストピックをまとめることで，実際に任意の記事と同じトピックの記事群を表示可能にする必要がある．改善案として，ニュースタイトルに頻繁に登場する「速報」などの語を除

7 まとめと今後の課題
本研究では，SNS 上でニュースを閲覧する際に読者の信憑性判断を支援することを目的として，ニュース記事やソーシャ
ルメディア上でニュース記事に言及した投稿を用いたニュース閲覧インタフェースを作成した．Twitter で言及されている
ニュース記事，それに対する言及 Tweet を収集し，収集したニュース記事を同一トピックの分類に Doc2Vec で分散表現をし，DBSCAN でクラスタリングを行った．言及箇所の特定には TF-IDF を用い，賛否の判定には日本語極性辞書を用いて判断した．
提案手法の有用性を評価するため，言及箇所と賛否の極性がニュース理解に影響があったかを 5 つの手法で 5 つのニュースを用いて実験を行った．実験結果では，正しい言及箇所とランダム言及の閲覧手順が変わっていた．正しい言及箇所の場合，強調文を読む人が多かったことに対し，ランダム言及では強調文を読まない人が増えた．実験全体を通して，ほとんどの人が強調文，賛否の色表示があると読みやすかったと回答した．以上から，正しい言及箇所，賛否の極性を付与しニュースを閲覧することで，ニュースの理解の手助けができたと考察できた．
今後の課題として，ニュース記事，それに対する投稿の賛否判断の精度の向上が挙げられる．今回は，極性辞書に含まれる
単語ごとの値の平均で判断したため精度が低かった．実験時の提案したインターフェースにももう少し工夫が必要であった．
閲覧時間をもっと正確に測るために，同一のウェブページ内にアンケートページを作る必要があった．また，今回の実験では被験者の人数が十分でなかったため，結果が上手く得られなかった．今後，これらの問題を一つずつ解決してゆく必要がある．

謝

辞本研究は JSPS 科研費 18K18161（代表：莊司慶行），21H03775（代表：大島裕明）の助成を受けたものです．ここに記して謝意を表します．

文

献[1] Marcel Broersma and Todd Graham. Twitter as a news
source: How dutch and british newspapers used tweets intheir news coverage, 2007–2011. Journalism practice, Vol. 7,
No. 4, pp. 446–464, 2013.
[2] Miriam J Metzger, Andrew J Flanagin, and Lara Zwarun.
College student web use, perceptions of information credibility, and veriﬁcation behavior. Computers & Education,
Vol. 41, No. 3, pp. 271–290, 2003.
[3] Carlos Castillo, Marcelo Mendoza, and Barbara Poblete. Information credibility on twitter. In Proceedings of the 20thinternational conference on World wide web, pp. 675–684,
2011.
[4] Ceren Budak, Divyakant Agrawal, and Amr El Abbadi.
Limiting the spread of misinformation in social networks. In
Proceedings of the 20th international conference on World
wide web, pp. 665–674, 2011.
[5] Icek Ajzen. Persuasive communication theory in social psychology: A historical perspective. Inﬂuencing human behavior, pp. 1–27, 1992.
[6] Arkaitz Zubiaga, Heng Ji, and Kevin Knight. Curating andcontextualizing twitter stories to assist with social newsgathering. In Proceedings of the 2013 international conference on Intelligent user interfaces, pp. 213–224, 2013.
[7] Ralf Krestel, Thomas Werkmeister, Timur Pratama
Wiradarma, and Gjergji Kasneci. Tweet-recommender:
Finding relevant tweets for news articles. In Proceedingsof the 24th International Conference on World Wide Web,
pp. 53–54, 2015.
[8] Jagan Sankaranarayanan, Hanan Samet, Benjamin E
Teitler, Michael D Lieberman, and Jon Sperling. Twitterstand: news in tweets. In Proceedings of the 17th
acm sigspatial international conference on advances in geographic information systems, pp. 42–51, 2009.
[9] Negar Mokhberian, Andrés Abeliuk, Patrick Cummings,
and Kristina Lerman. Moral framing and ideological bias ofnews. In International Conference on Social Informatics,
pp. 206–219. Springer, 2020.
[10] Evan Doyle and YoungAh Lee. Context, context, context:
Priming theory and attitudes towards corporations in social
media. Public relations review, Vol. 42, No. 5, pp. 913–919,
2016.
[11] Md Momen Bhuiyan, Kexin Zhang, Kelsey Vick, Michael A
Horning, and Tanushree Mitra. Feedreﬂect: A tool for nudging users to assess news credibility on twitter. In Companionof the 2018 ACM Conference on Computer Supported Cooperative Work and Social Computing, pp. 205–208, 2018.
[12] Gitte Lindgaard, Cathy Dudek, Devjani Sen, Livia Sumegi,
and Patrick Noonan. An exploration of relations between
visual appeal, trustworthiness and perceived usability of
homepages. ACM Transactions on Computer-Human Interaction (TOCHI), Vol. 18, No. 1, pp. 1–30, 2011.
[13] Begoña Oliveras, Conxita Márquez, and Neus Sanmartı́.
The use of newspaper articles as a tool to develop criticalthinking in science classes. International Journal of Science
Education, Vol. 35, No. 6, pp. 885–905, 2013.
[14] Takashi Kusumi, Rumi Hirayama, and Yoshihisa Kashima.
Risk perception and risk talk: The case of the fukushima
daiichi nuclear radiation risk. Risk Analysis, Vol. 37, No. 12,

pp. 2305–2320, 2017.
[15] 田中優子. 批判的思考の促進・抑制に及ぼす論法のタイプ, 外的要
求, 情報ソースの信憑性の効果. 日本教育工学会論文誌, Vol. 33,
No. 1, pp. 63–70, 2009.