DEIM Forum 2016 B1-6

多様性指向のニュースアプリの開発とその有用性評価
切通 恵介†

楠見孝††

堀江伸太朗†

馬強†† 京都大学大学院情報学研究科 〒 606–8501 京都府京都市左京区吉田本町†† 京都大学大学院教育学研究科 〒 606–8501 京都府京都市左京区吉田本町
E-mail: †{kiritoshi,horie}@db.soc.i.kyoto-u.ac.jp, ††kusumi@educ.kyoto-u.ac.jp, †qiang@i.kyoto-u.ac.jp
あらまし 我々は，ユーザのニュースの理解を支援するための多様性指向のニュースアプリケーション NewsSalad について研究開発を行っている．NewsSalad はユーザの閲覧中のニュースイベントに対して最も差のある関連記事を提示してニュースイベントを様々な角度から理解することを支援する．本稿では，NewsSalad の有用性をメディアリテ
ラシーの向上，多様な情報取得の効率性，NewsSalad への満足度の三つの視点から評価するためにユーザ実験を行い，考察を行う．
キーワード

ニュースアプリ，多様性，理解支援を提案している [16]- [18]．NewsSalad はニュース記事間の差異

1. は じ め にを意見，視点，詳しさの３尺度で定量化しており，各尺度に対ニュース報道はメディアによる内容の差異が大きく，一部の報道を見るだけではユーザのニュースへの理解も偏ってしまう

応するボタンを押すことで，閲覧中の記事と同じイベントでかつその差異の尺度が最も大きな記事をユーザに提示する．

可能性がある [1]．そのため，多様な側面を持ったニュース記

本稿では NewsSalad の有用性を，一般的なシステムの評価

事の差異を意識しながら，比較して読むことが重要である．こ

視点であるアプリへの満足度と，ユーザの心理に踏み込んだ多ういったメディアリテラシーの重要性は多方面で提唱されてい様な情報取得の効率性とメディアリテラシーの向上の３視点かる [2] 一方，大量のニュース記事から効率的に多様な情報を取ら評価を行う．以下に説明を記す．

•

得することは難しい．
スマートフォンやタブレットの普及により，ニュース閲覧のためのアプリが使用されるようになってきた．2014 年の Best
（注 1）

News App Award

（注 2）を受賞した Smart Newsを始め，多くのアプリは一つのニュースのイベントに対しては一つの記事

NewsSalad への満足度: NewsSalad の仕様や提示する記事に対してユーザがどれほど満足したかを示す視点である．

•

多様な情報取得の効率性: 短い時間での必要な情報の取得を効率的に行えたかを示す視点である．

•

メディアリテラシーの向上: メディアのバイアスに気づしか提供していない．また，関連記事の検索もスマートフォン

く認知と主体的な情報収集を行う行動 [14] の二つの観点においというデバイスの性質上難しい．従って，ユーザは興味のあるてユーザの意識が向上したかを示す視点である．

ニュースを多様な視点から詳しく知ることは容易ではない．

これら有用性の三つの視点をユーザ調査によって評価する．

ニュースの多様な視点を与えることを主眼としたシステムは初めに，ユーザは複数のイベントに関するニュース記事を自由多く提案されている [4]- [8]．しかし，既存の研究はユーザが分に閲覧しその内容を文章で纏め，メディアリテラシーを測るア析するニュースを選ぶなど，ニュースの差異を既に感じている

ンケートに答える．その後，ユーザは二つのグループに分かれ

メディアリテラシーの高いユーザを対象にしており，メディア

Google News と NewsSalad を２週間に渡って使用する．２週

リテラシの低いユーザを対象とし，それを向上させることを間後に同様のタスクを Google News と NewsSalad を利用して目的とした研究は少ない．また，差異の定量化や記事のランキ実行する．我々は，質問項目の評価値の変化やニュースの閲覧ングを行っておらず多様な情報を効率的に取得することは難し

ログ，ニュースイベントを纏めた文章から NewsSalad の有用い．さらに，システムの有用性の評価も短期間であり，多様な性について議論する．

ニュースの取得の効率性やメディアリテラシーの変化といった本研究の主な貢献を次に示す．

ユーザの心理まで踏み込み長期間での評価を行った研究は少•ない．

ニュースの理解支援の研究においてメディアリテラシーの向上を試みたニュース閲覧システムの開発を行い，システム

そこで，我々はユーザにニュースの多様な視点を効率的に提供がメディアリテラシーに与える影響を調査する．先行研究 [18]（注 3）

では，NewsSalad を実現するための差異分析に基づくランキン

する，メディアリテラシー指向のニュースアプリ NewsSalad

グ手法の有効性を確認しているが，本研究ではアプリのユーザ（注 1）：http://www.idownloadblog.com/2014/12/16/the-best-news-apps-of-2014/（注 2）：https://www.smartnews.com/（注 3）：http://play.google.com/store/apps/details?id=jp.ac.

kyoto u.i.soc.db.android.salad

評価を行う．

•

ニュースシステムにおけるユーザの情報収集の効率性の効果とユーザの NewsSalad への満足度を確認する．

•

メディアリテラシー向上の仕組みに情報工学のアプロー

チの導入を試みる．既存研究では，教師や専門家が主導でメ
ディアリテラシーの向上の教育を行うが，本研究は情報システ
ムを用いてユーザの日常情報アクセスをサポートし，ニュースの差異に気付かせて暗黙的に教育を行う．
以下，２節では関連研究について述べる．３節では，提案
ニュースアプリについて紹介する．４節ではユーザ実験とその結果について述べる．５節ではユーザ実験の考察，６節ではまとめと今後の課題について述べる．

2. 関 連 研 究
2. 1 ニュース閲覧システム
Google News はニュースの多様な閲覧を提供するために，関Top News View Mode

連記事に “意見”や “詳細”といったラベルを付与している．し図1

Article Details View Mode

NewsSalad のインターフェース

かし，これらのラベルは著者によって決められたカテゴリや文字数といった表面的な情報を基に与えられたものであり，内容

複数テキストの批判的統合の重要性と難しさが指摘されている．

に踏み込んだより深い分析はできていない．また，Smart News

本稿では，メディアリテラシーの向上を狙いとしたニュース

は多様なトピックやカテゴリを提供することでユーザへ新たなアプリを開発している．評価実験においては指定した三つのイ

興味や視点の発見を促している [3] が，一つのニュースイベン

ベントに対するニュース報道の内容を纏めさせる課題を被験者

トに対しては一つの記事しか提示しておらず，イベントレベルに課して考察を行う点も異なる．さらに，後藤らのメディアリでの深い理解や意見の収集を行う事はできない．

テラシーを測る尺度に基づきウェブニュースに特化させた質問

また，ニュースの理解支援のためにユーザにニュースの多項目を作成し，アプリの使用前後でのユーザのメディアリテラ

様性を提供する研究は多く提案されている．News Cube [6] はシーの変化を調査して報告を行う点も本研究の特徴である．

ニュースの理解支援のためにニュースイベントの様々な側面を抽出するシステムである．CWB [5] は閲覧中の記事と内容の類

3. NewsSalad

似した関連記事をユーザに提示することで，ユーザにニュース

SmartNews といったニュースアプリは 1 トピック 1 記事し記事の比較を促す．Localsavvy [7] はニュースに関連する地方

か１トピック１記事しか提示されず，能動的に検索して閲覧をの社会グループの意見を抽出し，ニュース記事で強調表示する行うことができない．従って多様なニュース報道に効率よくアシステムである．

クセスできない場合がある．そこで，本研究では様々な関連記

これら既存のシステムとは異なり，NewsSalad はスマートフォンを媒体として，記事間の差異を定量化し記事を差異に応事を効率よくアクセスできる，スマートフォン上の多様性指向のニュース閲覧システムを開発する．

じてランキングすることでユーザに多様な情報を効率的に提供

NewsSalad は Top News View Mode と Article Details View

している．また，分析する記事はユーザに依存しないため，メMode の二つの画面から構成される．インターフェースの例を

ディアリテラシーの低いユーザに対しても差異のある記事を提図 1 に表す．Top News View Mode では Google News から収示することが出来る．さらに，２週間のユーザ実験において多集したトップ記事をカテゴリ毎にまとめ，サムネイルと見出様な情報取得の効率性とメディアリテラシーの向上というユー

し，概要を列挙する．各記事を選択することで記事の Article

ザの心理に踏み込んだ視点に対して有用性を評価している点もDetails View Mode へ遷移する．

異なる．

Article Details View Mode では選択された記事のリンク先

2. 2 メディアリテラシーを表示する．画面内の “Opposite”, “Wide”, “Deep”の三つのメディアリテラシーに関して，水越ら [10] や Christ ら [11]ボタンは，そのイベントにおける関連記事と閲覧履歴の差異をによってその構成要素が提案されている．後藤 [9] はこれらの定量化した三つの尺度（Diﬀerence in Factor Coverages (DC),

メディアリテラシーの構成要素を整理し，新聞や本，インターDiﬀerence in Opinion (DO), Diﬀerence in Details (DD) ）にネットなどのメディアに対応したメディアリテラシーを測る尺

対応している [17]．DC は記事間での視点の違いの程度を表す度を提案している．

尺度，DO は人物，地域，組織といった Named Entity に対す一方メディアリテラシーを高める方法として，Brown [12] は，る記事間の感情の差を示す．また，DD は Named Entity に対批判的思考の育成の重要性を挙げている．楠見らは，後藤の構する詳しさの記事間での差を示す．ボタンを選択することで現成要素をメディアの表現技法，制作過程，企業の目的の理解に

在閲覧中の元記事の関連記事集合のうち，対応する尺度の値が関する知識，メディアのバイアスに気づく認知，主体的な情報最も大きい記事を表示する．

収集をおこなう行動の三つの側面に分けて整理し，メディアリ

例えば，ユーザが Top News View Mode で，ある記事を選

テラシーと批判的思考の因果関係が明らかにしている [14]．ま択したとする．ユーザは Article Details View Mode へ遷移し，た，小林 [13] によってニュースの内容の批判的な理解における，識させた．さらに，アンケートにおいて被験者は普段のニュー
0:/"!*e9*c##"!,*$!%"!

*&fd#EW]bS81E3!!
••

: g7EX^NQ"<GMZaV$E2J!
#EW]bS81BEeKY_E+(%CJ!

KaPbV!

)MZaVD@;AJMZaV$D-B.FH!
\ULK_T^RbJ&HKaPbV!

手順２: 利用前アンケート
被験者は Google News US 版（注 4） の Realtime Coverage の!hdRST[E+!
•

らに，普段使っているアプリやサイトを使用割合が高い順に回
答する．

gd+
•
•

ス閲覧での媒体の利用状況に関してその使用割合を答える．さ=I?RST[Bg57$'(>@W]bSJ81!
O`bY+j,--./0!1023!
481"J26&!

O`bY*j!"#$%&'(')%
481"e817J26&

画面を用いて指定した 3 イベントについてニュース記事を自由に閲覧し，内容をイベント毎に文章で纏める．この際被験者には「各イベントを 150 字（英語の場合は 80 単語）以上でな

i&+KaPbV!
•••

RST[J+;A)MZaVD@;AJMZaV$D-B.FH!
\ULK_T^RbJ&HKaPbV!
O`bY*j'4e )J&HKaPbV!

るべく詳しくまとめよ」との指示を出した．さらに，被験者はこの実験において行う記事の閲覧に関してメディアリテラシーを測るアンケートに回答する．このアンケートは後藤 [9] のメ

図2

ユーザ実験の概要図

ディアリテラシーの尺度を基に，メディアのバイアスに気づく
認知，主体的な情報収集をおこなう行動の二つの視点から各項

記事の内容を読む．その後，ユーザはページ下部の三つのボタ

目をウェブニュースに特化して作成した．質問項目を表 1，2ンを選択する．“Opposite”のボタンをユーザが選択したとするに示す．被験者は各項目を当てはまる，どちらかというと当てと，その時に表示されている記事と同じイベントであるが意見

はまる，どちらとも言えない，どちらかというと当てはまらなの最も異なる記事に遷移する．その後，ユーザが “Wide”のボい，当てはまらないの５段階で評価する．

タンを選択すると，そのイベントでの閲覧履歴である始めの記

手順３: システムの利用

事と “Opposite”で遷移した記事の２記事から最も異なる視点

被験者を留学生と日本人学生が均等になるように二つのグを持つ記事に遷移する．

ループ A, B に分ける．グループ A は Google NewsUS 版を，

4. ユーザ実験グループ B は NewsSalad を用いて２週間毎日 20 分ずつ，ス
マートフォンまたはタブレット PC でニュースを閲覧する．被4. 1 概要験者にニュースの閲覧を促すため，予め各被験者に普段ニュー

我々は NewsSalad の有用性（メディアリテラシーの向上，多スを読む時刻を提出してもらい，その時刻にリマインダを流し様な情報取得の効率性，NewsSalad への満足度）を明らかにすた．また，ニュース閲覧終了後に各システムを使用した実際のるためにユーザ実験を行った．実験の概要図を図 2 に示す．被時刻を提出させた．ここで，２週間に渡るアプリの利用を被験

験者は情報学を専攻している大学生，大学院生 20 名（留学生１者に課した理由として，メディアリテラシーの向上を短期間の１名：内女性５名，男性６名，日本人学生：男性９名）とした．

実験で実現することは難しいためである．さらに，グループ A

4. 2 実 験 手 順

は閲覧履歴を，グループ B は記事の閲覧履歴と各ニュース記

実験手順は普段のニュース閲覧の調査，利用前アンケート，事を読んだ時間，選んだボタンを自動的に収集した．利用中のシステムの利用，利用後アンケートの四つから構成される．普１イベントに対する閲覧記事数を二つのグループで比較するこ段のニュース閲覧の調査は被験者の普段のニュース閲覧の媒体とで，各グループの主体的な情報収集が促されたかどうかを調や記事数を見ることで被験者のグループ分けを行う．利用前アべる．

ンケートではアプリの利用前時点での被験者のメディアリテラ

手順４: 利用後アンケート

シーの程度を確認する．システムの利用においては被験者は２週間後にグループ A は Google News US 版の Realtime Cov-NewsSalad と Google News を用いるグループに分かれてシス

erage の画面を用いて，グループ B は NewsSalad を用いて指テムを利用する．最後に，利用後アンケートにおいて各グルー

定した３イベントについてニュース記事を自由に閲覧してもプでの被験者のメディアリテラシーの程度と NewsSalad の情

らい，ニュースイベントについて纏め，メディアリテラシーを

報取得の効率性と満足度を測る．２グループでのメディアリテ

測るアンケートに回答する．さらに，被験者は普段のニュース

ラシーの変化を分析することで NewsSalad による被験者のメ閲覧の調査と同様に実験中のニュース閲覧の媒体の使用割合

ディアリテラシーの向上について確かめる．詳細な実験手順はと主に使ったアプリやサイトを使用割合の高い順に答える．こ以下のとおりである．

れにより被験者のニュースソースのうち NewsSalad と Google

手順１: 普段のニュース閲覧の調査

News がどの程度の割合であったかを測る．また，グループ B

被験者は実験前２日間のブラウザ履歴からニュース記事を取は NewsSalad を多様な情報取得の効率性と NewsSalad への満り出し，記事数をニュースイベント毎に纏めて提出する．この足度の二つの観点から評価するアンケートに応える．利用前ア

時のイベントとは人物や組織などのエンティティとその行動にンケートと同様に，被験者は各項目について５段階で回答する．

関する出来事とした．例えばオバマ大統領のアメリカ国内での質問項目を表 3 に示す．最後に，普段のニュース閲覧における演説とオバマ大統領の日本との首脳会談は同じオバマ大統領に関するものであるが，行動の違いから異なるイベントとして認（注 4）：https://news.google.co.jp/?edchanged=1&ned=us&authuser=0

表 4 意見に対する評価基準

表 1 メディアのバイアスに気づく認知
点数
番号

1

項目内容

基準
批判的に内容を読み取れておらず，利害関係者の理解が不完全である: イ

1

読んだ記事は見る人を楽しませることは考えていると感じましたか？

ベント中の利害関係者の一部に対してだけ記述している．または主要な利

2

大げさな表現のある記事がありましたか？

害関係者への言及がない．
（例：イスラエル兵が民間人を射殺するという痛3

読んだ記事が客観的に書かれていたと思われますか？(-) 1

4

記事を読んでいてトピックへの考えや認識を改めることがありましたか？

5

記事の内容は似たようなものが多かったと感じましたか？(-) 1

いるが，一方に対しての立場で書いていたり，支持をしたりしている．
（例：

6

読者の意見を誘導するような記事が存在しましたか？

イスラエル兵に危害を与えたパレスチナ人がイスラエル兵によって殺害さ

7

他の記事と比べて異なる印象を受けた報道がありましたか？

1(-) 印は逆転項目を示す．

ましい事件が起きた．
）

2

批判的に内容を読み取れていない: イベント中の利害関係者が言及されてれた．10/1 から 88 人ものパレスチナ人が殺害されている．
）

3

批判的に内容を読み取っている: イベント中の複数の利害関係者に対して公平に記述しており，記事の内容に疑問や不備を指摘している．原因や背表 2 主体的な情報収集をおこなう行動

景を重視して記述している．
（例：イスラエル兵にナイフを突きつけたパレ
スチナ人がイスラエル兵に射殺されるという事件が起きた．この原因とし

項目内容て，パレスチナとイスラエルはユダヤ系の民族問題を背景に，人々が圧迫

8

各トピックについて多くの記事を読むことができましたか？

感を感じていることが挙げられる．
）

9

知らなかったり分からなかったりすることがあると積極的に他の記事を読

番号

もうとしましたか？

表 5 メディアのバイアス認知の平均値 (SD)10

記事の内容に疑問を持ったら他の記事を読むようにしましたか？

11

ニュース閲覧に関して，記事のリンクや検索を積極的に活用しましたか？

グループ A（Google News）

12

一つのトピックの情報を得る時に、普段トピック毎に平均何記事を読みま

質問項目

1

2

3

4

すか？それは多いと感じますか？

利用前

3.0(1.15)

2.7(1.42)

2.3(0.95)

3.2(1.48)

利用後

3.4(0.84) 3.1(1.20) 2.9(0.88) 3.8(0.79) 1.8(1.03) 2.7(0.95) 3.6(0.84)

56

1.9(0.99) 3.6(1.26)

7
3.1(1.29)

表 3 多様な情報取得の効率性とアプリの満足度
グループ B（NewsSalad ）多様な情報取得の効率性
番号

内容

1

読み飛ばす記事が多くありましたか？(-)

2

同じトピックに関して複数の記事を読みたいと思えましたか？

3

それぞれの側面（各ボタンに対応する側面）のニュース記事を読もうとしたとき、短い時間や、短いステップ数で情報を得られましたか？

アプリの満足度
番号

4

6

1

2

3

4

利用前

3.2(0.63)

3.4(1.51)

2.5(0.97)

2.7(1.16)

利用後

3.5(0.85)

2.4(1.17)

1.9(0.32)

3.6(0.84) 1.7(0.48) 2.6(1.26) 3.0(0.82)

表6
質問項目

6

7
2.7(1.25)

メディアのバイアス認知の Cohen’s d
1

2

3

4

Google News 0.40

0.30

0.66

0.51

NewsSalad52.3(0.95) 2.7(1.34)

5

6

7

-0.10 -0.80 0.46

0.40 -0.74 -0.83 0.89 -0.80 -0.08 0.28

内容
三つのボタン（画面下部にある Opposite, Deep, Wide のリンク）を積極的に押したいと思えましたか？

5

質問項目

被験者の纏めた文章から各イベントにおけるトピックを手作業

三つのボタンでそれぞれリンクした時に、あなたが欲しい結果（各ボタンで抽出する．各被験者の纏めた文章がそれらのトピックについに対応する側面 Opposite : 異なる意見を持つ記事, Wide : 異なる視点をてどれくらい言及しているかを調査する．被験者は，他の被験持つ記事, Deep : より詳しい記事）が得られましたか？

者と比べて相対的に多くのトピックについて言及していればい今後も継続利用したいですか？

るほど高い点数を獲得する．
メディアリテラシーの意識調査を NewsSalad を使った場合と比較するアンケートに回答する．
また，利用前後のアンケートにおいて被験者がニュースイベ
ントを纏めた文章に関して分析を行う．批判的思考の高い被験者は，テキスト間の対立や矛盾を理解するために，複数記事の内容を統合しながら閲覧すると考えられる [13]．このような被験者は矛盾や対立といった意見に注目する可能性が高い．また，主体的に情報収集を行う被験者は探究心に優れ，多様な内容に触れることを好むと考えられるために纏めたテキスト中でも多様なトピックについて言及する可能性が高い [14] [15]．従って，我々はこれらの文章から被験者のメディアリテラシーを評価するために，a) 様々な意見に対して言及しているかと b) 多様なトピックを被覆できているかの２点に注目した．

a) 様々な意見に対して言及しているか: ２名の分析者が全ての被験者の纏めた文章から主となる論点を抽出する．その論点に関して，各被験者の纏めた文章に１−３点を付与する．点数の基準を表 4 に示す．

b) 多様なトピックを被覆できているか: ２名の分析者が全ての5. 結果と考察
本節では，ユーザ実験の結果とその考察を NewsSalad の有効性の三つの視点（メディアリテラシーの向上，多様な情報収集の効率性，NewsSalad への満足度）から行う．

5. 1 メディアリテラシーの向上
我々は NewsSalad に対するメディアリテラシーの向上をメ
ディアリテラシーの構成要素である主体的な情報収集をおこなう行動とメディアのバイアスに気づく認知の二つの側面から結果を表示し，考察を行う．

5. 1. 1 メディアのバイアスに気づく認知
各システムの利用前後のメディアのバイアスに気づく認知に対応する項目毎の平均値の変化と標準偏差（SD）を表 5 に示す．ただし，５段階評価に対してそれぞれ点数を付けた（1: 当てはまらない - 5: 当てはまる）．結果として，メディアのバ
イアスに気づく認知において実験の前後で評価値が増加した
項目は，Google News を利用したグループで７項目中５項目，

NewsSalad を利用したグループで７項目中３項目であった．
また，システム利用前後での各質問項目の Cohen’s d を表

表 7 システム使用割合を考慮したバイアス認知の Cohen’s d
質問項目

1

2

3

4

5

Google

0.52

0.45

1.40

0.00

0.28

Salad

0.41 -0.83 -0.78 0.50 -0.24 -0.45 0.84

67おり，細かなニュアンスや大げさな表現，著者の主観や推測などをその中に考慮することは難しい．従って，これらの項目に-0.66 -0.37

対して NewsSalad は被験者に影響を与えられなかったものと考えられる．

表8

ユーザ属性を考慮したバイアス認知の Cohen’s d

質問項目

1

Google (留学生) -0.18

2

3

4

5

0.00

0.16

0.49

6

b) 収集記事数の少なさ

7-1.07 -0.45 1.01

また，被験者の感想において「Sometimes the articles recom-

mended by “opposite” are not really opposite to the original

Google (日本人)

1.85

0.61

2.31

0.55

0.40

Salad(留学生)

0.28

-0.30

0.00

0.42

-0.50 0.88 0.54

Salad(日本人)

0.46-1.31 -1.55 1.25 -1.13 -0.95 0.00

-1.22 0.00

article」，「the “opposite” button does not meet my expectation」といった声が寄せられた．また，表 22 に示すように

表 9 サマリーにおける a) 多様な意見への言及の平均値
Group A（Google News）
P1

P2

P3

P4

P5

利用前

1.83 1.83

1.67

1.67

1.50

利用後

1.83 1.50 1.83 1.67

1.17

P6

P10

NewsSalad への満足度の項目５「三つのボタンでそれぞれリン
クした時に、あなたが欲しい結果が得られましたか？」におい

P7

P8

P9

2.17

1.33

1.17

2.00 2.33ては１０名中８名が中点 (3) 以下であり，「opposite は欲しい結

1.67

1.17 2.00 1.67 1.17

果を得られたことが少なかったように感じる」「（Opposite に関して）元記事に対して反論あるいは否定的な記事が出るのかGroup B（NewsSalad ）
P12

P13

P14

P15

P16

P17

P18

P19

P20

と思っていたが、ほぼ同じような記事が出たため 」といった感

利用前

1.83 2.50

1.67

2.50

1.50

1.50

2.50

1.50

1.83 1.83

利用後

1.50 2.50 2.50 1.50 1.67 1.83 1.17 2.00 1.67 1.67

想が寄せられた．すなわち，被験者が “Opposite”のボタンをP11押した時に期待する記事は元の記事と反対の意見を持つ記事で表 10

NewsSalad への満足度: 項目番号４

被験者

P1

P9

P10

評価値

2.0 3.0 2.0 3.0 1.0 4.0 4.0 3.0 2.0

2.0

P2

P3

P4

P5

P6

P7

P8

あるにも関わらず，それが表示されなかったと考えられる．
この原因として，分析の計算量と実用性の都合上 NewsSaladで収集した１イベントにおける記事数は１０記事と少なく，関連記事に反対の意見を持つ記事が収集出来なかったことが挙げ6 に示す．また，手順３において実験中のニュース閲覧の媒体の使用割合としてスマートフォンよりも他の媒体の方が高かったユーザと，NewsSalad と Google News の使用割合が他のアプリよりも低かったユーザを除いた場合の実験前後でのCohen’s d を表 7 に示す．さらに，留学生と日本人学生で区別した Cohen’s d を表 8 に示す．
利用前後のアンケートにおいてニュースイベントを纏めた文章の a) 様々な意見に対して言及しているかの側面に対する結果を表 9 に示す．各被験者のスコアは 2 名の評価者が与えたイ
ベント毎のスコアの平均値とした．評価者の相関は 0.53 であり，社会調査の観点においては高い値を示している．結果からNewsSalad の多様な意見への言及に対する有効性を示すことは出来なかった．
メディアのバイアスに気づく認知に関しては，質問項目全体での信頼性は低く，平均値における NewsSalad における有用性を確かめることはできなかった．また，既存のニュースシス
テムの評価値を多くの項目において下回った．我々はこれらの結果から，NewsSalad はメディアのバイアスに気づく認知の全体の向上に対して効果的ではなかったが，一部の項目に対しては有用性を持つと結論づけた．その理由に対して各質問項目において考察を試みる．

a) 細かな表現に対する分析の難しさ
メディアのバイアスに気づく認知における質問項目のうち，２，３に関しては Cohen’s d がそれぞれ −0.74，−0.83 と改善が見られなかった．これらの項目においては，大げさな表現のある
記事や客観的でない記事などを被験者に提示する必要があるが，現状の NewsSalad でこのような記事を与えることは難しい．三つのボタンの内最も関係のあるものは “Opposite”（DO）であるが，DO は Named Entity に対する記述の極性から算出してられる．現在の仕様では極性の差が大きければ記事を表示しているが，閾値を設けて明確に反対の意見を持つ記事のみを提示するといった工夫が考えられる．また，他のボタンに関してもNewsSalad はランキングに基づいて記事を推薦しているため，
ランキングは高いものの実際の差の低い記事を推薦してしまう場合がある．これに対して，差の値が一定以上のものしか推薦しないといった工夫が考えられる．

c) 記事の違いを気づかせる必要性
また，質問項目５「記事の内容は似たようなものが多かったと感じましたか？」も改善が見られなかった．これは，上記の“Opposite”における問題が原因であると考えられる．また，同じイベントの記事はリードパラグラフは同じ内容であることが多く，ユーザには同じ内容であると印象づかせてしまう．
「特にDeep ボタンを押した時などは，どの部分が元記事には含まれない新しい情報なのかをハイライトして欲しいと思った．
」という被験者の感想にもあるように，内容の異なる部分を強調するといった工夫が必要である．

d) 英語の能力
一方で，項目６においては，NewsSalad を用いた留学生の Co-

hens’ d は 0.88 と高い値を得られた．これも “Opposite”に関連する項目であるが，意見を誘導する記事には強い極性を持つ表現が伴う可能性が高く，“Opposite”においてある程度提供出来たのではないかと考えられる．留学生の値が高くなった原因としては，日本人学生の値が小さかった点ことから英語の表現の解釈の難しさがあると考えられる．よって，英語の能力の高い被験者に対して実験を行う必要がある．

e) ユーザの考えの変化への影響
質問項目４「記事を読んでいてトピックへの考えや認識を改めることがありましたか？」に対しては NewsSalad の利用前後

表 15

表 11 主体的な情報収集をおこなう行動の平均値 (SD)グループ A（Google News）
質問項目

8

9

10

11

12

P1

P2

P3

P4

P5

P6

P7

P8

P9

P10

利用前

2.5(1.18)

3.5(1.35)

4.2(0.79)

3.1(1.73)

2.5(1.18)

利用前

2.33

3.00

2.17

2.50

1.83

2.17

2.33

2.17

2.25

2.83

利用後

2.4(1.17)

3.7(1.34)

3.7(1.42)

3.4(1.78)

2.4(1.07)

利用後

2.00

2.50

2.50 1.67

1.83

2.33

2.17 2.50 3.17

1.67

グループ B（NewsSalad ）Group B（NewsSalad ）

質問項目

8

9

10

11

12

利用前

2.5(1.18)

3.7(1.25)

3.1(1.10)

2.8(1.23)

2.4(0.97)

利用後

3.1(1.10)

3.3(1.06)

4.0(0.94) 3.1(1.85) 2.5(0.71)

表 12

主体的な情報収集をおこなう行動の Cohen’s d
質問項目

8

Google News -0.09
NewsSalad

表 13

サマリーにおける b) トピック被覆の平均値

Group A（Google News）

9

10

11

12

0.15

-0.44 0.17 -0.09

0.53 -0.34 0.88 0.19 0.12

システム使用割合を考慮した主体的な情報収集の Cohen’s d

利用前

P11

P12

P13

P14

P15

P16

P17

P18

P19

P20

2.00

3.33

2.67

3.00

2.00

1.83

1.50

1.67

1.67

2.17

利用後 2.17 3.83 2.83

2.67 2.83 2.67 1.50 3.00 3.00 2.67

利用前で 0.11，利用後で 0.58 であった．主体的な情報収集を行う行動ではシステム利用前で 0.61，利用後で 0.76 であった．
利用前後のアンケートにおいてニュースイベントを纏めた文章の b) 多様なトピックに対して言及しているかの側面に対する

質問項目

8

9

10

11

12

結果を表 15 に示す．各被験者のスコアは 2 名の評価者が与え

Google

0.71

0.33

-0.26

0.00

0.19

Salad

1.27 -0.24 0.52 0.53 0.51

たイベント毎のスコアの平均値とした．評価者の相関は 0.35 であり，社会調査の観点においては高い値を示している．Google

表 14 ユーザ属性を考慮した主体的な情報収集の Cohen’s d
質問項目

8

9

10

11

12

Google (留学生) -0.15 0.43 -0.27

0.51

0.00

Google (日本人)

0.00

Salad(留学生)

1.35 -0.89

1.34

1.48 -0.63

Salad(日本人)

0.14

0.60

-0.51

-0.15 -0.66 -0.24 -0.20
0.00

0.69

News を用いたグループでは利用の前後で 10 名中 3 名のみ値が改善された．一方，NewsSalad を用いたグループでは 10 名
中 8 名の値が改善された．従って，NewsSalad はユーザの多様なトピックの閲覧や理解に寄与していると考えられる．
質問項目における十分な信頼性により，我々はシステム利用
前の多様な情報収集の効率性の項目のスコアにもとづき G-Pにおいて有意水準 5% で，値が高まったことが有意に確かめら分析を行い，被験者をメディアリテラシーの高い群 (H)，中程れた．また，Cohen’s d も 0.89 と Google News を用いた場合

度の群 (M)，低い群 (L) に分類した．各被験者のこの評定にお(0.51) に比べても大きく上昇していたことが分かる．これは，けるシステム使用前後の平均値を表 16 に示す．メディアリテ

トピックへの考えや認識の変化は意見だけでなく，“Wide”やラシーの低い群に関して，Google News の使用前後で値が増加“Deep”によっても与えられる情報でも与えられるためである

した被験者はいなかった．一方で，NewsSalad の使用前後ではと考えられる．例えばニュース記事には一部の情報を切り取っ

４名中３名の値が改善していた．

て書くことでユーザの認識を狭め，ニュースへの考えを誘導す

主体的な情報収集をおこなう行動に関しては，質問項目全体

るものが多く存在する．“Wide”や “Deep”が切り取られた情報としての信頼性は得られた．また，システム利用の前後で有意を補間する記事を提示することでトピックへの認識や考えを改差は得られなかったものの，表 11 に示すように，NewsSalad

めさせることが出来ると考えられる．

を用いたグループは５項目中４項目の平均値が上昇した．一5. 1. 2 主体的な情報収集をおこなう行動

方，Google News を用いたグループは５項目中２項目で平均値

主体的な情報収集をおこなう行動に対応する項目の平均値が上昇した．特に，Cohen’s d に関してシステムの利用割合がの変化と標準偏差（SD）を 11 に示す．ただし，５段階評価に低いユーザを省いた場合，NewsSalad は多くの項目で Google

対してそれぞれ点数を付け（1: 当てはまらない - 5: 当てはまNews の値を上回り，0.50 以上と高い値を得た．さらに，既存る），逆転項目に対しては点数を逆転させた．結果として，メのニュースシステムの評価値を多くの項目で上回っている．

ディアのバイアスに気づく認知において実験の前後で評価値が増加した項目は，Google News を利用したグループで５項目
中２項目，NewsSalad を利用したグループで５項目中４項目であった．
また，システム利用前後での各質問項目の Cohen’s d を表

表 16

メディアリテラシーの群に基づく被験者のの平均値

Group A (Google News)
H1

H2

H3

M1

M2

M3

M4

L1

L2

L3

利用前

4.4

4.0

4.2

2.8

3.0

3.4

3.2

1.8

2.4

2.4

利用後

3.6

3.8

3.8

4.0 4.0

3.2

3.6

1.4

2.4

1.4

12 に示す．また，手順３において実験中のニュース閲覧の媒体の使用割合としてスマートフォンよりも他の媒体の方が高かったユーザと，NewsSalad と Google News の使用割合が他のアプリよりも低かったユーザを除いた場合の実験前後でのCohen’s d を表 13 に示す．さらに，留学生と日本人学生で区Group B (NewsSalad)H1 M1 M2

M3

M4

M5

L1

L2

L3

L4

利用前

4.2

3.0

3.2

3.0

3.2

3.4

2.6

2.0

2.4

2.0

利用後

4.0

1.8

3.8 3.8 3.6 4.4 2.8 3.0 2.4 2.4

表 17 １イベントにおける閲覧記事数

別した Cohen’s d を表 14 に示す．
各視点について信頼性を検討するためにクロンバックの α 係数を求めた所，メディアのバイアスに気づく認知ではシステム

平均記事数 (SD)グループ A（Google News）

1.12 (0.13)

グループ B（NewsSalad ）1.23 (0.13)

Cohen’s d

0.85

表 18

多様な情報取得の効率性

質問項目

1

平均値 (SD) 2.2 (0.63)

2

表 19

3

3.3(0.95) 3.8 (0.92)

我々はこれらの結果から NewsSalad はユーザの主体的な情報収集を促すことに効果的であったと結論づけた．この理由に多様な情報取得の効率性: 項目番号 1（逆転値）

被験者

J1

評価値

3.0 2.0 3.0 2.0 2.0 2.0 2.0 3.0 2.0 1.0

J2

J3

J4

J5

F1

F2

F3

F4

F5

表 20 多様な情報取得の効率性: 項目番号 3
被験者

P1

P2

P3

P4

評価値 5.0 4.0 4.0 4.0

P9

P10

3.0 3.0 4.0 4.0 2.0

P5

P6

P7

P8

5.0

ついていくつかの側面から考察を行う．

a) メディアリテラシーの低いユーザへの影響られる．

表 16 に示す通り，メディアリテラシーの低い群に対して News-

これらの結果から，我々は NewsSalad が多様な情報取得のSalad を用いたグループの値が改善した．さらに，中程度の群に効率性に関して有効であるが，改善の余地があると結論づけた．

対しても値を改善する事が出来た．この結果から，NewsSalad

従って，この理由を各質問項目において考察を試みる．

はメディアリテラシーの低いユーザに対して主体的な情報収集

a) 質問項目の信頼性を促すと考えられる．

α の値の極端な小ささから，質問項目に関しては再考の余地がb) ユーザの多様な記事閲覧の促進ある．質問項目３「それぞれの側面（各ボタンに対応する側面）

主体的な情報収集をおこなう行動の項目１０「記事の内容にのニュース記事を読もうとしたとき、短い時間や、短いステッ

疑問を持ったら他の記事を読むようにしましたか？」において

プ数で情報を得られましたか？」はその概念的な意味から多様

NewsSalad を利用したグループは利用の前後で有意差が得らな情報収集の効率性という評定の中核をなすと考えられる．一れた．さらに，Cohen’s d も 0.88 と高い値をとっていた．被験方で質問項目１，２は質問項目３と意味的に異なる項目である．

者の感想の中で「そのような（新たな視点を与える）ボタンが従って，多様な情報収集の効率性の評価においては質問項目３目の前にあるだけでも，押してみようかなという気が生じる．
」の値を重視するものとする．

や「ボタンがあるために、気軽に確実に同一トピックに関連すb) 効率的な探索

る記事を辿れる」といった意見が得られた．また，項目８「各項目３「それぞれの側面（各ボタンに対応する側面）のニュートピックについて多くの記事を読むことができましたか？」にス記事を読もうとしたとき、短い時間や、短いステップ数で情ついても Cohen’s d が 0.53 と高い値を示した．このことから，報を得られましたか？」では表 20 に示すように，１０名中８名

NewsSalad はユーザに同じイベント中の他の記事への遷移をが中点 (3) より大きい点数を付けるなど高い評価を得た．
「ボタ

促し，複数の記事を閲覧させることに効果的であったと考えら

ン一つを押すだけなのでとても分かりやすい。」といった感想

れる．

が寄せられており，ボタンを配置し異なる視点を持つ記事を提c) １イベント当たりの閲覧記事数の増加

示することで自分で探す手間を省くことができ，効率的であっさらに，２週間の利用での１イベントにおける閲覧記事数を二たと考えられる．

つのグループで比較した．NewsSalad ではトップ記事とその関c) 英語の能力

連記事をイベントの単位とし，Google News では記事の履歴

多様な情報取得の効率性の質問項目 1「読み飛ばす記事が多くを手動でイベントに分類した．また，NewsSalad のログには遷ありましたか？」では，特に被験者の評価値が低かった．この移をしたが興味がなく読まなかった記事や同じ記事を閲覧した

項目の各被験者の評価値を表 19 に示す．ただし，J は日本人学

場合が存在する．そのような記事を集計から排除するため，60

生の被験者，F は留学生の被験者である．これに関しては日本

秒より長く閲覧した記事のみを集計の対象とし，記事の重複を人の被験者から「英語が母語ではないため、記事が頭に入らな取り除いた．各グループでの１イベントでの閲覧記事数を表 17い時があったから。」や「要点だけ知りたいのに英語の長文がに示す．NewsSalad を用いたグループは１イベントにつき平均

ずらずら並んでいると読むのが面倒になるため」といった意見

1.23 記事，Google News を用いたグループは平均 1.12 記事でが寄せられた．NewsSalad は英語記事を対象としているため，あった．また，二つのグループの各被験者の平均閲覧記事数に

実際は英語理解のレベルの高い被験者のみを対象にすべきであ

対してウィルコクソンの順位和検定を行ったところ，有意水準ると考えられる．

5% で有意差が得られた．さらに，Cohen’s d は 0.85 と高い値d) 記事の違いを気づかせる必要性を示した．このことから，NewsSalad を用いたグループは１イ

また，被験者から「Only read the title and few sentences sat-

ベントに対して Google News を用いた場合よりも多くの記事

isfied my curiosity on that topic.」という感想が寄せられたよを読んでいたといえる．

うに，たとえ異なる情報を持つ記事が得られたとしても，異な5. 2 多様な情報取得の効率性

る情報が記事の上部にない場合ユーザに気づかせることが難し

多様な情報取得の効率性に関する項目の各被験者の平均値とく記事を飛ばしてしまう可能性がある．従って，異なる情報の標準偏差を表 18 に示す．質問項目２，３において被験者の評部分を強調したり，その部分からユーザに読ませるといった工価の平均値が中点 (3) より高かった．また，クロンバックの α

夫が考えられる．

係数を求めたところ，マイナスの値をとっており，多様な情報

5. 3 NewsSalad への満足度

取得の効率性に関しては，質問項目全体の信頼性は低いと考え

NewsSalad への満足度に関する項目の各被験者の平均値と標表 21

NewsSalad への満足度

質問項目

4

5

“Opposite”での細かなニュアンスの違いを伝える点において課6

平均値 (SD) 3.9 (0.88) 2.6 (0.97)

題が残ったが，情報を広く補間することでユーザのニュースへ

3.6 (1.26)の考え方を改めさせることに対して有用性を示した．
表 22

多様な情報取得の効率性の側面では NewsSalad の部分的なNewsSalad への満足度: 項目番号４

被験者

P1

P9

P10

評価値

3.0 4.0 5.0 4.0 2.0 4.0 5.0 4.0 4.0

4.0

P2

P3

P4

P5

P6

P7

P8

有用性を示したが，ユーザに異なる情報を気づかせるという点において課題が残った．NewsSalad への満足度に関しては高い

表 23
被験者

P1

評価値 2.0

評価が得られたが，ユーザが求める記事の表示という点におい

NewsSalad への満足度: 項目番号６
P2

P3

P4

P5

P6

P7

P8

P9

P10

4.0 2.0 5.0 2.0 4.0 4.0 3.0 5.0

5.0ては有用性を示せなかった．
今後の課題としては英語を母国語とするユーザに対して大規
模な実験を行っていきたい．また，側面の一つである “Oppo-

準偏差を表 21 に示す．質問項目４，６において被験者の評価

site”に対してより細かなニュアンスを含めた分析を行えるようの平均値が中点 (3) よりも高かった．また，クロンバックの α

改善していきたい．

係数を求めたところ，その値は 0.69 であった．我々はこれら結

謝辞:本研究の一部は，科研費（課題番号 25700033) による．

果から NewsSalad への高い満足度を得られたが，改善点があると結論づけた．その理由をいくつかの側面から考察する．

a) 閲覧を促すインターフェース
表 22 に示すように，項目 4「三つのボタン（画面下部にある

Opposite, Deep, Wide のリンク）を積極的に押したいと思えましたか？ 」については１０名中７名が中点 (3) より大きい点数を付けるなど一定の評価が得られた．
「ボタンが目の前にあるだけでも，押してみようかなという気が生じる．
」という感想に現れている通り，ボタンだけを示すというインターフェースに対してユーザが興味が惹かれたのではないかと推察出来る．タ
イトルを表示しないことでユーザの期待感を煽ることが出来る
一方で，項目５において “Opposite”への満足度が低かったよ
うに，ユーザが選択できないため期待する記事と実際に現れる記事が乖離してしまう可能性がある．

b) インターフェースへの満足度
また，表 23 にも示すように，項目６「今後も継続利用したいですか？」に関しては，平均点は高かったものの中点 (3) より高い評価を行ったのは１０名中６名だけであった．被験者からは「it works so slow and always can not display anything」
や「アプリのボタンの表示を固定にするなどして欲しかった。
記事に集中したいときにバーがちらついて集中しづらかった。」
といった感想が得られた．このことから，アプリの完成度の低さやインターフェースに対して満足度が低かったことが分かる．
また，「ニュースのワード検索ができるようにしてほしい。」や「Add more category」といった改善点も被験者の感想から得られた．これらの点に関しては今後の課題とする．

6. 終 わ り に
本稿では多様性指向のニュースアプリ NewsSalad の有用性の評価をメディアリテラシーの向上と多様な情報取得の効率性，NewsSalad への満足度の三つの視点から行った．
メディアリテラシーの観点のうち，主体的な情報収集をおこなう行動に関しては１イベントにおける被験者の閲覧記事数において NewsSalad を用いる有効性を有意に得た．また，アンケートや被験者の纏めた文章の分析においては NewsSalad が被験者の主体的な情報収集をおこなう行動に与える有用性を明らかにした．メディアのバイアスに気づく認知に対しては，

文

献[1] Brent H. Baker, Tim Graham,Steve Kaminsky: How to
identify, expose & correct liberal media bias. Alexandria,
VA: Media Research Center. (1994)[2] Art Silverblatt, Don Miller, Andrew Smith,Julie Smith,Nikole Brown: Media literacy: Keys to interpreting media
messages. ABC-CLIO, 2014.
[3] Logan Kugler: New News Aggregator Apps, Communications of the ACM, Vol. 58 No. 9, Pages 17-19 (2015)[4] Benjamin E. Teitler, Michael D. Lieberman, Daniele
Panozzo, Jagan Sankaranarayanan, Hanan Samet, Jon
Sperling: NewsStand: a new view on news. GIS 2008: 18[5] Akiyo Nadamoto, Katsumi Tanaka:A comparative webbrowser (CWB) for browsing and comparing web pages.
WWW 2003: 727-735[6] Souneil Park, Seungwoo Kang, Sangyoung Chung, Junehwa Song: NewsCube: delivering multiple aspects of news
to mitigate media bias. CHI 2009: 443-452[7] Jiahui Liu, Larry Birnbaum: LocalSavvy: aggregating local
points of view about news issues. LocWeb 2008: 33-40[8] Shin Ishida, Qiang Ma, Masatoshi Yoshikawa: Analysis ofNews Agencies’ Descriptive Features of People and Organizations. DEXA 2009: 745-752[9] 後藤康志: メディア・リテラシー尺度の作成に関する研究, 日本
教育工学会論文誌 29, p77-80, 2005.
[10] 水越敏行, 中橋雄: 新しい学力としてのメディア・リテラシーその研究と実践をどう進めるか. 日本教育工学会大会講演論文集
18 p97-100, 2002.
[11] William G Christ: Media education assessment handbook.
Lawrence Erlbaum Associates, 1997.
[12] James A Brown: Media literacy perspectives. Journal ofcommunication 48.1 p44-57, 1998.
[13] 小林敬一: 複数テキストの批判的統合. 教育心理学研究 58.4,
503-516, 2010.
[14] 楠見孝, 松田憲: 批判的思考態度が支えるメディアリテラシーの
構造. 日本心理学会第 70 回大会発表論文集 858, 2007.
[15] 平山るみ, 楠見孝: 批判的思考態度が結論導出プロセスに及ぼす影響. The Japanese Journal of Educational Psychology 52.2,
p186-198, 2004.
[16] Keisuke Kiritoshi, Qiang Ma: Named Entity Oriented Related News Ranking. DEXA (2) 2014: 82-96[17] Keisuke Kiritoshi, Qiang Ma: A Diversity-Seeking Mobile
News App Based on Diﬀerence Analysis of News Articles.
DEXA (2) 2015: 73-81[18] Keisuke Kiritoshi, Qiang Ma: Named Entity Oriented
Diﬀerence Analysis of News Articles and Its Application.
Data Engineering and Information Management, Vol.E99D,No.4,Apr. 2016(to appear).