DEIM Forum 2022 H43-2

記憶定着のためのウェブ閲覧履歴からの振り返りクイズ生成
川原

大武†

莊司

慶行†

Martin J. Dürst†† 青山学院大学理工学部情報テクノロジー学科 〒 252–5258 神奈川県相模原市中央区淵野辺 5–10–1
E-mail: †kawahara@sw.it.aoyama.ac.jp, ††{shoji,duerst}@it.aoyama.ac.jp
あらまし

本論文では，ウェブ閲覧履歴からクイズを自動で生成し，一日の終わりにそれを解かせることで，その日の閲覧結果を後から思い出せるようにする手法を提案する．提案手法は，ウェブブラウザの閲覧履歴を入力すると，直前 1 日分のアクセス履歴から，その個人にとって重要そうなウェブページを推定する．そして，それらの重要そう
なウェブページ群の中から，覚えておくべきであろうキーワードとなる単語を推定する．それらの単語を隠し，正しい選択肢を選ぶ 3 択問題形式のクイズを生成する．このクイズを解かせることで，その日のウェブ閲覧内容のうち，重要なことを振り返らせ，考えさせる．このような記憶定着方法の有用性を明らかにするため，実際にウェブアプリ
ケーションを実装し，1 週間後に記憶度合いを確認する被験者実験を行った．実験結果から，何もしなかった場合と比べて，重要箇所を推定して提示するだけでもウェブ閲覧内容が思い出しやすくなり，クイズを加えるとさらにその効果が強まる傾向が示された．
キーワード ウェブ検索，記憶力，情報検索，クイズの自動生成可能性がある．そこで本研究では，普段通りに検索エンジンや

1 はじめに近年，スマートフォンからでも情報を投稿できる様々なオン
ラインサービスが普及したことを受けて，ウェブ上は今まで以上に雑多な情報に溢れかえってきている．加えて，いつでもどこでもそれらの情報にアクセスできる通信環境が発達したこと
で，人々は毎日大量の情報に触れながら生活するようになってきている．2020 年の日本において，一般的な利用者は，平均して 1 日に 168 分間をインターネット利用に費やしているとされる．これは，テレビ視聴の 163 分を超えるものであり，人々は日々の情報収集の大半をウェブに頼っているということができる 1．
このような状況下で，人々は毎日多くの情報に接しているが，その中の重要な内容すべてを記憶することは容易ではない．日
常的に摂取した情報のうち，真に重要な情報アクセス結果を，十分に記憶定着することが困難になっている．このような情報
過多かつ情報アクセスが容易な現在，ユーザにとって情報アクセス結果を，記憶に定着させるシステムが必要であると考えられる．
これまでにも，情報アクセス結果の記憶定着を促す研究として，「ユーザにメモを取らせる検索インタフェース」や「会話型
インタフェースを提供する検索インタフェース」が提案されてきている [1]．これらの手法では，情報アクセス時のユーザの記憶力の向上を目的としており，特に長期記憶能力を向上させる
可能性を示唆している．しかし，現在一般ユーザに主流で使われている検索エンジンにはそのような機能は付いておらず，情報アクセス時の機能の拡張はユーザにとって煩わしさを与える

1：主なメディアの利用時間と行為者率: 令和 3 年版情報通信白書, 第 2 部,
第 2 章（2021） https://www.soumu.go.jp/johotsusintokei/whitepaper/

ja/r03/pdf/n4200000.pdf

ウェブ閲覧を行えるうえで，その日に行った情報アクセス結果を十分に記憶に定着させることを目指す．
記憶定着を促す方法として，本研究では，記憶法の中でも特に有名なテスト効果（Test-enhanced Learning）に注目した．
テスト効果は，人が物事を学習した後に，記憶テストを行うことで何もしてない場合はもちろん，再学習した場合と同等 [2]もしくはそれ以上 [3] の長期的な記憶保持の効果が向上する方法である．こうしたテストの記憶定着への効果に注目して，本研究では，ユーザの重要な情報アクセス結果の記憶定着を促す，

1 日の振り返りクイズの自動生成を提案する．
本手法では，一日の終わりに，その日のウェブ閲覧履歴から振り返りクイズを自動生成し，それをユーザに解かせること
で，その日の重要な情報アクセス結果の記憶への定着を促す．

Google Chrome などのウェブブラウザでは，ユーザの閲覧履
歴データを保存している．そこで，この閲覧履歴データから，
その 1 日分のアクセス履歴のうち，その個人にとって重要そう
なウェブページを推定する．そして，それらの重要そうなウェ
ブページ群の中から，覚えておくべきであろうキーワードとなる単語を推定する．それらの単語を隠し，正しい選択肢を選ぶ

3 択問題形式のクイズを生成する．
具体的な例として，あるユーザが，ある日急に戦国武将に興味を持ち，その日に「織田信長」について調べた場合を考える．
この日のウェブ閲覧ログには，日常的なログに加えて，多くの織田信長に関するページが含まれると考える．提案手法では，ログから織田信長に関するページを抽出し，それらのページに登場する中で，特に重要そうな単語を 1 つ決定する．この際，クイズを作成するうえで，「織田信長は戦国武将である」というような基礎的なクイズは，出題されてもユーザの興味を引きづらいと考えた．そこで，固有名詞または数値をひとつ，穴埋めの対象とする．

クイズによる記憶定着の支援に関する研究，ウェブページの再検索の促進に関する研究，アクセスした情報の記憶への定着に関する研究がある．

2. 1 クイズによる記憶定着の支援
心理学の分野では，情報の記憶定着を促すためのさまざまな研究が行われている．その中でも，クイズやテストにより，学習効果が高まることを示した研究が数多く存在する．Gates [4]や Roediger と Karpicke [5] は，記銘後に一度あるいは数度テストを行った場合，テストをしないときよりも長期にわたり記憶が保持されることを示した．この現象はテスト効果（testing

eﬀect）と呼ばれている．後の研究では，長期にわたる記憶保持に関して，記憶テストを行ったグループは，再学習を行ったグループに対して，Tulving [2] は同等，Roediger ら [3] はそれ以上の効果があることを報告している．
図 1 戦国時代について調べたユーザに対する，記憶定着を助けるクイズ

学習支援や教育の観点から，多くの研究者が様々な文脈でクイズの自動生成の可能性について研究している．生物学や言語学などでは，教科書の中の重要な概念を特定し，選択問題を生

実際のクイズの例を図 1 に示す．このクイズでは，ユーザの成するなどの研究が行われている [6, 7]．Sreelakshmi ら [8] は，調べていたページのうち，特に多くのページで重要単語として小中学生の学習を支援する目的で，関連文書から回答抽出と質登場していた「足利義昭」をクイズの対象とした．実際にユー

問生成を行うことができる，質問応答とクイズ生成を行うチャッザの閲覧したページから，その語が含まれている 1 文をクイズ

トボットを提案している．Leaks ら [9] は，ユーザのニュースとして出題している．そして，選択肢として「足利義昭」と並に対する情報量を測定するための多肢選択式クイズを自動生成

べて違和感のない固有名詞を，自動で並べている．正解が「足することを提案している．

利義昭」であれば，ほかの選択肢は同じ時代の別の武将の名前

個人に適したクイズの選択による，記憶定着への影響を調べであることが望ましい．実際に，ウェブ上で特に共起する語かた研究もある．Barla ら [10] は，学生の個々のニーズに合わせら，このような選択肢を自動で生成する．

て試験問題を適応的に選択することで，特に平均より低い成績

このような振り返りクイズが，実際に記憶定着に対して有効であるか検証するために，の学生に対して全体的な学習成果を向上を確認した．Huangら [11] は，語学学習者に対して，その個人に適した様々な難易•

ウェブ閲覧履歴の重要箇所から自動生成したクイズ，

度，カテゴリの選択クイズを自動生成できるモデルを用いて，•ウェブ閲覧履歴の重要箇所から抽出した文章，

学習成果を向上させた．

•

ウェブ閲覧履歴から無作為に生成したクイズ本研究でで，その日のウェブ閲覧のまとめをクイズ形式で提をそれぞれ被験者に与えて解かせる評価実験を行った．1 週間

示するのは，これらの研究においてクイズが特に記憶定着に有

後に，それぞれのページの内容を覚えているかを問うアンケー

効である傾向を示していることに倣ったためである．本論文のト形式の調査に答えさせ，記憶定着を測ることで，振り返りク

実験では，実際に，クイズ形式の有効性を確かめるために，たイズの有用性や，クイズの質の影響について検証する．

だ文書を見せた場合とも比較している．

以下に，本論文の構成について記す．本文は本章を含め全 6章から構成される．第 2 章では本研究に関連した研究について

2. 2 ウェブページの再検索の促進

整理する．第 3 章では本研究で提案する，1 日の重要な情報ア

情報分野では，過去閲覧により得た情報を思い出す手段としクセス結果からの振り返りクイズの自動生成について述べる．

て，ウェブページの再検索を支援する研究がしばしば行われて第 4 章では提案手法の評価を被験者実験により行う．第 5 章でいる．本論文の研究および，この節で述べる再検索の支援の研は評価実験を通して得られた結果について考察し，第 6 章でま究は，お互いに過去に閲覧した情報を思い出す作業であり，記とめと今後の展望について述べる．

憶についての想起に対応する研究である．

MacKay ら [12] は，ランドマークと呼ばれる，再検索時に

2 関連研究ウェブページ内のユーザがマークした特定のコンテンツに戻る
ことを支援する手法を提案し，このランドマークが特定のウェ

本節では，本論文と関連する研究について紹介し，本論文のブページの情報を再検索するための効率的なツールであること位置付けについて述べる．本研究では，情報アクセス結果をよを示した．Teevan ら [13]，および Won ら [14] は，過去閲覧

り記憶に定着させるため，閲覧履歴から振り返りクイズを自動したウェブページから，サムネイル型のスニペットを作成する

生成させる手法について提案している．関連する研究としては，ことで，従来のテキスト型のスニペットと比べて再訪問の際に

有用であることを示した．Arai ら [15] は，ユーザのウェブ閲

3. 1 重要なウェブページとキーワードの推定

覧履歴と閲覧行動の特徴から，重要なウェブページのみを保持

はじめに，ウェブ閲覧履歴からその個人にとって重要なウェするフィルタリングシステムを提案することで，ユーザの再訪

ブページを推定する．数多くのウェブブラウザが存在するが，今問を促した．Deng ら [16] は，人間の記憶力を向上させるため回の実験では Google Chrome を用いるため，以下の説明ではに，文脈を重要な側面とし，文脈に基づく情報再検索フレーム

Google Chrome の履歴ファイルを例にとって手法を説明する．

ワークを提案している．

Google Chrome はユーザのウェブ閲覧履歴を History とい

本稿で提案する手法は，ユーザにとって重要そうなウェブ

うファイル名で Sqlite3 形式でローカルに保存している．このページを推定することで，そのページ内の重要箇所からクイファイルを入力として分析することで，直前 1 日分の閲覧履歴

ズを生成する．上記の再検索・再訪問に関する研究の中には，から閲覧したウェブページのリストを作成できる．

ユーザが再訪問するに値するウェブページを推定する研究もあり，本研究の手法と深く関連する．

2. 3 アクセスした情報の記憶への定着
記憶定着を目的とした情報検索の研究も行われている．Si-

hang ら [1] はメモ付きの検索エンジン，会話型の検索エンジン
をそれぞれ用いることで，情報検索における長期的な記憶を促進したことを示している．本論文は，同様のウェブ閲覧内容の記憶定着を目的としている．この際，情報検索時には負荷をかけず，情報検索を十分に終えた 1 日の終わりに実行する点が異なる．
ウェブ検索と記憶定着の研究として，ウェブデザインや，ウェ
ブサイトの構造に注目した研究もある．Sakamaki ら [17] の研究では，ウェブデザインがユーザに与える印象と，記憶される情報量との関係を明らかにしており，ユーザのメンタルモデルに即した「利便性」をウェブ上にデザインすることが記憶定着において重要であることが示されている．David ら [18] は，相互に依存する 2 つのナビゲーション要素である「ハイパーリン
ク」や「サイトマップ」の有無が，ウェブサイト内コンテンツの記憶定着と，ウェブサイトのナビゲータビリティに与える影響について明らかにしている．サイトマップとハイパーリンクの両方がある場合とない場合では，どちらかがありもう一方がない場合に比べて，実験対象者の「ストーリー記憶」スコアが低くなることがわかった．本論文は，既存のウェブサイトに対して行う手法を提案しており，上記の研究はウェブサイトそのものを変化させている点において異なる．
本論文では，記憶，特にクイズを用いた記憶定着の関連研究の知見を活用し，閲覧履歴から重要な情報を推定することで，記憶定着を目的とした振り返りクイズを生成する．

3 提案手法

前処理として，閲覧履歴から，実際に記憶に残すべき情報のみを抽出するために，不必要なサイトへのアクセス履歴を除外する．閲覧履歴に含まれる，すべてのウェブアクセスが，情報を得るために行われているわけではない．ウェブ閲覧が容易になった現在では，暇つぶしやコミュニケーションのためのウェ
ブ検索やサイト閲覧も多くなっている．そこで，主要な SNS や
動画配信サイト，掲示板サイトなどを，人手でリスト化し，履歴から取り除いた．
重要そうなウェブページ推定は，すべてのウェブページの本文を通した単語の出現回数を基にキーワードを抽出し，キー
ワードの出現頻度をもとに行う．まず，ウェブページの本文部分を抽出する．ウェブページには広告などの伝えたい情報とは異なる情報も多く掲載されている．そのため，単純に頻出単語を抽出しても，実際には閲覧内容と関係のない単語である可能性がある．そこで，あらかじめ既存の文書要約技術を用いて閲覧したウェブページを要約し，重要でない単語を除去する．そして，要約した文章から，頻出単語を抽出する．ウェブページ
の要約には，抽出型の要約アルゴリズムである，LexRank [19]を用いる．LexRank によりウェブページの文章から 5 行分の要約文と，それぞれの文に対してウェブページ上の前後 1 文を抽出する．
キーワードとなる単語の推定には単語の出現回数に基づく独自の重要度を用いる．ウェブページを要約して得た文章をすべてまとめ，形態素解析により固有名詞の単語の出現回数を調べる．ここで，単語の品詞を固有名詞に絞ることで，どの文章にも登場しする可能性がある一般語を避ける．この独自の重要度を I とする．単語 W の出現回数を C(W ) とおく．単語 W を含むページ集合を Pword (W ) とおく．すでに決定している単語
を Wn とおく．重要度を I の定義は，偏りをなくすために cos
類似度の逆数を用いて，

1∑
Ii = C(Wi ) × (1 −cos(Pword (Wn ), Pword (Wi )))(1)nn

本章では，本研究の提案手法を述べる．本研究では，記憶定

k=1

着のためのウェブ閲覧履歴からの振り返りクイズの自動生成を提案している．まず，ウェブブラウザの閲覧履歴を入力することする．

とで，直前 1 日分のアクセス履歴から個人にとって重要そうなI を用いてキーワードとなる単語を 5 つ推定する．各ウェブ

ウェブページを推定する．推定したウェブページ群からそれぞ

ページにおける，単語の出現頻度を求め，出現頻度が高いウェ

れ覚えておくべきであろうキーワードとなる単語を推定する．

ブページをその個人にとって重要なウェブページとして推定す

それらの単語について書かれているウェブページ内の重要そうる．この時のその単語 W の出現頻度を L(W ) とする．各ウェな文章を抽出し，その文章から単語を隠すことで，正しい選択

ブページの要約した文章内に含まれる単語 W の出現回数を肢を選ぶ 3 択形式のクイズを生成する．

C(W )，その文章内に含まれる単語数を C( All) とおくと，各
ウェブページにおける L(W ) の定義を

Li (Wn ) =Ci (Wn )Ci (All)(2)

まれる数字を S とすると，−5 <| 0 となるラン=N <= 5∩N =
ダムな数字 N に対して，S + N した値を変化後の値として用とする．そして，各単語 W の出現頻度 L(W ) が高いウェブペーいることで，選択肢となる単語を２つ生成する．この時，ランジを重要なウェブページとした．

ダムに生成した２つの値 N1 ，N2 が N1 =| N2 となるように生成することで，選択肢の重複をなくした．

3. 2 問題文の自動生成

上記の単語に当てはまらない単語には，ウェブ検索エンジン重要だと推定されたウェブページと，そこに含まれる重要単を用いた同意語獲得手法 [20] を用いて，候補となる単語をウェ語から，問題文を生成する手法について述べる．各ウェブペー

ブから抽出した．具体的には，「織田信長は桶狭間の戦いで○○ジには，第 3.1 節で説明したように，LexRank によって抽出を倒した」というクイズに対し，正解の「今川義元」に対し，された要約文が 5 つ存在する．この要約文から，問題文として「浅井長政」などの不正解の選択肢を生成する．そのために，答適切な文を抽出し，重要単語を隠すことで，穴あき問題を生成えとなる単語 W 対して並列助詞である「や」をそれぞれを前する．

後につけたクエリでウェブ検索を行った．そして，検索結果と

ここで，問題文として適切な文章とは，重要単語を含み，重して得たタイトルやスニペット内で，並列助詞「や」によって要な情報を含んだ，その文のみで意味の完結している文である．

単語 W と接続された名詞の単語を，出現回数で順位づけた．

これを抽出するために，まず，5 つの要約文から重要単語を含

この時，単語 W の出現回数 Z(W ) において Z(W ) > 2 を満たまないものを除外した．

さない場合，その単語 W は答えとなる単語に対して関連性が次に，その文のみで意味の完結しない文章として，文の外側薄いと考えられる．そこで，ランキングに基づき，Z(W ) > 2の要素を指す指示語を含む文を除いた．例えば，「これら上記のとなる単語のうち，上位単語 2 つを選択肢として抽出する．こことを行ったのは織田信長である」という 1 文は，文単体で抽のとき，Z(W ) > 2 を満たす単語が１つの場合，その単語をク出してきた際に，「これら上記のこと」の内容が分からないので，

エリとして同様の作業を行い選択肢を生成させる．Z(W ) > 2

クイズとして成立しない．そのため，要約文の 1 行目に注目し，を満たす単語が 1 つもない場合，この単語を答えとするクイズ

その行の「（）」の中を除いた文字列に指示語である「この」やは除外する．

「これ」などを含んでいた場合，これらの文を除外した．さらこうして生成した問題文と選択肢を基に，ユーザの 1 日のに，図を用いて説明している文章も今回の手法では使えないた

ウェブ閲覧履歴から，その個人にとって重要な内容を含んだ振め，そのような文章に多く含まれる「以下に」や「上記に」なり返りクイズを自動生成した．

どの文字を含む文も除外した．
最後に，LexRank を用いて抽出した文には，ウェブページ全4 実験

体を説明している文が抽出されやすく，その文章には重要単語に関する情報は少ないため，これも除く必要がある．そこで，要約文の文字列に「解説する」や「説明する」などの文字を含
む文は，ウェブページ全体の流れを説明している文の可能性が高いため，これも除外した．
これらによって除外されず，残った文には重要単語に関する重要な情報を含んだものが多い．この文の中から，ランキングが上位のものを問題文に適切な文として抽出し，重要単語部分
をすべて隠すことで，重要単語が答えとなる穴埋め問題を生成させる．

実際に提案した手法で記憶定着が見込めるか，また自動生成
したクイズの精度はどのくらいかを検証するために，被験者実験を実施した．被験者実験は，何もしなかった場合の記憶定着度合いの確認，それぞれ手法に基づく記憶定着支援の実施，支援を行った 1 週間後の記憶定着度合いの確認の順で行った．何もしなかった場合の記憶定着度合いの確認は，実験実施日と同じ日に行い，被験者の 1 週間前の情報検索に対して，どの程度覚えているのかを調査した．
実験は原則として夜に実施し，実施日時から 1 日分の閲覧履歴に対して行った．各手法を使用した際の記憶度合いの確認は，

3. 3 選択肢の自動生成
ここまでで，振り返りクイズの問題文とその答えとなる単語を生成した．ここでは，答えとなる単語に基づき，同位語となる選択肢を 2 つ自動生成させる手法を述べる．同位語の生成に
は 2 つの手法を用いる．

実験実施日から 1 週間後に行った．何も支援しなかった場合と同様に，1 週間前の閲覧内容をどれだけ記憶しているかを回答させた．
クイズシステムを使った一部の利用者には，システムに関する評価アンケートに回答させた．評価アンケートでは，振り返

はじめに，数字を答えさせるクイズを生成する．例えば，「必りクイズの精度や，システムの有用性などについて，被験者の須アミノ酸は○種類である」というクイズや，「桶狭間の戦い

意見・感想を求めた．これらアンケートの結果から，本論文での際に信長は○歳であった」などのクイズを生成する．答えと提案した手法が記憶定着に対してどのような影響を与えたかをなる単語に英数字表記の数字が含まれている場合，その単語は評価した．

“5G” のように世代を持つものや，単に個数を示しているもの

注意事項として，本実験は，被験者個人のウェブ閲覧履歴とが多い．そこで同位語の生成は，この数字部分をランダムな数

いう，個人情報を含むデータを取り扱っている．そのため，大字に変化させることで行う．具体的には，答えとなる単語に含

規模な評価実験を行うことが極めて困難である．本実験では 15

名の被験者を対象として行ったが，少ない被験者数でより多くの実験を行うため，それぞれの被験者から，何も支援しなかっA 実験内容の事前通知た場合と，いずれかの記憶支援手法を使った場合の 2 通りのデータを収集した．

B 1 週間前の記憶の確認

1 週間後に、

1 週間前に調べたうち、覚えているか

このページを見たことを今日の閲覧内容を本実験では，振り返りクイズが，実際に記憶定着に対して有覚えている？

D 1 週間前の

クイズ

記憶の確認

昨日の調べものクイズ：

1 週間前に調べたうち、覚えていることは？

信長は○○と戦った
A: 今川 B: 秀吉 C: 徳川

このページを見たことを一週間後

4. 1 比 較 手 法

一週間後チェックします覚えていることは？

C 前日の内容覚えている？

効であるか検証するために，提案手法に加えて，別に 2 つの比較手法を作成した．また，何もしなかった場合も比較したので実際に実験で比較したのは，•

振り返りクイズ：第 3 節で提案した，重要箇所を推定し

実験 1 週間前
実験
1 週間前

支援手法を用いた場合に，1 週間後にどれだけの内容を覚えてい

手法，

•
•

実験 1 週間後

図 2 実験の流れ．各被験者は何もしなかった場合と，それぞれの記憶

たうえで，穴埋めクイズにして利用者に提示する提案

•

実験当日

るかを回答した．

振り返り文章：重要箇所を推定したうえで，クイズ形式
でなく文章で利用者に提示する手法，について聞かれたり，1 週間前のことを思い出そうとすること

ランダムクイズ：重要箇所を推定せずに，閲覧履歴からは，クイズや文章を見せられなくても，非日常的であり，記憶無作為な文を穴埋めクイズにして利用者に提示する手法への定着に影響する可能性がある．そこで，その日のウェブ閲

何もなし：振り返りなどを一切行わない比較手法（実際覧内容について後日記憶度合いを問われることを伝えることで，の実験時には，「今日の内容を覚えておくように」とだ

何も支援しなかった場合にも手かがり再生的な想起を起こし，け知らせた）

条件を合わせた．

の 4 手法である．

実験当日は，まず，被験者の 1 週間前のログを用いて「1 週

振り返り文章では，ウェブ閲覧履歴から重要そうなウェブ

間前の記憶の確認」用の調査質問を生成し，解かせた（図 2 中

ページ及び，そのウェブページ内の重要そうな文章を推定し表の B）．これにより，何も支援名がなかった際に，被験者が一示する．重要箇所の推定には本研究で用いた手法と同じ手法を週間前の検索内容をどの程度覚えているのか調査した．この際用いる．振り返り文章は再学習法に基づき，重要箇所を被験者行った調査では，に見せることで，記憶定着を促す．本研究の振り返りクイズと•抽象的な自由再生，

比較することで，テスト効果が情報アクセス結果の記憶定着に•

具体的な自由再生，

どの程度有効であるか確認し，クイズにすることの意義を調査•

強制選択型再認，した．

•

再認後の手がかり再生

ランダムクイズでは，ウェブ閲覧履歴から無作為にウェブという 4 つの項目に分けて，閲覧内容の記憶度合いを確認した．

ページ及び文章を抽出し，抽出した文章から適当な固有名詞を

抽象的な自由再生では，何もヒントのない状態から 1 週間前

隠し，選択肢を表示することでクイズを生成する．選択肢の生に検索した内容で覚えているジャンルについて記述させた．具成は本研究で用いた手法と同じ手法を用いる．本研究の提案し体的には，「戦国武将について調べた」，「低炭水化物ダイエットている手法と比較することで，クイズの質と記憶定着の関係性について調べた」のように，自由記述形式で答えさせた．具体を調査した．

的な自由再生では，何もヒントのない状態から 1 週間前の検索

4. 2 実験タスク
本実験では，4 つの比較手法を比較することで，振り返りク
イズが情報アクセス結果の記憶定着にどの程度影響を与えるのかを評価した．本実験では，Google Chrome の履歴データを基に振り返りクイズを作成した．そのため，被験者は日頃から

Google Chrome を用いて情報検索を行う人に限定した．各手
法ごと 3 つのグループに分けて実験を実施し，記憶度合いの確認を行うことで，その結果から情報アクセス結果をどれほど覚えているのか調査した．
実際に被験者が行うタスクの流れを図 2 に示す．はじめに，実験を実施する 1 週間前に，その日のウェブ閲覧内容を後日テストする旨を伝え，覚えておくように通知した（図 2 中の A）．
これは，実験の特殊性がそのものが，被験者の記憶を助けてしまうことを考慮したためである．自分の過去のウェブ閲覧履歴によって得た情報で覚えていることを記述させた．具体的には，「戦国武将のうち，織田信長が桶狭間の戦いで今川義元を破ったことを覚えている」などを，自由形式で答えさせた．強制選択型再認では，被験者が 1 週間前に検索閲覧したウェブページ
とランダムに選んだウェブページを複数表示し，実際に閲覧したウェブページはどれか答えさせた．再認後の手がかり再生では，強制選択型再認の調査に回答したうえで，再度，1 週間前の検索によって得た情報で思い出したことを記述させた．これ
ら事前に行う記憶度合いの確認の内容により，何もしてない状
態の被験者が 1 週間前の検索内容をどの程度覚えているのか，
細かく確認した．
次に，被験者を 3 グループに分け，手法ごとに異なるタスクを課した（図 2 中の C）．各グループの被験者は，直前 1 日分のログに対して，振り返りクイズを解く，振り返り文章を閲覧する，ランダムクイズを解く，という作業が課された．各タス

クでは，被験者 1 名に対して，クイズ及び文章を 5 つ生成した．

4. 5 有用性に関するアンケート結果

次に，実験実施日の 1 週間後に，再び記憶度合いの確認を

ここでは，すべての被験者のうちで，振り返りクイズを実際行った（図 2 中の D）．この内容は事前に行ったものと同様で，に体験した被験者に対して行った，システムの有用性に関する

抽象的な自由再生，具体的な自由再生，強制選択型再認，再認

アンケートの結果について説明する．本実験の中で，振り返り

後の手がかり再生について，それぞれ問うた．これにより，各クイズを体験した被験者は 5 人で，年代は 20 代，男女混合で手法ごとに被験者が 1 週間前の検索内容をどの程度覚えているあった．

のか，細かく確認した．

4. 5. 1 クイズの精度

最後に，振り返りクイズを行った被験者に対しては，質的なまず，生成されたクイズの文章の質について評価した．クイ評価のために，アンケート調査を行った．これは，振り返りク

ズの文について，問題文としてどう感じたかを，“クイズは文イズを解くこと自体の良し悪しや，システムの使い心地に関し章として違和感はありましたか?” という質問で被験者に 4 段て調査するものである．評価アンケートは，すべてのタスクが階で答えさせた．1 人が「違和感はなかった」と回答し，3 人

終了した後に行われた（図 2 の D の後）．これは，実験実施日

が「それほど違和感はなかった」と回答し，1 人が「少し違和に行うと，他の比較手法のタスクと条件の差が生まれるためで感があった」と回答した．
「違和感はなかった」と回答した被験ある．評価アンケートは，大きく分けて，クイズの精度，ユー者は，その理由を 「日本語として意味が理解でき，回答まで

ザ体験という 2 つの項目についてそれぞれ調査した．

選択できたから．
」と回答した．また，別の「少し違和感があっ

4. 3 実装

評価実験のために，実際にブラウザの閲覧ログを入力すると，クイズや振り返り文書を生成するウェブアプリケーションを実装した．実装には，Python 用の軽量ウェブフレームワークである Flask を用いた．ユーザから入力として受け取る履歴ファ
イルには，Google Chrome を使用するユーザのパソコンに保存される sqlite 形式のファイルである History を用いた．品詞の判別には形態素解析ツールである MeCab を用いた．選択肢の生成のためにウェブ検索を行う際には，Google のウェブ検索エンジンを使用した．

4. 4 1 週間後に閲覧内容を覚えているかの実験結果た」と回答した被験者は，「問題文としては長い文章があったから．
」と理由を述べた．
次に，自動生成された選択肢の質について，“選択肢は適切なものだったと思いますか?” という設問文で問うた．答えとなる単語から生成した選択肢群について，それらが選択肢として適切であったかを被験者に 4 段階で回答させた．5 人のうち，4人が「適切だと思う」と回答し，1 人が「適切だと少し思う」と回答した．
「適切だと少し思う」と回答した被験者は，理由として「一部意味が重複している選択肢があったから．
」と述べた．
次に，クイズになっていた箇所が，実際に被験者にとって重要な内容だったかを，“クイズになっていた箇所は自分にとって重要だと思いますか?” という質問文で，被験者に 4 段階で回答

何もシステムを使わなかった場合と，それぞれのシステムをさせた．5 名中 2 人が「重要だと思う」と回答し，3 人が「重要使った場合で，ある 1 日のウェブ閲覧内容をどの程度覚えていだと少し思う」と回答した．
「重要だと少し思う」と回答した被るかを，アンケートによって調査した．アンケートの結果を，

験者は，「一部あまり関心のない内容が含まれていたから．
」で表 1 に示す．抽象的な自由再生では，そもそも全手法を通してあると理由を説明した．

思い出せた件数が少なく，目立った差は確認されなかった．しこれらの回答から，振り返りクイズ生成の精度は，生成しかし，その中でも提案手法である，振り返りクイズを実施した

たクイズによっても異なるが，おおむね高いことが明らかと被験者が，最も多くの検索内容の概要を，1 週間後でも思い出なった．

せた．具体的な自由再生でも同様に，振り返りクイズは最も多

4. 5. 2 ユーザ体験

くの被験者が閲覧内容を思い出すことができた．次いで，そのまず，振り返りクイズが実際に記憶定着を助けたと思うかを

日の閲覧履歴から重要そうな部分を振り返り文章として提示し被験者自身に答えさせた．実際に，“振り返りクイズが実際にた被験者も，多くの閲覧内容を想起できた．

記憶定着を助けたと思いますか?” という質問に 4 段階で答え

強制選択型再認では，何もしてない場合に比べ，それぞれのさせたところ，1 人が「思う」と回答し，3 人が「少し思う」に

記憶支援を実施した場合，より多くのウェブサイトについて，

回答し，1 人が「あまり思わない」に回答した．
「思わない」とそこにアクセスしたことを思い出せた．しかしながら，手法間回答した被験者はいなかった．

では大きな差は見られなかった．再認後の手がかり再生では，

次に，振り返りをクイズで行う必要はあると思うか，被験者

重要箇所を推定した，振り返りクイズ及び，振り返り文章が高に 2 択で回答させた．被験者 5 名全員が「思う」と回答した．

い値を示していた．中でも振り返りクイズは最も高い値を示しその理由としてある被験者は，「クイズ形式だと楽しく振り返る

た．全ての項目において，重要箇所を推定する，振り返りクイことができる」と回答した．

ズ及び振り返り文章は高い値を示した．その中でもクイズに答

次に，振り返りクイズの手間や，煩わしさについてどう思う

えた被験者が，文章を読んだだけの被験者に比べて，1 週間後

か，被験者に 3 段階で回答させた．1 人が「特に問題はない」の記憶度合いが高い傾向があった．

と回答し，3 人が「少し手間である」に回答し，1 人が「非常に手間である」に回答した．手間である要因として，
「少し手間

表1

各手法ごとの 1 週間後の閲覧内容の記憶度合いの結果
振り返りクイズ

ランダムクイズ

個数

最小 – 最大 個数

振り返り文章何もなし

最小 – 最大個数

最小 – 最大 個数

最小 – 最大

抽象的な自由再生（自由に思い出せた数）

1.0

0–2

0.8

0–1

0.8

0–1

0.8

0–2

具体的な自由再生（自由に思い出せた数）

1.2

0–3

0.2

0–1

0.8

0–1

0.2

0–2

強制選択型再認（100 ページ中）

94.0

86–100 83.0

86–100 72.0

57–100

再認後の手がかり再生（自由に思い出せた数） 0.8

0–1

0.2

71–100 97.0
0–1

0.6

0–1

0.5

0–2

である」と回答した被験者は，「1 日の終わりはゆっくりしたい

た．さらに，振り返りクイズは振り返り文章に比べても高い値から」と回答した．また別の「非常に手間である」と回答したを示し，ただ文章を読むより，クイズ形式で解くことが記憶定

被験者は，「システムを開いたり，ファイルをアップデートする着に有効であることがわかった．

手間が多いから」（アップデートは，おそらくアップロードの書き間違い）であると理由を述べた．

強制選択型再認では，何もしてない場合に比べ，手法を実施した場合の方が高い値を示した．このことから，1 日の終わり

次に，実際にこのようなシステムがあったら良いと思うか，に検索結果を振り返ることで，再認を高めることができるとわ

被験者に 4 択で回答させたところ，4 人が「思う」と回答し，1

かった．また，振り返りクイズ及び，振り返り文章は 9 割以上

人が「少し思う」に回答した．
「あまり思わない」，「思わない」の正答率を示し，重要箇所を振り返ることは，特に再認を助けと回答した被験者はいなかった．
「思う」と回答した被験者は，ることがわかった．

その理由を「実際に，検索して得た知識は忘れていることが多いから．
」と述べた．

再認後の手がかり再生では，振り返りクイズが最も高い値を示した．このことから，振り返りクイズは手がかり再生を促進

最後に，振り返りクイズについて，改善点や，その他に欲しさせることがわかった．さらに，具体的な自由再生で最も高い

いサポートについて，被験者に記述させた．その回答の中には，値を示したにも関わらず，回答者 5 人のうち，4 人が再認後に「サイトを開く手間や，ファイルをアップロードする手間を減

1 つの新たな情報を思い出すことに成功している．振り返りク

らして欲しい．
」や，「Twitter や YouTube などの SNS を活用

イズは，記憶における再生を促す影響を与え，検索内容の記憶することが多いので，それらに対応して欲しい．
」などの意見が定着を助けることがわかった．
以上のことから，1 日の終わりに情報検索結果から重要箇所あった．
これらの回答から，情報検索結果を振り返るシステムは需を振り返ることは記憶の定着に有効であることがわかった．さ

要があることがわかった．また，被験者全員がクイズ形式で行らに，その上で文章よりもクイズ形式で行うことでより記憶定うことに必要性を感じていた．しかし，実験で実装したウェブ

着に高い影響を与えることがわかった．

アプリケーションでは，クイズ生成までの手間が多いこともわ

評価アンケートの結果，本研究で提案した振り返りクイズの
自動生成の精度はおおむね高いことがわかった．しかし，生成かった．

した一部のクイズが，文章として長かったり，重要箇所ではな

5 考

察

実験結果をもとに，それぞれのタスクごとに手法の有用性について議論する．また，クイズ生成システムを使った被験者への有用性とユーザビリティに関するアンケート結果について，その結果を考察する．
記憶度合いの確認では，何もしなかった場合の記憶度合い調査との比較により，何もしてない場合と，各手法を用いた場合の記憶定着を調査した．記憶度合いの確認の結果から抽象的な
自由再生では，各手法に大きな差は見られなかった．このことから，1 日の終わりに検索結果を振り返ることは，検索したジャンルを覚えることにはあまり影響を与えない可能性が考えられる．もしくは，記述により得た最大値が 2 であることから，多岐にわたる情報検索を行っている被験者が少なく，その結果，各手法においても大きな差が出なかった可能性も考えられる．
具体的な自由再生では，重要箇所を推定する手法を用いる，

い場合も見られた．文章が長い理由としては，重要な文章の抽出に，LexRank で抽出した要約文 1 文とその前後１文の計 3
文を使用したからだと考えられる．重要箇所ではないクイズが生成される理由としては，その被験者の検索範囲が狭く，同じジャンルから多くの問題が生成され，後に生成されたクイズの精度が下がったからだと考えられる．選択肢の生成では，良い評価が多く，ウェブ検索エンジンを用いた同位語生成の精度の高さを確認できた．
また，ユーザ体験から，実際に振り返りクイズが記憶定着を助けたと感じた被験者は多く，このようなシステムに需要を感じている被験者が多かった．しかし，実験用に用意したウェブ
アプリケーションに対し手間を感じている被験者も多く，改善点も多く見られた．

6 おわりに振り返りクイズ及び，振り返り文章が高い値を示した．このこ

本論文では，ウェブ閲覧履歴からクイズを自動生成することとから，1 日の終わりに閲覧履歴から重要箇所を振り返ること

で，ウェブ閲覧結果を記憶に残すシステムについて提案した．

が，検索結果で得た情報を記憶定着させるのに有効だとわかっ

実際に，履歴ファイルを読み込み，その履歴から重要そうな単語を推定し，その単語をもとに重要そうなページを推定するアルゴリズムを作成した．抽出したウェブページ内の重要そうな単語を空白にし，自動で生成した選択肢とともに 3 択問題を出題可能にした．被験者に実際のウェブ閲覧履歴を入力させ，5問のクイズに答えさせ，1 週間後に覚えている情報を聞く評価実験を実施した．結果として，振り返りクイズ手法は，何もしていない状態と比べて，記憶の想起に関する全ての項目で高い結果を示し，記憶定着を促す可能性を示唆した．また，比較手法と比べても，自由再生，手がかり再生の項目で最も高い値を示し，重要箇所をクイズ形式で振り返ることで，情報検索で得た情報の記憶を促せる傾向を示せた．
今後の課題として，プライベートな履歴ファイルをやり取りしなくて済むような，より低コストな記憶定着支援システムが考えられる．具体的には，ブラウザのブックマークレットや拡張機能として，記憶定着補助機能を実装することが考えられえる．加えて，今回の実験では，あくまでも 1 回の検索について実験を行った．毎日クイズに答えていた場合，クイズに答える
ことまでが日常化してしまい，記憶定着を助けなくなることが考えられる．また，毎日クイズを解くことは，時間を要する．
今後の課題として，プライベートな履歴ファイルをやり取りしなくて済むような，より低コストな記憶定着支援システムが考
えられる．

謝

辞

本研究は JSPS 科研費 18K18161（代表：莊司慶行），21H03775（代表：大島裕明）の助成を受けたものです．また，本実験を実施するにあたって，青山学院大学 研究推進課 倫理委員会担
当の職員の方々に，個人情報を含むデータを扱う実験方法と手続きについてご案内いただきました．ここに記して謝意を表し
ます．

文

献

[1] Sihang Qiu, Ujwal Gadiraju, and Alessandro Bozzon. Towards memorable information retrieval. In Proceedings ofthe 2020 ACM SIGIR on International Conference on Theory of Information Retrieval, pp. 69–76, 2020.
[2] Endel Tulving. The eﬀects of presentation and recall of material in free-recall learning. Journal of verbal learning andverbal behavior, Vol. 6, No. 2, pp. 175–184, 1967.
[3] Henry L. Roediger III and Jeﬀrey D. Karpicke. Testenhanced learning: Taking memory tests improves longterm retention. Psychological science, Vol. 17, No. 3, pp.
249–255, 2006.
[4] Arthur Irving Gates. Recitation as a factor in memorizing.
No. 40. Science Press, 1922.
[5] Henry L. Roediger III and Jeﬀrey D. Karpicke. The powerof testing memory: Basic research and implications for educational practice. Perspectives on psychological science,Vol. 1, No. 3, pp. 181–210, 2006.
[6] Manish Agarwal and Prashanth Mannem. Automatic gapﬁll question generation from text books. In Proceedings ofthe sixth workshop on innovative use of NLP for building
educational applications, pp. 56–64, 2011.
[7] Ruslan Mitkov, Ha Le An, and Nikiforos Karamanis. A
computer-aided environment for generating multiple-choicetest items. Natural language engineering, Vol. 12, No. 2,

pp. 177–194, 2006.
[8] A.S. Sreelakshmi, S.B. Abhinaya, Aishwarya Nair, andS. Jaya Nirmala. A question answering and quiz generation
chatbot for education. In 2019 Grace Hopper Celebration
India (GHCI), pp. 1–6. IEEE, 2019.
[9] Adam D. Lelkes, Vinh Q. Tran, and Cong Yu. Quiz-stylequestion generation for news stories. In Proceedings of the
Web Conference 2021, pp. 2501–2511, 2021.
[10] Michal Barla, Mária Bieliková, Anna Bou Ezzeddinne,
Tomáš Kramár, Marián Šimko, and Oto Vozár. On theimpact of adaptive test question selection for learning eﬃciency. Computers & Education, Vol. 55, No. 2, pp. 846–857,
2010.
[11] Yi-Ting Huang, Meng Chang Chen, and Yeali S Sun. Personalized automatic quiz generation based on proﬁciency
level estimation. In 20th International Conference on Computers in Education (ICCE 2012), 2012.
[12] Bonnie MacKay, Melanie Kellar, and Carolyn Watters. An
evaluation of landmarks for re-ﬁnding information on theweb. In CHI’05 extended abstracts on Human Factors in
Computing Systems, pp. 1609–1612, 2005.
[13] Jaime Teevan, Edward Cutrell, Danyel Fisher, Steven M.
Drucker, Gonzalo Ramos, Paul André, and Chang Hu. Visual snippets: summarizing web pages for search and revisitation. In Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, pp. 2023–2032, 2009.
[14] Sungjoon Steve Won, Jing Jin, and Jason I. Hong. Contextual web history: using visual and contextual cues to improve web browser history. In Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems, pp.
1457–1466, 2009.
[15] Keita Arai, Makoto Oka, and Hirohiko Mori. A ﬁlteringsystem of web history using the browsing characteristic.
In International Conference on Human Interface and theManagement of Information, pp. 273–279. Springer, 2015.
[16] Tangjian Deng, Liang Zhao, Ling Feng, and Wenwei Xue.
Information re-ﬁnding by context: A brain memory inspired
approach. In Proceedings of the 20th ACM international
conference on Information and knowledge management, pp.
1553–1558, 2011.
[17] R. Sakamaki, S. Someya, and K. Okamoto. An analysis ofrelationship between evaluation structure and memorized
information quantity on the web-site. Bulletin of JapaneseSociety for the Science of Design, Vol. 55, No. 6, pp. 59–66,
2009.
[18] Marlin David May, S. Shyam Sundar, and Russell B.
Williams. The eﬀects of hyperlinks and site maps on thememorability and enjoyability of web content. In Communication & Technology Division at the 47th Annual Conference of the International Communication Association,
May, Montreal, 1997.
[19] Günes Erkan and Dragomir R. Radev. Lexrank: Graphbased lexical centrality as salience in text summarization.
Journal of artiﬁcial intelligence research, Vol. 22, pp. 457–
479, 2004.
[20] 大島裕明, 小山聡, 田中克己. Web 検索エンジンのインデック
スを用いた同位語とそのコンテキストの発見. 情報処理学会論
文誌データベース (TOD), Vol. 47, No. SIG19 (TOD32), pp.
98–112, 2006.