DEIM Forum 2016 F1-1

記憶に残る検索:
ページと画像の対応付けによる Web ページへの再アクセスの促進
嶋

隼輝†

加藤

誠†

田中 克己†† 京都大学大学院情報学研究科 〒 606–8501 京都府京都市左京区吉田本町
E-mail: †{shima,kato,tanaka}@dl.kuis.kyoto-u.ac.jp
あらまし 本論文では，1 度訪れたことのある Web ページへの再アクセスを容易にし促進するために，ユーザが閲覧中の Web ページと画像を対応付けし，その画像とページを対応付けて記憶させる方法を提案する．我々はページと画像の関係と想起のしやすさについて 3 つの要因を考慮した．1 つ目の要因は画像によって表現される概念が Web ペー
ジの内容を表している度合いである．2 つ目の要因は表現する概念の抽象度であり，例えば「平和」という概念は抽象度が高く，「ハト」という概念は抽象度が低い．3 つ目の要因は画像が他のページと対応付いている画像と区別して記憶できるかどうかを表す弁別性という要因である．提案するシステムでは 3 つの要因を考慮し，ある Web ページ
に対して最も想起しやすい画像を提示し， Web ページへの再アクセスを促進する方法について提案を行う．
キーワード

情報検索，認知心理学，記憶，再発見

1. は じ め にいると考えられている [17]．したがって，記銘時，すなわち，

Web ページの閲覧時の処理を深くしたり [1] ，手がかりを追

過去に閲覧したページをもう一度閲覧するという行為は広く加することによって Web ページへの再アクセスを促進するこ行われている．訪問したページの 44% が再訪問であり [11]，とができると考えられる．例えば，ブラウザのブックマークは33%のクエリが再発見のためのものである [14] という報告か

記銘時に能動的な作業を必要とする機能である．ただし，ブッら， ページの再発見という行動を普段から行っていることがわ

クマークするという処理はあまり深い処理ではないのでそれほかる．閲覧情報の再発見のためには，ブラウザのブックマーク

どページの記憶に影響を与えないと考えられる．またブラウザ

機能を利用するという方法があるが，ブックマークしていなくの履歴機能は想起時に利用する機能と言える．ただし，記銘にても再訪問したいページは存在する．閲覧情報の再発見のため失敗したページを大量の閲覧履歴情報の中から探しだすのは困には，ブラウザの履歴機能を利用するという方法もあるが，時難である．

系列順に並べられた大量の閲覧履歴情報の中から目的のページを探しだすのは困難である．

そこで本論文ではユーザが閲覧中の Web ページヘ画像を対応付けし，その画像と Web ページ を対応付けて記憶させる方

記憶は記銘・保持・想起の 3 つの過程から構成されていると法を提案する． 提案するシステムでは，Web ページの閲覧時考えられている．記銘は情報を覚える過程，保持は情報を保持に画像を手がかりとして追加することによって Web ページへする過程，想起は保持されている情報を思い出す過程のことをの再アクセスを促進する．再訪問時には，Web ページと対応付指す．Web ページの閲覧が記銘に対応し，再訪問するためにいた画像の記憶から Web ページを検索することができる．ま

ページを思い出すことが想起と対応する．

た，ブックマークや検索結果の大量の Web ページの中から対記憶を想起する方法として，再生・再認の 2 つの方法がある．

応付いた画像を使用してページを再認することができる．

再生とは，保持されていた情報を生成することであり，情報を対応付ける画像は Web ページと画像の関係を想起しやすい

自由に再生する場合を自由再生，手がかりを利用して再生するものである必要がある．これはページと画像の対連合学習を容場合を手がかり再生と呼ぶ．一方，再認とは，提示された情報易にする必要がある言い換えられる．対連合学習とは，2 つのが記憶として保持されているものかどうかを参照することであ

刺激項と反応項からなるアイテムの組み合わせを対として記銘

り，提示された 1 つの情報に対して判断したり，提示された複させ，刺激項に対して反応項を答えさせるという学習である．

数の項目から記憶として保持されている情報を選択することで本論文では Web ページに再訪問したいという情報要求から対ある．例えば， Web ページへ再訪問するために， Web ペー

応した画像を手がかりとして想起する．したがって，Web ペー

ジの内容を思い出して検索クエリを生成し，再検索によって再ジが対連合学習における刺激項に対応し，画像が反応項に対応

訪問を達成する場合は再生的な再検索と言える．一方，ブックする．

マークの一覧を見て目的のページを探して再訪問を達成する場

我々はページと画像の関係と想起のしやすさについて，

合は再認的な再検索と言える．

•

連度

記憶における忘却は記銘時におけるエラーとして解釈されており、記銘の失敗に関連する神経基盤が後の忘却を反映して画像によって表現される概念と Web ページの内容の関•画像によって表現される概念の抽象度•Web ページと画像の対連合学習における反応項として関連するシステムとしてブックマークを画像と共に表示しての画像の弁別性

一覧性を高める Opera の visual bookmark （注 1） や，Googleの 3 つの要因を分析した．

Chrome の拡張である Bookmark Manager （注 2） が存在する．

本論文では得られた知見に基づき，Web ページ閲覧時に検本論文は，画像が存在しない Web ページにも対応しているこ索・再認の手がかりとなるような画像を提示し，再アクセス時と，画像から Web ページを検索する方法を提案している点でに記銘された画像を元に Web ページの検索・再認が可能とな

異なる．

るシステムを提案する．

本論文では，記憶，特に画像についての記憶や対連合学習に

本論文の構成は以下の通りとなっている．2 節で関連研究における関連研究の知見を活用し，Web ページに対応付けるとついて紹介して本論文の位置づけを行う．3 節では，提案する最も Web ページと画像の対応を記憶しやすい画像を発見し，システムと問題定義，ページと画像の対連合学習がしやすい画

Web ページと対応付ける．

像の発見について述べる． 4 節で提案手法が有効であるかを確かめるための実験と結果について述べ，最後に 6 節で本論文のまとめを述べる．

2. 関 連 研 究

3. 提 案 手 法
3. 1 提案システム
本節では我々が提案するページと画像の対応付けによる Web
ページへの再アクセスを促進するシステムについて詳細を述べ

本節では，本論文と関連する研究について言及し，本論文のる．本論文では，ユーザが閲覧中の Web ページヘ画像を対応付位置づけについて述べる．関連する研究として，記憶に関する

けし，その画像と Web ページを対応付けて記憶させる方法を研究，特に画像の記憶に関する研究，対連合学習に関する研究，提案する．提案する手法では，記憶の過程における Web ペー

再発見，再検索に関する研究がある．

ジの閲覧時に，後に閲覧している Web ページへ再訪問する際記憶における忘却は記銘時におけるエラーとして解釈されての手がかりとなるような画像を提示し，Web ページへの再訪問

いる [17]．またヒトの情報処理過程には情報の感覚的、物理的を促進する．ヒトは，大量の画像を 1 度見ただけで，それらのな分析を行う浅い処理レベルから，意味的な分析を行う深い処画像を高い確率で再認できることが知られている [13]．また画

理レベル が存在するが，記銘時に情報を処理する深さが深いほ像を使用した視覚的なスニペットは再訪問時に再認手段としてど記憶の成績がよくなると考えられている [1]．

有用だという研究がある [15]．また画像を後に Web ページへ

画像についての記憶のしやすさに関する研究として以下のも再訪問するための手がかり Web ページのサイドバーに提示しのが挙げられる．Standing, Lionel [13] はヒトは，大量の画像てもユーザの閲覧する時間や閲覧する労力はほとんどかからなを 1 度見ただけで，それらの画像を高い確率で再生・再認でき

いと考えられる．したがって，画像を後の Web ページへの再ることを示した．また，Phillip ら [3] は画像から閲覧者によら訪問するための手がかりとして使用するには最適だと考えた．

ない画像の記憶のしやすさを予測できることを示した．本論文提案するシステムでは，図 1 のように閲覧しているページには，画像のみの記憶のしやすさではなく，画像と Web ページ

対応した画像をブラウザのサイドバーに表示することにより，の対応の対連合学習が容易な画像を発見するという点で異なる．

ユーザ に閲覧している Web ページと対応した画像の関係を

対連合学習に関する研究として以下のものが挙げられる．対

記憶させる．ユーザは閲覧中の Web ページを明示的にブック連合学習では刺激項と反応項の類似度が高いほど学習が容易でマークすることも可能である．例えばこれから所属したい研究あると考えられている [2], [7]．一方，刺激項間および反応項間室を探している際に田中研究室のメンバーのページを閲覧しての類似度が高いほど学習を抑制してしまう [16]．画像におけるいたとする．この際，閲覧しているページに対してサイドバー

類似度には色や形といった知覚的な類似度と画像のカテゴリとに「京都」の「清水寺」の画像が対応する画像として表示されいった概念的な類似度の 2 つの類似度が存在するが，概念的なる．ユーザはこの清水寺の画像が田中研究室のメンバーのペー

類似度が低い，すなわち概念的に弁別性の高い画像のほうが記ジと対応していることを後にこの Web ページに再訪問する際憶しやすいという研究がある [6]．

の手がかりとして利用できる．

過去に閲覧した Web ページの再発見・再検索を促進する研

過去に閲覧した Web ページをブラウザのブックマーク機究として以下のものが挙げられる．Jaime ら [15] は Web ペー

能から探す際には，図 2 のように 過去に閲覧した Web ページの重要なコンポーネントを画像化した 視覚的なスニペット

ジと対応する画像を一覧としてユーザに提示することにより(Visual snippet) を生成し，検索結果として表示することで，Web ページの再認的な再検索を促進する．再認的な再検索とユーザの過去に閲覧した Web ページの再認を促進したことをは，ユーザが能動的に画像を想起せず，システムから提示され示した．本論文は過去に閲覧した Web ページの再認を促すのた画像を過去に見た Web ページと対応したものだと再認するみでなく，Web ページに対応した画像を手がかりとしてた再検ことによって Web ページの再検索をすることを指す．例えば索を促進する点，また再検索・再発見する際ではなく Web ページの閲覧時にシステムが Web ページに画像を対応づけ，Web
ページと画像の対応の記憶を促す形でユーザに働きかけるという点で異なる．

（注 1）：https://www.opera.com/computer/features/bookmarks（注 2）：https://chrome.google.com/webstore/detail/bookmark-manager/

gmlllbghnfkpflemihljekbapjopfjik

田中研究室のメンバーのページにブックマークから再訪問を試みる際，Web ページの URL やタイトルの一覧から目的のページを探しだすのは困難だが，「京都」の「清水寺」の画像を見て
田中研究室のメンバーのページと対応した画像だという対応が再認できれば容易に目的のページに再訪問することができる．
また過去に閲覧した Web ページを再検索する際には，図 3のようにユーザは Web ページと対応した画像を手がかりとして検索クエリを入力することが可能である．システムは入力された画像に対する検索クエリにマッチする Web ページのみ
を検索結果として表示することによって対象のページの再生的な再検索を促進する．再生的な再検索とは，ユーザが能動的にWeb ページと対応付いた画像を想起し，その画像についての情報を使用して再検索することを指す．例えば，ユーザは一週間前にこれから所属したい研究室 の Web ページを閲覧してお図 2 ブックマーク一覧．画像を手がかりとしてページを再認することが可能．

り，再度田中研究室のメンバーページを閲覧したいとする．この時ユーザが「田中」という研究室の名前を再生できないと目的の ページに再訪問することは困難である．しかし，もしユー
ザが目的のページに「京都」の「清水寺」という画像が対応する画像として提示されていることを再生できれば，画像に対するクエリとして「京都」を使用することによって目的のページに再訪問することができる．

図 3 Web ページの再検索．画像を手がかりとした検索クエリを入力．
図では「kyoto」を画像に対するクエリとして使用している．

とする．Web ページと画像の対連合学習のしやすさは [0, 1] 間の実数値をとるものとする．このとき，再発見を行うために閲覧しているページを dnow , 画像 i ∈ I ，Web ページ d ∈ D ，
履歴 H ⊂ D × I を入力として， Web ページ dnow に対応付
図 1 Web ページ閲覧時．ウェブブラウザのサイドバーに画像を提示．
ブックマークすることも可能．

3. 2 ページと画像の対連合学習がしやすい画像の発見
本節では我々が提案するページと画像の対応付けによる Web
ページへの再アクセスを促進するシステムにおける画像を選択する手法について詳細に述べる．

3. 2. 1 問 題 定 義
URL に よって 識 別 さ れ る Web ペ ー ジ の 集 合 D ={d1 , d2 , . . . , dn }, Web ページと対応付ける画像候補の集合
I = {i1 , i2 , . . . , in }, すでに対応付けられている Web ページと画像の対の集合 H = {(d1 , i1 ), (d2 , i2 ), . . . , (d3 , i3 )} がある．
また画像 i ∈ I ，Web ページ d ∈ D，対応付けられた Web
ページと画像の対の集合 H ⊂ D × I を受け取って Web ペー
ジと画像の対連合学習のしやすさを実数で返す関数を

f : I × D × 2D×I → R

けるともっとも Web ページと画像の対連合学習がしやすい画像を出力するという問題

i∗ = arg max f (dnow , i, H)
i∈Iを解く．対連合学習がしやすい画像を対象の Web ページと対応付け，対応付けた画像を手がかりとしてユーザが想起することによって再発見の支援を行う．

3. 2. 2 対連合学習のしやすさの推定
我々は Web ページと画像の対連合学習のしやすさについて

3 つの要因を分析した．1 つ目の要因は画像によって表現される概念と Web ページの内容の関連度についてである．対連合
学習においては，刺激項と反応項の間の類似性が高くなるほど学習が容易になると考えられている [2], [7]．したがって，対象のページと画像によって表現される概念の類似度が高いほど，

Web ページと画像の対連合学習が容易になると考えられる．例
えば「京都の清水寺の歴史」に関する Web ページに対しては

Web ページの内容と関連の低い「あんみつ」よりも，ページとジの内容との関連度が高いほど，Web ページと画像の対連合

関連度の高い「清水寺」を表現した画像のほうが Web ページ

学習が容易となると考えた．すなわち，クエリ q は Web ペーと画像の対連合学習がしやすいと考えられる．

ジとの関連度が高く，画像をよく表現しているようなクエリが2 つ目の要因は画像によって表現される概念の抽象度につい望ましい．そこで，画像として表現する概念と Web ページのてである．対連合学習において項の抽象度は低いほど学習が容

内容の関連度を計算する関数 m : I × D → R を以下のように易になると考えられている [12]．したがって抽象度の高い概念定義した．

よりも抽象度の低い具体的な概念を画像として表現したほうがm(i, d) =∑Imp(q, d)Rel(q, i)q∈Qd

Web ページと画像の対を記憶しやすいと言える．例えば「京都の清水寺の歴史」に関する Web ページに対しては抽象的な

Imp はあるクエリ q が文書 d をどの程度表現しているかと「京都」，「歴史」というキーワードよりも，「清水寺」という具いう度合いを計算する関数であり，Rel はあるクエリ q に対し体的なキーワードを表現した画像のほうが Web ページと画像

画像 i がどれほど適合しているかという度合いを計算する関数の対を記憶しやすいと考えられる．

である．すなわち，m(i, d) は文書 d をより良く表現している

3 つ目の要因は Web ページと画像の対連合学習における反クエリに適合するような画像に高い値を与える．

応項としての画像の弁別性についてである．対連合学習におい

文書 d をより良く表現するクエリは，クエリ q のそれぞれては，刺激項間および反応項間の類似性が高くなるほど学習はの単語が文書 d と関連度が高いだけでなく，クエリ q に存在困難になる．したがって Web ページと対応付ける画像が，すする他の単語との類似度が低いものが望ましいと考えた．なぜでに閲覧したページと対応付いている画像集合からの弁別性がならクエリ q のそれぞれの単語間の類似度が低いほうが文書 d低いと学習が困難になる．例えば，過去に「京都の観光のペーのトピックをより広く網羅すると考えられるからである．したジ」と「京都の寺」の画像を対として記憶しており，「京都の清がって，Imp を以下のように定義した．

水寺の歴史」に関するページを閲覧していたとする．このとき，「清水寺」というキーワードが表現する画像は，過去に閲覧しImp(q, d) =∑TR(w, d)∏(1 − Sim(w, w′ ))w′ ∈q/w

w∈q

た「京都の寺」で表現される画像と表現する概念の意味的に類

ここで，TR は Textrank [8] による文書 d における単語 w

似している．もし「京都の寺」で表現される画像を「京都の清のスコアを [0, 1] 間の実数値で返す関数である．また Sim は入水寺の歴史」に関 するページの対となる画像として使用した力として与えられる 2 つの単語の類似度を計算し 0 か 1 を返場合，「京都の観光のページ」の対となる画像と，「京都の清水寺

す関数である．Sim の実装には word2vec [9], [10] による単語の歴史」の対となる画像が類似の画像となる．したがって，後の類似性判定を用いた．簡単のため，Sim は類似度が閾値 θ 以に「清水寺」の画像 と結びついている Web ページを想起する

上であれば 1, そうでなければ 0 を返すよう実装した．

際に「京都の観光のページ」と「京都の清水寺の歴史」を混同

Rel の実装は簡単のため，あるクエリ q で得られる上位 k 件

しやすくなるので，過去に対として記憶した画像と弁別性の低の画像に対し 1，そうでなければ 0 を変えすような関数とした．

い「清水寺」で表現される画像は Web ページと画像の対連合

3. 2. 4 画像として表現する概念の抽象度

学習を抑制してしまうと考えられる．

対連合学習において項の抽象度が低いほど学習が容易にな

以上 3 つの要因の分析から，本論文では，Web ページと対応付ける画像の対連合学習のしやすさを•ると考えられている [12] ことから，画像として表現する概念の抽象度が低いほど，Web ページと画像の対連合学習が容易

画像によって表現される概念と Web ページの内容の関となると考えた．3. 2. 3 と同様に画像として表現する概念をク

連度•

エリ q ∈ Qd とすると，q は抽象度が低いほど望ましい．し画像によって表現される概念の抽象度•たがって，画像として表現する概念の抽象度を計算する関数

Web ページと画像の対連合学習における反応項として

a : I × D → R を以下のように定義した．
∑
a(i, d) =Abst(q)Rel(q, i)の画像の弁別性から決まると仮定した．

q∈Qd

3. 2. 3 画像として表現する概念と Web ページの内容の関連度前提として，画像集合 I は与えられないので画像検索エンジンを介して画像を収集する必要がある．したがって， 文書 d

Abst はあるクエリ q の抽象度を計算する関数である．すな
わち，a(i) は文書 d をより良く表現しているクエリに適合する
ような画像に高い値を与える．

から与えられるクエリ集合を Qd とし，画像として表現する概

クエリ q は複数の単語が含まれているが，レスポンスの画像

念として Bing Search API （注 3） に与えるクエリを q ∈ Qd とはクエリ内の単語の最も抽象度の低いオブジェクトが含まれる

する．

と仮定し，画像の抽象度はクエリ内の単語の抽象度が最も低い

対連合学習において刺激項と反応項の類似度が高いほど学習が容易であることから，画像として表現する概念と Web ペー（注 3）：https://datamarket.azure.com/dataset/bing/search

値と考えた．単語の抽象度の計算に関しては Kato ら [5] の手法を改善したものを使用し，Abst を以下の様に定義した．

Abst(q) = min(αAbsR(w) + (1 − α)WH(w))
w∈qAbsR は Kato ら [5] の手法であり，与えられた単語の上位
後の具体語，抽象語の割合により抽象度を計算している．しかα, β, γ はそれぞれの要因をどの程度重視するかを表す係数である．

∏

し，この手法では「犬」の上位語に「哺乳類」が存在し，「哺乳

f は Dis(q, Dh ) =類」の上位語をたどると具体語が現れるとすると，「犬」も「哺のように変形できる．

乳類」も同じ抽象度となってしまう．
「犬」と「哺乳類」を画像として表現すると抽象度は上位語である「哺乳類」のほうが高f(i, d, H) =∑d′ ∈Dh∏′q ′ ∈Qd′ Sim(q, q ) とおくと以下Rel(q, i)(αImp(q, d)−βAbst(q)+γDis(q, Dh ))q∈Qd

くなるべきと考え，Abst は Wordnet のルートのエンティティまでの高さ， WH を抽象度の計算に含めた．したがって AbsRと WH を以下のように定義した．

∑
AbsR(w) =習に最適な画像 i を発見する問題は，αImp(q, d) − βAbst(q) +ws ∈Synsets(w) IsAbs(ws )|Synsets(w)|∑WH(w) =

ここで，画像 i に対して Rel(q, i) が 1 となるクエリ q ∈ Qd
は 1 つしかないと仮定すると，Web ページと画像の対連合学

ws ∈Synsets(w) Hw(ws )|Synsets(w)|なお，Synsets は単語を入力として単語の同義語集合を返す

γDis(q, Dh ) を最大にするようなクエリ q をクエリ Qd から発見する問題と言い換えられる．すなわち，最もページ内容をよく表し，具体度が高く，過去に使用したクエリと非類似なクエ
リ q を求めて，そのクエリ q を使って画像を検索することでWeb ページと画像の対連合学習に最適な画像を求められる．

関数，IsAbs は単語を入力として，単語の上位語をたどると文書 d から与えられるクエリ集合 Qd は貪欲法を使ってクエ

abstract entity にたどり着く場合は 1, そうでない場合は 0 をリの単語として最適な単語 w∗ を k 回繰り返して求めることに返す関数，Hw は単語を入力として，単語の Wordnet によるよって生成する．クエリの単語として最適な単語 w∗ は Wd を木のルートのエンティティまでの高さを返す関数である．α は文書 d に内に存在する単語の集合として以下のように求めた．

[0, 1] 間の実数値をとる係数である．
3. 2. 5 Web ページと画像の対連合学習における反応項としての画像の弁別性
対連合学習においては，刺激項間および反応項間の類似性が高くなるほど学習は困難になることから，反応項である Web
ページと対応付ける画像は，すでに閲覧したページと対応付いている画像集合からの弁別性が高いほど，Web ページと画像の対連合学習が容易となると考えた．ここで，画像の色や形といった知覚的な類似度よりも画像のカテゴリといった概念的な類似度のほうが記憶成績の成績を抑制することから，すでに閲覧したページと対応付いている画像集合からの弁別性は，画像を取得する際に検索クエリとして使用した単語集合の類似度を使用した．したがって，Web ページと画像の対連合学習における反応項としての画像の弁別性 を計算する関数 s : I × D × H → R

∑

∏

q∈Qd

d′ ∈D

∏

(1 − Sim(q, q ′ ))Rel(q, i)′h q ∈Qd′

ここで Dh , Ih はそれぞれ既に対応付けられた Web ページと画像の集合である．Sim は単語集合を 2 つ受け取り単語集合
同士の類似度を返す関数である．Sim は簡単のため類似度が閾値 θ 以上であれば 1, そうでなければ 0 を返すよう実装した．

Sim の単語集合同士の類似度の実装には word2vec [9], [10] を用いた．

3. 2. 6 対連合学習のしやすさの計算
画像として表現する概念の重要度を返す関数 m, 概念の抽象度を返す関数 a, Web ページと画像の対連合学習における反応項としての画像の弁別性を返す関数 s が返す値を合わせたもの
を Web ページと画像の対連合学習のしやすさを実数で返す関
数 f とした．

f (i, d, H) = αm(i, d) − βa(i, d) + γs(i, d, H)

maxw∈(Wd −q)(αImp(q∪w, d)−βAbst(q∪w, d)+γDis(q∪w, Dh))3. 3 画像へのラベルの付与
Web ページを再発見・再検索時する際に，画像を手がかりとして検索するために画像へのラベルの付与を行う．ラベルには，画像の元となったクエリに加え，Deeplearning フレームワークである Caﬀe [4] による物体認識を使用しラベルを付与した．画像の分類結果のラベルの集合を C = {c1 , c2 , . . . , cn }とし，画像 i ∈ I を入力として画像の分類結果 C と [0, 1] 間の実数値の分類結果のスコア R のペアのリストを出力する関数

l : I → C × R を定義し，[0, 1] 間の実数値である閾値 θ を超えたスコアの結果をラベルとして付与した．

4. 実

を以下のように定義した．

s(d, i, Dh , Ih ) =w∗ = arg験

4. 1 対連合学習のしやすい画像の検証
提案手法における Web ページと画像の対連合学習がしやす
い画像を取得するために，画像によって表現される概念と Web
ページの内容の関連度の要因が Web ページと画像の対連合学
習にどのように影響を与えるか検証するユーザ実験を行った．

4. 2 実 験 刺 激
画像の実験刺激は Konkle ら [6] のデータセットを使用し，各 Web ページに対応する画像として 30 個， 想起課題のダミー刺激として 60 個の画像を，データセットからカテゴリが重複しないようにランダムに選択して使用した．Web ページの実験刺激としては Wikipedia （注 4） の記事を 30 記事使用した．10
記事は Web ページに対応する画像として選択した画像が表現する概念と Wikipedia の記事のタイトルが表す内容がほぼ同一な記事を選択した (例えば，ステゴザウルスの画像に対して（注 4）：https://ja.wikipedia.org/

ステゴザウルスの記事（注 5） )．10 記事は Web ページに対応す

た画像について思い出して，その画像についてなるべく詳細にる画像として選択した画像が表現する概念が記事中に存在する

記述するよう求められた．

記事を選択した (例えば，リャマの画像に対してポンチョの記再認課題では Web ページと 5 つの画像が提示し，Web ペー（注 7）ジと一緒に提示されていた画像を選択するよう求められた．5からカテゴリに重複のないようランダムにカテゴリを選択してつの画像は，1 つが Web ページと対応していた正解画像であリンクをたどり，画像と全く関係ないであろう記事を選択した

り，2 つが閲覧課題で提示された別の Web ページと対応して

事

（注 6）

)．残りの 10 記事は Wikipedia のカテゴリページ（注 8）(例えば バイクの画像に対してエルサレムの記事)．

いた画像から実験参加者ごとにランダムに選択された画像，2

4. 3 実験手続き

つが再認課題で初めて提示する画像であり，ダミー刺激として実験には情報検索に慣れた 20 代の男性 6 人が参加した．実用意した画像から実験参加者ごとにランダムに選択された画像

験参加者は課題に関する説明と教示が行われた後，Web ペー

であった．

ジと画像を閲覧し，Web ページと画像の関連度を評価する閲

4. 4 解覧課題と，閲覧課題時に Web ページと対応していた画像を想

本論文では，それぞれ再生課題・再認課題の正答率を従属変起する想起課題に参加した．なお，想起課題の内容は閲覧課題

数，Web ページと画像の関連度の評価を独立変数として，従の前には説明せず，想起課題の直前に説明を行った．

属変数である Web ページと画像の対連合学習の正答率が，独析

4. 3. 1 閲 覧 課 題

立変数である画像によって表現される概念と Web ページの内

閲覧課題では 図 4 の様に Web ページと画像を計 30 ペアを容の関連度によってどのように影響されるかについて検証をランダムな順序で提示した．実験参加者は，画像が後にページへの再訪問の手がかりとなることを教示された上で Web ページを閲覧した．実験参加者は Web ページの閲覧後，Web ペー

行った．
この検証を行うために，再生課題において想起された画像の記述と正解画像を比較し，正答か否かを評価した．

ジと画像の関連度について，全く関連していない場合を 1，最4. 5 結果も関連している場合を 5 として 5 段階で評価するように求めら

4. 5. 1 再 生 課 題

れた．

再生課題の結果を表 1 に示す．再生課題では， Web ページと画像の関連度が正答率に影響を与え，関連度が高いほど記憶
成績がよくなることが認められた．また，関連度 1(全く関連していない) と関連度 2(ほとんど関連していない) の間に大きい差が認められた．このことから，少しでも Web ページと画像が関連していることがページと画像の対応の記憶において重要であることを示唆している．
表 1 再生課題における関連度別の正答率の平均

図4

閲覧課題．Web ページと画像が提示され，Web ページ閲覧後に

Web ページと画像の関連度について評価を行う．

関連度

正答率

1. 全く関連していない

0.23

2. ほとんど関連していない

0.64

3. どちらともいえない

0.78

4. すこし関連している

0.87

5. 関連している

0.96

4. 5. 2 再 認 課 題
再認課題の結果を表 2 に示す．再認課題では，Web ページ

4. 3. 2 想 起 課 題
想起課題は閲覧課題の終了後，3 時間後に行われた．想起課
題は 2 つの課題が行われた．2 つの課題とは閲覧課題で提示された Web ページのみを提示し，対応した画像を想起する再生
課題と，閲覧課題で提示された Web ページと対応していた画像を含む 5 つの画像を提示して対応していた画像を選択する再認課題である．
再生課題では提示された Web ページと一緒に提示されてい（注 5）：https://ja.wikipedia.org/wiki/ステゴザウルス（注 6）：https://ja.wikipedia.org/wiki/ポンチョ（注 7）：https://ja.wikipedia.org/wiki/Wikipedia:カテゴリ（注 8）：https://ja.wikipedia.org/wiki/エルサレムと画像の関連度に関わらず，ほとんど正答という結果であり天井効果が認められた．本実験でのタスクの量や閲覧課題から想起課題までの時間の間隔が再認課題の成績に影響したと考えられるが，この結果から Web ページと画像の対応をよく記憶できることを示した．
表 2 再認課題における関連度別の正答率の平均
関連度

正答率

1. 全く関連していない

0.91

2. ほとんど関連していない

1.00

3. どちらともいえない

1.00

4. すこし関連している

1.00

5. 関連している

0.98

4. 6 考察場合を考慮し，もともと存在する画像が Web ページと画像の再生課題の結果は Web ページと画像の関連度が高くなるほ対連合学習に適している場合はその画像を使うこと．Web ペー

ど Web ページに対応した画像を想起しやすくなるということ

ジと画像の構造に対応をもたせ，あるカテゴリの Web ページであった．このことから，提案するシステムが Web ページとには特定のカテゴリの画像から画像を選択することや，ユーザ対応する画像を選択する際に，画像によって表現される概念との提案システムによる Web ページへの再訪問する際の行動か

Web ページの内容の関連度の要因を考慮していたことは適切

ら，手がかりとして使いやすい画像を学習するようにするなど，であったと言える．また再生課題の結果において， Web ペー

よりよい Web ページに対応付ける画像の提示方法を模索する．

ジと全く関連していない画像と少しでも関連している画像の記
憶成績に大きく差が見られた．このことから画像によって表現謝辞される概念と Web ページの内容の関連度が高いほど記憶成績

本研究の一部は，文部科学省 科学研究費補助金 (課題番号:がよくなるが，少しでも Web ページと画像が関連しているこ

15H01718, 26700009) によるものです．ここに記して謝意を表とが，画像の再生的な再検索を促進するシステムにおいて効果します．

的であるということを示唆している． 再認課題の結果は Web
ページと画像の関連度に関係なく Web ページと一緒に提示されていた画像を選択できるということであった．このことから
画像の再認的な再検索を促進するシステムでは画像の関連度を考慮する必要がない可能性を示唆している．
したがって，画像を想起し，画像に対する検索クエリを入力することで対象のページへの再訪問するような，再生的な再検索を促進するシステムとして提案システムを使用する場合は，画像によって表現される概念と Web ページの内容の関連度の高い画像を選択することは適切であったと言える．一方で，過去に閲覧した Web ページと対応する画像を一覧としてユーザに提示することにより Web ページの再認的な再検索を促進するシステムとしてのみ提案システムを使用する場合は，Webページの内容の関連度の高い画像を選択する必要はない可能性があることを示唆している．

5. お わ り に
本論文では，Web ページ閲覧時に検索・再認の手がかりとなるような画像を 提示し，再アクセス時に記銘された画像を元に Web ページの検索・再認が可能となる システムを提案した．Web ページに提示する画像の選択には以下の 3 つの要因を利用した．

•

画像によって表現される概念と Web ページの内容の関連度•

画像によって表現される概念の抽象度•

Web ページと画像の対連合学習における反応項としての画像の弁別性

この 3 つの要因を用いて最も Web ページと画像の対連合学習に適した画像を取得する手法について述べた．
今後の課題として，ページと画像の対連合学習のについて

4. 1 節の実験によって画像によって表現される概念と Web ペー
ジの内容の関連度の要因の影響については検証に加え，画像によって表現される概念の抽象度と Web ページと画像の対連合
学習における反応項としての画像の弁別性の残り 2 つの要因についての検証する．また，その検証結果から得られた知見を反映させた提案システムを使用したユーザ実験を行い，既存のWeb ページの再アクセスを促進する手法との比較を行う．今後の発展として，Web ページにもともと存在する画像が存在する

文

献[1] F. I. Craik and R. S. Lockhart. Levels of processing: A
framework for memory research. Journal of verbal learningand verbal behavior, 11(6):671–684, 1972.
[2] P. M. Fitts and C. M. Seeger. Sr compatibility: spatial
characteristics of stimulus and response codes. Journal ofexperimental psychology, 46(3):199, 1953.
[3] P. Isola, J. Xiao, A. Torralba, and A. Oliva. What makes animage memorable? In Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on, pages 145–152.
IEEE, 2011.
[4] Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long,
R. Girshick, S. Guadarrama, and T. Darrell. Caﬀe: Convolutional architecture for fast feature embedding. In Proceedings of the ACM International Conference on Multimedia,
pages 675–678. ACM, 2014.
[5] M. Kato, H. Ohshima, S. Oyama, and K. Tanaka. Can
social tagging improve web image search? In Web Information Systems Engineering-WISE 2008, pages 235–249.
Springer, 2008.
[6] T. Konkle, T. F. Brady, G. A. Alvarez, and A. Oliva. Conceptual distinctiveness supports detailed visual long-term
memory for real-world objects. Journal of Experimental
Psychology: General, 139(3):558, 2010.
[7] S. Kornblum and J.-W. Lee. Stimulus-response compatibility with relevant and irrelevant stimulus dimensions that doand do not overlap with the response. Journal of Experimental Psychology: Human Perception and Performance,
21(4):855, 1995.
[8] R. Mihalcea and P. Tarau. Textrank: Bringing order into
texts. Association for Computational Linguistics, 2004.
[9] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Eﬃcientestimation of word representations in vector space. In Proceedings of Workshop at ICLR, 2013.
[10] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, andJ. Dean. Distributed representations of words and phrases
and their compositionality. In Advances in neural information processing systems, pages 3111–3119, 2013.
[11] H. Obendorf, H. Weinreich, E. Herder, and M. Mayer.
Web page revisitation revisited: implications of a long-term
click-stream study of browser usage. In Proceedings of the
SIGCHI conference on Human factors in computing systems, pages 597–606. ACM, 2007.
[12] A. Paivio. Abstractness, imagery, and meaningfulness inpaired-associate learning. Journal of Verbal Learning and
Verbal Behavior, 4(1):32–38, 1965.
[13] L. Standing. Learning 10000 pictures. The Quarterly journal of experimental psychology, 25(2):207–222, 1973.
[14] J. Teevan, E. Adar, R. Jones, and M. A. Potts. Information

re-retrieval: repeat queries in yahoo’s logs. In Proceedingsof the 30th annual international ACM SIGIR conference on
Research and development in information retrieval, pages
151–158. ACM, 2007.
[15] J. Teevan, E. Cutrell, D. Fisher, S. M. Drucker, G. Ramos,
P. André, and C. Hu. Visual snippets: summarizing web
pages for search and revisitation. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems, pages 2023–2032. ACM, 2009.
[16] W. S. Terry. Learning and memory: Basic principles, processes, and procedures. Psychology Press, 2015.
[17] A. D. Wagner and L. Davachi. Cognitive neuroscience: forgetting of things past. Current Biology, 11(23):R964–R967,
2001.