DEIM Forum 2013 A1-5

Web 検索クエリに関する子供向けサブトピックランキング手法の検討
岩田 麻佑†

原隆浩†

西尾章治郎†† 大阪大学大学院情報科学研究科マルチメディア工学専攻 〒 565–0871 大阪府吹田市山田丘 1-5
E-mail: †{iwata.mayu,hara,nishio}@ist.osaka-u.ac.jp
あらまし 子供が Web 検索を行うことが一般的となってきているが，子供は大人以上に Web 検索を苦手とするため，
子供の特徴を考慮した支援が必要である．支援の方法として，クエリに関するサブトピック（検索意図を具体化する
文字列）の提示が考えられる．しかし，一般に重要なサブトピックが，子供にとっても重要とは限らない．そこで筆者らの研究グループでは，これまでに子供目線で重要なサブトピックの特徴の調査を行った．本稿では，調査結果に基づき，子供向けサブトピックを優先的に提供するサブトピックランキング手法を提案する．提案手法では，サブト
ピックの抽出元ソースの種類や難易度などをもとに，サブトピックの子供向け度合いを算出する．評価実験の結果，提案手法の有効性を確認した．
キーワード

Web 検索，子供向け，サブトピック，ランキング

Mayu IWATA† , Takahiro HARA† , and Shojiro NISHIO†† Department of Multimedia Engineering Graduate School of Information Science and Technology
1-5 Yamadaoka, Suita, Osaka 565-0871, Japan
E-mail: †{iwata.mayu,hara,nishio}@ist.osaka-u.ac.jp

1. は じ め にインターネットの爆発的な普及により，子供がインターネッ
トを利用し，Web 検索を行うことが一般的となってきている．
（注 1）

究のサブトピック抽出方法 [9] [4] において，検索エンジンの検索結果やクエリログから取得できる一般的に重要なサブトピッ
クが，子供にとっても重要であるとは限らない．
子供にとっては，興味を持って楽しむことが学習に繋がり，によると，小学生のインターネット利用率は重要であるという指摘があるように [1]，子供の Web 検索にお年々増加しており，小学校 6 年生では 9 割近くもの子供が日常いて，子供にとって興味をひくサブトピックを提示することが的にインターネットを利用し，インターネットで Web 検索す重要であると考えられる．さらに，子供にとって重要なサブトる際には，学習や趣味に関する検索を行う子供が 5 割以上いる

ピックは，子供の検索目的を考慮すると，“趣味” や “学習” にことが報告されている．しかし，子供は，クエリの作成や検索

役立つものであると考えられる（注 1）．例えば，クエリ “沖縄” に

結果の選択を困難とし，大人以上に Web 検索を苦手とするた

ついては，“ツアー”，“レンタカー” というような旅行に関す

め [3]，子供の特徴や要求を考慮した検索方法や表示方法などのるサブトピックが一般的に重要と考えられるが，それらは子供

Web 検索の支援が必要であると考えられる．

にとって興味をひく内容ではない．一方，“食べ物”，“歴史” と2011 年の統計

Web 検索支援の有効な方法として，クエリに関するサブトいうようなサブトピックは，子供が授業で沖縄の文化や習慣にピックを利用する研究が盛んに行われている [4]．クエリに関す

ついて学んでいる際に興味をひく内容であり，重要であると考るサブトピックとは，入力されたクエリに対して “ユーザの意

えられる．子供の興味をひくサブトピックを提示することで，図を具体化する文字列” である．例えば，“ハリー・ポッター”

そのサブトピックについて調べてみたいという子供の欲求を刺というクエリについては，“映画”，“本” などがサブトピックの激し，Web を活用できるきっかけになると考えられる．もちろ

候補として考えられる．これらのサブトピックを利用したクエん，子供の興味をひくサブトピックが必ずしも Web 検索の際リサジェスション，検索結果のランキングの多様化などにより，に役に立つとは限らないが，まず興味をひくものでなければ，ユーザの Web 検索を支援可能となる．子供にとっても，サブ

中身を調べようという意欲が沸きにくい．つまり，Web 検索のトピックを利用した支援は有効であると考えられるが，既存研際に子供にとって重要なサブトピックは，子供にとって興味を（注 1）：goo リサーチ: http://research.goo.ne.jp/

要がある．そのため，子供の Web 検索支援のために重要なサひくものである上で，Web 検索に実際に役に立つものである必

ブトピックを特定するには，子供目線での重要度と Web 検索

ツを Web 検索により探すタスクを行ってもらい，大人と子供時に役立つ重要度の両方の面で定量化しなければならない．

の間のタスクの成功率や検索行動の違いを調査している．また，

本研究では，学校の宿題などで Web 検索を行う機会が多い

Bilal [2] は，子供に，子供向け検索エンジンでタスクを行ってと考えられる小中学生を対象とし，まず，子供目線で興味をひもらい，認識面，身体面，感情面での特徴についても調査してくかどうかという観点でサブトピックの重要度を定量化するこいる．調査の結果，子供には，検索失敗時の修正方法が分からとに着目する．子供の興味をひくという点では，まず内容を想ない，タスク中に飽きてしまうというような特徴があり，Web

像できないサブトピックは興味を持ちにくいと考えられるため，検索が苦手であることが示されている．Druin ら [5] は，子供子供にとって分かりやすいものかどうかという点が一つの重要に自宅で自由に Web 検索を行ってもらう調査により，スペリな要素となり得る．また，子供の好奇心を刺激するかどうかとング，タイピング，クエリ作成，検索結果の解釈が子供にとっいう点も重要な要素となり得る．さらに，内容について知るこて問題となることを明らかにしている．

とが役立つと感じるかどうかも，サブトピックへの興味を左右

これらの調査結果を考慮し，子供の Web 検索を支援するたする重要な要素と考えられる．そこで本研究では，子供にとっめに，数多くの研究が行われている．文献 [8] [10] では，子供て分かりやすい (familiar)，調べてみたい (interesting)，役に向けの検索結果のランキングを行うことで，子供の Web 検索

立ちそう (useful) であるサブトピックを子供向けサブトピック支援を行っている．文献 [10] では，Web 検索時の子供の特徴とする．

を考慮して，Web ページ中の画像量や文章の難易度などに基以上のような子供の興味を引くサブトピックの特徴を明らづき Web ページをランキングする．文献 [8] では，子供向けサかにするため，筆者らの研究グループでは，これまでに子供

イトとのリンクの繋がりに基づいて Web ページの子供向け度

向けサブトピックの調査 [11] を行った．具体的には，一般向け

合を算出し，Web ページのランキングを決定する．さらに文検索エンジン，子供向け検索エンジン，Wikipedia という複数

献 [7] では，検索結果の表示方法に関する支援が行われている．

のソースから取得したサブトピックを，familiar，interesting，

具体的には，クエリログを利用して，クエリに関して適切なメ

useful の 3 つの観点から子供にスコア付けしてもらうことで，

ディアタイプを決定し，子供向けのマルチメディア検索を実現

子供向けサブトピックの特徴を調査した．調査の結果，以下のするシステムについて述べている．また文献 [12] では，幼小者ような点が子供向けサブトピックの重要度の定量化に重要であの生活様式オントロジーを構築し，子供の生活環境に密着したることが明らかになった．

Web 検索を可能とするシステムを提案している．以上のよう•子供向けサブトピックを簡単に取得できるのは検索エンに，様々な方法で子供の Web 検索支援を行う研究が行われてジンの検索結果から得られる関連検索語であるが，重要なサブ

いるが，どのようなサブトピックを子供が重要視するのかは明トピックを広くカバーするには，Wikipedia などの他のソース

らかになっておらず，子供向けサブトピックを優先的に提供すも効果的である．

る研究は行われていない．

•

サブトピックの抽象度，難易度，検索意図，検索ヒット

一方，一般的な Web 検索を支援する方法として，サブト数といった要素を考慮することが，子供向けサブトピックを特

ピックを利用する研究が多数行われている．これらの研究では，定するための手がかりとなる．

Web 検索エンジンから返される検索結果，外部ソース，クエリ

本稿では，子供にとって重要なサブトピックを優先的に提供やクリックスルーのログなどを利用して，サブトピックを抽出するため，文献 [11] の調査結果に基づき，子供向けサブトピッ

する．文献 [4] では，クエリログ，アンカーテキスト，検索結果

クランキング手法の検討を行う．この手法では，調査結果に基中のキーフレーズをもとにサブトピックを抽出し，検索結果のづいて決定した，取得ソースの種類や難易度などのサブトピッ

多様化を行っている．文献 [9] では，クエリを Wikipedia の概

クの要素に関する素性をもとに，サブトピックの子供向け度合

念にマッピングして利用することで，クエリの意図を推定し，いを数値化し，ランキングを行う．これにより，子供が検索ク

カテゴライズを行っている．これらの手法で取得できるサブト

エリを入力した際に，子供向けサブトピックをクエリサジェス

ピックは子供向けとは限らないため，子供にとって重要なサブションとして提示したり，子供向けサブトピックに基づいて検トピックについて調査する必要がある．

索結果のクラスタリングを行うことで，子供は自分の検索要求を具体的なクエリとして入力する手間なしに，必要とするサブトピックを容易に得ることできる．

3. 子供向けサブトピックの調査
本章では，筆者らが文献 [11] において実施した子供向けサブ

以下では，まず 2 章で関連研究について述べ，3 章で子供向トピックの調査結果を紹介する．文献 [11] での調査に加え，新けサブトピックの調査について述べる．その後，4 節で子供向

たなサブトピックの特徴の一つとして，検索エンジンにおけるけサブトピックランキング手法について述べ，最後に 5 章で本ヒット数と子供向けサブトピックの関係性についても調査した．

稿のまとめを行う．

2. 関 連 研 究
近年，子供の Web 検索プロセスを調査する研究が盛んに行われている．Bilal ら [3] は，大学院生と子供に，あるコンテン3. 1 サブトピックのスコア付け
子供向けサブトピックの調査を行うため，クエリとサブト
ピックから成るデータセットを作成し，データセット中のサブトピックを子供に評価してもらうことで，サブトピックのスコアを決定した．

3. 1. 1 データセット
子供が検索する可能性の高いクエリで調査を行うため，Ya-

hoo!きっずの 2009 年 12 月から 2011 年 10 月の週間検索キー
ワードランキング上位 10 位より選んだ “地球温暖化”，“聖徳太子”，“金環日食”，“沖縄”，“恐竜”，“トマト”，“ポケモン”，“ハリー・ポッター” の 8 個のクエリを想定した．
クエリには，学習を主な目的とするもの，趣味を主な目的とするもの，学習と趣味のどちらも目的とし得るものが存在し，何を目的とするかによって重要なサブトピックが異なると考えられる．そのため，“地球温暖化”，“聖徳太子”，“金環日食” については学習のみ（3 ペア），“沖縄”，“恐竜”，“トマト” については学習と趣味の 2 種類（6 ペア），“ポケモン”，“ハリー・ポッター” については趣味のみ（2 ペア）の検索目的を想定した合計 11 種類の検索目的とクエリのペアについてサブトピッ
クを抽出し，データセットとした．
サブトピックを抽出するには，検索エンジンの検索結果，

Wikipedia などの外部ソース，クエリやクリックスルーのログを利用する方法が代表的である．そこで，サブトピックの抽出には，子供が Web 検索の際に利用する一般向け検索エンジン
や子供向け検索エンジンにおける関連検索語や検索結果，および，代表的な外部リソースとして Wikipedia を利用した．具体的には，以下の 6 種類のソースからサブトピックを抽出した．

•

genRel：Yahoo! JAPAN におけるクエリの関連検索語•

genKey：Yahoo! JAPAN におけるクエリの検索結果上位 100 件のスニペットに出現するキーフレーズ•

kidRel：Yahoo!きっずにおけるクエリの関連検索語•

kidKey：Yahoo!きっずにおけるクエリの検索結果上位

100 件のスニペットに出現するキーフレーズ•

kidCat：Yahoo!きっずにおけるクエリの検索結果上位

100 件の登録カテゴリ•

wiki：クエリをタイトルとする Wikipedia の記事内の項

目タイトル
キーフレーズについてはキーフレーズ抽出 API（注 2）で取得した．この API を用いることで，検索結果のスニペットから特徴的な表現とその重要度を取得できる．
関連検索語から抽出できるサブトピックは，他のソースと比較すると少数であるが（Yahoo! JAPAN で最大 10 個，Yahoo!
きっずで最大 3 個），ユーザが頻繁にクエリと一緒に検索する語であるため，重要性が高いと考えられる．
一方，検索結果中のキーフレーズからは，非常に多数のサブトピックを抽出することが可能であるが，ノイズも多く含まれると考えられる．Yahoo! JAPAN，Yahoo!きっずの両方を利用したのは，Yahoo! JAPAN と Yahoo!きっずでは検索結果に含まれるページが異なるためである．Yahoo!きっずの検索では，クエリに対応するおすすめサイトがあれば，そのサイトを検索結果上位に表示し，その後，Yahoo! JAPAN と同様のページ
検索結果のランキングを表示する．したがって，あらかじめ登

図 1 サブトピック評価システム

録されていないページは表示されにくいため，Wikipedia などの子供向けでないと考えられるページは少なくなる．
また，Yahoo!きっずのおすすめサイトにはそれぞれカテゴリが登録されており，検索結果中に表示される．カテゴリはクエリの大まかな意図を示すと考えられるため，サブトピックを取得する一つのソースとして用いた．カテゴリは具体的ではないため，意図を大幅に絞ることはできないが，子供にとって知っている語が多いと考えられる．

Wikipedia については，記事タイトルをクエリと見なしたとき，記事全体のキーフレーズは子供にとって難解である可能性が高いが，項目タイトルはそこまで難解でなく，クエリの内容を説明するサブトピックになり得ると考えられる．
複数ソースから取得したサブトピック中からクエリに該当する文字列は除外して統合し（例：“沖縄旅行” と “旅行” は “旅行” に統合），複数のソースから同一のサブトピックを取得した
場合も 1 つのサブトピックとして扱った．そして，Yahoo!キーフレーズ API で返ってきた重要度のスコアが低いサブトピックは除外し，各クエリのサブトピックを 100 個とした．

3. 1. 2 手

順

評価実験のために，Web 上で簡潔な操作で評価を行えるシス
テム（図 1）を構築した．被験者は，小 1 から中 3 の複数の学校に所属する子供 49 名とし，データセット内のサブトピック
について，3 つの質問により評価を行ってもらった．被験者の内訳は小学校低学年が 1 名（男 1 名），小学校中学年が 11 名
（男 5 名，女 6 名），小学校高学年が 25 名（男 19 名，女 6 名），
中学生が 12 名（男 7 名，女 5 名）であった．3 つの質問で評価を行ったのは，内容を知っているのかどうか，検索する意欲を促進するかどうか，検索時に役立ちそうかどうかという多面的な要素で，子供の興味をひき，重要なサブトピックがどのようなものなのかを調べるためである．以下に実験の手順を示す．
（ 1 ） ランダムに表示されたサブトピック s について，以下の質問に ‘はい’，‘どちらでもない’，‘いいえ’ で回答してもらう．

•

q に関係する s について少しでも何か知っていますか？

(familiar)（注 2）：Yahoo!デベロッパー キーフレーズ抽出 API:

http://developer.yahoo.co.jp/webapi/jlp/keyphrase/v1/extract.html•

situation のために，q に関係する s についてインターネットで検索してみたいですか？(interesting)•

表 1 クエリの各検索目的の平均スコア

situation のために，q に関係する s は役に立ちそうで

familiarinteresting
usefulすか？(useful)（ 2 ） 各クエリで (2) を複数サブトピックで繰り返す．

味を目的とする “友達と遊ぶ” などのあらかじめ定義した状況

familiarinteresting
usefulwiki
274

最初に，被験者に大学に集まってもらい，1 日で 100 個のサ
被験者については，自宅からも自由にサブトピックの評価を行ってもらった．その結果，各サブトピックに対して，少なく
とも 4 人分の評価を取得した．被験者間のサブトピックに対する評価の一致率を示す Fleiss’s Kappa は，familiar で 0.234，

interesting で 0.208，useful で 0.206 であり，サブトピックに対する評価は年齢による差が大きいと考えられるため，一致率は低かった．
その後，3 つの質問について評価してもらった結果に基づき，

1,100 の評価用サブトピックに対して，サブトピックごとのスコアを決定した．具体的には，評価の ‘はい’ を 1 点，‘どちらでもない’ を 0.5 点，‘いいえ’ を 0 点とし，質問ごとに各サブト
ピックの合計点数を算出し，評価した被験者数で平均した値をそのサブトピックのスコアとした．スコアが高いほど，子供にとって高評価なサブトピックであることを示す．

3. 2 調 査 結 果
サブトピックのスコアの傾向を調査することで，子供の興味をひくサブトピックを優先的に提供するために必要な要素について検討した．具体的には，まず，データセットとして用意したクエリやサブトピックの抽出元ソースの種類が，抽出できる
サブトピックの種類に影響し，子供によるサブトピックのスコアに影響すると考えられるため，クエリやソースの種類とサブトピックのスコアの関係について調査した（調査項目 1）．これにより，検索目的の違いによるサブトピックのスコアの違いや子供向けサブトピックの抽出に重要なソースを明らかにした．
また，クエリやソースの種類を考慮しただけでは，子供向けサブトピックとそれ以外を区別するためのサブトピックの定量化が難しいと考えられるため，子供が重要視すると予想されるサ
ブトピック自身の抽象度や検索意図などの特徴とサブトピックのスコアの関係について調査した（調査項目 2）．
このような調査の結果，子供向けサブトピックの抽出に重要であると考えられる以下の点が明らかになった．
（ 1 ） 学習を目的とするか趣味を目的とするかで重要なサブトピックが変化する．
趣味に関するクエリでは嗜好の影響が強く出る一方，学習に関するクエリは，子供にとって一見親しみにくくとも，役に立ちそうなサブトピックが多数ある（3. 2. 1 項）．また，学習に関するクエリでは，授業で学ぶようなサブテーマを示すサブトピッ
ク，趣味に関するクエリでは，動画像に関するサブトピックが高スコアであり，重要な検索意図は異なる（3. 2. 2 項）．
（ 2 ） 幅広く重要な意図をカバーするためには，関連検索語

wiki
0.371
0.531
0.537

genRel
0.506
0.562
0.565

genKey
0.407
0.508
0.513

kidRel
0.684
0.615
0.668

kidKey
0.397
0.519
0.518

kidCat
0.427
0.515
0.515

表 3 各ソースから抽出したサブトピックの個数を利用する．
ブトピックを評価してもらった．その後，協力してもらえる

趣味
0.401
0.493
0.586

表 2 各ソースの平均スコア（ 3 ） (1) から (3) を複数クエリで繰り返す．
検索目的 situation は，学習を目的とする “学校の宿題”，趣

学習
0.376
0.538
0.541

genRel106

genKey378

kidRel28

kidKey507

kidCat190を中心に複数のソースを利用すべきである．
検索エンジンの関連検索語から抽出するサブトピックは高スコアであるが，数が少なく，カバーできる意図が少ない（3. 2. 1
項，3. 2. 2 項）．検索結果中のキーフレーズや Wikipedia などのソースを利用すると，関連検索語だけでは抽出できないサブ
トピックも抽出することができる（3. 2. 2 項）．
（ 3 ） サブトピックの抽象度，難易度，意図，検索ヒット数
といった要素は子供向けサブトピックを特定するための手がかりとなる（3. 2. 2 項）．
複数の要素を組み合わせることで，子供向けサブトピックの定量化を効果的に行えると考えられる．
以下では，これらの知見の詳細について順に述べる．なお，
上記において，括弧内が各知見に関連する結果について述べる
調査項目に対応している．

3. 2. 1 クエリやソースとスコアの関係
クエリとソースによるサブトピックのスコアの違いについての調査結果を述べる．クエリの各検索目的でのスコアの平均値を表 1 に，各ソースでのスコアの平均値を表 2 に，各ソースで抽出したサブトピックの個数を表 3 に示す．サブトピックのスコアに対して，0.05 を有意水準とし，クエリとソースの2 要因の分散分析を行ったところ，familiar についてはクエリ，
ソース，interesting についてはクエリ，useful についてはクエ
リ，ソースの違いにより，有意にスコアが変化していることが分かった．この結果より，クエリやソースの違いが子供にとってのサブトピックの評価と相関していることが分かる．さらに，分散分析の後，有意な要因について Bonferroni 法 [6] で多重比較を行い，0.05 の有意水準で有意に平均値が異なる組合せを調査した．
クエリごとの違いについては，多重比較の結果，趣味に関するクエリと学習に関するクエリとの間で，スコアの平均値が有意に異なることが分かった．具体的には，familiar について
は，学校で学んだ内容かどうかに依存する学習に関するクエ
リのスコアが，趣味に関するクエリのスコアよりも低かった．

interesting や useful については，嗜好の影響が強く出るため，興味のないクエリに関するサブトピックのスコアを低く評価する子供が多かった．そのため，趣味に関するクエリのスコアは，学習に関するクエリのスコアを下回った．この結果より，学習を目的とした際には，子供にとって，親しみが薄くとも，調べてみたい，役に立ちそうと感じるサブトピックが多く存在すると考えられる．

ソースごとの違いについては，多重比較の結果，familiar に

表4

ついては genRel と kidRel，useful については kidRel のみがfamiliarinteresting
useful他のソースのスコアの平均値を有意に上回った．これは，検索

サブトピックの要素とスコアの相関係数
intent
0.447
0.370
0.380

diﬃculty−0.2840.005−0.019abstraction
0.294
0.133
0.197

kidHit
0.286
0.171
0.231

genHit
0.252
0.170
0.202

エンジンの関連検索語は実際にユーザが頻繁に検索している
キーワードの組合せであり，子供にとっても分かりやすいサブクの示す検索意図とする．例えば，“沖縄” というクエリについトピックが多く含まれるためと考えられる．genRel と kidRelては，“レンタカー”，“ホテル” というサブトピックは旅行プラを比較すると，Yahoo! JAPAN は一般向け検索エンジンであンに関する検索意図，“戦争”，“年表” というサブトピックは歴

り，genRel の中には “沖縄ツーリスト” など子供にとって役に史に関する検索意図を示すと考えられる．サブトピック自体が立たないと感じるサブトピックが多くあるため，genRel のスコ

分かりやすくとも，サブトピックの示す検索意図と子供にとっアは kidRel のスコアを下回った．このように関連検索語を取得ての情報要求が食い違えば，重要なサブトピックとはならない

できる際には，積極的に子供向けサブトピックとして利用する

ため，サブトピックの示す検索意図がどのようなものであるのことが効果的であると考えられる．ただし，関連検索語から取かも重要であると考えられる．

得できるサブトピックは非常に少ないため，幅広いサブトピッ

さらに，サブトピックを示すキーワードを用いて，検索エンクを取得するためには，他のソースも利用すべきと考えられる．

ジンで検索した際に返ってくる検索ヒット数も，子供にとって他のソースの傾向としては，wiki では，難解な表現ではある

重要なサブトピックなのかどうかを示す一つの要素になるとが，学習に役立ちそうなサブトピックが多いと考えられるため，考えられる．検索ヒット数の極端に少ないようなサブトピック

familiar は低いが，interesting や useful は比較的高かった．つは，一般的に利用されにくい不要なサブトピックである可能性

まり，interesting や useful を重視する際には，Wikipedia などがある．

のやや難解ではあるが整理された外部情報を利用することが効果的であると考えられる．genKey や kidKey からは，数多くのサブトピックを抽出できるが，サイト名や団体名などの難解な固有名詞を多く含むと考えられるため，スコアは高くなかっ以上の議論に基づいて，子供のサブトピックの評価に影響する要素として，本研究では以下の 4 点について調査する．

•

diﬃculty：サブトピックの難易度．漢字とアルファベッ

トの文字数．

た．そのため，多様なサブトピックを抽出するために検索エン•abstraction：サブトピックの抽象度（1：低〜5：高）．

ジンを利用する際には，子供にとって不要なサブトピックを排•

intent：サブトピックの示す検索意図．

•

genHit (kidHit): Yahoo! JAPAN（Yahoo!きっず）にお除する必要がある．kidCat は，固有名詞や難解な表現は少な
いと考えられるため，familiar は wiki や kidKey よりもやや高いてサブトピックで検索して返ってきたページ数．

かった一方，抽象度の高いカテゴリは曖昧であり，interesting

abstraction と intent については，3 名の評価者で全サブト

や useful というスコアは高くなかった．そのため，カテゴリ

ピックについてアノテーションを行った．具体的には，abstrac-についても，抽象度が高くて役に立たないような不要なサブト

tion については 3 名の評価者が，5 段階評価で各サブトピック

ピックを排除する必要がある．

の抽象度を付加し，3 名の評価者に付加された抽象度の平均値

以上の結果より，子供にとって重要なサブトピックを幅広くをそのサブトピックの abstraction とした．intent については，抽出するには，子供向け関連検索語を中心に，その他のソース

3 名の評価者が，各クエリのサブトピック 100 個を 10 個からも利用してサブトピック候補を抽出した後，何らかの特徴を考

15 個の意図になるように分類し，3 名の評価者に付加された意慮して，子供向けのサブトピックとしての重要性を決定する必図のうち，大多数を占める意図をそのサブトピックの intent と要があると考えられる．

した．3 名の評価者の一致度を示す Fleiss’s Kappa は，抽象度

3. 2. 2 サブトピックの要素とスコアの関係

で 0.701，intent で 0.672 あり，中から高程度一致していた．

子供向けサブトピックとしての重要性を定量化するために，各要素とサブトピックのスコアの関係を調べるために，各要

サブトピックのスコアに影響を与えると考えられるサブトピッ

素の値と familiar，interesting，useful の相関係数を求めた（表クの要素について検討する．

4）．diﬃculty は familiar と弱い負の相関，intent は familiar と子供は語彙が少ないため，子供向け文章では漢字やアルファ弱い正の相関，genHit と kidHit は familiar と useful との間にベットの割合や文字数が少ない．そのため，漢字数やアルファ弱い正の相関，intent については familiar，interesting，useful

ベット数が子供によるサブトピックの評価に影響すると考えらと弱から中程度の正の相関が見られた．これらの相関は単独でれる．また，サブトピックの抽象度もサブトピックの評価に影は十分に大きいものであるとはいえないが，これらの要素を組響すると考えられる．つまり，具体的なサブトピックには難解み合わせることで，子供向けサブトピックの定量化の際に有効なものが多くなるので，評価が低くなる可能性がある．

な素性になり得ると考えられる．特に意図については考慮する

さらに，サブトピックが示す検索意図が重要となる．一般的必要があると考えられる．

に，検索を行う際には，どのような情報要求を達成したいかとそこで，具体的に，どのような意図が子供にとって高評価ないう何らかの検索意図が存在し，その検索意図に対応する有効のか，3 種類のクエリの例を表 5 に示す．各クエリで，高（低）なサブトピックが存在すると考えられる．つまり，提示するサ

スコアな意図 3 つとそれぞれの意図の中で最高スコアのサブト

ブトピックは検索意図と対応すべきである．これをサブトピッ

ピック，その抽出元のソースを括弧内に示す．

表5
検索目的
学習

クエリ
地球温暖化

学習

沖縄

趣味

沖縄

趣味

ポケモン

スコア
高
低
高
低
高
低
高
低

高スコア，低スコアな意図とサブトピック例

意図の例（サブトピック例：取得元ソース）
現状（現状：genRel, genKey），乗り物（乗りもの：kidCat），影響（気候変動：wiki, genKey）
動画像（アニメーション：kidKey），リンク集（リンク集：kidCat），議論（議論：wiki）
歴史（米軍基地：wiki），地名（那覇市：genKey），クイズ（クイズ：kidKey）
レストラン（居酒屋：genKey），サイト（総合情報ポータルサイト：genKey），ニュース（ニュース：kidCat）
スポット（美ら海水族館：genKey, kidKey），気候（気候：wiki, kidRel），動画像（地図：genKey）
クイズ，データ（人口：wiki），豆知識（県名の由来：wiki）
カード（カードゲーム：genKey, kidKey），動画像（イラスト：genKey），団体（任天堂：kidKey）
豆知識（開発：wiki），スポット（ナガシマスパーランド：genKey, kidKey），地名（イスラム諸国：wiki）

学習に関するクエリに対しては，“動画像”，“リンク集” と– diﬃculty：難易度．漢字やアルファベットの文字数．

いう情報の形式に関する意図が低スコアである一方，“現状”，– abstraction：抽象度．一般名詞か固有名詞か．

“影響” というクエリに関するサブテーマを示すような一般名詞– intent：意図．あらかじめ定義した教科カテゴリと属性．

のサブトピックが高スコアであった．それに対し，趣味に関す– hit: Yahoo! JAPAN と Yahoo!きっずでの検索ヒット数．

るクエリに関しては，“豆知識”，“クイズ” などの知識に関する

サブトピックの要素に関する素性については，どのように各意図が低スコアである一方，学習に関するクエリでは低スコア

素性をスコア化するかを検討しなければならないが，本研究でであった “動画像” が高スコアであった．この結果より，検索は，単純な方法でサブトピックの各要素を素性として用いたと目的が学習か趣味であるかによって重要な検索意図が変化する

きに，どの程度効果があるのかを確認することに重点を置く．
クエリに関する素性ついては，学習か趣味をクエリの検索目と考えられる．
また，表 5 の取得元ソースに注目すると，高スコアな意図を的として用いる．これは，3. 2 節で述べたように，学習を目的表現するサブトピックは幅広いソースから取得されたものであとするか趣味を目的とするかで重要なサブトピックが変化する

る．この結果より，子供にとって重要な意図を示すサブトピッためである，自動でクエリの検索目的を決定するには，各目的

クを幅広く抽出するには，特定のソースを利用するだけでは不において頻繁に検索される語を定義した辞書を利用する方法な十分であることが分かる．

どが考えられるが，今回は，データセット中で，クエリごとに

4. 子供向けサブトピックランキング手法

あらかじめ定義された目的をそのまま利用した．
抽出ソースに関する素性については，サブトピックを抽出し上記の調査結果に基づき，子供向けサブトピックランキン

たソースの種類，つまり，それぞれのソースがサブトピックのグ手法について検討する．この手法を用いることで，多くの抽出元であるかどうかを用いる．これは，3. 2 節で述べたよう

サブトピック候補の中から子供にとって familiar，interesting，に，幅広く重要な意図をカバーするためには，関連検索語を中

useful といった観点で重要度の高いサブトピックを優先的に提心に複数のソースを利用すべきであるためである．ただし，検示することが可能となる．

索結果のスニペット中のキーフレーズである genKey，kidKey

4. 1 手法の設計については，ソースにおけるそのサブトピックの重要度として，子供向けサブトピックランキング手法では，複数のソースかYahoo!キーフレーズ API で取得したキーフレーズの重要度をらサブトピック候補を抽出し，抽出ソースの種類に加えて，クエリの検索目的，サブトピックの要素を考慮して，サブトピッ
クのスコアを算出し，ランキングを行う．

4. 1. 1 素性

用いた．
サブトピックの要素に関する素性については，3. 2 節で述べたように，サブトピックの抽象度，難易度，意図，検索ヒット
数といった要素が子供向けサブトピックを特定するための手が具体的には，実験で得られた知見に基づき，以下に示す素性かりとなることを考慮し，以下のように決定する．diﬃcultyのスコアを算出する．括弧内は，3. 2 節に示すどの知見に対応については，サブトピックの文字列中に占める漢字とアルファする素性なのかを示している．

ベットの数を利用した．abstraction については，3. 2 節で 3 人•

クエリに関する素性（知見 1）の評価者が判定した抽象度に基づいて，あらかじめ定義した一– クエリの検索目的：学習もしくは趣味．

般名詞か固有名詞かを用いた．形態素解析ツールの品詞判定な•どを用いることで，自動で一般名詞か固有名詞かを判定する

抽出ソースに関する素性（知見 2）– genRel：Yahoo! JAPAN の関連検索語かどうか．

ことも可能と考えられる．intent については，自動で決定する– genKey：Yahoo! JAPAN の検索結果のスニペットに出ことは難しいため，調査の結果，子供にとってのサブトピック

現するキーフレーズかどうか．

の重要度に影響を与え得ることが判明した「教科カテゴリ」と– kidRel：Yahoo!きっずの関連検索語かどうか．

「属性」の 2 種類を素性として用いた．教科カテゴリは，教科– kidKey：Yahoo!きっずの検索結果のスニペットに出現すごとにあらかじめ作成した辞書に基づいて決定した．具体的にるキーフレーズかどうか．

– kidCat：Yahoo!きっずの検索結果中の登録カテゴリかどは，Yahoo!きっずのカテゴリである科学，数学，社会，生活，
言語，総合学習を用い，Yahoo!きっずの各カテゴリの登録サイトに出現する重要語を抽出して，各カテゴリの辞書を作成した．

うか．

– wiki：Wikipedia の項目タイトルかどうか．

そして，サブトピックがどのカテゴリの辞書に登録された重要•語を含むかで該当カテゴリを決定した．どのカテゴリの辞書に

サブトピックの要素に関する素性（知見 3）

も含まれない場合は，その他のカテゴリとした．属性について
は，3. 2 節で 3 人の評価者が分類した組織，人名，地域，サイ

一方，クエリ q に対する NDCG は，スコアの高い順に並べた理想的な結果とのずれを表す指標で，式 (2) より求める．

(

ト，情報タイプから選択して用いた．形態素解析ツールの品詞判定などを用いて，これらの属性を自動で判定することも可能

1
N DCGq = IDCGq∑lrel1 +

reli
i=2 log2 i)(2)と考えられる．hit については，Yahoo! JAPAN，Yahoo!きっreli はランキング i 番目のサブトピックのデータセットで定義

ずの 2 種類の検索エンジンにおいて，サブトピックを検索クエされたスコア，l はランキングの検索数であり，上位 1 件からリとした際に返ってくるそれぞれの検索結果ページ数を用いた．

20 件で評価を行った．IDCGq はクエリ q に対する N DCGq

4. 1. 2 手

順の理想値，つまりデータセットで定義された理想ランキングの前項で説明した素性に基づき，ユーザがクエリを発行すると，以下の手順で，子供向けにサブトピックのランキングを行う．

N DCG 値である．
4. 2. 3 評 価 結 果

これにより，ランキング上位ほど子供向けのサブトピックとな

評価では，ソースを組み合わせる効果，および，サブトピック

り，子供がクエリを入力して Web 検索を行う際に，容易に子の要素を組み合わせる効果を調査するため，ソース単独を用い

供向けサブトピックを取得し，それらに対応する内容についてたもの（genRel，genKey，kidRel，kidKey，kidCat，wiki），

調べることが可能になると考えられる．

ソース全てを用いたもの（Source），全ての素性を用いたもの（ 1 ） ユーザがクエリを入力する．

（All）の 8 種類のケース（手法）でランキングした結果を比較（ 2 ） クエリに対するサブトピックを以下に示す複数のソーした．

スから抽出する．

素性の組合せは Ranking SVM を用いて決定した．具体的に•Yahoo! JAPAN におけるクエリの関連検索語

は，SV M rank（注 3）を用いて実装を行い，カーネルは線形カーネ•

Yahoo! JAPAN におけるクエリの検索結果上位 100 件

ルを用いた．データセット中の 1 種類のクエリをテストデータ，のスニペットに出現するキーフレーズ

残りの 10 種類のクエリをトレーニングデータとし，Ranking•

Yahoo!きっずにおけるクエリの関連検索語

SVM を用いてランキング関数を学習した．学習したランキン•

Yahoo!きっずにおけるクエリの検索結果上位 100 件のス

グ関数によって，テストデータのサブトピックのランキングをニペットに出現するキーフレーズ•

作成し，NDCG 値と AP 値を算出した．全てのクエリを順にテYahoo!きっずにおけるクエリの検索結果上位 100 件の登

録カテゴリ

•

ストデータとし，最終的に，全 11 種類のクエリの平均 NDCG
値と MAP 値を算出した．

クエリをタイトルとする Wikipedia の記事内の項目タイ

各手法における MAP 値を表 6 に示す．有意水準 0.05 でトル

Bonferroni 法で多重比較を行ったところ，MAP 値については，（ 3 ） 4. 1. 1 項で述べた複数の素性に基づき，抽出した各サ全ての質問に対して，ソース単独よりも Source と All が有意

ブトピックのスコアを算出する．具体的には，0 ∼ 1 に正規化に高精度であった．具体的には，All については，familiar でした各素性のスコアを Ranking SVM を用いて組み合わせ，各12.2%から 40.8%，interesting で 43.2%から 49.8%，useful で

サブトピックのスコアとする．

21.6%から 50.8%，ソース単独よりも MAP 値が向上した．ま（ 4 ） スコアの降順にランキングする．

た，Source については，familiar で 8.9%から 37.5%，interest-

4. 2 評

ing で 41.9%から 49.5%，useful で 19.6%から 49.0%，ソース

価4. 2. 1 データセット

単独よりも MAP 値が向上した．これは，ソース単独では取得

データセットは 4.3.1 項で述べた子供 49 人に評価してもらっできるサブトピックに限界があるためである．Source と All のた 11 種類のクエリに関するサブトピック 1,100 個とした．fa-

MAP 値については有意差は見られなかったが，All の方が安miliar，interesting，useful のそれぞれの観点で子供に評価し定して高精度であった．具体的には，All の方が平均としては，てもらったスコアの降順に並べたサブトピックのランキングを，

familiar で 3.3%，interesting で 1.3%，useful で 1.8%，Source

それぞれの観点における正解ランキングとした．

よりも MAP 値が向上した．

4. 2. 2 評 価 指 標

各手法における NDCG 値を図 2 に示す．横軸は，式 (2) にランキングの精度を測る代表的な指標として，MAP 値とおける上位何番目までのサブトピックを検索するかという検NDCG 値を用いた．MAP(Mean Average Precision) は高スコ

索数 l を示す．NDCG 値については，単独ソースの結果では，

アなサブトピックを網羅している割合を示す素性で，式 (1) よfamiliar や useful で，ランキング上位での genRel や kidRel はり求める．

比較的高精度であり，familiar のみでは genKey も比較的高精(∑
1

APq = k

)

k

(∑
1

reli , M AP = n

n

APi

)

(1)

度であった．しかし，ランキング 10 位を超えると途端に精度が下がったり，質問ごとに偏りがあったりするため，単独ソー

reli はランキング i 番目のサブトピックのデータセットで定スでの精度は不安定であるといえる．それに対して，Source や義されたスコア，APq はクエリ q に関する Average Precision

All は安定して高精度であり，さらに All は Source よりも高精（式 (4.1) より求める），k はクエリ数，n は全サブトピック数である．

（注 3）：SV M rank : http://www.cs.cornell.edu/people/tj/svm light表 6 素性の各組合せによるランキングの MAP 値
familiarinteresting
useful

wiki
0.116
0.033
0.176

genRel
0.300
0.035
0.314

genKey
0.033
0.016
0.043

kidRel
0.091
0.090
0.090

kidKey
0.116
0.026
0.106

kidCat
0.014
0.092
0.022

Source
0.389
0.511
0.512

図2

素性の各組合せによるランキングの NDCG 値

All
0.422
0.524
0.530

度である．有意水準 0.05 で Bonferroni 法で多重比較を行ったは子供目線での重要度のみを考慮していたので，子供にとってところ，全ての質問で，ほぼ全ての点に対して，All の NDCG

重要なサブトピックの中で，実際に Web 検索時に役立つサブ

値は単独ソースの NDCG 値だけでなく，Source の NDCG 値

トピックがどのようなものなのかを調査する必要がある．

を有意に上回っていた．具体的には，All は，familiar で 0%か
ら 12.4%，interesting で 3.8%から 8.2%，useful で 7.3%から

13.6%，Source の NDCG 値を上回っていた．これらの結果より，単独ソースよりもソースを複数用いる方が幅広く安定して高精度にサブトピックを取得できること，および，ソースだけ
でなく，サブトピックの要素を考慮することで，より有効なサ
ブトピックを上位にランクできることを確認した．

5. お わ り に本研究では，子供にとって重要なサブトピックを子供に優先的に提供するため，先行研究の調査結果に基づき，子供向けサブトピックランキング手法について検討した．子供向けサブト
ピックの調査に関しては，小中学生 49 名に，一般向け検索エンジン，子供向け検索エンジン，Wikipedia という複数のソースから取得したサブトピックを familiar，interesting，useful の 3
つの観点からスコア付けしてもらうことで行った．その調査結果に基づいて，子供向けサブトピックランキング手法を提案した．子供向けサブトピックのランキングは，取得ソースの種類と難易度などのサブトピックの要素に関する素性をもとに，サブトピックの子供向け度合いを数値化することで行う．子供にスコア付けしてもらったデータセットを用いて，子供向けサブ
トピックランキング手法で順位付けしたサブトピックのランキ
ングの精度を確認したところ，提案手法では，サブトピックの抽出元ソースの種類と，サブトピック自身の難易度，教科カテゴリ，検索ヒット数といったシンプルな素性を考慮するだけで，ソースを単独で用いたり，抽出元ソースの種類のみを考慮してサブトピックをランキングする場合よりも，子供向け度合いの高いサブトピックを多く上位にランクできたことを確認した．
今後は，より高精度な子供向けサブトピックランキングを実現するために，各素性を自動でスコア化する方法を改善する必要がある．また，現状で用いている素性である意図，抽象度，難易度，検索ヒット数というサブトピックの特徴の他にも有効な特徴がないのかをさらに検証する必要がある．さらに，今回

6. 謝

辞

本研究は JSPS 科研費 (24187) の助成によるものである．ここに記して謝意を表す．
文

献[1] J. R. Anderson: Cognitive Psychology and Its Implications,Freeman & Co, 1980.
[2] D. Bilal: Children’s Use of the Yahooligans! Web SearchEngine III. Cognitive and Physical Behaviors on Fully SelfGenerated Search Tasks, Journal of the American Society
for Information Science and Technology, Vol. 53, No. 13,
pp. 1170–1183, 2002.
[3] D. Bilal and J. Kirby: Diﬀerences and Similarities in Information Seeking: Children and Adults as Web Users,
Information Processing and Management, Vol. 38, No. 5,
pp. 649–670, 2002.
[4] Z. Dou, S. Hu, K. Chen, R. Song, and J.-R. Wen: MultiDimensional Search Result Diversiﬁcation, Proc. WSDM
2011, pp. 475–484 (Feb. 2011).
[5] A. Druin, E. Foss, H. Hutchinson, E. Golub, and L. Hatley:Children’s Roles using Keyword Search Interfaces at Home,
Proc. CHI 2010, pp. 413–422, 2010.
[6] C.W. Dunnett: New Tables for Multiple Comparisons witha Control, Biometrics, Vol. 20, No. 3, pp. 482–491, 1964.
[7] K. Gyllstrom, M.-F. Moens: A Picture is Worth a Thousand
Search Results: Finding Child-oriented Multimedia Resultswith CollAge, Proc. SIGIR 2010, pp. 731–732 (July 2010).
[8] K. Gyllstrom, M.-F. Moens: Wisdom of the Ages: toward
Delivering the Children’s Web with the Link-based AgerankAlgorithm, Proc. CIKM 2010, pp. 159–168 (Oct. 2010).
[9] J. Hu, G. Wang, F. Lochovsky, J.-T. Sun, and Z. Chen:
Understanding User’s Query Intent with Wikipedia, Proc.
WWW 2009, pp. 471–480 (Apr. 2009).
[10] M. Iwata, Y. Arase, T. Hara, and S. Nishio: A Childrenoriented Re-ranking Method for Web Search Engines, Proc.
WISE 2010, pp. 225–239 (Dec. 2009).
[11] 岩田麻佑, 原 隆浩, 西尾章治郎: 子供による Web 検索支援のための検索クエリに関する子供向けサブトピックの調査, 情報アク
セスシンポジウム 2012, pp. 23–30, 2012.
[12] M. Nakaoka, Y. Shirota, and K. Tanaka: Web Information Retrieval Using Ontology for Children based on Their
Lifestyles, Proc. ICDEW 2005, p. 1260 (Apr. 2005).