DEIM Forum 2014 C8-1

自動更新型 WIX ファイル生成システムおよびDeep Web に対するアタッチ機構の構築
金岡慧†

遠山元道 ††† †† 慶應義塾大学理工学部情報工学科 〒 223-8522 神奈川県横浜市港北区日吉 3-14-1
E-mail: †kei@db.ics.keio.ac.jp, ††toyama@ics.keio.ac.jp
あらましWeb IndeX (WIX) とは, キーワードと URL の組み合わせであるエントリの集合が記述された WIX ファ

イルを用い, Web ページ内の文章に出現するキーワードに対して, それに対応する URL へのハイパーリンクを生成(アタッチ) するシステムである. 本研究ではエントリを取得するための設定ファイルを記述することで, WIX ファイ
ルの生成・自動更新を行うシステムを構築した. また検索エンジン結果ページなどのクエリパラメータのみが変化する URL 集合は無限に存在するため, WIX ファイル化が困難となる. そこで本研究では, 大規模な固有名詞のリストを用いた動的 URL を生成する新たなアタッチ機構を提案する. 固有名詞のリストは日本語版 Wikipedia の見出し語一覧、Google・Yahoo 検索急上昇ワードなどをベースとし, また Web ページを形態素解析することで得られる新規語によって構築した.
キーワード

Web IndeX 、Web 情報システム、Web スクレイピング、コンテンツ

1. は じ め にトを用いて動的に URL を生成し, 様々なページに遷移することができる機構である.

著者らは Web における利用者主導による情報資源結合を実

本論文の構成は以下の通りである. まず, 2 章で本論文の研究現するために, Web IndeX (WIX) システムという情報資源表目的について述べる. 3 章で WIX システムの概要を説明する.

現形式の提案, 開発を行っている. キーワードと URL の組み合

4, 5 章で提案システムについて説明する. 6, 7 章で評価・まとわせであるエントリの集合を XML 形式で記述したものを WIXめを行う.

ファイルという. WIX ファイルを用い, 閲覧中の Web ページに結合することで, Web ページ内の文章に出現するキーワードをそれに対応する URL へのハイパーリンクに変換する. 現在

2. 研究の目的の Web では, Web ページ作成者によって特定のアンカーテキス

近年, Web の普及と共にユーザは検索エンジンを利用して情トから特定のページへのリンクが関連付けられるという構造が報検索を行うようになった. ユーザは情報を取得したい単語を一般的である. また, Web ページ内のリンクは常に既存の Web検索エンジンに入力し, その検索結果の Web ページ集合の中ページへしかリンクすることができず, その Web ページ作成後から必要な情報を得る, といったステップを踏むのが一般的でに作成される新たな Web ページへのリンクを作成することは,ある. したがって Web ページ内で新たに情報を取得したい単

その Web ページ作成時には決してできない. WIX では, アン語が存在した場合, ユーザは更にその単語を検索エンジンなどカーテキストとリンクを Web ページから独立した「キーワーにかけなければならない. このような単語が複数存在する場合,ドとリンク先の集合」として扱い, 任意のドキュメントに対しユーザは何回も検索エンジンに単語を入力しなければならず,てユーザ主導で「結合」することでドキュメント内のキーワーかなりの負担になってしまうと考えられる.

ドを対応する URL のハイパーリンクに自動的に変換する. そこれに対し, 著者らは Web における利用者主導による情報資の結果, Web ページ作成の時系列という壁を越え, 古い Web源結合を実現するために, Web IndeX (WIX) という情報資源ページから新しい Web ページへのリンクも可能となる.

表現形式の提案, 開発を行っている. WIX システムには WIX

本論文では, WIX ファイルの管理とコンテンツの充実を目的ファイルというリソースが存在し, システム開発者らが作成しとし, 2 つの提案を行う. 1 つ目として, 設定ファイルに必要なたもの, 企業や一般ユーザが作成したものなどがある. 本研究パラメータを記述するだけで WIX ファイルを生成できるシス

ではエントリを取得するための設定ファイルを記述することで,テムを構築した. またこのシステムでは, Web 上に存在するリWIX ファイルの生成を行うことができるシステムを構築する

ンク集や単語リストファイル (Web リソース) を利用して生成ことで, WIX ファイルの作成の効率化を目的とした. またこのした WIX ファイルの自動更新を行う. 次に 2 つ目の提案としシステムでは Web リソースを用いて生成した WIX ファイルて, WIX ファイルの作成が困難となる Deep Web に対する新の自動更新を行う. これによって WIX ファイル作成者の管理たなアタッチ機構を提案する. これは 1 つの大規模な単語リスの負担を軽減するとともに, WIX ユーザが常に最新の内容のWIX ファイルを利用できるようにすることを目的とした.
また検索エンジン結果ページなどのクエリパラメータのみの id (eid), 辞書語となる keyword とそれに対応する target を属性として持つ.

が変化する URL 集合は無限に存在するため, WIX ファイルの作成は困難となる. そこで大規模な単語リストを用いた動的に

表 1 entry テーブル
wid eid

keywordtarget

URL を生成する新たなアタッチ機構を構築することで, 先の問

1

1

芥川龍之介

http://ja.wikipedia.org/wiki/芥川龍之介

題点に対処し, WIX システムにおけるコンテンツの充実を図っ

1

2ザッケローニ

http://ja.wikipedia.org/wiki/ザッケローニ

2

3

田中将大

http://ameblo.jp/tanaka-masahiro/

た. またこれにより, ユーザの Web ブラウジング時のタイピン

3

5

坂本勇人

http://www.giants.jp/G/player/prof 2756.html

グの負担を軽減することも目的とした.

::

:

:

3. Web IndeX システム
3. 1 WIX ファイル
WIX ファイルは XML 形式で記述されたキーワードと URLの組み合わせであるエントリの集合である. エントリには, キー

3. 2. 3 Find インデックス
Find インデックスでは, WIX DB の entry テーブルからエントリ情報をメモリ上に展開する. WIX システムでは Aho-Corasick 法に基づくオートマトンを構築し, 辞書式マッチングを行う.

ワードとなる見出し語を keyword 要素として, それに対応する詳細情報を示す参照先の URL を target 要素として格納する.

3. 3 ハイパーリンクの生成 (アタッチ)

また header 要素にファイル概要, 作者コメントなど, その WIXWIX システムのクライアントサイドは, FireFox add-on やファイル全体についてのメタデータを格納することも可能であChrome Extension などによって実装されている [1]. 図 2 はる. 記述例は図 1 のようになる. WIX ファイルは「wikipedia

Chrome Extension の例である. ユーザがブックマークボタンの見出し語一覧」や「Ameba ブログ」などのように, 内容があをクリックすると, サーバーサイドにおいて閲覧 Web ページとる程度グルーピングされるものが多い.

Find インデックスとの辞書式マッチングが行われ, リンク生成済の HTML 文書がレスポンスとして返され, 元のページにはなかったハイパーリンクが処理後のページに生成される. このハイパーリンクを生成する処理をアタッチと呼ぶ. これによって, WIX ファイル内の target タグに記述されている URL と結合されたことになる.

図 1 WIX ファイル記述例 (日本語版 Wikipedia.wix 一部抜粋)

3. 2 アーキテクチャ
3. 2. 1 WIX ライブラリ
WIX ライブラリでは, 全ての WIX ファイルの XML テキス
トをそのまま保存しており, ファイル単位での情報管理を行っている. アタッチの際には全ての WIX ファイルのエントリに対して辞書式マッチングを行うため, WIX ファイルをエントリ

図 2 ハイパーリンクの生成 (Chrome Extension)単位に分解し, WIX DB に格納する.

3. 2. 2 WIX DB
WIX DB では, ライブラリで管理している WIX ファイルをエントリ単位に分解し, RDB にタプルとして管理する. WIX

4. 自動更新型 WIX ファイル生成システム
4. 1 背景と概要
WIX ファイルを作成するには次の手法が挙げられる.

ファイルのもつエントリの情報は entry テーブルで管理される.

(表 1). エントリが属する WIX ファイルの id(wid), エントリ（ 1 ） 手動での記述

（ 2 ） WIX File Extractor [2] の使用一覧などといったリンク集や, Wikipedia の見出し語一覧ファ（ 3 ） Web 上のリンク集をクローリングイルから作成した WIX ファイルがあげられる. これらの WIX（ 4 ） Web 上の単語リストファイルの使用

ファイルは元にしている Web リソースの内容が更新されるたび（ 5 ） ローカルの単語リストファイルの使用に, その WIX ファイルの内容も更新されるべきである. しかし
その更新の確認を, Web リソースから生成された全ての WIX

作成方法 1 の手動での記述の場合, ユーザの意図が最も反映ファイルに対して行うことは負担となる. そこで本システムでされた WIX ファイルが作成できるが, 手間や時間といった負荷は以下の図 4 のようなステップを Web リソースから生成されが大きい. 作成方法 3 のように Web 上のリンク集から HTMLた WIX ファイルに対して定期的に行うことで, その内容を常パーサーやプログラムを記述することによってエントリを取得に最新の状態にすることができる. これによってファイル作成することはできるが, 知識のないユーザにとっては非常に困難者の負担軽減につながり, ユーザが常に最新の情報を得ることとなる. この問題への解決策として, 藤井が提案した WIX ファができる.

イル作成支援システムである WIX File Extractor [2] がある.
これはウェブブラウザの拡張機能を用い, リンク集が存在する

Web ページ上でユーザがマウス操作で目的のエントリ部分を選択することで, システムがそのエントリまでの X Path 式を用いて WIX ファイルを作成することができる. しかし, 作成したWIX ファイルにノイズが含まれるといった問題点がある. 作成
方法 4・5 に関してもプログラムを記述することになるが, リンク集や単語リストファイルごとにプログラムを記述して WIXファイルを作成するのはとても非効率であると言える.
図4

そこで本研究ではリンク集や Web 上・ローカルの単語リス自動更新処理の流れ

トファイルからエントリを取得する設定ファイルを記述することで WIX ファイルの生成を行うことができるシステムを提案

4. 2 システム内部仕様

する. これによって知識のない一般ユーザだけでなく, HTML本システムは以下の処理部によって構成される.

パーサーやプログラムを記述することができるユーザにとって（ 1 ） Web リソースの更新確認部もそれらを記述する手間を省くことができ, 効率的に精度の高Web リソースを元に生成した WIX ファイルの最新更新日

い WIX ファイルを作成することができる. 設定ファイルは図

時情報は, 以下の表 2 のように管理されている.

3 に示すように JSON 形式で記述される.

{"wixFileName" : "…",
"username" : "…",
"origin" : "…",

表 2 WIX ファイル最終更新日時テーブルid

wixfile nameupdate date1

Wikipedia ja

2013-Dec-19 12:12:32

2

Wikipedia en 2013-Dec-02 11:07:54

3ameblo

2013-Dec-02 04:30:06

:::…

}

 Web リソースの最新更新日を HTTP ヘッダのメタ情報にあ図 3 設定ファイル

る Last-Modified エンティティヘッダフィールドから定期的に取得し, DB の値と比較して更新されていた場合, エントリ取得

wixFileName では WIX ファイルの名前を定義し, username部に処理が移る.

では作成者名を記述する. origin では以下のいずれかを指定す（ 2 ） エントリ取得部

る.

エントリ取得処理を行う. 設定ファイルにおいて記述され•”html” : Web 上のリンク集からエントリを取得•”webfile” : Web 上に存在する単語リストを使用•”localfile” : ローカルの単語リストを使用た”origin”の値によって処理が分岐する.
（ 3 ） WIX ファイル生成部
エントリ取得部から受け取ったエントリを元に WIX ファイ
ルの作成を行う.

またここで, Web 上に存在するリンク集や単語リストファイルを Web リソースと呼ぶ. Web リソースを用いて作成され（ 4 ） アップデート処理部

る WIX ファイルは WIX システムにおいて主力コンテンツと作成した WIX ファイルをライブラリに配置し, DB とインなっているものが多い. 例えば Ameba 芸能人・有名人ブログ

デックスの更新処理を行う.

たタグの属性もしくは子要素のテキスト部分を keyword 要素

4. 3 システム外部仕様
4. 3. 1 リンク集を用いた WIX ファイルの作成として取得. ”trim”が記述されている場合, 取得した keyword

リンク集を用いて WIX ファイルを生成するには図 5 のように対して”trim”で指定された処理を行う.

な設定ファイルを記述する. また使用するフィールドの概要を（ 3 ） next フィールドの有無

表 3 に示す.

next フィールドが記述されている場合, 取得した target

を”url”として処理 (1) に戻る. 記述されていない場合, 取得した keyword と target のエントリ集合を WIX ファイル生成部{"wixFileName" : "…",へ渡す.

"username" : "…",
設定ファイルの記述例を図 6 に示す. 例に挙げた Web ペー"origin" : "html",

ジにおいて, CSS セレクタを指定しただけでは取得される key-"crawling" : [{"url" : "…",

word に空白やアルファベットといったノイズが入る. これに"selector" : "…",

対し, 設定ファイルにおいて keyword に対する”trim”を記述す"keyword" : {ることで, 取得される keyword のノイズを除去することができ"val" : "…",る. また図 7 に起点ページからの遷移があるリンク集の例とそ"find" : "…",の設定ファイルを示す.

"trim" : ["…"]},"next" : {…}}]

}


図5

表3リンク集を用いる設定ファイル

フィールド一覧 (*は必ず記述が必要となるフィールド)フィールド名型

概要

crawling∗array

リンク集からエントリを取得するのに必要な以下のフィールドを記述

url∗

string

起点となる URL を記述

selector∗

string

起点となる URL から抽出したい要素の CSS セレクタを記述

keywordstring keyword をどのようなオプション (val, find, trim) で抽出するかを記述

val

stringselector で指定したタグの属性を指定

find

stringselector で抽出したタグの子要素を CSS セレクタで指定

trim

array

next

object”blank”

空白削除”bracket”

括弧と括弧内の文字列の削除

図 6 リンク集を用いる設定ファイル記述例 (ページ遷移なし)

記述された正規表現, 文字列を削除

string

起点のページからの遷移がある場合に使用設定ファイルで記述されたパラメータを元に, エントリ取得
部においてエントリの取得を行う. リンク集からのエントリの取得には, 起点となるページの URL と取得したいエントリが存在する CSS セレクタを必ず指定する必要がある. 処理の流れは以下のようになる.
（ 1 ） ”url”, ”selector”の処理指定された URL にリクエストを送り, HTML 文書を取得.
指定された CSS セレクタを用いて取得した HTML 文書をパース. CSS セレクタで指定されたタグの href 属性を target 要素として取得.
（ 2 ） ”keyword”の処理指定がない場合, 抽出したタグのテキストノードを keyword
要素として取得. ”val”, ”find”が記述されている場合, 抽出し図 7 リンク集を用いる設定ファイル記述例 (ページ遷移あり)

4. 3. 2 単語リストファイルを用いた WIX ファイルの作成
Web 上・ローカルに存在する単語リストファイルから WIXファイルを作成するには, 図 8, 図 9 のような設定ファイルの記述が必要になる. それぞれ”uri”, ”filepath”の値として参照する単語リストファイルの URI またはパスを指定し, ”format”の部分にはファイルの形式を記述する. ”prefix”の値には, 単語と結合することで URL を形成する文字列を記述する. 図 10 に

Web 上の日本語版 Wikipedia の見出し語一覧ファイルを用いた WIX ファイルの生成を行う設定ファイルを例として挙げる.


図 10 日本語版 Wikipedia 単語リストファイルを用いる設定ファイル{"wixFileName" : "…",
"username" : "…",その膨大な数のエントリを記述することになってしまい, 作成"origin" : "webfile",が困難となる. またそれらの中からいくつかを選ぶということ"resource" : [{になっても, ユーザによってその選定の指標は異なることから,"uri" : "…",一意に定めることができないといった問題も発生する. (図 11)"format" : "…","prefix" : "…"}]

}

図 8 Web 上の単語リストファイルからの WIX ファイルの作成

{"wixFileName" : "…","username" : "…",
図 11 WIX ファイル化が困難となる例 1"origin" : "localfile","resource" : [{また各コンテンツとそれに対する URL が一覧表示されてい"filepath" : "…",る検索結果ページ自体を WIX ファイル化するとなると, その"format" : "…",URL は入力されうるキーワードの数だけ存在することになり,"prefix" : "…"先と同様に作成は困難となる. 以下の図 12 に Google 検索結果}]

}

ページ集合を WIX ファイル化する例を取り上げる.



図 9 ローカルの単語リストファイルからの WIX ファイルの作成

5. Deep Web に対するアタッチ機構
5. 1 背景と概要
従来の WIX システムにおいて, 動画や画像などのコンテンツやポータルサイトの検索結果ページなどが遷移先となるような WIX ファイルは存在しなかった. そのような WIX ファイ
ルを作成するとなると, コンテンツが存在する URL や検索結果ページ内の個々の URL を target 要素, それに対応するキーワードを keyword 要素として格納した WIX ファイルを生成することとなる. しかしそのような URL は膨大に存在するため,WIX ファイル化するとなるとそれぞれのキーワードに対して

図 12 WIX ファイル化が困難となる例 2

しかし検索エンジン結果ページなどの URL は全て共通してクエリパラメータのみが変化し, URL からクエリパラメータを除いた部分 (以下 prefix と呼ぶ. 表 4 参照) は変化しない. このように Web 上に存在しているが検索エンジンのクローラーがインデックス化することのできない領域にある文書や Web ページなどのことを Deep Web という. 例えばポータルサイトでのキーワードに関する検索結果ページや, amazon や youtube のように検索窓にキーワードを入力して得られる結果ページなどである. この特徴を利用し, 固有名詞から成る 1 つの大規模な単語リストと prefix を結合することで動的 URL を生成する,WIX ファイルを使ったアタッチとは異なる新たなアタッチ機構を構築した. prefix は以下の表 4 のように格納されている.
表 4 prefix テーブル

図 13

単語リストを用いたアタッチ

idnameprefix1

Googlehttp://www.google.co.jp/search?&q=

2

Yahoo

http://search.yahoo.co.jp/search?p=3

amazon http://www.amazon.co.jp/s/ref=nb sb noss 2?field-keywords=

4

youtubehttp://www.youtube.com/results?search query=

ベースとなる単語リストに加え, Web ページを形態素解析す:::ることで上記の単語では網羅しきれない新規語の抽出を行った.

5. 4 形態素解析による新規語の抽出

形態素解析には, オープンソースの形態素解析エンジンである
単語リストは Wikipedia の見出し語, Google・Yahoo 検索急

MeCab（注 1）を使用した.

上昇ワードなどをベースとし, また Web ページを形態素解析することで得られる新規語によって構築した. Web ページは,5. 4. 1 メインコンテンツ部分の抽出

Google ニュースや Yahoo ニュースなどのニュースページを対Web ページのテキスト部分が解析対象になるが, その全てを象とした. つまり 1 つの単語リストと prefix との結合を行うこ

解析対象としてしまうとメニューバー, ナビゲーションメニュー,とで動的に URL を生成し, 様々なページに遷移することがで広告部分といったいわゆるノイズと呼ばれる部分まで含んでしきる新たなアタッチ機構である.

まうこととなる. 一般的に, ノイズ部分は Web ページのコンテンツの 40〜50%を占める. (図 14)5. 2 単語リスト DB とアタッチ機構
Deep Web に対するアタッチ機構では, 単語リスト DB を用いてアタッチを行う. 通常の WIX ファイルを用いたアタッチはキーワードに対応する URL との結合処理を行うが, Deep Webに対するアタッチ機構ではツールバーのボタンと単語リスト

DB のキーワードを元にアタッチを行い, アタッチされたキーワードがユーザによってクリックされた際, そのキーワードと押されていたツールバーのボタンの情報を元に, URL を動的に生成し, 遷移することができる. 図 13 にその様子の例を示す.

5. 3 ベースとなる単語リストの構築
本研究では日本語 Wikipedia の見出し語から固有名詞を抽出し, ベースとなる単語リストとした. Wikipedia は世界最大規図 14 Web ページ上のメインコンテンツとノイズ模のコンテンツ量を誇る Web 事典であり, 幅広い分野に関する単語を網羅している. 日本語版の単語総数は 2014 年 1 月時点

本研究では Fei Sun らが提案した手法 [3] を用いて Web ペーにおいて 246 万語にのぼる. 4 章において提案した自動更新型

ジのメインコンテンツ部分の抽出をまず行い, そこから得られWIX ファイル生成システムを用いて, Wikipedia の見出し語一るテキストに対して形態素解析を行った. 更に, Web ページの覧ファイルがアップロードされると, ベース単語リストに用いヘッダー情報の内, タイトル・キーワード・ディスクリプションている Wikipedia の見出し語一覧との差分更新を行う仕様とといったメタ情報に記述されている内容も抽出することで, 新なっている.

Wikipedia の他に, Google・Yahoo 検索急上昇ワードから得られるトレンドワードに着目し, 新規語の追加を行った.

（注 1）：形態素解析エンジン MeCab, 京都大学情報学研究科および日本電信電話株式会社コミュニケーション科学基礎研究所 共同研究ユニットプロジェクト,

http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html

規語の抽出を図った.

表 5 に示す 21 種類の WIX ファイルのうち, 約 7 割が URLと CSS セレクタの記述のみ, もしくはデフォルトのキーワー

5. 4. 2 形態素解析による新規語の抽出アルゴリズム

ド編集機能 (空白・括弧の削除) を用いて適合率 100%の WIX

新規語を抽出する既存研究は数多く存在する. それらは沢井ファイルを生成することができた. その他のリンク集に関して

ら [4] のように Web 検索を利用した名詞のみで構成される複合は, 正規表現を用いて特定のノイズを除去する, またオプション名詞の抽出や, 伊藤ら [5] のように品詞結合規則や外部辞書デー機能として find フィールドを設定することで, 適合率 100%のタを用いた複合名詞の抽出手法が多い. それに対し今回提案すWIX ファイルを生成することができた. WIX ファイルを生成る手法では, 個々のウェブページを対象に, そのウェブページにする既存の手法では, キーワードの編集やノイズを除去するこ

おいて出現頻度の高いキーワードに焦点をあて, 複合名詞だけとは困難であったが, 本システムでは空白や括弧の削除, 正規表でなく, 名詞以外の品詞からも始まる新規語の抽出を図る.
まずメインコンテンツとメタ情報抽出処理後のウェブページ現によるノイズの除去が可能であり, 期待通りの WIX ファイルを生成することができたのだと考える.のテキスト部分を得る. この際, テキスト部分は全て結合してまた表 5 に示されるように, 設定ファイル自体の記述行数は得るのではなく, HTML のタグを利用することで文章の切れ目

平均で 14 行と, HTML パーサーやプログラムを記述するよりや単語の分かれ目を認識する. このようにして得たテキスト部もはるかに少ない記述で WIX ファイルを生成することができ分に対し, MeCab を用いて形態素解析を行う. 名詞は対象外とた.

した品詞結合規則 (動詞と助動詞の結合など) に当てはまる形

22 種類のうち日本図書館協会の全国の図書館の公式ホーム

態素は予め結合する. 隣接する形態素の出現確率の差を用いてページのリンク集（注 2）では適合率 100%の WIX ファイルを生成以下のように表す.

するために正規表現を数多く記述した結果となった. 原因としては, 該当 Web ページの HTML の構造がリンク集のみを特定

diﬀP = |P (i) − P (i + 1 )|できる構造でなかったため, CSS セレクタでキーワード部分の指定をしただけではエントリ対象外のノイズが除去できず, 各全ての形態素間の diﬀP を算出し, 値が小さく, かつ P (i) とノイズに対応する正規表現を記述しなければならなかったた

P (i + 1 ) が大きいものを選定し, 閾値 t とする. 助詞などのよめである. しかしこのように設計がしっかりとなされていない

うなストップワードは出現確率が高くなることから, ストップWeb ページは稀であることから, 本システムの設定ファイルをワードとそれ以外の品詞の形態素間の出現確率の差を利用する

用いることで再現率と適合率が 100%となる WIX ファイルをことで単語の切り出しを行っていく. 出現確率が等しい, つま作成することができ, 有用性があると言える.

り diﬀP が 0 になる, もしくは先に選定した t となるような形態素を結合していく.

6. 2 Deep Web に対するアタッチ機構の評価

6. 評

6. 2. 1 評 価 方 法

価本機構によってアタッチされたキーワードの精度の評価を行

6. 1 自動更新型 WIX ファイル生成システムの評価

う. 評価の対象となる Web ページはジャンルを問わずユーザ

6. 1. 1 評 価 方 法

6 人によって全 25 種類を選定してもらい, アタッチされたキー本システムの有用性を評価するため, 22 種類のリンク集をもワードの再現率は 3 式のように求めた.とにエントリー数の異なる WIX ファイルを作成し, その際に記述した設定ファイルで用いた機能に関するデータと適合率を取得した. 作成する際, 取得するエントリの再現率は 100%で固定

再現率 =期待通りアタッチできたキーワードの総数
× 100(3)アタッチされると考えられるキーワードの総数とし, その上で適合率を 100%に近づけることを目的とした. なお, 本評価においての再現率と適合率は以下のように定義する.

6. 2. 2 結果および考察
再現率 =期待通り取得できたエントリの総数
× 100
取得したいエントリの総数

適合率 =取得したいと期待していたエントリの総数
× 100(2)取得したエントリの総数(1)

表 6 に評価実験を行った Web ページにおいてアタッチされたキーワードの再現率の分布を示す. この表より約 8 割の Web
ページにおいてアタッチされると期待されるキーワードに対してアタッチが行えたことがわかる. 一方再現率が 71〜80 ％となった Web ページが存在したが, これはその Web ページの分野がマイナーな単語を数多く含んでおり, 本提案で構築した単6. 1. 2 結果および考察

語リスト DB では網羅できなかった単語が数多く存在していた評価実験に用いた 22 種類のリンク集のうち 1 種類を除いて,ためである. 再現率が 81〜90 ％の Web ページも, その Web

適合率 100%の WIX ファイルを生成することが出来た. その設定ファイルに関するデータを表 5 に示す.

（注 2）：http://www.jla.or.jp/, 参考・抜粋, 2014 年 1 月 17 日アクセス.

表 5 生成できた WIX ファイルの設定ファイルに関するデータ
ホームページ名

起点ページ数 遷移

空白、括弧削除 正規表現 オプション機能 ファイル行数

1なし

---

9552

FC Barcelona

1なし

---

926

EXILE 公式 HP

1なし

--

-

914

慶應義塾豆百科

1なし

-

--

9100

SKE48 公式 HP

1なし

-

-

-

967

Ameba 芸能人・有名人ブログ

1あり

◯

-

-

1611774

中日ドラゴンズ

1なし

◯

-

-

1273

広島東洋カープ

1あり

◯

-

-

1683

NMB48 公式 HP

1なし

◯

-

-

1265

文部科学省 大学公式 HP リンク集

4なし

◯

-

-

241136

金融庁 リンク集

1なし

◯

-

-

1294

乃木坂 46 公式 HP

1なし

◯

-

◯

1332

SAMURAI JAPAN

1なし

◯

-

◯

1336

横浜 DeNA ベイスターズ

5なし

◯

-

◯

41

90

読売ジャイアンツ

1なし

◯

-

◯

13104

阪神タイガース

2なし

◯

◯

-

1891

ソフトバンクホークス

1なし

◯

◯-

12114

SAMURAI BLUE

1なし

◯◯-

1223

日本図書館協会 図書館公式 HP リンク集

1あり

◯

◯

-

201634楽天イーグルス

1あり

◯

◯

◯

18

170

上場企業一覧リンク集「日本企業」

21なし

◯

◯

◯

123551

日本ハムファイターズ

1あり

◯◯

◯

1885

ページにおいて主題となっている単語にはアタッチがされていたが, その他アタッチ処理が行われなかった単語も存在する結果となった. これら Wikipedia のタイトルや Google, Yahoo ト
レンドワード, ニュースページを解析するだけでは網羅することができない単語へのアタッチを可能にするには, 今後ニュースページ以外の HTML 文書に対しても形態素解析を行うことで単語の切り出しを行っていく必要があると考える. その際, 固有名詞を抽出することができるより精度の高いアルゴリズムの導入が必要となると考える.

表 6 実験に用いた Web ページにおけるアタッチされたキーワードの再現率ごとの分布
本システムによる再現率
再現率 (%) 0〜60 61〜70 71〜80 81〜90 91〜99 100Web ページ数 (個)

00

14713

計257. まとめと結論
今回 1 つ目に提案した自動更新型 WIX ファイル生成システ
ムは, Web リソースを用いて作成した WIX ファイルの管理負荷の軽減, および最新 WIX ファイルの利便性に貢献する機構となった.
また 2 つ目に提案した Deep Web に対するアタッチ機構では,246 万語を誇る日本語版 Wikipedia の見出し語一覧, Google・Yahoo 検索急上昇ワードなどをベースの単語リストとし, 加えて新規語抽出アルゴリズムによってベース単語リストでは網羅できない新規語の抽出を行うことで, 大規模単語リストとそれを用いたアタッチ機構を構築した. これにより遷移できるページのコンテンツが増え, WIX がユーザにとってより良いシステ
ムになると考える.

取得エントリ数

映画.com文献[1] 林 昌弘, 青山 峻, 朱 成敏, 遠山 元道 (慶應義塾大学) ”WIX シス テム (1) ユーザインターフェース”, データ工学ワークショップ, DEIM2011. 2011.
[2] 藤井 洋太郎, 遠山 元道 (慶應義塾大学) ”WIX システムにおけるコンテンツ作成支援” 日本 DB 学会論文誌, Vol.11, No.1,
pp.7-12, June 2012
[3] Fei Sun, Dandan Song, and Lejian Liao ”DOM Based Content Extraction via Text Density”, SIGIR 11, July 24-28,
2011, Beijing, China.
[4] 沢井 康孝, 山本 和英 (長岡技術科学大学 電気系) ”Web 検索を用いた複合名詞同定”, 言語処理学会 第 14 回年次大会 発表論文
集 2008 年 3 月[5] 伊藤 直之, 西川 侑吾, 田村 直之, 中川 修, 新堀 英二 ”品詞結合
規則と外部辞書データを用いた複合名詞の生成”, FIT2009(第 8回情報科学技術フォーラム)