筑波大学技術報告

24: 62-65, 2004

筑波大学内 Web データの全文検索システムの構築佐藤守
筑波大学 研究協力部研究協力課（学術情報処理センター)〒305-8577 茨城県つくば市天王台 1-1-1

筑波大学内 Web データを対象とした検索システムを構築し，筑波大学公式ページ内を検索対象範囲に限定した検索サービス1として利用を開始した．本稿
では日本語全文検索システム構築と運用に関する取り組みを紹介しながら，ログ統計の有効活用について報告する．

１．はじめにの主要な Web サイト（110 サイト）を収集対象とし，深度を徐々に深くしながらデータ収集を実施した．
深度毎のデータ収集の傾向について図 2 に示す．
ネットワークや各サイトの状態により多少の変動が深度毎にみられるが，収集時間は収集量にほぼ比例し，平均収集速度は 76KB/s であった．さらに高速化したいところであるが，各 Web サーバの運用妨害とならぬようにするためには，収集時のアクセス間隔等を調整しながら時間を掛けて収集することも必要である．

筑波大学の公式ページでは，学外の方に対する情報提供を行うサービスとして Web 検索システムを導入し，大学が保有する大量のデータの中から目的の情報を効率よく提供するための手段として活用されている．この検索システムは，検索対象が中規模程度でも検索要求に対する応答時間の高速化が期待できる Namazu2を検索エンジンとして採用するとともに，各検索対象サイトからのデータ収集を行うために wget3というソフトウェアを利用している．収集したデータを事前にインデックス化する処理を含め，これら一連のデータ更新を無人で実施するためのスクリプトを作成することによって，定期的に自動実行することで円滑な運用が可能となった．（図 1）

図１. 筑波大学公式ページ内の検索

ファ イルサイズ （MB)２．学内 WEB データの収集方針
2.1 学内サイトの不特定収集による予備評価

3000

250

2500

200

2000

150

1500

100

1000

50500

収集データのファ イ ルサイ ズ（MB)
収集時間(秒）

0001234567891011

Webデータ の深度

図２. 深度毎のデータ収集時間と容量
40000
HT ML文書等のファ イルサイズ（K B)

検索システム構築当初（2002 年）は収集対象の URLを特定せずに筑波大学公式ページを起点とし，そこからリンクを辿り学内サイトについてデータ収集を行った．起点からの収集深度を 10 に設定して Webデータの収集を行った際，216 サイト（重複分を除く）の情報が集まった．収集対象のデータタイプを指定せず画像等も全て収集していたため，合計ファイル容量は約 13GB になり約 14 時間を費やした．同じ収集を行った場合に，現在では図書館情報大学統合分が追加となり，収集時間とデータ量がさらに増加することになる．また，このようなアクセス間隔を設けずに大量のデータを連続的に収集する方法では，収集対象の各サイトに対して高負荷となるため改善する必要があることが判明した．

300

2.2 特定サイトのデータ収集による評価

35000

30000

25000

20000

15000

次に収集対象データタイプを HTML 文書等に限定することで収集時間とデータ収集量を軽減し，学内

10000

5000

011

http://www.tsukuba.ac.jp/~robots/ja/index.html
http://www.namazu.org/
3
http://www.gnu.org/software/wget/
2234567891011
Webデータ の深度

図３. 学内 Web サイト別深度毎データ収集量-62-収集時間(秒）概要2.3 最終深度の予測
検索件数

2200

収集したデータを Web サイト別に分けて深度毎のデータ収集量について調べた．（図 3）
図 2，図 3 ともに深度 10 で飽和状態になることがわかる．そこで，この２つの図において深度 11 のデー
タを深度 inf（無限）でデータ収集した際の数値に置き換えて表示してみた．無限深度での数値が深度 11での曲線に調和していることから，学内主要 110 サ
イトにおける収集可能なＷeb データの起点（公式ページ）からの最終深度を 11 と予測できる．以上の結果から現在はデータ収集時の上限値として深度 11 に設定し，各 Web サーバへの負荷を軽減するための配慮としてアクセス間隔を 3 秒程度に設定し，30 時間以上かけてゆっくりデータ収集を行っている．

2003年10月

2000

2003年11月

1800

2003年12月

1600
1400
1200
1000
800
600
400
200

3127292521231915171397113510
日付

図４. 日毎検索件数
検索件数

18000

３．検索システムにおける日本語の取扱い

2 0 0 3 年1 0 月

17000

2 0 0 3 年1 1 月

16000

2 0 0 3 年1 2 月

15000

合計

14000
13000

はじめにで述べたように，本検索システムはNamazu を検索エンジンとして採用しているが，その際，日本語文書を検索システム用にインデックス化する過程において単語単位に分割する分かち書き処
理に KAKASI4を利用している．これには付属の辞書があり単語単位に読みと漢字等のペアで構成（約 12万件）されている．この辞書だけでも普段使用している一般的な日本語であれば分かち書きの辞書として十分機能する．ただし学内に存在する各種専門分野で使用される専門用語に関する検索では，期待する検索結果を得られない場合もある．検索精度を向上させるためには，分かち書きに用いる辞書の強化を行うことで解決できる．幸いインターネット上には各分野の辞書等5が存在し入手可能である．しかし辞書の書式は様々なので KAKASI 用辞書の書式に変換する必要がある．そこでスクリプトを作成し，重複分を排除しながら簡単に変換できるようにした．
現在，医学，法学，地球物理学，生命科学の辞書を追加し合計約 17 万件を登録して利用している．必要に応じてさらに辞書の強化を行う予定である．

12000
11000
10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
0日

火水

木金土曜日

図５. 曜日毎検索件数
2 0 0 3 年1 0 月
2 0 0 3 年1 1 月

22時

20時

18時

16時

14時

12時

10時

8時

4時

0時

6時

2 0 0 3 年1 2 月

2時

アク セ ス件数2400
2300
2200
2100
2000
1900
1800
1700
1600
1500
1400
1300
1200
1100
1000
900
800
700
600
500
400
300
200
1000

４．検索システムの利用状況

検索時刻

図６. 時刻毎検索件数
1400

大学1)
院(

2 0 0 3 年1 0 月
2 0 0 3 年1 1 月

キーワ ード検索件数

検索システムを稼動してから現時点で３ヶ月経過した．この間に記録された Web サーバのアクセスロ
グをログ解析ソフトの Analog6を用いて，検索システムに関する利用状況を調べた．学内外から平均28548 件/月の検索があり，日毎の検索件数（図 4）
では平均 930 件/日であった．このうち学外からの検索は各月ともに 80%を超えていて全体の平均では 82.6%であった．曜日毎の検索件数（図 5）では平日の火曜日～水曜日が最大となり休日には減少する傾向がわかる．時刻毎の検索件数（図 6）では，16 時～17 時の間でアクセスが最大となることもわかる．これにより検索システムの稼動状況が把握でき，システム作業等を行う場合に，負荷の少ない曜日や時間帯を選択するなど運用面に反映しながら検索応答性能の維持に役立てることができる．

月

1200

2 0 0 3 年1 2 月
合計

1000

800

学部

大学

600

4 0 0大 学

200

0

4

http://kakasi.namazu.org/
5
http://www.kusastro.kyoto-u.ac.jp/~baba/dic/free-dic.html
6
http://www.analog.cx/

0院

院

(2 )

(1)
遺世界産

(2)

編入

(3 )

世界遺産

(4 )

医学編入

(3)

学部

(6 )
5)
7)
部(入試
院(推薦
大学
(8 )
法科
入試

(4)

)
(6)
(5)
部
(7) 祭 (8学
大学 学部
推薦
医学編入
入試 学園
法科
医院 (2) 編 入
学部(1)(3) 入 試
大入試 世界(4)(5) 学 院
合格(7) 遺 産TH(6)発表
K( 推(8学部3)
薦入法科(2)
編 入 医 学)
(5試)
大学
部
(7)
48院
1234
56(6) 7 順位 8(1)図７. 検索キーワードランキング TOP8-63-

５．検索システムの応用

8261 学 (8.17%)562 田 (0.56%)9000
1944 入 (1.92%)
567 工 (0.56%)
1761 ー (1.74%)
8000
610 理 (0.60%)
1679 大 (1.66%)
7000
620 授 (0.61%)
1555 部 (1.54%)
6000
5000
642 専 (0.64%)
1502 科 (1.49%)
4000
3000
659 類 (0.65%)
1366 教 (1.35%)
2000
1000
65 人 (0.66%)
1247 ン (1.23%)
066 編 (0.66%)
1209 試 (1.20%)

検索システムでは，検索するキーワードが入力されるため，検索の目的や意図が多少なりとも含まれている．少数のログでは意味を持たないが，大量のログを統計処理して抽出したキーワードの上位ランキングから大学に対する関心事項等が時間経過とともに把握可能である．Namazu のログを解析するツールとして nlview.cgi7を利用し，学外からの検索キーワードと検索回数について調べ，上位 8 位までを（図 7）に示した．「大学院」というキーワードが各月とも第 1 位であり学外からの関心が高いことがわかる．
また，同じ意味のキーワードでも文字が一文字でも異なると別のキーワードとしてカウントされてしまうため，キーワードの内容とランキングの結果が必ずしも検索の実態を反映しているとは限らない．

700 界 (0.69%)

1117 院 (1.11%)

706 世 (0.70%)

1058 生 (1.05%)

761 群 (0.75%)

1030 研 (1.02%)

769 会 (0.76%)
969 究 (0.96%)771 遺 (0.76%)
954 ス (0.94%)783 産 (0.77%)920 育 (0.91%)
796 医 (0.79%)

図９. 文字出現頻度 TOP30（10 月）
7 3 9 8 学 (7 .9 8 % )
4 9 2 タ (0 .5 3 % )8 0 0 0
2 0 3 0 ー (2 .1 9 % )4 9 3 編 (0 .5 3 % )
1 8 0 6 部 (1 .9 5 % )7000
4 9 5 ル (0 .53 % )1 7 7 5 入 (1 .9 2 % )6000
5 4 7 田 (0 .5 9 % )1 44 9 科 (1 .5 6 %)5000
5 4 9 体 (0 .5 9 % )1 3 1 5 大 (1.4 2 % )4000

６．検索キーワードの総合的な比較
図７では「大学院」とは別に「法科大学院」というキーワードもあり，同様に「学部」「医学部」や「編入」「入試」「推薦入試」などから共通のキーワードとして「大学院」「学部」「入」が含まれている．共通キーワードを含む集合について調べることにより総合的な比較ができるようになる．そのためには検索キーワードから指定した文字列に関して解析するツール（図 8）が必要となり次の２つの機能を作成した．

5 7 9 工 (0 .6 2 % )3000

1 2 6 8 試 (1 .3 7 % )2000
5 8 9 バ (0 .6 4 % )1000

1 2 2 8 教 (1 .3 2 % )0
5 9 4 理 (0 .6 4 % )1 0 9 7 生 (1 .1 8 % )

5 9 9 授 (0 .6 5 % )

1 0 8 0 ン (1 .1 7 % )

6 1 1 類 (0 .6 6 % )

9 8 5 研 (1 .06 % )

6 7 7 群 (0 .7 3 % )9 23 究 (1 .0 0 % )7 0 3 薦 (0 .76 % )8 9 8 育 (0 .9 7 % )7 0 6 会 (0 .7 6 % )8 6 8 院 (0 .9 4 % )7 0 7 推 (0 .7 6 % )
8 2 5 医 (0 .8 9 % )
7 8 9 ス (0.8 5 % )図１０. 文字出現頻度 TOP30（11 月）
6 3 4 8 学 (7 .7 3 % )1 5 4 3 入 (1 .8 8 % )
4 7 2 類 (0 .5 7 % ) 7 0 0 0
4 9 0 発 (0 .6 0 % )1 5 2 7 ー (1 .8 6 % )6000
4 9 4 表 (0 .6 0 % )1 3 1 6 部 (1 .6 0 % )5 0 3 書 (0 .6 1 % )
5 2 9 田 (0 .6 4 % )

5000
4000

1 2 3 3 科 (1 .5 0 % )
1 1 8 4 大 (1 .4 4 % )3000

5 4 5 工 (0 .6 6 % )
5 4 9 授 (0 .6 7 % )

2000
1000

1 1 2 5 試 (1 .3 7 % )1 0 8 3 教 (1 .3 2 % )05 6 8 理 (0 .6 9 % )9 3 4 研 (1 .1 4 % )

5 7 8 格 (0 .7 0 % )図８. キーワード検索用ツール9 1 7 ン (1 .1 2 % )6 1 5 群 (0 .7 5 % )9 1 2 生 (1 .1 1 % )6 5 1 医 (0 .7 9 % )6.1 検索キーワードの文字検索機能
これは学内，学外などの対象データ範囲を選択し，指定した期間における検索キーワードについて文字列検索を行い，統計処理してランキング表示する機能である．例えば「大学院」という共通キーワードで学外からの検索について調べてみると，「法科大学院」「連携大学院」「大学院入試」「夜間大学院」「社会人大学院」など 462 種類 2515 件のキーワードがランキング表示される．これにより共通キーワードの母集団同士の比較等が可能になり，総合的な評価を行う際に役立てることができる．

6.2 検索キーワードの文字出現頻度比較機能

図１１. 文字出現頻度 TOP30（12 月）
2 2 0 0 7 学 (7 .9 8 % )
5 3 1 8 ー (1 .9 3 % )1 4 5 8 第 (0 .5 3 % ) 2 3 0 0 022000
5 2 6 2 入 (1 .9 1% )
1 4 8 6 編 (0 .5 4 % )
21000
20000
4 6 7 7 部 (1 .7 0 % )1 5 3 5 合 (0 .5 6% )19000
1 5 7 0 体 (0 .5 7 % )1 6 0 7 人 (0 .5 8 % )1 6 3 8 田 (0 .5 9 % )1 6 4 5 薦 (0 .6 0 % )

18000
17000
16000
15000
14000
13000
12000
11000
10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
0

4 1 8 4 科 (1 .5 2 % )4 1 7 8 大 (1 .5 1 % )
3 6 7 7 教 (1 .3 3 % )3 6 0 2 試 (1 .3 1 % )

1 6 5 2 推 (0 .6 0 % )3 2 4 4 ン (1 .1 8 % )

1 6 9 1 工 (0 .6 1 % )3 0 6 7 生 (1 .1 1 % )

これは 6.1 の機能と同様に対象データ範囲と期間を指定し，その間の検索キーワードについて１文字単位に分割し文字の出現頻度を比較する機能である．
78 6 4 究 (1 .0 5 % )

6 5 1 会 (0 .7 9 % )7 7 9 院 (0 .9 5 % )
6 7 1 育 (0 .8 2 % )7 3 7 合 (0 .9 0 % )6 9 5 推 (0 .8 5 % )
6 9 5 ス (0 .8 5 % )
6 9 5 薦 (0 .8 5 % )1 7 4 2 類 (0 .6 3 % )1 7 6 8 授 (0 .6 4 % )2 9 4 9 研 (1 .0 7 % )2 7 6 4 院 (1 .0 0 % )1 7 7 2 理 (0 .6 4% )2 7 5 6 究 (1 .0 0 % )2 0 5 3 群 (0 .7 4 % )
2 4 8 9 育 (0 .9 0% )2 1 2 6 会 (0 .7 7 % )2 4 3 8 ス (0 .8 8 % )2 2 7 2 医 (0 .8 2 % )図１２. 文字出現頻度 TOP30（合計）

http://village.infoweb.ne.jp/~fwnk1502/data/howto2.htm-64-この機能により検索頻度の高い文字を把握でき，さ 能を利用すれば，大学の検索機能として活用できるらにその文字を 6.1 の機能で再検索することで，通常ことも事実である．その他，商用や独自に開発したのキーワードランキングでは見えないランキングの 検索システムも各種存在し，高機能の検索も可能で把握も可能となる．図 9～図 11 は，2003 年 10 月～ある．これらのどれを選択するかは，目的や環境に12 月の各月毎の検索文字出現頻度を表しており，図 応じて選択すればよい．自前で検索システムを運用
12 はその合計である．検索されたキーワードにおけ する利点は，情報の鮮度を調節できることであり，る時期的な関心の移り変わりが浮かび上がる．
検索対象を適切に選択することにより, 上質な情報10 月には「世」「界」「遺」「産」が登場している． を提供できることにある．検索システムを稼動して11 月には「バ」「ル」「タ」がランクインしている．
から現時点で３ヶ月経過したが，学外からの利用率「バ」については，「シラバス」や「バスケットボ をみるとその重要性を再確認できる．また，検索シール」等の各月での極端な変動はないのに対し，11 ステムを運用することで，学外からの大学に対する月 の バ レ ー は 10 月 の 約 3.5 倍 の 増 加 と な り ，関心や需要などの動向についても時間経過とともにWorldCup バレーボールの影響によるものと予想で把握することが可能となる．今後は専門分野の辞書
きる．「ル」についても同様で，「サークル」等に を充実させ，全学的に検索対象範囲を拡張すること極端な変動はみられず，通常の「ル」の件数に約 2.3で，検索システム利用者の意図する情報を的確に提倍のバレーボールの件数が加算された結果となった． 供することが可能となり，さらなる利用率の増加が「タ」については，学内の各「センター」等の検索 期待できる．これにより副次的な効果も向上し，学件数に「センター試験」や「アドミッションセンタ 外の関心等を把握する手段として有効に活用できる．
ー」等の入試関連の「タ」が増加した結果である．
検索システムの運用に際し，最後に結論として導12 月は，「合」「格」「発」「表」「書」が登場し，く言葉は「アンテナ」である．つまり，検索システ「書」は「願書」の増加と「図書館」「証明書」な ムがアンテナ的な役割を果たすことも可能であるこどの件数の合わせ技となった．その他は概ね定番の とを意味する．アンテナの感度を調整しながら得ら文字が各月ともに出現している．
れたキーワードを大学運営の参考としてフィードバックすることにより，大学に求められている役割に
6.3 検索キーワードの総合的評価ついての理解を深めることに役立てることも可能である．そのためには，情報の取り扱いに十分注意す図 12 を見ると，「学」という文字が出現頻度の第るとともに，情報の鮮度・質・量を適切に管理しな1 位で他の文字と大差があり，大学として当然の結果がら検索システムの利便性と信頼性を向上させてゆとなっている．その他の出現した文字と組み合わせくことが重要であり，学内における理解と協力が必ると各種検索キーワードが想定できる．
第 2 位には，要となる．
予想外に「ー」という文字が登場した．「サークル」「サッカー」「バレー」「スポーツ」の 4 項目だけ
で 37.7%を占め，学外からの体育系サークル等に関す 謝辞る関心の高さが見えてくる．「サッカー」と「バレ検索システム構築の機会を与えて頂き，ご指導とー」の母集団を比較してみると，10 月では「サッカ ご協力頂いた大学広報課関係各位，学術情報処理セー」が「バレー」の 1.5 倍多かったのに対し，11 月，
ンター山口喜教センター長，佐藤聡講師に深く感謝
12 月では「バレー」が 2 倍近くに逆転し，WorldCup しお礼申し上げます．
効果が持続していることが観測できる．第 3 位には「入」が登場している．図 7 の合計をみると第 3 位
参考文献の「編入」609 件と第 6 位の「推薦入試」455 件およ[1] 馬場肇. Namazu システムの構築と活用, ソフトバンク
び第 8 位の「入試」397 件があり，この図では確認でパブリッシング(2001)
きない第 9 位の「編入学」353 件も存在する．これで[2] 松木孝幸, 高橋基信, 太田俊哉. Analog[アナログ]Webはランキングとして適切に評価することが難しい．
アクセスログの高速解析ソフト, 九天社(2003)[3] Namazu2.0 入門
そこで 6.1 の機能を利用して「編入」と「入試」について比較してみた．学外からの検索を対象データに [4] URL:http://www.namazu.org/doc/tutorial.html
KAKASI 漢字→かな（ローマ字）変換プログラム
選択し，10 月～12 月までの 3 ヶ月間における文字検URL:http://kakasi.namazu.org/
索を行うと，「入試」を含むキーワードの方が 2811 [5] Analog件（563 種類）となり「編入」の 1469 件（197 種類） [6] URL:http://www.analog.cx/
nlview.cgi
より出現頻度が高いことがわかる．このようにキーURL:http://village.infoweb.ne.jp/~fwnk1502/data/howto2.
htm
ワードを母集団として比較することで，キーワード[7] 法律用語電子化辞書 LKKSに付随する表現の広がりについても把握することがURL:http://icrouton.as.wakwak.ne.jp/pub/kks/index.html
でき，単純なランキングでは見えない総合的な比較 [8] 地球物理辞書
URL:http://www.chibutsu.org/jisho/が可能となる．

７．まとめ
大学独自に検索システムを用意しなくても，
Google8や Yahoo9等の検索エンジンのサイト検索機
89[9] 医学用語辞書
URL:ftp://ftp.kusastro.kyoto-u.ac.jp/pub/baba/dic/[10] ライフサイエンス辞書プロジェクト
URL:http://lsd.pharm.kyoto-u.ac.jp/index-J.html

http://www.google.co.jp/
http://www.yahoo.co.jp/-65-