(57)【要約】【課題】Web文書から自動的に不要文字列を抽出することができる技術を提供すること。【解決手段】アンカーテキスト抽出手段１１は、Web文書記憶部２１に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計してアンカー記憶部２２に格納する。不要文字列抽出手段１２は、アンカー記憶部２２に格納されたアンカーテキストを同一の参照先URL毎に取り出し、同一の参照先URLを有するn個のアンカーテキストの中で最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１とそれ以外のアンカーテキストａ２〜ａｎとを比較し、アンカーテキストａ２〜ａｎのうち、アンカーテキストａ１と同一の文字列を有するアンカーテキストのうち、アンカーテキストａ１の文字列以外の文字列を不要文字列として抽出する。【選択図】図１
2007219580.tif 000002
【特許請求の範囲】
【請求項１】
アンカーテキストの不要文字列を抽出する不要文字列抽出装置であって、
参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出する不要文字列抽出手段を有することを特徴とする不要文字列抽出装置。
【請求項２】
前記不要文字列抽出手段に抽出された不要文字列が蓄積される不要文字列記憶部を有することを特徴とする請求項１に記載の不要文字列抽出装置。
【請求項３】
前記所定の参照元文書数又は参照元サイト数が、同一の参照先URLを有するアンカーテキストの中で最大の参照元文書数又は参照元サイト数であることを特徴とする請求項１又は請求項２に記載の不要文字列抽出装置。
【請求項４】
前記不要文字列抽出手段は、前記アンカーテキストａを、前記所定の参照元文書数又は参照元サイト数のアンカーテキストから、前記所定の参照元文書数又は参照元サイト数の次に参照元文書数又は参照元サイト数が多いアンカーテキストに変更し、不要文字列を抽出し、前記不要文字列記憶部に蓄積していくように構成されていることを特徴とする請求項１から請求項３のいずれかに記載の不要文字列抽出装置。
【請求項５】
Web文書を記憶するWeb文書記憶部と、
参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、
前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と
を有することを特徴とする請求項２から請求項４のいずれかに記載の不要文字列抽出装置。
【請求項６】
アンカーテキストを用いて文書検索で利用者が入力した検索語に対する関連語を検索する関連語検索装置であって、
Web文書を記憶するWeb文書記憶部と、
参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、
不要文字列が蓄積される不要文字列記憶部と、
前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と、
前記アンカー記憶部に格納された参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出し、前記不要文字列記憶部に蓄積する不要文字列抽出手段と、
入力された検索語を含むアンカーテキストを、前記アンカー記憶部から前方一致で検索し、検索語に対する関連語として出力装置に表示する関連語検索手段と
を有することを特徴とする関連語検索装置。
【請求項７】
アンカーテキストを用いて利用者が入力した検索語に対する同義語を検索する同義語検索装置であって、
Web文書を記憶するWeb文書記憶部と、
参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、
不要文字列が蓄積される不要文字列記憶部と、
前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と、
前記アンカー記憶部に格納された参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出し、前記不要文字列記憶部に蓄積する不要文字列抽出手段と、
前記アンカー記憶部に格納されているアンカーテキストを参照して、入力された検索語と同一の参照先URLを共有する度合いが閾値以上のアンカーテキストを同義語として出力装置へ表示する同義語検索手段と
を有することを特徴とする同義語検索装置。
【請求項８】
アンカーテキストを用いて利用者が入力した検索語に関する代表的なWeb文書を検索する文書検索装置であって、
Web文書を記憶するWeb文書記憶部と、
参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、
不要文字列が蓄積される不要文字列記憶部と、
前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と、
前記アンカー記憶部に格納された参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出し、前記不要文字列記憶部に蓄積する不要文字列抽出手段と、
前記アンカー記憶部に格納されているアンカーテキストを参照して、入力された検索語と一致するアンカーテキストを持つ参照元URLをそのアンカーテキストの参照元文書数の降順で参照先URLをソートして表示するWeb文書検索手段と
を有することを特徴とする文書検索装置。
【請求項９】
アンカーテキストの不要文字列を抽出する方法であって、
参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出する不要文字列抽出処理を有することを特徴とする不要文字列抽出方法。
【請求項１０】
前記抽出された不要文字列を蓄積することを特徴とする請求項９に記載の不要文字列抽出方法。
【請求項１１】
前記所定の参照元文書数又は参照元サイト数が、同一の参照先URLを有するアンカーテキストの中で最大の参照元文書数又は参照元サイト数であることを特徴とする請求項９又は請求項１０に記載の不要文字列抽出方法。
【請求項１２】
前記不要文字列抽出処理は、前記アンカーテキストａを、前記所定の参照元文書数又は参照元サイト数のアンカーテキストから、前記所定の参照元文書数又は参照元サイト数の次に参照元文書数又は参照元サイト数が多いアンカーテキストに変更し、不要文字列を抽出して蓄積していくことを特徴とする請求項９から請求項１１のいずれかに記載の不要文字列抽出方法。
【請求項１３】
記憶されているWeb文書からアンカーテキストに該当する文字列を取り出し、蓄積されている不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して記憶するアンカーテキスト抽出処理を有することを特徴とする請求項１０から請求項１２のいずれかに記載の不要文字列抽出方法。
【請求項１４】
情報処理装置のプログラムであって、
前記プログラムは、参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出する不要文字列抽出処理を情報処理装置に実行させることを特徴とするプログラム。
【請求項１５】
前記プログラムは、前記抽出された不要文字列を蓄積する処理を、情報処理装置に実行させることを特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記所定の参照元文書数又は参照元サイト数が、同一の参照先URLを有するアンカーテキストの中で最大の参照元文書数又は参照元サイト数であることを特徴とする請求項１４又は請求項１５に記載のプログラム。
【請求項１７】
前記不要文字列抽出処理は、前記アンカーテキストａを、前記所定の参照元文書数又は参照元サイト数のアンカーテキストから、前記所定の参照元文書数又は参照元サイト数の次に参照元文書数又は参照元サイト数が多いアンカーテキストに変更し、不要文字列を抽出して蓄積していくことを特徴とする請求項１４から請求項１６のいずれかに記載のプログラム。
【請求項１８】
記憶されているWeb文書からアンカーテキストに該当する文字列を取り出し、蓄積されている不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して記憶するアンカーテキスト抽出処理を有することを特徴とする請求項１５から請求項１７のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はアンカーテキストの不要文字列を抽出する不要文字列抽出装置とその方法及びプログラムとそれらを用いた装置に関し、特に、Web文書のアンカーテキストのうちキーワードの抽出に不要な不要文字列を抽出する不要文字列抽出装置とその方法及びプログラムとそれらを用いた装置に関する。
【背景技術】
【０００２】
WWW上の文書(以下、Web文書)のアンカーテキストは、そのWeb文書の内容を示すキーワードとして用いることで、Web文書検索や文書検索における検索語拡張、同義語辞書の自動構築等に利用することができる。ここで、アンカーテキストとは、ある参照元のWeb文書から参照先のWeb文書へのリンク内の文字列を意味する。例えば、URLが"http://www.aaa.com/index.html"のWeb文書aのリンクが"NEC"であり、このリンクの参照先がURL"http://www.nec.co.jp/index.html"のWeb文書bである場合、参照元Web文書aから参照先Web文書bへのアンカーテキストが"NEC"である。そして、Web文書bのキーワードとしてNECが付与されることを意味する。
【０００３】
非特許文献１には、このようなアンカーテキストをWeb文書検索で利用する技術が開示されており、検索語と一致するアンカーテキストを参照先として多く持つWeb文書を優先的に提示するものである。そして、アンカーテキストは、検索語に対する代表的なWeb文書を検索する際に有効であることが記載されている。
【０００４】
非特許文献２は、アンカーテキストを文書検索における検索語拡張に利用する技術が開示されており、検索語を含むアンカーテキストを利用者に対する関連語として提示する。例えば、"java"という検索語に対して"java"を含むアンカーテキストである"java client","java education", "v8 java"等が関連語として利用者に提示される。関連語を利用者が選択することで、検索結果の有効な絞込みが可能であることが記載されている。
【０００５】
非特許文献３、非特許文献４は、アンカーテキストを同義語辞書の自動構築に利用している技術が開示されている。これらの文献では、参照先Web文書が同一の表記が異なるアンカーテキスト群を同義語として抽出する。これは、参照先Web文書を多様な人々がさまざまな言葉で参照していることを利用した方法である。例えば、参照先のURLがwww.panahome.co.jpのWeb文書を参照先とするアンカーテキストとしては、"ナショナル住宅産業（株）（登録商標）"、"ナショナル住宅産業株式会社（登録商標）"、"パナホーム（登録商標）"等がありこれらが同義語として抽出できる。
【０００６】
これらの従来技術は、アンカーテキストからキーワード部分を抽出する手法としてさまざまな手法を用いている。
【０００７】
非特許文献１では、アンカーテキストをそのままWeb文書のキーワードとして利用している。
【０００８】
非特許文献２と非特許文献３とでは、
キーワードには不要な文字列の辞書である不要文字列辞書を、アンカーテキストに適用して削除した残りの部分をWeb文書に対するキーワードとして利用している。不要文字列の例として、非特許文献２では、"web", "site", "website","link"等の語が、非特許文献３では、"ホームへ", "戻る", "Back to"が不要文字列として記載されている。これらの表現をアンカーテキストから削除した残りがキーワードとなる。
【０００９】
非特許文献４ではアンカーテキストからキーワードを抽出する３種類の方式を比較して、検索エンジンの検索ログを用いてアンカーテキストの中で検索ログに当てはまる部分をWeb文書に対するキーワードとして利用する方法がもっとも効果が高いとしている。
【非特許文献１】Kenji Tateishi, Hideki Kawai, Dai Kusui and Toshikazu Fukushima, "Verification of Effective Retrival Method for Anchor Text on Navigational Retrieval", The 5th NTCIR Workshop Meeting(NTCIR-5), 2005.
【非特許文献２】Reiner Kraft and Jason Zien, "Mining Anchor Text for Query Refinement", In Proceedings of the Thirteenth International World Wide Web Conference,2004
【非特許文献３】津田宏, 鵜飼孝典, 三末和男, "Webディレクトリのためのページメタデータの自動付与の試み", 情報シンポジウム2002, pp.17-24, 2002.
【非特許文献４】Wen-Hsiang Lu, Lee-Feng Chien, "Translation of Web Queries Using Anchor Text Mining", ACM Transactions of Asian Language Information Processing, pp. 159-172, 2002.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
非特許文献１のように、アンカーテキストをそのままキーワードとする方法では、アンカーテキストに"のホームページ","へ戻る"といったキーワードにならない不要な文字列が含まれているために、Web文書検索で利用する場合に検索語とアンカーテキストが一致しない場合があるという問題があった。例えば、アンカーテキスト"NECのホームページ"には検索語"NEC"は一致しないため、このアンカーテキストを持つWeb文書を検索することはできない。また、文書検索における検索語拡張 で利用する場合であっても、検索結果を絞り込むには利用できない語(例. 検索語"NEC"に対して"NECのホームページ")が関連語として表示されるという問題があった。さらに、同義語辞書の構築で利用する場合であっても、検索語に関する同義語でない語(例. 検索語"NEC"に対して"NECのホームページ")が同義語として表示されるという問題があった。
【００１１】
非特許文献２や非特許文献３のように、アンカーテキストに不要文字列辞書を適用した残りの部分をキーワードとする方法は、不要文字列辞書を構築するのに多大な労力を必要とするという問題があった。例えば、非特許文献２では２０個、非特許文献では３個の不要文字列が記載されているが、実際には多くの不要文字列が存在しこれらを全て人手で網羅するのは困難であった。
【００１２】
非特許文献４のように、検索エンジンの検索の検索ログに当てはまる部分をキーワードとする方法は、検索エンジンの検索ログが手に入らなければ適用できないことや、検索ログに当てはまる部分しかキーワードとすることができないという問題があった。
【００１３】
そこで、本発明は上記課題に鑑みて発明されたものであって、Web文書から自動的に不要文字列を抽出することができる技術を提供することにある。
【００１４】
また、本発明の目的は、自動的に不要文字列辞書を構築することができる技術を提供することにある。
また、本発明の目的は、構築された不要文字列辞書を用いて、適切なキーワードの抽出を行うことができる技術を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決する本発明は、アンカーテキストの不要文字列を抽出する不要文字列抽出装置であって、参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出する不要文字列抽出手段を有することを特徴とする。
【００１６】
上記課題を解決する本発明は、アンカーテキストを用いて文書検索で利用者が入力した検索語に対する関連語を検索する関連語検索装置であって、Web文書を記憶するWeb文書記憶部と、参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、不要文字列が蓄積される不要文字列記憶部と、前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と、前記アンカー記憶部に格納された参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出し、前記不要文字列記憶部に蓄積する不要文字列抽出手段と、入力された検索語を含むアンカーテキストを、前記アンカー記憶部から前方一致で検索し、検索語に対する関連語として出力装置に表示する関連語検索手段とを有することを特徴とする。
【００１７】
上記課題を解決する本発明は、アンカーテキストを用いて利用者が入力した検索語に対する同義語を検索する同義語検索装置であって、Web文書を記憶するWeb文書記憶部と、
参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、不要文字列が蓄積される不要文字列記憶部と、前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と、前記アンカー記憶部に格納された参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出し、前記不要文字列記憶部に蓄積する不要文字列抽出手段と、前記アンカー記憶部に格納されているアンカーテキストを参照して、入力された検索語と同一の参照先URLを共有する度合いが閾値以上のアンカーテキストを同義語として出力装置へ表示する同義語検索手段とを有することを特徴とする。
【００１８】
上記課題を解決する本発明は、アンカーテキストを用いて利用者が入力した検索語に関する代表的なWeb文書を検索する文書検索装置であって、Web文書を記憶するWeb文書記憶部と、参照先URL毎のアンカーテキスト、アンカーテキストの参照元ページ数又は参照元サイト数が格納されるアンカー記憶部と、不要文字列が蓄積される不要文字列記憶部と、前記Web文書記憶部に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、前記不要文字列記憶部に格納された不要文字列に該当する文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計して前記アンカー記憶部に格納するアンカーテキスト抽出手段と、前記アンカー記憶部に格納された参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出し、前記不要文字列記憶部に蓄積する不要文字列抽出手段と、前記アンカー記憶部に格納されているアンカーテキストを参照して、入力された検索語と一致するアンカーテキストを持つ参照元URLをそのアンカーテキストの参照元文書数の降順で参照先URLをソートして表示するWeb文書検索手段とを有することを特徴とする。
【００１９】
上記課題を解決する本発明は、アンカーテキストの不要文字列を抽出する方法であって、参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出する不要文字列抽出処理を有することを特徴とする。
【００２０】
上記課題を解決する本発明は、情報処理装置のプログラムであって、前記プログラムは、参照先URLが同一のアンカーテキストのうち、所定の参照元文書数又は参照元サイト数のアンカーテキストａの文字列と、参照元文書数又は参照元サイト数が前記所定の参照元文書数又は参照元サイト数以下であって前記アンカーテキストａの文字列を含む他のアンカーテキストの文字列とを比較し、前記アンカーテキストａの文字列以外の文字列を不要文字列として抽出する不要文字列抽出処理を情報処理装置に実行させることを特徴とする。
【発明の効果】
【００２１】
本発明は、キーワードを抽出する際に不要な文字列である不要文字列を、Web文書から自動的に抽出することができるという優れた効果を有する。
【００２２】
また、本発明により抽出した不要文字列を逐次蓄積していけば、自動的に不要文字列辞書を構築することができる。
【００２３】
また、アンカーテキストを抽出する際にも、蓄積されている不要文字列を考慮することにより、より効率的に処理が行える。
更に、蓄積されている不要文字列を辞書として用いることにより、Web文書から適切なキーワードを抽出することができる。
【発明を実施するための最良の形態】
【００２４】
本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００２５】
図１を参照すると、本発明の第１の実施の形態における不要文字列抽出装置は、プログラムで制御されるデータ処理装置１と、情報を記憶する記憶装置２とを含む。
【００２６】
データ処理装置１は、アンカーテキスト抽出手段１１と、不要文字列抽出手段１２とを備えている。
【００２７】
アンカーテキスト抽出手段１１は、後述するWeb文書記憶部２１に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計してアンカー記憶部２２に格納する。
【００２８】
不要文字列抽出手段１２は、アンカー記憶部２２に格納されたアンカーテキストを同一の参照先URL毎に取り出し、同一の参照先URLを有するn個のアンカーテキストの中で最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１とそれ以外のアンカーテキストａ２〜ａｎとを比較する。そして、アンカーテキストａ２〜ａｎのうち、アンカーテキストａ１と同一の文字列を有するアンカーテキストのうち、アンカーテキストａ１の文字列以外の文字列を不要文字列として抽出する。
【００２９】
記憶装置２は、Web文書記憶部２１と、アンカー記憶部２２と、不要文字列記憶部２３とを備えている。
【００３０】
Web文書記憶部２１には、Web文書を記憶する。Web文書とはHyperText Markup Languageに基づくタグが付与された文書が該当する。図２にWeb文書の例を示す。
【００３１】
アンカー記憶部２２は、参照先URL毎のアンカーテキストの参照元ページ数又は参照元サイト数を格納する。図３にアンカー記憶部２２の格納例を示す。例えば、図３の１行目は、参照先URL"www.naist.ac.jp/index.html"に対するアンカーテキスト"NAIST"の参照元ページ数が２、参照元サイト数が２であることを意味する。
【００３２】
不要文字列記憶部２３には、不要文字列が記憶される。図４に不要文字列記憶部２３の格納例を示す。図４の例では、各不要文字列に付与された"^"や、"$"はそれぞれ、先頭記号、終端記号を意味する。先端記号が付与された不要文字列は、不要文字列をアンカーテキストの先頭から適用することを意味し、終端記号が付与された不要文字列は、不要文字列をアンカーテキストの終端まで適用することを意味する。例えば、アンカーテキスト"NAISTのホームページ"に対して、不要文字列は"のホームページ"であり、終端記号が付与されて、"のホームページ$"が不要文字列記憶部２３に記憶される。尚、図４では不要文字列記憶部２３は１つであるが、先頭記号、終端記号を用いずにアンカーテキストの先頭からする不要文字列を格納する不要文字列記憶部と、アンカーテキストの終端まで適用する不要文字列を格納する不要文字列記憶部の２つに分けて格納してもよい。
【００３３】
次に、本発明の第１の実施の形態の動作について詳細に説明する。
【００３４】
図５は第１の実施の形態の動作フローチャートである。
【００３５】
まず、アンカーテキスト抽出手段１１は、Web文書記憶部２１に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し（ステップ  １００）、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計してアンカー記憶部２２に格納する（ステップ  １０１）。
【００３６】
Web文書からアンカーテキストに該当する文字列を取り出すためには、Web文書内の、＜ａ＞タグに囲まれる文字列を取り出せばよい。図２で示した例では、Web文書記憶部２１に格納されたURLがhttp://www.aaa.com/index.html"のWeb文書であり、アンカーテキストは＜ａ＞タグに囲まれる、参照先URLがhttp://www.naist.co.jp/index.htmlの"NAISTのホームページ"と、参照先URLがhttp://www.nec.co.jp/index.htmlの"日電へGO!!"との２つである。
【００３７】
図６は、Web文書記憶部２１に格納された４つのWeb文書（１）から（４）の参照関係を現したものである。例えば、（１）のhttp://www.nec.co.jp/bbb/index.htmlのWeb文書には、参照先URLがhttp://www.nec.co.jp/index.htmlであるアンカーテキスト"Homepage of NEC"が含まれていることを意味する。これらの（１）から（４）のアンカーテキストを取り出し、アンカーテキスト中の不要文字列を削除し、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計すると、アンカー記憶部２２には、上述した図３に示されるような情報が格納される。例えば、参照先URL"http://www.naist.ac.jp/index.html"には、２つの参照元URL、（３）の"http://www.bbb.com/index.html"と（４）のhttp://www.aaa.com/index.htmlとからのアンカーテキスト"NAIST"があり、参照先URL"http://www.naist.ac.jp/index.html"のアンカーテキスト"NAIST"について、参照元文書数が２、参照元サイト数が２として登録される。ここで、参照元サイトは、参照元URLが所属するサイトが該当するが、例えば、参照元URLのドメイン名で識別できる。この場合、（３）は"http://www.bbb.com/"、（４）は"http://www.aaa.com/"がサイトとなる。
【００３８】
尚、アンカーテキスト抽出手段１１では、参照元URLと参照先URLのサイト名が同一のアンカーテキストは抽出しないようにしてもよい。例えば、図６の例では、（１）の"http://www.nec.co.jp/bbb/index.html"のWeb文書に含まれるアンカーテキスト"Homepage of NEC"の参照先は"http://www.nec.co.jp/index.html"であり、参照元URLと参照先URLのサイト名が同一になるために抽出しない。この場合、（１）から（４）のWeb文書を解析した結果は、アンカー記憶部２２に、図７のように登録される。
【００３９】
次に、不要文字列抽出手段１２は、アンカー記憶部２２に格納されたアンカーテキストを同一の参照先URL毎に取り出し、同一の参照先URLを有するｎ個のアンカーテキストの中で最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１を選択する（ステップ  １０２）。
【００４０】
続いて、不要文字列抽出手段１２は、アンカーテキストａ１と、それ以外のアンカーテキストａ２〜ａｎを比較し（ステップ  １０３）、アンカーテキストａ１の文字列と同一の文字列を有するアンカーテキストのうち、アンカーテキストａ１と同一の文字列以外の文字列を不要文字列として抽出する（ステップ  １０４）。そして、抽出した不要文字列を不要文字列記憶部２３に格納する（ステップ  １０５）。
【００４１】
例えば、アンカー記憶部２２に格納されたアンカーテキストのうち、参照先URLが"www.naist.ac.jp/index.html"であるアンカーテキストが、図８に示されるような場合、最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１は、”奈良先端科学技術大学院大学”である。すると、アンカーテキストａ１の文字列と同一の文字列を有するアンカーテキストは”奈良先端科学技術大学院大学へＧＯ！！”である。従って、アンカーテキストａ１の文字列”奈良先端科学技術大学院大学”と同一の文字列以外の文字列を不要文字列とすると、文字列”奈良先端科学技術大学院大学”と”奈良先端科学技術大学院大学へＧＯ！！”との差分である”へＧＯ！！”が不要文字列となる。
【００４２】
次に、具体的な不要文字列抽出手段１２の動作の詳細を説明する。図９は不要文字列抽出手段１２の動作フローチャートである。
【００４３】
まず、アンカー記憶部２２に格納された先頭の参照先URLを持つアンカーテキストを取り出す（Ｓｔｅｐ  ２００）。参照先URLを選ぶ順番は不要文字列の抽出とは無関係であり任意の順番でよい。ここでは、説明をわかりやすくするために、参照先URLにはURL_1からURL_nのIDが振られており、i番目の参照先URLはURL_iで現し、また、Ｓｔｅｐ  ２００ではURL_i = URL_1が選択されたとして説明する。
【００４４】
次に、参照先URLのIDがURL_iに所属するアンカーテキストを参照元文書数または参照元サイト数の降順でソートする（Ｓｔｅｐ  ２０１）。ここでは、説明をわかりやすくするために、URL_iのソート後のアンカーテキストにa_1...a_mのIDが振られており、a_1が最大の参照元文書数または参照元サイト数を持ち、j番目のアンカーテキストをa_jとして説明する。図８では、参照先URLが"http://www.naist.ac.jp/index.html"のアンカーテキストを参照先サイト数の降順でソートされた例である。
【００４５】
次に、参照先URLのIDがURL_iに所属するアンカーテキストのうちa_j = a_2を選択する（Ｓｔｅｐ  ２０１）。図９の例では、a2のアンカーテキスト"NAIST"が選択される。
【００４６】
次に、参照先URLのIDがURL_iに所属するアンカーテキストa1とアンカーテキストa_jを比較し、アンカーテキストa_jの文字列がアンカーテキストa_1の文字列を含む場合はその差分を、不要文字列候補バッファに登録する（Ｓｔｅｐ  ２０２）。図９の例では、アンカーテキストa1とアンカーテキストa6とを比較したときに、アンカーテキストa6の文字列がアンカーテキストa1の文字列を含むのでその差分である"へGO!!$"が不要文字列候補バッファに登録される（Ｓｔｅｐ  ２０３）。
【００４７】
次に、アンカーテキストのa_jのjがj >= mを満たすかを判断し（Ｓｔｅｐ  ２０４）、満たす場合はＳｔｅｐ  ２０５に進み、満たさない場合は、a_j=a_{j+1}とする（Ｓｔｅｐ  ２０７）。
【００４８】
次に、参照先URLのURL_iのiがi >= nを満たすかを判断し（Ｓｔｅｐ  ２０５）、満たす場合はＳｔｅｐ  ２０６へ進む、満たさない場合は、url_i = url_{i+1}とする（Ｓｔｅｐ  ２０８）。
【００４９】
次に、不要文字列候補バッファの不要文字列候補の内抽出ページ数がk以上のものを不要文字列として不要文字列記憶部２３に登録する（Ｓｔｅｐ  ２０６）。図１０は、削除表現候補バッファの登録例である。ここで、抽出ページ数は、削除表現候補が抽出された参照先URLの数を示す。例えば、kの値が5の場合には、"のホームページ$"、"^Homepage of "、"ほうむ$"、"へGO!!$"が削除表現として図１１のように初期の削除表現に追加され登録される。
【００５０】
尚、上述した説明では、参照先URLの数で、不要文字列を登録するか判断したが、これに限ることなく、抽出した全ての不要文字列を登録するように構成しても良い。
【００５１】
本発明の不要文字列の抽出技術は、アンカーテキスト内でキーワードとして利用できる部分はアンカーテキストの参照先URLの所有者の通称（例えば、日本電気）や、その異表記（例えば、日電）である場合が多いこと、また、通称は参照元文書数又は参照元サイト数が最大になる場合が多いこと、さらに、通称は異表記を含む場合は多いが通称が異表記に含まれる場合は少ないこと（例えば、通称“日本電気”の場合、異表記“日電”を含むが、その逆は含まない）、という性質を利用したものである。すなわち、アンカーテキストａ２〜ａｎの文字列がアンカーテキストａ１の文字列を含む場合は、アンカーテキストａ１は通称である場合が多く、アンカーテキストａ１を含むアンカーテキストａ２〜ａｎはアンカーテキストａ１の異表記である場合は少なく、その差分はアンカーテキストの不要文字列である可能性が高いという考え方である。
【００５２】
このように、第１の実施の形態によれば、Web文書から自動的に不要文字列を抽出することができる。更に、抽出した不要文字列を逐次蓄積していけば、自動的に不要文字列辞書を構築することができる。
【００５３】
また、アンカーテキストを抽出する際にも、不要文字列記憶部２３に蓄積されている不要文字列を考慮することにより、より効率的に処理が行える。
【００５４】
更に、本発明を用いれば、アンカーテキストを用いたWeb文書へのキーワード抽出を高い精度で実現できる。その理由は、削除表現辞書をWeb文書から自動的に作成する不要文字列抽出手段１２を有するからである。例えば、図４に示されるような初期の不要文字列記憶部２３が不要文字列抽出手段１２により図１１のように追加されれば、図７の初期のアンカー記憶部２２は図１２のように整理されWeb文書に対する適切なキーワードが抽出できていることがわかる。
【００５５】
第２の実施の形態について説明する。
【００５６】
上述した第１の実施の形態では、アンカー記憶部２２に格納されたアンカーテキストを同一の参照先URL毎に取り出し、同一の参照先URLを有するn個のアンカーテキストの中で最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１とそれ以外のアンカーテキストａ２〜ａｎとを比較して、不要文字列を抽出した。
【００５７】
しかしながら、基本となるアンカーテキストを、最大の参照元文書数又は参照元サイト数を有するアンカーテキストから、次に参照元文書数又は参照元サイト数の多いアンカーテキストへと順次繰り下げていくことにより、より多くの不要文字列を不要文字列記憶部２３に蓄積することができる。
【００５８】
そこで、第２の実施の形態では、多くの不要文字列を自動的に蓄積していく実施の形態について説明する。
【００５９】
第２の実施の形態の構成が第１の実施の形態の構成と異なる所は、アンカーテキスト抽出手段１１と、不要文字列抽出手段１２との動作が異なる。以下、異なる点について説明する。
【００６０】
アンカーテキスト抽出手段１１は、Web文書記憶部２１に格納されたそれぞれのWeb文書からアンカーテキストに該当する文字列を取り出し、次に、不要文字列記憶部２３に格納された不要文字列に該当する文字列を削除し、最後に、参照先URL毎にアンカーテキストを参照元文書数又は参照元サイト数で集計してアンカー記憶部２２に格納する。
【００６１】
不要文字列抽出手段１２は、第１の実施の形態と同様に、アンカー記憶部２２に格納されたアンカーテキストを同一の参照先URL毎に取り出し、同一の参照先URLを有するn個のアンカーテキストの中で最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１とそれ以外のアンカーテキストａ２〜ａｎとを比較する。そして、アンカーテキストａ２〜ａｎのうち、アンカーテキストａ１と同一の文字列を有するアンカーテキストのうち、アンカーテキストａ１の文字列以外の文字列を不要文字列として抽出するが、これで終了せずに、基本となるアンカーテキストを、最大の参照元文書数又は参照元サイト数を有するアンカーテキストａ１から、次に参照元文書数又は参照元サイト数の多いアンカーテキストａ２へと順次繰り下げ、基本となるアンカーテキストよりも、参照元文書数又は参照元サイト数が少ないアンカーテキストと比較しながら、不要文字列を不要文字列記憶部２３に蓄積していく。
【００６２】
次に、第２の実施の形態の動作を説明する。
【００６３】
図１３は第２の実施の形態の動作フローチャートである。尚、第１の実施の形態と異なる部分についてのみ説明する。
【００６４】
まず、参照先URLのIDがURL_iに所属するアンカーテキストを参照元文書数または参照元サイト数の降順でソートa1〜anする（Ｓｔｅｐ  ３００）。
【００６５】
次に、不要文字列を抽出するための基本となるアンカーテキストを基本アンカーテキストaxとする（Ｓｔｅｐ  ３０１）。基本アンカーテキストaxは、最初の処理では基本アンカーテキストa1、すなわち、第１の実施の形態と同様に、参照元文書数又は参照元サイト数が最大のアンカーテキストとなる（Ｓｔｅｐ  ３０２）。
【００６６】
続いて、基本アンカーテキストaxと、アンカーテキストa(x+1)〜anとの間で、第１の実施の形態で述べた不要文字列の抽出処理を行う（Ｓｔｅｐ  ３０３）。そして、抽出した不要文字列を不要文字列記憶部２３に格納する（ステップ  ３０４）。例えば、最初の処理では、基本アンカーテキストa1と、アンカーテキストa2〜anとの間で、第１の実施の形態で述べた不要文字列の抽出処理を行うこととなる。
【００６７】
不要文字列の格納処理が終了すると、xがn-1と等しいかを判断する（ステップ  ３０５）。xがn-1であるならば、処理を終了する。等しくなければ、xに＋１を行い（ステップ  ３０６）、Ｓｔｅｐ  ３０３に戻り、処理を続行する（ステップ  ３０７）。
【００６８】
このような構成により、より多くの不要文字列を不要文字列記憶部２３に蓄積することができる。
【００６９】
第３の実施の形態について図面を参照して詳細に説明する。
【００７０】
第３の実施の形態は、上述した実施の形態の不要文字列抽出装置を用いた関連語検索装置の例である。
【００７１】
図１４を参照すると、本発明の第３の実施の形態は、データ処理装置１と、情報を記憶する記憶装置２と、キーボード装置等の入力装置３と、ディスプレイ装置等の出力装置４を含む。
【００７２】
データ処理装置１はアンカーテキスト抽出手段１１と、不要文字列抽出手段１２と、関連語検索手段１３を備えている。このうち、関連語検索手段１３以外は上述した実施の形態と同様である。
【００７３】
関連語検索手段１３は、入力装置３から入力された検索語を含むアンカーテキストをアンカー記憶部２２から前方一致で検索し、検索語に対する関連語として出力装置４に表示する。例えば、入力装置３から検索語"NEC"が入力された場合、アンカー記憶部２２から図１５のように"NEC"に前方一致するアンカーテキストを検索し、"NEC"と完全一致するアンカーテキスト以外の"NECエレクトロニクス"、"NECソフト"、"NECフィールディング"をその参照元ページ数の総和の降順にソートして図１６のように出力装置４に表示する。
【００７４】
記憶装置２は、Web文書記憶部２１と、不要文字列記憶部２３と、アンカー記憶部２２とを備えている。これらは、すべて第１及び第２の実施の形態と同様である。
【００７５】
本実施の形態の効果は、文書検索のための検索語拡張を高い精度で実現できることである。その理由は、不要文字列辞書をWeb文書から自動的に作成する不要文字列抽出手段１２を有するからである。
【００７６】
例えば、削除表現辞書に削除表現が少ない状況では、図１７の"NECソフトほうむ""NECエレクトロニクスへGO!!"のように検索語"NEC"の検索結果の絞込みには役に立たない関連語が表示される可能性がある。不要文字列辞書を自動的に構築することで不要文字列を含まない真のキーワードのみを出力することが可能になる。
【００７７】
第４の実施の形態について図面を参照して詳細に説明する。
【００７８】
図１８を参照すると、本発明の第４の実施の形態は、データ処理装置１と、情報を記憶する記憶装置２と、キーボード装置等の入力装置３と、ディスプレイ装置等の出力装置４を含む。
【００７９】
データ処理装置１はアンカーテキスト抽出手段１１と、不要文字列抽出手段１２と、同義語検索手段１４を備えている。このうち、同義語検索手段１４以外は上述した実施の形態と同様である。
【００８０】
同義語検索手段１４は、アンカー記憶部２２を参照して、入力装置３から入力された検索語と同一の参照先URLを共有する度合いが閾値以上のアンカーテキストを同義語として出力装置４へ表示する。
【００８１】
記憶装置２は、Web文書記憶部２１と、不要文字列記憶部２３と、アンカー記憶部２２とを備えている。これらは、すべて第１、第２の実施の形態と同様である。
【００８２】
ここで、同義語検索手段１４の動作の詳細を図１９を用いて説明する。
【００８３】
まず、検索語kと一致するアンカーテキストを持つ参照先URLを検索し、さらにそれらに所属するアンカーテキストと、参照元文書数又は参照元サイト数をアンカー記憶部２２から検索する（Ｓｔｅｐ  ４００）。例えば、検索語として"NEC"が入力装置３から入力された場合に"NEC"をアンカーテキストに持つ参照元URLと、それらに所属するアンカーテキストと、参照元ページ又はサイト数をアンカー記憶部２２から検索した結果を図２０に示す。
【００８４】
次に、参照先URLに所属する検索語k以外のアンカーテキストをa_1-a_nとし、a_i = a_1に設定する（Ｓｔｅｐ  ４０１）。図２０の例では、"NEC"以外の"日本電気"、"日電"、"NEC Corp"、"NECエレクトロニクス"をそれぞれa_1,a_2,a_3,a_4とする。なお、どのアンカーテキストをどのIDに割り当てるかは任意でありこの順番に限定されない。
【００８５】
次に、検索語kとa_iの類似度を計算して、類似度が閾値以上の場合は、同義語として出力する（Ｓｔｅｐ  ４０２）。ここで類似度sim(k,a_i)とは、検索語kとa_iが同一の参照先URLを共有する度合いを意味し、例えば、図２１のような式で表すことができる。この式に従うと、kとa_iの類似度は図２２のように計算できる。例えば、閾値を0.6と設定した場合は、図２３のように"日本電気"、"日電"、"NEC Corp."が同義語として出力される。
【００８６】
なお、同一の参照先URLを共有する度合いとしては、図２１の式に限定されるものではなく、例えば、カイ二乗値や対数尤度比やDice係数や相互情報量、非特許文献3の3.2節に記載されたProbablic Inference Modelを用いる等、共起強度を計算する方法であればいずれの方法でもよい。
【００８７】
次に、アンカーテキストのa_iのiがi >= nを満たすかを判断し（Ｓｔｅｐ  ４０３）、満たす場合は処理を終了する、満たさない場合は、a_j=a_{j+1}として（Ｓｔｅｐ  ４０４）、Ｓｔｅｐ  ４０２へ戻る。
【００８８】
本実施の形態の効果は、検索語に関する同義語を高い精度で実現できることである。その理由は、不要文字列辞書をWeb文書から自動的に作成する不要文字列抽出手段１２を有するからである。
【００８９】
例えば、不要文字列辞書に不要文字列が少ない状況では、図１９のＳｔｅｐ  ４００で図２４のように"日電へGo!!"のような削除すべき表現も残り、図２５のように検索語である"NEC"と"日電"の類似度が0.32と閾値以下となってしまい、図２６のように"日電"は"NEC"の同義語でないとして表示されない。不要文字列辞書をWeb文書から自動的に構築することで削除すべき表現がアンカーテキストに残る可能性を減らすことができる。
【００９０】
第５の実施の形態について図面を参照して詳細に説明する。
【００９１】
図２７を参照すると、本発明の第５の実施の形態は、プログラム制御により動作するデータ処理装置１と、情報を記憶する記憶装置２と、キーボード装置等の入力装置３と、ディスプレイ装置等の出力装置４を含む。
【００９２】
データ処理装置１はアンカーテキスト抽出手段１１と、不要文字列抽出手段１２と、Web文書検索手段１５を備えている。このうち、Web文書検索手段１５以外は上述した第１、第２の実施の形態と同様である。
【００９３】
また、記憶装置２は、Web文書記憶部２１と、不要文字列記憶部２３と、アンカー記憶部２２とを備えている。これらは、すべて第１、第２の実施の形態と同様である。
【００９４】
Web文書検索手段１５は、アンカー記憶部２２を参照して入力装置３から入力された検索語と一致するアンカーテキストを持つ参照元URLをそのアンカーテキストの参照元文書数の降順で参照先URLをソートして表示する。例えば、検索語が"日電"でありアンカー記憶部２２が図２４であった場合を例として説明すると、"日電"含むアンカーテキストを持つ２つの参照先URLが参照元文書数の降順でソートされて図２８のように表示される。
【００９５】
参照元文書数の降順でソートするのは、参照元文書数が多い参照先URLほど検索語に関する代表的なWeb文書である可能性が高いからである。
【００９６】
本実施の形態の効果は、アンカーテキストを用いたWeb文書検索を高い精度で実現できることである。その理由は、不要文字列辞書をWeb文書から自動的に作成する不要文字列抽出手段１２を有するからである。
【００９７】
例えば、不要文字列辞書に不要文字列が少ない状況では、図２４のように"日電へGo!!"のような削除すべき表現もアンカー記憶部２２に残った状態になり、この場合、検索語である"日電"に対して"http://www.nec.com/index.html"の文書は検索されないことになる。不要文字列辞書をWeb文書から自動的に構築することで削除すべき表現がアンカー記憶部２２に残る可能性を減らすことができる。
【００９８】
本発明によれば、Web文書検索や文書検索における検索語拡張、同義語辞書の自動構築等に利用できる。
【００９９】
第６の実施の形態について図面を参照して詳細に説明する。
上述した実施の形態の説明においては、データ処理装置１の内部をハードウェア的な構成で説明したが、コンピュータプログラムにより、データ処理装置１を実現することも可能である。
【０１００】
図２９は、本発明による不要文字列抽出装置をインプリメントした情報処理システムの一般的ブロック構成図である。
図２９に示す情報処理システムは、プロセッサ１００、プログラムメモリ１０１，記憶媒体１０２からなる。
【０１０１】
プロセッサ１００とプログラムメモリ１０１とが、データ処理装置１に相当するものである。そして、プログラムメモリ１０１には、上述したアンカーテキスト抽出手段１１、不要文字列抽出手段１２、更に、関連語検索手段１３や、同義語検索手段１４、Web文書検索手段１５の各部の処理を、プロセッサ１００に行わせるプログラムが格納されており、このプログラムによってプロセッサ１００は動作する。
【０１０２】
記憶媒体１０２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができ、上述したWeb文書記憶部２１と、アンカー記憶部２２と、不要文字列記憶部２３の役割を果たす。
このように、コンピュータプログラムにより実現することも可能である。
【図面の簡単な説明】
【０１０３】
【図１】図１は第１の実施の形態における不要文字列抽出装置のブロック図である。
【図２】図２はWeb文書の例を示す図である。
【図３】図３はアンカー記憶部２２の格納例を示す図である。
【図４】図４は不要文字列記憶部２３の格納例を示す図である。
【図５】図５は第１の実施の形態の動作フローチャートである。
【図６】図６はWeb文書記憶部２１に格納された４つのWeb文書（１）から（４）の参照関係を現したものである。
【図７】図７はWeb文書を解析した結果、アンカー記憶部２２に登録される例を示した図である。
【図８】図８は第１の実施の形態を説明する為の図である。
【図９】図９は不要文字列抽出手段１２の動作フローチャートである。
【図１０】図１０は削除表現候補バッファの登録例を示した図である。
【図１１】図１１は第１の実施の形態を説明する為の図である。
【図１２】図１２は第１の実施の形態を説明する為の図である。
【図１３】図１３は第２の実施の形態の動作フローチャートである。
【図１４】図１４は第３の実施の形態のブロック図である。
【図１５】図１５は第３の実施の形態を説明する為の図である。
【図１６】図１６は第３の実施の形態を説明する為の図である。
【図１７】図１７は第３の実施の形態を説明する為の図である。
【図１８】図１８は第４の実施の形態のブロック図である。
【図１９】図１９は同義語検索手段１４の動作フローチャートである。
【図２０】図２０は第４の実施の形態を説明する為の図である。
【図２１】図２１は第４の実施の形態を説明する為の図である。
【図２２】図２２は第４の実施の形態を説明する為の図である。
【図２３】図２３は第４の実施の形態を説明する為の図である。
【図２４】図２４は第４の実施の形態を説明する為の図である。
【図２５】図２５は第４の実施の形態を説明する為の図である。
【図２６】図２６は第４の実施の形態を説明する為の図である。
【図２７】図２７は第５の実施の形態のブロック図である。
【図２８】図２８は第５の実施の形態を説明する為の図である。
【図２９】図２９は不要文字列抽出装置をインプリメントした情報処理システムの一般的ブロック構成図である。
【符号の説明】
【０１０４】
１        データ処理装置
２        記憶装置
１１      アンカーテキスト抽出手段
１２      不要文字列抽出手段
２１      Web文書記憶部
２２      アンカー記憶部
２３      不要文字列記憶部
【図１】
2007219580.tif 000003
【図２】
2007219580.tif 000004
【図３】
2007219580.tif 000005
【図４】
2007219580.tif 000006
【図５】
2007219580.tif 000007
【図６】
2007219580.tif 000008
【図７】
2007219580.tif 000009
【図８】
2007219580.tif 000010
【図９】
2007219580.tif 000011
【図１０】
2007219580.tif 000012
【図１１】
2007219580.tif 000013
【図１２】
2007219580.tif 000014
【図１３】
2007219580.tif 000015
【図１４】
2007219580.tif 000016
【図１５】
2007219580.tif 000017
【図１６】
2007219580.tif 000018
【図１７】
2007219580.tif 000019
【図１８】
2007219580.tif 000020
【図１９】
2007219580.tif 000021
【図２０】
2007219580.tif 000022
【図２１】
2007219580.tif 000023
【図２２】
2007219580.tif 000024
【図２３】
2007219580.tif 000025
【図２４】
2007219580.tif 000026
【図２５】
2007219580.tif 000027
【図２６】
2007219580.tif 000028
【図２７】
2007219580.tif 000029
【図２８】
2007219580.tif 000030
【図２９】
2007219580.tif 000031