(57)【特許請求の範囲】
【請求項１】
判定装置と、抽出装置とを備えたシステムにおけるコンピューターによって実行される電子掲示板のリプライを増分的に採集する方法であって、
投稿のトップページＵＲＬと投稿のリプライ数情報に基づいて、採集が必要な全ての電子掲示板のリストページに新規投稿、及び／又は新規リプライがなされた投稿が存在するかどうかを周期的に判定する第１ステップ（１）と、
新規投稿が存在すると判定されたときに、新規投稿からメインポスト及びリプライ情報を抽出し、また、新規リプライがなされた投稿が存在すると判定されたときに、新規リプライ起点と新規リプライ数を計算し、新規リプライ起点と新規リプライ数に基づいて、新規リプライがなされた投稿から新規リプライ情報を抽出する第２ステップ（２）と、
を含むことを特徴とする電子掲示板のリプライを増分的に採集する方法。
【請求項２】
採集が必要な全ての電子掲示板のリストページに新規投稿及び／又は新規リプライがなされた投稿を周期的に判定する前記第１ステップ（１）において、
採集が必要な全ての電子掲示板のリストページＵＲＬを取得するステップ（ａ）と、
前記各リストページＵＲＬに対して、当該リストページＵＲＬに対応するウェブページ内容を取得し、前記ウェブページ内容から各投稿のトップページＵＲＬと現在のリプライ数を抽出するステップ（ｂ）と、
前記投稿のトップページＵＲＬに基づいて、採集した投稿の情報リストに各投稿が存在するかどうかを判定し、存在すると判定されたときに、当該投稿の現在のリプライ数が、採集した投稿情報に記録している今回のリプライ数より大きいかどうかを判定し、当該投稿の現在のリプライ数が今回のリプライ数より大きい場合に、当該投稿に新規リプライがあるとして、採集した投稿の情報リストに当該投稿の前回のリプライ数と今回のリプライ数を更新し、また、採集した投稿の情報リストに当該投稿がないと判定されたときに、当該投稿が新規投稿として、当該投稿のトップページＵＲＬと現在のリプライ数を、採集した投稿の情報リストに追加するステップ（ｃ）と、
をさらに含むことを特徴とする請求項１に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項３】
前記採集が必要な全ての電子掲示板リストページＵＲＬを取得するステップ（ａ）において、
前記採集が必要な各電子掲示板リストページに対していずれも採集時間間隔を設け、各リストページの採集時間間隔をモニターし、あるリストページが採集時間間隔に達した時に、当該リストページＵＲＬをリストページ採集キューに追加し、
前記リストページ採集キューを定期的に走査し、前記リストページ採集キューが空でなければ、ＦＩＦＯの順番で前記リストページ採集キューからリストページＵＲＬを順に抽出する
ことを特徴とする請求項２に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項４】
前記採集時間間隔は、リストページが属する電子掲示板の更新頻度によりダイナミックに調整され、
電子掲示板の更新頻度が速ければ速いほど、採集時間間隔が短くなり、
電子掲示板の更新頻度が遅ければ遅いほど、採集時間間隔が長くなる
ことを特徴とする請求項３に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項５】
前記リストページ採集キューから抽出されるリストページＵＲＬは、当該リストページＵＲＬが属するウェブサイトの正当のアクセスの条件を満たすことが必要である
ことを特徴とする請求項３に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項６】
新規投稿からメインポストとリプライを抽出し、新規リプライがなされた投稿から新規リプライの情報を抽出する前記第２ステップ（２）においては
新規投稿のトップページＵＲＬと新規リプライがなされた投稿のＵＲＬを内容ページ採集キューに追加するステップ（ｉ）と、
前記内容ページ採集キューを定期的に走査するステップ（ｉｉ）と、
前記内容ページ採集キューが空でない場合、前記内容ページ採集キューから各ＵＲＬを抽出するステップ（ｉｉｉ）と、
抽出されたＵＲＬに対応するウェブページ内容を取得し、前記ウェブページ内容からメインポスト及び／又はリプライ情報及び／又はページターニングＵＲＬを抽出し、ページターニングＵＲＬを前記内容ページ採集キューに追加するステップ（ｉｖ）と
を含むことを特徴とする請求項２乃至請求項５のいずれか１項に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項７】
前記新規投稿のトップページＵＲＬと、新規リプライがなされた投稿のＵＲＬとを内容ページ採集キューに追加するステップ（ｉ）においては、
新規投稿については、当該投稿のトップページＵＲＬが前記内容ページ採集キューに存在する場合、当該投稿のトップページＵＲＬを抽出し、採集した投稿の情報リストに記録した当該投稿の今回のリプライ数を現在のリプライ数で置換し、当該投稿のトップページＵＲＬを前記内容ページ採集キューに挿入するが、当該投稿のトップページＵＲＬが前記内容ページ採集キューに存在しない場合、当該投稿のトップページＵＲＬを直接に前記内容ページ採集キューに追加し、
新規リプライがなされた投稿については、当該投稿が属する電子掲示板のページターニングモードが計算ページターニングの場合、新規リプライがなされた投稿のトップページＵＲＬを直接に前記内容ページ採集キューに追加するが、当該投稿が属する電子掲示板のページターニングモードが次ページターニングの場合、ページターニングＵＲＬ情報リストを調べて、前記ページターニングＵＲＬ情報リストにおける最後のページターニングＵＲＬを前記内容ページ採集キューに追加する
ことを特徴とする請求項６に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項８】
前記内容ページ採集キューが空でない場合、前記内容ページ採集キューから各ＵＲＬを抽出するステップ（ｉｉｉ）においては、
ＦＩＦＯの順番で前記内容ページ採集キューからＵＲＬを順に抽出し、且つ、当該ＵＲＬが属するウェブサイトの正当のアクセスの条件を満たす
ことを特徴とする請求項６に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項９】
前記抽出されたＵＲＬに対応するウェブページ内容を取得し、前記ウェブページ内容からメインポスト及び／又はリプライ情報及び／又はページターニングＵＲＬを抽出し、ページターニングＵＲＬを前記内容ページ採集キューに追加するステップ（ｉｖ）においては、
当該ＵＲＬが投稿のトップページＵＲＬであって、初めて採集されるものである場合、当該ＵＲＬに対応するウェブページ内容からメインポストとリプライ情報を抽出し、
当該ＵＲＬが投稿のトップページＵＲＬであるが、初めて採集されるものではない場合、以下の式により新規リプライ起点Ｓ’Fromと新規リプライ数Ｃ’ParseCountを確定し、新規リプライ起点Ｓ’FromからＣ’ParseCount個の新規リプライの情報を抽出し、
【数１】
0005702474.tif 000009
Ｃ’ParseCount＝ＲCurNum−ＲPreNum
ここで、前記ＲPreNumは当該投稿の前回採集時のリプライ数を示し、前記ＲCurNumは当該投稿の現在のリプライ数を示し、前記ＮPerPageは当該投稿のページ毎のリプライの数を示し、
当該ＵＲＬが投稿のトップページＵＲＬではない場合、当該投稿に対応するページ番号が現在抽出すべきページのページ番号と同一であるかどうか判断することにより、オーバーラップページＵＲＬであるかどうかを判定し、
現在抽出すべきページのページ番号の計算式は以下の通りであり、
【数２】
0005702474.tif 000010
ここで、前記ＰBeginは現在抽出すべきページのページ番号を示し、前記ｃｅｉｌはラウンドアップ演算を示し、
当該ＵＲＬがオーバーラップページである場合、以下の式により新規リプライ起点Ｓ’’Fromと新規リプライ数Ｃ’’ParseCountを計算し、新規リプライ起点Ｓ’’FromからＣ’’ParseCount個の新規リプライ情報を抽出し、
【数３】
0005702474.tif 000011
ここで、前記％は剰余演算を示し、
当該ＵＲＬが投稿のトップページＵＲＬでもなく、オーバーラップページＵＲＬでもない場合、以下の式により、新規リプライ起点Ｓ’’’Fromと新規リプライ数Ｃ’’’ParseCountを計算し、
【数４】
0005702474.tif 000012
0005702474.tif 000013
新規リプライ起点Ｓ’’’FromからＣ’’’ParseCount個の新規リプライの情報を抽出する
ことを特徴とする請求項６に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項１０】
前記抽出されたＵＲＬに対応するウェブページ内容を取得し、前記ウェブページ内容からメインポスト及び／又はリプライ情報及び／又はページターニングＵＲＬを抽出し、ページターニングＵＲＬを前記内容ページ採集キューに追加するステップ（ｉｖ）においては、
掲示板が計算ページターニングモードであって、ＵＲＬが投稿のトップページＵＲＬである場合、以下の式によりページターニングの開始ページ番号ＰBeginと終了ページ番号ＰEndを計算し、
【数５】
0005702474.tif 000014
もしＳFrom＝０且つＲPreNum＞０であれば、ＳFrom＝ＮPerPage，ＰBegin＝ＰBegin＋１とし、
ここで、前記ＳFromは新規リプライ起点を示し、上記の式によりページターニングの開始ページ番号と終了ページ番号を算出してから、予め決められたページターニングＵＲＬ規則に基づいて全てのページターニングＵＲＬを合成させ、
掲示板のページターニングモードが次ページターニングである場合、ウェブページ内容からページターニングＵＲＬを抽出する
ことを特徴とする請求項９に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項１１】
前記ページターニングＵＲＬ規則において、ページターニングＵＲＬは第１部分と、第２部分と第３部分と三つの部分に分けられており、前記第１部分と前記第３部分は変化しない部分であり、夫々ｓｔｒＢｅｆｏｒｅＰａｇｅとｓｔｒＡｆｔｅｒＰａｇｅと記しており、前記第２部分は変化する部分であり、ｎＰａｇｅＵｐと記しており、
前記ページターニングＵＲＬの合成方法は以下の通りであり、
【数６】
0005702474.tif 000015
ここで、前記ｉはターニングページ番号を示し、ＰBegin≦ｉ≦ＰEnd、前記ｎＰａｇｅＮｏは新規リプライが位置するページの番号を示し、前記ｎＦｉｒｓｔＰｏｓｔＰａｇｅＩｎｄｅｘは投稿のトップページの番号を示し、前記ｎＦｉｒｓｔＰｏｓｔＰａｇｅＩｎｄｅｘの値は０又は１となり、前記ｎＰａｇｅＵｐは合成されるＵＲＬ内に記録した、ページターニングを示すページ番号の値であり、前記ｎＰａｇｅＵｓＢａｓｅＮｕｍはページターニング基数を示し、前記ｓｔｒＰｏｓｔＰａｇｅＵｒｌは合成されたＵＲＬを示す
ことを特徴とする請求項１０に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項１２】
ウェブページ内容より前記ページターニングＵＲＬを抽出してから、前記内容ページ採集キューに追加する前には、更に、前記ページターニングＵＲＬに対して重複除去処理を行う
ことを特徴とする請求項１０に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項１３】
前記重複除去処理においては、
前記ページターニングＵＲＬ情報で当該ページターニングＵＲＬが属する投稿にページターニングＵＲＬ情報リストが存在するかどうかを調べ、
前記ページターニングＵＲＬ情報リストが存在しない場合、当該ページターニングＵＲＬが属する投稿のページターニングＵＲＬ情報リストを立て、当該ページターニングＵＲＬをページターニングＵＲＬ情報リストと前記内容ページ採集キューに追加し、
ページターニングＵＲＬ情報リストが存在する場合、当該ページターニングＵＲＬのページ番号が当該ページターニングモードが属する投稿のページターニングＵＲＬのページ番号より大きいかどうかを判定し、大きい場合に、当該ページターニングＵＲＬが属する投稿のページターニングＵＲＬ情報リストを更新し、ページターニングＵＲＬを内容ページ採集ジョブキューに追加し、大きくない場合、直接に当該ページターニングＵＲＬを削除する
ことを特徴とする請求項１２に記載の電子掲示板のリプライを増分的に採集する方法。
【請求項１４】
投稿のトップページＵＲＬと投稿のリプライ数情報に基づいて、採集が必要な全ての電子掲示板のリストページに新規投稿、及び／又は新規リプライがなされた投稿が存在するかどうかを周期的に判定する判定装置（１１）と、
新規投稿に対しては、当該新規投稿からメインポストとリプライの情報を抽出し、また、新規リプライがなされた投稿に対しては、新規リプライ起点と新規リプライ数に基づいて、新規リプライがなされた投稿から新規リプライの情報を抽出する抽出装置（１２）と、
を備えることを特徴とする電子掲示板のリプライの増分的採集システム。
【請求項１５】
前記判定装置（１１）は、
採集が必要な全ての電子掲示板リストページＵＲＬをリストページ採集キューに追加する第１キュー手段（１１１）と、
リストページ採集キューから各リストページＵＲＬを抽出する第１取得手段（１１２）と、
抽出された各リストページＵＲＬに対して、このリストページＵＲＬに対応するウェブページ内容を取得し、上記ウェブページ内容から各投稿のトップページＵＲＬと現在のリプライ数を抽出するリストページ抽出手段（１１３）と、
投稿のトップページＵＲＬに基づいて、採集した投稿の情報リストに各投稿が存在するかどうかを判定し、存在すると判定されたときに、当該投稿の現在のリプライ数が、採集した投稿情報に記録している今回のリプライ数より大きいかどうかを判定し、当該投稿の現在のリプライ数が今回のリプライ数より大きい場合に、当該投稿に新規リプライがあるとして、採集した投稿の情報リストに当該投稿の前回のリプライ数と今回のリプライ数を更新し、また、採集した投稿の情報リストに当該投稿がないと判定されたときに、当該投稿が新規投稿として、当該投稿のトップページＵＲＬと現在のリプライ数を、採集した投稿の情報リストに追加する判定手段（１１４）と、
を備えることを特徴とする請求項１４に記載の電子掲示板のリプライの増分的採集システム。
【請求項１６】
前記抽出装置（１２）は、
新規投稿のトップページＵＲＬと、新規リプライがなされた投稿のＵＲＬとを前記内容ページ採集キューに追加する第２キュー手段（１２１）と、
前記内容ページ採集キューを定期的に走査する走査手段（１２２）と、
前記内容ページ採集キューから各ＵＲＬを抽出する第２取得手段（１２３）と、
ＵＲＬに対応するウェブページ内容を取得し、前記ウェブページ内容からメインポスト及び／又はリプライ及び／又はページターニングＵＲＬを抽出する内容ページ抽出手段（１２４）と、
を備えることを特徴とする請求項１４に記載の電子掲示板のリプライの増分的採集システム。
【請求項１７】
前記抽出装置（１２）は、電子掲示板のページターニングモードが次ページターニングモードである場合、ウェブページ内容からページターニングＵＲＬを抽出して、重複除去処理を行う重複除去手段（１２５）を更に備え、
前記第２キュー手段（１２１）は、重複除去処理後のページターニングＵＲＬを前記内容ページ採集キューに追加することを特徴とする請求項１６に記載の電子掲示板のリプライの増分的採集システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット情報の採集技術に関し、更に詳しくは、電子掲示板のリプライ（ｒｅｐｌｙ）を増分的に採集する方法及びシステムに関する。
【背景技術】
【０００２】
インターネットが出現し、特に、インターネット掲示板・インターネットコミュニティが広く設けられるにつれて、世界中の人々は一緒に自由に様々な考え方を発表し交流できることになっている。中国でのインターネットの電子掲示板は一百万以上に達している。そして、８０％のウェブサイトは独立的な電子掲示板を持っている。時々インターネットの電子掲示板を見るユーザー数は一億以上になっている。他の形式と異なり、インターネットの電子掲示板は、スピードが速くて、範囲が広い特徴を持っている。注目されている話題は、短い期間で一万以上のイントネット利用者にリプライされて検討されるので、リプライの情報も何百何千ページに達することが可能である。その場合、インターネット利用者は、話題が立てる人の言論であるメインポストの内容だけでなく、他のインターネット利用者のこの話題に対するリプライを見たがっている。ところで、通常の検索エンジンでは、ページめくりのリプライ情報を検索することが困難である。偶に見つかっていても、時効性の問題があるので、望ましいものではなく、データ遅延の問題もある。現在の電子掲示板採集システムも、スレッドのトップページの情報しか採集できず、メインポストへのリプライの情報を採集していない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は従来の技術の上記した欠陥に鑑みながらなされたものであり、迅速に正確に完全に電子掲示板における投稿の全てのメインポスト・リプライの情報を採集することができる電子掲示板のリプライを増分的に採集する方法及びシステムを提供することを目的とする。本発明は、従来の検索エンジンが投稿のページターニングのリプライ情報を採集する時に存在する検索漏れや検索不能などの問題を解決し、従来の電子掲示板採集システムにおいてスレッドのトップページ情報が採集されるが、リプライ情報が採集されない問題を解決することができる。
【課題を解決するための手段】
【０００４】
前記の目的を達成するために、本発明は電子掲示板のリプライを増分的に採集する方法であって、投稿のトップページＵＲＬと投稿のリプライ数情報に基づいて、採集が必要な全ての電子掲示板のリストページに新規投稿、及び／又は新規リプライがなされた投稿が存在するかどうかを周期的に判定するステップと、新規投稿が存在すると判定されたときに、新規投稿からメインポスト及びリプライ情報を抽出し、また、新規リプライがなされた投稿が存在すると判定されたときに、新規リプライ起点と新規リプライ数を計算し、新規リプライ起点と新規リプライ数に基づいて、新規リプライがなされた投稿から新規リプライ情報を抽出するステップとを含むことを特徴とする。
また、前記の目的を達成するために、本発明は電子掲示板のリプライの増分的採集システムであって、投稿のトップページＵＲＬと投稿のリプライ数情報に基づいて、採集が必要な全ての電子掲示板のリストページに新規投稿、及び／又は新規リプライがなされた投稿が存在するかどうかを周期的に判定する判定装置と、新規投稿に対しては、当該新規投稿からメインポスト及びリプライ情報を抽出し、また、新規リプライがなされた投稿に対しては、新規リプライ起点と新規リプライ数に基づいて、新規リプライがなされた投稿から新規リプライの情報を抽出する抽出装置とを備えることを特徴とする。
【発明の効果】
【０００５】
本発明の上記構成の方法とシステムは、電子掲示板のリストページを周期的にモニターすることによって、適時にリストページから新規リプライ及び、新規リプライがなされた投稿の情報を取得することができ、ＵＲＬ標識とリプライ数情報に基づいて重複除去処理を快速に行うことによって、重複採集を回避することができ、それぞれ異なったページターニングリンクの抽出方式を使い分けることによって、迅速にページターニングのリプライを採集することができる。本発明により、迅速に正確に完全に投稿の全てのスレッド／リプライ情報を採集することができるようになる。本発明は、リプライの採集漏れ率が５％以下になり、リアルタイム性が分レベルに達することができる効果を奏している。
【図面の簡単な説明】
【０００６】
【図１】具体的な実施形態における電子掲示板のリプライの増分的採集システムの構成を示すブロック図である。
【図２】具体的な実施形態における電子掲示板のリプライを増分的に採集する方法を示すフローチャートである。
【図３】具体的な実施形態においてリストページには新規投稿と、新規リプライがなされた投稿とが存在するかどうかを判定する方法を示すフローチャートである。
【図４】具体的な実施形態において新規投稿からメインポスト及びリプライ情報を抽出し、新規リプライがなされた投稿から新規リプライ情報を抽出する方法を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら具体的な実施例で本発明を詳しく説明する。
【０００８】
図１に示すように、本実施形態にかかる電子掲示板のリプライの増分的採集システムは、判定装置１１と、判定装置１１に接続される抽出装置１２とを備えている。その中、判定装置１１は、第１キュー（ｑｕｅｕｅ）手段１１１と、第１取得手段１１２と、リストページ抽出手段１１３と、判定手段１１４とを含んでいる。抽出装置１２は、第２キュー手段１２１と、走査手段１２２と、第２取得手段１２３と、内容ページ抽出手段１２４と、重複除去手段１２５とを含んでいる。
【０００９】
判定装置１１は、投稿のトップページＵＲＬと投稿のリプライ数情報に基づいて、採集が必要な全ての電子掲示板のリストページに、新規投稿と、新規リプライがなされた投稿とが存在するかどうかを周期的に判定する。その中、第１キュー手段１１１は、採集が必要な全ての電子掲示板リストページＵＲＬをリストページ採集キューに追加する。第１取得手段１１２はリストページ採集キューから各リストページＵＲＬを抽出する。リストページ抽出手段１１３は、抽出された各リストページＵＲＬに対して、このリストページＵＲＬに対応するウェブページ内容を取得し、上記ウェブページ内容から各投稿のトップページＵＲＬと現在のリプライ数とを抽出する。判定手段１１４は、投稿のトップページＵＲＬに基づいて、採集した投稿の情報リストに各投稿が存在するかどうかを判定し、存在すると判定されたときに、当該投稿の現在のリプライ数が、採集した投稿情報に記録している今回のリプライ数より大きいかどうかを判定し、当該投稿の現在のリプライ数が今回のリプライ数より大きい場合に、当該投稿に新規リプライがあるとして、採集した投稿の情報リストに当該投稿の前回のリプライ数と今回のリプライ数を更新し、また、採集した投稿の情報リストに当該投稿がないと判定されたときに、当該投稿が新規投稿として、当該投稿のトップページＵＲＬと現在のリプライ数を、採集した投稿の情報リストに追加する。
【００１０】
抽出装置１２は、新規投稿に対して、新規投稿からメインポスト及びリプライ情報を抽出し、新規リプライがなされた投稿に対して、新規リプライ起点と新規リプライ数を計算し、新規リプライ起点と新規リプライ数に基づいて、新規リプライがなされた投稿から新規リプライ情報を抽出する。その中、第２キュー手段１２１は、新規投稿のトップページＵＲＬと新規リプライがなされた投稿のＵＲＬを内容ページ採集キューに追加する。走査手段１２２は、内容ページ採集キューを定期的に走査する。第２取得手段１２３は、内容ページ採集キューから各ＵＲＬを抽出する。内容ページ抽出手段１２４はＵＲＬに対応するウェブページ内容を取得し、上記ウェブページ内容からメインポスト及び／又はリプライ及び／又はページターニングＵＲＬを抽出する。重複除去手段１２５は、電子掲示板のページターニングモードが次ページターニングである場合に、ウェブページ内容からページターニングＵＲＬを抽出して、重複除去処理を行う。第２キュー手段１２１は重複除去処理後のページターニングＵＲＬを内容ページ採集キューに追加する。
【００１１】
図２に示すように、本実施形態において、図１に示すシステムに基づく電子掲示板のリプライを増分的に採集する方法は、以下の各ステップを含む。
【００１２】
（１）判定装置１１は、採集が必要な全ての電子掲示板のリストページに新規投稿、及び／又は新規リプライがなされた投稿を周期的に判定する。
図３に示すように、本実施形態に採用された判定方法は以下のステップを含む。
【００１３】
（ａ）第１キュー手段１１１は、採集が必要な全ての電子掲示板リストページＵＲＬをリストページ採集キューに追加する。上記のリストページとは、電子掲示板において、全ての投稿のタイトル、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）、クリック数、リプライ数などの情報が含まれるページである。投稿の具体的な内容を含まない。例えば、ＳＯＨＵ（登録商標）電子掲示板の経済総合チャンネルのリストページは、ＵＲＬがｈｔｔｐ：／／ｃｌｕｂ．ｂｕｓｉｎｅｓｓ．ｓｏｈｕ．ｃｏｍ／ｌ−ｅｎｊｏｙ−０−０−０−０．ｈｉｍｌである。
【００１４】
また、例えば、人民網の強国コミュニティの国際電子掲示板チャンネルのリストページは、ＵＲＬがｈｔｔｐ：／／ｂｂｓ１．ｐｅｏｐｌｅ．ｃｏｍ．ｃｎ／ｂｏａｒｄＬｉｓｔ．ｄｏ？ａｃｔｉｏｎ  ＝ｐｏｓｔＬｉｓｔ＆ｂｏａｒｄＩｄ＝６である。
【００１５】
本実施形態において、採集が必要な各電子掲示板リストページに対して採集時間間隔を設け、例えば、５分おきに採集するとする。各リストページの採集時間間隔をモニターし、あるリストページが採集時間間隔に達すると、そのリストページＵＲＬをリストページ採集キューに追加する。
【００１６】
好ましくは、リフレッシュの時間間隔は、電子掲示板の更新頻度によりダイナミックに調整され、電子掲示板の更新頻度が速ければ速いほど、リフレッシュの時間間隔が短くなり、電子掲示板の更新頻度が遅ければ遅いほど、リフレッシュの時間間隔が長くなる。例えば、五分間おきに一回採集すると規定しておいているが、以降の採集において電子掲示板の更新頻度が速くなっていると分かったときに、リフレッシュの時間間隔を、３分間おきに、更に、１分間おきに若しくはもっと短い時間おきにと、短縮させても良い。
【００１７】
電子掲示板の更新頻度の計算方法は中国特許出願（出願番号：２０１０１０２３６３６３．７、発明の名称：ウェブページデータ情報の定方向採集方法及び装置）」を参照してください。詳細な説明はここで省く。
【００１８】
（ｂ）第１取得手段１１２は、リストページ採集キューから各リストページＵＲＬを抽出する。
【００１９】
本実施形態において、リストページ採集キューからリストページＵＲＬを取得するために採用する方法としては、リストページ採集キューを定期的に走査し（ユーザーが具体的な応用に応じて走査間隔時間を設けてもいい）、リストページ採集キューが空いていなければ、ＦＩＦＯの順番でリストページ採集キューからリストページＵＲＬを順に抽出し（キューからＵＲＬを抽出してから、そのＵＲＬが自動的にキューから削除される）、そして、このリストページＵＲＬが属するウェブサイトの正当のアクセスの条件を満たすことが必要である。あるリストページＵＲＬがこのリストページＵＲＬが属するウェブサイトの正当のアクセスの条件を満たしていないと、今回の走査においてこのリストページＵＲＬを無視してそれを次の走査の処理に回し、次のリストページＵＲＬの判定に移行する。ウェブサイトの正当のアクセスの条件としては、現在のアクセス数の制限と、アクセスの時間間隔の制限とを含む。ウェブサイトの正当のアクセスの条件を満たしているかどうかを判断する方法は、中国特許出願（出願番号：２０１０１０５４６３３４．０、発明の名称：ウェブサイトにおける複数の異なるＩＤのサーバからウェブページを抽出する方法及びシステム）を参照してください。詳細な説明は省く。
【００２０】
（ｃ）リストページ抽出手段１１３は、抽出された各リストページＵＲＬに対応するウェブページ内容を取得する。その後、ウェブページから各投稿のトップページＵＲＬと現在のリプライ数を抽出する。
各リストページのＵＲＬにより、そのＵＲＬが属するウェブサイトに、そのＵＲＬに対応するウェブページ内容を取得する旨のＨＴＴＰ請求を送信し、その後、送信してくるウェブページの内容を受信する。ウェブページ内容から投稿のトップページと現在のリプライ数を抽出する技術は従来の技術でもよく、詳細な説明は省く。
【００２１】
（ｄ）判定手段１１３は、投稿のトップページＵＲＬに基づいてその投稿が採集した投稿情報に存在するかどうかを判定する。存在すると、この投稿が採集されたとして、この投稿の現在のリプライ数が採集した投稿情報リストに記録した今回のリプライ数より大きいかどうかを判定する。この投稿の現在のリプライ数が今回のリプライ数より大きい場合に、この投稿に新規リプライがあるとして、採集した投稿情報リストにその投稿の前回のリプライ数と今回のリプライ数を更新し、即ち、採集した投稿情報リストにおけるその投稿の今回のリプライ数の数値で前回のリプライ数の数値を置換し、この投稿の現在のリプライ数の数値で採集した投稿情報リストにおけるこの投稿の今回のリプライ数の数値を置換する。この投稿の現在のリプライ数は今回の数より大きくない場合に、この投稿に新規リプライがないとして、この投稿のＵＲＬを無視して処理を行わない。この投稿が採集した投稿の情報リストにない場合に、この投稿が新規投稿であるとして、この投稿のトップページＵＲＬと現在のリプライ数がを、採集した投稿情報リストに追加する。この投稿の前回のリプライ数が０、今回のリプライ数が現在のリプライ数である。
【００２２】
採集した投稿情報リストには、採集した投稿のトップページＵＲＬと、採集した投稿の前回のリプライ数と今回のリプライ数とが記憶されている。その構成は以下の表に示される。
【００２３】
【表１】
0005702474.tif 000002
【００２４】
好ましくは、採集した投稿の情報リストに、投稿のトップページのＵＲＬの標識情報を記憶し、例えば、ＭＤ５コードである。標識情報を比較することにより、採集した投稿の情報リストに投稿のトップページＵＲＬが存在するかどうかを確定する。そうすれば、ＵＲＬの比較効率を向上することができる。
【００２５】
（２）採集が必要な電子掲示板リストページには新規投稿と、及び／又は新規リプライがなされた投稿とが存在すると、抽出装置１２は新規投稿からメインポストとリプライ情報を抽出し、新規リプライがなされた投稿から新規リプライ情報を抽出する。
【００２６】
面４に示すように、本実施形態に採用される抽出方法は以下のステップを含む。
【００２７】
（ｉ）第２キュー手段１２１は新規投稿のトップページＵＲＬと、新規リプライがなされた投稿のＵＲＬとを内容ページ採集キューに追加する。
【００２８】
新規投稿については、当該投稿のトップページＵＲＬが内容ページ採集キューに存在する場合、当該投稿のトップページＵＲＬを抽出し、採集した投稿の情報リストに記録した当該投稿の今回のリプライ数を現在のリプライ数で置換し、当該投稿のトップページＵＲＬを内容ページ採集キューに挿入するが、当該投稿のトップページＵＲＬが内容ページ採集キューに存在しない場合、当該投稿のトップページＵＲＬを直接に内容ページ採集キューに追加する。
【００２９】
新規リプライがなされた投稿については、当該投稿が属する電子掲示板のページターニングモードが計算ページターニングの場合、新規リプライがなされた投稿のトップページＵＲＬを直接に内容ページ採集キューに追加するが、当該投稿が属する電子掲示板のページターニングモードが次ページターニングの場合、ページターニングＵＲＬ情報リストを調べて、前記ページターニングＵＲＬ情報リストにおける最後のページターニングＵＲＬを内容ページ採集キューに追加する。
【００３０】
いわゆる「計算ページターニングモード」とは、一ページあたりのリプライ数が決められたページターニングモードを指す。例えば、人民網の強国コミュニティの国際電子掲示板において、
ｈｔｔｐ：／／ｂｂｓ１．ｐｅｏｐｌｅ．ｃｏｍ．ｃｎ／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｂｏａｒｄＩｄ＝６＆ｖｉｅｗ＝１＆ｉｄ＝９１３８４４６７という投稿は計算ページターニングモードとなる。
【００３１】
いわゆる「次ページターニングモード」とは、一ページあたりのリプライ数が決められていないページターニングモードを指す。例えば、天涯総合電子掲示板において、ｈｔｔｐ：／／ｗｗｗ．ｔｉａｎｙａ．ｃｎ／ｐｕｂｌｉｃｆｏｒｕｍ／ｃｏｎｔｅｎｔ／ｆｒｅｅ／１／１８８０８０５．ｓｈｔｍｌという投稿は次ページターニングモードである。
【００３２】
（ｉｉ）走査手段１２２は内容ページ採集キューを定期的に走査する。ユーザーは具体的な応用に応じて走査間隔時間を設けることができる。
【００３３】
（ｉｉｉ）内容ページ採集キューが空いていないと、第２取得手段１２３は内容ページ採集キューから各ＵＲＬを抽出する。内容ページ採集キューから抽出されたＵＲＬは自動的にこの内容ページ採集キューから削除されるようになる。
【００３４】
本実施形態において、第２取得手段１２３が内容ページ採集キューからＵＲＬを抽出する方法は、第１取得手段１１２がリストページ採集キューからＵＲＬを取る方法と同じであるため、ここでその説明を省く。
【００３５】
（ｉｖ）内容ページ抽出手段１２４は、抽出されたＵＲＬに対応するウェブページ内容を取得して、上記ウェブページ内容からメインポスト及び／又はリプライ情報及び／又はページターニングＵＲＬを抽出し、ページターニングＵＲＬを内容ページ採集キューに追加する。
【００３６】
本実施形態において、ウェブページ内容からメインポスト及び／又はリプライを抽出する具体な方法は以下のとおりである。
【００３７】
当該ＵＲＬは投稿のトップページＵＲＬであり、且つ初めて採集される場合に、この投稿を新規投稿として、このＵＲＬに対応するウェブページ内容からメインポストとリプライ情報を抽出する。具体的には、まず、この投稿においてメインポストとリプライが同じスタイルであるかどうかを確定する。同じスタイルであれば、同一の抽出方式にて逐一に情報を抽出し、抽出した第１の情報をメインポストとし、他の情報をリプライとする。同じスタイルでなければ、所定の規則に従ってメインポストの情報を抽出してから、各リプライの情報を抽出する。メインポストとリプライが同じスタイルであるかどうかについては、人工的に規定することができる。所定の規則は人工的に設けられたキワード又は正規表現である。
【００３８】
当該ＵＲＬは投稿のトップページＵＲＬであるが、初めて採集されるものではない場合に、即ち、新規リプライがなされた投稿である場合に、以下の式により新規リプライ起点Ｓ'Ｆｒｏｍと新規リプライ数Ｃ'ＰａｒｓｅＣｏｕｎｔを確定し、新規リプライ起点Ｓ'ＦｒｏｍからＣ'ＰａｒｓｅＣｏｕｎｔ個の新規リプライ情報を抽出する。
【００３９】
【数１】
0005702474.tif 000003
【００４０】
ここで、ＲＰｒｅＮｕｍはこの投稿の前回採集される時のリプライ数を示し、ＲＣｕｒＮｕｍはこの投稿の現在のリプライ数を示し、ＮＰｅｒＰａｇｅはこの投稿のページ毎のリプライ数を示す。
【００４１】
また、当該ＵＲＬが投稿のトップページＵＲＬではない場合、当該投稿に対応するページ番号が現在抽出すべきページのページ番号と同一であるかどうか判断することにより、オーバーラップページＵＲＬであるかどうかを判定する。いわゆる「オーバーラップページ」とは、当該ページ内の情報が全部リプライ情報であって一部の情報が新規リプライ情報となるページのことをいう。現在抽出すべきページのページ番号の計算式は以下の通りである。
【００４２】
【数２】
0005702474.tif 000004
【００４３】
ここで、ＰＢｅｇｉｎは現在抽出すべきページのページ番号を示し、ｃｅｉｌはラウンドアップ演算を示す。
【００４４】
また、当該ＵＲＬがオーバーラップページである場合に、下の式にて新規リプライ起点Ｓ''Ｆｒｏｍと新規リプライ数Ｃ''ＰａｒｓｅＣｏｕｎｔを計算し、新規リプライ起点Ｓ''ＦｒｏｍからＣ''ＰａｒｓｅＣｏｕｎｔ個の新規リプライ情報を抽出する。
【００４５】
【数３】
0005702474.tif 000005
【００４６】
ここで、「％」は剰余演算である。
【００４７】
このＵＲＬが投稿のトップページＵＲＬでも、オーバーラップページＵＲＬでもない場合に、すなわち、このページ内容が全部新規リプライである場合に、以下の式により、新規リプライ起点Ｓ'''Ｆｒｏｍと新規リプライ数Ｃ'''ＰａｒｓｅＣｏｕｎｔを計算し、新規リプライ起点Ｓ'''ＦｒｏｍからＣ'''ＰａｒｓｅＣｏｕｎｔ個の新規リプライの情報を抽出する。
【００４８】
Ｓ'''Ｆｒｏｍ＝０
【００４９】
【数４】
0005702474.tif 000006
【００５０】
ウェブページ内容からページターニングＵＲＬを抽出する方法は以下の具体な方
法を採用している。
【００５１】
掲示板が計算ページターニングモードであり、且つＵＲＬが投稿のトップページＵＲＬである場合に、まず、以下の式によりページターニングの開始ページ番号と終了ページ番号を計算する。即ち、新規リプライが位置する開始ページ番号と終了ページ番号である。ＵＲＬが投稿のトップページではない場合に、ページターニングＵＲＬを抽出しない。
【００５２】
【数５】
0005702474.tif 000007
【００５３】
もしＳＦｒｏｍ＝０且つＲＰｒｅＮｕｍ＞０ならば、ＳＦｒｏｍ＝ＮＰｅｒＰａｇｅ、ＰＢｅｇｉｎ＝ＰＢｅｇｉｎ＋１とする。
【００５４】
ここで、ＰＢｅｇｉｎとＰＥｎｄは夫々ページターニングの開始ページ番号と終了ページ番号であり、ＳＦｒｏｍは新規リプライ起点を示し、この起点から終了ページ番号までのすべてのリプライは新規リプライである。上記式によりページターニングの開始ページ番号と終了ページ番号を計算してから、所定のページターニングＵＲＬ規則に従って、全てのページターニングＵＲＬを合成する。
【００５５】
具体的な合成方法は、配置されたページターニング規則と、ページターニングの開始ページ番号と、ページターニングド基数と基づいてページターニングＵＲＬを合成する。本実施形態は、前記ページターニング規則において、ページターニングＵＲＬは第１部分と、第２部分と第３部分と三つの部分に分けられており、第１部分と第３部分は変化しない部分であり、夫々ｓｔｒＢｅｆｏｒｅＰａｇｅとｓｔｒＡｆｔｅｒＰａｇｅと記され、第２部分は変化する部分であり、ｎＰａｇｅＵｐと記される。ページターニングＵＲＬの合成過程の擬似コードは以下の通りである。
ｆｏｒ（ｉｎｔ  ｉ＝ＰＢｅｇｉｎ；ｉ＜ＰＥｎｄ；＋＋）
｛
ｎＰａｇｅＮｏ＝ｉ＋ｎＦｉｒｓｔＰｏｓｔＰａｇｅＩｎｄｅｘ−１；
ｎＰａｇｅＵｐ＝（ｎＰａｇｅＮｏ×ｎＰａｇｅＵｓＢａｓｅＮｕｍ）；
ｓｔｒＰｏｓｔＰａｇｅＵｒｌ＝ｓｔｒＢｅｆｏｒｅＰａｇｅ＋ｎＰａｇｅＵｐ＋ｓｔｒＡｆｔｅｒＰａｇｅ；
｝
【００５６】
ここで、ｎＰａｇｅＮｏは新規リプライが位置するページの番号を示し、ｎＦｉｒｓｔＰｏｓｔＰａｇｅＩｎｄｅｘは投稿のトップページの番号を示す。実際の電子掲示板において、ｎＦｉｒｓｔＰｏｓｔＰａｇｅＩｎｄｅｘの値は０又は１とすることができる。即ち、投稿のページ番号が０から番号を付け、トップページの番号が０であり、又は、投稿のページ番号が１から番号を付け、投稿のトップページの番号が１である。ｎＰａｇｅＵｐは合成されるＵＲＬ内に記録した、ターニングページを示すページ番号の値であり、即ち、第２部分の数値である。ｎＰａｇｅＵｓＢａｓｅＮｕｍはページターニング基数を示す。ｓｔｒＰｏｓｔＰａｇｅＵｒｌは合成されたＵＲＬを示す。
【００５７】
例を挙げて以下のように説明する。
事例一
人民網の強国コミュニティの国際電子掲示板チャンネルにおける一つの投稿ＵＲＬはｈｔｔｐ：／／ｂｂｓ１．ｐｅｏｐｌｅ．ｃｏｍ．ｃｎ／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｂｏａｒｄＩｄ  ＝６＆ｖｉｅｗ＝１＆ｉｄ＝９１３８４４６７となる。
【００５８】
そのページターニングのリンク規則は
／ｐｏｓｔＤｅｔａｉｌ￥．ｄｏ￥？ｉｄ＝￥ｄ＋＆ｖｉｅｗ＝￥ｄ＋＆ｐａｇｅＮｏ＝（￥ｄ＋）＆ｂｏａｒｄＩｄ＝６
である。
【００５９】
開始ページ番号のｎＦｉｒｓｔＰｏｓｔＰａｇｅＩｎｄｅｘは１であり、ページターニング基数は１であり、ｎＰａｇｅＵｓＢａｓｅＮｕｍは２０である。
【００６０】
ページターニングのリンク規則により、ページターニングＵＲＬの第１部分と第３部分を抽出し、夫々「／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｉｄ＝９１３８４４６７＆ｖｉｅｗ＝１＆ｐａｇｅＮｏ＝」と「＆ｂｏａｒｄＩｄ＝６」となる。
【００６１】
以上の情報により、この投稿を始めて採集する時に、この投稿に対して２１０個のリプライがなされており、合成して取得したページターニングＵＲＬは合計１０個となる。すなわち、
／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｉｄ＝９１３８４４６７＆ｖｉｅｗ＝１＆ｐａｇｅＮｏ＝２＆ｂｏａｒｄＩｄ＝６
／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｉｄ＝９１３８４４６７＆ｖｉｅｗ＝１＆ｐａｇｅＮｏ＝３＆ｂｏａｒｄＩｄ＝６
／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｉｄ＝９１３８４４６７＆ｖｉｅｗ＝１＆ｐａｇｅＮｏ＝４＆ｂｏａｒｄＩｄ＝６
……
／ｐｏｓｔＤｅｔａｉｌ．ｄｏ？ｉｄ＝９１３８４４６７＆ｖｉｅｗ＝１＆ｐａｇｅＮｏ＝１１＆ｂｏａｒｄＩｄ＝６
となる。
【００６２】
事例２
百度投稿バーの投稿ＵＲＬはｈｔｔｐ：／／ｔｉｅｂａ．ｂａｉｄｕ．ｃｏｍ／ｆ？ｋｚ＝  ９１９７３１０９０となる。
そのページターニングのリンク規則は
／ｆ？ｚ＝９１９７３１０９０＆ｃｔ＝３３５５４４３２０＆ｌｍ＝０＆ｓｃ＝０＆ｒｎ＝３０＆ｔｎ＝ｂａｉｄｕＰｏｓｔＢｒｏｗｓｅｒ＆ｗｏｒｄ＝％Ｂ６％Ｂ７％Ｃ６％Ｃ６％Ｂ２％Ｄ４％Ｆ１％Ｂ７＆ｐｎ＝３０となる。
【００６３】
開始ページ番号は０であり、ページターニング基数は３０である。ページターニングのリンク規則により、抽出されたページターニングＵＲＬの第１部分は／ｆ？ｚ＝９１９７３１０９０＆ｃｔ＝３３５５４４３２０＆ｌｍ＝０＆ｓｃ＝０＆ｒｎ＝３０＆ｔｎ＝ｂａｉｄｕＰｏｓｔＢｒｏｗｓｅｒ＆ｗｏｒｄ＝％Ｂ６％Ｂ７％Ｃ６％Ｃ６％Ｂ２％Ｄ４％Ｆ１％Ｂ７＆ｐｎ＝となる。
第３部分は内容無しである。
【００６４】
ＮＰｅｒＰａｇｅは３０である。以上の情報により、たとえば、この投稿を始めて採集する時、この投稿に対して２１０個のリプライがなされた場合に、合成して取得されたページターニングＵＲＬは６個となり、すなわち、
／ｆ？ｚ＝９１９７３１０９０＆ｃｔ＝３３５５４４３２０＆ｌｍ＝０＆ｓｃ＝０＆ｒｎ＝３０＆ｔｎ＝ｂａｉｄｕＰｏｓｔＢｒｏｗｓｅｒ＆ｗｏｒｄ＝％Ｂ６％Ｂ７％Ｃ６％Ｃ６％Ｂ２％Ｄ４％Ｆ１％Ｂ７＆ｐｎ＝３０
／ｆ？ｚ＝９１９７３１０９０＆ｃｔ＝３３５５４４３２０＆ｌｍ＝０＆ｓｃ＝０＆ｒｎ＝３０＆ｔｎ＝ｂａｉｄｕＰｏｓｔＢｒｏｗｓｅｒ＆ｗｏｒｄ＝％Ｂ６％Ｂ７％Ｃ６％Ｃ６％Ｂ２％Ｄ４％Ｆ１％Ｂ７＆ｐｎ＝６０
／ｆ？ｚ＝９１９７３１０９０＆ｃｔ＝３３５５４４３２０＆ｌｍ＝０＆ｓｃ＝０＆ｒｎ＝３０＆ｔｎ＝ｂａｉｄｕＰｏｓｔＢｒｏｗｓｅｒ＆ｗｏｒｄ＝％Ｂ６％Ｂ７％Ｃ６％Ｃ６％Ｂ２％Ｄ４％Ｆ１％Ｂ７＆ｐｎ＝９０
……
／ｆ？ｚ＝９１９７３１０９０＆ｃｔ＝３３５５４４３２０＆ｌｍ＝０＆ｓｃ＝０＆ｒｎ＝３０＆ｔｎ＝ｂａｉｄｕＰｏｓｔＢｒｏｗｓｅｒ＆ｗｏｒｄ＝％Ｂ６％Ｂ７％Ｃ６％Ｃ６％Ｂ２％Ｄ４％Ｆ１％Ｂ７＆ｐｎ＝２１０となる。
【００６５】
最後に、合成された全てのページターニングＵＲＬをドメインネーム付きの完全なＵＲＬとする。更に、このような処理がなされた全てのページターニングＵＲＬを内容ページ採集キューに追加する。
【００６６】
電子掲示板のページターニングモードが次ページターニングである場合に、ウェブページ内容からページターニングＵＲＬを抽出する。ウェブページ内容にページターニングＵＲＬがない場合、このページは最後のページであるとして、ページターニングがない。
【００６７】
ページターニングモードが次ページターニングである場合は、ウェブページ内容からページターニングＵＲＬを抽出してから、内容ページ採集キューに追加する前に、重複除去手段１２５は、ページターニングＵＲＬの重複除去処理を行う。具体的な処理過程は以下の通りである。
【００６８】
ページターニングＵＲＬ情報リストにこのページターニングＵＲＬが属する投稿が存在するかどうかを調べる。存在しないと、このページターニングＵＲＬが属する投稿のページターニング情報をページターニングＵＲＬ情報リストに追加し、ページターニングＵＲＬを内容ページ採集キューに追加する。存在すると、この投稿の現在のページターニングのページ番号が、ページターニングＵＲＬ情報リストに記録したこの投稿のターニングページ番号より大きいかどうかを判定する。大きい場合に、ページターニングＵＲＬ情報リストにおいてこの投稿のターニングページ番号を現在のターニングページ番号に更新し、ページターニングＵＲＬを内容ページ採集ジョブキューに追加する。大きくなければ、ページターニングＵＲＬ情報リストにおけるこの投稿のターニングページ番号の更新が必要なく、直接にこのページターニングＵＲＬを削除すればよい。
【００６９】
上記ページターニングＵＲＬ情報リストに、投稿のトップページＵＲＬ（或いは標識情報）と、現在採集したターニングページ番号と、現在採集したページにおける最後のリプライの位置と、現在採集したページターニングＵＲＬとが記憶される。この情報リストのヘッド構造は以下の通りである。
【００７０】
【表２】
0005702474.tif 000008
【００７１】
所属分野の技術者は、本発明の主旨及び特許請求の範囲から逸脱しない限り、様々な変更や変形を行うことができる。このような変更や変形は本発明の特許請求の範囲並びにこれと均等する範囲内に属すると理解すべきである。
【図１】
0005702474.tif 000016
【図２】
0005702474.tif 000017
【図３】
0005702474.tif 000018
【図４】
0005702474.tif 000019