(57)【要約】  本発明は、分散型コンピュータネットワークのログファイル分析方法およびシステムを提案する。前記方法は、ユーザ識別子および対応するログ情報をログファイルに記憶するステップと、前記ログファイルを、同一ユーザ識別子のログ情報が含まれる複数の目標ファイルに分割するステップと、２つ以上のノードを用いて前記目標ファイルをそれぞれ分析して、結果を取得するステップと、各ノードの分析結果を併合させるステップとを含む。こうして、ユーザ識別子によって異なるログファイルを関連付け、ユーザのアクセスサイトにおける異なるコンテンツ間の関係をさらに分析可能にする。
2010512563.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ識別子および対応するログ情報をログファイルに記憶するステップと、
前記ログファイルを、同一ユーザ識別子のログ情報が含まれる複数の目標ファイルに分割するステップと、
２つ以上のノードを用いて前記目標ファイルをそれぞれ分析し分析結果を取得するステップと、
各ノードの分析結果を併合させるステップとを含むことを特徴とする分散型コンピュータネットワークに基づくログファイル分析方法。
【請求項２】
前記ログファイルが、Ｗｅｂサーバのログファイルであることを特徴とする請求項１に記載のログファイル分析方法。
【請求項３】
前記Ｗｅｂサーバが、少なくとも１つのサーバから構成されるサーバクラスタであり、前記ログファイルがログファイル集であって、当該サーバクラスタ中の各サーバが生成するログファイルを含むことを特徴とする請求項２に記載のログファイル分析方法。
【請求項４】
前記ログファイルを複数の目標ファイルに分割するステップは、
前記ログファイルをログ分析サーバにダウンロードするステップと、
ログ分析サーバが前記ログファイルを対応する各ノードに送信するステップと、
ノードが、受信したログファイルをユーザ識別子に基づいて識別子ファイルに分割し、同じユーザ識別子を有するログ情報を同一の識別子ファイルに組み入れ、当該識別子ファイルをログ分析サーバに送信するステップと、
ログ分析サーバが各ノードが送信した識別子ファイルを収集し、同一ユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとするステップとを含むことを特徴とする請求項１または３に記載のログファイル分析方法。
【請求項５】
前記ノードがログファイルを目標ファイルに分割する前に、さらにノードが前記ログファイル中のログファイルとは無関係の情報をフィルタリング（除去）するステップを含むことを特徴とする請求項４に記載のログファイル分析方法。
【請求項６】
前記ノードが目標ファイルを分析する前に、さらに目標ファイル中のログ情報をその生成時刻に基づいてソーティングするステップを含むことを特徴とする請求項５に記載のログファイル分析方法。
【請求項７】
前記ユーザ識別子は、ＷｅｂサーバによりユーザのＩＰおよび乱数に基づいて生成され、ユーザのローカルマシンに保存されることを特徴とする請求項１に記載のログファイル分析方法。
【請求項８】
前記ユーザ識別子はユーザのローカルマシンのＣｏｏｋｉｅに記憶されることを特徴とする請求項７に記載のログファイル分析方法。
【請求項９】
ログ分析サーバおよび複数のノードを含み、
前記ログ分析サーバは、
Ｗｅｂサーバの、ユーザ識別子および当該ユーザ識別子に対応するログ情報が含まれるログファイルを収集する収集部と、収集部が収集したログファイルを記憶する記憶部と、
データを送受信する第１インタフェース部と、
前記記憶部のログファイルを、同一ユーザ識別子を有するログ情報から構成される複数の目標ファイルに分割する分割部とを含み、
前記ノードは、
データを送受信する第２インタフェース部と、
目標ファイルを分析する処理部とを含み、
前記ログ分析サーバはさらに、各ノードの分析結果を併合させる併合部を含むことを特徴とする分散型コンピュータネットワークに基づくログファイル分析システム。
【請求項１０】
前記ログファイルはＷｅｂサーバのログファイルであり、前記Ｗｅｂサーバは少なくとも１つのサーバから構成されるサーバクラスタであり、前記ログファイルはログファイル集であって、当該サーバクラスタ中の各サーバが生成したログファイルを含むことを特徴とする請求項９に記載のログファイル分析システム。
【請求項１１】
前記ノードはさらに、
ログファイル中のログ分析とは無関係の情報をフィルタリング（除去）するフィルタ部と、
フィルタ部でフィルタリングされたログファイルを、ユーザ識別子に基づいて識別子ファイルに分割し、同じユーザ識別子を有するログ情報を同一の識別子ファイルに組み入れる分割部とを含み、
前記分割部はさらに、
各ノードが送信した同一ユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとする目標ファイル生成部を含むことを特徴とする請求項１０に記載のログファイル分析システム。
【請求項１２】
前記ノードはさらに、目標ファイル中のログ情報を、その生成時刻に基づいてソーティングするソーティング部を含むことを特徴とする請求項１１に記載のログファイル分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００６年１１月３０日、中国特許局に出願された出願番号２００６１０１６０８３２．５号、発明の名称を「分散型コンピュータネットワークに基づくログファイル分析方法およびシステム」とする中国特許出願の優先権を主張し、そのすべての内容は、引用により本出願に結びついている。
本発明は、データ処理分野に属し、特に分散型コンピュータネットワークのログファイル分析方法およびシステムに関する。
【背景技術】
【０００２】
インターネットによる情報サービスの発展に伴い、政府部門、会社、大学、科学研究所等の多くが自身のウェブサイトを保有しているかあるいは構築中である。各ウェブサイトの裏側ではＷｅｂサーバが稼動しており、ＷｅｂサーバはＷｅｂページを管理するためのソフトウェアであって、これらのページをローカルネットワークまたはＩｎｔｅｒｎｅｔによりユーザにブラウザを提供して使用させる。現時点で常用されているＷｅｂサーバには、Ａｐａｃｈｅ、ＩＩＳおよびＩｐｌａｎｅｔのＥｎｔｅｒｐｒｉｓｅサーバが挙げられる。ウェブサイトの管理は、サーバの毎日の処理能力に配慮するだけでなく、ウェブサイトの各ページのアクセス状況を理解することや、各ページのクリック頻度にによってページのコンテンツやクオリティの改善、コンテンツの可読性向上、ビジネス取引を含む手順の追跡、Ｗｅｂサイト内部のデータ管理等も要求される。
【０００３】
特に電子ビジネスあるいはサーチエンジンを業務とするネットワーク企業にとっていっそう不可欠となって、Ｗｅｂサーバの稼動およびアクセス状況に対し、詳細かつ周到な分析を行って、サイトの稼動状況を了解し、サイトに存在する欠点を見つけて、サイトのより良い発展を促すことは非常に必要であるが、こうした要求はＷｅｂサーバのログファイルに対する統計と分析により何れも達成可能である。慣用のログ分析ツールとしては、ＷｅｂＴｒｅｎｄｓ、Ｗｕｓａｇｅ、ｗｗｗｓｔａｔ、ｈｔｔｐ−ａｎａｌｙｚｅ、ｐｗｅｂｓｔａｔｓ、ＷｅｂＳｔａｔ  Ｅｘｐｌｏｒｅｒ、ｗｅｂａｌｉｚｅｒ、ＡＷＳｔａｔｓ等が挙げられる。ログファイルの分析・検査を行う過程は、大量のデータから未知で、価値のあるモデルあるいはルールを発掘することによって、決定作業に支援を提供する複雑な過程である。
【０００４】
ウェブサイトのコンテンツは継続的に更新および変化があるため、サイトの管理人は、ログファイルの分析結果を速やかに知る必要があり、例えば翌日の出勤時には、前日のページビュー（ＰＶ，Ｐａｇｅ  Ｖｉｅｗ）等の統計データを見ることができる。同時に、インターネットの普及が進み、ネットに接続する人が持続的に増加するにつれて、Ｗｅｂサイトのアクセス数は十万、百万クラスから千万、億クラスへ増加している。Ｗｅｂサーバのログファイルのデータ量も数十ＭＢから数十ＧＢへ、或いはＴＢ級に達する場合もある。しかし、それに対応するログファイルの統計および分析の時間に対する要求が緩和されることはない。したがって、いかにして引き続き増加しているログファイルを迅速かつ有効に分析・統計することが、当業者の解決すべき課題になっている。
【０００５】
現時点で慣用されているのは、分散型コンピュータネットワークに基づくログ分析方法である。分散型コンピュータネットワークは、複数のコンピュータから構成されるコンピュータクラスタである。分散型処理の基本構想は、ファイルを複数の小ファイルに分割して、各ファイル間を関連付けないことである。こうして各部分は各マシン上でそれぞれ実行され、最後に分析結果を併合できるようになる。図１は、分散型コンピュータネットワークのトポロジー構造図を示している。ログ分析サーバ１１０は、Ｗｅｂサーバからログファイルを取得することを担い、分割したログファイルをノード１２１，１２２および１２３にそれぞれ送信して分析を行う。分析が完了したら、再びログ分析サーバ１１０が各ノードから分析結果を収集し、合併して、最後に当該Ｗｅｂサーバのログ分析結果を取得する。現在、分散型処理方法を用いてログファイルを分析する際の一般的方法は、サイトの構造に基づいてログファイルを分割するものであり、例えば、サイトのコンテンツが、ニュース、フォーラム、ブログの３つの部分から構成される場合、ニュースログ、フォーラムログ、ブログログに分割してノード１２１、１２２、１２３によりそれぞれ処理する。もちろん、ユーザは分割ログ数により、新たなノードを増加するか否かを決定できる。実際には、ユーザがサイトにアクセスする際の行動は連続していることが多く、前記処理方法では、ニュースチャネルにアクセスし、さらにフォーラム、ブログにアクセスしたユーザのログ情報は３つの部分に分割されるので、当該ユーザの完全なアクセス経路が取得できないことになる。例えば、ユーザが８つのページにアクセスし、最初の２つのページ（ｕａ１，ｕａ２）がニュースにアクセスし、ページ３と４（ｕｂ３，ｕｂ４）がフォーラムにアクセスし、ページ５と６（ｕａ５，ｕａ６）がニュースにアクセスし、最後の２つのページ（ｕｃ７，ｕｃ８）がブログにアクセスしたとする。この場合、ユーザのアクセス経路は３部分に区切られ、第１部分はユーザのニュースチャネルにおけるアクセス経路ｕａ１，ｕａ２，ｕａ５，ｕａ６、第２部分はユーザのフォーラムにおけるアクセス経路ｕａ３，ｕａ４、第３部分はユーザのブログにおけるアクセス経路ｕｃ７，ｕｃ８となる。これでは、元々関連のあるコンテンツが３つのノードでそれぞれ処理されることにより、ユーザのアクセス過程が分断されて、異なるコンテンツ間の関係が分析できないことになる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、分散型コンピュータネットワークに基づくログファイル分析方法およびシステムを提供し、従来技術において、ログファイルが分割処理されるためにユーザの完全なアクセス過程を取得できず、異なるコンテンツ間の関係を分析できなかった問題を解決することである。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明は、ユーザ識別子および対応するログ情報をログファイルに記憶するステップと、前記ログファイルを同一ユーザ識別子のログ情報が含まれる複数の目標ファイルに分割するステップと、２つ以上のノードを用いて前記目標ファイルをそれぞれ分析し分析結果を取得するステップと、各ノードの分析結果を併合させるステップとを含む分散型ネットワークに基づくログファイル分析方法を開示した。
【０００８】
ここで、前記ログファイルはＷｅｂサーバのログファイルである。
【０００９】
ここで、前記Ｗｅｂサーバは少なくとも１つのサーバより構成されるサーバクラスタであり、前記ログファイルはログファイル集であって、当該サーバクラスタ中の各サーバが生成したログファイルを含む。
【００１０】
好ましくは、ログファイルを複数の目標ファイルに分割する前記過程が、前記ログファイルをログ分析サーバにダウンロードするステップと、ログ分析サーバが前記ログファイルを対応する各ノードに送信するステップと、ノードは、受信したログファイルをユーザ識別子に基づいて識別子ファイルに分割し、同じユーザ識別子を有するログ情報を同一の識別子ファイルに組み入れ、当該識別子ファイルをログ分析サーバに送信するステップと、ログ分析サーバは各ノードが送信した識別子ファイルを収集し、同じユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとするステップとを含む。
【００１１】
好ましくは、前記ノードは、ログファイルを目標ファイルに分割する前に、さらに、ノードが前記ログファイル中のログ分析とは無関係の情報をフィルタリング（除去）するステップを含む。
【００１２】
好ましくは、前記ノードが目標ファイルを分析する前に、さらに、目標ファイル中のログ情報をその生成時刻の順位によってソーティングするステップを含む。
【００１３】
好ましくは、前記ユーザ識別子は、ＷｅｂサーバによりユーザＩＰおよび乱数に基づいて生成され、ユーザのローカルマシンに保存される。
【００１４】
好ましくは、前記ユーザ識別子は、ユーザのローカルマシンのＣｏｏｋｉｅに記憶される。
【００１５】
本発明はまた、ログ分析サーバおよび複数のノードを含む、分散型コンピュータネットワークに基づくログファイル分析システムを開示しており、前記ログ分析サーバは、Ｗｅｂサーバにおける、ユーザ識別子および当該ユーザ識別子に対応するログ情報を含むログファイルを収集する収集部と、収集部が収集したログファイルを記憶する記憶部と、データを送受信する第１インタフェース部と、前記記憶部中のログファイルを、同じユーザ識別子を有するログ情報から構成される複数の目標ファイルに分割する分割部とを含み、前記ノードは、データを送受信する第２インタフェース部と、目標ファイルを分析する処理部とを含み、前記ログ分析サーバはさらに、各ノードの分析結果を併合させる併合部を含む。
【００１６】
好ましくは、前記ログファイルはＷｅｂサーバのログファイルであり、前記Ｗｅｂサーバは少なくとも１つのサーバから構成されるサーバクラスタであり、前記ログファイルはログファイル集であって、当該サーバクラスタ中の各サーバが生成したログファイルを含む。
【００１７】
好ましくは、前記ノードはさらに、ログファイル中のログ分析とは無関係の情報をフィルタリング（除去）するフィルタ部と、フィルタ部でフィルタリングされたログファイルを、ユーザ識別子によって識別子ファイルに分割して、同じユーザ識別子を有するログ情報を、同一の識別子ファイルに組み入れる分割部とを含み、前記分割部はさらに、各ノードが送信した同じユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとする目標ファイル生成部を含む。
【００１８】
好ましくは、前記ノードはさらに、目標ファイル中のログ情報を、その生成時刻に照らしてソーティングするソーティング部を含む。
【発明の効果】
【００１９】
従来技術に比べ、本発明は次のような利点を有する。本発明は、Ｗｅｂサーバのログ情報中にユーザ識別子を記録することにより、ログファイルが分割されても、あるいは当該ログファイルがログファイル集であっても、ユーザ識別子を用いて異なる位置にあるログ情報の間に相関関係を構築させることができる。さらに、本発明は、ユーザ識別子に基づいてログファイルを目標ファイルに分割し、ユーザがサイトにアクセスする際の全ログ情報を目標ファイル中に含有させることで、従来技術において分散型コンピュータネットワークを用いてログ分析する際に存在した、ユーザがアクセスした異なるコンテンツ間の関係を分析できない問題を解決できるようになる。
【図面の簡単な説明】
【００２０】
【図１】分散型コンピュータネットワークのトポロジー構造図である。
【図２】Ｗｅｂサーバにアクセスする際のステップフロー図である。
【図３】本発明に記載の分散型コンピュータネットワークに基づくログ分析方法のステップフロー図である。
【図４】本発明に記載の分散型コンピュータネットワークに基づくログ分析システムの構造フレーム図である。
【発明を実施するための形態】
【００２１】
本発明の使用環境は、ブラウザ／サーバ（Ｂｒｏｗｓｅｒ／Ｓｅｒｖｅｒ）構造である。本発明を詳細に理解するため、具体的な実施形態を説明する前に、先ずブラウザを用いてＷｅｂサーバにアクセスする基本原理を簡単に説明する。
【００２２】
参照図２はブラウザを用いてＷｅｂサーバにアクセスするステップフロー図を示している。ステップＳ２１では、ユーザはブラウザによりＷｅｂサーバにアクセスする。ステップＳ２２では、Ｗｅｂサーバはユーザのアクセス情報をログに書き込む。ステップＳ２３では、Ｗｅｂサーバはユーザのアクセスしたページデータをユーザに伝送する。
【００２３】
前記ログファイルは、ユーザがウェブサイトにアクセスした複数の情報記録から構成され、ユーザＩＰ、アクセス時刻、アクセスのブラウザの種類を含む。現在大多数のＷｅｂサーバが記録するログコンテンツおよびフォーマットは、ｗ３ｃ基準に合致している。以下はニュースログファイルｎｅｗｓ．ｌｏｇ中のログ情報である。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／ｌ．ｈｔｍｌ  ＨＴＴＰ／ｌ．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”
ここで、２１３．４２．２．２１は、ＷｅｂサーバのＩＰアドレスであり、１３／Ｏｃｔ／２００６：００：１４：３２＋０８００は、ユーザがアクセスした時刻であり、／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／１．ｈｔｍｌ  ＨＴＴＰ／１．１はユーザがアクセスしたページであり、Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ６．０；ＷｉｎｄｏｗｓＮＴ５．１）は、ユーザのコンピュータ環境情報、ブラウザの種類である。
【００２４】
本発明の前記目的、特徴および利点をさらに明らかにさせるため、次には図面と具体的な実施形態を組み合わせて本発明をさらに詳しく説明する。
【００２５】
本発明に記載の分散型コンピュータネットワークに基づくログファイル分析方法は、ユーザ識別子および対応するログ情報をログファイルに記憶するステップと、前記ログファイルを、同一ユーザ識別子のログ情報が含まれる複数の目標ファイルに分割するステップと、２つ以上のノードを用いて前記目標ファイルをそれぞれ分析し、分析結果を取得するステップと、各ノードの分析結果を併合させるステップとを含む。
【００２６】
図３は本発明に基づく好ましい実施例のログファイル分析方法のステップフロー図を示している。次に図３を参照して本発明の好ましい実施例を詳細に説明する。
【００２７】
ステップ３０１では、ユーザ識別子および当該ユーザがＷｅｂサーバにアクセスした際に対応するログ情報をログファイルに記憶する。
【００２８】
好ましくは、前記ユーザ識別子は、Ｗｅｂサーバに配置したプログラムから、ユーザのＩＰおよび乱数に基づいて生成され、ネットワークを介してユーザに伝送され、ユーザのローカルマシンに保存される。好ましくは、前記ユーザ識別子はユーザコンピュータのＣｏｏｋｉｅに記憶される。ＣｏｏｋｉｅはＷｅｂサーバがユーザのハードウェアに保存するテキストである。Ｃｏｏｋｉｅはｗｅｂサイトがユーザのコンピュータ上に情報を保存し、後にそれを再取得することを許可する。情報のセグメントを「ネーム／バリュー」ペア（ｎａｍｅ−ｖａｌｕｅ  ｐａｉｒｓ）の形式で格納する。ユーザがサイトにアクセスする際、ユーザコンピュータのＣｏｏｋｉｅにすでにユーザ識別子が存在する場合、ブラウザは当該Ｃｏｏｋｉｅに記憶されたユーザ識別子をＷｅｂサーバに送信し、ユーザ識別子が存在しない場合、Ｗｅｂサーバはルールに基づいて、例えば２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０のように、ユーザ識別子を生成し、Ｗｅｂサーバがユーザにページを送信する際に、当該ユーザ識別子をＣｏｏｋｉｅとしてページのＨＴＴＰのヘッド情報に追加し、ページデータがユーザのブラウザに返送されるのに伴って、ブラウザはユーザ識別子を含む前記Ｃｏｏｋｉｅをユーザのコンピュータに記憶して、当該サイトに再度アクセスする際に、ユーザ識別子がＷｅｂサーバに伝送されるようにする。
【００２９】
ユーザがサイトにアクセスする際、Ｗｅｂサーバはページデータをブラウザに返送すると同時に、ユーザ識別子およびアクセス情報をログファイルに記憶する。例えば、ユーザ識別子２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０および対応するアクセス情報を、ログファイルに記憶した結果は下記の通りである。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／ｌ．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８−“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１０
【００３０】
もちろん、前記ＷｅｂサーバがユーザのＩＰおよび乱数に基づいてユーザ識別子を生成し、ユーザコンピュータのＣｏｏｋｉｅに記憶する方法は、本発明における好ましい方法に過ぎない。本発明は、如何なるコンテンツ、如何なる方式でユーザ識別子を生成、記憶するかについて制限を設けず、ユーザの身分が区別できるものであればよい。例えば、当該ユーザのサイトでの登録アカウント、ユーザコンピュータのネットワークカードアドレス等を使用することもできる。
【００３１】
ステップ３０２では、Ｗｅｂサーバが生成したログファイルを、同一ユーザ識別子のログ情報が含まれる複数の目標ファイルに分割する。
【００３２】
好ましくは、本発明に記載したＷｅｂサーバは、複数のサーバから構成されるサーバクラスタであり、各サーバはそれぞれ対応するログファイルを生成する。例えば、あるウェブサイトのコンテンツがニュース、フォーラム、ブログの３チャネルに分かれるとすれば、各チャネルはそれぞれ１台のサーバによりアクセスサービスを提供する。ユーザがウェブサイトのホームページからニュースチャネルにアクセスする時には、ニュースサーバによりユーザのアクセスするページデータをユーザに伝送し、ユーザのブラウザで表示させる。同時に、ユーザのアクセス情報を当該サーバのログファイルに書き込む。こうして、当該サーバクラスタ中の３台のサーバに対応して、３つのログファイルが生成される。サーバクラスタにとって、そのログファイルは実質的に、各サーバが生成したログファイルを含んだログファイル集である。
【００３３】
本発明は好ましくは、下記方法によってログファイルを目標ファイルに分割する。即ち、ログファイルの分析を要する場合には、サーバクラスタの各サーバからログファイルを収集し、それをログ分析サーバにダウンロードする。もちろん、ウェブサーバは１台だけのサーバである場合には、１つのログファイルを生成し、ログ分析サーバは当該ログファイルをコンテンツに基づいて複数の容量の小さなログファイルに分割し、分散型コンピュータの要求に合致させ、ログ分析サーバはダウンロードしたログファイルをそれに対応する各ノードに伝送し、各ノードは受け取ったログファイルをフィルタリング（除去）し、ログ分析と無関係な情報を除去して、ログファイルの容量を小さくし、ノードは、前記ログファイルをユーザ識別子に基づいて識別子ファイルに分割し、同じユーザ識別子を有する記録を同一の識別子ファイルに組み入れ、そして、識別子ファイルをログ分析サーバに送信し、ログ分析サーバは、各ノードが送信した識別子ファイルを収集し、同じユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとする。本発明において、ログファイルを各ノードに送信してフィルタリングおよび分割を行い、ログ分析サーバにより併合して目標ファイルとする理由は、ログファイルの容量が通常大きいため、こうしてログ分析効率を最大限に向上できるようになる。もちろん、本分野の技術者であれば、例えばログ分析サーバにてログファイルのフィルタリング、分割および併合操作を実行させて目標ファイルを生成するなど、他の方式を用いてもログファイルを生成することができる。
【００３４】
前記操作により、同じユーザ識別子を有するログ情報を１つの目標ファイルにまとめることで、異なるログファイルに分散記憶されたログ情報の間に相関関係を構築できる。
【００３５】
ステップ３０３では、２つ以上のノードを用いて前記目標ファイルをそれぞれ分析処理し分析結果を取得する。
【００３６】
２つ以上のノードから構成される分散型コンピュータネットワークを用いてログファイルを処理することは、大容量のログファイルに対応する１つの有効な分析方法である。しかし、分割型処理はログファイルをいくつかの部分に分割してそれぞれ処理しなければならず、従来の処理方法ではコンテンツに基づいてログファイルを分割していたため、同じユーザのログ情報が異なるマシンに分散されて、当該ユーザのアクセスしたコンテンツ間の関係を取得できなかった。本発明では処理に用いる目標ファイルには、同一ユーザがアクセスしたすべてのログ情報が記憶されているので、前記課題がうまく解決される。
【００３７】
好ましくは、目標ファイルを分析する前には、各ノードが、アクセス時刻に基づいて当該ファイルのログ情報をソーティングする。こうして当該目標ファイルは、ユーザがサイトの異なるコンテンツにアクセスした時の前後順序を正確に反映できる、これに基づいて異なるコンテンツ間の関係をさらに分析できる。例えば、ユーザはある製品の広告をクリックして当該製品のホームページに入り、最後に当該製品を購入することには、当該ユーザのログファイル中のアクセス経路の前後順序を分析することにより、どのくらいのユーザが広告をクリックして当該製品を購入したかのことが明らかになるだけでなく、当該広告の投入効果をも取得できるようになる。
【００３８】
ステップ３０４では、分散型コンピュータネットワーク中の各ノード上の分析結果を併合させ、前記ログファイルの分析結果を生成する。
【００３９】
次に、実施例１を参照して、１つの例を挙げて本発明に記載の方法を説明する。例えば、あるサイトのＷｅｂサーバは１００台のサーバから構成したサーバクラスタであれば、１００のログファイルが生成されることになり、各ログファイルが１００Ｍであれば、ログファイル総容量は１０Ｇになる。５つのノードから構成された分散型コンピュータネットワークでログファイルを分析する。先ず、Ｗｅｂサーバから１００のログファイルを取得し、次いでログ分析とは無関係のコンテンツをフィルタリング（除去）し、ユーザ識別子に基づき１００のログファイルを再度組分けして５つの目標ファイルを生成し、各目標ファイルの容量を２Ｇとし、このうち同じユーザ識別子を有するログ情報は同一の目標ファイルに区分して、分散型コンピュータネットワークの各ノードは、目標ファイルを時刻順位に基づきソーティングした後、分析処理を行い、最後に、各ノードの分析結果を併合させて全ログファイルの分析結果を取得する。前記処理方法を採用すれば、Ｗｅｂサーバのログファイルの容量が引き続き増加しても、分散型コンピュータネットワークのノード数を増やすだけで十分である。
【実施例】
【００４０】
以上、本発明の分割型ネットワークに基づくログファイル分析方法を説明したが、次に使用環境を結び付けて具体的な実施例を挙げ、本発明に記載の方法をいっそ詳細に説明する。
【００４１】
本実施例において、Ｗｅｂサーバクラスタは、ニュース、フォーラム、ブログの３種のサービスをそれぞれ提供する３台のサーバを含み、且つ、、ｎｅｗｓ．ｌｏｇ、ｃｌｕｂ．ｌｏｇおよびｂｌｏｇ．ｌｏｇという３つのログファイルをそれぞれ生成する。対応的に、分散型コンピュータネットワークはログ分析サーバおよびノード１、ノード２、ノード３から構成される。各ログファイルのコンテンツは下記の通りである。
ログファイルｎｅｗｓ．ｌｏｇ：
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／ｌ．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３３＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／２．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３４＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／３．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉ１１ａ１４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／４．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／５．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／５．ｊｐｇＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１０
ログファイルｃｌｕｂ．ｌｏｇ：
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／１．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４３＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／２．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０．；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４４＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／３．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／４．ｈｔｍ１  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／５．ｈｔｍｌ  
ＨＴＴＰ／１．１“２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
６０．１２３．４５．６−−［１３／Ｏｃｔ／２００６：００：１４：４６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／５．ｈｔｍｌ  
１ＨＴＴＰ／１．１”２００  ４０３４８“−”Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”６０．１２３．４５．６．９８７６５４３２１０９８７．２  ０
ログファイルｂｌｏｇ．ｌｏｇ：
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：２２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／１．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：２３＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／２．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：２４＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／３．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７９０１．４  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／６：００：１４：２５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／４．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２．１６０７２２８８４３．１  ０
２１３．４．．２１−−［１３／Ｏｃｔ／２００６：００：１４：２６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／５．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．．１１６０７２２８８４３３１．１  ０
【００４２】
下記は、ログ分析の具体的過程である。
ステップａ：前記３つのログファイルを分散型コンピュータネットワーク中のログ分析サーバにダウンロードする。
【００４３】
ステップｂ：ログ分析サーバは、ログファイルｎｅｗ．ｌｏｇをノード１に伝送し、ｃｌｕｂ．ｌｏｇをノード２に伝送し、ｂｌｏｇ．ｌｏｇをノード３に伝送する。
【００４４】
各ノードはログファイルを受信した後、下記操作を実行する。
ステップｃ：ログファイル中から分析の必要がないログ情報、例えばＩＰアドレス、ＵＲＬタイプなどをフィルタリング（除去）する。本実施例でｎｅｗ．ｌｏｇの最後のログは、ｊｐｇファイルをアクセスしたため、フィルタリング（除去）された。
【００４５】
ステップｄ：ユーザ識別子に基づいてログファイルを分割する。
【００４６】
ファイルｎｅｗｓ．ｌｏｇは３つのファイルｎｅｗｓ＿１．ｌｏｇ、ｎｅｗｓ＿２．ｌｏｇ、ｎｅｗｓ＿３．ｌｏｇに分割され、同じユーザ識別子のログ情報は同一ファイルに保存される。ここで、
ｎｅｗｓ＿１．ｌｏｇのコンテンツは下記を含む。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／１．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−−［１３／Ｏｃｔ／２００６：００：１４：３５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／４．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／５．ｈｔｍｌ
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
ｎｅｗｓ＿２．ｌｏｇのコンテンツは下記を含む。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３３＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／２．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
２１３．４２．２．２．１．−−［１３／Ｏｃｔ／２００６：００：１４：３４＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／３．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
ｎｅｗｓ＿３．ｌｏｇのコンテンツは空白である。
【００４７】
同様の方法でｃｌｕｂ．ｌｏｇをｃｌｕｂ＿１．ｌｏｇ、ｃｌｕｂ＿２．ｌｏｇ、ｃｌｕｂ＿３．ｌｏｇという３つのファイルに分割し、同じユーザ識別子の情報を同一ファイルに組み入れる。ここで、
ｃｌｕｂ＿１．ｌｏｇのコンテンツは下記を含む。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／１．ｈｔｍｌ  ＨＴＴＰ／１．１”２００  ４０３４８“−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４５；０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／４．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／５．ｈｔｍｌ  ＨＴＴＰ／１．１．”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
ｃｌｕｂ＿２．ｌｏｇのコンテンツは下記を含む。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４３＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／２．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４４＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／３．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１２３４５６７８９０１２３．４  ０
ｃｌｕｂ＿３．ｌｏｇのコンテンツは下記を含む。
６０．１２３．４５．６−−［１３／Ｏｃｔ／２００６：００：１４：４６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／５．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”６０．１２３．４５．６．９８７６５４３２１０９８７．２  ０
【００４８】
同様の方法でｂｌｏｇ．ｌｏｇを、ｂｌｏｇ＿１．ｌｏｇ、ｂｌｏｇ＿２．ｌｏｇ、ｂｌｏｇ＿３．ｌｏｇの３つのファイルに分け、同じユーザ識別子の情報を同一ファイルに組み入れる。各ファイルの具体的なコンテンツの説明についてはここで省略する。
【００４９】
ステップｅ：各ノードは、分割したファイルをログ分析サーバに送信する。
【００５０】
ステップｆ：ログ分析サーバは、同じユーザ識別子を有するファイルを１つのファイルに併合させ、当該ファイルを前記目標ファイルとする。
【００５１】
本実施例において、ログ分析サーバは合計で９ファイルを受信し、このうちｎｅｗ＿１．ｌｏｇ、ｃｌｕｂ＿１．ｌｏｇ、ｂｌｏｇ＿１．ｌｏｇを、ｆｉｌｔｅｄ１．ｌｏｇに併合させ、ｎｅｗ＿２．ｌｏｇ、ｃｌｕｂ＿２．ｌｏｇ、ｂｌｏｇ＿２．ｌｏｇをｆｉｌｔｅｄ２．ｌｏｇに併合させ、ｎｅｗ＿３．ｌｏｇ、ｃｌｕｂ＿３．ｌｏｇ、ｂｌｏｇ＿３．ｌｏｇをｆｉｌｔｅｄ３．ｌｏｇに併合させる。
【００５２】
ステップｇ：ログ分析サーバが、目標ファイルｆｉｌｔｅｄ１．ｌｏｇ、ｆｉｌｔｅｄ２．ｌｏｇ、ｆｉｌｔｅｄ３．ｌｏｇをそれぞれノード１、ノード２、ノード３に送信する。
【００５３】
ステップｈ：各ノードは、受信した目標ファイルをログ情報のアクセス時刻によってソーティングする。
【００５４】
ここで、ノード１がファイルｆｉｌｔｅｄ１．ｌｏｇをソーティングした後の結果は下記の通りである。
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６００：１４：２２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／１．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：２５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／４．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：２６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｂｌｏｇ／５．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ２００６：００：１４：３２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／１．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／４．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：３６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｎｅｗｓ／５．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１０．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４２＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／１．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４５＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／４．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
２１３．４２．２．２１−−［１３／Ｏｃｔ／２００６：００：１４：４６＋０８００］“Ｇｅｔ／ｃｈｉｎａ．ａｌｉｂａｂａ．ｃｏｍ／ｃｌｕｂ／５．ｈｔｍｌ  
ＨＴＴＰ／１．１”２００  ４０３４８”−”“Ｍｏｚｉｌｌａ／４．０（ｃｏｍｐａｔｉｂｌｅ；ＭＳＩＥ  ６．０；Ｗｉｎｄｏｗｓ  ＮＴ  ５．１）”２１３．４２．２．２１．１１６０７２２８８４３３１．１  ０
【００５５】
ステップｉ：各ノードは、ソーティング後のファイルを分析して分析結果を取得する。
【００５６】
ここで、Ｆｉｌｔｅｒ１．ｌｏｇの分析結果は、ＰＶ９個、アクセスユーザ１人、アクセス経路１本であり、Ｆｉｌｔｅｒ２．ｌｏｇの分析結果は、ＰＶ６個、アクセスユーザ１人、アクセス経路１本であり、Ｆｉｌｔｅｒ３．ｌｏｇの分析結果は、ＰＶ１個、アクセスユーザ１人、アクセス経路１本であった。
【００５７】
ステップｊ：各ノードは、分析結果をログ分析サーバに送信し、ログ分析サーバによりすべての結果を併合してＷｅｂサーバの全ログの分析結果を取得する。
【００５８】
当該Ｗｅｂサーバの全ログの分析結果は、ＰＶ１６個、アクセスユーザ３人、それぞれ２１３．４２．２．２１．１１６０７２２８８４３３１．１、２１３．４２．２．２１．１２３４５６７８９０１２３．４および６０．１２３．４５．６．９８７６５４３２１０９８７．２、アクセス経路３本であり、同時にユーザのニュースとフォーラムアクセス間の前後関係が分析された。
【００５９】
以上、具体的な実施例を挙げて本発明の分散型コンピュータネットワークに基づくログ分析方法を説明した。前記本発明に関する説明を参照して、図４に示したのは、本発明に記載の分散型コンピュータネットワークに基づくログ分析システムであり、ログ分析サーバ４１０および対応するノード４２０を含み、前記ログ分析サーバ４１０は、Ｗｅｂサーバの、ユーザ識別子および当該ユーザ識別子に対応するログ情報が含まれるログファイルを収集する収集部４１２と、収集部４１２が収集したログファイルを記憶する記憶部４１３と、データを送受信する第１インタフェース部４１１と、前記記憶部４１３中のログファイルを、同じユーザ識別子を有するログ情報から構成される複数の目標ファイルに分割する分割部４１４とを含み、前記ノード４２０は、データを送受信する第２インタフェース部４２１と、目標ファイルを分析する処理部４２５とを含み、前記ログ分析サーバ４１０はさらに、各ノードの分析結果を併合させる併合部４１６を含む。
【００６０】
前記ログファイルはＷｅｂサーバのログファイルであり、前記Ｗｅｂサーバは少なくとも１つのサーバから構成されるサーバクラスタであり、前記ログファイルはログファイル集であって、当該サーバクラスタ中の各サーバが生成するログファイルを含む。
【００６１】
好ましくは、前記ノード４２０はさらに、ログファイル中のログ分析とは無関係の情報をフィルタリング（除去）するフィルタ部４２２と、フィルタ部４２２がフィルタリングしたログファイルをユーザ識別子に基づき識別子ファイルに分割して、同じユーザ識別子を有するログ情報を同一の識別子ファイルに組み入れる分割部４２３とを含み、前記分割部４１４はさらに、各ノードが送信した同一ユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとする目標ファイル生成部４１５を含む。
【００６２】
好ましくは、前記ノード４２０はさらに、目標ファイル中のログ情報をその生成時刻に基づいてソーティングするソーティング部４２４を含む。
【００６３】
収集部４１２は、Ｗｅｂサーバクラスタの各サーバからログファイルを収集し、記憶部４１３に記憶した後、第１インタフェース部４１１を介して前記ログファイルを各ノードに送信し、フィルタ部４２２により第２インタフェース部４２１が受け取ったログファイルをフィルタリングし、ログ分析とは無関係の情報を除去し、続けて分割部４２３がフィルタ部４２２でフィルタリングされたログファイルをユーザ識別子に基づいて識別子ファイルに分割し、同じユーザ識別子を有するログ情報を同一の識別子ファイルに組み入れ、かつ第２インタフェース部４２１を介して前記識別子ファイルをログ分析サーバに送信し、目標ファイル生成部４１５が、各ノードが送信した同一ユーザ識別子を有する識別子ファイルを１つのファイルに併合させて目標ファイルとし、次いで、生成された目標ファイルをさらに第１インタフェース部４１１を介して各ノードに送信し、目標ファイルを受け取った各ノードは、先ずソーティング部４２４が前記目標ファイルをファイル中のログ情報の生成時刻によってソーティングし、次いで処理部４２５がそれを分析して分析結果を取得し、最後に当該分析結果を第２インタフェース部４２１を介してログ分析サーバに返送し、最終的に併合部４１６が各ノードが送信したログ分析結果を併合させて、当該Ｗｅｂサーバのログファイルの分析結果を取得する。
【産業上の利用可能性】
【００６４】
以上、本発明が提供する分散型コンピュータネットワークに基づくログファイル分析方法およびシステムについて詳細に説明を行った。本出願では具体例を用いて本発明の原理および実施形態を記述したが、前記実施例の説明は、本発明の方法およびその核心的理念の理解を促すためのものに過ぎず、同時に本分野の一般技術者であれば、本発明の理念に基づき、具体的な実施形態および応用範囲に変更することもあり得る。したがって、本明細書の内容は本発明を制限するものと理解すべきではない。
【図１】
2010512563.tif 000003
【図２】
2010512563.tif 000004
【図３】
2010512563.tif 000005
【図４】
2010512563.tif 000006
【国際調査報告】
2010512563.tif 000007
2010512563.tif 000008
2010512563.tif 000009
2010512563.tif 000010