(57)【特許請求の範囲】
【請求項１】
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバと、
前記サーバにアクセスする利用者の端末と、
利用者から前記サーバへのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置と
を備えたアクセスログ処理システムにおいて、
前記アクセスログ格納検索装置は、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
を備え、
前記アクセスログ格納検索装置は、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集し、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶し、
及び、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出し、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込み、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶する
アクセスログ処理システム。
【請求項２】
請求項１に記載のアクセスログ処理システムにおいて、
前記アクセスログ格納検索装置は、
アクセスログを処理して、アクセスログファイル及びメタデータファイルにそれぞれアクセスログ及びメタデータを格納するためのアクセスログ格納機能部と、
を備え、
前記アクセスログ格納機能部は、
各利用者からのアクセスにより各サーバが端末へ出力した情報についてのアクセスログを収集し、
各サーバに対応して設けられた、利用者識別情報の前記頭文字毎の複数ファイルに、各サーバから収集したアクセスログをファイル分割し、
複数のサーバの前記頭文字毎の複数ファイルの複数のアクセスログを、利用者識別情報に従いマージし、
マージされた複数のアクセスログを利用者識別情報単位で、時刻及びアクセス識別情報毎にソートし、
ソートされた複数のアクセスログの利用者識別情報又は時刻又はアクセス識別情報に重複データが存在する場合は、該重複データを削除して、削除したことを示す重複識別子を挿入することで、利用者識別情報毎のアクセスログデータを作成して、利用者識別情報の前記頭文字毎のアクセスログファイルに記憶し、
利用者識別情報毎のアクセスログデータに基づき、利用者識別情報、格納しているアクセスログファイル名及びデータ格納位置情報を含むメタデータを作成し、メタデータファイルに記憶する
アクセスログ処理システム。
【請求項３】
請求項１又は２に記載のアクセスログ処理システムにおいて、
前記アクセスログ格納検索装置は、
アクセスログ検索依頼に従い、アクセスログファイル及びメタデータファイルから、それぞれアクセスログ及びメタデータを検索するためのアクセスログ検索機能部と
を備え、
前記アクセスログ検索機能部は、
アクセスログ検索者端末から、利用者識別情報を指定した検索処理要求を受け、
受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータ内のアクセスログファイル名及びデータ格納位置情報を抽出し、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込み、
アクセスログの重複識別子に従い、削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、該アクセスログを表示部に表示する又は記憶部に記憶する
アクセスログ処理システム。
【請求項４】
請求項１乃至３のいずれかに記載のアクセスログ処理システムにおいて、
前記データ格納位置情報は、データ格納開始位置及びデータ格納サイズ、又は、データ格納開始位置及びデータ格納終了位置であることを特徴とするアクセスログ処理システム。
【請求項５】
請求項１乃至４のいずれかに記載のアクセスログ処理システムにおいて、
前記利用者識別情報は、利用者固有のＩＤ、ログインＩＤ、利用者の電話番号、利用者のメールアドレスのいずれかを含むことを特徴とするアクセスログ処理システム。
【請求項６】
請求項１乃至５のいずれかに記載のアクセスログ処理システムにおいて、
前記アクセス識別情報は、ＵＲＬであり、各々のｓｃｈｅｍｅデータ、ａｕｔｈｏｒｉｔｙデータ、ｈｏｓｔデータ、ｐｏｒｔデータ、ｐａｔｈデータ毎に重複を削除することを特徴とするアクセスログ処理システム。
【請求項７】
請求項１乃至６のいずれかに記載のアクセスログ処理システムにおいて、
利用者識別情報単位に重複データを削除したデータの圧縮処理及びエンコード処理を行いアクセスログファイルに記憶し、
アクセスログファイルから読み出したアクセスログのデコード処理及び解凍処理を行う
ことを特徴とするアクセスログ処理システム。
【請求項８】
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバと、
前記サーバにアクセスする利用者の端末と、
利用者から前記サーバへのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置と
を備えたアクセスログ処理システムにおいて、
前記アクセスログ格納検索装置は、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
を備えた前記アクセスログ処理システムにおけるアクセスログ処理方法であって、
前記アクセスログ格納検索装置は、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集し、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶し、
及び、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出し、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込み、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶する
アクセスログ処理方法。
【請求項９】
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバと、
前記サーバにアクセスする利用者の端末と、
利用者から前記サーバへのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置と、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
を備えたアクセスログ処理システムにおけるアクセスログ処理プログラムであって、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集する手順と、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成する手順と、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成する手順と、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶する手順と、
及び、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出する手順と、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込む手順と、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶するする手順と
を前記アクセスログ格納検索装置に実行させるためのアクセスログ処理プログラム。
【請求項１０】
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバへの、利用者からのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置であって、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
アクセスログを処理して、アクセスログファイル及びメタデータファイルにそれぞれアクセスログ及びメタデータを格納するためのアクセスログ格納機能部と、
アクセスログ検索依頼に従い、アクセスログファイル及びメタデータファイルから、それぞれアクセスログ及びメタデータを検索するためのアクセスログ検索機能部と
を備え、
前記アクセスログ格納機能部は、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集し、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶し、
及び、
前記アクセスログ検索機能部は、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出し、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込み、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶する
アクセスログ格納検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アクセスログ処理システム及び方法及びプログラム、アクセスログ格納検索装置に係る。本発明は、特に、アクセスログ検索の特性を利用した高速検索が可能な圧縮格納技術と一意の文字列（利用者を一意に特定するデータ）を含むアクセスログを高速に検索するためのアクセスログ格納・検索技術に関する。
【背景技術】
【０００２】
近年、Ｗｅｂアクセスの増加にともないＷｅｂアクセスに関する調査とＷｅｂアクセスログも増加している。Ｗｅｂアクセスに関する調査を実施する場合、問合わせた利用者の識別情報をキーにして蓄積したＷｅｂアクセスログの検索を行い該当するＷｅｂアクセスログを抽出する。利用者からの問い合わせで必要なＷｅｂアクセスログには利用者の識別情報が含まれていることとＷｅｂアクセスの特徴としてＵＲＬデータはホストデータ等、同じ文字列のデータが連続して続くことがあげられる。
特許文献１には、ファイルサーバ上の同一データ内容のファイルについては、同じ実体ファイルにリンクさせたエントリを登録し、管理テーブル上は論理的に別ファイルとして扱うことで、重複データ分のデータサイズ節約を実現するようにした情報処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３７９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術は、主に、汎用的なファイル圧縮技術、あるいはデータベース格納技術によるものである。特定利用者のＷｅｂアクセスに対応するＷｅｂアクセスログを検索する場合、これらの従来技術を用いると、ひとつにはＷｅｂアクセスログに特化した格納方式でないため、圧縮効率が十分でなかったり、圧縮格納による検索処理時間が低下する場合があるという課題があった。
また、従来の技術では、Ｗｅｂアクセスログのデータの格納サイズを効率化するため、圧縮して格納する場合があるが、検索処理の際、Ｗｅｂアクセスログの復元処理に時間がかかり検索応答時間が遅くなる場合があるという課題があった。
本発明は、以上の点に鑑み、位置情報が記録された検索用メタデータを作成し、アクセスログのデータを圧縮して格納することにより、アクセスログを高速検索することを目的とする。
【課題を解決するための手段】
【０００５】
本発明では、上記課題を解決するため、各利用者毎でまとめたＷｅｂ等のアクセスログは類似した連続データが続くことと、利用者の問合せは利用者のアクセスログを抽出することで確認できることから、Ｗｅｂ等のアクセスログ検索業務に特化したデータ格納方式とすることで効率的な圧縮と検索時のＨＤＤ等のメモリアクセスを小さくした高速な検索処理を提供する。また、本発明では、利用者毎にＷｅｂ等のアクセスログを固めて格納することで、一意の利用者のＷｅｂアクセスログの抽出の際、メタデータの読出しと該当Ｗｅｂ等のアクセスログのディスクアクセス回数を削減することが可能となる。
本発明のひとつの態様によると、Ｗｅｂアクセスログ格納検索システムは、Ｗｅｂアクセスログ格納機能部、Ｗｅｂアクセスログ格納ＨＤＤ、Ｗｅｂアクセスログ検索機能部を備える。Ｗｅｂアクセスログ格納機能部は、Ｗｅｂアクセスログ検索の検索特性を考慮したＷｅｂアクセスログの加工・圧縮とメタデータ作成を行い、Ｗｅｂアクセスログ格納ＨＤＤに格納する。Ｗｅｂアクセスログ検索機能部は、Ｗｅｂアクセスログ格納ＨＤＤからメタデータ読出しを行い利用者情報に基づいた箇所の呼び出しを行う。検索結果は通常のＷｅｂアクセスログ検索結果に加えて、差分のみのデータ出力を行うこともできる。
【０００６】
本発明の第１の解決手段によると、
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバと、
前記サーバにアクセスする利用者の端末と、
利用者から前記サーバへのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置と
を備えたアクセスログ処理システムにおいて、
前記アクセスログ格納検索装置は、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
を備えたアクセスログ処理システム、前記アクセスログ処理システムにおけるアクセスログ処理方法であって、
前記アクセスログ格納検索装置は、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集し、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセスアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶し、
及び、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出し、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込み、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶する
アクセスログ処理システム、アクセスログ処理方法が提供される。
【０００７】
本発明の第２の解決手段によると、
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバと、
前記サーバにアクセスする利用者の端末と、
利用者から前記サーバへのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置と、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
を備えたアクセスログ処理システムにおけるアクセスログ処理プログラムであって、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集する手順と、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセスアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成する手順と、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成する手順と、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶する手順と、
及び、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出する手順と、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込む手順と、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶するする手順と
を前記アクセスログ格納検索装置に実行させるためのアクセスログ処理プログラムが提供される。
【０００８】
本発明の第３の解決手段によると、
ウェブ又はコンテンツ又は他の情報を提供する複数のサーバへの、利用者からのアクセスを記録したアクセスログを処理するアクセスログ格納検索装置であって、
利用者識別情報に対応して、時刻と、ウェブ又はコンテンツ又は他の情報のアクセス識別情報とを含むアクセスログを記憶する、利用者識別情報のひとつ又は複数の頭文字で分割された複数のアクセスログファイルと、
利用者識別情報に対応して、アクセスログファイル名と、アクセスログのデータ格納位置情報とを含むメタデータを記憶するメタデータファイルと、
アクセスログを処理して、アクセスログファイル及びメタデータファイルにそれぞれアクセスログ及びメタデータを格納するためのアクセスログ格納機能部と、
アクセスログ検索依頼に従い、アクセスログファイル及びメタデータファイルから、それぞれアクセスログ及びメタデータを検索するためのアクセスログ検索機能部と
を備え、
前記アクセスログ格納機能部は、
各利用者からのアクセスにより各前記サーバが前記端末へ出力した情報についてのアクセスログを収集し、
複数のアクセスログ間において、利用者識別情報及び時刻及びアクセスアクセス識別情報の各々に重複データが存在する場合は、各々の前記重複データを削除して、利用者識別情報毎のひとつ又は複数のアクセスログデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータに基づき、利用者識別情報毎の、アクセスログファイル名及びデータ格納位置情報を含むメタデータを作成し、
利用者識別情報毎のひとつ又は複数のアクセスログデータを、利用者識別情報の前記頭文字毎の前記アクセスログファイルに記憶し、利用者識別情報毎のメタデータを前記メタデータファイルに記憶し、
及び、
前記アクセスログ検索機能部は、
利用者識別情報を指定した検索処理要求を受けると、受けた検索処理要求に含まれる利用者識別情報に基づき、前記メタデータファイルを検索して、メタデータのアクセスログファイル名及びデータ格納位置情報を抽出し、
抽出したアクセスログファイル名のアクセスログファイルから、抽出したデータ格納位置情報に従いアクセスログを読込み、
削除された重複データの復元を行いアクセスログを作成し、又は、削除された重複データを復元しないでブランク又は重複を示す記号又は文字を記載したアクセスログを作成し、作成された該アクセスログを表示部に表示する又は記憶部に記憶する
アクセスログ格納検索装置が提供される。
【発明の効果】
【０００９】
本発明によれば、位置情報が記録された検索用メタデータを作成し、アクセスログのデータを圧縮して格納することにより、アクセスログを高速検索することができる。
また、本発明によれば、位置情報が記録されたメタデータを作成することと、位置情報に基づき該当データをファイル又はディスク等から読み込むことにより、すべてのデータを都度読み込んで出力する方式と比較した場合において、高速に検索結果を取得することが可能となる。また、本発明によれば、特にＷｅｂアクセスのように同じデータが連続する特性があるようなアクセスについて、差分のみデータを格納することでＨＤＤへのアクセスログデータの効率格納と呼び出しを図ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用したＷｅｂアクセスログ格納・検索システムの実態の形態のシステム構成図・ブロック図。
【図２】本発明を適用したＷｅｂアクセスログ格納処理の実施の形態のシーケンス図（データ格納処理）。
【図３】本発明を適用したＷｅｂアクセスログ検索処理の実施の形態のシーケンス図（データ検索処理）。
【図４】図２のＷｅｂアクセスログ格納処理を適用したＷｅｂアクセスログ格納ＨＤＤ４５の説明図（データブロック図）。
【図５】図４のＷｅｂアクセスログ検索処理を適用した検索結果画面（１）を示した図。
【図６】図４のＷｅｂアクセスログ検索処理を適用した検索結果画面（２）を示した図（ＣＳＶファイル）。
【図７】Ｗｅｂアクセスログ重複データ削除処理３７についてのフローチャート。
【図８】Ｗｅｂアクセスログメタデータ作成処理４１についてのフローチャート。
【図９】Ｗｅｂサーバのステータスコード例を示す図。
【図１０】メタデータファイルの説明図。
【図１１】アクセスログファイルの説明図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面により詳細に説明する。
図１は、本発明を適用したＷｅｂアクセスログ格納・検索システムの実態の形態のシステム構成図・ブロック図を示したものである。図１において、本システムは、利用者の端末１、利用者の端末１からアクセスされるＷｅｂサーバ２、Ｗｅｂアクセスログ格納・検索装置１００、Ｗｅｂアクセスログ検索者の端末６、端末１とＷｅｂアクセスログ格納・検索装置１００とを接続するインターネット等のネットワークを備える。なおＷｅｂアクセスログ検索者の端末６もインターネット等のネットワークを介してＷｅｂアクセスログ格納・検索装置１００と接続されるようにしてもよい。
Ｗｅｂアクセスログ格納・検索装置１００は、Ｗｅｂアクセスログ格納機能部３、Ｗｅｂアクセスログ格納ＨＤＤ４、Ｗｅｂアクセスログ検索機能部５を有する。Ｗｅｂアクセスログ格納機能３は、利用者からのアクセスを記録したＷｅｂアクセスログを処理してＷｅｂアクセスログ格納ＨＤＤ４に格納を行う。Ｗｅｂアクセスログ検索機能部５は、Ｗｅｂアクセスログ検索者６からの利用者単位でのＷｅｂアクセスログ検索依頼を受け、Ｗｅｂアクセスログ格納ＨＤＤ４からＷｅｂアクセスログ格納機能部３で、メタデータファイル１５及びＷｅｂアクセスログファイル１６、１７にそれぞれ格納されたメタデータ及びＷｅｂアクセスログを読み出して検索処理を行う。Ｗｅｂアクセスログ格納機能部３は、Ｗｅｂアクセスログ収集処理７、Ｗｅｂアクセスログキー単位で分割処理８、Ｗｅｂアクセスログキーデータでマージ処理９、Ｗｅｂアクセスログソート処理１０、Ｗｅｂアクセスログ重複データ削除処理１１、Ｗｅｂアクセスログキー単位で圧縮処理１２、Ｗｅｂアクセスログメタデータ作成処理１３、ＷｅｂアクセスログＨＤＤ格納処理１４を含む。Ｗｅｂアクセスログ格納ＨＤＤ４は、Ｗｅｂアクセスログ格納機能部３で生成したメタデータファイル１５、Ｗｅｂアクセスログファイル１６、１７を備える。なお、Ｗｅｂアクセスログを記録する装置としては、ＨＤＤに限らず、フラッシュメモリ、ＳＤ等の適宜のメモリデバイスを用いることができる。Ｗｅｂアクセスログ検索機能５は、Ｗｅｂアクセスログ検索受付処理１８、検索キーのメタデータ読込処理１９、該当Ｗｅｂアクセスログの読込箇所特定処理２０、Ｗｅｂアクセスログの該当箇所読込処理２１、該当データの解凍処理２２、重複データ復元処理２３、検索結果応答処理２４を含む。
また、Ｗｅｂアクセスログ格納・検索装置１００及び／又は検索者端末６は、Ｗｅｂアクセスログ検索機能５による検索結果を表示するための表示部を備える。
【００１２】
図１０に、メタデータファイルの説明図を示す。
メタデータファイルに記憶されるメタデータは、利用者識別情報に対応して、アクセスログデータが格納されるアクセスログファイルのアクセスログファイル名と、該当利用者のデータ開始位置及びデータサイズで表されるアクセスログのデータ格納位置とを含む。利用者識別情報は、例えば、電話番号、メールアドレス、ログインＩＤ、利用者ＩＤ等、利用者を一意に識別することができる文字列等の情報である。アクセスログのデータ格納位置は、この例の他にも、データ格納開始位置及びデータ格納終了位置等の適宜の位置情報としてもよい。
【００１３】
図１１に、アクセスログファイルの説明図を示す。
アクセスログファイルは、利用者識別情報の頭文字毎に複数備えられ、アクセスログファイル名が与えられる。なお、単位として使用する「頭文字」は、英語・日本語や他の言語や記号でもよいし、また、ひとつの頭文字（例、「ａ」、「ｂ」・・、又は、「あ」「い」・・・等）でも、又は、複数の頭文字（例、「ａａ」、「ａｂ」・・、又は、「ああ」「あい」・・・等）でもよい。アクセスログは、利用者識別情報に対応して、時刻と、ＵＲＬ、利用者ＩＰアドレス、ステータスコードを含む。ＵＲＬは、これに限らず、ウェブ又はコンテンツ又は他の情報である適宜のアクセス識別情報とすることができる。利用者ＩＰアドレスは、利用者の端末のアドレスとすることができる。なお、アクセスログファイルは、Ｗｅｂアクセスログ格納ＨＤＤ４以外にも、図２等で記載されたような、Ｗｅｂアクセスログ格納・検索装置１００内の適宜一時記憶領域でも、同様のフォーマットである。
【００１４】
図９は、Ｗｅｂサーバのステータスコード例を示す図である。
図示のように、ステータスコードにより、アクセス状況が示される。
【００１５】
図２は、本発明を適用したＷｅｂアクセスログ格納処理の実施の形態のシーケンス図を示したものである。この処理は、Ｗｅｂアクセスログ格納機能部３が実行する。
図２において、Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログ収集処理２９（７）」（カッコ内の参照番号は図１に対応）で、各利用者からのＷｅｂアクセスにより各Ｗｅｂサーバが出力したＷｅｂアクセスログ２８の収集を行う。つぎに、Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログキー単位で分割処理３１（８）」で、Ｗｅｂアクセスログ３０に含まれている利用者識別情報（以後、キー）単位毎に各Ｗｅｂサーバから収集したＷｅｂアクセスログ３０をファイル分割する。例えば、利用者「ａｂ１０２」「ａｂ１０５」「ｃｙ２９２」「ｃｙ３５３」からＷｅｂアクセスがあった際には各ＷｅｂサーバのＷｅｂアクセスログ毎にキーの頭文字ａのファイル、ｃのファイルといったファイルに各Ｗｅｂサーバのログの分割処理を行う。つぎに、Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログキーデータでマージ処理３３（９）」で、各Ｗｅｂサーバのログ毎に分割したＷｅｂアクセスログ（キー単位でファイル分割）３２をキー単位にマージを行う。例えば、Ｗｅｂサーバ１でキーの頭文字「ａ」のファイル、「ｃ」のファイルとＷｅｂサーバ２でキーの頭文字「ａ」のファイル、「ｃ」のファイルの４ファイルがある場合、Ｗｅｂサーバ１と２のファイルを頭文字「ａ」、頭文字「ｂ」の２ファイルにマージする処理を行う。Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログソート処理３５（１０）」で、Ｗｅｂアクセスログ（マージ済）３４をキー単位でソートする。例えば、キーの頭文字「ａ」のファイルに利用者「ａｂ１０２」「ａｂ１０５」のＷｅｂアクセスログが含まれている場合、キー単位でソートすることで「ａｂ１０２」のＷｅｂアクセスログの後、「ａｂ１０５」のＷｅｂアクセスログの順番となる。
【００１６】
つぎに、Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログ重複データ削除処理３７（１１）」で、Ｗｅｂアクセスログ（ＣＳＶファイル形式）の各カラムに重複したデータが存在する場合は重複していると判断して重複データの削除を行う。例えば、利用者「ａｂ１０２」のＷｅｂアクセスログが４件あった場合、利用者識別情報（キー）は重複しているので２行目以下の「ａｂ１０２」データを削除する。時刻についても、同一時刻でのアクセスの場合は、同一時刻の時刻情報を削除する。ＵＲＬについては、例えば、ｓｃｈｅｍａ，ａｕｔｈｏｒｉｔｙ，ｐａｔｈに分割して重複しているデータは削除を行い、差分箇所（後方一致）のみのデータに書き換えを行う。利用者ＩＰアドレス、ステータスコードのカラムについても、重複データが続く場合は削除を行う。つぎに、Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログキー単位で圧縮処理３９（１２）」で、利用者識別情報単位に重複データを削除したデータの圧縮（ＺＩＰ圧縮等）を行いエンコード処理（ＢＡＳＥ６４等）を行う。つぎに、Ｗｅｂアクセスログ格納機能部３は、「Ｗｅｂアクセスログメタデータ作成処理４１（１３）」で、キー単位で圧縮したデータの各キーの値、格納しているＷｅｂアクセスログファイル名、圧縮データの開始位置、圧縮データのサイズをセットにしたメタデータを作成する。例えば、アクセスログファイル（キーの頭が「ａ」）に利用者「ａｂ１０２」のデータが記録されている場合は、メタデータにキー値「ａｂ１０２」、対象ファイル名「アクセスログファイル（キーの頭文字が「ａ」の「ｆｉｌｅ−ａ」）」、開始位置に利用者「ａｂ１０２」のＷｅｂアクセスログデータ（圧縮済）の開始位置、サイズに利用者「ａｂ１０２」のＷｅｂアクセスログデータ（圧縮済）のサイズをそれぞれ追記する。つぎに、Ｗｅｂアクセスログ格納機能部３は、「ＷｅｂアクセスログＨＤＤ格納処理４４（１４）」で、「Ｗｅｂアクセスログキー単位で圧縮処理３９（１２）」で作成したＷｅｂアクセスログ（キー単位圧縮）４０と「Ｗｅｂアクセスログメタデータ作成処理４１（１３）」で作成したメタデータを、Ｗｅｂアクセスログ格納ＨＤＤ４のアクセスログファイルとメタデータファイルにそれぞれ格納する。
なお、「Ｗｅｂアクセスログ収集処理２９（７）」から「Ｗｅｂアクセスログメタデータ作成処理４１（１３）」の各処理において、Ｗｅｂアクセスログ格納ＨＤＤ４内のアクセスログファイル及びメタファイルにアクセスログ及びメタデータを、それぞれ直接記憶するようにしてもよい。その場合は、「ＷｅｂアクセスログＨＤＤ格納処理４４（１４）」を省略することができる。
【００１７】
図４は、図２のＷｅｂアクセスログ格納処理を適用したＷｅｂアクセスログ格納ＨＤＤ４５の説明図を示したものである。
メタデータ６８は利用者単位でのデータ格納位置を示す利用者を識別する情報、対象ファイル名、データ格納開始位置、データ格納サイズを記録している。アクセスログファイル６９、７４は利用者識別情報単位で分割したファイルである。この例では、利用者識別情報（キー）が「ａｂ１０２」の場合、メタデータ６８には対象ファイル名「ｆｉｌｅ−ａ」、開始位置「０」、サイズ「５２０」が格納されている。対象ファイル「ｆｉｌｅ−ａ」６９は利用者識別情報（キー）が「ａ」で始まるＷｅｂアクセスログファイルで、開始位置「０」からサイズ「５２０」を読み出すことで利用者識別情報「ａｂ１０２」のＷｅｂアクセスログ７０を抽出することができる。解凍するとＷｅｂアクセスログ（重複データ削除済）データ７２を取得することができる。利用者識別情報「ａｂ１０２」のＷｅｂアクセスログが４件あった場合、利用者識別情報は重複しているので２件目以降は削除している。時間も同じ場合は同様に削除している。ＵＲＬは、重複するようｓｃｈｅｍａ，ａｕｔｈｏｒｉｔｙ，ｐａｔｈに分解して重複しているデータは同様に削除している。一部のみ異なる場合は変更箇所（後方一致で）のみデータを格納し、それ以外の値は削除している。
【００１８】
図７に、Ｗｅｂアクセスログ重複データ削除処理３７についてのフローチャートを示す。
Ｗｅｂアクセスログ格納機能部は、Ｗｅｂアクセスログ重複データ削除処理３７により、収集したＷｅｂアクセスログを読込む（Ｓ１０１）。つぎに、Ｗｅｂアクセスログ重複データ削除処理３７により、今回読み込んだアクセスログデータと前回読み込んだアクセスログデータとを比較し、前のアクセスログと同じ各データ（利用者識別情報、時刻、ＵＲＬ、利用者ＩＰアドレス、ステータスコード等）はそれぞれ予め定められた一意文字（例、「．」、ブランク等）の重複識別子に変換する（Ｓ１０３）。なお、このとき、ＵＲＬは、ｓｃｈｅｍａ，ａｕｔｈｏｒｉｔｙ，ｐａｔｈの各データについて、後方から差分の文字列を抽出する。つぎに、Ｗｅｂアクセスログ重複データ削除処理３７により、アクセスログを、Ｗｅｂアクセスログ格納・検索装置内の適宜の一時記憶領域又はＷｅｂアクセスログ格納ＨＤＤ４における、利用者識別情報に該当する頭文字のアクセスログファイル名のアクセスログファイルに、格納する（Ｓ１０５）。以上の処理を、次に読み込むべきアクセスログがなくなるまで、繰り返す（Ｓ１０７）。
【００１９】
図８に、Ｗｅｂアクセスログメタデータ作成処理４１についてのフローチャートを示す。
Ｗｅｂアクセスログ格納機能部は、Ｗｅｂアクセスログメタデータ作成処理４１により、一時記憶領域又はＷｅｂアクセスログ格納ＨＤＤ４のアクセルログファイルから、Ｗｅｂアクセスログを利用者識別情報（キー）単位で読込む（Ｓ２０１）。つぎに、Ｗｅｂアクセスログメタデータ作成処理４１により、キー単位の圧縮したデータの開始位置及びサイズ等のデータ格納位置情報を求める（Ｓ２０３）。そして、Ｗｅｂアクセスログメタデータ作成処理４１により、利用者識別情報に対応して、アクセスログファイル名と、該当利用者のデータ開始位置及びデータサイズ等のデータ格納位置情報とを含むメダデータを、メタデータファイルに書込む（Ｓ２０５）。以上の処理を、次に読み込むべきアクセスログがなくなるまで、繰り返す（Ｓ２０７）。
【００２０】
図３は、本発明を適用したＷｅｂアクセスログ検索処理の実施の形態のシーケンス図を示したものである。この処理は、Ｗｅｂアクセスログ検索機能部５が実行する。
図３において、Ｗｅｂアクセスログ検索機能部５は、「Ｗｅｂアクセスログ検索受付処理５３（１８）」（カッコ内の参照番号は図１に対応）で、Ｗｅｂアクセスログ検索者５１からの検索の依頼を受け検索処理の受付を行う。検索受付の際は、検索データのキーとなる利用者識別情報（キー）を指定する。例えば、利用者「ａｂ１０２」のＷｅｂアクセスログを検索する場合は、Ｗｅｂアクセスログ検索者５１が「Ｗｅｂアクセスログ検索受付処理５３（１８）」で利用者「ａｂ１０２」のデータを入力する。つぎに、Ｗｅｂアクセスログ検索機能部５は、「検索キーのメタデータ読込処理５４（１９）」で、メタデータファイルからメタデータ５５の読込を行う。なお、メタデータ５５は利用者人数分のデータのみのため、Ｗｅｂアクセスログ５８と比較するとサイズは小さくなる。つぎに、Ｗｅｂアクセスログ検索機能部５は、「該当Ｗｅｂアクセスログの読込箇所特定５６（２０）」で、メタデータ５５から利用者のメタデータを抽出する。例えば、利用者「ａｂ１０２」の読込箇所特定をする場合は、メタデータの利用者識別情報（キー）と一致する該当行を検索して、該当行の対象ファイル名、開始位置、サイズを抽出する。つぎに、Ｗｅｂアクセスログ検索機能部５は、「Ｗｅｂアクセスログの該当箇所読込処理５７（２１）」で、Ｗｅｂアクセスログ（キー単位圧縮）５８から検索指定した利用者の該当データ（Ｗｅｂアクセスログ）５９の読込を行う。この読込処理では、「該当Ｗｅｂアクセスログの読込箇所特定処理５６（２０）」で抽出した対象ファイル名から、検索するＷｅｂアクセスログファイル（キー単位圧縮）５８を指定し、開始位置、サイズから該当データ（Ｗｅｂアクセスログ）５９の読込みを行う。つぎに、Ｗｅｂアクセスログ検索機能部５は、「該当データの解凍処理６０（２２）」で、読込んだ該当データ（Ｗｅｂアクセスログ）５９のデコードと解凍処理を行う。解凍処理後は、重複データが削除された該当利用者のＷｅｂアクセスログ（重複データ削除済）（ＣＳＶファイル）６１が出力される。つぎに、Ｗｅｂアクセスログ検索機能部５は、「重複データ復元処理６２（２３）」で、削除していた重複データの復元を行う。このとき、「重複データ復元処理６２（２３）」により、図７のフローチャートで説明したような重複識別子（一意文字「．」等）に基づき重複データであることを判定し、該当データを復元することができる。例えば、Ｗｅｂアクセスログの時刻が１０時の場合、２行目以降の時刻は削除されているが復元処理で１０時の値を設定する。ＵＲＬの場合、同じｈｏｓｔ、ｐａｔｈが連続することが多く２行目以降の削除、差分のみ記録されているデータの復元処理を行う。つぎに、Ｗｅｂアクセスログ検索機能部５は、「検索結果応答処理６４（２４）」で、Ｗｅｂアクセスログ検索者５１に検索結果６６の応答を行う。なお、Ｗｅｂアクセスログ検索機能部５は、この検索結果をＷｅｂアクセスログ格納ＨＤＤ４に保存してもよい。
【００２１】
図５は、図４のＷｅｂアクセスログ検索処理を適用した検索結果画面（１）を示した図である。図５（Ａ）では、通常のＷｅｂアクセス結果画面７９は、重複データを復元したＷｅｂアクセスログ結果を表示する。図５（Ｂ）では、Ｗｅｂアクセスの切り分けがしやすいように、重複データを復元しない形式の画面であるＷｅｂアクセス結果（差分調査用）８０とすることで、変化点を検索者に表示することが可能となる。図５（Ｃ）では、同様にＷｅｂアクセスの切り分けがしやすいように、重複データを字体・太さ・色等で強調したＷｅｂアクセス結果（差分調査用）８１とすることで、変化点を強調して検索者に表示することが可能となる。
【００２２】
図６は、図４のＷｅｂアクセスログ検索処理を適用した検索結果画面（２）を示した図である。図６（Ａ）のように、検索結果を通常のＷｅｂアクセスログ結果ＣＳＶファイル８２で表示することができる。また、図６（Ｂ）のように、差分調査用のＷｅｂアクセスログ結果（差分調査用）ＣＳＶファイル８３を出力することが可能となる。
【００２３】
以上のように、本実施の形態のような、Ｗｅｂアクセスログ高速化検索技術によれば、位置情報が記録されたメタデータを作成することと、位置情報に基づく該当データをＨＤＤから読み込むことにより、すべてのデータを都度読み込んで出力する方式と比較した場合において、高速に検索結果を取得することが可能となる。また、ＷｅｂアクセスはＷｅｂのリンクをたどっていくアクセスが多くＵＲＬのｈｏｓｔデータ、ｐａｔｈデータ等、同じデータが連続する特性があり差分のみデータを格納することでＨＤＤへのＷｅｂアクセスログデータの効率格納と呼び出しを図る。
【産業上の利用可能性】
【００２４】
以上では、特に利用者の端末からＷｅｂサーバにアクセスされ、Ｗｅｂサーバにより端末に各種のＷｅｂが提供される例について説明したが、Ｗｅｂに限らず、適宜のコンテンツ又は他の情報に関して、端末からサーバにアクセスして、サーバから端末にその情報を提供するようにしてもよい。
本発明のアクセスログ処理方法又はシステム、アクセスログ格納・検索装置は、その各手順をコンピュータに実行させるためのアクセスログ処理プログラム、アクセスログ処理プログラムを記録したコンピュータ読み取り可能な記録媒体、アクセスログ処理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
【符号の説明】
【００２５】
１  利用者の端末
２  Ｗｅｂサーバ
１００  Ｗｅｂアクセスログ格納・検索装置
６  Ｗｅｂアクセスログ検索者の端末
３  Ｗｅｂアクセスログ格納機能部
４  Ｗｅｂアクセスログ格納ＨＤＤ
５  Ｗｅｂアクセスログ検索機能部
【図１】
0005595957.tif 000002
【図２】
0005595957.tif 000003
【図３】
0005595957.tif 000004
【図４】
0005595957.tif 000005
【図５】
0005595957.tif 000006
【図６】
0005595957.tif 000007
【図７】
0005595957.tif 000008
【図８】
0005595957.tif 000009
【図９】
0005595957.tif 000010
【図１０】
0005595957.tif 000011
【図１１】
0005595957.tif 000012