(57)【特許請求の範囲】
【請求項１】
ウェブサイト内部構造を測定する少なくとも一つ以上の測定機（端末機）を備え、
上記測定機は、端末運営体制上のＤＮＳキャッシュ及びブラウザキャッシュを空にしてウェブサイトに接続することにより応答をくれる全てのウェブサーバ情報を獲得し、ブラウザのイベント情報を介してブラウザとウェブサーバ間の詳細情報を獲得するか、ブラウザとウェブサーバ間のネットワークパケットを捉えてブラウザとウェブサーバ間の詳細情報を獲得する過程を具現するウェブサイト内部構造の自動抽出システム。
【請求項２】
上記測定機は、
該当ウェブサイトに接続して応答をくれる全てのウェブサーバについての情報を獲得するように制御する制御部、
上記ウェブサイトに接続を実現するウェブブラウザと、ウェブブラウザを駆動するウェブブラウザのイベント情報を介してウェブサーバとの送受信情報を獲得するブラウザ駆動機、及び
上記ウェブブラウザがイベント情報で提供しない詳細な情報をパケット情報を介して収集するパケットキャプチャモジュールを含んで構成される、請求項１に記載のウェブサイト内部構造の自動抽出システム。
【請求項３】
上記測定機は、
運営体制を備えたＰＣまたは携帯用端末機に該当する、請求項１に記載のウェブサイト内部構造の自動抽出システム。
【請求項４】
上記ウェブブラウザは、
ウェブブラウザシミュレータで構成可能な、請求項２に記載のウェブサイト内部構造の自動抽出システム。
【請求項５】
上記測定機を介して測定されたウェブサイトの内部構造情報を収集及び視覚化を具現する収集及び分析サーバをさらに含む、請求項１に記載のウェブサイト内部構造の自動抽出システム。
【請求項６】
上記収集及び分析サーバは、
上記測定機と接続する通信部、
上記通信部を介して送信された情報を保存する保存部、
上記保存部に保存された情報についての追加的な分析及び統計を介してウェブサイト内部構造情報を抽出する分析部、
データ形態で存在するウェブサイト内部構造をグラフで視覚化する視覚化部、及び
視覚化されたウェブサイト内部構造をディスプレイするＧＵＩを含む、請求項５に記載のウェブサイト内部構造の自動抽出システム。
【請求項７】
上記視覚化部は、
名前と色相を有するノード（Ｎａｍｅｄ  Ｃｏｌｏｒ  Ｎｏｄｅ）と、加重値を有するライン（Ｗｅｉｇｈｔｅｄ  Ｌｉｎｅ）で、ウェブサイト、ドメイン、サーバ（サーバＩＰ）間の相関関係を視覚化する、請求項６に記載のウェブサイト内部構造の自動抽出システム。
【請求項８】
測定機の運営体制（ＯＳ）上のＤＮＳ  Ｃａｃｈｅ情報及びウェブブラウザのＣａｃｈｅ情報を全て初期化する第１段階、
ウェブブラウザ（またはブラウザシミュレータ）を介してウェブサイトに対する探索（ｎａｖｉｇａｔｉｏｎ）をする第２段階、
該当ページに対する全ての探索が終わるｏｎｌｏａｄイベントを受信する時までウェブブラウザの内部イベント情報をｈｏｏｋｉｎｇする第３段階、及び
イベントｈｏｏｋｉｎｇを介して該当ウェブページを構成する全てのコンポーネントの詳細情報を獲得して保存する第４段階を含む、ウェブサイト内部構造の自動抽出方法。
【請求項９】
上記イベントｈｏｏｋｉｎｇを介して獲得することができない情報は、必要であればパケットキャプチャを介して追加で獲得する第５段階をさらに含む、請求項８に記載のウェブサイト内部構造の自動抽出方法。
【請求項１０】
上記コンポーネントの詳細情報は、
ドメイン、コンポーネント名、ダウンロード時間、コンポーネントサイズ、メディア類型、ウェブサーバＩＰを含んで構成される、請求項８に記載のウェブサイト内部構造の自動抽出方法。
【請求項１１】
Ｏｎｌｏａｄイベントを受信すれば、該当ウェブページの全ての探索が終了したため、この時まで保存したコンポーネント情報を収集及び分析サーバに送信し、次の測定周期まで待機する第６段階をさらに含む、請求項８に記載のウェブサイト内部構造の自動抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェブサイト内部構造の自動抽出システム及び抽出方法に関する。さらに詳しくは、ウェブサイトを介して提供される多様なコンテンツの物理的位置（コンポーネント、ドメイン、サーバ等）に該当する内部的構造を容易に把握することができるように、ウェブサイト構造を能動的に抽出及び視覚化することができるウェブサイト内部構造の自動抽出システム及び抽出方法に関する。
【背景技術】
【０００２】
ポータルサイト［ネイバー（ｎａｖｅｒ）、ダウム（ｄａｕｍ）等］、コミュニティサイト［フェイスブック（ｆａｃｅｂｏｏｋ）、サイワールド（ｃｙｗｏｒｌｄ）等］等のようなオンラインサービスウェブサイトは、多数のドメイン及びサーバを介してそのサービスがなされているのが一般的である。例えば、ポータルサイトのネイバーは、使用者に見えるＵＲＬはｗｗｗ．ｎａｖｅｒ．ｃｏｍ一つであるが、内部的にはｗｗｗ．ｎａｖｅｒ．ｃｏｍの他にもｉｃｓ．ｎａｖｅｒ．ｃｏｍ、ｎｖ１．ａｄ．ｎａｖｅｒ．ｃｏｍ、ｎｖ２．ａｄ．ｎａｖｅｒ．ｃｏｍ、ｓｔａｔｉｃ．ｎａｖｅｒ．ｃｏｍ、ｉｍｇｓｈｏｐｐｉｎｇ．ｎａｖｅｒ．ｃｏｍ等、１０余りを超えるドメインに分けられて各々ウェブコンポーネントをサービスしており、各々のドメイン別に物理的なサーバが割り当てられている複雑な構造である。
【０００３】
また、自己のインフラの他にＣＤＮ（Ｃｏｎｔｅｎｔｓ  Ｄｅｌｉｖｅｒｙ  Ｎｅｔｗｏｒｋ）サービスや、クラウドコンピュータのような外部インフラの利用が増加し、内部の運営者も該当ウェブサイトの構造を把握するのが段々大変になってきている。
【０００４】
また、少なくないオンラインサービスウェブサイトのコンテンツには、自己のコンテンツの他に外部の広告コンテンツやフェイスブック、ツイッターのようなＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）のリアルタイム情報等を融合（Ｍｅｓｈ−Ｕｐ）して提供している（第三者コンテンツ）。
【０００５】
図１は、ウェブページの一般的な構成を図示化したものであり、実質的なウェブサイトの内部構造を図式化するための最も基本的な情報である。ウェブページ１００は、ＨＴＭＬファイル、ＣＳＳファイル、イメージファイル、Ｊａｖａｓｃｒｉｐｔファイル等、画面上へのコンテンツ表示のための多数のコンポーネント１１０で構成され、各コンポーネントについてのアドレスであるコンポーネントＵＲＬは、一つのＤＮＳドメイン１２０と対応する。一つのＤＮＳドメインは、一つ以上のウェブサーバ１３０に対応する。一方、インターネット標準ＲＦＣ２０４６に規定された固有のメディア類型１１５の詳細な例を含むコンポーネント１１０は、図２のとおりである。
【０００６】
通常、このようなウェブサイトの内部構造図は、既存には運営者が手作業で作成し管理してきたが、随時に変化するサービスの構造や、随時に追加、削除、変更されるサーバインフラの内容を、このような手作業では適時に正確に反映することができない問題がある。
【０００７】
さらに、ＣＤＮサービス、クラウドコンピュータの利用や、第三者コンテンツの活用のように外部のコンテンツやインフラの利用が増え、ウェブサイト運営者がウェブサイト全体の内部構造を把握し管理することがほとんど不可能になった。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記のような問題点を解決するための本発明は、実際の使用者端に位置する複数の端末上のブラウザ（またはブラウザをシミュレーションするモジュール）を介して該当ウェブサイトに直接接続し、ブラウザとウェブサーバ間のデータ等を収集し分析することにより、ウェブサイトの内部構造を自動で抽出することができるウェブサイト構造の抽出方法を提供しようとするところにその目的がある。
【０００９】
また、本発明は、自動抽出した内部構造を運営者が容易に把握しやすいグラフで表現するように具現される抽出方法を提供しようとするところにその目的がある。
【００１０】
よって、本発明は、ウェブサイトの物理的内部構造を抽出し視覚化して、管理者の管理及びメンテナンス（ｍａｉｎｔｅｎａｎｃｅ）を効率的に具現することができるシステム及び方法を提供しようとするところに目的がある。
【課題を解決するための手段】
【００１１】
上記のような目的を達成するための本発明は、ウェブサイト内部構造を測定する少なくとも一つ以上の測定機（端末機）を備え、上記測定機は、端末運営体制上のＤＮＳキャッシュ及びブラウザキャッシュを空にしてウェブサイトに接続することにより応答をくれる全てのウェブサーバ情報を獲得し、ブラウザのイベント情報を介してブラウザとウェブサーバ間の詳細情報を獲得するか、ブラウザとウェブサーバ間のネットワークパケットを捉えてブラウザとウェブサーバ間の詳細情報を獲得する過程を具現することを特徴とする。
【００１２】
また、上記測定機は、該当ウェブサイトに接続して応答をくれる全てのウェブサーバについての情報を獲得するように制御する制御部、上記ウェブサイトに接続を実現するウェブブラウザと、ウェブブラウザを駆動するウェブブラウザのイベント情報を介してウェブサーバとの送受信情報を獲得するブラウザ駆動機、及び上記ウェブブラウザがイベント情報で提供しない詳細な情報をパケット情報を介して収集するパケットキャプチャモジュールを含んで構成されることを特徴とする。
【００１３】
また、上記測定機は、運営体制を備えたＰＣまたは携帯用端末機に該当することを特徴とする。
【００１４】
また、上記ウェブブラウザは、ウェブブラウザシミュレータで構成可能なことを特徴とする。
【００１５】
上記測定機を介して測定されたウェブサイトの内部構造情報を収集及び視覚化を具現する収集及び分析サーバをさらに含むことを特徴とする。
【００１６】
また、上記収集及び分析サーバは、上記測定機と接続する通信部、上記通信部を介して送信された情報を保存する保存部、上記保存部に保存された情報についての追加的な分析及び統計を介してウェブサイト内部構造情報を抽出する分析部、データ形態で存在するウェブサイト内部構造をグラフで視覚化する視覚化部、及び視覚化されたウェブサイト内部構造をディスプレイするＧＵＩを含むことを特徴とする。
【００１７】
また、上記視覚化部は、名前と色相を有するノード（Ｎａｍｅｄ  Ｃｏｌｏｒ  Ｎｏｄｅ）と、加重値を有するライン（Ｗｅｉｇｈｔｅｄ  Ｌｉｎｅ）で、ウェブサイト、ドメイン、サーバ（サーバＩＰ）間の相関関係を視覚化することを特徴とする。
【００１８】
また、測定機の運営体制（ＯＳ）上のＤＮＳ  Ｃａｃｈｅ情報及びウェブブラウザのＣａｃｈｅ情報を全て初期化する第１段階、ウェブブラウザ（またはブラウザシミュレータ）を介してウェブサイトに対する探索（ｎａｖｉｇａｔｉｏｎ）をする第２段階、該当ページに対する全ての探索が終わるｏｎｌｏａｄイベントを受信する時までウェブブラウザの内部イベント情報をｈｏｏｋｉｎｇする第３段階、及びイベントｈｏｏｋｉｎｇを介して該当ウェブページを構成する全てのコンポーネントの詳細情報を獲得して保存する第４段階を含むことを特徴とする。
【００１９】
また、上記イベントｈｏｏｋｉｎｇを介して獲得することができない情報は、必要であればパケットキャプチャを介して追加で獲得する第５段階をさらに含むことを特徴とする。
【００２０】
また、上記コンポーネントの詳細情報は、ドメイン、コンポーネント名、ダウンロード時間、コンポーネントサイズ、メディア類型、ウェブサーバＩＰを含むことを特徴とする。
【００２１】
また、Ｏｎｌｏａｄイベントを受信すれば、該当ウェブページの全ての探索が終了したため、この時まで保存したコンポーネント情報を収集及び分析サーバに送信４７０し、次の測定周期まで待機する第６段階をさらに含むことを特徴とする。
【発明の効果】
【００２２】
上記のように構成され作用する本発明は、今日随時に変化し複雑なウェブサイトの内部構造を自動で抽出することができ、さらに一目でその構造を把握することができる視覚化された形態で表現が可能である。これによって、ウェブサイト運営者は、既存に手作業によってウェブサイト内部構造を管理する場合の不正確さを解消することができて、既存の手作業では管理しづらかった外部の第三者要素までも含めて管理することができ、時間によって変更するウェブサイト内部構造を自動で管理することができる長所がある。
【００２３】
これによって、ウェブサイト運営者は、安定的かつ効果的なウェブサイト運営が可能な効果がある。
【図面の簡単な説明】
【００２４】
【図１】一般的なウェブページの構成図である。
【図２】一般的なメディア類型と類型の分類を示した図である。
【図３】本発明に係るウェブサイト内部構造の自動抽出システムの概略的な構成図である。
【図４】本発明に係るウェブサイト内部構造の自動抽出システムの測定機の詳細構成図である。
【図５】本発明に係る測定機のウェブサイト内部構造情報の抽出段階のフロー図である。
【図６】本発明に係る測定機を介して獲得して保存されるウェブサイト情報のデータ構造を示した図である。
【図７】本発明に係るウェブサイト内部構造の表現のためのデータ構造を示した図である。
【図８】本発明に係るウェブサイト内部構造の具体的な視覚化方法を示した図である。
【発明を実施するための形態】
【００２５】
以下、添付された図面を参照して、本発明に係るウェブサイト内部構造の自動抽出方法の望ましい実施例を詳しく説明すれば、次のとおりである。
【００２６】
本発明に係るウェブサイト内部構造の自動抽出方法は、ウェブサイト内部構造を測定する少なくとも一つ以上の測定機（端末機）を備え、上記測定機は、端末運営体制上のＤＮＳキャッシュ及びブラウザキャッシュを空にしてウェブサイトに接続することにより応答をくれる全てのウェブサーバ情報を獲得し、ブラウザのイベント情報を介してブラウザとウェブサーバ間の詳細情報を獲得するか、ブラウザとウェブサーバ間のネットワークパケットを捉えてブラウザとウェブサーバ間の詳細情報を獲得する過程を具現することを特徴とする。
【００２７】
本発明に係るウェブサイト内部構造抽出システムは、一つのウェブサイトを具現するために物理的に構成されるコンポーネント（ＵＲＬ）、ＤＮＳドメイン、ウェブサーバ（ＩＰアドレス）等の集合体に該当する内部構造を能動的に検出して視覚化することができるシステムを提供しようとするところに目的がある。
【００２８】
図３は、本発明に係るウェブサイト内部構造の自動抽出システムの概略的な構成図である。本発明は、図３に示したように、インターネット２００上に、対象となるウェブサイト２１０についてサイトの構成情報を獲得するための複数の測定機２２０、及び測定機が獲得した情報を収集し分析して最終ウェブサイト内部構造を生成して視覚化する収集及び分析サーバ２３０で構成される。複数の測定機を置く理由は、一部のウェブサイトは使用者の位置に応じて異なるウェブサーバが応答するように内部構成をすることができるためである。
【００２９】
ウェブサイト２１０は、ＰＣ等の有線端末で接続する有線ウェブサイトだけでなく、スマートフォンのような無線端末で接続するモバイルウェブサイト［または（アプリ：Ａｐｐ）］が全て含まれ、測定機２２０は、ＰＣまたはサーバのような有線端末、及びスマートフォンのような無線端末上に具現される。測定機は、ウェブサイトに対して周期的（例：１０分周期）に接続を介してウェブサイトの構成情報を獲得する。
【００３０】
図４は、測定機と収集及び分析サーバのさらに詳細な構成を示す。
【００３１】
測定機２２０は、ウェブサイト内部構造を抽出する一つの端末機に該当するもので、一般的なＰＣや携帯用端末機（モバイル、タブレット等）で構成することができ、ウェブサイトに接続して応答に対応するウェブサーバ情報を抽出する構成を有する。
【００３２】
具体的には、上記測定機２２０は、全体的な測定過程の制御を担当する制御部３００と、収集及び分析サーバと通信を介して測定するウェブサイト情報及び測定周期を受信し測定によって獲得した情報を収集及び分析サーバに伝送する通信部３１０、実際のウェブサイト接続をするウェブブラウザ３３０、及びウェブブラウザを駆動しウェブブラウザのイベント情報を介してウェブサーバとの送受信情報を獲得するブラウザ駆動機３２０で構成される。
【００３３】
ウェブブラウザ３３０は、実際のウェブブラウザを使用するかウェブブラウザシミュレータで構成されることができ、ウェブブラウザがイベント情報で提供しないさらに詳細な情報のために、パケットキャプチャモジュール３４０を介してウェブブラウザとウェブサーバ間の送受信パケット情報を活用することができる。収集及び分析サーバは、測定機に制御情報を伝達し、測定機が獲得した情報を収集する通信部３５０、収集した情報を保存する保存部３６０、保存部によって累積保存された情報について追加的な分析及び統計によってウェブサイト内部構造情報を抽出する分析部３７０、データ形態で存在するウェブサイト内部構造情報をグラフで視覚化する視覚化部３８０、実際の使用者に視覚化されたウェブサイト内部構造を提供するＧＵＩ３９０で構成される。
【００３４】
測定機がウェブサイト内部構造情報を獲得するさらに詳細な手順は、図５のとおりである。測定機は、収集及び分析サーバから対象サイト情報及び測定周期情報を得て４１０、実質的な測定を開始する。測定の最初の段階は初期化４２０で、この段階では測定機の運営体制（ＯＳ）上のＤＮＳ  Ｃａｃｈｅ情報及びウェブブラウザのＣａｃｈｅ情報を全て初期化することにより、複雑なウェブサイト情報を漏れ無く獲得することができるようにする。初期化が終わると、ウェブブラウザ（またはブラウザシミュレータ）を介してウェブサイトについての探索（ｎａｖｉｇａｔｉｏｎ）を開始４３０し、  該当ページに対する全ての探索が終わるｏｎｌｏａｄイベントを受信する時までウェブブラウザの内部イベント情報をｈｏｏｋｉｎｇする４５０。イベントｈｏｏｋｉｎｇを介して該当ウェブページを構成する全てのコンポーネントの詳細情報を獲得して保存する４６０。イベントｈｏｏｋｉｎｇを介して獲得することができない情報は、必要であれば、パケットキャプチャを介して追加で獲得することができる。Ｏｎｌｏａｄイベントを受信すると、該当ウェブページの全ての探索が終了したため、この時まで保存したコンポーネント情報を収集及び分析サーバに送信４７０し、次の測定周期まで待機４８０する。この際、送信されるコンポーネント情報は、図６のように、ウェブサイトの内部構造を把握することができる情報（ドメイン、コンポーネント名、ダウンロード時間、コンポーネントサイズ、メディア類型、ウェブサーバＩＰ等）を含む。次の測定周期になると、初期化から開始して同一の段階を繰り返し遂行する。
【００３５】
図７は、収集及び分析サーバの分析部３７０で、測定機から収集されて保存された図６のデータを統計及び分析して、ウェブサイト内部構造を抽出することができるデータとして保存するデータ構造のさらに詳細な例である。図６のデータを周期的（例：１時間または１日）に、サーバＩＰを基準として統計を出して、図７のような形態で保存するが、主要項目は、サーバＩＰ、該当サーバＩＰに対応するドメイン、統計時刻、ウェブサイト名、メディア類型、Ｃｏｍｐｏｎｅｎｔ  Ｃｏｕｎｔ（該当サーバＩＰの出現回数）、ダウンロード速度等で構成され、ダウンロード速度（Ｄｏｗｎｌｏａｄ  ｓｐｅｅｄ）は図６より次の数式で求める。
【００３６】
【数１】
0006044008.tif 000002
【００３７】
図７のＣｏｍｐｏｎｅｎｔ  Ｃｏｕｎｔは、該当サーバがどれだけ多くのコンポーネントをサービスするかを知ることができる重要な指標であり、ダウンロード速度は、該当サーバのサービス速度を示す重要な指標である。
【００３８】
図８は、収集及び分析サーバの視覚化部３８０が図７の形態で保存されたデータを名前と色相を有するノード（Ｎａｍｅｄ  Ｃｏｌｏｒ  Ｎｏｄｅ）と加重値を有するライン（Ｗｅｉｇｈｔｅｄ  Ｌｉｎｅ）で構成されるグラフ形態にウェブサイト内部構造を視覚化表現するさらに詳細な方法の例を説明する。
【００３９】
上記測定機で測定されたウェブサイト内部構造を視覚的に容易にモニタリングするために、抽出された情報は、収集及び分析サーバで処理して多様な方式で描写する。
【００４０】
一番中央の１段階ノード５００はウェブサイト名が対応し、二番目の段階のノード５１０には該当ウェブサイトを構成するドメインが各々対応し、三番目の段階のノード５３０はドメインに対応するサーバＩＰが対応する。２段階及び３段階ノードは、該当ノードが有するメディア類型に応じて各々固有の色相で表現される。色相表現方法をさらに詳しく説明すれば、図５でのようにウェブサイトで主に利用される３つの基本類型（Ｔｅｘｔ、Ａｐｐｌｉｃａｔｉｏｎ、Ｉｍａｇｅ）にグルーピングし、各基本類型について図８の５２０のように光の３原色を利用して、Ｔｅｘｔ類型は赤、Ａｐｐｌｉｃａｔｉｏｎ類型は緑、Ｉｍａｇｅ類型は青で表現する。特定ノードが複数の基本類型を有する場合には、該当類型の色を混合した色で表現する。具体的な例をあげると、Ｔｅｘｔ（赤）とＡｐｐｌｉｃａｔｉｏｎ（緑）を全てサービスするドメインやサーバＩＰは、赤と緑を混合した黄で表現する。３段階ノードは、図７のＣｏｍｐｏｎｅｎｔ  Ｃｏｕｎｔに比例して円の大きさが定められる。すなわち、３段階の円が大きいほど、該当サーバＩＰで多くのコンポーネントをサービスしたという意味を表現する。また、２段階ノードと３段階ノードを連結するラインは、該当３段階ノードサーバのＤｏｗｎｌｏａｄ  Ｓｐｅｅｄに比例して太さを表現することにより、太いラインのサーバはより早い速度でサービスを提供することを表現する。
【００４１】
このように構成される本発明は、ウェブサーバ情報を抽出してウェブサイトの内部構造を獲得することにより構造を一目で把握することができ、視覚化された形態で表現することにより既存の管理形態をより一層効率的に具現することができる長所がある。
【００４２】
以上、本発明の原理を例示するための望ましい実施例と係わって説明して図示したが、本発明はこのように図示され説明されたとおりの構成及び作用に限定されるものではない。むしろ、添付された請求の範囲の思想及び範疇を逸脱することなく本発明についての多数の変更及び修正が可能であることを当業者は理解することができるであろう。したがって、そのような全ての適切な変更及び修正と均等物も、本発明の範囲に属するものとみなされるべきものである。
【図１】
0006044008.tif 000003
【図２】
0006044008.tif 000004
【図３】
0006044008.tif 000005
【図４】
0006044008.tif 000006
【図５】
0006044008.tif 000007
【図６】
0006044008.tif 000008
【図７】
0006044008.tif 000009
【図８】
0006044008.tif 000010