(57)【要約】【課題】静的な情報は予めスクレイプしてビッグデータストアに格納しておくことで、以後にユーザ端末のスクレイピング要請に迅速に応答することができ、またスクレイピング対象となる外部機関のポリシー情報に基づいて単一または多重処理スクレイピングサーバを適切に用いることで、スクレイピングサーバの運用効率を向上させることができる予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム及び方法を提供する。【解決手段】予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステムは、ユーザ端末からスクレイピング要請を受信すると、受信したスクレイピング要請への応答情報をユーザ端末に提供する情報提供サーバ、及び予めスクレイプした情報を格納しているビッグデータストアを含み、情報提供サーバは、スクレイピング要請が静的な情報についてのものである場合、予めスクレイプした情報を用いて応答情報を取得する。【選択図】図２
2019192190.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末からスクレイピング要請を受信すると、受信したスクレイピング要請への応答情報を前記ユーザ端末に提供する情報提供サーバ、及び
予めスクレイプした情報を格納しているビッグデータストアを含み、
前記情報提供サーバは、前記スクレイピング要請が静的な情報についてのものである場合、前記予めスクレイプした情報を用いて前記応答情報を取得することを特徴とする予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項２】
外部機関サーバに対してスクレイピングを行うスクレイピングサーバを更に含み、
前記スクレイピング要請が動的な情報についてのものである場合、前記情報提供サーバは前記スクレイピング要請を前記スクレイピングサーバに伝送し、前記スクレイピングサーバは外部機関サーバをスクレイプして前記スクレイピング要請への応答情報を取得し、前記情報提供サーバに伝送することを特徴とする請求項１に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項３】
前記情報提供サーバは、前記スクレイピング要請への応答情報を前記ビッグデータストアから見つからない場合、前記スクレイピング要請を前記スクレイピングサーバに伝送することを特徴とする請求項２に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項４】
前記静的な情報は、住所リスト、不動産相場情報、不動産実取引情報、ローン商品、金利情報、経済指標、事業者休廃業情報のうち一つ以上を含むことを特徴とする請求項１に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項５】
前記スクレイピングサーバは単一処理スクレイピングサーバ及び多重処理スクレイピングサーバを含み、
前記情報提供サーバは、前記スクレイピング要請の対象となる外部機関のポリシー情報に基づいて前記スクレイピング要請を前記単一処理スクレイピングサーバ及び多重処理スクレイピングサーバのうち少なくとも一つに割り当てることを特徴とする請求項２に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項６】
前記情報提供サーバと前記スクレイピングサーバとの間に配置される分配サーバを更に含み、
前記分配サーバは、前記情報提供サーバから受信したスクレイピング要請を動作可能なスクレイピングサーバに分配し、スクレイピングサーバからの応答情報を受信して前記情報提供サーバに伝送することを特徴とする請求項５に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項７】
前記ユーザ端末でスクレイピングを直接行いながらエラーが発生すると、
エラー発生時にユーザ端末に入力されたスクレイピング入力情報からエラーログを分析し、分析したエラーログに基づいて前記ユーザ端末内のスクレイピングモジュールをアップデートさせるスクレイピングエラー修正サーバを更に含むことを特徴とする請求項１に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム。
【請求項８】
クラウドスクレイピングシステムによって実行される予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法であって、
ユーザ端末からスクレイピング要請を受信するステップ、
前記スクレイピング要請の特性を判断するステップ、
前記スクレイピング要請が静的な情報についてのものである場合、ビッグデータストアに格納された予めスクレイプした情報を用いて応答情報を生成するステップ、及び
生成された応答情報を前記ユーザ端末に提供するステップを含むことを特徴とする予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法。
【請求項９】
前記スクレイピング要請が動的な情報についてのものである場合、外部機関サーバをスクレイプして前記スクレイピング要請への応答情報を取得するステップを更に含むことを特徴とする請求項８に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法。
【請求項１０】
前記予めスクレイプした情報を用いて応答情報を生成するステップで、
前記スクレイピング要請への応答情報を前記ビッグデータストアから見つからない場合、外部機関サーバをスクレイプして前記スクレイピング要請への応答情報を取得するステップを含むことを特徴とする請求項９に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法。
【請求項１１】
前記静的な情報は、住所リスト、不動産相場情報、不動産実取引情報、ローン商品、金利情報、経済指標、事業者休廃業情報のうち一つ以上を含むことを特徴とする請求項８に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法。
【請求項１２】
前記スクレイピング要請の対象となる外部機関のポリシー情報に基づいて前記スクレイピング要請を単一処理スクレイピングサーバ及び多重処理スクレイピングサーバのうち少なくとも一つに割り当てるステップを更に含むことを特徴とする請求項９に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法。
【請求項１３】
前記ユーザ端末でスクレイピングを直接行いながらエラーが発生すると、
エラー発生時にユーザ端末に入力されたスクレイピング入力情報からエラーログを分析するステップ、及び
分析したエラーログに基づいて前記ユーザ端末内のスクレイピングモジュールをアップデートさせるステップを更に含むことを特徴とする請求項１２に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法。
【請求項１４】
ハードウェアと組み合わせて請求項８乃至１３のいずれか１項に記載の予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法を行うように記録媒体に記録されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態はクラウドスクレイピングシステム及び方法と、そのためのコンピュータプログラムに関するもので、より詳細には、所定の情報を予めスクレイプしてビッグデータストアに格納し、ユーザ端末からスクレイピング要請がある場合、ビッグデータストアに格納された情報に基づいてスクレイピング要請に対する応答を提供する技術に関するものである。
【背景技術】
【０００２】
最近の情報通信技術（Ｉｎｆｏｒｍａｔｉｏｎ  ＆  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ；ＩＣＴ）の発展によって、外部機関に格納された情報を取得するために様々なスクレイピング方式を用いている。スクレイピングには、金融機関のサーバなどにアクセスしてスクリーンに表示されるデータのうち、必要なものだけを抽出してくるスクリーンスクレイピング（ｓｃｒｅｅｎ  ｓｃｒａｐｉｎｇ）と、金融機関のサーバなどにアクセスして金融機関が提供する情報のうち、必要なものをパージング（ｐａｒｓｉｎｇ）して受信するデータスクレイピング（ｄａｔａ  ｓｃｒａｐｉｎｇ）がある。
【０００３】
一方、最近はスクレイピングサーバを用いてスクレイピングを行うクラウドスクレイピング（ｃｌｏｕｄ  ｓｃｒａｐｉｎｇ）技術が広く用いられている。ところが、このようなクラウドスクレイピング技術は、ユーザのスクレイピング要請に対してそれぞれスクレイピングを行うようになるので、スクレイピング要請の数またはスクレイピング要請の対象である外部機関の種類が増加し、それによって、スループットが増加する問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】韓国特許公開第１０−２０１６−０１２５６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一側面によれば、ユーザ端末のスクレイピング要請に対して所定の形式の情報については、ビッグデータストアに格納された情報に基づいて迅速に対応することができ、外部機関のポリシーを参照してスクレイピングサーバを効率的に運営することができるクラウドスクレイピングシステム及び方法と、そのためのコンピュータプログラムを提供することにその目的がある。
【課題を解決するための手段】
【０００６】
本発明の一側面に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステムは、ユーザ端末からスクレイピング要請を受信すると、受信したスクレイピング要請への応答情報を前記ユーザ端末に提供する情報提供サーバ、及び予めスクレイプした情報を格納しているビッグデータストアを含み、前記情報提供サーバは、前記スクレイピング要請が静的な情報についてのものである場合、前記予めスクレイプした情報を用いて前記応答情報を取得することができる。
【０００７】
一実施形態において、外部機関サーバに対してスクレイピングを行うスクレイピングサーバを更に含み、前記スクレイピング要請が動的な情報についてのものである場合、前記情報提供サーバは前記スクレイピング要請を前記スクレイピングサーバに伝送し、前記スクレイピングサーバは外部機関サーバをスクレイプして前記スクレイピング要請への応答情報を取得し、前記情報提供サーバに伝送することができる。
【０００８】
一実施形態において、前記情報提供サーバは、前記スクレイピング要請への応答情報を前記ビッグデータストアから見つからない場合、前記スクレイピング要請を前記スクレイピングサーバに伝送することができる。
【０００９】
一実施形態において、前記静的な情報は、住所リスト、不動産相場情報、不動産実取引情報、ローン商品、金利情報、経済指標、事業者休廃業情報のうち一つ以上を含むことができる。
【００１０】
一実施形態において、前記スクレイピングサーバは単一処理スクレイピングサーバ及び多重処理スクレイピングサーバを含み、前記情報提供サーバは、前記スクレイピング要請の対象となる外部機関のポリシー情報に基づいて前記スクレイピング要請を前記単一処理スクレイピングサーバ及び多重処理スクレイピングサーバのうち少なくとも一つに割り当てることができる。
【００１１】
一実施形態において、前記情報提供サーバと前記スクレイピングサーバとの間に配置される分配サーバを更に含み、前記分配サーバは、前記情報提供サーバから受信したスクレイピング要請を動作可能なスクレイピングサーバに分配し、スクレイピングサーバからの応答情報を受信して前記情報提供サーバに伝送することができる。
【００１２】
一実施形態において、前記ユーザ端末でスクレイピングを直接行いながらエラーが発生すると、エラー発生時にユーザ端末に入力されたスクレイピング入力情報からエラーログを分析し、分析したエラーログに基づいて前記ユーザ端末内のスクレイピングモジュールをアップデートさせるスクレイピングエラー修正サーバを更に含むことができる。
【００１３】
また、本発明の他の側面に係るクラウドスクレイピングシステムによって実行される予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法は、ユーザ端末からスクレイピング要請を受信するステップ；前記スクレイピング要請の特性を判断するステップ；前記スクレイピング要請が静的な情報についてのものである場合、ビッグデータストアに格納された予めスクレイプした情報を用いて応答情報を生成するステップ；及び生成された応答情報を前記ユーザ端末に提供するステップを含む。
【００１４】
一実施形態において、前記スクレイピング要請が動的な情報についてのものである場合、外部機関サーバをスクレイプして前記スクレイピング要請への応答情報を取得するステップを更に含むことができる。
【００１５】
一実施形態において、前記予めスクレイプした情報を用いて応答情報を生成するステップで、前記スクレイピング要請への応答情報を前記ビッグデータストアから見つからない場合、外部機関サーバをスクレイプして前記スクレイピング要請への応答情報を取得するステップを含むことができる。
【００１６】
一実施形態において、前記静的な情報は、住所リスト、不動産相場情報、不動産実取引情報、ローン商品、金利情報、経済指標、事業者休廃業情報のうち一つ以上を含むことができる。
【００１７】
一実施形態において、前記スクレイピング要請の対象となる外部機関のポリシー情報に基づいて前記スクレイピング要請を単一処理スクレイピングサーバ及び多重処理スクレイピングサーバのうち少なくとも一つに割り当てるステップを更に含むことができる。
【００１８】
一実施形態において、前記ユーザ端末でスクレイピングを直接行いながらエラーが発生すると、エラー発生時にユーザ端末に入力されたスクレイピング入力情報からエラーログを分析するステップ及び分析したエラーログに基づいて前記ユーザ端末内のスクレイピングモジュールをアップデートさせるステップを更に含むことができる。
【００１９】
更に、本発明の他の側面に係るコンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムは、ハードウェアと組み合わせて前述した方法を行うことができる。
【発明の効果】
【００２０】
本発明の一側面に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム及び方法によれば、静的な情報は予めスクレイプしてビッグデータストアに格納しておくことで、以後にユーザ端末のスクレイピング要請に迅速に応答することができる利点がある。
【００２１】
また、本発明の一側面に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム及び方法によれば、スクレイピング対象となる外部機関のポリシー情報に基づいて単一または多重処理スクレイピングサーバを適切に用いることで、スクレイピングサーバの運用効率を向上させることができる利点がある。
【００２２】
更に、本発明の一側面に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム及び方法によれば、ユーザ端末で直接スクレイピング時に発生するエラーをクラウドスクレイピングシステム端で分析し、エラーの解決策としてユーザ端末のスクレイピングモジュールをアップデートさせることができる利点がある。
【図面の簡単な説明】
【００２３】
【図１】一実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステムの概略的な構成を示すブロック図である。
【図２】実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法の過程を示すフローチャートである。
【図３】実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法の過程を示すフローチャートである。
【図４】本発明の一実施形態によってビッグデータストアに予めスクレイプした情報を構築する過程を説明するフローチャートである。
【図５】本発明の一実施形態に係るスクレイピングサーバの種類に応じたスクレイピング動作環境を示すブロック図である。
【図６】本発明の一実施形態において、ユーザ端末でスクレイピングを直接行いながらエラーが発生した場合、これらのエラーを修正するための手順を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１は一実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステムの概略的な構成を示すブロック図である。
【００２５】
図１を参照すると、実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム１００は、情報提供サーバ１１０及びビッグデータストア１２０を含むことができる。他の実施形態において、予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム１００は、分配サーバ１３０、スクレイピングサーバ１４０、ビッグデータ収集サーバ１５０及びスクレイピングエラー修正サーバ１６０のうち一つ以上を更に含むこともできる。
【００２６】
実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム１００は、全てがハードウェアであるか、または部分的にハードウェアであり、部分的にソフトウェアである側面を有することができる。本明細書において、各「部（ｕｎｉｔ）」、「モジュール（ｍｏｄｕｌｅ）」、「サーバ」、「システム」、「プラットフォーム」、「装置」または「端末」などの用語は、ハードウェア及び当該ハードウェアによって駆動されるソフトウェアの組み合わせを称することと意図する。例えば、ここでハードウェアは、ＣＰＵまたは他のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含むデータ処理機器あり得る。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ  ｏｆ  ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）などを称することもできる。
【００２７】
クラウドスクレイピングシステム１００は、有線及び／または無線ネットワークを介してユーザ端末１０、外部機関サーバ２０などに相互間の通信が可能に連結されることができる。有線及び／または無線ネットワークを介した通信方法は、オブジェクトとオブジェクトがネットワークできる全ての通信方法を含むことができ、有線通信、無線通信、３Ｇ、４Ｇ、５Ｇ、或いはそれ以外の方法を含むこともでき、特に限定されるものではない。
【００２８】
クラウドスクレイピングシステム１００とユーザ端末１０との間の通信は、クラウドスクレイピングシステム１００で規定したＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を通じて行うことができる。ＡＰＩは、予め設定した規約語を通じたクラウドスクレイピングシステム１００との通信を介して金融処理の結果及びユーザインターフェースなどの提供を受け、更に直接アプリケーションとサービスを開発することができるツールを称する。
【００２９】
ユーザ端末１０はクラウドスクレイピングシステム１００を介して外部機関サーバ２０から所定の情報をスクレイプして取得するためにユーザが使用する装置である。ユーザ端末１０はデータ入力のための入力装置、処理結果を出力する出力装置及び入力装置を介して入力されたデータを演算及び処理し、その処理結果を生成する演算装置を含むことができる。ユーザ端末１０は入力データに基づいて外部機関サーバ２０またはスクレイピングシステム１００などと通信を行い、その処理結果を受信して出力することで、ユーザが所定の情報をスクレイプして確認できるようにする。ユーザ端末１０としては、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）のようなモバイルコンピュータ装置、パーソナルコンピュータ、ノート型コンピュータ、ネットブック、タブレットＰＣ（Ｔａｂｌｅｔ  ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などを採用することができるが、これに限定されるものではない。
【００３０】
ユーザ端末１０は自己保有しているスクレイピングモジュールを介して直接外部機関サーバ２０から特定の情報をスクレイプすることもでき、クラウドスクレイピングシステム１００を介してスクレイピング要請を行い、その結果を受け取ることもできる。
【００３１】
外部機関サーバ２０は、銀行、証券会社、公共機関などのように、様々な情報を格納している任意のサーバを意味する。外部機関サーバ２０が保有している情報は、時間の流れに沿って変化しない静的な情報とリアルタイムで変化する動的な情報に区分することができる。例えば、過去の記録について情報は静的な情報であり、新たにリアルタイムでアップデートされる情報は動的な情報であると見ることができる。
【００３２】
図２及び図３は実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法の過程を示すフローチャートである。実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法は、前述した予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステムの構成要素によって実現することができる。
【００３３】
図２を参照すると、情報提供サーバ１１０はユーザ端末１０からスクレイピング要請を受信する（Ｓ１１）。その後、情報提供サーバ１１０はスクレイピング要請の特徴を判断してスクレイピング要請が静的な情報についてのものであるか、または動的な情報についてのものであるかを決定する（Ｓ１２）。
【００３４】
一実施形態において、情報提供サーバ１１０はスクレイピング要請を受信する前に、ユーザ端末１０に認証キーを発行し、これを検証することで、ユーザ端末のユーザを検証することもできる。
【００３５】
情報提供サーバ１１０は、前記スクレイピング要請が静的な情報についてのものである場合、ビッグデータストア１２０に格納された予めスクレイプした情報を用いて応答情報を取得することができる（Ｓ１３）。ここで、「予めスクレイプした情報」とは、ユーザがスクレイピング要請を行うと予想される事項について、クラウドスクレイピングが周期的及び／または非周期的に予めスクレイピングを行って得た結果を意味する。静的な情報は変化されないので、予めスクレイプしてビッグデータストア１２０に構築しておくことで、ユーザのスクレイピング要請に迅速に対応することができる。
【００３６】
その後、情報提供サーバ１１０は応答情報をユーザ端末１０に提供する（Ｓ１４）。以上の過程において、スクレイピング処理のためには、ユーザ端末１０からの認証情報がクラウドスクレイピングシステムに提供される場合、情報提供サーバ１１０は認証情報の利用が完了した後、これをすぐに削除することで、ユーザの認証情報に対するセキュリティ上のリスクを除去する。
【００３７】
図３はユーザ端末１０のスクレイピング要請が動的な情報についてのものである場合を示す。
図３を参照すると、動的な情報は外部機関サーバ２０からリアルタイムでスクレイピングを行って取得することが適切であるため、スクレイピングを行うスクレイピングサーバ１４０が必要である。また、スクレイピング要請を適切にスクレイピングサーバ１４０に分配するために分配サーバ１３０がクラウドスクレイピングシステムに含まれることができる。
【００３８】
図３を参照すると、情報提供サーバ１１０はユーザ端末１０からスクレイピング要請を受信し（Ｓ２１）、スクレイピング要請の特徴を判断してスクレイピング要請が静的な情報についてのものであるか、または動的な情報についてのものであるかを判断する（Ｓ２２）。
【００３９】
スクレイピング要請が動的な情報についてのものである場合、情報提供サーバ１１０はスクレイピング要請をスクレイピングサーバに伝送し（Ｓ２３、Ｓ２５）、スクレイピングサーバ１４０は外部機関サーバ２０をスクレイプしてスクレイピング要請への応答情報を取得する（Ｓ２６）。その後、スクレイピングサーバ１４０は情報提供サーバに応答情報を伝送する（Ｓ２７、Ｓ２８）。その後、情報提供サーバ１１０は応答情報をユーザ端末１０に提供する（Ｓ２９）。
【００４０】
また、場合によっては、スクレイピング情報が静的な情報についてのものであっても、ビッグデータストアにはこれに関する応答情報が格納されていない場合もある。従って、情報提供サーバ１１０は、スクレイピング要請への応答情報を前記ビッグデータストア１２０から見つからない場合、スクレイピング要請を前記スクレイピングサーバ１４０に伝送することができる。即ち、一次的にビッグデータストア１２０からスクレイピング要請に対する答えを見つけ、答えが見つからない場合、二次的にスクレイピングサーバ１４０を介してスクレイピング要請への応答情報を見つけることができる。
【００４１】
ここでビッグデータストア１２０に格納される静的な情報は比較的に情報のアップデート周期が長い特性を有する情報であって、例えば、住所リスト、不動産相場情報、不動産実取引情報、ローン商品、金利情報、経済指標、事業者休廃業情報のうち一つ以上を含むことができるが、本発明はこれに限定されるものではない。ビッグデータストア１２０に予め格納しておくことで、スクレイピング要請への応答効率を高めることができると、いかなる形態の情報も前記静的な情報に含まれることができる。
【００４２】
図４は本発明の一実施形態によってビッグデータストア１２０に予めスクレイプした情報を構築する過程を説明するフローチャートである。
図４を参照すると、予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム１００の管理者装置１０１はビッグデータ収集サーバ１５０にビッグデータの収集登録情報を伝送することができる（Ｓ３１）。ここで、管理者装置１０１は、予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム１００を運営する管理者が使用するコンピュータ装置を意味する。
【００４３】
その後、ビッグデータ収集サーバ１５０はビッグデータの収集登録情報に基づいてスクレイピングを予約し（Ｓ３２）、予約したスケジュールに合わせて分配サーバ１３０にスクレイピング要請を伝送する（Ｓ３３）。分配サーバ１３０は、利用可能なスクレイピングサーバ１４０を検索し（Ｓ３４）、スクレイピング要請をスクレイピングサーバ１４０に割り当てる（Ｓ３５）。スクレイピング要請が割り当てられたスクレイピングサーバ１４０は、外部機関サーバ２０にスクレイピングを行い（Ｓ３６）、結果物である応答情報を分配サーバ１３０に伝達する（Ｓ３７）。分配サーバ１３０は応答情報をビッグデータ収集サーバ１５０に再び伝達し、ビッグデータ収集サーバ１５０は応答情報をビッグデータストア１２０に格納する。
【００４４】
これによって、管理者装置１０１が計画した所定のスクレイピング要請については、その応答情報が予めスクレイプされてビッグデータストア１２０に構築されることができる。
【００４５】
図３を再び参照すると、情報提供サーバ１１０はスクレイピングサーバ１４０にスクレイピング要請を直接伝送したり、分配サーバ１３０を経て伝送することもできる。分配サーバ１３０はスクレイピング要請に基づいて使用可能なスクレイピングサーバを検索し（Ｓ２４）、スクレイピングサーバ１４０を決定した後、決定されたスクレイピングサーバ１４０にスクレイピング要請を割り当てることができる。また、分配サーバ１３０はスクレイピングサーバ１４０がスクレイプして取得した応答情報をスクレイピングサーバ１４０から受信し（Ｓ２７）、情報提供サーバ１１０に伝達することができる。
【００４６】
また、分配サーバ１３０はスクレイピングサーバの動作状態をモニターし、スクレイピングエンジンを自動的に配信する機能を行うこともできる。また、分配サーバ１３０はサーバ別や業務別の最大多重スクレイピングスループットによって利用可能なスクレイピングサーバを選ぶこともできる。
【００４７】
図５は本発明の一実施形態に係るスクレイピングサーバ１４０の種類に応じたスクレイピング動作環境を示すブロック図である。
図５を参照すると、スクレイピングサーバは単一処理スクレイピングサーバ及び多重処理スクレイピングサーバを含むことができる。本発明の実施形態において、分配サーバ１３０、単一処理スクレイピングサーバ１４１及び多重処理スクレイピングサーバ１４２などの全てのサーバは、通信環境による障害を防止するため、同一の機能を行う装備を２つ以上のセットとして二重化または多重化した構成を有することができる。従って、図５に示した分配サーバ１３０、単一処理スクレイピングサーバ１４１及び多重処理スクレイピングサーバ１４２などは実際に運用する機器の数や形態を限定するものではない点を理解するべきである。
【００４８】
情報提供サーバ１１０は、スクレイピング要請の対象となる外部機関のポリシー情報に基づいてスクレイピング要請を単一処理スクレイピングサーバ１４１及び多重処理スクレイピングサーバ１４２のうち少なくとも一つに割り当てることができる。情報提供サーバ１１０はスクレイピング要請を分析して対象外部機関を確認し、確認した外部機関のポリシー情報を参照して単一処理や多重処理スクレイピングを決定することができる。
【００４９】
例えば、外部機関のポリシー情報が外部機関サーバ２０に単一ログインのみ可能な場合、情報提供サーバ１１０は分配サーバ１３０を介して単一処理スクレイピングサーバ１４１にスクレイピング要請を割り当てることができる。この場合、単一処理スクレイピングサーバ１４１は単一スクレイピング（Ｓ４１）を行うことができる。
【００５０】
これとは異なり、外部機関のポリシー情報が外部機関サーバ２０に多重ログインが許容される場合、情報提供サーバ１１０は分配サーバ１３０を介して多重処理スクレイピングサーバ１４２にスクレイピング要請をそれぞれ割り当てることができる。この場合、多重処理スクレイピングサーバ１４２は、多重ログインして多重スクレイピング（Ｓ４２１、Ｓ４２２）を行うことができる。多重処理スクレイピングサーバ１４２への分配において、分配サーバ１３０は各多重処理スクレイピングサーバ１４２に現在割り当てられているスクレイピング作業量を確認し、現在作業を行っていないパイプラインが存在する多重処理スクレイピングサーバ１４２にスクレイピングタスクを割り当てることができる。
【００５１】
図６は本発明の一実施形態において、ユーザ端末でスクレイピングを直接行いながらエラーが発生した場合、これらのエラーを修正するための手順を説明するフローチャートである。
【００５２】
実施形態に係るクラウドスクレイピングシステムはユーザから受信した要請によってクラウドスクレイピングシステムでスクレイピングを行い、その結果を提供する。しかし、追加的にユーザ端末で直接スクレイピングを行うクライアント（ｃｌｉｅｎｔ）スクレイピング動作において、ユーザ端末上のスクレイピングモジュールから発生するエラーを解決するために、ユーザ端末上のスクレイピングモジュールをアップデートする動作を行うことができる。
【００５３】
従来のユーザ端末で直接スクレイピングを行う際にエラーが発生した場合、通常には、開発者がユーザ端末にリモートアクセスを介してエラーを修正したり、エラーログをサーバに伝送してエラーを修正した。しかし、リモートアクセスの場合、ユーザは別のプログラムをユーザ端末にインストールする必要があり、エラーログサーバへの伝送時にはユーザの個人情報が流出する恐れがあり、ログが頻繁な場合は遺失が発生する可能性のある問題がある。また、スクレイピング対象外部機関ユーザ毎の応答情報の形態が異なるため、様々なケースのテストアカウントを保有しなければならない問題がある。
【００５４】
そこで、本発明の一実施形態によれば、これらの問題点を改善するためにスクレイピング時の入力情報を暗号化してスクレイピングエラー修正サーバ１６０が伝送を受け、クラウドスクレイピングを通じてテストして迅速にエラーを修正することができる。
【００５５】
図６を参照すると、ユーザ端末１０でスクレイピングを行う際にスクレイピングエラーが発生すると、スクレイピングエラー修正サーバ１６０はエラー発生時にユーザ端末１０に入力されたスクレイピング入力情報を受信し（Ｓ５１）、エラーログを分析してエラーを修正することができる（Ｓ５２）。この場合、受信したスクレイピング入力情報は暗号化した状態であり得る。
【００５６】
例えば、スクレイピングエラー修正サーバ１６０はスクレイピングモジュールが既に分析したデータ部分Ａ１と既に分析した前記データ部分Ａに対応し、現在スクレイプして取得したデータ部分Ａ２が異なる場合は、スクレイピングエラーが発生したと決定することができる。ここでスクレイピングエラーが発生したか否かを判断するに使用する既に分析したデータ部分Ａ１は、当該外部機関サーバを識別できるユニークな値、タグ情報またはパージングした情報のうち一つ以上を含むことができる。
【００５７】
また、スクレイピングエラー修正サーバ１６０はスクレイピングエラーが発生したと判断すると、エラーログを生成することができる。ここで、エラーログはログ時刻、プラットフォームの種類、アプリＩＤ、ライブラリのバージョン情報、デバイスＩＤ、エラーコードのうち一つ以上を含むことができる。
【００５８】
その後、スクレイピングエラー修正サーバ１６０はこれらのエラーログを、既に分析したデータ部分Ａ１を含むデータ部分と比較することで、エラーの原因を導出し、これらのエラーの原因に基づいてスクレイピングモジュール（図示せず）が現在スクレイプして取得したデータ部分Ａ２を修正することができる。また、スクレイピングエラー修正サーバ１６０は、エラーの原因を修正するためにユーザデバイス１０内のスクレイピングモジュール（図示せず）をアップデートさせることができる。ユーザデバイス１０内のスクレイピングモジュールをアップデートする過程は、アップデートしたスクレイピングモジュールの情報に相応する管理者からの入力を受信してユーザデバイス１０に伝送する方式で行うことができる。
【００５９】
例えば、スクレイピングエラー修正サーバ１６０はユーザ端末１０内におけるソフトウェアのアップデートの要請をユーザ端末１０に伝送し、ユーザ端末１０がアップデート要請を受け入れると、前記ユーザ端末１０にスクレイピングモジュールのアップデートのためのデータをユーザ端末１０に伝送することができる。
【００６０】
ここで、スクレイピング入力情報は銀行コード、クラス（個人バンキングや企業バンキング）、要請サービスの種類（全口座照会、取引履歴照会など）、口座番号、カードのコード、ログイン電子署名値、決済日、照会開始日または照会終了日などの様々な金融関連情報を含むことができる。この時、スクレイピングエラー修正サーバ１６０はユーザの認証情報が金融機関などから要求する認証方式によって処理されたログイン電子署名値を受信し、これに基づいてスクレイピングモジュールのエラー修正を行うことができる。従って、ユーザの認証情報のソースデータをスクレイピングエラー修正サーバ１６０などの外部サーバに伝達して、セキュリティ上のリスクを発生させない。また、ユーザのログイン電子署名値は、ユーザ端末１０からのアップデート要請の受け入れが受信されたことに対する応答としてスクレイピングエラー修正サーバ１６０から削除される。それによって、スクレイピングモジュールのアップデート後にはログイン電子署名値がサーバに残っているので、セキュリティ上のリスクが残存することを防止することができる。
【００６１】
以上で説明した本発明の実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム及び方法を利用すると、静的な情報は予めスクレイプしてビッグデータストアに格納しておくことで、以後にユーザ端末１０のスクレイピング要請に迅速に応答することができる利点がある。また、スクレイピング対象となる外部機関のポリシー情報に基づいて単一または多重処理スクレイピングサーバを適切に用いることで、スクレイピングサーバの運用効率を向上させることができ、ユーザ端末１０から直接スクレイピング時に発生するエラーをクラウドスクレイピングシステム端で分析し、エラーの解決策としてユーザ端末１０のスクレイピングモジュールをアップデートさせることができる利点がある。
【産業上の利用可能性】
【００６２】
一方、以上で説明した実施形態に係る予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法は、少なくとも部分的にコンピュータプログラムで実現され、コンピュータで読み取り可能な記録媒体に記録されることができる。実施形態に係る記録媒体には、予めスクレイプしたビッグデータを用いたクラウドスクレイピング方法を実現するためのプログラムが記録され、前記記録媒体はコンピュータによって読み取ることができるデータが記録されることができる任意の種類の記録装置を含む。例えば、コンピュータが読み取り可能な記録媒体としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、コンピュータが読み取り可能な記録媒体には、ネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納されて実行されることもできる。また、本実施形態を実現するための機能的なプログラム、コード及びコードセグメント（ｓｅｇｍｅｎｔ）は、本発明が属する技術分野における通常の技術者なら容易に理解することができる。
【００６３】
以上で調べてみた本発明は図面に示した実施形態を参照して説明したが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であれば、これにより様々な変形及び均等な他の実施形態が可能であることを理解することができる。しかし、このような変形は本発明の技術的保護範囲内にあると見なすべきである。従って、本発明の真正な技術的保護範囲は、添付した特許請求範囲の技術的思想によって定められなければならない。
【符号の説明】
【００６４】
１０  ユーザ端末
２０  外部機関サーバ
１１０  情報提供サーバ
１２０  ビッグデータストア
１３０  分配サーバ
１４０  スクレイピングサーバ
１５０  ビッグデータ収集サーバ
１６０  スクレイピングエラー修正サーバ
【図１】
2019192190.tif 000003
【図２】
2019192190.tif 000004
【図３】
2019192190.tif 000005
【図４】
2019192190.tif 000006
【図５】
2019192190.tif 000007
【図６】
2019192190.tif 000008