(57)【要約】      （修正有）【課題】ウェブサイトに掲載された情報を効率的に収集し、目的とする収集対象の情報を効率的に格納する情報収集方法、情報収集装置、及び情報収集プログラムを提供する。【解決手段】情報収集方法は、ウェブサイトに含まれるウェブページについて、解析対象を収集するステップＳ２と、収集した解析対象について分類処理するステップＳ６と、解析対象を収集対象とするか判断し、収集対象である場合には分類結果データをデータベースに格納するステップＳ８と、を含む。収集対象である場合には、解析処理において、解析対象を解析し、設定項目に該当する複数の項目情報を取得し、収集対象ごとに、複数の項目情報を対応付けてデータベースに格納する。【選択図】図４
2020067700.tif 000002
【特許請求の範囲】
【請求項１】
ウェブサイトより、収集対象に関する情報を収集する為の情報収集方法であって、
前記ウェブサイトに含まれるウェブページについて、解析対象を収集するステップと、
収集した前記解析対象について分類処理を行い、収集対象とするか判断するステップと、
前記収集対象である解析対象を解析し、設定項目に該当する複数の項目情報を取得するステップと、
前記収集対象ごとに、複数の前記項目情報を対応付けて格納するステップと、をコンピュータが実行することを特徴とする情報収集方法。
【請求項２】
１又は複数の前記ウェブサイトについて、ドメインの登録を受け付けるステップを実行し、
前記収集するステップは、前記ドメインを用いて決定されるウェブページについて、前記解析対象を収集することを特徴とする請求項１に記載の情報収集方法。
【請求項３】
前記判断するステップは、前記収集対象と分類されなかった前記解析対象の一部又は全部について、分類不能データとして登録し、
表示処理要求に基づいて、前記分類不能データを表示処理すると共に、前記解析対象が収集対象か否かに係る入力を、利用者より受け付けるステップを実行することを特徴とする請求項１又は請求項２に記載の情報収集方法。
【請求項４】
取得した複数の項目情報が、格納された収集対象に対応するか判断するステップと、
対応すると判断した場合、前記収集対象に関して未格納の項目情報を、当該収集対象の項目情報として格納するステップと、を実行することを特徴とする請求項１〜３の何れかに記載の情報収集方法。
【請求項５】
前記判断するステップは、前記取得した複数の項目情報の一部を用いたハッシュ及び格納された収集対象に関する項目情報の一部又は全部を用いたハッシュを算出する処理と、
前記算出したハッシュが一致する場合に、収集した項目情報が格納された収集対象に対応すると判断する処理と、を含むことを特徴とする請求項４に記載の情報収集方法。
【請求項６】
前記設定項目のうち、所定の項目情報が格納されていない未格納項目を有する収集対象について、表示処理要求に基づいて表示処理すると共に、利用者から未格納項目の入力を受け付けるステップを実行すること、を特徴とする請求項１〜５の何れかに記載の情報収集方法。
【請求項７】
前記収集するステップは、過去に解析対象を解析したウェブページについて、繰り返し解析対象を収集し、
前記取得するステップは、繰り返し取得した前記解析対象を解析し、設定項目に該当する項目情報を取得し、
前記格納するステップは、取得した前記項目情報を、過去に取得した項目情報と新たに対応付ける、または置き換えることを特徴とする請求項１〜６の何れかに記載の情報収集方法。
【請求項８】
ウェブサイトより、収集対象に関する情報を収集する為の情報収集処理装置であって、
前記ウェブサイトに含まれるウェブページについて、解析対象を収集する手段と、
収集した前記解析対象について分類処理を行い、収集対象とするか判断する手段と、
前記収集対象と判断した解析対象を解析し、設定項目に該当する複数の項目情報を取得する手段と、
前記収集対象ごとに、複数の前記項目情報を対応付けて格納する手段と、を備えることを特徴とする情報収集処理装置。
【請求項９】
ウェブサイトより、収集対象に関する情報を収集する為の情報収集プログラムであって、
コンピュータを、前記ウェブサイトに含まれるウェブページについて、解析対象を収集する手段と、
収集した前記解析対象について分類処理を行い、収集対象とするか判断する手段と、
前記収集対象と判断した解析対象を解析し、設定項目に該当する複数の項目情報を取得する手段と、
前記収集対象ごとに、複数の前記項目情報を対応付けて格納する手段と、として機能させることを特徴とする情報収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェブサイトより、収集対象に関する情報を収集する為の情報収集方法、情報収集処理装置および情報収集プログラムに関する。
【背景技術】
【０００２】
従来から、ウェブサイトに掲載された情報を収集し、一覧を生成する技術が提供されている。
【０００３】
例えば、特許文献１として、電子文書収集装置が、指定された収集範囲内のＷｅｂページから電子文書を収集し、電子文書発見装置が、収集した電子文書から、指定された文字列を含む電子文書を検出し、この検出された電子文書を電子文書解析装置が構文解析して、指定された文章内容を含む文章を抽出し、所定の複数の項目で分類し、そして、情報収集結果電子文書生成装置が、前記抽出された文章を分類項目ごとに纏めた情報収集結果一覧表を生成する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３１０３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、目的である収集対象に係る特定項目の情報（項目情報）を、効率的に取得することができなかった。
【０００６】
まず、構文解析での解析対象である電子文章を十分な確度では抽出することができず、結果、収集の対象となる目的のデータに、ノイズが多く発生してしまう。
【０００７】
また、ある特定の収集対象についての項目情報が、複数のウェブページ、電子文章に離散している場合や、一定の項目情報がウェブページ、電子文章にて公開後、項目情報の追加が行われた新たなページ、電子文章が公開される場合があり、それらを統合した情報を取得することができなかった。
【０００８】
本発明は、上記のような実状に鑑みてなされたものであり、ウェブサイトに掲載された情報を効率的に収集し、目的とする収集対象の情報を効率的に格納する為の情報収集方法を提供することを解決すべき課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、ウェブサイトより、収集対象に関する情報を収集する為の情報収集方法であって、
前記ウェブサイトに含まれるウェブページについて、解析対象を収集するステップと、
収集した前記解析対象について分類処理を行い、収集対象とするか判断するステップと、
前記収集対象である解析対象を解析し、設定項目に該当する複数の項目情報を取得するステップと、
前記収集対象ごとに、複数の前記項目情報を対応付けて格納するステップと、をコンピュータが実行することを特徴とする。
【００１０】
また、本発明は、ウェブサイトより、収集対象に関する情報を収集する為の情報収集処理装置であって、
前記ウェブサイトに含まれるウェブページについて、解析対象を収集する手段と、
収集した前記解析対象について分類処理を行い、収集対象とするか判断する手段と、
前記収集対象と判断した解析対象を解析し、設定項目に該当する複数の項目情報を取得する手段と、
前記収集対象ごとに、複数の前記項目情報を対応付けて格納する手段と、を備えることを特徴とする。
【００１１】
また、本発明は、ウェブサイトより、収集対象に関する情報を収集する為の情報収集プログラムであって、
コンピュータを、前記ウェブサイトに含まれるウェブページについて、解析対象を収集する手段と、
収集した前記解析対象について分類処理を行い、収集対象とするか判断する手段と、
前記収集対象と判断した解析対象を解析し、設定項目に該当する複数の項目情報を取得する手段と、
前記収集対象ごとに、複数の前記項目情報を対応付けて格納する手段と、として機能させることを特徴とする。
【００１２】
このような構成とすることで、収集した解析対象となる電子文章を収集後、分類を行い、収集した解析対象が必要な情報か否かを分類した後に設定項目を取得することができ、電子文章として公開された情報の収集を、効率的に実現することが可能となる。
【００１３】
本発明の好ましい形態では、１又は複数の前記ウェブサイトについて、ドメインの登録を受け付けるステップを実行し、
前記収集するステップは、前記ドメインを用いて決定されるウェブページについて、前記解析対象を収集することを特徴とする。
このような構成とすることで、収集対象に係る情報が掲載されている蓋然性の高い電子文章を、効率的に収集することが可能となる。
【００１４】
本発明の好ましい形態では、前記判断するステップは、前記収集対象と分類されなかった前記解析対象の一部又は全部について、分類不能データとして登録し、
表示処理要求に基づいて、前記分類不能データを表示処理すると共に、前記解析対象が収集対象か否かに係る入力を、利用者より受け付けるステップを実行することを特徴とする。
このような構成とすることで、分類できなかった電子文章に対して、分類結果の入力を行うことができる。また、この結果を、分類手段の教師データとして利用することができる。
【００１５】
本発明の好ましい形態では、取得した複数の項目情報が、格納された収集対象に対応するか判断するステップと、
対応すると判断した場合、前記収集対象に関して未格納の項目情報を、当該収集対象の項目情報として格納するステップと、を実行することを特徴とする。
【００１６】
また、本発明の好ましい形態では、前記判断するステップは、前記取得した複数の項目情報の一部を用いたハッシュ及び格納された収集対象に関する項目情報の一部又は全部を用いたハッシュを算出する処理と、
前記算出したハッシュが一致する場合に、収集した項目情報が格納された収集対象に対応すると判断する処理と、を含むことを特徴とする。
このような構成とすることで、異なる解析対象（電子文章）に分かれて記載された共通の収集対象に関する項目情報や、ある収集対象について新たな情報を含んだ解析対象が公開された場合に、解析対象より得た項目情報を統合し、収集対象についての情報量を増加させることができる。
【００１７】
本発明の好ましい形態では、前記収集するステップは、過去に解析対象を解析したウェブページについて、繰り返し解析対象を収集し、
前記取得するステップは、繰り返し取得した前記解析対象を解析し、設定項目に該当する項目情報を取得し、
前記格納するステップは、取得した前記項目情報を、過去に取得した項目情報と新たに対応付ける、または置き換えることを特徴とする。
このような構成とすることで、電子文章が更新された場合に、更新された内容を反映して収集対象についての情報を獲得することができる。
【発明の効果】
【００１８】
本発明によれば、ウェブサイトに掲載された情報を効率的に収集し、目的とする対象の情報を効率的に格納する為の情報収集方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る情報収集処理システムのシステム構成を示す図である。
【図２】本発明の実施形態に係る端末装置のハードウェア構成図である。
【図３】本発明の実施形態に係る情報収集処理装置のハードウェア構成図である。
【図４】本発明の実施形態に係る解析対象の分類に係る処理フローチャートである。
【図５】本発明の実施形態に係る分類結果データの一例を示す図である。
【図６】本発明の実施形態に係る解析処理に係る処理フローチャートである。
【図７】本発明の実施形態に係る解析結果データ、解析不能データの一例を示す図である。
【図８】本発明の実施形態に係る項目情報の追加処理に関する処理フローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を用いて、本発明の実施形態に関する情報収集処理システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。
【００２１】
本実施形態では情報収集処理システムの構成、動作等について説明するが、同様の構成の方法、処理装置、コンピュータプログラム、記録媒体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータに前記プログラムをインストールすることができる。ここで、前記プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。
【００２２】
本実施形態では、収集対象として、行政や法人等の団体が公開するプロポーサル、入札に係る個々の案件情報をウェブサイトより収集し、それらを格納する場合について説明する。ここで、利用者は設定情報を登録することで、何れの団体によって掲載された情報を収集対象とするかについて指定する。
【００２３】
既述の収集対象はプロポーサルや入札の案件に限られず、例えば、助成金や補助金に関する情報、個々の催し、イベント等に関する情報等であってもよい。得られた情報については、収集対象に係る情報を掲載する為のウェブサイトにて公開を行ったり、利用者自身が業務上で活用したり等、収集対象の性質により種々の利用方法が想定されるが、その詳細については省略する。
【００２４】
＜情報収集処理システムの構成＞
一実施の形態における構成を示す図１を参照すると、情報収集処理システムは情報収集処理システム１として具体化されている。
【００２５】
この情報収集処理システム１は、情報収集処理装置２、端末装置３、ウェブサーバ４及び通信ネットワーク５を備える。情報収集処理装置２は、端末装置３と通信ネットワーク５を介して連携し、端末装置３を介して、情報収集の為の設定の登録や、データ入力、収集した情報の閲覧等が可能に構成される。
【００２６】
また、情報収集処理装置２は、ウェブサーバ４と通信ネットワーク５を介して連携する。ウェブサーバ４は、１又は複数のウェブページからなるウェブサイトについて、例えば、ｈｔｍｌ（HyperText Markup Language）やｐｄｆ（Portable Document Format）等の電子文章を格納しており、情報収集処理装置２は、ウェブサーバ４に対して所定のウェブページに係るリソースの送信リクエストを行い、リクエストしたウェブページに関する電子文章を、解析対象として受け取る。
【００２７】
通信ネットワーク５は、インターネットなどのＩＰ（Internet Protocol）網などとから構成される。通信ネットワーク５は、情報収集処理装置２、端末装置３及び複数のウェブサーバ４をそれぞれ収容し、情報収集処理装置２、端末装置３及びウェブサーバ４は、通信ネットワーク５を介してデータ通信を行うためのＩＰアドレスを、それぞれ割り当てられている。なお、以下の説明では、不明確にならない限り通信ネットワーク５の介在を省略する。
【００２８】
端末装置３は、携帯電話端末（スマートフォンを含む）及びコンピュータ端末（パーソナルコンピュータ及びタブレット端末を含む）の少なくとも１つを含む単独構成または複合構成をそれぞれ採り得る。
【００２９】
更に詳述すると、情報収集処理システム１における端末装置３は、図２に例示するように、ハードウェア及び機能の構成要素を含んでいる。つまり、各端末装置３は、ハードウェア構成要素として、演算装置（ＣＰＵ（Central Processing Unit））１１と、作業用メモリとしての主記憶装置（ＲＡＭ（Random Access Memory））１２とを備える。
【００３０】
各端末装置３は、ＯＳ（Operating System）、アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に格納するＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置１３と、通信制御部１４と、ＮＩＣ（Network Interface Card）などの通信インタフェース（ＩＦ）部１５と、表示制御部１６と、表示部１７と、情報入力・指定部１８などとを、更に備える。
【００３１】
各端末装置３において、後に詳述する機能を論理的に実現するには、補助記憶装置１３にウェブブラウザ及び端末制御プログラムなどをアプリケーションプログラムとしてインストールしておく。そして、各端末装置３においては、電源投入または利用者（ユーザ）による指示を契機に、演算装置（ＣＰＵ）１１がアプリケーションプログラムを主記憶装置（ＲＡＭ）１２に展開して実行する。
【００３２】
情報収集処理装置２は、データ通信機能を有し、図３に例示するように、ハードウェア及び機能の構成要素を含んでいる。すなわち、情報収集処理装置２は、ハードウェア構成要素として、演算装置（ＣＰＵ（Central Processing Unit））２１と、作業用メモリとしての主記憶装置（ＲＡＭ（Random Access Memory））２２とを備える。
【００３３】
情報収集処理装置２は、ＯＳ（Operating System）、アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に格納するＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置２３と、通信制御部２４と、ＮＩＣ（Network Interface Card）などの通信インタフェース（ＩＦ）部２５などとを、更に備える。
【００３４】
＜情報収集処理装置の機能構成要素＞
情報収集処理装置２は、機能構成要素として、登録手段２０１と、収集手段２０２と、収集対象判断手段２０３と、解析処理手段２０４と、格納手段２０５と、表示手段２０６と、受付手段２０７と、比較判断手段２０８と、データベースＤＢ１〜４と、を備えている。
【００３５】
情報収集処理装置２において上述した機能構成要素を論理的に実現するには、補助記憶装置２３情報収集処理プログラムをアプリケーションプログラムとしてインストールしておく。そして、情報収集処理装置２においては、電源投入を契機に、演算装置（ＣＰＵ）２１がこの処理プログラムを主記憶装置（ＲＡＭ）２２に展開して実行する。
【００３６】
＜設定情報の登録＞
図４は、解析対象の分類に係る処理フローチャートである。特定の情報について収集を希望する利用者は、まず、情報収集の為に必要となる条件を、設定情報として登録する（ステップＳ１）。
【００３７】
登録手段２０１は、端末装置３を介して、利用者からの情報の登録を受け付ける。本実施形態では、解析対象となり得るウェブページの発行元に関する情報として、所望の情報が公開され得る１又は複数のウェブサイトのドメインを、設定情報として登録する。また、ドメインと合わせて、収集の対象として希望する都道府県、市区町村についても設定登録を受け付ける。
【００３８】
＜解析対象の取得＞
情報収集処理装置２には、ウェブサーバ４より情報を収集する為の検索条件が設定されている。本実施形態では、例えば「入札」、「プロポーサル」といったキーワードが、検索条件として設定され得る。収集対象として、個々のイベントに関する情報を収集する場合には、例えば「フェスティバル」、「フリーマーケット」、「ライブ」といった情報が、検索条件として設定される。
【００３９】
収集手段２０２は、ウェブサーバ４より、解析対象に関するアドレスを収集する。ステップＳ２において、収集手段２０２は、既述の検索条件及び登録手段２０１で登録された設定情報を用いて、解析対象をキーワード検索し、解析対象としての電子文章をダウンロードする為のアドレスを収集する。
【００４０】
ステップＳ２におけるアドレスの収集は、定期的に実行される。ここで、新しいアドレスが発見された場合（ステップＳ３でＹＥＳ）、発見したアドレスについてのアドレスデータを、データベースＤＢ１のアドレスリストに格納し、ステップＳ４に進む。新しいアドレスが発見されなかった場合（ステップＳ３でＮＯ）、処理を終了する。
【００４１】
ステップＳ４において、収集手段２０２は、アドレスリストに含まれた分類処理実施前のアドレスデータを用いて、解析対象をダウンロードする（ステップＳ５）。
【００４２】
なお、本実施形態では、ステップＳ２において新しいアドレスが発見された場合にアドレスデータをアドレスリストに格納しているが、既知のアドレスの一部又は全部について、アドレスリストに格納する構成としてもよい。既知のアドレスの一部とは、例えば、既知のアドレスであって、更新されたと推定される解析対象等である。
【００４３】
＜分類処理＞
収集対象判断手段２０３は、解析対象について分類処理を行い、収集対象とするか判断する。収集対象判断手段２０３は、収集手段２０２がダウンロードした解析対象（電子文章）に対する分類処理を実行し、収集対象か、収集対象でないか、分類不能（分類不能データ）か、を判断する（ステップＳ６）。
【００４４】
分類処理は、例えばニューラルネットワーク、ディープラーニングなどの機械学習を用いて行う。より具体的には、解析対象について教師なし分類モデルによる分類ステップを実行し、分類不能だった解析対象について、更に、教師有分類モデルによる分類ステップを実行し、分類結果を出力する。
【００４５】
ここで、収集対象判断手段２０３は、分類手段として、１又は複数のファイル形式ごとに分類の手段を備えており、本実施形態では、ｈｔｍｌファイル用の分類手段として、教師なし分類手段（教師なし分類モデル）及び教師有分類手段（教師有分類モデル）を含み、更にｐｄｆファイル用の分類手段として、教師なし分類手段（教師なし分類モデル）及び教師有分類手段（教師有分類モデル）を含む。
【００４６】
機械学習の入力値や教師データとしては、例えば、解析対象について形態素解析を行って、分類目的に則ったコーパスを生成しておき、自然言語処理を行って解析した解析対象中の単語の出現数、出現頻度等を利用する。
【００４７】
収集対象判断手段２０３による分類が成功した場合（ステップＳ７でＹＥＳ）、すなわち収集対象であると判断した場合若しくは、収集対象でないと判断した場合、分類結果データを、データベースＤＢ２の分類結果リストに格納される（ステップＳ８）。また、分類不能と判断した場合（ステップＳ７でＮＯ）、分類不能データを、データベースＤＢ３の分類不能リストに追加する（ステップＳ９）。
【００４８】
図５は、分類結果データの一例を示す図である。分類結果データには、解析対象をダウンロードする為のアドレス（図示例における「ＵＲＬ」）と、その分類結果（図示例における「分類番号」）が格納されている。分類結果として、「入札」や「プロポーサル」に関する情報が含まれている可能性が高いと推定されるＵＲＬに対しては分類番号１を付与し、収集対象でない可能性が高いと推定されるＵＲＬに対しては分類番号０を付与している。
【００４９】
＜分類不能データの利用＞
表示手段２０６は、利用者が操作する端末装置３からの表示処理要求に基づいて、分類不能データ（分類不能リスト）を表示処理し、表示処理結果を端末装置３に返送することで、分類不能データ（分類不能リスト）が端末装置３において表示される。また、分類不能データ（分類不能リスト）に関する解析対象が、収集対象か否かに係る分類結果の入力を、登録手段２０１を介して端末装置３より受け付ける。
【００５０】
なお、本例では、分類不能と判断された解析対象について、端末装置３からの分類結果の入力を受け付ける構成としているが、収集対象と判断した解析対象や、収集対象ではないと判断した解析対象についても、登録手段２０１を介して分類結果の入力を受け付けてよい。
【００５１】
登録手段２０１を介して分類結果を設定された分類不能データのアドレスは、分類結果が対応付けられた分類結果データとして、データベースＤＢ２に格納される。ここで、登録手段２０１を介して分類結果が設定されたアドレスにより得られる解析対象及びその分類結果の組み合わせを、収集対象判断手段２０３における分類手段（教師有分類手段（教師有分類モデル））の教師データとして学習に利用してよい。ここで、解析対象及びその分類結果の組み合わせのデータは、解析対象のファイルの拡張子に基づいて、ｈｔｍｌファイル用の教師有分類手段（教師有分類モデル）又は、ｐｄｆファイル用の教師有分類手段（教師有分類モデル）の学習データとして利用される。
【００５２】
＜解析処理＞
図６は、解析処理に係る処理フローチャートである。ステップＳ１１において、解析処理手段２０４は、分類結果データとして、分類結果１が付与されたアドレスを取得する。
【００５３】
取得したアドレスが有効に存在する場合（ステップＳ１２でＹＥＳ）、ステップＳ１３に進み、収集手段２０２は、当該アドレスを用いて解析対象をダウンロードする。取得したアドレスよりエラーが返送される場合等、アドレスが無効な場合（ステップＳ１２でＮＯ）、処理を終了する。
【００５４】
ステップＳ１３にてダウンロードした解析対象に、解析処理を実行する（ステップＳ１４）。解析処理手段２０４は、解析対象を解析処理し、設定項目に該当する複数の項目情報を取得する。本実施形態では、解析は、自然言語処理によって実施され、事前に設定された複数の設定項目ａ０〜ａｉについて、１部又は複数の項目情報が取得される。ここで、解析は、強化学習によって学習を行った項目情報取得モデルによって実施されてもよい。また、深層強化学習を用いて、解析対象を解析処理し、必要な項目情報を取得してもよい。
【００５５】
ここで、設定項目は、例えば、プロポーサルの公示日、行政機関ＩＤ、業種カテゴリＩＤ、入札形式ＩＤ、参加資格ＩＤ、件名、説明会日、資料配布日、資料提出締切日、結果公表日、案件内容、最終決定事業者等である。
【００５６】
なお、収集対象として、イベント、催しに関する情報を収集する場合には、例えば、イベント日程、イベント時間、イベントの開催場所、イベント情報の公開者ＩＤ、イベント種別ＩＤ、イベント主催者ＩＤ、イベントの概要、イベントの参加費用に関する情報、等が、設定項目として設定される。
【００５７】
解析不能項目がない場合（ステップＳ１５でＮＯ）、格納手段２０５は、収集対象ごとに、取得した複数の項目情報を対応付けて、解析結果データとして、データベースＤＢ４に格納する（ステップＳ１８）。
【００５８】
＜更新データの収集＞
なお、本実施形態では、ステップＳ１１において、既に解析済み又は検索で得られた一部又は全部の解析結果データに対しても、再度解析対象のダウンロードを実施し、解析処理手段２０４は、解析処理を実行している。収集手段２０２は、更新データの収集を行う為、過去に解析対象を解析したアドレス（ウェブページ）について、繰り返し解析対象を収集し、解析処理手段２０４は、繰り返し取得した解析対象を解析し、設定項目に該当する項目情報を取得する。格納手段２０５は、取得した項目情報が、既知の解析結果データにおいて未格納の設定項目の場合には、新たに対応付けを行う。取得した項目情報が、既知の解析結果データにおける格納済の設定項目の場合には、置き換え（更新）を行う。
【００５９】
例えば、過去にダウンロードした解析対象のハッシュ値を保持しておき、新たにダウンロードした解析対象のハッシュと比較して、変更が内容であれば、解析処理をしなくてもよい。
【００６０】
図７上段の表は、解析結果データの一例を示す図である。図示例のように、収集対象ごとに、設定項目ａ０〜ａ８に対応する項目情報が対応付けられ、収集対象に関する情報である解析結果データとして、データベースＤＢ４に格納される。設定項目ａ０（図示例における「収集対象ＩＤ」）について、０００１のレコードでは、ａ１〜ａ８の項目情報が解析対象より取得され、解析結果データとして格納される。
【００６１】
なお、一部の項目情報については、収集対象としての解析対象の解析処理によって得たものでなくてもよく、例えば、検索に使用したドメインに基づいて決定した行政機関ＩＤ（図７における設定項目ａ２。イベントを収集対象とする場合における公開者ＩＤ）や、収集対象を識別する為に、一意に設定される収集対象ＩＤ（図７における設定項目ａ０）等が、設定項目及び項目情報として含まれてよい。
【００６２】
解析処理手段２０４は、ある解析対象に対してステップＳ１４での解析処理を実行した結果、事前に設定された複数の設定項目ａ０〜ａｉのうち、所定の項目が取得できていない解析対象について、解析不能データとして解析不能リストへの追加処理を行う。
【００６３】
また、本実施形態では、複数の設定項目ａ０〜ａｉうち、最低限必要となる必要設定項目が解析できなかった場合（ステップＳ１６においてＹＥＳ）、処理を終了する。図７の例では、設定項目ａ０〜ａ４が必要設定項目として設定されており、これらが取得できた収集対象について、解析結果データを登録する。
【００６４】
解析不能項目を含み（ステップＳ１５でＹＥＳ）、必要設定項目については取得できた場合（ステップＳ１６においてＮＯ）、解析処理手段２０４は、解析不能データとして、解析不能リストに、当該収集対象に関する情報を追加処理する（ステップＳ１７）。
【００６５】
その後、格納手段２０５は、収集対象ごとに、取得した複数の項目情報を対応付けて、解析結果データとして、データベースＤＢ４に格納する（ステップＳ１８）。本実施形態では、必要設定項目についての項目情報が取得できた場合、解析結果データとして格納を行うが、必要設定項目は必ずしも設定される必要はなく、解析結果データの利用方法や設定項目の調整によって、全ての設定項目が取得できなければ、解析結果データとして格納しない構成としても構わない。
【００６６】
図７において、設定項目ａ０が０００２の解析結果データは、設定項目ａ１〜ａ４、ａ６について格納された項目情報が解析対象より取得されたものである。設定項目ａ５、ａ７、ａ８は、解析対象より取得ができていない解析不能項目であり、未格納の項目情報である。
【００６７】
＜異なる解析対象より得た項目情報の対応付け＞
図７の下段は、解析不能データの一例である。図示例の解析不能リストに含まれる解析不能データは、解析不能データの識別子と、対応付けられた収集対象ＩＤと、解析対象のアドレス（図示例における「ＵＲＬ」）と、が対応付けられている。
【００６８】
解析不能データに対して、異なる解析対象より得た項目情報を比較する為の情報として、所定の項目情報に基づくハッシュ値が対応付けられる。本実施形態では、解析不能データの識別子として、複数の項目情報を所定の順番で並べた文字列を、ＳＨＡ−２等のハッシュ関数に通し、得られたハッシュ値を解析不能データのユニークキーとしている。
【００６９】
図７では、解析結果データの設定項目ａ１〜ａ４について格納された項目情報を並べた文字列を用いて、ハッシュ値を取得し、ハッシュ値が対応付けられた解析不能データとして解析不能リストに追加している。異なる解析対象より得た項目情報を比較する為の情報（本実施形態では、ハッシュ値）は、必要設定項目の一部又はすべてを、必ずしも用いる必要はない。
【００７０】
ここで、同様のハッシュ関数に通したときに、同様のハッシュ値が得られる解析結果データが存在する場合、すなわち、設定項目ａ１〜ａ４について格納された項目情報が共通するアドレスが存在する場合、そのアドレスより得られる解析対象には、未格納の項目情報（設定項目ａ５、ａ７、ａ８）が含まれる可能性がある。
【００７１】
図８は、項目情報の追加処理に関する処理フローチャートである。解析処理手段２０４は、新たに取得した解析対象より複数の項目情報を取得する。ここで、少なくとも、未格納の項目情報が含まれる解析結果データに関して、解析処理手段２０４は、取得した複数の項目情報の一部を用いたハッシュを用いたハッシュを算出して、解析不能リストに解析不能データを追加する（ステップＳ２１）。
【００７２】
解析不能リストには、解析結果データと、その項目情報により得られるハッシュ値と、が対応付けられた複数の解析不能データが格納される。比較判断手段２０８は、ある解析対象より取得した項目情報（解析結果データ）が、格納された収集対象より取得した項目情報（解析結果データ）に対応するか判断する（ステップＳ２２）。
【００７３】
本実施形態では、比較判断手段２０８は、新たな解析対象より収集した項目情報（解析結果データ）が、過去に格納した項目情報（解析結果データ）に対応するか判断する。比較判断手段２０８は、新たな解析対象より取得した解析不能データのハッシュと、過去に格納した解析不能データのハッシュと、を比較して、両者が一致する場合（ステップＳ２２でＹＥＳ）、両者が同様の収集対象についての異なる解析対象（電子文章）と判断する。両者が同様の収集対象についての異なる解析対象と推定され、新たな解析対象より得た項目情報の中に、格納済みの解析結果データにおける未格納の項目情報が含まれる可能性がある。
【００７４】
新たな解析結果データとして、当該収集対象に関して未格納だった項目情報を取得できた場合（ステップＳ２３でＹＥＳ）、格納手段２０５は、未格納だった項目情報を当該収集対象の項目情報として対応付け、解析結果データとしてデータベースＤＢ４に格納する（ステップＳ２４）。
【００７５】
ここで、本実施形態では、未格納の項目情報が存在する解析結果データについて、ハッシュを取得して比較する構成としているが、全ての項目情報が格納された解析結果データについても、新たな解析対象によって得られる更新された項目情報を取得する為に、対応するかの判断を行って、項目情報を更新する構成としてもよい。
【００７６】
＜解析不能データの利用＞
表示手段２０６は、利用者が操作する端末装置３からの表示処理要求に基づいて、解析不能データを表示処理し、表示処理結果を端末装置３に返送することで、解析不能データが端末装置３において表示される。また、解析不能データとして登録された収集対象の、未格納の項目情報（未格納項目）について、利用者からの入力を受け付けて格納する。
【００７７】
なお、本例では、未格納項目について、端末装置３からの項目情報の入力を受け付ける構成としているが、格納済みの項目情報についても、登録手段２０１を介して項目情報の入力（変更）を受け付けて構わない。
【００７８】
登録手段２０１を介して項目情報を設定され、必要設定項目を充足した解析結果データは、解析不能リストより除外されてよい。ここで、登録手段２０１を介して項目情報が設定された収集対象（解析結果データ）について、解析処理手段２０４を教師有機械学習によって実施する場合の教師データとして学習に利用してよい。
【符号の説明】
【００７９】
１  情報収集処理システム
１１  演算装置（ＣＰＵ）
１２  主記憶装置（ＲＡＭ）
１３  補助記憶装置
１４  通信制御部
１５  通信インタフェース（ＩＦ）部
１６  表示制御部
１７  表示部
１８  情報入力・指定部
２  情報収集処理装置
２１  演算装置（ＣＰＵ）
２２  主記憶装置（ＲＡＭ）
２３  補助記憶装置
２４  通信制御部
２５  通信インタフェース（ＩＦ）部
２０１  登録手段
２０２  収集手段
２０３  収集対象判断手段
２０４  解析処理手段
２０５  格納手段
２０６  表示手段
２０７  受付手段
２０８  比較判断手段
３  端末装置
３Ａ  利用者端末装置
３Ｂ  対象者端末装置
３Ｃ  ユーザ端末装置
４  ウェブサーバ
５  通信ネットワーク
ＤＢ１〜ＤＢ４  データベース
ａ０〜ａｉ  設定項目
【図１】
2020067700.tif 000003
【図２】
2020067700.tif 000004
【図３】
2020067700.tif 000005
【図４】
2020067700.tif 000006
【図５】
2020067700.tif 000007
【図６】
2020067700.tif 000008
【図７】
2020067700.tif 000009
【図８】
2020067700.tif 000010