(57)【要約】【課題】各業務システムに新規情報が追加された場合にも、追加された新規情報を全業務システムからのデータの集計データの中に反映させることができるようにする。【解決手段】バッチ処理のプロセスメタデータ２０７を再編成し、適宜処理が実行可能な情報を保持することにより、各業務システム１０１において更新情報が発生するタイミングで適宜データ加工プロセス３０９を実行し、プレ集計結果を管理・公開可能とする。【選択図】図１
2010122880.tif 000002
【特許請求の範囲】
【請求項１】
各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集及び集計するデータ集計処理方法において、
前記本部集計システムは、適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセス実行手段と、更新情報作成手段とを備え、
前記適宜データ加工プロセスメタデータ生成手段は、前記業務システムのそれぞれから提供されるデータの一括処理を前提としたデータ加工プロセスメタデータを取得し、適宜データ加工プロセスの実行を行うことができるように、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納して管理することを特徴とするデータ集計処理方法。
【請求項２】
請求項１記載のデータ集計処理方法において、前記適宜データ加工プロセス実行手段は、前記業務システムのそれぞれから差分更新情報が提供されるタイミングで、適宜データ加工プロセスメタデータを利用し、前記差分更新情報を即時にデータ加工すると共に、データ加工結果を、前記蓄積されている適宜データ加工プロセスメタデータに反映させることを特徴とするデータ集計処理方法。
【請求項３】
請求項１記載のデータ集計処理方法において、前記更新情報作成手段は、前記各業務システムのそれぞれから提供される差分更新情報が、単位時間の差分更新情報である場合、その情報を複数のレコード単位で利用し、データベースのログ情報である場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータの場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセスで利用できる最適な状態へのデータ整形を行うことを特徴とするデータ集計処理方法。
【請求項４】
請求項１記載のデータ集計処理方法において、前記本部集計システムは、データクレンジング（名寄せ）手段を備え、該データクレンジング手段は、前記業務システムのそれぞれから提供される差分更新情報を、差分更新情報の単位で、マスタデータを複写したマスタデータコピーと適宜名寄せ処理を行い、ＩＤや他の情報の不備・不整合の確認・補正を行うことを特徴とするデータ集計処理方法。
【請求項５】
請求項４記載のデータ集計処理方法において、前記データクレンジング手段は、データクレンジングを行った結果、マスタデータコピーに合致する情報がない場合、新規情報と判断し、仮ＩＤを採番・付与し、マスタデータを管理するシステムに対して仮ＩＤの正式登録を依頼することを特徴とするデータ集計処理方法。
【請求項６】
企業内における各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集・集計するデータ集計処理システムにおいて、
前記本部集計システムは、適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセス実行手段と、更新情報作成手段とを備え、
前記適宜データ加工プロセスメタデータ生成手段は、前記業務システムのそれぞれから提供されるデータの一括処理を前提としたデータ加工プロセスメタデータを取得し、適宜データ加工プロセスの実行を行うことができるように、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納、管理することを特徴とするデータ集計処理システム。
【請求項７】
請求項６記載のデータ集計処理システムにおいて、前記本部集計システムは、適宜集計情報の状態を定期的に退避、蓄積する推移情報格納管理手段を備えることを特徴とするデータ集計処理システム。
【請求項８】
請求項７記載のデータ集計処理システムにおいて、前記本部集計システムは、前記推移情報格納管理手段により管理されている適宜集計情報のランキング情報を作成・蓄積するランキング情報格納管理手段を備えることを特徴とするデータ収集処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ集計処理方法及びシステムに係り、特に、各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集し、各業務システムで異なる意味付けを持つデータを、集計した集計結果を生成するデータ集計処理方法及びシステムに関する。
【背景技術】
【０００２】
企業内における各種の業務システムからの集計情報を、企業全体として一元的に集計した集計結果を作成する従来技術として、集計対象データが生成される各業務システムから、集計に必要な全データを特定の期限までに取込んだ後、一括してフォーマット修正を行い、各業務システム間でのデータの関連付けのための統合ＩＤを付与し、集計のためのデータ加工プロセスをバッチ実行するという技術が知られている。
【０００３】
この従来技術は、表示することだけのためにバッチ実行処理により集計データを作成しているものであるため、作成された集計データが各業務システムからみて最新のデータが反映されたものか否かを、ユーザが知ることができないという問題点を有している。
【０００４】
また、この従来技術は、各業務システムから提供されるデータが、そのデータを作成する個別の業務システムで最適化されたタイミングで作成されたものであるため、各業務システムからの集計情報データの収集のタイミングを１つに決めることができず、全ての業務システムで見た場合、システム間の時間的な整合性を確保できないまま全体の集計情報を生成していた。
【０００５】
このため、この従来技術は、集計結果と各業務システムのデータとにおける情報鮮度に差が生じ、企業活動でのタイムリーかつ的確な業務判断に支障を与えてしまうという問題点を生じさせている。
【０００６】
また、本発明に関連する従来技術として、例えば、特許文献１等に記載された技術が知られている。この従来技術は、集計データを加工する際に、その加工が他のデータ加工プロセスへの影響を及ぼすことになるかどうかをチェックし、影響を及ぼすことになる場合に、データ加工プロセスを作成する者に警告を発するというものである。
【０００７】
しかし、この従来技術は、集計データを加工するプロセスとプロセスが実行された時間とを結び付けて、必要とする任意の時点で、最新の情報を利用者に提供することができるものとはなっていないという問題点を有している。
【特許文献１】特開２００１−３３１３５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述した従来技術は、データ加工処理のバッチ実行時間の短縮を図ることができるものであるが、バッチ処理が実行可能となるタイミングが、集計対象となる全業務システムの全ての必要なデータがそろうタイミングでなければならなず、そのため、利用者から要求される任意のタイミングでタイムリーに最新のデータが反映された集計データを提供することができないという問題点を有している。
【０００９】
本発明の目的は、各業務システムにおいて新規情報が追加された場合にも、その追加された新規情報を全業務システムからのデータの集計データの中に反映させることができるデータ集計処理方法及びシステムを提供することにある。
【００１０】
本発明の他の目的は、バッチ処理によるデーの集計では隠蔽されてしまうデータの変更経緯やプラス・マイナスの情報をも提示することができるデータ集計処理方法及びシステムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明によれば前記目的は、各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集及び集計するデータ集計処理方法において、前記本部集計システムは、適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセス実行手段と、更新情報作成手段とを備え、前記適宜データ加工プロセスメタデータ生成手段は、前記業務システムのそれぞれから提供されるデータの一括処理を前提としたデータ加工プロセスメタデータを取得し、適宜データ加工プロセスの実行を行うことができるように、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納して管理することにより達成される。
【発明の効果】
【００１２】
本発明によれば、集計データの作成のタイミングと各業務システムで提供する差分更新情報を作成するタイミングに時間差異が発生する場合にも、全体をまとめた整合性のある最新情報をいつでも提供可能とすることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明によるデータ集計処理方法及びシステムの実施形態を図面により詳細に説明する。
【００１４】
図１は本発明の一実施形態によるデータ集計処理システムの構成を示すブロック図である。
【００１５】
本発明の一実施形態によるデータ集計処理システムは、集計対象となる業務データを生成する複数の業務システム１０１と、複数の業務システム１０１のそれぞれからの全ての業務データを収集した後バッチ処理により集計情報を生成する本部集計システム１０２とがネットワークを介して接続されて構成されている。
【００１６】
業務システム１０１及び本部集計システム１０２は、それぞれ、通信インタフェース１０３、プロセッサ１０４、ディスクインタフェース１０５、データベース１０６を有するディスク装置、メモリ１０７を備える情報処理装置の中に構築され、メモリ１０７内には、後述するようにディスク装置からロードされ、プロセッサ１０４によって実行されることにより、その機能を実現する複数のプログラムが格納されている。
【００１７】
前述において、複数の業務システム１０１のそれぞれは、業務システム１０１のディスク装置内に、業務データの変更・更新情報を格納した業務テーブル２０１を有するデータベース１０６を備えている。このデータベース１０６は、ディスクインタフェース１０５を介してプロセッサ１０４の制御の下に各機能部からアクセスされる。
【００１８】
また、各業務システム１０１は、メモリ１０７内に当該システムにおける業務の処理を行う業務プログラム３０１と、この業務プログラム３０１により生成され、業務テーブル２０１に格納された業務データの変更・更新情報を取得する差分読出部３０２と、本部集計システム１０２の集計情報テーブル２０２や適宜集計情報テーブル２０３のデータを参照するための情報参照プログラム３１５との各機能部を有している。
【００１９】
また、各業務システム１０１は、通信インタフェース１０３を介して、本部集計システム１０２に差分読出部３０２が読み出した業務データの変更・更新情報の差分情報を送信し、また、本部業務システム１０２内の各種の情報を参照することができる。
【００２０】
本部集計システム１０２は、本部集計システム１０２のディスク装置内にデータベース１０６を備えており、このデータベース１０６は、集計情報テーブル２０２、適宜集計情報テーブル２０３、推移情報テーブル２０４、ランキング情報テーブル２０５、マスタテーブル２０６、データ加工プロセスメタデータ２０７、適宜データ加工プロセスメタデータ２０８を保持している。
【００２１】
また、本部集計システム１０２は、メモリ１０７内に本発明でのデータ集計処理を行うために、更新情報作成部３０４と、データクレンジング（名寄せ）部３０６と、情報公開部３０７と、適宜データ加工プロセスメタデータ生成部３０８と、適宜データ加工プロセス実行部３０９と、データ加工プロセス実行部３１０と、推移情報管理部３１１と、ランキング情報管理部３１２と、適宜集計情報管理部３１３と、集計情報管理部３１４との各機能部を有している。
【００２２】
前述した本部集計システム１０２において、適宜データ加工プロセスメタデータ生成部３０８は、データ加工プロセスメタデータ２０７を取得し、取得したデータ加工バッチ処理の処理内容を解析し、適宜実行できる単位にデータ加工プロセスメタデータ２０７を分割・再編成し、適宜データ加工プロセスメタデータ２０８としてデータベース１０６に格納する。この適宜データ加工プロセスメタデータ２０８は、本部集計システム１０２が、各業務システム１０１からの差分業務データ取得し、その差分業務データを使用して適宜データ加工プロセスを実行するため使用される。
【００２３】
更新情報作成部３０４は、業務システム１０１から通信インタフェース１０３を介し送信されてくる業務データの差分情報を受信し、差分情報のデータ加工を行う。すなわち、更新情報生成部３０４は、業務システム１０１から送られてくる差分情報の形式が集計ファイルであったり、ストリームデータであったり、レプリケーション情報となるデータベースのログデータであっても、それらの形式に合わせてデータを受取る手段を有する。この手段は、例えば、そのままデータ加工プロセスが実行できないログデータである場合、差分情報を、データ加工することができるレコード形式に整形する等、データ形式により必要に応じて差分情報をデータ加工することができるレコード形式に整形する手段である。そして、更新情報生成部３０４は、内部処理可能な統一されたレコード形式に整形された差分情報の形にして、その差分情報をデータクレンジング部（名寄せ）部３０６に引き渡す。
【００２４】
データクレンジング（名寄せ）部３０６は、更新情報生成部３０４から渡された差分情報を、調査・分析する。すなわち、データクレンジング（名寄せ）部３０６は、差分情報が、例えば、顧客名であれば、役職、所属、敬称等を切出し、苗字・名前に分ける標準化処理を行い、住所であれば、市町村名しかない場合等に都道府県名を補完したり、霞が関・霞ヶ関といった表記のゆらぎを補正する正規化処理等のデータクレンジング処理を行う。そして、データクレンジング（名寄せ）部３０６は、データベース１０６に格納されているマスタテーブル２０６内の例えば顧客マスタデータと標準化された差分情報の各要素とについてマッチング処理を行い、重複度のスコアを算出し、スコアに応じて重複レコードの特定を行い、スコアの最も高い情報の顧客ＩＤを差分情報に付与する名寄せ処理を行う。また、データクレンジング（名寄せ）部３０６は、名寄せを行った差分情報とマスタテーブル２０６のマスタデータとに重複がない場合、該当する差分情報が新規顧客情報であると判断して仮ＩＤを発行する。仮ＩＤが発行された場合、マスタテーブル２０６に仮ＩＤの情報が登録され、顧客情報が追加される。
【００２５】
適宜データ加工プロセス実行部３０９は、データクレンジングされ、ＩＤが付与された差分情報に対して、予め事前に生成されている適宜データ加工プロセスメタデータ２０８を使用してデータ加工プロセスを実行する。すなわち、適宜データ加工プロセス実行部３０９は、スケジューリングされた適宜データ加工プロセス実行指示により、適宜データ加工を行い、適宜集計情報を生成する。生成された適宜集計情報は、適宜集計情報管理部３１３によりデータベース１０６の適宜集計情報テーブル２０３に管理・格納される。
【００２６】
推移情報管理部３１１、ランキング情報管理部３１２は、適宜集計情報テーブル２０３内の適宜集計情報を利用して、推移情報やランキング情報を、推移情報テーブル２０４、ランキング情報テーブル２０４に管理・格納する。
【００２７】
データベース１０６に格納されている集計情報テーブル２０２、適宜集計情報テーブル２０３、推移情報テーブル２０４、ランキング情報テーブル２０５の内容は、情報公開部３０７により、通信インタフェース１０３を介して、各業務システム１０１に公開される。情報公開部３０７により公開される情報についての画面例は、図１６に示すようなものとなるが、これについては後述する。
【００２８】
図２は従来技術によるデータ集計処理システムの構成を示すブロック図であり、ここで、本発明の実施形態によるデータ集計処理システムと従来技術によるデータ集計システムとの相違を明確にして、本発明の理解を助けるために従来技術の構成について説明する。
【００２９】
図２に示しているように、従来技術によるデータ集計システムも、図１に示した本発明の実施形態によるデータ集計処理システムと同様に、集計対象となる業務データを生成する複数の業務システム１０１と、複数の業務システム１０１のそれぞれからの全ての業務データを収集した後バッチ処理により集計情報を生成する本部集計システム１０２とがネットワークを介して接続されて構成されている。
【００３０】
図２に示す業務システム１０１及び本部集計システム１０２は、それぞれ、前述で説明した本発明の実施形態の場合と同様に、通信インタフェース１０３、プロセッサ１０４、ディスクインタフェース１０５、データベース１０６を有するディスク装置、メモリ１０７を備える情報処理装置の中に構築され、メモリ１０７内には、後述するようにディスク装置からロードされ、プロセッサによって実行されることにより、その機能を実現する複数のプログラムが格納されている。
【００３１】
図２に示す複数の業務システム１０１のそれぞれは、業務システム１０１のディスク装置内に、業務データの変更・更新情報を格納した業務テーブル２０１を有するデータベース１０６を備えている。このデータベース１０６は、ディスクインタフェース１０５を介してプロセッサ１０４の制御の下に各機能部からアクセスされる。
【００３２】
また、図２に示す各業務システム１０１は、メモリ１０７内に当該システムにおける業務の処理を行う業務プログラム３０１と、通信インタフェース１０３を介して本部集計システム１０２の集計情報テーブル２０２のデータを参照するための情報参照プログラム３１５との各機能部を有している。
【００３３】
そして、図２に示す複数の業務システム１０１のそれぞれは、業務システム１０１毎に決められた運用で稼動しており、図１により説明した本発明の実施形態の場合のように、業務システム１０１内の業務プログラム３０１が実行されることにより、業務テーブル２０１に対して発生する差分情報を適宜取得する手段を持たないため、業務システム１０１毎の締めにより差分集計結果がまとめられる期日まで、本部集計システム１０２との間での情報の授受を行わない。
【００３４】
図１０は各業務システム１０１で生成される業務データを格納した業務テーブル２０１の構成例を示す図である。
【００３５】
各業務システム１０１での締めのタイミングは、各業務システム１０１で異なる。例えば、図１０（ａ）に示す業務システムＡの業務テーブル５５１の情報は毎日１２：００に、図１０（ｂ）に示す業務システムＢの業務テーブル５５２の情報は毎日１７：００に、図１０（ｃ）に示す業務システムＣの業務テーブル５５３の情報は毎日２３：００に締められるものとする。そして、これらのテーブルの情報は、締められた後に本部集計システム１０２に送信される。この場合、図２に示す従来技術における本部集計システム１０２は、各業務システム１０１の締めの差異を吸収するため、全ての業務システム１０１での締めの集計結果が出揃うのを待たなければならないことになる。すなわち、図１０に示す例の場合、従来技術による本部集計システム１０２は、図１０（ｃ）に示す業務システムＣの業務テーブル５５３の情報が業務システム１０１から送られる２３：００以降に、業務システムＡ〜Ｃの締めの集計結果を一括して、データクレンジング（名寄せ）部３０６によりデータクレンジングを行い、マスタテーブル２０６の情報との名寄せ処理を行う。そして、登録されているデータ加工プロセスメタデータ２０７を使用して、データ加工プロセス実行部３１０にデータ加工処理を実行させ、実行結果を集計情報管理部３１４により、集計情報テーブル２０２へ管理・格納する。
【００３６】
なお、図１０に示す業務テーブル２０１の構成例は、従来技術の場合のものとして説明したが、後述する本発明の実施形態における業務テーブル２０１も、同様な構成を有している。
【００３７】
図１２は従来技術の場合におけるデータベース１０６の集計情報テーブル２０２の構成例を示す図であり、集計情報テーブルに格納された集計情報のデータ５７０の例を示している。
【００３８】
従来技術におけるデータベース１０６の集計情報テーブル２０２に格納されたデータは、各業務システムから収集されたデータを、データ加工プロセスにより加工・編集した業務上の価値を持つデータある。そして、このデータの内容は、例えば、図１２に示すように、需要先、販売店、ハード売上、サービス売上、ソリューション売上の各項目についての情報であり、これらの情報は、情報公開部３０７により、通信インタフェース１０３を介して各業務システム１０１の情報参照部３１５により参照可能となる。この場合、情報参照部３１５で参照することができる情報は、図１０で説明したように、業務システムＣにおいて情報の更新が行われる２３：００以降に処理される次回のバッチ実行の情報が出揃うまでは更新されないため、図１０で説明したように、業務システムＡの業務テーブル５５１は１２：００に更新されているにもかかわらず、２３：００以降に本部集計システム１０２での処理が完了するまでは、前回の実行結果しか参照することができない。
【００３９】
なお、前述の集計情報テーブル２０２のデータは、データ化項プロセスの実行前に作成され、データ加工プロセスがバッチ実行される毎に更新される。
【００４０】
本発明は、前述したような従来技術での課題を解決することを目的とするものであり、そのため本発明の実施形態での本部集計システム１０２は、複数の業務システム１０１のそれぞれにおいて、所定の条件が整って、その業務システム１０１の差分読み出し部３０２から業務データの差分情報が提供されたときに、提供された業務データの差分データを使用して、その時点での全業務システムのデータの集計を行うデータ加工を行う更新情報の作成を開始することとしている。このような全業務システムのデータの集計を行う時点は、ランダムに発生することになり、本発明の説明においては、このランダムな時点で動作する機能部及びその機能部が動作した結果として得られるデータ（テーブル）に「適宜」という語を付加し、全ての業務システムでの締めの集計結果を一括してバッチ処理により集計する動作を行う機能部及びその機能部が動作した結果として得られるデータとを区別している。
【００４１】
前述において、更新情報の作成を開始するトリガとなる所定の条件とは、複数の業務システム１０１のそれぞれにおいて、（イ）予め設定された量（レコード数）の業務データの変更が行われた場合、（ロ）予め設定された時間（時間間隔）が経過した場合、（ハ）予め設定された他の業務システムから更新情報の提供通知が合った場合（関連システム間での同期を取る場合）、（ニ）予め設定された閾値（警告値）を超過する業務データの変更が発生した場合、（ホ）従来の集計情報バッチ処理を実行するために設定された締めの期日（日時）となった場合等である。
【００４２】
次に、図１に示して説明した本発明の実施形態における本部集計システム１０２の各機能部での処理動作について説明するが、まず、データベース１６０に格納されている各種テーブルの構成例について説明する。
【００４３】
図８はデータベース１０６に登録されているデータ加工プロセスメタデータ２０７の構成例を示す図である。
【００４４】
データ加工プロセスメタデータ２０７は、従来技術においても、また、本発明の実施形態においても利用されるデータであり、データ加工バッチ処理のソース（入力）データ情報、ターゲット（出力）データ情報、及び、入出力間のデータ加工・編集情報を定められた情報フォーマットとした情報である。このデータ加工プロセスメタデータ２０７は、例えば、図８に示すように、プロセスメタデータ番号５０６と、プロセスメタデータ名５０７と、システム名、ＤＢまたはファイルを含むソースデータ５０８と、データ名データ件数、レコード長、変換仕様、周期を含むデータ加工処理５１２と、システム名、ＤＢまたはファイルを含むターゲットデータ５１０とによるレコードの複数を備えて構成されている。そして、このデータ加工プロセスメタデータ２０７は、データ化項プロセスのデザイン作成（開発）時に作成され、デザイン変更時（通常、更新されない）に更新される。
【００４５】
図９はデータベース１０６に登録されている適宜データ加工プロセスメタデータ２０８の構成例を示す図である。
【００４６】
適宜データ加工プロセスメタデータ２０８は、適宜データ加工処理のため、データ化項プロセスメタデータから生成された適宜実行のためのプロセスメタデータの情報を有するデータであり、図８に示したデータ加工プロセスメタデータ２０７と同一のプロセスメタデータ番号５０６と、このメタデータ番号５０６の分割番号５１１と、プロセスメタデータ名５０７と、システム名、ＤＢまたはファイルを含むソースデータ５０８と、データ名データ件数、レコード長、変換仕様、周期を含むデータ加工処理５１２と、システム名、ＤＢまたはファイルを含むターゲットデータ５１０とによるレコードの複数を備えて構成されている。そして、この適宜データ加工プロセスメタデータ２０８は、適宜データ加工プロセスメタデータ生成部が、適宜データ加工プロセスメタデータを生成するときに作成され、デザイン変更時（通常、更新されない）に更新される。
【００４７】
図１１はデータベース１０６に格納されているマスタテーブル２０６の構成例を示す図である。
【００４８】
マスタテーブル２０６に格納されるマスタレコードのデータは、従来技術においても、また、本発明の実施形態においても利用されるデータであり、既に表記の補正が完了した唯一のデータである。このマスタレコードのデータは、顧客マスタや商品マスタ等のコード統一によりことなる情報間の紐付けを行うことができる情報であり、図１１に示す例の場合、顧客マスタとして、顧客名、所在地住所、代表者、連絡先顧客データに顧客ＩＤ５６１を付与したレコードの複数から構成されている。そして、このマスタレコードのデータは、システム構築時のデータ化項プロセス実行前に作成され、マスタのメンテナンス時に更新される。但し、新規ＩＤの追加は、いつでも行うことができる。
【００４９】
図１３はデータベース１０６に格納されている適宜集計情報テーブル２０３の構成例を示す図であり、適宜集計情報テーブルに格納された適宜集計情報のデータ５８０の例を示している。
【００５０】
適宜集計情報のデータ５８０は、各業務システムから適宜提供されたデータを、適宜データ加工プロセスにより加工・編集した業務上の価値を持つ中間集計状態のデータ（情報）であり、図１２に示して説明した従来技術における集計情報５７０と同様に、需要先、販売店、ハード売上、サービス売上、ソリューション売上の各項目についての情報を持つ各レコードに、最新の更新時間が追加されて構成されている。そして、この適宜集計情報のデータ５８０は、適宜データ加工プロセス実行前に事前作成され、適宜データ加工プロセス実行毎に更新される。
【００５１】
図１４はデータベース１０６に格納されている推移情報テーブル２０４の構成例を示す図であり、推移情報テーブル２０４に格納された推移情報のデータ５９０の例を示している。
【００５２】
図１４に示す推移情報のデータ５９０は、適宜集計情報テーブルとして作成されるデータ（情報）の変更履歴データ（情報）であって、推移情報管理部３１１が適宜集計情報テーブル２０３内の適宜集計情報を利用して生成するものであり、需要先、販売店、ハード売上、サービス売上、ソリューション売上、更新時間の各項目を有するレコードの複数から構成されている。この推移情報のデータ５９０は、適宜データ加工プロセス実行前に事前作成され、適宜データ加工プロセス実行毎に更新される。
【００５３】
図１５はデータベース１０６に格納されているランキング情報テーブル２０５の構成例を示す図であり、ランキング情報テーブル２０５に格納されたランキング情報のデータ６００の例を示している。
【００５４】
図１５に示すランキング情報のデータ６００は、適宜集計情報テーブルとして作成されるデータ（情報）の上位・下位情報情報等のランキングデータ（情報）であって、ランキング情報管理部３１２が適宜集計情報テーブル２０３内の適宜集計情報を利用して生成するものであり、項目、評価、昇降順、ＴＯＰ１、ＴＯＰ１値、ＴＯＰ２、ＴＯＰ２値、ＴＯＰ３、ＴＯＰ３値、更新時間の各項目を有するレコードの複数から構成されている。このランキング情報のデータ６００は、適宜データ加工プロセス実行前に事前作成され、適宜データ加工プロセス実行毎に更新される。
【００５５】
図１４、図１５に示して説明した推移情報テーブル２０４に格納された推移情報のデータ５９０、ランキング情報テーブル２０５に格納されたランキング情報のデータ６００は、集計情報テーブル２０２や適宜集計情報テーブル２０３の内容と同様に、情報公開部３０７により、通信インタフェース１０３を介して各業務システム１０１に公開される。
【００５６】
図１６は各テーブルの内容を公開している画面の構成例を示す図である。図１６に示すように、各テーブルのデータは、グラフ化されたり、あるいは、そのままテーブルの形式で、各業務システム１０１が備える図示しない表示装置に表示されて公開される。
【００５７】
図３は適宜データ加工プロセスメタデータ生成部３０８での処理動作を説明するフローチャートであり、次に、これについて説明する。なお、ここで説明する処理は、事前に予め行なっておく処理である。
【００５８】
（１）適宜データ加工プロセスメタデータ生成部３０８は、処理を開始すると、図８に示すデータ加工プロセスメタデータ２０７をデータベース１０６から取得し、登録されているソースデータ５０８、ターゲットデータ５１０の情報、データ加工処理５１２の情報等についてデータ加工バッチ処理の処理内容の解析を行う（ステップＰ３０１、Ｐ３０２）。
【００５９】
（２）次に、適宜データ加工プロセスメタデータ生成部３０８は、取得したデータ加工プロセスメタデータ２０７のデータ加工処理５１２に、例えば、集計（特定項目でのグループ化や最大／最小／標準偏差／カウント／平均等を求める処理）、ソート（特定項目に対して、昇順／降順でのならべかえる処理）、一時保管（メモリ中に中間状態として保持し、全件処理終了後に付合せ時の参照データ等として再利用する処理）等、適宜処理を行うことができない処理を含み、中間データの作成を必要とする処理が存在するか否かを判定する（ステップＰ３１１）。
【００６０】
（３）ステップＰ３１１の判定で、中間データの作成を必要とする処理が存在した場合、その処理（集計、ソート、一時保管の処理の１つ）を特定し、その処理までを１つのデータ加工処理プロセスとして情報を切り出して分割する（ステップＰ３０３、Ｐ３０４）。
【００６１】
（４）そして、切り出した情報を、図９に示している適宜データ加工プロセスメタデータ２０８の例のように、元のプロセスメタデータ番号５０６に分割番号５１１を付与してデータベース１０６の適宜加工プロセスメタデータ２０８として格納する（ステップＰ３０５）。
【００６２】
（５）次に、適宜データ加工プロセスメタデータ生成部３０８は、分割した際の、ターゲットデータ５１０の情報から、データベース１０６に対して集計、ソート、一時保管の中間結果の保管のための結果格納テーブル情報の生成を行い、分割番号５１１を付与した適宜データ加工プロセスメタデータ２０８に中間テーブルの関連情報を登録する（ステップＰ３０６、Ｐ３０７）。
【００６３】
（６）その後、適宜データ加工プロセスメタデータ生成部３０８は、分割後の残りのデータ加工プロセスメタデータにおいて、集計、ソート、一次保管等の中間データの作成を必要とする処理が存在するか否かを再度判定し、中間データの作成を必要とする処理が存在した場合、ステップＰ３０３からの処理に戻って処理を繰り返す（ステップＰ３０８）。
【００６４】
（７）ステップＰ３１１、Ｐ３０８の判定で、集計、ソート、一次保管等の中間データの作成を必要とする処理が存在しなかった場合、そのデータ加工プロセスメタデータに分割番号５１１を付与し、データベース１０６の適宜加工プロセスメタデータ２０８として格納して、ここでの処理を終了する（ステップＰ３０９）。
【００６５】
図７は図３に示すフローにより前述で説明したデータ加工プロセスの概念を説明する図である。
【００６６】
図３に示すフローのステップＰ３１１の判定で、加工プロセスが図７（ａ）に示すように集計・蓄積等を含まないデータ加工プロセス５０１であった場合、適宜データ加工プロセスメタデータ生成部３０８は、そのまま分割番号５１１に“１”を付与し、適宜データ加工プロセスメタデータ２０８としてデータベース１０６に格納する。
【００６７】
また、図３に示すフローのステップＰ３１１の判定で、加工プロセスが図７（ｂ）に示すように集計・蓄積等を含むデータ加工プロセス５０２であった場合、この加工プロセスは、Σの支店集計処理５０４による集計処理を含むため、適宜データ加工プロセスメタデータ生成部３０８は、前のデータ加工プロセス５０３を１つの適宜データ加工プロセスメタデータとして分割番号５１１に“１”を付与し、Σの支店集計処理５０４以降のデータ加工プロセスの分割番号５１１に継続する“２”を付与し、それらを適宜データ加工プロセスメタデータ２０８としてデータベース１０６に格納する。
【００６８】
図４は更新情報作成部３０４での処理動作を説明するフローチャートであり、次に、これについて説明する。ここで説明する処理は、更新情報作成部３０４が適宜データ加工プロセスメタデータ２０８を使ってデータ加工処理を行うための差分情報を作成する処理であり、前述で説明したように、複数の業務システム１０１のそれぞれにおいて、（イ）予め設定された量（レコード数）の業務データの変更、例えば、業務テーブル２０１への一定量のレコードの追加が行われた場合、（ロ）予め設定された時間（時間間隔）が経過した場合、（ハ）予め設定された他の業務システムから更新情報の提供通知が合った場合（関連システム間での同期を取る場合）、（ニ）予め設定された閾値（警告値）を超過する業務データの変更が発生した場合、（ホ）従来の集計情報バッチ処理を実行するために設定された締めの期日（日時）となった場合等をトリガとして開始される。
【００６９】
（１）更新情報作成部３０４は、通信インタフェース１０３を介して本部集計システム１０２に送られてきた差分情報を読み込み、その差分データがそのまま差分データとしてデータ加工処理することができる形式のものか否かを判定し、そのままデータ加工処理することができる形式であった場合、その差分データをそのままデータクレンジング（名寄せ）部３０６に渡す（ステップＰ４０１、Ｐ４０２）。
【００７０】
（２）ステップＰ４０２の判定で、取得した差分データがそのままではデータ加工処理することができない形式であった場合、そのデータ形式を確認し、そのデータが例えば、そのままデータ加工プロセスを実行することができないログデータであった場合、ＤＢＭＳのロジックを使いデータ加工処理を行うことができるレコード形式に再整形し、再整形したデータを、データクレンジング部（名寄せ）部３０６に差分情報として渡す（ステップＰ４０３）。
【００７１】
前述したステップＰ４０３の処理は、具体的には、各業務システムのそれぞれから提供される差分更新情報が、単位時間の差分更新情報である場合、その情報を複数のレコード単位で利用し、データベースのログ情報である場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータの場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセスで利用できる最適な状態へのデータ整形を行う処理である。
【００７２】
図５はデータクレンジング（名寄せ）部３０６での処理動作を説明するフローチャートであり、次に、これについて説明する。ここで説明する処理は、データクレンジング（名寄せ）部３０６が更新情報作成部３０４から渡されたデータのクレンジングを行い、クレンジングしたデータとマスタテーブルのデータとのマッチングを行いＩＤを付与する処理である。
【００７３】
（１）データクレンジング（名寄せ）部３０６は、更新情報作成部３０４から渡された差分情報を読み込み、差分情報のデータ要素の調査・分析を行い、調査・分析を行った結果により、データの要素毎の切出しを行い標準化する。例えば、図１０に示して説明し業務テーブルの例として示している業務システムＡの業務テーブル５５１の需要先５５４では、需要先情報を読み込んで分析し、“（株）”が株式会社を示す法人格であること、“ＡＢＣ”が会社名であることを意味付ける。その意味付けに従って、要素としての切出しで需要先５５４を法人格と名称との２つとしてそれぞれ切り出し、前（株）、後（株）、Ｃｏ等の情報の全てを“株式会社”として標準化する（ステップＰ５０１、Ｐ５０２）。
【００７４】
（２）次に、標準化されたデータに関してデータの補正の要否を判定し、例えば“霞ヶ関”、“霞が関”等の表記のゆらぎ、一部情報の欠落、住所等の誤りがあった場合、データ補正、例えば、国土地理院等の住所情報を利用して、住所情報を正規化する補正等を行って表記を統一する（ステップＰ５０３、Ｐ５０４）。
【００７５】
（３）ステップＰ５０４の処理の後、あるいは、ステップＰ５０３の判定でデータの補正が不要であった場合、データの意味付け、表記が統一されたデータについて、データベース１０６に保持されている前述で説明したマスタテーブル２０６の情報とマッチング処理を行い、各要素のマッチ度合により、グループ情報や、マッチング・スコアを付与する。マッチング・スコアとしては、例えば、情報要素の一致率を用い、最大１００の値が付与される（ステップＰ５０５）。
【００７６】
（４）データクレンジング（名寄せ）部３０６は、その後、付与したグループ情報や、マッチング・スコアとマッチングのための閾値とを比較し、マスタテーブル２０６に同一の情報があるか否かを判定する（ステップＰ５０６）。
【００７７】
（５）ステップＰ５０６の判定で、マスタテーブル２０６に閾値を超えるグループ情報や、マッチング・スコアとなるマスタデータが存在していた場合、マスタテーブル２０６に同一情報があると判断し、例えば、顧客ＩＤ５６１をデータクレンジングされた差分情報に付与して、ここでの処理を終了する（ステップＰ５０７）。
【００７８】
（６）ステップＰ５０６の判定で、閾値を超えるグループ情報や、マッチング・スコアとなるマスタデータが存在しなかった場合、新規のＩＤを採番し、データクレンジングされた差分情報に、今後の集計に利用する統一コードとして新規ＩＤを付与し、マスタテーブル２０６に新規ＩＤとその差分情報とを登録し、また、低い値のマッチング・スコアを付与して、ここでの処理を終了する（ステップＰ５０８〜Ｐ５１０）。
【００７９】
前述において、ステップＰ５０９の処理で新規にＩＤが付与された差分情報は、適宜データ加工プロセス実行部３０９に渡され、データ加工処理が行われる。
【００８０】
図６は適宜データ加工プロセス実行部３０９での処理動作を説明するフローチャートであり、次に、これについて説明する。ここで説明する処理は、適宜データ加工プロセス実行部３０９が適宜データ加工プロセスメタデータ２０８を使用して実行するデータの加工処理である。
【００８１】
（１）適宜データ加工プロセス実行部３０９は、差分情報がデータクレンジング（名寄せ）部３０６から渡されると、図９に示して説明したデータベース１０６に格納されている適宜データ加工プロセスメタデータ２０８の情報からデータ加工処理に必要となるプロセスメタデータの分割番号５１１のプロセスメタデータ番号が“１”の情報を読み出す（ステップＰ６０１）。
【００８２】
（２）次に、クレンジングされている差分情報に対して該当する適宜データ加工プロセスを実行し、図示しない中間テーブルを利用して集計し、その実行結果を適宜集計情報テーブル２０３に格納する（ステップＰ６０２）。
【００８３】
（３）適宜データ加工プロセス実行部３０９は、分割番号５１１のプロセスメタデータ番号“１”の適宜データ加工プロセスの実行が完了したとき、同一のプロセスメタデータ番号５０６で継続する分割番号５１１が存在するか否かを判断して継続処理か必要か否かを判定し、継続する適宜データ加工プロセスが存在する場合、情報を読み出すステップＰ６０１からの処理に戻って処理を繰返し、継続処理がなかった場合、ここでの処理を終了する（ステップＰ６０３）。
【００８４】
前述した本発明の実施形態での各処理は、プログラムにより構成し、本発明が備えるＣＰＵに実行させることができ、また、それらのプログラムは、ＦＤ、ＣＤＲＯＭ、ＤＶＤ等の記録媒体に格納して提供することができ、また、ネットワークを介してディジタル情報により提供することができる。
【００８５】
前述で説明したように、本発明の実施形態は、バッチ処理の対象となるデータが揃うタイミングを待つことなくデータ加工プロセスを実行することができるようにするため、既存のバッチ処理のデータ加工プロセスメタデータからデータ加工プロセスを取得し、データ加工プロセスを解読し、集約処理やソート処理等、一時的に全対象データを蓄積する必要がある処理を含むかどうかを判断し、
該当処理を含まないデータ加工プロセスメタデータについてはそのまま適宜データ加工プロセスメタデータとして再利用可能と判断し、適宜データ加工プロセスメタデータとして格納し、
該当処理を含むメタデータについては該当処理を行う単位で切り分けを行い、当該処理間のデータ加工処理を適宜データ加工プロセスメタデータとして格納すると同時に、適宜データ加工プロセスを実行した際に得られる中間データを、中間テーブルとしてプレ集計情報格納部に保存するため、中間テーブルを作成する定義情報（ＳＱＬ文）を生成すると共に中間テーブルを作成し、各適宜データ加工プロセスメタデータと中間テーブル定義の情報の関連を適宜データ加工プロセス実行部が処理できる形で格納するようにしている。
【００８６】
また、本発明の実施形態は、前述において、集計対象となるデータが揃うまで待つことなく、各業務システムでの更新情報を差分更新情報として受付けて更新データを生成し、データクレンジング部においてデータのクレンジングを行うと共に、コピーされたマスタ情報と突合せ（名寄せ）を行い、マスタデータに突合せできる情報がない新規情報については仮ＩＤを発行している。
【００８７】
また、本発明の実施形態は、仮ＩＤの付与された新規情報を含む全ての差分更新情報に対して、受付けた情報単位に、格納されている各適宜データ加工プロセスメタデータを使用して適宜データ加工処理を行っている。そして、適宜データ加工処理が行われた結果は、事前に作成された中間テーブルに適宜集計情報として、適宜反映されると共に、推移情報やランキング情報が退避格納される。また、格納された適宜集計情報や推移情報、ランキング情報は、情報公開部を介して、要求があった時点での最新の状態、推移、ランキングの情報として提供することができる。また、本発明によれば、ＩＴにより情報活用にむけた仕掛けを提供する上で、複数のデータソースからの情報の整合性、信頼性を高めることが可能となり企業の競合力向上に寄与する。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態によるデータ集計処理システムの構成を示すブロック図である。
【図２】従来技術によるデータ集計処理システムの構成を示すブロック図である。
【図３】適宜データ加工プロセスメタデータ生成部での処理動作を説明するフローチャートである。
【図４】更新情報作成部での処理動作を説明するフローチャートである。
【図５】データクレンジング（名寄せ）部での処理動作を説明するフローチャートである。
【図６】適宜データ加工プロセス実行部での処理動作を説明するフローチャートである。
【図７】図３に示すフローにより前述で説明したデータ加工プロセスの概念を説明する図である。
【図８】データベースに登録されているデータ加工プロセスメタデータの構成例を示す図である。
【図９】データベースに登録されている適宜データ加工プロセスメタデータの構成例を示す図である。
【図１０】各業務システムで生成される業務データを格納した業務テーブルの構成例を示す図である。
【図１１】データベースに格納されているマスタテーブルの構成例を示す図である。
【図１２】従来技術の場合におけるデータベースの集計情報テーブルの構成例を示す図である。
【図１３】データベースに格納されている適宜集計情報テーブルの構成例を示す図である。
【図１４】データベースに格納されている推移情報テーブルの構成例を示す図である。
【図１５】データベースに格納されているランキング情報テーブルの構成例を示す図である。
【図１６】各テーブルの内容を公開している画面の構成例を示す図である。
【符号の説明】
【００８９】
１０１  各業務システム
１０２  本部集計システム
１０３  通信インタフェース
１０４  プロセッサ
１０５  ディスクインターフェース
１０６  データベース
１０７  メモリ
２０１  業務テーブル
２０２  集計情報テーブル
２０３  適宜集計情報テーブル
２０４  推移情報テーブル
２０５  ランキング情報テーブル
２０６  マスタテーブル
２０７  データ加工プロセスメタデータ
２０８  適宜データ加工プロセスメタデータ
３０１  業務プログラム
３０２  差分読出部
３０４  更新情報作成部
３０６  データクレンジング（名寄せ）部
３０７  情報公開部
３０８  適宜データ加工プロセスメタデータ生成部
３０９  適宜データ加工プロセス実行部
３１０  データ加工プロセス実行部
３１１  推移情報管理部
３１２  ランキング情報管理部
３１３  適宜集計情報管理部
３１４  集計情報管理部
【図１】
2010122880.tif 000003
【図２】
2010122880.tif 000004
【図３】
2010122880.tif 000005
【図４】
2010122880.tif 000006
【図５】
2010122880.tif 000007
【図６】
2010122880.tif 000008
【図７】
2010122880.tif 000009
【図８】
2010122880.tif 000010
【図９】
2010122880.tif 000011
【図１０】
2010122880.tif 000012
【図１１】
2010122880.tif 000013
【図１２】
2010122880.tif 000014
【図１３】
2010122880.tif 000015
【図１４】
2010122880.tif 000016
【図１５】
2010122880.tif 000017
【図１６】
2010122880.tif 000018