(57)【要約】  多様な形式のデータを効率的に変換するデータ取得システム等を提供する。データ処理システムは、データ作成装置と、データ分類装置と、学習器とを備える。データ作成装置は、メタデータ構成手段と、特徴値算出手段と、データ生成手段とを備える。データ分類装置は、メタデータ解析手段と、データ変換手段と、データ登録手段とを備える。学習器は、データ作成装置が作成した教師データを学習することにより、データ分類装置が、データベースに登録されるデータを分類する場合に用いる推定モデルを生成する。
2019176824.tif 000002
【特許請求の範囲】
【請求項１】
データベースを構成する項目の各々に関して、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成するメタデータ構成手段と、
前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出する特徴値算出手段と、
前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する教師データ生成手段と、
を備えるデータ作成装置。
【請求項２】
前記特徴値算出手段は、前記レコードデータの特徴を示す統計量を前記特徴値として算出する、
請求項１に記載のデータ作成装置。
【請求項３】
前記メタデータは、前記項目のデータ型を含む、
請求項１又は２に記載のデータ作成装置。
【請求項４】
学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルを用いて推定された結果に基づいて、前記データに対応する前記データベースの項目を特定するメタデータ解析手段と、
特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換するデータ変換手段と、
変換された前記データを前記データベースの特定された前記項目へ登録するデータ登録手段と、
を備えるデータ分類装置。
【請求項５】
前記メタデータ解析手段は、前記データに対して推定モデルによって推定された拡張メタデータが対応する前記データベースの項目を解析することで、前記データに対応する前記データベースの項目を特定する、
請求項４に記載のデータ分類装置。
【請求項６】
請求項１から３のいずれか一項に記載のデータ作成装置と、
請求項４又は５に記載のデータ分類装置と、
前記教師データ生成手段により生成された前記教師データを学習することにより、前記データベースに登録される前記データを分類するための前記推定モデルを生成する前記学習器とを備え、
前記メタデータ解析手段は、前記学習器によって生成された前記推定モデルを用いて推定された結果に基づいて、前記データに対応する前記データベースの前記項目を特定する、
データ処理システム。
【請求項７】
データベースを構成する項目の各々について、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成し、
前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出し、
前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する
データ作成方法。
【請求項８】
学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、前記データに対応する前記データベースの項目を特定し、
特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換し、
変換された前記データを前記データベースの特定された前記項目へ登録する
データ分類方法。
【請求項９】
コンピュータに、
データベースを構成する項目の各々について、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する処理と、
前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出する処理と、
前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する処理と、
を実行させるプログラムを格納する記録媒体。
【請求項１０】
コンピュータに、
学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、前記データに対応する前記データベースの項目を特定する処理と、
特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換する処理と、
変換された前記データを前記データベースの特定された前記項目へ登録する処理と、
を実行させるプログラムを格納する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ作成装置、データ分類装置、データ取得システム、データ作成方法、データ分類方法及びプログラムに関する。
【背景技術】
【０００２】
ＩＣＴ（Information and Communication Technology）の発展に伴い、多種多様な大量の情報をリアルタイムに取得することが容易になっている。これらの情報を活用することによって、人間の勘や経験によって判断されていた作業において、取得したデータを根拠とした判断に基づく作業を行うことが可能になりつつある。そのため、データの取得に関する様々な技術が開発されている。【０００３】
特許文献１には、ヘテロ性を持つ入力データを変換し、計算機で自動処理しやすくすることができるデータ変換装置等が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／０２９１５８号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
取得した大量のデータの活用に際しては、データの多様性への対処が必要となる場合がある。例えば、取得した様々な形式のデータを、特定の形式のデータベースへ格納する必要が生じる場合がある。つまり、特許文献１等に記載の技術に対して、多様な形式のデータを効率的に変換するための技術が求められている。【０００６】
本発明は、上記課題を解決するためになされたものであって、多様な形式のデータを効率的に変換するデータ取得システム等を提供することを主たる目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様におけるデータ作成装置は、データベースを構成する項目の各々に関して、項目の特徴を示すメタデータ及び項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成するメタデータ構成手段と、データベースの項目の各々に対応するレコードデータを用いて、項目の各々に対応するレコードデータの特徴を表す特徴値を算出する特徴値算出手段と、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する教師データ生成手段と、を備える。【０００８】
また、本発明の一態様におけるデータ分類装置は、学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルを用いて推定された結果に基づいて、データに対応するデータベースの項目を特定するメタデータ解析手段と、特定された項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データのデータ形式を変換するデータ変換手段と、変換されたデータをデータベースの特定された項目へ登録するデータ登録手段と、を備える。【０００９】
また、本発明の一態様におけるデータ取得システムは、上述のデータ作成装置と、上述のデータ分類装置と、教師データ生成手段により生成された教師データを学習することにより、データベースに登録されるデータを分類するための推定モデルを生成する学習器とを備え、メタデータ解析手段は、学習器によって生成された推定モデルを用いて推定された結果に基づいて、データに対応するデータベースの項目を特定する。【００１０】
また、本発明の一態様におけるデータ作成方法は、データベースを構成する項目の各々について、項目の特徴を示すメタデータ及び項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成し、データベースの項目の各々に対応するレコードデータを用いて、項目の各々に対応するレコードデータの特徴を表す特徴値を算出し、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する。【００１１】
また、本発明の一態様におけるデータ分類方法は、学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、データに対応するデータベースの項目を特定し、特定された項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データの形式を変換し、変換されたデータをデータベースの特定された項目へ登録する。【００１２】
また、本発明の一態様におけるプログラムは、コンピュータに、データベースを構成する項目の各々について、項目の特徴を示すメタデータ及び項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する処理と、データベースの項目の各々に対応するレコードデータを用いて、項目の各々に対応するレコードデータの特徴を表す特徴値を算出する処理と、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する処理と、を実行させる。【００１３】
また、本発明の一態様におけるプログラムは、コンピュータに、学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、データに対応するデータベースの項目を特定する処理と、特定された項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データの形式を変換する処理と、変換されたデータをデータベースの特定された項目へ登録する処理と、を実行させる。
【発明の効果】
【００１４】
本発明によると、多様な形式のデータを効率的に変換するデータ取得システム等を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態におけるデータ作成装置を示す図である。
【図２】本発明の実施形態におけるデータ分類装置を示す図である。
【図３】本発明の実施形態におけるデータ処理システムを示す図である。
【図４】本発明の実施形態におけるデータ処理システムが対象とするデータベースに含まれるデータの例を示す図である。
【図５】本発明の実施形態におけるデータ作成装置において生成される教師データである拡張メタデータ及び特徴値の例を示す図である。
【図６】本発明の実施形態におけるデータ作成装置の一動作例を示すフローチャートである。
【図７】本発明の実施形態におけるデータ分類装置の一動作例を示すフローチャートである。
【図８】本発明の実施形態におけるデータ取得システム及び各装置等を実現する情報処理装置の例を示す図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態について、添付の図面を参照して説明する。本発明の実施形態において、各装置又はシステムの各構成要素は、機能単位のブロックを示している。各装置又はシステムの各構成要素の一部又は全部は、例えば図８に示すような情報処理装置１０００とプログラムとの任意の組み合わせにより実現される。情報処理装置１０００は、一例として、以下のような構成を含む。
【００１７】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３
・ＲＡＭ１００３にロードされるプログラム１００４
・プログラム１００４を格納する記憶装置１００５
・記録媒体１００６の読み書きを行うドライブ装置１００７
・通信ネットワーク１００９と接続する通信インターフェース１００８
・データの入出力を行う入出力インターフェース１０１０
・各構成要素を接続するバス１０１１
各実施形態における各装置又はシステムの各構成要素は、これらの機能を実現するプログラム１００４をＣＰＵ１００１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム１００４は、例えば、予め記憶装置１００５やＲＡＭ１００３に格納されており、必要に応じてＣＰＵ１００１が読み出す。なお、プログラム１００４は、通信ネットワーク１００９を介してＣＰＵ１００１に供給されてもよいし、予め記録媒体１００６に格納されており、ドライブ装置１００７が当該プログラムを読み出してＣＰＵ１００１に供給してもよい。
【００１８】
各装置の実現方法には、様々な変形例がある。例えば、各装置又はシステムは、構成要素毎にそれぞれ別個の情報処理装置１０００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置１０００とプログラムとの任意の組み合わせにより実現されてもよい。
【００１９】
また、各装置又はシステムの各構成要素の一部又は全部は、プロセッサ等を含む汎用または専用の回路（ｃｉｒｃｕｉｔｒｙ）や、これらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【００２０】
各装置又はシステムの各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００２１】
本発明の実施形態におけるシステム及び装置の各々について説明する。図１は、本発明の実施形態におけるデータ作成装置を示す図である。図２は、本発明の実施形態におけるデータ分類装置を示す図である。図３は、本発明の実施形態におけるデータ処理システムを示す図である。
【００２２】
図１に示すとおり、本発明の実施形態におけるデータ作成装置１００は、メタデータ構成部１１０と、特徴値算出部１２０と、教師データ生成部１３０とを備える。メタデータ構成部１１０は、データベースを構成する項目の各々に関して、各々の項目の特徴を示すメタデータ及び各々の項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する。特徴値算出部１２０は、データベースの項目の各々に対応するレコードデータを用いて、データベースの項目の各々に対応するレコードデータの特徴を表す特徴値を算出する。教師データ生成部１３０は、拡張メタデータ及び特徴値に基づいて、データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する。
【００２３】
また、図２に示すとおり、本発明の実施形態におけるデータ分類装置２００は、メタデータ解析部２１０と、データ変換部２２０と、データ登録部２３０とを備える。メタデータ解析部２１０は、データベースに登録されるデータを分類するための推定モデルを用いて推定された結果に基づいて、データベースに登録されるデータに対応するデータベースの項目を特定する。推定モデルは、学習器による学習によって生成される。データ変換部２２０は、特定されたデータベースの項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、データベースに登録されるデータの型であるデータ形式を変換する。データ登録部２３０は、変換されたデータを、データベースの特定された項目へ登録する。
【００２４】
また、図３に示すとおり、本発明の実施形態におけるデータ処理システム１０は、データ作成装置１００と、データ分類装置２００と、学習器１１とを備える。データ作成装置１００及びデータ分類装置２００は、それぞれ上述した装置と同じ装置である。学習器１１は、教師データ生成部１３０により生成された教師データを学習することにより、新規にデータベース２０に登録されるデータを分類するための推定モデルを生成する。また、データ処理システム１０において、データ分類装置２００のメタデータ解析部２１０は、学習器によって生成された推定モデルを用いて推定された結果に基づいて、登録されるデータに対応するデータベースの項目を特定する。
【００２５】
データ処理システム１０は、データベース２０に新たにデータを登録するために用いられるシステムである。
【００２６】
本実施形態において、データベース２０に新たに登録されるデータの形式や種類は、特に限定されない。そのため、データベース２０に新たにデータが格納される場合には、データの正規化や変換といった、データの形式の変換が必要となる場合がある。しかしながら、任意の様々な形式のデータを変換する場合には、人手による作業が必要となる等、変換のための作業が困難な場合があった。
【００２７】
そこで、データ処理システム１０は、データベース２０に登録されるデータのデータ形式を、データベース２０を構成する各項目に登録可能な形式に自動的に変換して登録する。データベース２０に登録されるデータのデータ形式に対応するデータベースの項目は、学習器１１において機械学習によって生成された推定モデルにより推定される。
【００２８】
また、データ処理システム１０を構成する要素のうち、データ作成装置１００は、学習器１１において学習に用いられる教師データを生成する。また、データ分類装置２００は、推定モデルによる推定結果に応じて、データベース２０に登録されるデータのデータ形式を、データベース２０の項目に応じた形式に変換する。
【００２９】
なお、図３に示す例では、データ処理システム１０は、データベース２０と別個のシステムとして記載されているが、データ処理システム１０は、データベース２０と一体のシステムとして用いられてもよい。
【００３０】
続いて、データ作成装置１００及びデータ分類装置２００の各々における構成要素について説明する。まずは、データ作成装置１００の各要素について説明する。
【００３１】
メタデータ構成部１１０は、データベース２０を構成する項目の各々に関して、拡張メタデータを構成する。拡張メタデータは、データベース２０の項目の各々についてのメタデータ及び変換関数を含む。メタデータは、データベース２０の項目の各々についての特徴を示すデータである。変換関数は、任意のデータを、データベース２０の項目の各々のデータ形式へ変換する場合における変換手順を示す関数である。変換関数は、図３に示す変換関数３０のように、データベース２０に応じて予め用意される。
【００３２】
すなわち、メタデータ構成部１１０によって構成される拡張メタデータは、任意の形式である新規のデータがデータベース２０に格納される際に、当該データが該当しうるデータベース２０の項目を判断するために用いられるデータである。
【００３３】
図４及び図５の例を用いて、メタデータ構成部１１０によって構成される拡張メタデータと、拡張メタデータに含まれるメタデータ及び変換関数について説明する。
【００３４】
図４は、データベース２０の一例を示す図である。データベース２０の列の各々は、データベースの項目を表す。図４に示す例では、データベース２０には、“ｉｄ”、“ｐｒｉｃｅ”、“ｗｅｉｇｈｔ”、“ｒａｎｋ”、“ａｒｅａ”の５つの項目が含まれる。この例では、５つの項目は、それぞれ、データの識別番号、価格、値の重み、ランク及び場所を表す項目である。なお、データベース２０の項目はこれには限られず、データベース２０に格納されるデータに応じて適宜定められればよい。
【００３５】
また、データベース２０の行の各々は、データベースの各項目に対する具体的なデータであるレコードデータを表す。すなわち、図４では、データベース２０に４つのレコードデータが含まれる例が示されている。
【００３６】
図５は、図４に示すデータベース２０に対して、データ作成装置１００が生成する教師データの例を示す。図５に示す教師データのうち、メタデータ構成部１１０は、「拡張メタデータ」の欄に示す内容を構成する。
【００３７】
メタデータは、データベース２０の項目の各々についての特徴を示すデータである。メタデータは、データベース２０の項目の各々に関連し、項目の各々についての特徴を示すデータであればよく、その種類は特に限定されない。図５に示す例では、データベース２０の項目の各々に対して、メタデータとして、項目名及びデータ型が示されている。データ型には、数値型及び文字型の２つの型が示されている。メタデータ構成部１１０は、例えば、データベース２０の図示しないデータディクショナリに格納された、データベース２０の項目に関する任意の種類のデータを、メタデータとして抽出する。
【００３８】
変換関数は、任意のデータを、データベース２０の項目の各々に対応するレコードデータの形式へ変換する関数である。変換関数は、データ形式の変換に利用可能であれば種類は限られず、任意の関数やその逆関数が変換関数として適宜用いられる。また、変換関数には、データの形式を変更しないことも含まれる。図５に示す例では、データベース２０の項目の各々に対して、変換関数として、無変換、標準化、正規化、文字列の階級化、文字列の２値化の変換関数が示されている。
【００３９】
変換関数は予め、任意の記憶手段等に格納される。メタデータ構成部１１０は、当該記憶手段を適宜参照して、データベース２０の項目の各々に対応する変換関数を取得する。
【００４０】
メタデータ構成部１１０は、データベース２０のデータディクショナリから抽出したメタデータと、取得した変換関数とを組み合わせて、データベース２０の一つの項目に対する拡張メタデータを構成する。そして、メタデータ構成部１１０は、データベース２０の全ての項目に対して、同様に拡張メタデータを構成する。
【００４１】
特徴値算出部１２０は、データベース２０の項目の各々のレコードデータの特徴を表す特徴値を算出する。特徴値は、データベース２０の項目の各々に対するレコードデータを用いて算出される。特徴値算出部１２０は、図５に示す教師データのうち、「特徴値」の欄に示す内容を構成する。
【００４２】
特徴値は、データベース２０の項目の各々のレコードデータの特徴を表す値である。特徴値には、例えば、レコードデータの平均、分散、歪度、レコードデータに含まれる各値の出現頻度といった、各々のレコードデータの特徴を要約して特徴を表す統計量が含まれる。ただし、特徴値は上述した例に限られず、データベース２０の項目の各々のレコードデータの特徴を表す任意の種類の値が、特徴値として用いられる。
【００４３】
教師データ生成部１３０は、メタデータ構成部１１０によって構成された拡張メタデータ及び特徴値算出部１２０によって算出された特徴値に基づいて、教師データを生成する。教師データ生成部１３０によって生成される教師データは、学習器１１に対する教師データである。上述した図５に示す教師データは、教師データ生成部１３０によって生成される教師データの一例である。
【００４４】
上述のように、学習器１１は、教師データ生成部１３０により生成された教師データを学習することにより、新規にデータベース２０に登録されるデータを分類するための推定モデルを生成する。すなわち、学習器１１においては、拡張メタデータに含まれるデータベース２０の項目毎の特徴や、特徴値によって表される、データベース２０の項目毎のレコードデータに関しても学習が行われる。
【００４５】
学習器１１においては、拡張メタデータ及び特徴値の内容やその他のデータベース２０に関する条件に応じて、公知の学習の手法が適宜用いられる。学習器１１は、教師データ生成部１３０により生成された教師データを取得して学習を行い、学習済の推定モデルを生成する。
【００４６】
また、学習済の推定モデルは、データベース２０に登録されるデータに対応する拡張メタデータや変換関数の候補を推定する。例えば、学習済の推定モデルは、データベース２０に登録されるデータに最もよく対応する拡張メタデータ又は変換関数を推定する。又は、学習済の推定モデルは、データベース２０に登録されるデータに対応する可能性がある、一つ以上の拡張メタデータや変換関数の候補を推定してもよい。データベース２０に登録されるデータに対応する拡張メタデータや変換関数の候補が推定されることで、当該データが格納されるべきデータベース２０の項目の特定が可能となる。
【００４７】
次に、データ分類装置２００の各要素について説明する。
【００４８】
メタデータ解析部２１０は、推定モデルを用いて推定された結果に基づいて、データベース２０に登録されるデータに対応するデータベース２０の項目を特定する。推定モデルは、学習器１１による学習によって生成された、新規にデータベース２０に登録されるデータを分類するための学習済モデルである。メタデータ解析部２１０は、一動作例として、学習器１１の推定モデルに当該データを入力して推定結果を取得し、取得した推定結果に基づいて、当該データに対応するデータベース２０の項目を特定する。
【００４９】
上述のように、データベース２０に新たに格納されるデータのデータ形式や種類は特に限定されない。また、データの形式や種類と同様に、データベース２０に新たに格納されるデータの入手方法は特に限定されず、任意の方法で得られたデータが、データベース２０に新たに格納され得る。
【００５０】
メタデータ解析部２１０は、例えば、データベース２０に登録されるデータに対して推定モデルによって推定された拡張メタデータが対応するデータベース２０の項目を解析し、当該データに対応するデータベース２０の項目を特定する。
【００５１】
この場合の解析には、例えば、推定された拡張メタデータに含まれるメタデータによって規定されるデータ型とデータベース２０に登録されるデータのデータ型が合致するかの解析が含まれる。また、この場合の解析には、推定された拡張メタデータに含まれる変換関数によって、データベース２０に登録されるデータのデータ形式を、当該メタデータによって規定されるデータ型へ変換可能であるかの解析が含まれてもよい。
【００５２】
また、学習器１１によって生成された推定モデルが、データベース２０に登録されるデータの値と合致する特徴値を推定した場合が想定される。この場合には、メタデータ解析部２１０は、当該データの値が、特徴値の範囲と矛盾しないことを解析して、当該のデータに対応するデータベース２０の項目を特定してもよい。このような解析は、上述した解析と併せて行われてもよいし、上述した解析とは別に行われてもよい。
【００５３】
更に、推定モデルによって、データベース２０に登録されるデータに対して複数の拡張メタデータが推定されている場合が想定される。この場合には、メタデータ解析部２１０は、例えば上記のいずれかの方法を用いて、当該データに対して最も適した拡張メタデータに対応する項目を、当該データに対応するデータベース２０の項目として特定してもよい。
【００５４】
データ変換部２２０は、変換関数を用いて、データベース２０に登録されるデータのデータ形式を変換する。この場合に用いられる変換関数は、メタデータ解析部２１０によって特定されたデータベース２０の項目についての変換関数である。すなわち、データ変換部２２０によって、データベース２０に登録されるデータのデータ形式が、データベース２０の対応する項目のデータ形式となるように変換される。
【００５５】
データ登録部２３０は、データ変換部２２０によってデータベース２０の各項目のデータ形式に変換された、データベース２０に登録されるデータを、データベース２０へ格納する。
【００５６】
なお、データ作成装置１００の特徴値算出部１２０は、データ登録部２３０によってデータベース２０へ格納される新規のデータを取得し、特徴値を再計算してもよい。そして、データ作成装置１００の教師データ生成部１３０は、新たな教師データを生成してもよい。更に、学習器１１は、新たに生成された教師データを学習してもよい。
【００５７】
このようにすることで、学習器１１によって生成される推定モデルを用いて行われる、データベース２０に登録されるデータに対するデータベース２０の項目の推定精度が向上する。そして、推定モデルによる推定の精度が向上することによって、データ分類装置２００によって行われる、データベース２０に登録されるデータについてのデータベース２０の項目の各々に対する分類の精度が同様に向上する。
【００５８】
続いて、図６及び図７に示すフローチャートを用いて、本実施形態におけるデータ作成装置１００及びデータ分類装置２００の動作の一例を説明する。
【００５９】
まず、図６に示すフローチャートを用いて、本実施形態におけるデータ作成装置１００の動作を説明する。
【００６０】
最初に、メタデータ構成部１１０及び特徴値算出部１２０は、データが新たに格納される対象となるデータベース２０を読み込む（ステップＳ１０１）。この場合に、メタデータ構成部１１０は、変換関数３０やその他の教師データの作成に必要となる情報を読み込む。
【００６１】
次に、メタデータ構成部１１０及び特徴値算出部１２０は、ステップＳ１０１において読み込まれたデータベース２０を構成する項目の一つを選択する（ステップＳ１０２）。
【００６２】
次に、メタデータ構成部１１０は、データベース２０の図示しないデータディクショナリ等から、ステップＳ１０２で選択されたデータベース２０の項目に関するメタデータを抽出する（ステップＳ１０３）。そして、メタデータ構成部１１０は、抽出したメタデータと変換関数とを組み合わせて、拡張メタデータを構成する（ステップＳ１０４）。
【００６３】
また、ステップＳ１０３及びステップＳ１０４の処理と並行して、特徴値算出部１２０は、ステップＳ１０２で選択されたデータベース２０の項目のレコードデータを抽出する（ステップＳ１０５）。そして、特徴値算出部１２０は、ステップＳ１０５において抽出したレコードデータに関する特徴値を算出する（ステップＳ１０６）。
【００６４】
なお、図６に示すフローチャートでは、ステップＳ１０３及びＳ１０４の処理と、ステップＳ１０５及びステップＳ１０６の処理とが並行に行われることが示されている。ただし、ステップＳ１０３及びＳ１０４の処理と、ステップＳ１０５及びステップＳ１０６の処理との順番は、この例に限られず、逐次的に実行されてもよい。
【００６５】
ステップＳ１０４及びステップＳ１０６の処理が行われると、教師データ生成部１３０は、ステップＳ１０２において選択されたデータベース２０の項目に対する教師データを生成する（ステップＳ１０７）。
【００６６】
ステップＳ１０７において教師データが作成されると、メタデータ構成部１１０及び特徴値算出部１２０は、データベース２０の全ての項目に対して教師データを作成したか否かを判断する（ステップＳ１０８）。
【００６７】
全ての項目に対して教師データが作成されていると判断された場合（ステップＳ１０８：Ｙｅｓ）には、教師データ生成部１３０は、例えば教師データを学習器１１へ送信する（ステップＳ１０９）。学習器１１に教師データが送信されると、学習器１１は、送信された教師データの学習を行い、上述した推定モデルを生成する。なお、ステップＳ１０９においては、教師データ生成部１３０は、学習器１１に教師データを直接送信せず、学習器１１が参照可能な記憶手段等に教師データを格納してもよい。
【００６８】
全ての項目に対する教師データの作成が終了していないと判断された場合（ステップＳ１０８：Ｎｏ）には、ステップＳ１０２に戻り、ステップＳ１０２以降の処理が繰り返し行われる。すなわち、メタデータ構成部１１０及び特徴値算出部１２０は、データベース２０を構成する項目のうち、未選択の項目の一つを選択して、以降の処理を実行する。
【００６９】
次に、図７に示すフローチャートを用いて、本実施形態におけるデータ分類装置２００の動作を説明する。
【００７０】
最初に、メタデータ解析部２１０は、新たにデータベース２０へ登録されるデータを取得する（ステップＳ２０１）。
【００７１】
続いて、メタデータ解析部２１０は、ステップＳ２０１にて取得したデータを、学習器１１の推定モデルに入力する。学習器１１の推定モデルは、一例として入力されたデータに対する拡張メタデータを推定する（ステップＳ２０２）。推定モデルは、入力されたデータに対する変換関数やその他の情報を推定してもよい。
【００７２】
次に、メタデータ解析部２１０は、ステップＳ２０２において学習器１１の推定モデルを用いて推定された結果に基づいて、新規のデータに対応するデータベース２０の項目を特定する（ステップＳ２０３）。
【００７３】
次に、データ変換部２２０は、ステップＳ２０３において特定されたデータベース２０の項目についての変換関数を用いて、データベース２０へ登録されるデータのデータ形式を変換する（ステップＳ２０４）。
【００７４】
そして、データ登録部２３０は、ステップＳ２０５においてデータ形式が変換されたデータを、データベース２０へ格納する（ステップＳ２０５）。
【００７５】
以上のとおり、本実施形態におけるデータ処理システム１０では、データ作成装置１００が、データベース２０を構成する各々についての拡張メタデータ及び特徴値を用いて、データベース２０に登録される新規のデータを分類するための推定モデルを生成する学習器１１に対する教師データを作成する。そして、データ分類装置２００が、データ作成装置１００によって生成された教師データを用いた学習によって得られた推定モデルを用いて、任意の種類のデータに対応するデータベース２０の項目を特定する。
【００７６】
すなわち、本実施形態におけるデータ処理システム１０では、データ作成装置１００が、データベース２０のメタデータやレコードデータ、変換関数等を用いて教師データを作成することで、適切な推定が可能なモデルの生成が可能となる。また、データ分類装置２００が、データ作成装置１００によって作成された教師データを用いて生成された学習済モデルを用いることで、新たなデータをデータベース２０の適切な項目へ格納することが可能となる。
【００７７】
したがって、本実施形態におけるデータ処理システム１０は、多様な形式のデータを効率的に変換することを可能にする。
【００７８】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
【００７９】
この出願は２０１８年３月１４日に出願された日本出願特願２０１８−０４６１３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８０】
１０    データ処理システム
１１    学習器
２０    データベース
３０    変換関数
１００    データ作成装置
１１０    メタデータ構成部
１２０    特徴値算出部
１３０    教師データ生成部
２００    データ分類装置
２１０    メタデータ解析部
２２０    データ変換部
２３０    データ登録部
【図１】
2019176824.tif 000003
【図２】
2019176824.tif 000004
【図３】
2019176824.tif 000005
【図４】
2019176824.tif 000006
【図５】
2019176824.tif 000007
【図６】
2019176824.tif 000008
【図７】
2019176824.tif 000009
【図８】
2019176824.tif 000010
【手続補正書】
【提出日】令和2年8月13日(2020.8.13)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
コンピュータに、
データベースを構成する項目の各々について、前記項目の特徴を示すメタデータ及び前記項目のデータ形式への変換手順を示す変換関数を含む拡張メタデータを構成する処理と、
前記データベースの前記項目の各々に対応するレコードデータを用いて、前記項目の各々に対応する前記レコードデータの特徴を表す特徴値を算出する処理と、
前記拡張メタデータ及び前記特徴値に基づいて、前記データベースに登録されるデータを分類するための推定モデルを生成する学習器に対する教師データを生成する処理と、
を実行させるプログラム。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】
コンピュータに、
学習器による学習によって生成された、データベースに登録されるデータを分類するための推定モデルによって推定された結果に基づいて、前記データに対応する前記データベースの項目を特定する処理と、
特定された前記項目の特徴を表す拡張メタデータに含まれる変換関数を用いて、前記データのデータ形式を変換する処理と、
変換された前記データを前記データベースの特定された前記項目へ登録する処理と、
を実行させるプログラム。
【国際調査報告】
2019176824.tif 000011
2019176824.tif 000012
2019176824.tif 000013