(57)【要約】【課題】データ分析の前処理で効率的なデータ加工を行い得るように適切なデータ加工手法を推奨する。【解決手段】データ加工方法レコメンドシステム１Ｓは、主記憶装置３と、尺度判定部２０１、集計値情報量判定部２０２、及び分離判定部２０３を含む判定部と、データ加工法抽出部を含むデータ加工リスト参照部２０４とを有する。主記憶装置３は、カラムの分類にカラムのデータ加工方法が対応付けられたデータ加工対応表１３を記憶する。判定部は、分析対象であるリレーショナルデータベース形式の入力テーブル１１を入力とし、入力テーブル１１中の各列である各カラムに対し、各カラムが表現するデータの尺度及びデータの加工性に基づいて各カラムの分類を判定する。データ加工リスト参照部２０４は、データ加工対応表１３を参照し、判定部によって判定された各カラムの分類に対応するデータ加工方法を抽出する。【選択図】図１
2020166443.tif 000002
【特許請求の範囲】
【請求項１】
カラムの分類にカラムのデータ加工方法が対応付けられたデータ加工対応表を記憶する記憶部と、
分析対象であるリレーショナルデータベース形式のテーブルを入力とし、前記テーブル中の各列である各カラムに対し、各カラムが表現するデータの尺度及びデータの加工性に基づいて各カラムの分類を判定する判定部と、
前記データ加工対応表を参照し、前記判定部によって判定された各カラムの分類に対応するデータ加工方法を抽出するデータ加工法抽出部と
を有することを特徴とするデータ加工方法レコメンドシステム。
【請求項２】
前記判定部は、
前記テーブル中の各カラムの集計値が情報を持つか否かを判定する集計値情報量判定部
を含んだことを特徴とする請求項１に記載のデータ加工方法レコメンドシステム。
【請求項３】
前記判定部は、
前記集計値情報量判定部によって集計値が情報を持たないカラムであると判定された分離前のカラムを分離することで、該分離前のカラムより小さい情報量のカラムの組み合わせで該分離前のカラムが表現できるか否かを判定する分離判定部
をさらに含んだことを特徴とする請求項２に記載のデータ加工方法レコメンドシステム。
【請求項４】
前記集計値情報量判定部は、
前記テーブル中の数値情報を表す各カラムの集計値の分布が、一様性を有する場合に、該集計値が情報を持たないカラムであると判定し、一様性を有さない場合に、該集計値が情報を持つカラムであると判定する一様性判定部
を含んだことを特徴とする請求項２に記載のデータ加工方法レコメンドシステム。
【請求項５】
前記集計値情報量判定部は、
前記テーブル中の文字列情報を表す各カラムの集計値の情報量が、該情報量の上限値と所定範囲内で類似する場合に、該集計値が情報を持たないカラムであると判定し、該情報量の上限値と所定範囲内で類似しない場合に、該集計値が情報を持つカラムであると判定する類似性判定部
を含んだことを特徴とする請求項２に記載のデータ加工方法レコメンドシステム。
【請求項６】
前記データ加工法抽出部によって抽出された各カラムの分類に対応するデータ加工方法の情報を出力装置を介してユーザに提示する出力制御部
を有することを特徴とする請求項１に記載のデータ加工方法レコメンドシステム。
【請求項７】
前記データ加工法抽出部によって抽出された各カラムの分類に対応するデータ加工方法を実行し、該データ加工方法を施したカラムで、該データ加工方法を実行前のカラムを置き換えるデータ加工部
をさらに有することを特徴とする請求項１に記載のデータ加工方法レコメンドシステム。
【請求項８】
前記データ加工法抽出部によって抽出された各カラムの分類に対応するデータ加工方法をユーザに提示し、該データ加工方法の実行の指示を受け付けるユーザ確認部をさらに有し、
前記データ加工部は、
前記ユーザ確認部を介して受け付けた前記ユーザからの指示に基づいて前記データ加工方法を実行する
ことを特徴とする請求項７に記載のデータ加工方法レコメンドシステム。
【請求項９】
データ加工方法レコメンドシステムが実行するデータ加工方法レコメンド方法であって、
前記データ加工方法レコメンドシステムは、
カラムの分類にカラムのデータ加工方法を対応付けられたデータ加工対応表を記憶する記憶部を有し、
前記データ加工方法レコメンドシステムが
分析対象であるリレーショナルデータベース形式のテーブルを入力とし、前記テーブル中の各列である各カラムに対し、各カラムが表現するデータの尺度及びデータの加工性に基づいて各カラムの分類を判定し、
前記データ加工対応表を参照し、前記判定した各カラムの分類に対応するデータ加工方法を抽出する
各処理を含んだことを特徴とするデータ加工方法レコメンド方法。
【請求項１０】
請求項１〜８いずれか１項に記載のデータ加工方法レコメンドシステムとしてコンピュータを機能させるためのデータ加工方法レコメンドプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、データ加工方法レコメンドシステム、データ加工方法レコメンド方法、及びデータ加工方法レコメンドプログラムに関する。
【背景技術】
【０００２】
近年、あらゆる業務で多様なデータの収集が可能となり、膨大なデータが蓄積されるようになったことで、予測モデル生成や要因抽出分析などのデータ分析を補助し、自動化するニーズが高まっている。データ分析の前処理にあたるデータ加工は、分析の大部分を占める作業であり、分析者の手作業が発生するためコストを要する。
【０００３】
従来では、データ加工において、ドメイン知識を用いた人手による特徴量生成や、様々な加工方法を特徴量として事前定義し、考えられる加工方法と組み合わせを適用して膨大な特徴量を作り、変数選択及び次元圧縮を行って分析に用いてきた。この従来の方法では、計算時間やメモリ使用量が増大し、多くの不要な変数を生成するため、後段で予測や要因抽出を行う際、高度な特徴選択や次元削減手法が必要となる。そのため、事前に対象データの意味を考え、各データに適した加工を選択する仕組みが求められている。
【０００４】
そこで、例えば特許文献１には、目的変数に対する影響が大きい説明変数を自動で探し出し、機械学習を用いてモデリングして表示し、説明変数を選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１１７５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の従来技術では、説明変数を特徴量生成などによって加工するという概念がないないため、入力された説明変数の範囲で変数選択するにとどまる。このため、上述の従来技術でも、計算時間やメモリ使用量が増大し、多くの不要な変数を生成するため、後段で予測や要因抽出を行う際、高度な特徴選択や次元削減手法が必要となる。すなわち、上述の従来技術では、データ分析の前処理で効率的なデータ加工を行えないという問題がある。
【０００７】
本発明は、上述の課題を考慮してなされたものであり、データ分析の前処理で効率的なデータ加工を行い得るように適切なデータ加工手法を推奨できるデータ加工方法レコメンドシステム、データ加工方法レコメンド方法、及びデータ加工方法レコメンドプログラムを提供することを１つの目的とする。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明においては、データ加工方法レコメンドシステムは、カラムの分類にカラムのデータ加工方法が対応付けられたデータ加工対応表を記憶する記憶部と、分析対象であるリレーショナルデータベース形式のテーブルを入力とし、前記テーブル中の各列である各カラムに対し、各カラムが表現するデータの尺度及びデータの加工性に基づいて各カラムの分類を判定する判定部と、前記データ加工対応表を参照し、前記判定部によって判定された各カラムの分類に対応するデータ加工方法を抽出するデータ加工法抽出部とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、例えば、データ分析の前処理で効率的なデータ加工を行い得るように適切なデータ加工手法を推奨できる。
【図面の簡単な説明】
【００１０】
【図１】データ加工レコメンドシステム１Ｓの構成例を示す図。
【図２】データ加工レコメンド部７の詳細構成例を示す図。
【図３】集計値情報量判定部２０２の処理例を示すフロー図。
【図４】分離判定部２０３の処理例を示すフロー図。
【図５】データ加工リスト参照部２０４の処理例を示すフロー図。
【図６】データ加工部８の詳細構成例を示す図。
【図７】分離候補提示ユーザ確認処理の例を示すフロー図。
【図８】入力テーブル１１の構成の具体例を示す図。
【図９】ユーザ入力情報１２の具体例を示す図。
【図１０】データ加工対応表１３の具体例を示す図。
【図１１】データ加工レコメンド情報１４の具体例を示す図。
【図１２】カラムの分類であるエンティティの具体例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面に基づき、本発明の実施例を詳述する。本明細書において、各図面の同一参照番号は、同一あるいは類似の構成または処理を示し、後出では既出との差分のみを説明し、または、後出の説明が省略される場合がある。
【実施例】
【００１２】
＜データ加工レコメンドシステムの構成＞
図１は、データ加工レコメンドシステム１Ｓの構成例を示す図である。実施例のデータ加工レコメンドシステム１Ｓは、中央処理演算装置１、二次記憶装置２、主記憶装置３、入力装置４、及び出力装置５を有する。データ加工レコメンドシステム１Ｓは、中央処理演算装置１と主記憶装置３が協働してプログラムが実行されることにより、データ加工レコメンド機能が実現されるコンピュータである。中央処理演算装置１、二次記憶装置２、主記憶装置３、入力装置４、及び出力装置５は、バス６を介して接続されている。
【００１３】
中央処理演算装置１は、二次記憶装置２や主記憶装置３に格納されたプログラムを実行するプロセッサ等である。二次記憶装置２は、例えば磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、中央処理演算装置１のプログラム実行によって実現されるデータ加工レコメンド部７及びデータ加工部８を格納する。
【００１４】
主記憶装置３は、例えばＤＲＡＭ（Dynamic  Random  Access  Memory）のような高速かつ揮発性の記憶装置であり、オペレーティングシステム（ＯＳ）及びアプリケーションプログラムを格納する。中央処理演算装置１が、主記憶装置３と協働し、オペレーティングシステムを実行することによってコンピュータの基本機能が実現され、所定のプログラムを実行することによって、コンピュータがデータ加工レコメンドシステム１Ｓの機能が実現される。
【００１５】
具体的には、主記憶装置３は、入力テーブル１１、ユーザ入力情報１２、データ加工対応表１３、及びデータ加工レコメンド情報１４を格納する。入力テーブル１１は、リレーショナルデータベース形式のテーブルであるが、図８を参照して具体例を後述する。ユーザ入力情報１２については、図９を参照して具体例を後述する。データ加工対応表１３については、図１０を参照して具体例を後述する。データ加工レコメンド情報１４については、図１１を参照して具体例を後述する。
【００１６】
また、主記憶装置３は、データ加工レコメンド部７及びデータ加工部８による処理実行の際に生成される中間データを格納する。
【００１７】
入力装置４は、キーボードやマウス等のユーザインターフェースである。出力装置５は、ディスプレイ装置やプリンタ等のユーザインターフェースである。
【００１８】
なお、データ加工レコメンドシステム１Ｓは、ネットワークに接続し、他の装置との通信を制御する通信インターフェースを有してもよい。この場合、データ加工レコメンドシステム１Ｓが通信インターフェースを介して端末と接続されており、この端末が入力装置４及び出力装置５を有し、端末からの要求に従って入力テーブル１１に対して処理を行い、処理結果であるデータ加工レコメンド情報１４を端末に出力する。また、データ加工レコメンドシステム１Ｓは、１つの物理的な計算機上に構築されても、１又は複数の物理的な計算機上に構成された論理区画上に構築されてもよい。
【００１９】
また、所定の記憶媒体に記憶された形態で頒布されたデータ加工レコメンドシステム１Ｓを実現するための所定のプログラムが、媒体読み取り装置（不図示）を介して所定の記憶媒体から読み出されて実行されてもよい。あるいは、データ加工レコメンドシステム１Ｓを実現するための所定のプログラムは、ネットワークインターフェース（不図示）を介した通信により外部のコンピュータから取得されてもよい。
【００２０】
なお、データ加工レコメンドシステム１Ｓとして機能するコンピュータは、一部の物理構成、例えば二次記憶装置２や媒体読み取り装置がネットワークを介して接続されたものであってもよい。また、当該コンピュータは、複数の中央処理演算装置１を有し、これら複数の中央処理演算装置１が負荷分散を行いながら処理を実行するものであってもよい。また、データ加工レコメンドシステム１Ｓが、複数のコンピュータを含み、これら複数のコンピュータが負荷分散を行いながら処理を実行するものであってもよい。
【００２１】
＜データ加工レコメンド部の詳細＞
次に、データ加工レコメンド部７について詳細を説明する。図２は、データ加工レコメンド部７の詳細構成例を示す図である。データ加工レコメンド部７で実行されるデータ加工レコメンド処理は、分析者の指示を契機として実行される。
【００２２】
データ加工レコメンド部７は、図２に示すように、入力テーブル１１、ユーザ入力情報１２、及びデータ加工対応表１３を入力とし、データ加工レコメンド情報１４を出力する。分析者は、データ加工レコメンド情報１４を用いることで、分析対象データをモデリングする前処理として行うデータ加工処理である特徴量生成について、レコメンドを受けることができる。
【００２３】
データ加工レコメンド部７は、図２に示すように、尺度判定部２０１、集計値情報量判定部２０２、分離判定部２０３、及びデータ加工リスト参照部２０４を有する。
【００２４】
尺度判定部２０１は、入力テーブル１１中の各列であるカラムそれぞれに対し、カラムが表現するデータの尺度を判定する。尺度とは、演算適用可能性の観点で定められたデータの分類であり、比例尺度、間隔尺度、順序尺度、及び名義尺度の４つの分類がある。これらの分類では、加算演算が可能であるか、大小関係の比較演算が可能であるかといった、演算適用可能性の観点でデータを分類するものである。ただし、尺度判定部２０１は、データを演算適用可能性の観点で分類する機能であるが、上記で説明した４つの尺度以外の尺度に関する分類も存在する。本実施例に対しては、上記で説明した４つの尺度以外の分類方法も適用可能である。
【００２５】
集計値情報量判定部２０２は、各カラムに対し、カラムが持ちうる最大の情報量とカラムの情報量を計算する。分離判定部２０３は、カラム中の値を部分に分割して複数のカラムを生成することができるか否かを判定する。データ加工リスト参照部２０４は、データを尺度の観点とデータ加工の観点により分類したクラスと、各データ加工方法との対応表であるデータ加工対応表１３を基に、データ加工対応表１３からデータ加工方法を抽出する。出力制御部２０５は、データ加工リスト参照部２０４の処理の結果として、各カラムに対して行うデータ加工のレコメンド情報であるデータ加工レコメンド情報１４を、出力装置５を介して出力する。
【００２６】
＜集計値情報量判定部の処理＞
次に、データ加工レコメンド部７の集計値情報量判定部２０２の処理について詳細を説明する。図３は、集計値情報量判定部２０２の処理例を示すフロー図である。集計値情報量判定部２０２は、入力テーブル１１の各カラムに対し、カラムが持ちうる最大の情報量と、カラムの情報量を計算する。
【００２７】
先ず、図３のステップＳ３０１では、集計値情報量判定部２０２は、入力テーブル１１とユーザ入力情報１２の入力を受付け、入力テーブル１１の各カラムについて数値カラムであるか否かを判定する。数値カラムであるか否かを判定することで、カラム中のデータが数値であるか文字列であるかが判別される。集計値情報量判定部２０２は、入力テーブル１１のカラムが数値カラムである場合（ステップＳ３０１Ｙｅｓ）、ステップＳ３０２へ処理を移す。一方、集計値情報量判定部２０２は、入力テーブル１１のカラムが文字列カラムである場合（ステップＳ３０１Ｎｏ）、ステップＳ３０３へ処理を移す。
【００２８】
ステップＳ３０２では、集計値情報量判定部２０２は、数値カラム中のデータの分布を計算し、一様分布であるか否かを判定する。数値カラム中のデータが一様分布である場合には、そのカラムは、データの偏りがないため、データの集計値（統計量）が情報を持たないカラムである。一方、数値カラム中のデータが一様分布でない場合には、そのカラムは、データの偏りがあるため、データの集計値（統計量）が情報を持つカラムである。
【００２９】
一方、ステップＳ３０３では、集計値情報量判定部２０２は、（ａ）カラムの情報量と、（ｂ）カラムの情報量上限値を計算する。ステップＳ３０３に続いてステップＳ３０４では、集計値情報量判定部２０２は、カラムが持つ情報量とカラムが持ちうる最大の情報量を比較することで、前述の（ａ）と（ｂ）の類似性を判定する。前述の（ａ）と（ｂ）が所定範囲内での類似性がある場合には、そのカラムは、データの偏りがないため、データの集計値（統計量）が情報を持たないカラムである。一方、前述の（ａ）と（ｂ）が所定範囲内での類似性がない場合には、そのカラムは、データの偏りがあり、データの集計値（統計量）が情報を持つカラムである。所定範囲内で類似するとは、例えば、比較する値の差が所定範囲内であることをいう。
【００３０】
なお、ステップＳ３０２は、集計値情報量判定部２０２の一様性判定部によって実行されてもよい。また、ステップＳ３０３は、集計値情報量判定部２０２の情報量上限値計算部によって実行されてもよい。また、ステップＳ３０４は、集計値情報量判定部２０２の類似性判定部によって実行されてもよい。
【００３１】
集計値情報量判定部２０２は、ステップＳ３０２又はステップＳ３０４の判定結果を、カラムの集計値情報量計算結果３０６として出力する。集計値情報量判定部２０２により、例えば「質問（回答がＹｅｓ又はＮｏ）」「ＵＲＬ」「人名」のように、尺度の観点では同様に「名義尺度」と判定されても、頻度を求めることで特徴量化が可能な「質問（回答がＹｅｓ又はＮｏ）」のような「フラグ」カラム、ドメインごとのカラムに分離することで「フラグ」と同様に特徴量化が可能となる「ＵＲＬ」のような「組み合わせ文」カラム、全てユニークな値であり特徴量化できない「人名」のような「名前」カラムに分類することができ、後段でデータ加工のレコメンドに有用な情報となる。
【００３２】
＜分離判定部の処理＞
次に、データ加工レコメンド部７の分離判定部２０３の処理について詳細を説明する。図４は、分離判定部２０３の処理例を示すフロー図である。本処理では、分離判定部２０３は、集計値情報量計算結果３０６においてデータの集計値が情報を持たないとされているカラムを処理対象とし、カラム中の値を部分に分離して複数のカラムを生成することができるか否かを判定する。分離判定部２０３は、入力テーブル１１、ユーザ入力情報１２、及び集計値情報量判定部２０２により出力された集計値情報量計算結果３０６を入力とし、分離可カラム判定結果４０６を出力する。
【００３３】
先ず、ステップＳ４０１では、分離判定部２０３は、対象のカラムの持つ情報量を計算する。次に、ステップＳ４０２では、分離判定部２０３は、カラムを分離する分離パターンを全て生成する。次に、ステップＳ４０３では、分離判定部２０３は、ステップＳ４０２で生成された全ての分離パターンで分離された部分カラムに対する情報量をそれぞれ計算する。
【００３４】
次に、ステップＳ４０４では、分離判定部２０３は、より情報量の小さいカラムの組に分離するべきか否かを判定する。“より情報量の小さいカラムの組に分離するべき”場合とは、情報量をより小さくするカラムの分離パターンが存在する場合である。ステップＳ４０４によって、カラムを分離する意味があるか否かが判別できる。より情報量の小さいカラムの組に分離するべき場合（ステップＳ４０４Ｙｅｓ）には、分離判定部２０３は、分離可カラム判定結果４０６を出力して、処理を終了する。この際の分離可カラム判定結果４０６には、ステップＳ４０４でＹｅｓと判定された分離パターンの候補情報が記録される。一方、より情報量の小さいカラムの組に分離するべきでない場合（ステップＳ４０４Ｎｏ）には、分離判定部２０３は、ステップＳ４０５へ処理を移す。
【００３５】
ステップＳ４０５では、分離判定部２０３は、全ての分離パターンを探索したか否かを判定する。全ての分離パターンを探索した場合（ステップＳ４０５Ｙｅｓ）、分離判定部２０３は、分離可カラム判定結果４０６を出力して、処理を終了する。この際の分離可カラム判定結果４０６には、カラムを分離するべき分離パターンが存在しない旨が記録される。一方、探索していない分離パターンがある場合（ステップＳ４０５Ｎｏ）、ステップＳ４０２へ処理を戻す。
【００３６】
なお、ステップＳ４０１は、分離判定部２０３のカラム情報量計算部によって実行されてもよい。また、ステップＳ４０２は、分離判定部２０３のカラム分離部によって実行されてもよい。また、ステップＳ４０３は、分離判定部２０３の部分カラム情報量計算部によって実行されてもよい。
【００３７】
＜データ加工リスト参照部の処理＞
次に、データ加工レコメンド部７のデータ加工リスト参照部２０４の処理について詳細を説明する。図５は、データ加工リスト参照部２０４の処理例を示すフロー図である。データ加工リスト参照部２０４は、カラム分類情報６００、入力テーブル１１、及びデータ加工対応表１３を入力とし、データ加工レコメンド情報１４を出力する。
【００３８】
ここで、入力テーブル１１の各カラムは、尺度判定部２０１によって「比例尺度（連続値）」、「間隔尺度（時刻値）」、「順序尺度（順位）」、及び「名義尺度」に分類され、さらに集計値情報量判定部２０２及び分離判定部２０３によって「名義尺度」が「フラグ」、「組み合わせ文」、及び「名前」に分類されて、合計６種類に分類された結果が格納されている。
【００３９】
例えば、カラム分類情報６００には、入力テーブル１１の各カラムが、６種類のいずれの分類に該当するかを、確率付きで格納している。例えば、カラム分類情報６００において、“ＡＡＡ”というカラムに対して、各分類に該当する確率が、「連続値」＝ａ、「時刻値」＝ｂ、「順位」＝ｃ、「フラグ」＝ｄ、「組み合わせ文」＝ｅ、「名前」＝ｆ（ただし、ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＝１）のように対応付けられて格納されている。
【００４０】
先ず、ステップＳ６０１では、データ加工リスト参照部２０４は、カラム分類情報６００から最大確率で分類されるカラムの分類を抽出する。次に、ステップＳ６０２では、データ加工リスト参照部２０４は、ステップＳ６０１で求めた分類結果とデータ加工対応表１３とを照合して、適切なデータ加工方法を抽出する。データ加工リスト参照部２０４は、ステップＳ６０１及びステップＳ６０２で抽出した情報をまとめたデータ加工レコメンド情報１４を出力装置５を介して分析者に対して提示する。
【００４１】
なお、ステップＳ６０１は、データ加工リスト参照部２０４の分類結果抽出部によって実行されてもよい。また、ステップＳ６０２は、データ加工リスト参照部２０４のデータ加工法抽出部によって実行されてもよい。
【００４２】
＜データ加工部の詳細＞
次に、データ加工部８について詳細を説明する。図６は、データ加工部８の詳細構成例を示す図である。データ加工部８で実行されるカラムの分離処理は、分析者の指示を契機として実行される。
【００４３】
データ加工部８は、図６に示すように、分離候補提示ユーザ確認部７０１及び分離部７０２を有する。
【００４４】
分離候補提示ユーザ確認部７０１は、分離可カラム判定結果４０６に記録されているカラムの値の分離パターンの候補を、出力装置５を介して分析者に可視化して提示し、入力装置４を介して、分離の妥当性や実行可否に関するユーザ指示を受け付け、ユーザ指示情報５０３（図７参照）を出力するユーザインターフェース部である。
【００４５】
分離部７０２は、分離可カラム判定結果４０６の可視化結果を踏まえて分析者が下した決定事項に関する情報であるユーザ指示情報５０３（図７参照）に基づいて、入力テーブル１１のカラムの分離を実行する。データ加工部８は、ユーザ指示情報５０３に基づいてカラム分離を実行し、カラム分離を施したカラムで、カラム分離を実行前のカラムを置き換える。
【００４６】
なお、データ加工部８は、カラム分離に限らず、データ加工レコメンド情報１４に格納されている各カラムの分類に対応するデータ加工方法の実行可否を分離候補提示ユーザ確認部７０１で分析者に確認し、確認結果に基づいてデータ加工を実行し、データ加工方法を施したカラムで、データ加工方法を実行前のカラムを置き換えるものであってもよい。
【００４７】
＜分離候補提示ユーザ確認処理＞
次に、データ加工部８の分離候補提示ユーザ確認部７０１の処理について詳細を説明する。図７は、分離候補提示ユーザ確認処理の例を示すフロー図である。分離候補提示ユーザ確認部７０１は、入力テーブル１１、ユーザ入力情報１２、及び分離可カラム判定結果４０６を入力とし、ユーザ指示情報５０３を出力する。
【００４８】
先ず、ステップＳ５０１では、分離候補提示ユーザ確認部７０１は、分離判定部２０３で判定され分離可カラム判定結果４０６に記録されているカラムの値の分離パターンの候補を、出力装置５を介して分析者に可視化して提示する。
【００４９】
次に、ステップＳ５０２では、分離候補提示ユーザ確認部７０１は、ステップＳ５０１で出力装置５を介して分析者に提示された分離パターンの候補に対して、分離の妥当性や実行可否に関する分析者の判断結果を、入力装置４を介して受け付ける。そして、分離候補提示ユーザ確認部７０１は、入力装置４を介して受け付けた分析者の判断結果を含んだユーザ指示情報５０３を出力する。
【００５０】
なお、ステップＳ５０１は、分離候補提示ユーザ確認部７０１の分離情報可視化部によって実行されてもよい。また、ステップＳ５０２は、分離候補提示ユーザ確認部７０１のユーザ入力受付部によって実行されてもよい。
【００５１】
＜入力テーブルの構成＞
図８は、入力テーブル１１の構成の具体例を示す図である。入力テーブル１１は、長さ１１１、バーコード１１２、名前１１３、及び回答１１４という４つのカラムからなるテーブルである。長さ１１１は、連続値の物理量を示すカラムである。バーコード１１２は、数値表現ながらラベルとして使用されるためＩＤのように振る舞うカラムである。名前１１３は、全てのデータがユニークな記号で表現される文字列カラムである。回答１１４は、ＹＥＳ及びＮＯの２値で表現される２値カラムである。
【００５２】
このように、テーブル中の各カラムは、演算適用性やデータ加工性の観点から、異なる性質を持つため、どのようなデータ加工を施すことが可能であるか、また、どのようなデータ加工を施すべきであるかが異なる。そのため、これらの観点を用いて各カラムを分類することで、適切なデータ加工方法を絞ってカラムの分離方法をレコメンドすることができる。
【００５３】
＜ユーザ入力情報＞
図９は、ユーザ入力情報１２の例を示す具体図である。ユーザ入力情報１２は、カラム名１２１及び追加情報１２２という２つのカラムからなるテーブルである。ユーザ入力情報１２では、入力テーブル１１中の各カラムに対し、テーブルで表現される情報以外の外部情報や、分析者のみが知っているドメイン知識を追加で入力するための情報である。具体例として図９に示されるユーザ入力情報１２では、追加情報１２２として、「長さ」カラムには値の範囲（図９の例では最小値＝０、最大値＝２５）、「バーコード」カラムに対しては型情報が記載されている。なお、追加情報１２２は、必須ではないが、追加情報１２２が入力されることで、より高精度かつ高速にカラムの分類が可能となる。
【００５４】
＜データ加工対応表＞
図１０は、データ加工対応表１３の具体例を示す図である。データ加工対応表１３は、縦軸にデータ加工方法である特徴量を並べた情報であり、横軸にカラムの分類にそれぞれ名前を付けたエンティティを並べたマトリックス表である。カラムの分類であるエンティティと特徴量との対応をデータ加工対応表１３から読み取ることで、適切なデータ加工方法がレコメンド可能となる。
【００５５】
例えば、カラム「長さ［ｍ］」が入力されると、尺度が比例尺度と判定され、エンティティとしては「連続値」に属するカラムと判定される。データ加工対応表１３を用いることで、「時系列特徴」「対数変換」「総和、平均値」などの演算が適用できることを、分析者に対してレコメンドすることができる。
【００５６】
データ加工対応表１３は、図１０に示すように、一般的なデータ全般に当てはまる性質を表にしたものや、工場のセンシングログデータのようにドメインが限定された状況に個別に対応した表などを複数用意することもできる。また、データ加工対応表１３は、一般的なデータ全般に当てはまる表と、工場センシングログデータにのみに当てはまる表とを組み合わせて多段階に適用することも考えられる。
【００５７】
データ加工対応表１３は、図１０のデータ加工対応表１３の丸記号表示８０１で示されるようにエンティティと特徴量との対応関係の有無のみを記載することもできるし、あるいは具体的なパラメータの範囲などを記載しておくこともできる。
【００５８】
＜データ加工レコメンド情報＞
図１１は、データ加工レコメンド情報の具体例を示す図である。図１１は、入力テーブル１１から抽出されたレコメンド情報であるデータ加工レコメンド情報１４の具体例を示している。
【００５９】
データ加工レコメンド情報１４は、カラム名１４１、尺度１４２、カラム分類１４３、及び加工レコメンド１４４という４つのカラムからなるテーブルである。図１１に例示するデータ加工レコメンド情報１４は、入力テーブル１１中の各カラムに対する加工レコメンド情報を示している。
【００６０】
例えば、図１１に例示するデータ加工レコメンド情報１４には、「長さ１１１」カラムに対しては“平均値”の計算や“対数変換”を推奨し、「バーコード１１２」カラムに対しては“カラム分離”や“ＣＯＵＮＴ”値の集計・計算を推奨するレコメンド情報が示されている。なお、“カラム分離”は、分離判定部２０３の処理（図４参照）によりカラム分離することに意味があると判定され、分離パターンの候補が分離可カラム判定結果４０６に記録されたカラムに対して、レコメンドされるデータ加工方法である。
【００６１】
また、「名前１１３」カラムに対しては推奨する加工方法のレコメンド情報が“なし”とし、「回答」カラムに対しては“ＣＯＵＮＴ”値を集計・計算するレコメンド情報が示されている。データ加工レコメンド情報１４を用いることで、分析者は、各カラムに対して適用すべきデータ加工方法を知ることができ、またデータ加工方法がレコメンドされている根拠を尺度１４２及びカラム分類１４３から知ることができるので、分析する際の支援情報として活用できる。
【００６２】
＜カラム分類＞
図１２は、カラムの分類であるエンティティの具体例を示す図である。図１２に示すカラム分類の具体例では、具体的なカラム名から抽象度の高いカラムの分類クラスまで、様々な粒度のカラムのクラス（エンティティ）の具体例を一覧表で示している。
【００６３】
カラムは、演算適用可能性の観点と、データ加工性の観点により、様々な粒度のクラスに分類することができる。図１２では、最も抽象度の高い分類である「連続値」「時刻値」「順位」「フラグ」「組み合わせ文」「名前」の６分類を具体例として挙げている。「連続値」は比例尺度、「時刻値」は間隔尺度、「順位」は順序尺度、「フラグ」「組み合わせ文」「名前」は名義尺度に分類される。
【００６４】
また、尺度だけでは分離できない「フラグ」「組み合わせ文」「名前」に対しては、データ加工性の観点により分類する。データ加工性の観点では、集計値の情報量を計算し、集計値が０であれば「組み合わせ文」又は「名前」であり、集計値が０でなければ「フラグ」と判定する。最後に、カラムが分離可能であるかを判定し、分離可能であれば「組み合わせ文」と判定し、分離不可能であれば「名前」と判定する。
【００６５】
カラムの分類に名前を付けたエンティティには、様々な観点で名前や粒度の違いが存在するが、データ加工をシステムでレコメンドする際に、その根拠情報の一つとしてエンティティを提示することも可能である。それにより、分析者は、データ加工レコメンドシステム１Ｓによって対象カラムのデータ加工方法がレコメンドされている理由を、対象カラムが判定されたクラスから知ることができる仕組みを構成することができる。
【００６６】
＜実施例による効果＞
実施例では、予測分析・要因分析などのビックデータ分析を行う際に必要となる、対象データのデータ加工及び前処理で各カラムの特徴量生成を支援するために、対象データの各カラムを、演算適用性とデータ加工性の２つの観点で分類する。そして、分類結果とデータ加工方法とを対応させたデータ加工対応表を用意し、対象データのカラムの分類結果に従って、カラムの意味に即したデータ加工方法をレコメンドする。このように、対象データに対してより適切なデータ加工方法を適用できるようになるため、後段で予測や要因抽出を行う際に、高度な特徴選択や次元削減手法が不要となる。その結果、計算時間やメモリ使用量が抑えられると共に、予測精度や、要因抽出の量及び精度が向上する。また、分析者（ユーザ）に対して、データ加工方法をレコメンドする根拠を提示できる。
【００６７】
本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や、削除、置換、統合、もしくは分散をすることが可能である。また実施例で示した各構成や各処理は、処理効率あるいは実装効率に基づいて適宜分散または統合してもよい。
【符号の説明】
【００６８】
１Ｓ：データ加工レコメンドシステム、１：中央処理演算装置、２：二次記憶装置、３：主記憶装置、４：入力装置、５：出力装置、６：バス、７：データ加工レコメンド部、８：データ加工部、１１：入力テーブル、１２：ユーザ入力情報、１３：データ加工対応表、１４：データ加工レコメンド情報、１２：ユーザ入力情報、１３：データ加工対応表、１４：データ加工レコメンド情報、２０１：尺度判定部、２０２：集計値情報量判定部、２０３：分離判定部、２０４：データ加工リスト参照部、２０５：出力制御部、３０６：集計値情報量計算結果、４０６：分離可カラム判定結果、５０３：ユーザ指示情報、６００：カラム分類情報、７０１：分離候補提示ユーザ確認部、７０２：分離部
【図１】
2020166443.tif 000003
【図２】
2020166443.tif 000004
【図３】
2020166443.tif 000005
【図４】
2020166443.tif 000006
【図５】
2020166443.tif 000007
【図６】
2020166443.tif 000008
【図７】
2020166443.tif 000009
【図８】
2020166443.tif 000010
【図９】
2020166443.tif 000011
【図１０】
2020166443.tif 000012
【図１１】
2020166443.tif 000013
【図１２】
2020166443.tif 000014