(57)【特許請求の範囲】
【請求項１】
表形式データと表種類を表す正解ラベルとの組の集合である訓練データ集合に含まれる前記表形式データの各々について、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び同じ列のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を含む、分類に利用する素性集合を抽出する素性抽出部と、
前記素性抽出部により前記訓練データ集合に含まれる前記表形式データの各々について抽出された素性集合と、前記訓練データ集合に含まれる前記正解ラベルとに基づいて、表形式データの表種類を、縦方向のリスト型表、横方向のリスト型表、縦方向の属性型表、横方向の属性型表、縦方向の列挙型表、横方向の列挙型表、行列型表、及びその他のレイアウト用表の何れかに分類するための分類器を学習する分類器学習部と、
を有することを特徴とする分類器学習装置。
【請求項２】
入力された表形式データについて、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び同じ列のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を含む、分類に利用する素性集合を抽出する素性抽出部と、
前記素性抽出部により抽出された素性集合と、予め学習された表形式データの表種類を分類するための分類器とに基づいて、前記入力された表形式データの表種類を、縦方向のリスト型表、横方向のリスト型表、縦方向の属性型表、横方向の属性型表、縦方向の列挙型表、横方向の列挙型表、行列型表、及びその他のレイアウト用表の何れかに分類する表種類分類部と、
を有することを特徴とする表種類分類装置。
【請求項３】
素性抽出部が、表形式データと表種類を表す正解ラベルとの組の集合である訓練データ集合に含まれる前記表形式データの各々について、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び同じ列のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を含む、分類に利用する素性集合を抽出し、
分類器学習部が、前記素性抽出部により前記訓練データ集合に含まれる前記表形式データの各々について抽出された素性集合と、前記訓練データ集合に含まれる前記正解ラベルとに基づいて、表形式データの表種類を、縦方向のリスト型表、横方向のリスト型表、縦方向の属性型表、横方向の属性型表、縦方向の列挙型表、横方向の列挙型表、行列型表、及びその他のレイアウト用表の何れかに分類するための分類器を学習する
ことを特徴とする分類器学習方法。
【請求項４】
素性抽出部が、入力された表形式データについて、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び同じ列のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を含む、分類に利用する素性集合を抽出し、
表種類分類部が、前記素性抽出部により抽出された素性集合と、予め学習された表形式データの表種類を分類するための分類器とに基づいて、前記入力された表形式データの表種類を、縦方向のリスト型表、横方向のリスト型表、縦方向の属性型表、横方向の属性型表、縦方向の列挙型表、横方向の列挙型表、行列型表、及びその他のレイアウト用表の何れかに分類する
ことを特徴とする表種類分類方法。
【請求項５】
コンピュータを、請求項１に記載の分類器学習装置、又は請求項２に記載の表種類分類装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表形式データの表種類を分類するための分類器学習装置、表種類分類装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
コンピュータ技術の発展により、Web上のHTMLで記述された表データや、表計算ソフトウェアなどで作成されたスプレッドシート上の表データは大量に存在するようになった。表データには、縦あるいは横方向のリスト型表、縦あるいは横方向の属性型表、縦あるいは横方向の列挙型表、行列型表、その他のレイアウト用表など幾つかの種類が存在する。この表タイプを正しく理解することができれば、情報検索や質問応答など幅広いサービスに応用可能な知識が獲得できる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Crestan, Eric and Patrick Pantel (2011). “Web-scale Table Census and Classification”. In: Proceedings of the 4th ACM International Conference on Web Search and Data Mining. ACM, pp. 545-554.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表タイプを分類するための従来手法として、非特許文献１などが提案されている。これらの従来手法は、表内のセルに記載されたテキスト情報について、テキストの長さ、テキストのタイプ（数値、日付、金額など）、テキストのパターン（特定の記号を含む）などの素性を利用しているが、図７（Ａ）、（Ｂ）に示すような同様の構造・テキスト長を持つリスト型と行列型の表については識別することができない。
【０００５】
リスト型表は、図７（Ａ）に示すように、ヘッダ部に属性（例：月額費用）、データ部に属性値（1800円）が並ぶ表であり、行列型表は、図７（Ｂ）に示すように、行および列のヘッダ部にエンティティ（回線○○、オプションAなど）が記載されるものである。この定義より、リスト型表はヘッダ部とデータ部の意味的類似度が高いが、行列型表はその特徴を持たない。ヘッダ部とデータ部の意味的類似度を測ることができれば、リスト型とデータ型の識別精度を大きく向上させることが可能である。
【０００６】
本発明では、上記事情を鑑みて成されたものであり、表形式データの表種類を精度よく分類することができる分類器学習装置、表種類分類装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る分類器学習装置は、表形式データと表種類を表す正解ラベルとの組の集合である訓練データ集合に含まれる前記表形式データの各々について、同じ行の各セルのテキストの意味的類似度、及び同じ列の各セルのテキストの意味的類似度を含む、分類に利用する素性集合を抽出する素性抽出部と、前記素性抽出部により前記訓練データ集合に含まれる前記表形式データの各々について抽出された素性集合と、前記訓練データ集合に含まれる前記正解ラベルとに基づいて、表形式データの表種類を分類するための分類器を学習する分類器学習部と含んで構成されている。
【０００８】
本発明に係る分類器学習方法は、素性抽出部が、表形式データと表種類を表す正解ラベルとの組の集合である訓練データ集合に含まれる前記表形式データの各々について、同じ行の各セルのテキストの意味的類似度、及び同じ列の各セルのテキストの意味的類似度を含む、分類に利用する素性集合を抽出し、分類器学習部が、前記素性抽出部により前記訓練データ集合に含まれる前記表形式データの各々について抽出された素性集合と、前記訓練データ集合に含まれる前記正解ラベルとに基づいて、表形式データの表種類を分類するための分類器を学習する。
【０００９】
本発明に係る表種類分類装置は、入力された表形式データについて、同じ行の各セルのセル内テキストの意味的類似度、及び同じ列の各セルのセル内テキストの意味的類似度を含む、分類に利用する素性集合を抽出する素性抽出部と、前記素性抽出部により抽出された素性集合と、予め学習された表形式データの表種類を分類するための分類器とに基づいて、前記入力された表形式データの表種類を分類する表種類分類部と、を含んで構成されている。
【００１０】
本発明に係る表種類分類方法は、素性抽出部が、入力された表形式データについて、同じ行の各セルのセル内テキストの意味的類似度、及び同じ列の各セルのセル内テキストの意味的類似度を含む、分類に利用する素性集合を抽出し、表種類分類部が、前記素性抽出部により抽出された素性集合と、予め学習された表形式データの表種類を分類するための分類器とに基づいて、前記入力された表形式データの表種類を分類する。
【００１１】
また、本発明のプログラムは、コンピュータを、上記の分類器学習装置、又は表種類分類装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１２】
以上説明したように、本発明の分類器学習装置、方法、及びプログラムによれば、訓練データ集合に含まれる前記表形式データの各々について、同じ行の各セルのテキストの意味的類似度、及び同じ列の各セルのテキストの意味的類似度を含む、分類に利用する素性集合を抽出することにより、表種類の分類精度を向上可能な分類器を学習することができる。
【００１３】
また、本発明の表種類分類装置、方法、及びプログラムによれば、表形式データについて、同じ行の各セルのテキストの意味的類似度、及び同じ列の各セルのテキストの意味的類似度を含む、分類に利用する素性集合を抽出することにより、精度よく表種類を分類することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る分類器学習装置の機能的構成を示すブロック図である。
【図２】素性抽出部の機能的構成を示すブロック図である。
【図３】表形式データの一例を示す図である。
【図４】本発明の実施形態に係る表種類分類装置の機能的構成を示すブロック図である。
【図５】本発明の実施形態に係る分類器学習装置における分類器学習処理ルーチンのフローチャート図である。
【図６】本発明の実施形態に係る表種類分類装置における表種類分類処理ルーチンのフローチャート図である。
【図７】（Ａ）横リスト型の表形式データの一例を示す図、及び（Ｂ）行列型の表形式データの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１６】
＜本発明の実施の形態に係る分類器学習装置の構成＞
次に、本発明の実施の形態に係る分類器学習装置の構成について説明する。図１に示すように、本実施の形態に係る分類器学習装置１００は、ＣＰＵと、ＲＡＭと、後述する分類器学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この分類器学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを含んで構成されている。
【００１７】
入力部１０は、表形式データと表種類を表す正解ラベルの組の集合である訓練データ集合を受け付ける。
【００１８】
表形式データは、行列形式のセルの集合であり、各セルは、行番号、列番号、テキスト文字列、ヘッダ／データフラグ（1のときヘッダ、0のときデータを表す）から構成される。ヘッダ／データフラグについては、HTMLではthタグによる指定や、非特許文献２などに記載の方法で推定された情報から与えられる。
【００１９】
［非特許文献２］Jing Fang, Prasenjit Mitra, Zhi Tang, C. Lee Giles: Table Header Detection and Classification. AAAI 2012
【００２０】
表種類は、例えば、縦あるいは横方向のリスト型表、縦あるいは横方向の属性型表、縦あるいは横方向の列挙型表、行列型表、その他のレイアウト用表などである。
【００２１】
演算部２０は、図１に示すように、素性抽出部２２及び分類器学習部２４を備えて構成されている。
【００２２】
素性抽出部２２は、訓練データ集合に含まれる表形式データの各々について、各行に対する、同じ行の各セルのテキストの意味的類似度、及び各列に対する、同じ列の各セルのテキストの意味的類似度を表す意味的類似度素性を含む、分類に利用する素性集合を抽出する。
【００２３】
素性抽出部２２は、図２に示すように、通常素性抽出部３０と、意味類似度抽出部３２とを備えている。
【００２４】
通常素性抽出部３０は、訓練データ集合に含まれる表形式データの各々について、表形式データの特徴を表す通常素性を抽出する。通常素性としては非特許文献１などに記載された素性が利用可能である。
【００２５】
意味類似度抽出部３２は、訓練データ集合に含まれる表形式データの各々について、各行に対する、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び各列に対する、同じ列のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を表す意味的類似度素性を抽出する。
【００２６】
具体的には、まず、各行（行番号i）に対し、当該行に含まれるセル集合について、ヘッダ／データフラグが1のセルであるヘッダセル集合と、ヘッダ／データフラグが0のセルであるデータセル集合に分割する。
【００２７】
次に、ヘッダセル集合に含まれる各ヘッダセルのセル内テキストについて、データセル集合に含まれるそれぞれのセルのセル内テキストとの類似度を計算し、類似度平均値および類似度分散値を計算する。
【００２８】
最終的に、各行に対し、各ヘッダセルについて算出された類似度平均値、類似度分散値について、ヘッダセル間での最大値、最小値、分散値、平均値を算出し、これらを表タイプ分類の当該行についての素性値とする。素性名は、行(行番号i)_意味類似度_(ヘッダ・データ間類似度統計量名)_(ヘッダ間類似度統計量名)とする。ヘッダセル・データセル間の類似度の計算には非特許文献３に記載のword2vecなどの手法が利用可能である。なお、word2vecにより単語の類似度が計測できない場合、類似度は0とする。ヘッダセルが行に存在しない場合、全ての前記素性値は0とする。データセルが行に存在しない場合も、全ての前記素性値は0とする。
【００２９】
［非特許文献３］Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.
【００３０】
各列（列番号j）に対し、当該列に含まれるセル集合についても、各行に含まれるセル集合と同様に計算を行って、表タイプ分類の当該列についての素性値を算出する。素性名は、列(列番号j)_意味類似度_(ヘッダ・データ間類似度統計量名)_(ヘッダ間類似度統計量名)などとする。図３に示す表形式データを例として、素性値のうち、ヘッダ・データ間類似度統計量名が平均値、ヘッダ間類似度統計量名が平均値の場合の算出例を以下に示す。
【００３１】
行1_意味類似度_平均値_平均値= 0
行2_意味類似度_平均値_平均値
= 平均 { 平均 { 類似度(費用, 1800円), 類似度(費用,2000円) }, 平均 { 類似度(年額, 1800円), 類似度(年額,2000円) }}
= 平均 { 平均 { 0.85, 0.83} , 平均{0.83, 0.87}} = 平均{ 0.84, 0.85 } = 0.845
行3_意味類似度_平均値_平均値
= 平均 { 平均 { 類似度(費用, 21600円), 類似度(費用,24000円) }, 平均 { 類似度(月額, 21600円), 類似度(月額,24000円) }}
= 平均 { 平均 { 0.8, 0.8} , 平均{0.75, 0.77}} = 平均{ 0.8, 0.76 } = 0.78
列1_意味類似度_平均値 _平均値= 0
列2_意味類似度_平均値 _平均値= 0
列3_意味類似度_平均値_平均値
= 平均 { 類似度(オプションA, 1800円), 類似度(オプションA,21600円) }
= 平均 { 0.18, 0.12 } = 0.15
列4_意味類似度_平均値_平均値
= 平均 { 類似度(オプションB, 2000円), 類似度(オプションB,24000円) }
= 平均 { 0.15, 0.15 } = 0.15
【００３２】
分類器学習部２４は、素性抽出部２２により訓練データ集合に含まれる表形式データの各々について抽出された素性集合と、訓練データ集合に含まれる正解ラベルとに基づいて、表形式データの表種類を分類するための分類器を学習する。
【００３３】
具体的には、分類器学習部２４は、素性抽出部２２が抽出した通常素性および意味的類似度素性を含む素性集合を利用して、素性集合と正解ラベルの組について学習を行い、出力部４０により、分類器を出力する。学習アルゴリズムには、サポートベクターマシンやランダムフォレスト法など任意の分類アルゴリズムが利用可能である。
【００３４】
＜本発明の実施の形態に係る表種類分類装置の構成＞
次に、本発明の実施の形態に係る表種類分類装置の構成について説明する。図４に示すように、本実施の形態に係る表種類分類装置１５０は、ＣＰＵと、ＲＡＭと、後述する表種類分類処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この表種類分類装置１５０は、機能的には図４に示すように入力部６０と、演算部７０と、出力部８０とを含んで構成されている。
【００３５】
入力部６０は、分類対象となる表形式データを受け付ける。
【００３６】
演算部７０は、図４に示すように、素性抽出部７２及び表種類分類部７４を備えて構成されている。
【００３７】
素性抽出部７２は、入力された表形式データについて、素性抽出部２２と同様に、意味的類似度素性を含む、分類に利用する素性集合を抽出する。
【００３８】
素性抽出部７２は、分類器学習装置１００の素性抽出部２２と同様に、通常素性抽出部３０と、意味類似度抽出部３２とを備えている。
【００３９】
表種類分類部７４は、素性抽出部７２により抽出された素性集合と、分類器学習装置１００により学習された表形式データの表種類を分類するための分類器とに基づいて、入力された表形式データの表種類を分類する。
【００４０】
＜本発明の実施形態に係る分類器学習装置の作用＞
次に、本発明の実施形態に係る分類器学習装置１００の作用について説明する。分類器学習装置１００は、入力部１０によって、訓練データ集合を受け付けると、分類器学習装置１００によって、図５に示す分類器学習処理ルーチンが実行される。
【００４１】
まず、ステップＳ１００で、入力された訓練データ集合に含まれる表形式データの各々について、通常素性を抽出する。
【００４２】
ステップＳ１０２では、入力された訓練データ集合に含まれる表形式データの各々について、各行に対する、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び各列に対する、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を表す意味的類似度素性を抽出する。
【００４３】
ステップＳ１０４では、訓練データ集合に含まれる表形式データの各々について上記ステップＳ１００、Ｓ１０２で抽出された通常素性及び意味的類似度素性を含む素性集合と、訓練データ集合に含まれる正解ラベルとに基づいて、表形式データの表種類を分類するための分類器を学習し、出力部４０により出力し、分類器学習処理ルーチンを終了する。
【００４４】
＜本発明の実施形態に係る表種類分類装置の作用＞
次に、本発明の実施形態に係る表種類分類装置１５０の作用について説明する。表種類分類装置１５０は、入力部６０によって、表形式データを受け付けると、表種類分類装置１５０によって、図６に示す表種類分類処理ルーチンが実行される。
【００４５】
まず、ステップＳ１５０で、入力された表形式データについて、通常素性を抽出する。
【００４６】
ステップＳ１５２では、入力された表形式データについて、各行に対する、同じ行のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度、及び各列に対する、同じ列のヘッダセルのセル内テキストとデータセルのセル内テキストとの間の意味的類似度を表す意味的類似度素性を抽出する。
【００４７】
ステップＳ１５４では、上記ステップＳ１５０、Ｓ１５２で抽出された通常素性及び意味的類似度素性を含む素性集合と、分類器学習装置１００によって学習された分類器とに基づいて、表形式データの表種類を分類し、出力部８０により出力し、表種類分類処理ルーチンを終了する。
【００４８】
以上説明したように、本発明の実施の形態に係る表種類分類装置によれば、表形式データについて、各行に対する、同じ行の各セルのテキストの意味的類似度、及び各列に対する、同じ列の各セルのテキストの意味的類似度を含む、分類に利用する素性集合を抽出することにより、精度よく表種類を分類することができる。
【００４９】
また、入力された表形式データから、行単位及び列単位の意味的類似度が計算可能なので、従来の素性では識別できなかったリスト表と行列表を分類することが可能になる。
【００５０】
また、本発明の実施の形態に係る分類器学習装置によれば、訓練データ集合に含まれる前記表形式データの各々について、各行に対する、同じ行の各セルのテキストの意味的類似度、及び各列に対する、同じ列の各セルのテキストの意味的類似度を含む、分類に利用する素性集合を抽出することにより、表種類の分類精度を向上可能な分類器を学習することができる。
【００５１】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５２】
例えば、上記の実施の形態では、分類器学習装置と表種類分類装置とを別々に設ける場合を例に説明したが、分類器学習装置と表種類分類装置とを、１つの装置で実現するようにしてもよい。
【００５３】
本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【産業上の利用可能性】
【００５４】
本発明は、表種類を理解することで精度を向上可能な表形式データからの知識獲得および情報検索などに利用可能である。
【符号の説明】
【００５５】
１０、６０    入力部
２０、７０    演算部
２２、７２    素性抽出部
２４   分類器学習部
３０   通常素性抽出部
３２   意味類似度抽出部
４０、８０    出力部
７４   表種類分類部
１００ 分類器学習装置
１５０ 表種類分類装置
【図１】
0006480377.tif 000002
【図２】
0006480377.tif 000003
【図３】
0006480377.tif 000004
【図４】
0006480377.tif 000005
【図５】
0006480377.tif 000006
【図６】
0006480377.tif 000007
【図７】
0006480377.tif 000008