(57)【特許請求の範囲】
【請求項１】
提示対象に関する説明文データを含むウェブページであり、前記提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該ウェブページを取得するウェブページ取得部と、
前記ウェブページの属性リストにおける属性値を前記提示対象に関する属性値である基準語として取得する基準語取得部と、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性名を示す属性タグを付与する付与部と、
前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
を備えるコーパス生成装置。
【請求項２】
前記付与部は、前記説明文データに前記基準語が含まれる場合には、前記説明文データに含まれる前記基準語に対して、該基準語に対応する属性名を示す属性タグを更に付与する、請求項１に記載のコーパス生成装置。
【請求項３】
前記上下関係情報は、属性値をノードとする木構造をなし、
前記付与部は、前記上下関係情報から前記基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる前記基準語以外の１以上の属性値を抽出し、前記説明文データに前記１以上の属性値が含まれる場合には、前記説明文データに含まれる該１以上の属性値に対して、前記基準語に対応する属性名を示す属性タグを更に付与する、請求項１又は２に記載のコーパス生成装置。
【請求項４】
前記上下関係情報は、属性値間の上下関係を階層的に表しており、
前記付与部は、前記上下関係情報において前記基準語の直下の階層に複数の属性値が存在する場合であって、該複数の属性値の内、一の属性値のみが前記説明文データに含まれる場合には、前記説明文データに含まれる該一の属性値に対して、前記基準語に対応する属性名を示す属性タグを更に付与する、請求項１又は２に記載のコーパス生成装置。
【請求項５】
前記出力部から出力されたコーパスデータから取得される前記提示対象に関する属性名と属性値との組を前記ウェブページに関連付けて記憶する提示対象情報登録部を更に備える、請求項１〜４の何れか一項に記載のコーパス生成装置。
【請求項６】
コーパス生成装置によって実行されるコーパス生成方法であって、
提示対象に関する説明文データを含むウェブページであり、前記提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該ウェブページを取得するウェブページ取得ステップと、
前記ウェブページの属性リストにおける属性値を前記提示対象に関する属性値である基準語として取得する基準語取得ステップと、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得ステップにおいて取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性名を示す属性タグを付与する付与ステップと、
前記付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、
を含むコーパス生成方法。
【請求項７】
コンピュータを、
提示対象に関する説明文データを含むウェブページであり、前記提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該ウェブページを取得するウェブページ取得部と、
前記ウェブページの属性リストにおける属性値を前記提示対象に関する属性値である基準語として取得する基準語取得部と、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性名を示す属性タグを付与する付与部と、
前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
して機能させる、コーパス生成プログラム。
【請求項８】
属性値に対して属性タグが付与されたコーパスデータであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該コーパスデータを取得するコーパス取得部と、
前記コーパスデータの属性リストにおける属性値を前記提示対象に関する属性値である基準語として取得する基準語取得部と、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記上位語とは異なる属性値が前記コーパスデータに含まれている場合に、前記上位語とは異なる属性値に付与された属性タグを前記コーパスデータから除去する除去部と、
前記除去部により属性タグが除去された前記コーパスデータを出力する出力部と、
を備えるコーパス生成装置。
【請求項９】
コーパス生成装置によって実行されるコーパス生成方法であって、
属性値に対して属性タグが付与されたコーパスデータであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該コーパスデータを取得するコーパス取得ステップと、
前記コーパスデータの属性リストにおける属性値を前記提示対象に関する属性値である基準語として取得する基準語取得ステップと、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得ステップにおいて取得された前記基準語よりも上位に属する上位語を抽出し、前記上位語とは異なる属性値が前記コーパスデータに含まれている場合に、前記上位語とは異なる属性値に付与された属性タグを前記コーパスデータから除去する除去ステップと、
前記除去ステップにおいて属性タグが除去された前記コーパスデータを出力する出力ステップと、
を含むコーパス生成方法。
【請求項１０】
コンピュータを、
属性値に対して属性タグが付与されたコーパスデータであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該コーパスデータを取得するコーパス取得部と、
前記コーパスデータの属性リストにおける属性値を前記提示対象に関する属性値である基準語として取得する基準語取得部と、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記上位語とは異なる属性値が前記コーパスデータに含まれている場合に、前記上位語とは異なる属性値に付与された属性タグを前記コーパスデータから除去する除去部と、
前記除去部により属性タグが除去された前記コーパスデータを出力する出力部と、
して機能させる、コーパス生成プログラム。
【請求項１１】
提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、
前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得部であり、前記説明文データから属性名及び属性値が連続して現れる文又は語句を検索し、該文又は語句に含まれる属性値を前記基準語として取得し、或いは、属性値に付加される接頭辞又は接尾辞を用いて、前記説明文データから前記基準語を取得する、該基準語取得部と、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、属性名と属性値とを関連付けて記憶するタグ情報記憶部を参照して、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性名を示す属性タグを付与する付与部と、
前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
を備えるコーパス生成装置。
【請求項１２】
属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、前記説明文データに含まれる前記提示対象に関する属性値の候補を抽出する候補抽出部を更に備え、
前記付与部は、前記上下関係情報を記憶する前記記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに含まれる前記属性値の候補の内、前記上位語と一致する属性値の候補に前記属性値の候補に対応する属性名を示す属性タグを付与する、
請求項１１に記載のコーパス生成装置。
【請求項１３】
コーパス生成装置によって実行されるコーパス生成方法であって、
提示対象に関する説明文データを含むウェブページを取得するウェブページ取得ステップと、
前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得ステップであり、前記説明文データから属性名及び属性値が連続して現れる文又は語句を検索し、該文又は語句に含まれる属性値を前記基準語として取得し、或いは、属性値に付加される接頭辞又は接尾辞を用いて、前記説明文データから前記基準語を取得する、該基準語取得ステップと、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得ステップにおいて取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、属性名と属性値とを関連付けて記憶するタグ情報記憶部を参照して、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性名を示す属性タグを付与する付与ステップと、
前記付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、
を含むコーパス生成方法。
【請求項１４】
コンピュータを、
提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、
前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得部であり、前記説明文データから属性名及び属性値が連続して現れる文又は語句を検索し、該文又は語句に含まれる属性値を前記基準語として取得し、或いは、属性値に付加される接頭辞又は接尾辞を用いて、前記説明文データから前記基準語を取得する、該基準語取得部と、
属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、属性名と属性値とを関連付けて記憶するタグ情報記憶部を参照して、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性名を示す属性タグを付与する付与部と、
前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
して機能させる、コーパス生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一形態は、コーパス生成装置、コーパス生成方法、及びコーパス生成プログラムに関する。
【背景技術】
【０００２】
電子商取引サイトでは、提示対象である商品の特徴等を記載した商品の説明文を含む商品ページがユーザに対して提示される。従来から、商品の説明文に含まれる商品の特徴を示す語句にタグを自動的に付与してコーパスデータを生成することが試みられている。このようなコーパスデータによれば、タグを手がかりとして機械処理することにより商品に関する構造化されたデータを自動生成することが可能となる。【０００３】
商品の説明文等の自然文に対して自動的にタグを付与する技術として、例えば特許文献１に記載の技術が知られている。特許文献１には、辞書データを参照して入力文書から汎用的な固有表現及び意味役割語を抽出し、汎用的な固有表現及び意味役割語に基づいて入力文書の文章構造を推定すると共に、文章構造に対して予め定義されているルールに従い入力文書に意味タグの付与を行う文章処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９４８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術では、辞書を参照して文章に含まれる固有表現及び意味役割語等の語句を抽出している。このため、特許文献１に記載の技術を用いて提示対象の説明文にタグを付与しようとした場合、提示対象の説明文の内容によっては提示対象の特徴を示すものでない語句に対して誤って属性タグを付与してしまい、その結果、コーパスデータの品質を低下させてしまう場合がある。したがって、提示対象の特徴を示すものではない語句に対して属性タグを誤って付与することを抑制することができる技術が要請されている。
【課題を解決するための手段】
【０００６】
本発明の一側面に係るコーパス生成装置は、提示対象に関する説明文データを含むウェブページであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該ウェブページを取得するウェブページ取得部と、ウェブページの属性リストにおける属性値を提示対象に関する属性値である基準語として取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、説明文データに含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、を備える。
【０００７】
本発明の一側面に係るコーパス生成方法は、コーパス生成装置によって実行されるコーパス生成方法であって、提示対象に関する説明文データを含むウェブページであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該ウェブページを取得するウェブページ取得ステップと、ウェブページの属性リストにおける属性値を提示対象に関する属性値である基準語として取得する基準語取得ステップと、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得ステップにおいて取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、説明文データに含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する付与ステップと、付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、を含む。
【０００８】
本発明の一側面に係るコーパス生成プログラムは、コンピュータを、提示対象に関する説明文データを含むウェブページであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該ウェブページを取得するウェブページ取得部と、ウェブページの属性リストにおける属性値を提示対象に関する属性値である基準語として取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、説明文データに含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、して機能させる。
【０００９】
上記形態によれば、説明文データに提示対象に関する属性値である基準語の上位語が含まれる場合には、説明文データに含まれる上位語に対して基準語に対応する属性タグが付与される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。このため、説明文データ内の上位語に対して属性タグを付与することにより、提示対象の特徴を示すものではない語句に対して誤って属性タグを付与することを抑制することができる。そして、このように属性タグが付与された提示対象の説明文データをコーパスデータとして出力することにより、品質の高いコーパスデータを生成することができる。【００１０】
一形態では、付与部は、説明文データに基準語が含まれる場合には、説明文データに含まれる基準語に対して、該基準語に対応する属性名を示す属性タグを更に付与してもよい。このような形態によれば、説明文データ中のより多くの提示対象の属性値に正確な属性タグを付与することができる。
【００１３】
一形態では、上下関係情報は、属性値をノードとする木構造をなし、付与部は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに１以上の属性値が含まれる場合には、説明文データに含まれる該１以上の属性値に対して、基準語に対応する属性名を示す属性タグを更に付与してもよい。基準語が提示対象に関する属性値である場合には、分岐を有しない部分木に含まれる属性値も提示対象に関する属性値であることが推認される。したがって、本形態によれば、説明文データ中のより多くの提示対象の属性値に正確な属性タグを付与することができる。
【００１４】
一形態では、上下関係情報は、属性値間の上下関係を階層的に表しており、付与部は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる該一の属性値に対して、基準語に対応する属性名を示す属性タグを更に付与してもよい。基準語の直下の階層に複数の属性値が存在する場合であっても、説明文に当該複数の属性値のうちの１つのみが含まれている場合には、当該属性値は提示対象に関する属性値である蓋然性が高い。したがって、本形態によれば、説明文データ中のより多くの提示対象の属性値に、正確な属性タグを付与することができる。
【００１５】
一形態では、出力部から出力されたコーパスデータから取得される提示対象に関する属性名と属性値との組をウェブページに関連付けて記憶する提示対象情報登録部を更に備えてもよい。このような形態によれば、属性名と属性値との組を提示対象の検索の手がかりとして利用することができる。【００１６】
本発明の別の側面に係るコーパス生成装置は、属性値に対して属性タグが付与されたコーパスデータであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該コーパスデータを取得するコーパス取得部と、コーパスデータの属性リストにおける属性値を提示対象に関する属性値である基準語として取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する除去部と、除去部により属性タグが除去されたコーパスデータを出力する出力部と、を備える。
【００１７】
本発明の別の側面に係るコーパス生成方法は、コーパス生成装置によって実行されるコーパス生成方法であって、属性値に対して属性タグが付与されたコーパスデータであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該コーパスデータを取得するコーパス取得ステップと、コーパスデータの属性リストにおける属性値を提示対象に関する属性値である基準語として取得する基準語取得ステップと、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得ステップにおいて取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する除去ステップと、除去ステップにおいて属性タグが除去されたコーパスデータを出力する出力ステップと、を含む。
【００１８】
本発明の別の側面に係るコーパス生成プログラムは、コンピュータを、属性値に対して属性タグが付与されたコーパスデータであり、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含む、該コーパスデータを取得するコーパス取得部と、コーパスデータの属性リストにおける属性値を提示対象に関する属性値である基準語として取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する除去部と、除去部により属性タグが除去されたコーパスデータを出力する出力部と、して機能させる。
【００１９】
上記形態によれば、上位語とは異なる属性値がコーパスデータに含まれている場合には、上位語とは異なる属性値に付与された属性タグがコーパスデータから除去される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。反対に、上位語とは異なる属性値は提示対象に関する属性値ではないと推認される。このため、コーパスデータに含まれる上位語とは異なる属性値に付与された属性タグを除去することにより、正確に属性タグが付与されたコーパスデータを生成することができる。【００２０】
本発明の別の側面に係るコーパス生成装置は、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得部であり、説明文データから属性名及び属性値が連続して現れる文又は語句を検索し、該文又は語句に含まれる属性値を基準語として取得し、或いは、属性値に付加される接頭辞又は接尾辞を用いて、説明文データから基準語を取得する、該基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、属性名と属性値とを関連付けて記憶するタグ情報記憶部を参照して、説明文データに含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、を備える。
また、一形態では、属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、説明文データに含まれる提示対象に関する属性値の候補を抽出する候補抽出部を更に備え、付与部は、上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に属性値の候補に対応する属性名を示す属性タグを付与してもよい。
【００２１】
本発明の別の側面に係るコーパス生成方法は、コーパス生成装置によって実行されるコーパス生成方法であって、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得ステップと、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得ステップであり、説明文データから属性名及び属性値が連続して現れる文又は語句を検索し、該文又は語句に含まれる属性値を基準語として取得し、或いは、属性値に付加される接頭辞又は接尾辞を用いて、説明文データから基準語を取得する、該基準語取得ステップと、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得ステップにおいて取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、属性名と属性値とを関連付けて記憶するタグ情報記憶部を参照して、説明文データに含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する付与ステップと、付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、を含む。
【００２２】
本発明の別の側面に係るコーパス生成プログラムは、コンピュータを、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得部であり、説明文データから属性名及び属性値が連続して現れる文又は語句を検索し、該文又は語句に含まれる属性値を基準語として取得し、或いは、属性値に付加される接頭辞又は接尾辞を用いて、説明文データから基準語を取得する、該基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、属性名と属性値とを関連付けて記憶するタグ情報記憶部を参照して、説明文データに含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、して機能させる。
【００２３】
上記の形態によれば、説明文データに含まれる属性値の候補の内、上位語と一致する属性値に基準語に対応する属性タグが付与される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。反対に、基準語及びその上位語とは異なる属性値は提示対象に関する属性値ではないと推認される。本形態では、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に対して、当該属性値の候補に対応する属性タグが付与されるので、提示対象に関する属性値ではない語句に対して誤って属性タグが付与されることを防止することができる。
【発明の効果】
【００２４】
本発明の一側面によれば、提示対象の特徴を示すものではない語句に対して属性タグを誤って付与することを抑制することができる。
【図面の簡単な説明】
【００２５】
【図１】第１実施形態に係るコーパス生成装置の機能構成を示す図である。
【図２】図１に示すコーパス生成装置のハードウェア構成を示す図である。
【図３】商品ページの一例を示す図である。
【図４】上下関係情報の一例を示す図である。
【図５】タグ情報の一例を示す図である。
【図６】（ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性リストの一例であり、（ｃ）は出力部により出力されたコーパスデータの一例を示す図である。
【図７】商品情報の一例を示す図である。
【図８】（ａ）は機械学習の対象となるコーパスデータの一例であり、（ｂ）は解析の対象となる説明文データの一例であり、（ｃ）は属性タグが付与された説明文データの一例を示す図である。
【図９】上下関係情報の一例を示す図である。
【図１０】（ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性タグが付与された説明文データの一例である。
【図１１】（ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性タグが付与された説明文データの一例である。
【図１２】第１実施形態に係るコーパス生成方法の処理を示すフロー図である。
【図１３】第１実施形態に係るコーパス生成プログラムの構成を示す図である。
【図１４】第２実施形態に係るコーパス生成装置の機能構成を示す図である。
【図１５】（ａ）はコーパスデータの一例であり、（ｂ）は更新されたコーパスデータの一例である。
【図１６】第２実施形態に係るコーパス生成方法の処理を示すフロー図である。
【図１７】第３実施形態に係るコーパス生成装置の機能構成を示す図である。
【図１８】（ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性タグが付与された説明文データの一例である。
【図１９】第３実施形態に係るコーパス生成方法の処理を示すフロー図である。
【発明を実施するための形態】
【００２６】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００２７】
（第１実施形態）
図１は、第１実施形態に係るコーパス生成装置１の機能的構成を示す図である。図１に示すように、コーパス生成装置１はウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８及び商品情報登録部（提示対象情報登録部）２０を備えている。コーパス生成装置１は、提示対象に関するウェブページに含まれる説明文データに対して属性タグを付与し、属性タグが付与された説明文をコーパスデータとして出力する装置である。以下では、コーパスデータの生成に用いるウェブページにおける提示対象が商品である場合について説明するが、提示対象は商品に限定されない。
【００２８】
このコーパス生成装置１は、図２に示すように、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクなどで構成される補助記憶部１０３と、ネットワークカードなどで構成される通信制御部１０４と、キーボードやマウスなどの入力部１０５と、モニタなどの出力部１０６とで構成される。図１に示すこのコーパス生成装置１の各機能は、ＣＰＵ１０１や主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力部１０５、出力部１０６などを動作させ、主記憶部１０２や補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２や補助記憶部１０３内に格納される。
【００２９】
ウェブページ取得部１２は、商品に関する説明文データを含む商品ページ（ウェブページ）を取得する機能要素である。ウェブページ取得部１２は、商品ページ記憶部２２にアクセス可能とされており、商品ページ記憶部２２に記憶されている商品ページを取得する。ウェブページ取得部１２は、取得した商品ページを基準語取得部１４に出力する。
【００３０】
商品ページ記憶部２２は、電子商取引サイトにおいて販売される商品に関する商品ページを記憶している機能要素である。図３は、商品ページ記憶部２２に記憶されている商品ページＭ１の一例である。商品ページＭ１は、商品画像Ｂ１、説明文データＤ１及び属性リストＬ１を含む。説明文データＤ１は、商品ページＭ１において販売される商品の特徴等を説明した自然文からなる文字列データである。属性リストＬ１は、商品に関する属性名Ａ１と属性値Ｖ１とを対応付けたものである。ここで、属性名とは属性の項目名であり、属性値とは具体的な属性の値である。属性リストＬ１は、例えば商品を販売する店舗の運営者により作成される。
【００３１】
基準語取得部１４は、ウェブページ取得部１２から基準語を取得する機能要素である。基準語とは、商品の特徴を表す属性値である蓋然性が高い語句であり、説明文データＤ１に含まれる属性値を抽出するための基準として用いられる。一実施形態では、基準語取得部１４は、ウェブページ取得部１２から出力された商品ページに含まれる属性リストＬ１から属性値Ｖ１を基準語として取得し得る。属性リストＬ１に含まれる属性値Ｖ１は、商品を販売する店舗の運営者によって登録された情報であるので、商品ページＭ１で販売される商品の特徴を表す属性値である蓋然性が極めて高い語句である。
【００３２】
なお、基準語取得部１４は、商品ページＭ１に含まれる属性リストＬ１からではなく、商品ページＭ１内の説明文データＤ１から基準語を取得してもよい。この場合には、基準語取得部１４は、構文解析器を用いて、説明文データＤ１に含まれる属性値のうち、商品の特性を表す属性値である蓋然性が高い属性値を基準語として抽出する。例えば、基準語取得部１４は、属性名及び属性値が連続して現れる文や語句を説明文データＤ１から検索し、その属性値を基準語として取得する。一例としては、説明文データＤ１に「産地はブルゴーニュです。」という文を検出した場合には、「ブルゴーニュ」を基準語として検出する。また、基準語取得部１４は、例えば「フランス産」の「産」や「シャトーマルゴー」の「シャトー」というように、属性を表し、属性値に付加される接頭辞、接尾辞を用いて説明文データから基準語を取得してもよい。基準語取得部１４は、取得した基準語を示す情報を付与部１６に出力する。
【００３３】
付与部１６は、上下関係情報記憶部２４に記憶される上下関係情報から、基準語取得部１４により取得された基準語よりも上位階層に属する属性値である上位語を抽出し、説明文データＤ１に含まれる上位語に対して、基準語に対応する属性タグを付与する機能要素である。付与部１６は、上下関係情報記憶部２４及びタグ情報記憶部２６にアクセス可能とされている。
【００３４】
上下関係情報記憶部２４は、属性値間の概念的な上下関係を階層的に表す上下関係情報を記憶している。ここでいう上下関係とは、上位下位関係及び部分全体関係を含む概念である。上限関係情報は複数の階層を有し、属性値をノードとする木構造を有している。上下関係情報には階層が深くなるにつれて概念的に小さい区分を表す属性値が格納されている。図４は、上下関係情報のデータ構造を概念的に示す一例である。図４に示す上限関係データでは、最上位の階層に属性値「フランス」が格納されている。その下位階層には「フランス」の下位区分である属性値「ブルゴーニュ」、「ボルドー」、「シャンパーニュ」等が格納されている。更に、属性値「ブルゴーニュ」の下位階層には属性値「ブルゴーニュ」の下位区分である属性値「コート・ド・ニュイ」が格納されており、その下位階層には属性値「マルサネ」が格納されている。また、属性値「ボルドー」の下位階層には「ボルドー」の下位区分である属性値「サン・テステフ」、「ポイヤック」が格納されている。また、図４に示す上限関係データでは、属性値「フランス」に関する系列とは独立する系列として、最上位の階層に属性値「イタリア」が格納されている。その下位階層には属性値「イタリア」の下位区分を示す属性値「ピエモンテ」、「トスカーナ」等が格納されている。
【００３５】
タグ情報記憶部２６は、属性名と属性値が関連付けられたタグ情報を記憶している。図５は、タグ情報の一例を示す図である。図５に示すように、タグ情報は、上下関係情報とは異なり階層構造を有しておらず、一の属性名に複数の属性値が関連付けられている。図５に示すタグ情報では、属性名「産地」に属性値として「フランス、イタリア、ブルゴーニュ、コート・ド・ニュイ」等が関連付けられている。このタグ情報は、例えば「フランス」、「イタリア」、「ブルゴーニュ」、「コート・ド・ニュイ」という語句が「産地」を表す属性値であることを示している。また、図５に示すタグ情報では、属性名「タイプ」、「品種」に対しても対応する属性値が関連付けられている。
【００３６】
以下、図４〜６を参照して、付与部１６が説明文データに対して属性タグを付与する例を具体的に説明する。
【００３７】
図６（ａ）は、商品ページに含まれる説明文データＤ２の一例を示す図である。説明文データＤ２は、産地に関する語句として「フランス」、「ブルゴーニュ」及び「ピエモンテ」を含んでいる。図６（ｂ）は、商品ページに含まれる属性リストＬ２の一例を示す図である。属性リストＬ２に含まれる属性値は、上述した基準語取得部１４により取得され付与部１６に出力される。以下では、基準語取得部１４が属性リストＬ２に含まれる属性値Ｖ２である「ブルゴーニュ」を基準語として付与部１６に出力したものとして説明する。
【００３８】
付与部１６は、上下関係情報から基準語である「ブルゴーニュ」を検索し、「ブルゴーニュ」よりも上位階層に属する上位語を抽出する。図４に示す上下関係情報では、最上位の階層から１つ下の階層に属性値「ブルゴーニュ」が含まれているので、付与部１６は、「ブルゴーニュ」の上位階層に属する「フランス」を上位語として抽出する。次に、付与部１６は、基準語「ブルゴーニュ」に対応する属性名をタグ情報記憶部２６に記憶されるタグ情報を参照して取得する。図５に示すタグ情報では、基準語「ブルゴーニュ」には属性名「産地」が対応付けられている。付与部１６は、このように上位語及び基準語に対応する属性名を取得すると、説明文データＤ２に含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する。
【００３９】
また、一実施形態では、付与部１６は説明文データＤ２に含まれる基準語に対しても当該基準語に対応する属性タグを更に追加してもよい。この場合、付与部１６は、タグ情報記憶部２６を参照し、基準語「ブルゴーニュ」に対応する属性名「産地」を説明文データＤ２に付与する。
【００４０】
図６（ｃ）は、付与部１６により属性タグが付与された説明文データＣ２の一例を示す図である。図６（ｃ）に示すように、説明文データＣ２には属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」が説明文データＣ２内の上位語「フランス」及び基準語「ブルゴーニュ」に付されている。なお、付与部１６は、説明文データＤ２に含まれる語句「ピエモンテ」には、産地に関する属性タグを付与しない。「ピエモンテ」は上位語又は基準語ではないので、産地に関する語句であるものの、商品の特徴を示す属性値ではないと推認されるためである。
【００４１】
なお、属性名を示す属性タグは、必ずしもタグ情報記憶部２６から取得されなくてもよい。例えば、付与部１６は、属性リストＬ２において基準語となる属性値Ｖ２に対応する属性名Ａ２を属性名として取得し、その属性名を示す属性タグを基準語及び上位語に付与してもよい。図６（ｂ）に示す例では、属性リストＬ２から基準語として「ブルゴーニュ」を取得した場合には、付与部１６は属性リストＬ２において属性値「ブルゴーニュ」に対応する属性名「産地」を取得し、属性名「産地」に対応する属性タグを説明文データＤ２内の上位語及び基準語に付与する。
【００４２】
図１に戻り、付与部１６は、上述のように属性タグが付与された説明文データＣ２を出力部１８に出力する。出力部１８は、付与部１６から出力された属性タグ付きの説明文データＣ２をコーパスデータとしてコーパスデータ記憶部２８に出力する。コーパスデータ記憶部２８は、出力部１８から出力されたコーパスデータを記憶する機能要素である。
【００４３】
商品情報登録部２０は、出力部１８から出力されたコーパスデータから取得される属性名と属性値との組からなる商品タグを商品ページに関連付けて記憶する機能要素である。商品情報登録部２０は、コーパスデータ記憶部２８及び商品情報記憶部３０にアクセス可能とされている。
【００４４】
商品情報記憶部３０は、仮想店舗が販売する商品に関する商品情報を記憶する機能要素である。図７は、商品情報の一例を示す図である。図７に示す商品情報の各レコードは、商品を提供する仮想店舗の店舗ＩＤ、商品を一意に特定する商品ＩＤ、商品名、カテゴリ、価格、商品ページのＵＲＬ、在庫数及び商品タグを含んでいる。ただし、商品情報に含まれる情報はこれらに限定されない。
【００４５】
商品情報登録部２０は、コーパスデータ記憶部２８からコーパスデータを取得し、当該コーパスデータに付与された属性タグを用いて属性名と属性値との組を取得する。そして、コーパスデータが取得された商品ページに対応する商品情報のレコードを抽出し、そのレコードの商品タグに属性名と属性値との組を登録する。この商品タグは、電子商取引サイトからユーザが目的とする商品ページを絞り込むためのキーとして利用される。
【００４６】
また、コーパスデータ記憶部２８に記憶されたコーパスデータは、例えば、属性リストを自動生成する解析装置を機械学習を用いて構築することができる。このような解析装置を用いることにより商品ページに含まれる説明文データから属性リストを自動生成することができる。例えば、例えば、図８（ａ）に示されるようなコーパスデータＣＸを用いて機械学習を適用すると、解析装置は、文脈の中で「産地」の属性値が現れる箇所を認識できるようになる。
【００４７】
このようなコーパスデータＣＸを用いて機械学習を適用した後に、解析装置が図８（ｂ）に示されるような説明文データＤ３の解析を実施すると、解析装置は、その文の構造及び文脈等から「チリ」が「産地」を表す属性値であることを検出し、図８（ｃ）に示すように、「チリ」の部分にタグ「＜産地＞・・・＜／産地＞」が付された出力データＣ３を生成できる。そして、解析装置は、出力データＣ３に基づき、属性名「産地」と属性値「チリ」を対応付けた属性リストを生成できる。これにより、説明文データＤ３が含まれていた商品ページが属性リストを有していなくとも、属性名「産地」と属性値「チリ」を対応付けた属性リストを当該商品ページに含ませることが可能となる。
【００４８】
また、付与部１６による属性タグの付与処理は、種々の態様に変形可能である。以下では、付与部１６の第１の変形例について説明する。
【００４９】
（第１の変形例）
第１の変形例に係る付与部１６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる１以上の属性値に対して、基準語に対応する属性タグを更に付与する。以下、図９を参照して、第１の変形例に係る付与部１６の処理を具体的に説明する。図９は、上下関係情報の別の一例を示す図である。
【００５０】
例えば基準語が「ブルゴーニュ」である場合、付与部１６は、「ブルゴーニュ」をルートノードとし、且つ分岐を有しない部分木として「ブルゴーニュ」、「コート・ド・ニュイ」及び「マルサネ」をノードとして含む部分木ＰＴを抽出する。次に、部分木ＰＴに含まれる属性値のうち、基準語である「ブルゴーニュ」を除いた「コート・ド・ニュイ」及び「マルサネ」を抽出する。次に、付与部１６は基準語「ブルゴーニュ」に対応する属性名「産地」をタグ情報記憶部２６に記憶されるタグ情報を参照して取得する。そして、付与部１６は、説明文データに含まれる基準語「ブルゴーニュ」及び上位語「フランス」に加えて、「コート・ド・ニュイ」及び「マルサネ」にも属性タグ「産地」を付与する。
【００５１】
なお、この第１の変形例において、基準語が「ボルドー」である場合には、「ボルドー」をルートノードとし、且つ分岐を有しない部分木は存在しない。即ち、「ボルドー」の直下の階層には複数の属性値「サン・テステフ」及び「ポイヤック」が存在しており、分岐を有さない部分木は存在しない。したがって、この場合には、付与部１６は、説明文データに含まれる基準語「ボルドー」及びその上位語「フランス」のみに対して属性タグ「産地」を付与する。
【００５２】
本変形例の作用効果について説明する。基準語が商品に関する属性値である場合には、分岐を有しない部分木ＰＴに含まれる属性値も商品に関する属性値であることが推認される。よって、第１の変形例に係る付与部１６によれば、説明文データ中のより多くの商品の属性値に正確な属性タグを付与することができる。
【００５３】
次に、付与部１６の第２の変形例について説明する。
【００５４】
（第２の変形例）
第２の変形例に係る付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる当該一の属性値に対して、基準語に対応する属性タグを更に付与する。以下、図９〜１１を参照して、第２の変形例に係る付与部１６に係る付与部１６の処理を具体的に説明する。
【００５５】
図１０（ａ）は、商品ページに含まれる説明文データＤ４の一例である。説明文データＤ４は、産地に関する語句として「フランス」、「ボルドー」及び「サン・テステフ」を含んでいる。ここで、例えば基準語が「ボルドー」である場合、付与部１６は基準語「ボルドー」の直下の階層に属する属性値を検索する。図９に示す上下関係情報では、「ボルドー」の下位階層には「サン・テステフ」及び「ポイヤック」の２つの属性値が存在する。説明文データＤ４は、これら２つの属性値のうち、一の属性地である「サン・テステフ」のみを含んでいる。この場合、付与部１６は「サン・テステフ」も商品に関する属性値であるとして基準語に対応する属性タグを付与する。図１０（ｂ）は、本変形例の付与部１６により説明文データＤ４に属性タグが付与された説明文データＣ４を示している。図１０（ｂ）に示すように、説明文データＣ４には属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」が説明文データＣ４内の上位語「フランス」及び基準語「ボルドー」に加えて、属性値「サン・テステフ」にも付されている。
【００５６】
図１１（ａ）は、商品ページに含まれる説明文データの別の一例である。この説明文データＤ５は、産地に関する語句として「フランス」、「ボルドー」、「サン・テステフ」及び「ポイヤック」を含んでいる。この説明文データＤ５は、基準語「ボルドー」の直下の階層に属する複数の属性値「サン・テステフ」及び「ポイヤック」の双方を含んでいる。この場合には、「サン・テステフ」及び「ポイヤック」のうち、どちらが商品の関する属性値であるか判断することが困難であるので、付与部１６は、「サン・テステフ」及び「ポイヤック」には属性タグを付与せず、基準語「ボルドー」及びその上位語「フランス」のみに対して属性タグ「産地」を付与する。図１１（ｂ）は、本変形例の付与部１６により説明文データＤ５に属性タグが付与された説明文データＣ５を示している。図１１（ｂ）に示すように、説明文データＣ５では属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」が説明文データＣ４内の上位語「フランス」及び基準語「ボルドー」にのみ付されている。その一方で、基準語「ボルドー」の下位語である「サン・テステフ」および「ポイヤック」を含む文は最終的なコーパスに含めないようにしてもよい。これはコーパスの品質を向上させるためである。
【００５７】
本変形例の作用効果について説明する。基準語の直下の階層に複数の属性値が存在する場合であっても、説明文に当該複数の属性値のうちの１つのみが含まれている場合には、当該属性値は商品に関する属性値である蓋然性が高い。したがって、本形態によれば、説明文データ中のより多くの商品の属性値に、正確な属性タグを付与することができる。
【００５８】
次に、図１２を用いて、コーパス生成装置１の動作を説明するとともに第１実施形態に係るコーパス生成方法について説明する。
【００５９】
まず、コーパス生成装置１のウェブページ取得部１２は、商品ページ記憶部２２から商品に関する説明文データを含むウェブページを取得する（ステップＳ１、ウェブページ取得ステップ）。次に、基準語取得部１４は、ステップＳ１において取得したウェブページから基準語を取得する（ステップＳ２、基準語取得ステップ）。この際、基準語はウェブページ内に含まれる属性リストから取得され得る。続いて、付与部１６は、上下関係情報記憶部２４に記憶される上下関係情報から、ステップＳ２において取得された基準語よりも上位階層に属する属性値である上位語を抽出する（ステップＳ３）。
【００６０】
その後、付与部１６は、商品ページの説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する（ステップＳ４、付与ステップ）。なおこの際、商品ページの説明文データに含まれる基準語に対しても基準語に対応する属性タグを付与してもよい。更に付与部１６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる該１以上の属性値に対して、基準語に対応する属性タグを更に付与してもよい。あるいは、付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる一の属性値に対して、基準語に対応する属性タグを更に付与してもよい。
【００６１】
続いて、出力部１８は、ステップＳ４において属性タグが付与された説明文データをコーパスデータとしてコーパスデータ記憶部２８に格納する（ステップＳ５、出力ステップ）。以上のようにして、コーパス生成装置１はコーパスデータを生成する。
【００６２】
次に、図１３を用いて、上述した一連の処理をコンピュータに実行させるためのコーパス生成プログラムＰ１を説明する。図１３は、実施形態に係るコーパス生成プログラムＰ１の構成を示す図である。なお、このプログラムをコンピュータに適用することによりコンピュータを上記機能を有するコーパス生成装置１として動作させることができる。
【００６３】
コーパス生成プログラムＰ１は、メインモジュールＰ２、ウェブページ取得モジュールＰ３、基準語取得モジュールＰ４、付与モジュールＰ５、出力モジュールＰ６、及び商品情報登録モジュールＰ７を備えている。
【００６４】
メインモジュールＰ２は、処理を統括的に制御する部分である。ウェブページ取得モジュールＰ３、基準語取得モジュールＰ４、付与モジュールＰ５、出力モジュールＰ６、及び商品情報登録モジュールＰ７を実行することにより実現される機能はそれぞれ、上記のウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８及び商品情報登録部２０の機能と同様である。
【００６５】
コーパス生成プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に記録された上で提供される。また、コーパス生成プログラムＰ１は、搬送波に重畳されたデータ信号としてネットワークＮを介して提供されてもよい。
【００６６】
以上説明したように、コーパス生成装置１によれば、説明文データに提示対象に関する属性値である基準語の上位語が含まれる場合には、説明文データに含まれる上位語に対して基準語に対応する属性タグが付与される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。このため、説明文データ内の上位語に対して属性タグを付与することにより、提示対象の特徴を示すものではない語句に対して誤って属性タグを付与することを抑制することができる。そして、このように属性タグが付与された提示対象の説明文データをコーパスデータとして出力することにより、品質の高いコーパスデータを生成することができる。また、付与部１６は、説明文データに含まれる基準語に対して、該基準語に対応する属性タグを更に付与しているので、説明文データ中のより多くの商品の属性値に正確な属性タグを付与することができる。
【００６７】
また、コーパス生成装置１では、基準語取得部１４は、属性リストにおける属性値を基準語として取得している。属性リストにおける商品の属性値は商品に関する属性値である蓋然性が高いので、コーパス生成装置１は適切な基準語を取得することができる。
【００６８】
（第２実施形態）
次に、第２実施形態に係るコーパス生成装置１Ａについて説明する。コーパス生成装置１Ａは、既に属性タグが付与されたコーパスデータから上位語とは異なる属性値に対して付与されている属性タグを除去する装置である。以下では、主に第１実施形態と相違する事項について説明し、第１実施形態と同一又は同等の事項については説明を省略する。
【００６９】
図１４は、コーパス生成装置１Ａの機能的構成を示す図である。図１４に示すように、コーパス生成装置１Ａはコーパス取得部３２、基準語取得部１４、除去部３６、出力部１８、及び商品情報登録部２０を備えている。
【００７０】
コーパス取得部３２は、コーパスデータ記憶部２８から属性値に対して属性タグが付与されたコーパスデータを取得する機能要素である。コーパス取得部３２により取得されるコーパスデータは、説明文データに含まれる属性値に属性タグが付与されたテキストデータであってもよいし、説明文データ及び属性リストを含み、その説明文データに含まれる属性値に属性タグが付与されたウェブページデータであってもよい。
【００７１】
基準語取得部１４は、コーパス取得部３２によって取得されたコーパスデータから商品に関する属性値である基準語を取得する機能要素である。基準語取得部１４は、例えばコーパス取得部３２によって取得されたコーパスデータが説明文データ及び属性リストを含むウェブページデータである場合には、コーパスデータに含まれる属性リストから属性値を基準語として取得し得る。また、基準語取得部１４は、例えば例えばコーパス取得部３２によって取得されたコーパスデータが説明文データに含まれる属性値に属性タグが付与されたテキストデータである場合には、構文解析器を用いてコーパスデータに含まれる属性値のうち、商品の特性を表す属性値である蓋然性が高い属性値を基準語として抽出し得る。
【００７２】
除去部３６は、属性値間の上下関係を表す上下関係情報を記憶する上下関係情報記憶部２４から、基準語取得部１４により取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、当該上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する機能要素である。除去部３６は、基準語がコーパスデータに含まれている場合には、基準語に付与された属性タグをコーパスデータから除去せずに残すこととしてもよい。
【００７３】
以下、図４、５、１５を参照して、除去部３６がコーパスデータから属性タグを除去する例を具体的に説明する。ここで除去部３６は、上位語及び基準語とは異なる属性値がコーパスデータに含まれている場合に、上位語及び基準語とは異なる属性値に付与された属性タグをコーパスデータから除去するものとする。
【００７４】
図１５（ａ）は、コーパス取得部３２によって取得されたコーパスデータＣ６ａの一例を示す図である。コーパスデータＣ６ａは、属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」がコーパスデータＣ６ａ内の語句「フランス」、「ブルゴーニュ」及び「ピエモンテ」に付されている。ここでは、基準語取得部１４がコーパスデータＣ６ａから「ブルゴーニュ」を基準語として付与部１６に出力したものとして説明する。
【００７５】
除去部３６は、上下関係情報から基準語である「ブルゴーニュ」を検索し、「ブルゴーニュ」よりも上位階層に属する上位語を抽出する。図４に示す上下関係情報では、最上位の階層から１つ下の階層に基準語「ブルゴーニュ」が含まれているので、付与部１６は、「ブルゴーニュ」の上位階層に属する「フランス」を上位語として抽出する。次に、除去部３６は、コーパスデータＣ６ａに属性タグが付与された語句を取得し、上位語とは異なる語句を検索する。ここでは、コーパスデータＣ６ａに属性タグが付与された語句「フランス」、「ブルゴーニュ」及び「ピエモンテ」の内、「フランス」は上位語と同一であり、「ブルゴーニュ」は基準語と同一であるが、「ピエモンテ」は上位語及び基準語の何れとも異なっている。そこで、除去部３６は、コーパスデータＣ６ａに含まれる語句「ピエモンテ」に付与された属性タグを除去する。
【００７６】
図１５（ｂ）は、除去部３６により属性タグが除去されたコーパスデータＣ６ｂの一例を示す図である。図１５（ｂ）に示すように、コーパスデータＣ６ｂでは、語句「フランス」、「ブルゴーニュ」に付与された属性タグは維持されているが、語句「ピエモンテ」に付与された属性タグは除去されている。「ピエモンテ」は上位語又は基準語とは異なっているので、商品の特徴を示す属性値ではないと推認されるためである。
【００７７】
除去部３６は、属性タグの一部が除去されたコーパスデータを出力部１８に出力する。出力部１８は、除去部３６から出力されたコーパスデータをコーパスデータ記憶部２８に出力し、コーパスデータ記憶部２８内のコーパスデータを更新する。商品情報登録部２０の機能は第１実施形態で説明した通りであるので説明を省略する。
【００７８】
なお、一実施形態では、除去部３６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、当該１以上の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。更に、除去部３６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみがコーパスデータに含まれる場合には、当該一の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。
【００７９】
次に、図１６を用いて、コーパス生成装置１Ａの動作を説明するとともに第２実施形態に係るコーパス生成方法について説明する。
【００８０】
まず、コーパス生成装置１Ａのコーパス取得部３２は、コーパスデータ記憶部２８から属性値に対して属性タグが付与されたコーパスデータを取得する（ステップＳ１１、コーパス取得ステップ）。次に、基準語取得部１４は、ステップＳ１において取得したコーパスデータから基準語を取得する（ステップＳ１２）。続いて、除去部３６は、上下関係情報記憶部２４に記憶される上下関係情報から、ステップＳ１２において取得された基準語よりも上位階層に属する属性値である上位語を抽出する（ステップＳ１３）。
【００８１】
その後、除去部３６は、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する（ステップＳ１４、除去ステップ）。なおこの際、除去部３６は、基準語とは異なる属性値がコーパスデータに含まれている場合に、基準語に付与された属性タグをコーパスデータから除去せずに残してもよい。また、除去部３６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、当該１以上の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。あるいは、除去部３６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみがコーパスデータに含まれる場合には、当該一の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。
【００８２】
続いて、出力部１８は、ステップＳ１４において属性タグが除去されたコーパスデータをコーパスデータ記憶部２８に格納する（ステップＳ１５）。以上のようにして、コーパス生成装置１Ａは更新されたコーパスデータを生成する。
【００８３】
次に、第２実施形態に係るコーパス生成プログラムを説明する。
【００８４】
コーパス生成プログラムは、メインモジュール、コーパス取得モジュール、基準語取得モジュール、除去モジュール、出力モジュール、及び商品情報登録モジュールを備えている。
【００８５】
メインモジュールは、コーパス生成プログラムを統括的に制御する部分である。コーパス取得モジュール、基準語取得モジュール、除去モジュール、出力モジュール、及び商品情報登録モジュールを実行することにより実現される機能はそれぞれ、上記のコーパス取得部３２、基準語取得部１４、除去部３６、出力部１８、及び商品情報登録部２０の機能と同様である。
【００８６】
本実施形態に係るコーパス生成プログラムも、第１実施形態のコーパス生成プログラムＰ１と同様に様々な方法で配布しうる。
【００８７】
以上説明したように、コーパス生成装置１Ａによれば、上位語とは異なる属性値がコーパスデータに含まれている場合には、上位語とは異なる属性値に付与された属性タグがコーパスデータから除去される。基準語が商品に関する属性値である場合には、その上位語も商品に関する属性値であることが推認される。反対に、基準語及びその上位語とは異なる属性値は商品に関する属性値ではないと推認される。このため、コーパスデータに含まれる上位語とは異なる属性値に付与された属性タグを除去することにより、正確に属性タグが付与されたコーパスデータを生成することができる。
【００８８】
（第３実施形態）
次に、第３実施形態に係るコーパス生成装置１Ｂについて説明する。コーパス生成装置１Ｂは、説明データを含むウェブページから辞書データを用いて属性値の候補を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に属性タグを付与する装置である。以下では、主に第１実施形態と相違する事項について説明し、第１実施形態と同一又は同等の事項については説明を省略する。
【００８９】
図１７は、コーパス生成装置１Ｂの機能的構成を示す図である。図１６に示すように、ウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８、商品情報登録部２０に加えて候補抽出部４２を備えている。
【００９０】
候補抽出部４２は、属性名と属性値とが関連付けられた辞書データを記憶するタグ情報記憶部（辞書データ記憶部）２６を参照し、説明文データに含まれる１以上の属性値の候補を抽出する機能要素である。候補抽出部４２は、タグ情報記憶部２６にアクセス可能とされている。第１実施形態で説明したように、タグ情報記憶部２６は、属性名と属性値が関連付けられたタグ情報を記憶している。本実施形態では、このタグ情報は辞書データとしても機能する。候補抽出部４２は、説明文データから辞書データの属性値と一致する語句を抽出し、抽出した語句を商品に関する属性値の候補とする。また、候補抽出部４２は、抽出した属性値の候補に対応する属性名を辞書データから取得する。候補抽出部４２は、この属性値の候補及びその属性名を付与部１６に出力する。
【００９１】
本実施形態では、付与部１６は、上下関係情報記憶部２４から、基準語取得部１４により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に、属性値の候補に対応する属性タグを付与する。一方、説明文データに含まれる属性値の候補の内、上位語と一致しない属性値の候補には属性タグを付与しない。また、付与部１６は、説明文データに含まれる属性値の候補の内、基準語と一致する属性値の候補に、属性値の候補に対応する属性タグを更に付与してもよい。
【００９２】
以下、図４、５、１８を参照して、付与部１６が説明文データに属性タグを付与する例を具体的に説明する。ここで付与部１６は、説明文データに含まれる属性値の候補の内、上位語又は基準語と一致する属性値の候補に、属性値の候補に対応する属性タグを付与するものとする。
【００９３】
図１８（ａ）は、商品ページに含まれる説明文データＤ７の一例を示す図である。説明文データＤ７は、産地に関する語句として「フランス」、「ブルゴーニュ」及び「ピエモンテ」を含んでいる。ここでは、基準語取得部１４が商品ページから「ブルゴーニュ」を基準語として取得し、この基準語を付与部１６に出力したものとして説明する。
【００９４】
候補抽出部４２は、タグ情報記憶部２６に記憶された辞書データを参照し、説明文データに含まれる１以上の属性値の候補を抽出する。ここでは、候補抽出部４２は、説明文データＤ７に含まれる語句「フランス」、「ブルゴーニュ」及び「ピエモンテ」を属性値の候補として抽出する。また、候補抽出部４２は、辞書データを参照し、これらの語句に対応する属性名「産地」を取得する。
【００９５】
付与部１６は、上下関係情報から基準語である「ブルゴーニュ」を検索し、「ブルゴーニュ」よりも上位階層に属する上位語を抽出する。図４に示す上下関係情報では、最上位の階層から１つ下の階層に基準語「ブルゴーニュ」が含まれているので、付与部１６は、「ブルゴーニュ」の上位階層に属する「フランス」を上位語として抽出する。次に、付与部１６は、属性値の候補の内、上位語と一致する属性値の候補を選択する。ここでは、属性値の候補「フランス」、「ブルゴーニュ」及び「ピエモンテ」の内、「フランス」は上位語と一致し、「ブルゴーニュ」は基準語と一致するが、「ピエモンテ」は上位語及び基準語の何れとも一致しない。そこで、付与部１６は、上位語又は基準語と一致する「フランス」及び「ブルゴーニュ」に対して属性名「産地」を示す属性タグを付与する。
【００９６】
図１８（ｂ）は、付与部１６により属性タグが付与された説明文データＣ７の一例を示す図である。図１８（ｂ）に示すように、説明文データＣ７では、語句「フランス」、「ブルゴーニュ」に属性タグが付与され、語句「ピエモンテ」には属性タグが付与されていない。「ピエモンテ」は上位語又は基準語と一致していないので、商品の特徴を示す属性値ではないと推認されるためである。
【００９７】
なお、一実施形態では、付与部１６は上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる属性値の候補の内、当該１以上の属性値と一致する属性値に、属性値の候補に対応する属性タグを更に付与してもよい。あるいは、付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみがコーパスデータに含まれる場合には、説明文データに含まれる属性値の候補の内、当該一の属性値と一致する属性値に、属性値の候補に対応する属性タグを更に付与してもよい。
【００９８】
付与部１６は、属性タグが付与された説明文データを出力部１８に出力する。出力部１８は、付与部１６から出力された説明文データをコーパスデータとしてコーパスデータ記憶部２８に出力する。
【００９９】
次に、図１９を用いて、コーパス生成装置１Ｂの動作を説明するとともに第３実施形態に係るコーパス生成方法について説明する。
【０１００】
まず、コーパス生成装置１Ｂのウェブページ取得部１２は、商品ページ記憶部２２から商品に関する説明文データを含むウェブページを取得する（ステップＳ２１）。次に、候補抽出部４２は、辞書データを記憶するタグ情報記憶部２６を参照し、説明文データに含まれる１以上の属性値の候補を抽出する（ステップＳ２２、候補抽出ステップ）。続いて、基準語取得部１４は、ステップＳ２１において取得したウェブページから基準語を取得する（ステップＳ２３）。続いて、付与部１６は、上下関係情報記憶部２４に記憶される上下関係情報から、ステップＳ２３において取得された基準語よりも上位階層に属する属性値である上位語を抽出する（ステップＳ２４）。
【０１０１】
その後、付与部１６は、説明文データに含まれる属性値の候補の内、上位語と一致する属性値に、属性値の候補に対応する属性タグを付与する（ステップＳ２５）。この際、付与部１６は、基準語と一致する属性値が説明文データに含まれている場合に、説明文データに含まれる属性値の候補の内、基準語と一致する属性値に、属性値の候補に対応する属性タグを更に付与してもよい。更に、付与部１６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる属性値の候補の内、当該１以上の属性値と一致する属性値の候補に、属性値の候補に対応する属性タグを更に付与してもよい。あるいは、付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる属性値の候補の内、当該一の属性値と一致する属性値の候補に、当該属性値の候補に対応する属性タグを更に付与してもよい。
【０１０２】
続いて、出力部１８は、ステップＳ２５において属性タグが付与された説明文データをコーパスデータ記憶部２８に格納する（ステップＳ２６）。以上のようにして、コーパス生成装置１Ｂはコーパスデータを生成する。
【０１０３】
次に、第３実施形態に係るコーパス生成プログラムを説明する。
【０１０４】
コーパス生成プログラムは、メインモジュール、ウェブページ取得モジュール、基準語取得モジュール、付与モジュール、出力モジュール、商品情報登録モジュール、及び候補抽出モジュールを備えている。
【０１０５】
メインモジュールは、コーパス生成プログラムを統括的に制御する部分である。ウェブページ取得モジュール、基準語取得モジュール、付与モジュール、出力モジュール、商品情報登録モジュール、及び候補抽出モジュールを実行することにより実現される機能はそれぞれ、上記のウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８、商品情報登録部２０、及び候補抽出部４２の機能と同様である。
【０１０６】
本実施形態に係るコーパス生成プログラムも、第１実施形態のコーパス生成プログラムＰ１と同様に様々な方法で配布しうる。
【０１０７】
以上説明したように、コーパス生成装置１Ｂによれば、説明文データに含まれる属性値の候補の内、上位語と一致する属性値に基準語に対応する属性タグが付与される。基準語が商品に関する属性値である場合には、その上位語も商品に関する属性値であることが推認される。反対に、基準語及びその上位語とは異なる属性値は商品に関する属性値ではないと推認される。コーパス生成装置１Ｂでは、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に、当該属性値の候補に対応する属性タグが付与されるので、商品に関する属性値ではない語句に対して誤って属性タグが付与されることを防止することができる。
【０１０８】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【０１０９】
例えば、上記実施形態では、ワインの商品ページに含まれる商品の説明文データに対して属性タグを付与する例について説明したが、ワインとは異なる商品に関する商品ページの説明文データに属性タグを付与してもよい。また、コーパス生成装置１は、例えば「品種」、「タイプ」、「容量」など、産地以外の属性タグを説明文データに付与してもよい。
【０１１０】
上記実施形態では、説明文データ中の上位語、基準語等に同一の属性タグを付与しているが、それぞれに異なる属性タグを付与してもよい。例えば、上位語が「フランス」であり、基準語が「ブルゴーニュ」である場合に、上位語には属性名「国」に関する属性タグを付与し、基準語には属性名「地方」に関する属性タグを付与してもよい。
【符号の説明】
【０１１１】
１…コーパス生成装置、１２…ウェブページ取得部、１４…基準語取得部、１６…付与部、１８…出力部、２０…商品情報登録部、２２…商品ページ記憶部、２４…上下関係情報記憶部、２６…タグ情報記憶部、２８…コーパスデータ記憶部、３０…商品情報記憶部、３２…コーパス取得部、３６…除去部、４２…候補抽出部、Ｄ１〜Ｄ５，Ｄ７…説明文データ、Ｃ２〜Ｃ７…説明文データ、Ｌ１，Ｌ２…属性リスト、Ｍ１…商品ページ、Ｎ…ネットワーク、Ｐ１…コーパス生成プログラム、Ｐ２…メインモジュール、Ｐ３…ウェブページ取得モジュール、Ｐ４…基準語取得モジュール、Ｐ５…付与モジュール、Ｐ６…出力モジュール、Ｐ７…商品情報登録モジュール、ＰＴ…部分木。
【要約】
実施形態に係るコーパス生成装置は、ウェブページ取得部、基準語取得部、付与部及び出力部を備える。ウェブページ取得部は、提示対象に関する説明文データを含むウェブページを取得する。基準語取得部は、ウェブページから提示対象に関する属性値である基準語を取得する。付与部は、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する。出力部は、付与部により属性タグが付与された説明文データをコーパスデータとして出力する。【図１】
0005576003.tif 000002
【図２】
0005576003.tif 000003
【図３】
0005576003.tif 000004
【図４】
0005576003.tif 000005
【図５】
0005576003.tif 000006
【図６】
0005576003.tif 000007
【図７】
0005576003.tif 000008
【図８】
0005576003.tif 000009
【図９】
0005576003.tif 000010
【図１０】
0005576003.tif 000011
【図１１】
0005576003.tif 000012
【図１２】
0005576003.tif 000013
【図１３】
0005576003.tif 000014
【図１４】
0005576003.tif 000015
【図１５】
0005576003.tif 000016
【図１６】
0005576003.tif 000017
【図１７】
0005576003.tif 000018
【図１８】
0005576003.tif 000019
【図１９】
0005576003.tif 000020