(57)【要約】  本出願は、フレーズ抽出方法及び装置を提供する。方法は、ネットワークリソースの記述情報を取得することと、記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順を実行することと、記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順を実行することとを含む。本出願の技術的解決策を使用することにより、相対的に高品質のフレーズを抽出することができる。
2019508815.tif 000002
【特許請求の範囲】
【請求項１】
フレーズ抽出方法であって、
ネットワークリソースの記述情報を取得することと、
前記記述情報から明示的フレーズを抽出するべく、前記記述情報に対して明示的フレーズ抽出手順を実行することと、
前記記述情報から黙示的フレーズを抽出するべく、前記記述情報に対してモードフレーズ抽出手順を実行することと
を含む方法。
【請求項２】
前記記述情報から明示的フレーズを抽出するべく、前記記述情報に対して明示的フレーズ抽出手順を実行する前記ステップは、
予め設定された明示的フレーズ規則を読み込むことと、
前記明示的フレーズ規則に準拠した情報セグメントを前記記述情報から抽出し、且つ、前記情報セグメントを前記明示的フレーズとして使用することと
を含む、請求項１に記載の方法。
【請求項３】
前記明示的フレーズ規則に準拠した情報セグメントを前記記述情報から抽出し、且つ、前記情報セグメントを前記明示的フレーズとして使用する前記ステップは、以下：
指定された文字ストリング条件に準拠した文字ストリングを前記記述情報から抽出し、且つ、前記文字ストリングを前記明示的フレーズとして使用することと、
分野辞書内に存在しているフレーズを前記記述情報から抽出し、且つ、前記フレーズを前記明示的フレーズとして使用することと、
前記記述情報が前記ネットワークリソースの属性情報を有する場合に、前記属性情報内の属性値を抽出し、且つ、前記属性値を前記明示的フレーズとして使用することと
のうちの少なくとも１つの動作を含む、請求項２に記載の方法。
【請求項４】
前記指定された文字ストリング条件は、以下：
前記文字ストリングがハイフン「-」によって接続されている、
前記文字ストリングが出現する回数が、予め設定された回数閾値を上回っている、
前記文字ストリングが英語ワードではない、
前記文字ストリングの最後のワードが、「s」、「es」、「ex」、「ed」、「d」、「ing」、「ings」、「ry」、「ies」、「ves」、「y」、又は「a」で終了していない、
前記文字ストリングが接続詞を含んでいない、
前記文字ストリングがストップワードを含んでいない、
前記文字ストリングが、指定された量のワードを含む、
前記文字ストリングが数値を含んでいない、
前記文字ストリング内のワードの長さが、指定された長さ未満である、
前記文字ストリングの前記長さが、前記文字ストリング内に含まれている前記ワードの量を上回っている、及び、
前記文字ストリングが、指定された正規規則に準拠していない
のうちの少なくとも１つを含む、請求項３に記載の方法。
【請求項５】
前記記述情報から黙示的フレーズを抽出するべく、前記記述情報に対してモードフレーズ抽出手順を実行する前記ステップは、
予め設定されたモード組合せ規則を読み込むことと、
前記モード組合せ規則に準拠した情報セグメントを前記記述情報から抽出し、且つ、前記情報セグメントを前記黙示的フレーズとして使用することと
を含む、請求項１に記載の方法。
【請求項６】
前記モード組合せ規則に準拠した情報セグメントを前記記述情報から抽出し、且つ、前記情報セグメントを前記黙示的フレーズとして使用する前記ステップは、以下：
指定された品詞組合せ条件に準拠したワード組合せを前記記述情報から抽出し、且つ、前記ワード組合せを前記黙示的フレーズとして使用することと、
指定された正規表現に準拠したワード組合せを前記記述情報から抽出し、且つ、前記ワード組合せを前記黙示的フレーズとして使用することと、
前記記述情報が前記ネットワークリソースの属性情報を有する場合に、予め設定された生成規則に基づいて、且つ、前記属性情報に従って、前記黙示的フレーズを生成することと
のうちの少なくとも１つの動作を含む、請求項５に記載の方法。
【請求項７】
予め設定された生成規則に基づいて、且つ、前記属性情報に従って、前記黙示的フレーズを生成する前記ステップは、
前記属性情報内の属性名に従って、提示される属性名を生成し、且つ、前記黙示的フレーズを生成するべく、前記属性情報内の属性値を前記提示される属性名と組み合わせることを含む、請求項６に記載の方法。
【請求項８】
前記明示的なフレーズ及び前記黙示的なフレーズが抽出された後に、
導出されたフレーズを取得するべく、前記明示的フレーズ及び前記黙示的フレーズに対して導出を実行することを更に含む、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
導出されたフレーズを取得するべく、前記明示的フレーズ及び前記黙示的フレーズに対して導出を実行する前記ステップは、
前記明示的フレーズ又は前記黙示的フレーズ内の名詞の逆文書頻度（ＩＤＦ）の値の統計を収集することと、
フレーズセグメントを取得するべく、ＩＤＦ値が、予め設定された閾値を下回っている名詞を前記明示的フレーズ又は前記黙示的フレーズから削除することと、
前記フレーズセグメントがフレーズ条件に準拠している場合に、前記フレーズセグメントを前記導出されたフレーズとして判定することと
を含む、請求項８に記載の方法。
【請求項１０】
フレーズセットを形成するべく、前記明示的フレーズ、前記黙示的フレーズ、及び前記導出されたフレーズを組み合わせることと、
前記フレーズセットに対して、以下：
前記フレーズセット内に存在する複数形名詞を含むフレーズを判定し、且つ、前記フレーズ内の前記複数形名詞を単数形名詞に変更して戻すこと、
前記フレーズセット内に存在するストップワードを含むフレーズを判定し、且つ、前記ストップワードが前記フレーズから除去された後に得られた残りの部分がフレーズ条件に準拠している場合に、前記フレーズを前記残りの部分で置換すること、及び、
前記フレーズセット内の同語族フレーズを判定し、且つ、前記同語族フレーズ内に存在していると共に指定のワード頻度条件に準拠していないワード頻度を有するフレーズを削除することであって、前記同語族フレーズは、最初のｎ個のワードが同一であるフレーズを含み、且つ、ｎは、２以上である自然数である、削除すること
のうちの少なくとも１つの補正動作を実行することと
を更に含む、請求項８に記載の方法。
【請求項１１】
フレーズ抽出装置であって、
ネットワークリソースの記述情報を取得するように構成された取得モジュールと、
前記記述情報から明示的フレーズを抽出するべく、前記記述情報に対して明示的フレーズ抽出手順を実行するように構成された第１の抽出モジュールと、
前記記述情報から黙示的フレーズを抽出するべく、前記記述情報に対してモードフレーズ抽出手順を実行するように構成された第２の抽出モジュールと
を含む、装置。
【請求項１２】
前記第１の抽出モジュールは、特に、
予め設定された明示的フレーズ規則を読み込み、且つ、
前記明示的フレーズ規則に準拠した情報セグメントを前記記述情報から抽出し、且つ、前記情報セグメントを前記明示的フレーズとして使用する
ように構成される、請求項１１に記載の装置。
【請求項１３】
前記第１の抽出モジュールは、特に、以下：
指定された文字ストリング条件に準拠した文字ストリングを前記記述情報から抽出し、且つ、前記文字ストリングを前記明示的フレーズとして使用することと、
分野辞書内に存在しているフレーズを前記記述情報から抽出し、且つ、前記フレーズを前記明示的フレーズとして使用することと、
前記記述情報が前記ネットワークリソースの属性情報を有する場合に、前記属性情報内の属性値を抽出し、且つ、前記属性値を前記明示的フレーズとして使用することと
のうちの少なくとも１つの動作を実行するように構成される、請求項１２に記載の装置。
【請求項１４】
前記指定された文字ストリング条件は、以下：
前記文字ストリングがハイフン「-」によって接続されている、
前記文字ストリングが出現する回数が、予め設定された回数閾値を上回っている、
前記文字ストリングが英語ワードではない、
前記文字ストリングの最後のワードが、「s」、「es」、「ex」、「ed」、「d」、「ing」、「ings」、「ry」、「ies」、「ves」、「y」、又は「a」で終了していない、
前記文字ストリングが接続詞を含んでいない、
前記文字ストリングがストップワードを含んでいない、
前記文字ストリングが、指定された量のワードを含む、
前記文字ストリングが数値を含んでいない、
前記文字ストリング内のワードの長さが、指定された長さ未満である、
前記文字ストリングの前記長さが、前記文字ストリング内に含まれている前記ワードの量を上回っている、及び、
前記文字ストリングが、指定された正規規則に準拠していない
のうちの少なくとも１つを含む、請求項１３に記載の装置。
【請求項１５】
前記第２の抽出モジュールは、特に、
予め設定されたモード組合せ規則を読み込み、且つ、
前記モード組合せ規則に準拠した情報セグメントを前記記述情報から抽出し、且つ、前記情報セグメントを前記黙示的フレーズとして使用する
ように構成される、請求項１１に記載の装置。
【請求項１６】
前記第２の抽出モジュールは、特に、以下：
指定された品詞組合せ条件に準拠したワード組合せを前記記述情報から抽出し、且つ、前記ワード組合せを前記黙示的フレーズとして使用することと、
指定された正規表現に準拠したワード組合せを前記記述情報から抽出し、且つ、前記ワード組合せを前記黙示的フレーズとして使用することと、
前記記述情報が前記ネットワークリソースの属性情報を有する場合に、予め設定された生成規則に基づいて、且つ、前記属性情報に従って、前記黙示的フレーズを生成することと
のうちの少なくとも１つの動作を実行するように構成される、請求項１５に記載の装置。
【請求項１７】
前記第２の抽出モジュールは、特に、
前記属性情報内の属性名に従って、提示される属性名を生成し、且つ、前記黙示的フレーズを生成するべく、前記属性情報内の属性値を前記提示される属性名と組み合わせる
ように構成される、請求項１６に記載の装置。
【請求項１８】
導出されたフレーズを取得するべく、前記明示的フレーズ及び前記黙示的フレーズに対して導出を実行するように構成された導出モジュールを更に含む、請求項１１〜１７のいずれか１項に記載の装置。
【請求項１９】
前記導出モジュールは、特に、
前記明示的フレーズ又は前記黙示的フレーズ内の名詞の逆文書頻度（ＩＤＦ）の値の統計を収集し、
フレーズセグメントを取得するべく、ＩＤＦ値が、予め設定された閾値を下回っている名詞を前記明示的フレーズ又は前記黙示的フレーズから削除し、且つ、
前記フレーズセグメントがフレーズ条件に準拠している場合に、前記フレーズセグメントを前記導出されたフレーズとして判定する
ように構成される、請求項１８に記載の装置。
【請求項２０】
フレーズセットを形成するべく、前記明示的フレーズ、前記黙示的フレーズ、及び前記導出されたフレーズを組み合わせ、且つ、
前記フレーズセットに対して、以下：
前記フレーズセット内に存在する複数形名詞を含むフレーズを判定し、且つ、前記フレーズ内の前記複数形名詞を単数形名詞に変更して戻すことと、
前記フレーズセット内に存在するストップワードを含むフレーズを判定し、且つ、前記ストップワードが前記フレーズから除去された後に得られた残りの部分がフレーズ条件に準拠している場合に、前記フレーズを前記残りの部分で置換することと、
前記フレーズセット内の同語族フレーズを判定し、且つ、前記同語族フレーズ内に存在する指定のワード頻度条件に準拠していないワード頻度を有するフレーズを削除することであって、前記同語族フレーズは、最初のｎ個のワードが同一であるフレーズを含み、且つ、ｎは、２以上である自然数である、削除することと
のうちの少なくとも１つの補正動作を実行する
ように構成された補正モジュールを更に含む、請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１６年３月１７日付けで出願された「PHRASE EXTRACTION METHOD AND APPARATUS」と題された中国特許出願第２０１６１０１５３１７７．４号の優先権を主張するものであり、この特許文献の内容は、参照により、そのすべてが本明細書に援用される。
【０００２】
技術分野
本出願は、データ処理技術の分野に関し、更に詳しくは、フレーズ抽出方法及び装置に関する。
【背景技術】
【０００３】
背景技術
インターネット技術の進歩に伴って、情報処理分野における処理を要する情報の量が拡大を続けている。フレーズ抽出は、サーチエンジン、自動ワードセグメント化、辞書編纂、及び機械翻訳などの情報処理分野において不可欠な処理である。フレーズ抽出の効果は、これらの情報処理分野における情報処理の効果に大きな影響を及ぼす。異なる分野においては、異なる言語スタイルが使用されており、従って、フレーズ抽出の方式が異なっている。
【０００４】
例えば、電子商取引の分野においては、日用品の特徴を記述し得るフレーズが必要とされている。例えば、衣料品は、「long-sleeve」、「v-neck」、「black」、及び「package-hip」などの、フレーズを使用することにより、記述することができる。現時点においては、電子商取引の分野におけるフレーズは、処理要員により、経験に基づいて手作業で判定されている。処理要員の知識による制限に起因して、このような方式で判定されたフレーズは、広範なものではなく、従って、品質を保証することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明の概要
本出願の複数の態様は、相対的に高品質のフレーズを抽出するためのフレーズ抽出方法及び装置を提供している。
【課題を解決するための手段】
【０００６】
本出願の一態様によれば、フレーズ抽出方法が提供され、この方法は、
ネットワークリソースの記述情報を取得することと、
記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順を実行することと、
記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順を実行することと
を含む。
【０００７】
本出願の別の態様によれば、フレーズ抽出装置が提供され、この装置は、
ネットワークリソースの記述情報を取得するように構成された取得モジュールと、
記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順を実行するように構成された第１の抽出モジュールと、
記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順を実行するように構成された第２の抽出モジュールと
を含む。
【０００８】
本出願においては、ネットワークリソースの記述情報が、フレーズ抽出に必要とされるコーパスとして使用されており、且つ、容易に発見することができる明示的フレーズ及び容易に発見することができない黙示的フレーズが記述情報から抽出され得るように、相対的に広範なフレーズ抽出が実現され得るように、且つ、フレーズ品質が保証され得るように、記述情報に対して明示的フレーズ抽出手順及びモードフレーズ抽出手順が実行されている。
【０００９】
図面の簡単な説明
本出願の実施形態における技術的解決策について更に明瞭に説明するために、以下において、実施形態又は従来技術の説明に必要な添付図面について簡潔に紹介する。以下の説明における添付図面は、本出願のいくつかの実施形態を示しており、且つ、当業者が、創造的な努力を伴うことなしに、これらの添付図面からその他の図面を更に導出し得ることは、明らかである。
【図面の簡単な説明】
【００１０】
【図１】本出願の一実施形態によるフレーズ抽出方法の概略フローチャートである。
【図２】本出願の別の実施形態によるフレーズ抽出方法の概略フローチャートである。
【図３】本出願の更に別の実施形態によるフレーズ抽出装置の概略構造図である。
【図４】本出願の更に別の実施形態によるフレーズ抽出装置の概略構造図である。
【発明を実施するための形態】
【００１１】
詳細な説明
本出願の実施形態の目的、技術的解決策、及び利点について更に明瞭にするために、以下において、本出願の実施形態における添付図面を参照し、本出願の実施形態における技術的解決策について明瞭且つ十分に説明する。記述されている実施形態は、本出願の実施形態のすべてではなく、いくつかであるに過ぎないことは明らかである。創造的な努力を伴うことなしに本出願の実施形態に基づいて当業者によって取得されるすべてのその他の実施形態は、本出願の保護範囲に含まれている。
【００１２】
電子商取引の分野においては、日用品の特徴を記述し得るフレーズを抽出する必要がある。従来技術においては、フレーズは、一般的に、処理要員により、経験に基づいて手作業で判定されている。処理要員の知識及び主観による制限に起因して、このような方式で判定されるフレーズは、広範なものではなく、従って、品質を保証することができない。
【００１３】
上述の問題のために、本出願は、フレーズ抽出方法を提供しており、且つ、容易に発見することができる明示的フレーズ及び容易に発見することができない黙示的フレーズが記述情報から自動的に抽出され得るように、相対的に広範なフレーズ抽出が実現され得るように、且つ、フレーズの品質が保証され得るように、ネットワークリソースの記述情報が、フレーズ抽出に必要とされるコーパスとして使用される、という主要原理を有する。従って、従来技術における既存の問題を解決することができる。
【００１４】
図１は、本出願の一実施形態によるフレーズ抽出方法の概略フローチャートである。図１に示されているように、方法は、以下のステップを含む。
【００１５】
１０１：ネットワークリソースの記述情報が取得される。
【００１６】
１０２：記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順が実行される。
【００１７】
１０３：記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順が実行される。
【００１８】
本実施形態において提供されているフレーズ抽出方法は、相対的に広範なフレーズ抽出が実現され得るように、且つ、フレーズ品質が保証され得るように、フレーズ抽出装置によって実行することができる。
【００１９】
具体的には、フレーズ抽出の第１のステップは、抽出コーパスを準備することである。本実施形態においては、ネットワークリソースの記述情報が取得され、抽出コーパスとして使用されている。
【００２０】
ネットワークリソースの記述情報は、主には、ネットワークリソースに関係する何らかの情報である。例えば、記述情報は、限定を伴うことなしに、ネットワークリソースのタイトル、属性情報、キーワード、詳細情報、及びコメント情報のうちの少なくとも１つを含み得る。ネットワークリソースの記述情報は、好ましくは、テキスト情報であるが、これに限定されるものではないことに留意されたい。
【００２１】
ネットワークリソースの属性情報は、ネットワークリソースのリリースの際に、ネットワークリソースプロバイダにより、手作業で入力することができる。例えば、属性情報は、限定を伴うことなしに、長さ、サイズ、原産地の場所、スタイル、及び装飾を含む。
【００２２】
又、ネットワークリソースのタイトル及びキーワードも、ネットワークリソースのリリースの際に、ネットワークリソースプロバイダにより、手作業で入力される。
【００２３】
電子商取引の分野においては、ネットワークリソースは、日用品又はサービスであってもよい。例として、日用品を使用する。ネットワークリソースのタイトル、属性情報、及びタイトルは、実際には、日用品のタイトル、属性情報、及びキーワードである。
【００２４】
ビッグデータ処理の観点において、本実施形態において抽出されるネットワークリソースの記述情報は大量であり、且つ、その量が１億件のレベルにも到達し得ることに留意されたい。本実施形態においては、自動的なフレーズ抽出が実際に手作業労働によって制限されることなしに実現され得るように、フレーズが大量の記述情報に基づいて抽出されている。
【００２５】
任意選択の一実装方式においては、データウェアハウス内の情報が、相対的に規則的であり、且つ、相対的に高品質を有することを考慮することにより、ネットワークリソースの記述情報は、データウェアハウスから直接的に取得することができる。例えば、ネットワークリソースは日用品であり、記述情報は、日用品のタイトル、属性情報、及びキーワードを含む。このケースにおいては、日用品のタイトル、属性情報、及びキーワードは、データウェアハウスから直接的に取得することができる。例えば、データウェアハウスから抽出される日用品のタイトル、属性情報、及びキーワードは、以下のとおりである。
【００２６】
日用品のタイトルの一例は、以下のとおりである。
Sexy style girls’ black dress package-hip-dress one-shoulder long-sleeve green flower v-neck o-neck cocktail dress wholesale-retail free shipping 100% cotton
【００２７】
日用品の属性情報の一例は、以下のとおりである。
Length: floor-length|Decoration: beading|Gender: woman|Season: summer|Pattern Type: print|Sleeve Style: off the shoulder|Neckline: o-neck|Style: casual|Place of Origin: Fujian, China Mainland|Number: LC2132-1 LC2132-2 LC2132-3
【００２８】
日用品のキーワード（カンマによって分離されている）の一例は、以下のとおりである。
Blue Dress Party, Fashion Ladies Blue Dress Party, Fashion Ladies Blue Dress Party
【００２９】
任意選択の一実装方式においては、ネットワークリソースの記述情報は、いくつかの不規則性及び誤りを有し得る。例えば、奇妙なシンボルがワードを接続するべく使用されていたり、複数のワードが１つに記述されていて適切に分離することができなかったり、ワードのスペルが誤っていたり、同一のワード又はフレーズが、異なる位置において異なる形態を有していたりする。従って、記述情報が直接的に使用された場合には、後の処理が相対的に困難になり、抽出されるフレーズの品質が低下する。これに基づいて、ネットワークリソースの記述情報を取得する一実装方式は、データウェアハウスからネットワークリソースのオリジナルの記述情報を抽出することと、テキスト事前処理の後に記述情報を取得するべく、オリジナルの記述情報に対してテキスト事前処理を実行することとを含む。
【００３０】
オリジナルの記述情報に対してテキスト事前処理を実行するステップは、限定を伴うことなしに、
オリジナルの記述情報に対して、接続シンボル保持処理、大文字／小文字変換処理、スペル一貫性チェック処理、ワードセグメント化処理、スペル補正処理、及び名詞分類整理処理のうちの少なくとも１つを実行することを含む。
【００３１】
接続シンボル保持処理：
プラス符号「＋」などのいくつかの奇妙な接続シンボルが、オリジナルの記述情報内に存在し得る。後の処理を促進するべくこれらの奇妙な接続シンボルが除去された後に、オリジナルの記述情報は、相対的に規則的になり得る。但し、いくつかの特別な接続シンボルは、特別な又は追加的な意味を表現可能であり得る。
【００３２】
例えば、ネットワークリソースプロバイダがネットワークリソースの記述情報を入力する場合に、通常、ハイフン「-」が頻繁に追加され、２つ以上の関係するワードを接続するべく使用されていることが、分析を通じて判明している。ネットワークリソースプロバイダは、これらのワードを１つに接続して相対的に豊富な意味論的意味を表現することを所望し得る。例えば、「o-neck」は正しいスペルであり、「丸いネックライン」という意味を表現している。ハイフン「-」が除去された場合には、「oneck」という誤ったスペルが得られ、後の補正処理において、「neck」に補正され得る。この結果、そのオリジナルの意味が失われる。
【００３３】
別の例においては、いくつかのケースにおいて、パーセント符号「％」が、組成含有量を表すべく、使用されている場合がある。例えば、「100% cotton」におけるパーセント符号は、コットン含有量が百パーセントであることを表しており、従って、保持する必要がある。保持する必要のないパーセント符号を除去し得ることは、当然である。例えば、「v-neck%」におけるパーセント符号は、保持する必要がなく、削除することができる。
【００３４】
別の例においては、「’」という一重引用符は、いくつかのケースにおいて所有関係を表現し得る。例えば、「girls’」における一重引用符は、所有関係を表しており、従って、保持する必要がある。保持する必要がない一重引用符を除去し得ることは、当然である。例えば、「shoulder’」における一重引用符は、冗長であり、従って、削除することができる。
【００３５】
以上の内容に基づいて、ハイフン、一重引用符、又はパーセント符号について、保持する必要があるフォーマットを事前に指定することができる。オリジナルの記述情報に対して実行される接続シンボル保持処理の際に、オリジナルの記述情報が、指定されたフォーマットに準拠するハイフン、一重引用符、又はパーセント符号を含んでいるかどうかを判定することができる。判定結果が「はい」である場合には、オリジナルの記述情報内の指定されたフォーマットに準拠したハイフン、一重引用符、又はパーセント符号は、保持することができる。オリジナルの記述情報内に存在し、指定されたフォーマットには準拠していないハイフン、一重引用符、パーセント符号、又は別の接続シンボルは、削除することができる。
【００３６】
例えば、接続シンボル保持処理前の日用品のタイトルは、以下のとおりである。
SEXY style girls’ black dresses package-hip-dress one shouder’ longSLEEVE++Green flowers+v-neck% oneck COCKAIL DR-ESS+wholesale and retail+free shipping 100%cotton
【００３７】
接続シンボル保持処理後のタイトルは、以下のとおりである。
SEXY style girls’ black dresses package-hip-dress one shouder longSLEEVE Green flowers v-neck oneck COCKAIL DR-ESS wholesale and retail free shipping 100% cotton
【００３８】
パーセント符号の処理の際に、パーセント符号を保持する必要があるが、パーセント符号と後続のワードの間にスペースが存在していないことが判明した場合には、スペースを追加し得ることに留意されたい。例えば、上述の「100%cotton」は、「100% cotton」に変更される。従って、事前処理の後に、相対的に規則的な情報を得ることができる。
【００３９】
大文字／小文字変換処理：
大文字／小文字変換処理は、本明細書においては、大文字及び小文字の一貫性を維持するためのものである。特定の適用要件に従って、すべての大文字が小文字に変換されてもよく、或いは、すべての小文字が大文字に変換されてもよい。
【００４０】
一例として、日用品のタイトルを使用する。接続シンボル保持処理が実行された後に、大文字／小文字変換処理前のタイトルの一例は、以下のとおりである。
SEXY style girls’ black dresses package-hip-dress one shouder longSLEEVE Green flowers v-neck oneck COCKAIL DR-ESS wholesale and retail free shipping 100% cotton
【００４１】
接続シンボル保持処理及び大文字／小文字変換処理後のタイトルの一例は、以下のとおりである。
sexy style girls’ black dresses package-hip-dress one shouder longsleeve green flowers v-neck oneck cockail dr-ess wholesale-retail free shipping 100% cotton
【００４２】
スペル一貫性チェック処理：
同一のワードが、異なる位置において、異なる方式で綴られる場合があることが分析を通じて判明している。例えば、「dresses」というワードは、「dresses」、「dr-esses」、及び「dress-es」という異なるスペルを有する（このリストは、すべてを網羅したものではない）。このような異なるスペルは、後の分析において困難を増大させ、従って、抽出されるフレーズの品質が悪影響を受けることになる。これに基づいて、本明細書においては、異なるスペルを有するこれらのワードを同一のスペルに変換するべく、事前にスペル一貫性チェック処理がオリジナルの記述情報に対して実行されている。
【００４３】
具体的には、オリジナルの記述情報内のそれぞれのワード又はフレーズごとに、そのワード又はフレーズがオリジナルの記述情報内において複数のスペルを有している場合には、それぞれのスペルがデータウェアハウス内において反復的に出現する回数がカウントされる。それぞれのスペルがデータウェアハウス内において反復的に出現する回数に従って、その反復的に出現する回数が最大であると共に予め設定された閾値を上回っているスペルが、複数のスペルのうちから選択され、ターゲットスペルとして使用される。オリジナルの記述情報内において出現するワード又はフレーズのその他のスペルは、ターゲットスペルで置換される。
【００４４】
例えば、記述情報内において、「dresses」というワードの合計で３つのスペルが、即ち、「dresses」、「dr-esses」、及び「dress-es」が、出現するものと仮定する。統計を収集することにより、「dresses」は、そのデータウェアハウス内において出現する回数が最大であると共に予め設定された回数閾値を上回っているスペルであることが判明する。このケースにおいては、「dresses」が、ターゲットスペルとして使用されてもよく、「dr-esses」及び「dress-es」というスペルは、「dresses」で置換される。
【００４５】
依然として、一例として、日用品のタイトルを使用する。接続シンボル保持処理及び大文字／小文字変換処理を適用したタイトルの例に対してスペル一貫性チェック処理が更に実行され、以下のように変換される。
sexy style girls’ black dresses package-hip-dress one shouder longsleeve green flowers v-neck o-neck cockail dress wholesale-retail free shipping 100% cotton
【００４６】
ワードセグメント化処理：
例えば、タイトル内の「longsleeve」などのように、複数のワードが、しばしば、オリジナルの記述情報内において１つに記述されていることが分析を通じて判明している。更には、例えば、「shouder」（これは、「shoulder」となるべきである）及び「cockail」（これは、「cocktail」となるべきである）などの、誤ったスペルのワードも存在している。これらの誤りは後の処理に大きな影響を及ぼし、、従って、補正する必要がある。
【００４７】
上述の問題の場合には、具体的な補正方式は、オリジナルの記述情報に対してワードセグメント化処理を実行する、即ち、オリジナルの記述情報内において１つに記述されている既存のワードを認識し、当該認識された１つに記述されているワードをセグメント化するというものである。
【００４８】
例えば、ワードセグメント化処理の結果の一例は、以下のとおりである。
longsleevefloorlengthdress -> long sleeve floor length dress
dgdhlongsleevekl -> dgdh long sleeve kl
swearskirt -> swear skirt
【００４９】
上述の例においては、１つに記述されているワードは、「->」の左側であり、セグメント化の結果は、「->」の右側である。上述の第１の例においては、処理対象である文字ストリングは、複数のワードによって形成されており、従って、ワードセグメント化の後に、これら複数のワードが、セグメント化を通じて得られる。上述の第２の例においては、先頭において、いくつかの余計な文字が存在しており、且つ、末尾にも、余計な文字が存在している。ワードセグメント化の後には、的確なワード（longs sleeve）がセグメント化を通じて得られるのみならず、余計な文字も認識されている。上述の第３の例においては、セグメント化を通じて得られるワードが、相対的に良好に文脈に準拠した意味を有し得るように、最適なセグメント化方式が使用されている。
【００５０】
結論として、ワードセグメント化処理は、ワードを識別するべく、可能な限り多くの余計な文字を先頭及び末尾において除去し、且つ、意味を相対的に広範なものとするべく、文脈を参照して最適なセグメント化戦略を判定する、というものである。
【００５１】
スペル補正処理：
スペル補正は、誤ったスペルの形態を正しい形態に変更するというものである。例えば、「sleve」は、「sleeve」に補正される。本明細書においては、スペル補正は、任意の文字ストリング（トークン）について実行されることに留意されたい。本明細書においては、文字ストリングは、１つのワードであってもよく、或いは、複数のワードであってもよい。従って、スペル補正の際には、誤ったスペルのワードを補正することができるのみならず、複数のワードから形成されると共にスペルが誤っているフレーズも、補正することができる。
【００５２】
例えば、スペル補正処理の結果の一例は、以下のとおりである。
sleve -> sleeve
dres -> dress
wholesle -> wholesale
shouder -> shoulder
saikaaadffdsaf -> saikaaadffdsaf
sleevc -> sleeve
sleever -> sleeve
sleeev -> sleeve
sleeevt -> sleeve
longsleve -> longsleeve
【００５３】
上述の例においては、誤ったスペルの形態は、「->」の左側であり、スペルが補正された形態は、「->」の右側である。
【００５４】
以上においては、ワードセグメント化処理及びスペル補正処理は、別個に記述されているが、実際の適用においては、組合せにおいて使用されてもよい。又、１つに記述されているいくつかのワードのスペルが誤っている場合もある。例えば、上述のタイトルの例における「longsleve」は、誤ったスペルの形態であり、これに対しては、ワードセグメント化を直接的に実行することができない。従って、まずは、誤ったスペルの形態を補正する必要がある。例えば、「longsleve」は、「longsleeve」に補正される。補正の後に、「long sleeve」という正しい形態を取得するべく、「longsleeve」に対してワードセグメント化処理を実行することができる。本明細書においては、ワードセグメント化及びスペル補正を組合せにおいて使用することにより、データ事前処理の効果が改善され得るように、単一の技術を使用しては解決することができない多くの問題を解決することができる。
【００５５】
依然として、一例として、日用品のタイトルを使用する。接続シンボル保持処理、大文字／小文字変換処理、及びスペル一貫性チェック処理を適用した上述のタイトルの例に対してワードセグメント化及びスペル補正が更に実行され、以下のように変換される。
sexy style girls’ black dresses package-hip-dress one shoulder long sleeve green flowers v-neck o-neck cocktail dress wholesale-retail free shipping 100% cotton
【００５６】
名詞分類整理：
名詞分類整理は、主には、オリジナルの記述情報内の名詞を分類整理すること、即ち、複数形名詞を単数形名詞に変更することを意味している。
【００５７】
本実施形態においては、動名詞動詞及び過去形動詞は、形容詞であり得、特定の意味を表現し得ることを踏まえて、現時点において、動詞及び形容詞の分類整理は考慮されてはいないことに留意されたい。
【００５８】
本実施形態においては、辞書及び単数形−複数形変換の予め設定された規則のうちの少なくとも１つに従って、オリジナルの記述情報内の名詞に対して分類整理を実行することができる。
【００５９】
辞書に基づいて実行される名詞分類整理方式は、相対的に力ずくの方式（brute-force manner）であるが、相対的に信頼性が高い。具体的な方式は、辞書からすべての名詞及び名詞の複数形を取得し、名詞と名詞の複数形の間のマッピング関係を構築し、その後にマッピング関係に基づいて記述情報内の複数形名詞を認識し、複数形名詞を単数形名詞に変更して戻す、というものである。
【００６０】
予め設定された単数形−複数形変換規則に基づいた名詞分類整理方式においては、単数形−複数形変換規則が事前に設定される。例えば、名詞を複数形に変更する方法は、一般に、末尾において「ｓ」を追加すること、末尾文字「ｙ」を「ｉｅｓ」に変更すること、並びに、これらに類似したものを含む。その後に、記述情報内の複数形名詞が変換規則に基づいて認識され、複数形名詞を単数形名詞に変更して戻すべく、変換規則に従って認識された複数形名詞に対してリバース処理が実行される。
【００６１】
実際の適用の際には、名詞分類整理処理は、選好的に、辞書に基づいて実行することができる。名詞を辞書に基づいて単数形名詞に変更して戻すことができない場合には、単数形−複数形変換規則に基づいて、名詞分類整理処理が更に実行される。一般に、辞書は、相対的に高い精度を有している一方で、規則は、相対的に広いカバレッジを有している。辞書及び規則が組合せにおいて使用される場合には、名詞分類整理の精度を保証することが可能であり、更には、可能な限り多くの名詞が複数形名詞から単数形名詞に変更して戻されることを保証することができる。
【００６２】
依然として、一例として、日用品のタイトルを使用する。接続シンボル保持処理、大文字／小文字変換処理、スペル一貫性チェック処理、ワードセグメント化、及びスペル補正を適用したタイトルの例に対して名詞分類整理が更に実行され、以下のように変換される。
sexy style girls’ black dress package-hip-dress one shoulder long sleeve green flower v-neck o-neck cocktail dress wholesale-retail free shipping 100% cotton
【００６３】
以上においては、それぞれのテキスト事前処理方式について別個に記述されていることに留意されたい。実際の適用の際には、様々なテキスト事前処理方式が、別個に使用されてもよく、或いは、組合せにおいて使用されてもよい。
【００６４】
オリジナルの記述情報は、上述の様々な種類のテキスト事前処理の後に、規則的なものとなり、これにより、後のフレーズ抽出のための基礎が提供される。
【００６５】
次いで、取得された記述情報をフレーズ抽出用の抽出コーパスとして使用することができる。
【００６６】
本実施形態においては、相対的に広範なフレーズ抽出を実現するべく、フレーズ抽出装置は、２つの態様において、フレーズ抽出を実行している。一態様においては、フレーズ抽出装置は、記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順を実行している。もう１つの態様においては、フレーズ抽出装置は、記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順を実行している。
【００６７】
明示的フレーズは、容易に発見することができるフレーズであり、黙示的フレーズは、容易に発見することができないフレーズである。理解され得るように、フレーズ抽出装置は、明示的フレーズと黙示的フレーズの両方を抽出することができる。従って、相対的に広範なフレーズ抽出を実現することができる。これに加えて、フレーズ抽出装置は、手作業労働に依存することなしに、大量の記述情報に基づいてフレーズ抽出を実行している。従って、手作業による処理において発生する誤りを回避することが可能であり、フレーズ品質を保証することができる。
【００６８】
明示的フレーズを抽出する動作及び黙示的フレーズを抽出する動作を実行する順序は、本実施形態においては、制限されていないことに留意されたい。これらの動作は、いずれの順序において実行されてもよく、或いは、同時に実行されてもよい。
【００６９】
更には、明示的フレーズ抽出手順は、予め設定された明示的フレーズ規則を読み込むステップと、明示的フレーズ規則に従って記述情報から明示的フレーズを抽出するステップとを含む。これに基づいて、記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順を実行する一実装方式は、
予め設定された明示的フレーズ規則を読み込むことと、
記述情報から明示的フレーズ規則に準拠した情報セグメントを抽出し、且つ、当該情報セグメントを明示的フレーズとして使用することと
を含む。
【００７０】
任意選択の一実装方式においては、明示的フレーズ規則は、限定を伴うことなしに、指定された文字ストリング条件規則、分野辞書規則、及び属性値規則のうちの少なくとも１つの規則を含む。
【００７１】
指定された文字ストリング条件規則は、指定された文字ストリング条件に準拠した文字ストリングが明示的フレーズとして使用され得ることを示すべく、使用される。
【００７２】
分野辞書規則は、分野辞書内に存在しているフレーズが明示的フレーズとして使用され得ることを示すべく、使用される。分野辞書は、異なる分野ごとに異なっている。例えば、衣料品分野においては、分野辞書として、English-Chinese Textiles Dictionaryを使用することができる。
【００７３】
属性値規則は、ネットワークリソースの属性情報内の属性値が明示的フレーズとして使用され得ることを示すべく、使用される。
【００７４】
上述の特定の明示的フレーズ規則に基づいて、記述情報から明示的フレーズ規則に準拠した情報セグメントを抽出し、且つ、当該情報セグメントを明示的フレーズとして使用するステップは、具体的には、
記述情報から指定された文字ストリング条件に準拠した文字ストリングを抽出し、且つ、当該文字ストリングを明示的フレーズとして使用することと、
記述情報から分野辞書内に存在しているフレーズを抽出し、且つ、当該フレーズを明示的フレーズとして使用することと、
記述情報がネットワークリソースの属性情報を含む場合に、属性情報内の属性値を抽出し、且つ、当該属性値を明示的フレーズとして使用することと
のうちの少なくとも１つの動作を含み得る。
【００７５】
以下、指定された文字ストリング条件に準拠した文字ストリングを抽出し、且つ、当該文字ストリングを明示的フレーズとして使用する解決策について詳しく説明する。
【００７６】
具体的には、ネットワークリソースの記述情報内には、ハイフン「-」によって接続された文字ストリングが存在している。例えば、「package-hip-dress」、「v-neck」、「o-neck」、「wholesale-retail」、「one-shoulder」、「long-sleeve」、及びこれらに類似したものは、いずれも、ハイフン「-」によって接続された文字ストリングである。ハイフン「-」によって接続された文字ストリングは、通常、複数のワードを１つに接続することによって形成されており、且つ、相対的に豊富な意味論的意味を表現することができる。従って、ハイフン「-」によって接続された文字ストリングがフレーズである確率は、相対的に高い。ハイフン「-」によって接続されたいくつかの文字ストリングが、実際の意味を有していない場合があり、その場合は、フレーズとして使用することはできない。例えば、「a-b」、「v-neck-half-sleeve-dress」、及びこれらに類似したものは、フレーズではない。
【００７７】
上述の内容に基づいて、ハイフン「-」によって接続されると共にフレーズとして使用され得る文字ストリングを定義するべく、いくつかの条件を設定することができる。これらの定義条件は文字ストリング条件と呼称され、具体的には、
文字ストリングがハイフン「-」によって接続されている：この条件は、フレーズになるには、文字ストリングがハイフン「-」によって接続される必要があることを定義するべく使用されており、この場合に、ハイフン「-」によって接続された文字ストリングは、トークンと呼称されてもよい；
文字ストリングが出現する回数が、予め設定された回数閾値を上回っている：この条件は、文字ストリングが出現する回数が、例えば、５００回超などのように、予め設定された回数閾値を上回ることを必要としており、本明細書においては、文字ストリングが出現する回数は、文字ストリングがデータウェアハウス内において出現したカウントされた回数である；
文字ストリングは、１つの英単語ではない：この条件は、１ワードを除去するべく使用され、即ち、１ワードは、フレーズではない；、
文字ストリングの最後のワードが、「s」、「es」、「ex」、「ed」、「d」、「ing」、「ings」、「ry」、「ies」、「ves」、「y」、又は「a」によって終わっていない：この条件は、主には、フレーズが、複数形名詞、過去形動詞、現在進行形、又はこれらに類似したものを含むことを回避するべく、使用される；
文字ストリングが接続詞を含んでいない：この条件は、主には、フレーズが（「and」、「but」、「or」、「for」、「so」、及び「nor」などの）接続詞を含むことを回避するべく、使用される；
文字ストリングがストップワードを含んでいない：この条件は、主には、（「of」及び「a」などの）ストップワードがフレーズ内において出現することを回避するべく、使用される；
文字ストリングが、指定された量のワードを含む：この条件の意味は、フレーズとなるには、文字ストリングは、指定された量のワードを含む必要があり、さもなければ、文字ストリングは、フレーズになれない、というものである；
文字ストリングが、（パーセンテージを除いて）数値を含んでいない：この条件の意味は、数値を含む文字ストリングは、フレーズになれない、というものである；
文字ストリング内のワードの長さが、（例えば、２０文字未満などのように）指定された長さを下回っている：この条件の意味は、文字ストリングがフレーズとなるには、文字ストリング内のワードの長さは、指定された長さ未満である必要があり、さもなければ、文字ストリングは、フレーズになれない、というものである；
文字ストリングの長さが、文字ストリング内に含まれているワードの量を上回っている：この条件の意味は、文字ストリングがフレーズとなるには、文字ストリングの長さは、文字ストリング内に含まれているワードの量を上回っている必要があり、さもなければ、文字ストリングは、フレーズになれない、というものである；
文字ストリングが、指定された正規規則に準拠していない：この条件の意味は、指定された正規規則に準拠していない文字ストリングは、フレーズになることができるが、対照的に、正規規則に準拠している文字ストリングは、フレーズになることができない、というものであり、本明細書においては、例えば、正規規則は、限定を伴うことなしに、「as-」で始まる文字ストリングを表す「as-＼w+」と、「so-」によって始まる文字ストリングを表す「so-＼w+」とを含む；
のうちの少なくとも１つの条件を含む。
【００７８】
上述の文字ストリング条件に基づいて、いずれの文字ストリングが、明示的なフレーズであり、いずれの文字ストリングが、明示的なフレーズではないのか、を判定することができる。例えば、以下のとおりである。
【００７９】
フレーズではない文字ストリング：
sleeve-less：最後のワードが「s」によって終わっている、
dress-es：最後のワードが「s」又は「es」によって終わっている、
sleeve-s：最後のワードが「s」によって終わっている、
full-sleevevneckdresssexyclubwear：文字ストリング内のワードの長さが、指定された長さを超過している、
a-b：文字ストリングの長さが、文字ストリング内に含まれているワードの量を超過していない、
half-3sleeve：文字ストリングが数値３を含んでいる、
v-neck-half-sleeve-dress：文字ストリングが含むワードが多すぎる、
fashion-ladies-blue-dress-party：文字ストリングが含むワードが多すぎる、
as-picture：文字ストリングが、指定された正規規則に準拠している、
so-good：文字ストリングが、指定された正規規則に準拠している
【００８０】
フレーズである文字ストリング：
v-neck
deep-v-neck
green-flower
floor-length
100%-silk
【００８１】
ネットワークリソースの記述情報は、限定を伴うことなしに、ネットワークリソースのタイトル、属性情報、及びキーワードを含み得る。これを考慮することにより、指定された文字ストリング条件に準拠した文字ストリングを抽出し、且つ、当該文字ストリングを明示的フレーズとして使用する実装の際には、ネットワークリソースのタイトル、属性情報、キーワード、及びこれらに類似したものを１つの情報セットとして組み合わせることができる。次いで、指定された文字ストリング条件に準拠した文字ストリングが、情報セットから抽出され、且つ、明示的フレーズとして使用される。或いは、この代わりに、指定された文字ストリング条件に準拠した文字ストリングを抽出し、且つ、当該文字ストリングを明示的フレーズとして使用する実装の際には、指定された文字ストリング条件に準拠した文字ストリングは、ネットワークリソースのタイトルから別個に抽出されて、明示的フレーズとして使用されてもよく、指定された文字ストリング条件に準拠した文字ストリングは、ネットワークリソースの属性情報から別個に抽出されて、明示的フレーズとして使用されてもよく、指定された文字ストリング条件に準拠した文字ストリングは、ネットワークリソースのキーワードから別個に抽出されて、明示的フレーズとして使用されてもよく、他も同様である。
【００８２】
ネットワークリソースは、一般に、複数の属性を有している。但し、属性のすべてが、フレーズ抽出に有用であるわけではない。これに基づいて、スクリーニング規則が、特定の適用シナリオに従って事前に構成されて、すべての属性をスクリーニングしてフレーズ抽出に有用な属性を取得するべく、使用されてもよい。取得された属性は、重要属性と呼称される。次いで、フレーズ抽出を実行するべく、これらの重要属性がコーパスとして使用される。
【００８３】
一例として、電子商取引の分野を使用する。ネットワークリソースは、日用品である。ユーザーは、スクリーニング規則を事前に構成し、スクリーニング規則を使用することにより、重要属性を選択する。異なるリソースカテゴリは、異なるスクリーニング規則に対応しており、スクリーニングを通じて、異なる重要属性が得られる。そのＩＤが３であるカテゴリがApparelであるものと仮定する。予め設定されたスクリーニング規則に従ってスクリーニングを通じて得られる重要属性は、限定を伴うことなしに、表１に示されているものを含む。
【００８４】
【表１】
2019508815.tif 000003
【００８５】
以下、分野辞書内に存在しているフレーズを抽出し、且つ、当該フレーズを明示的フレーズとして使用する解決策について詳しく説明する。
【００８６】
具体的には、分野辞書は、当該分野におけるフレーズを保存している。従って、記述情報が、分野辞書内に存在しているフレーズを含んでいるかどうかを直接的に判定することができる。「はい」である場合には、当該フレーズを明示的フレーズとして直接的に判定することができる。このような方式は、相対的に単純な実装形態と、相対的に高い効率とを有しており、且つ、相対的に明白なフレーズを発見するのに特に適している。
【００８７】
以下、属性情報内の属性値を抽出し、且つ、当該属性値を明示的フレーズとして使用する上述の解決策について詳しく説明する。
【００８８】
具体的には、属性情報は、一般に、属性名と、属性値とを含む。一般的な実装構造は、「属性名：属性値」である。この実装構造においては、属性値は、通常、明瞭な意味を有するフレーズである。従って、属性情報が記述情報から直接的に見出されてもよく、次いで、属性情報内の属性値が抽出され、且つ、明示的フレーズとして使用される。
【００８９】
上述の実施形態又は実装方式においては、明示的なフレーズを上述のいくつかの方式によって抽出することができる。上述の明示的フレーズを抽出するいくつかの方式は、別個に使用されてもよく、或いは、任意の組合せにおいて使用されてもよいことに留意されたい。
【００９０】
更には、モードフレーズ抽出手順は、予め設定されたモード組合せ規則を読み込むステップと、モード組合せ規則に従って記述情報から黙示的フレーズを抽出するステップとを含む。これに基づいて、記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順を実行する上述の実装方式は、
予め設定されたモード組合せ規則を読み込むことと、
記述情報からモード組合せ規則に準拠した情報セグメントを抽出し、且つ、当該情報セグメントを黙示的なフレーズとして使用することと
を含む。
【００９１】
任意選択の一実装方式においては、モード組合せ規則は、限定を伴うことなしに、品詞組合せ規則、正規表現規則、及び属性表現規則のうちの少なくとも１つの規則を含む。
【００９２】
品詞組合せ規則は、指定された品詞組合せ条件に準拠したワード組合せが黙示的フレーズとして使用され得ることを示すべく、使用される。
【００９３】
正規表現規則は、指定された正規表現に準拠したワード組合せが黙示的フレーズとして使用され得ることを示すべく、使用される。
【００９４】
属性表現規則は、黙示的フレーズが、予め設定された生成規則に基づいて、且つ、属性情報に従って、生成されることを示すべく、使用される。
【００９５】
特定のモードフレーズ規則に基づいて、記述情報からモードフレーズ規則に準拠した情報セグメントを抽出し、且つ、当該情報セグメントを黙示的フレーズとして使用するステップは、具体的には、
記述情報から、指定された品詞組合せ条件に準拠したワード組合せを抽出し、且つ、当該ワード組合せを黙示的フレーズとして使用することと、
記述情報から、指定された正規表現に準拠したワード組合せを抽出し、且つ、当該ワード組合せを黙示的フレーズとして使用することと、
記述情報がネットワークリソースの属性情報を含む場合に、予め設定された生成規則に基づいて、且つ、属性情報に従って、黙示的フレーズを生成することと
のうちの少なくとも１つの動作を含み得る。
【００９６】
以下、記述情報から、指定された品詞組合せ条件に準拠したワード組合せを抽出し、且つ、当該ワード組合せを黙示的フレーズとして使用する上述の解決策について詳しく説明する。
【００９７】
具体的には、いくつかの品詞組合せモードが、通常、フレーズであることがリサーチ及び分析を通じて判明している。例えば、「形容詞＋名詞」（「^JJ＼＼s+NNS{0,1}$」）及び「形容詞＋形容詞＋名詞」（「^JJ＼＼s+JJ＼＼s+NNS{0,1}$」）などのワード組合せは、通常、フレーズである。これに基づいて、品詞組合せ条件は、「形容詞＋名詞」モード及び「形容詞＋形容詞＋名詞」モードを含み得る。２つの品詞組合せモードに加えて、更なるその他の品詞組合せモードが存在することは、当然である。例えば、「green flowers」、「natural-color」、「hooded-collar」、及びこれらに類似したものは、「形容詞＋名詞」モードにおけるワード組合せであり、且つ、フレーズである。別の例として、「small green flowers」及びこれに類似したものも、「形容詞＋形容詞＋名詞」モードにおけるワード組合せであり、且つ、フレーズである。
【００９８】
具体的な実装の際には、フレーズ抽出装置は、フレーズ内に含まれているワードの数に従って、ウィンドウ長を設定し、設定されたウィンドウ長に従って記述情報を順番にサンプリングし、次いで、サンプリングされたワード組合せが品詞の観点において品詞組合せ条件に準拠しているかどうかを判定してもよい。判定結果が「はい」である場合には、フレーズ抽出装置は、ワード組合せが黙示的フレーズであると判定する。判定結果が「いいえ」である場合には、フレーズ抽出装置は、ワード組合せを破棄し、次のサンプリングを実行するべく継続する。
【００９９】
フレーズが２つ又は３つのワードを含むと設定されている場合には、２つのウィンドウ長、即ち、ウィンドウ長２とウィンドウ長３が設定されて、長さが２又は３であるワード組合せをサンプリングするために使用されてもよい。
【０１００】
以下、記述情報から、指定された正規表現に準拠するワード組合せを抽出し、且つ、当該ワード組合せを黙示的なフレーズとして使用する上述の解決策について詳しく説明する。
【０１０１】
具体的には、いくつかのフレーズは、固定されたコロケーションではなく、且つ、品詞組合せモードに準拠してはいない。即ち、このようなフレーズは、正常な文法的尺度を使用することによって取得することができない。但し、これらのフレーズは、特定のワード形成方式に準拠している。例えば、「style」で終了するフレーズ、或いは、パーセンテージで始まるフレーズ、並びに、これらに類似したものが存在している。これらのフレーズには正規表現が予め設定され、この予め設定された正規表現に準拠したワード組合せはフレーズとなる。
【０１０２】
フレーズを表すいくつかの正規表現は、以下のように列挙される。
「^[a-z]*?＼＼s+style$」は、「xxx」スタイルを表しており、即ち、「ワード＋style」という形態におけるワード組合せは、フレーズであってもよく、且つ、取得される必要がある；このようなワード組合せは、例えば「sexy style」又は「bohemia style」である；
「^[0-9]+%＼＼s+[a-z]+$」は、「xx% xxx」を表しており、即ち、「パーセンテージ＋ワード」という形態におけるワード組合せは、フレーズであってもよく、且つ、取得される必要がある；このようなワード組合せは、例えば「100% cotton」である；
「^%[0-9]+＼＼s+[a-z]+$」は、「%xx xxx」を表しており、即ち、「パーセンテージ＋ワード」形態におけるワード組合せは、フレーズであってもよく、且つ、取得される必要がある；このようなワード組合せは、例えば「%100 cotton」である。
【０１０３】
具体的な実装の際には、フレーズ抽出装置は、正規表現における（例えば、「style」及び「%」などの）識別子部分に従って記述情報をサーチすることができる。識別子部分を判定した後に、フレーズ抽出装置は、正規表現のフォーマットに従って、識別子部分の前又は後のワードが正規表現の要件に準拠しているかどうかを判定する。判定結果が「はい」である場合には、フレーズ抽出装置は、識別子部分及び識別子部分の前又は後のワードから形成されたワード組合せを取得し、且つ、当該ワード組合せを黙示的なフレーズとして使用する。
【０１０４】
以下、予め設定された生成規則に基づいて、且つ、属性情報に従って、黙示的フレーズを生成する上述の解決策について詳しく説明する。
【０１０５】
具体的には、ネットワークリソースの属性情報は、属性名と、属性値とを含む。記述情報がネットワークリソースの属性情報を含む場合は、予め設定された規則に基づいて、且つ、属性情報に従って、黙示的フレーズを生成することができる。
【０１０６】
更には、生成規則は、属性名を提示属性名に変換し、且つ、属性値を当該提示属性名と組み合わせて黙示的フレーズを生成するように命令するべく、使用される。
【０１０７】
上述の内容に基づいて、予め設定された生成規則に基づいて、且つ、属性情報に従って、黙示的フレーズを生成するステップは、
属性情報内の属性名に従って、提示属性を生成し、且つ、属性情報内の属性値を当該提示属性名と組み合わせて黙示的フレーズを生成することを含む。
【０１０８】
属性名と提示属性名との間の変換規則は予め設定されてもよく、次いで、提示属性名が変換規則に基づいて生成される。変換規則は、異なる適用シナリオに従って適応的に設定されてもよい。一例として、電子商取引の分野における衣料品カテゴリを使用する。属性名と提示属性名との間の変換規則の一例は、以下のとおりである。
dresses length/dress
sleeve length/sleeve
sleeve style/sleeve
sleeve type/sleeve
sleeve/sleeve
hooded/hooded
material/NULL
neckline/neckline
waistline/waistline
decoration/decoration
style/style
silhouette/silhouette
fabric type/fabric
season/NULL
for season/NULL
for the season/NULL
pattern type/pattern
color/NULL
color style/NULL
technics/technics
item type/NULL
item name/NULL
product category/NULL
outerwear type/outerwear
eyewear type/NULL
scarves type/NULL
clothing length/clothing
collar/collar
closure type/closure
thickness/thickness
back design/back
built-in bra/built-in bra
waistline/waistline
wedding dress fabric/NULL
【０１０９】
上述の例においては、それぞれの例は、属性名、スラッシュ、及び提示属性名という、３つの部分を含む。スラッシュは、属性名と提示属性名を分離するべく使用されている。属性名は、スラッシュの左側であり、提示属性名は、スラッシュの右側である。
【０１１０】
上述の例に基づいて、黙示的フレーズを生成する方式は、「属性値＋提示属性名」である。具体的な実装の際には、フレーズ抽出装置は、属性情報を取得し、変換規則に従って属性情報内の属性名を提示属性名に変換し、次いで、上述の方式により、属性値を当該提示属性名と組み合わせて黙示的フレーズを形成してもよい。
【０１１１】
例えば、属性情報が「sleeve length: half」であり、この場合に、属性名が「sleeve length」であり、属性値が「half」であるものと仮定する。「sleeve length」という属性名は、「sleeve」という提示属性名に変換されてもよい。「half-sleeve」という黙示的フレーズを生成するべく、「half」という属性値及び「sleeve」という提示属性名が組み合わせられる。
【０１１２】
別の例においては、属性情報が「sleeve style: bat wing」であり、この場合に、属性名が「sleeve style」であり、属性値が「bat wing」であるものと仮定する。「sleeve style」という属性名は、「sleeve」という提示属性名に変換されてもよい。「bat-wing-sleeve」という黙示的フレーズを生成するべく、「bat wing」という属性値及び「sleeve」という提示属性名が組み合わせられる。
【０１１３】
提示属性名は「NULL」であってもよいことに留意されたい。即ち、黙示的フレーズが生成される際に、提示属性名はnullであり、属性名は使用されない。
【０１１４】
これらに加えて、いくつかの属性値はブール型を有する。例えば、属性情報は「build-in-bra: yes」である（ブラジャーがウェディングドレス内に組み込まれていることを表すべく、ウェディングドレスカテゴリの日用品において通常、使用されている）。属性値が「yes」又は「y」、並びに「yes」を示す類似したものである場合には、属性値は、黙示的フレーズを形成する際に直接的に省略されてもよく、そうでない場合は、属性値は省略されない。例えば、「build-in-bra: yes」という属性情報によれば、形成される黙示的フレーズは、「build-in-bra」である。例えば、「build-in-bra: not」という属性情報によれば、形成される黙示的フレーズは、「not-build-in-bra」である。
【０１１５】
理解され得るように、上述のいくつかの動作の後に、黙示的フレーズを抽出することができる。上述の黙示的フレーズを抽出するいくつかの方式は、別個に使用されてもよく、或いは、任意の組合せにおいて使用されてもよいことに留意されたい。
【０１１６】
更には、任意選択の一実装方式においては、図２に示されているように、明示的フレーズ及び黙示的フレーズが抽出された後に、方法は、
１０４：導出されたフレーズを取得するべく、導出が明示的フレーズ及び黙示的フレーズに対して実行される、
ことを更に含む。
【０１１７】
任意選択の一実装方式においては、ステップ１０４の実装方式は、明示的フレーズ又は黙示的フレーズ内の名詞の逆文書頻度（ＩＤＦ：Inverse Document Frequency）の値の統計を収集することと、フレーズセグメントを取得するべく、ＩＤＦ値が予め設定された閾値を下回っている名詞を明示的フレーズ又は黙示的フレーズから削除することと、フレーズセグメントがフレーズ条件に準拠しているかどうかを判定し、判定結果が、フレーズセグメントがフレーズ条件に準拠している、というものである場合に、フレーズセグメントを、導出されたフレーズとして判定し、或いは、判定結果が、フレーズセグメントがフレーズ条件に準拠していない、というものである場合には、フレーズセグメントを破棄することとを含む。
【０１１８】
フレーズ条件は、主には、１つのフレーズセグメントがフレーズであるかどうかを判定するべく使用されることに留意されたい。具体的な実装の際には、本明細書においては、フレーズ条件は、限定を伴うことなしに、上述の特定の明示的フレーズ規則（例えば、文字ストリング条件、分野辞書、及び属性値を抽出する規則）及び特定のモード組合せ規則（例えば、品詞組合せ条件、正規表現、及び生成規則）、並びに、これらに類似したものを含み得る。これは、ＩＤＦ値が予め設定された閾値を下回っている名詞が除去された後に得られた残りのフレーズセグメントが、文字ストリング条件、分野辞書、属性値を抽出する規則、品詞組合せ条件、正規表現、又は生成規則に準拠している場合に、フレーズセグメントは、フレーズとして判定されることを意味している。
【０１１９】
例えば、これらのステップにおいて抽出された明示的フレーズ及び黙示的フレーズが、「half-sleeve-dress」、「package-hip-dress」、及び「full-sleeve-dress」を含むものと仮定する。「dress」という名詞のＩＤＦ値が閾値を下回っていることが統計を通じて判明している。従って、この名詞は、「half-sleeve」、「package-hip」、及び「full-sleeve」というフレーズセグメントを取得するべく、対応するフレーズから除去される。３つのフレーズセグメントが、いずれも、フレーズ条件に準拠していることが分析を通じて判明している。このケースにおいては、「half-sleeve」、「package-hip」、及び「full-sleeve」というフレーズセグメントは、いずれも、導出されたフレーズとして使用される。
【０１２０】
上述の内容に基づいて、ワードライブラリ内のすべてのフレーズは、「half-sleeve-dress」、「package-hip-dress」、「full-sleeve-dress」、「half-sleeve」、「package-hip」、及び「full-sleeve」を含む。
【０１２１】
本実施形態においては、フレーズ抽出装置は、抽出されたフレーズを豊かにすると共に相対的に広範なものとするべく、新しいフレーズ（即ち、導出されたフレーズ）が更に抽出され得るように、前もって抽出された明示的フレーズ及び黙示的フレーズに対して導出を実行している。
【０１２２】
更には、明示的フレーズ、黙示的フレーズ、及び導出されたフレーズが抽出された後に、フレーズの不良ケースの除去を促進し、これにより、フレーズの品質を保証すると共にフレーズの使用可能性を改善するべく、抽出されたフレーズに対して補正動作を更に実行することができる。
【０１２３】
具体的には、フレーズセットを形成するべく、明示的フレーズ、黙示的フレーズ、及び導出されたフレーズが組み合わせられてもよい。名詞の分類整理、ストップワードの除去、及び低頻度同語族フレーズの除去のうちの少なくとも１つの補正動作がフレーズセットに対して実行される。
【０１２４】
名詞の分類整理は、フレーズセット内に存在する複数形名詞を含むフレーズを判定し、当該フレーズ内の複数形名詞を単数形名詞に変更して戻すことである。例えば、「sexy-style-dresses」が「sexy-style-dress」に変更される。
【０１２５】
ストップワードの除去は、フレーズセット内に存在するストップワードを含むフレーズを判定し、当該フレーズからストップワードが除去された後に得られた残りの部分がフレーズ条件に準拠している場合に、当該フレーズを残りの部分で置換することである。この場合に、フレーズ条件は、上述のフレーズ条件と同一であり、従って、詳細な再度の説明は省略する。
【０１２６】
本明細書においては、ストップワードは、主に、分野にマッチングするストップワード表中のストップワードである。ストップワード表中のストップワードは、主には、標準的なストップワードである。例えば、英語の標準的なストップワードは、以下のとおりである。但し、いくつかの標準的なストップワードが、異なる分野において共有され得ることを考慮することにより、「with」、「between」、「under」、及び「over」などのこれらの標準的なストップワードは、ストップワード表から除去することができる。
【０１２７】
例えば、英語の標準的なストップワードは、以下のワードを含む。
[u’i’, u’me’, u’my’, u’myself’, u’we’, u’our’, u’ours’, u’ourselves’, u’you’, u’your’, u’yours’, u’yourself’, u’yourselves’, u’he’, u’him’, u’his’, u’himself’, u’she’, u’her’, u’hers’, u’herself’, u’it’, u’its’, u’itself’, u’they’, u’them’, u’their’, u’theirs’, u’themselves’, u’what’, u’which’, u’who’, u’whom’, u’this’, u’that’, u’these’, u’those’, u’am’, u’is’, u’are’, u’was’, u’were’, u’be’, u’been’, u’being’, u’have’, u’has’, u’had’, u’having’, u’do’, u’does’, u’did’, u’doing’, u’a’, u’an’, u’the’, u’and’, u’but’, u’if’, u’or’, u’because’, u’as’, u’until’, u’while’, u’of’, u’at’, u’by’, u’for’, u’with’, u’about’, u’against’, u’between’, u’into’, u’through’, u’during’, u’before’, u’after’, u’above’, u’below’, u’to’, u’from’, u’up’, u’down’, u’in’, u’out’, u’on’, u’off’, u’over’, u’under’, u’again’, u’further’, u’then’, u’once’, u’here’, u’there’, u’when’, u’where’, u’why’, u’how’, u’all’, u’any’, u’both’, u’each’, u’few’, u’more’, u’most’, u’other’, u’some’, u’such’, u’no’, u’nor’, u’not’, u’only’, u’own’, u’same’, u’so’, u’than’, u’too’, u’very’, u’s’, u’t’, u’can’, u’will’, u’just’, u’don’, u’should’, u’now’]
【０１２８】
これに加えて、本明細書においては、ストップワード表は、分野においてほとんど寄与しない又は共有されない（役に立たないワードと呼称され得る）フレーズを更に含み得る。例えば、電子商取引の分野においては、「wholesale」、「retail」、「shipping」、「free-shipping」、「fashion」、「price」、「offer」、「none」、「quantity」、「shipment」、及びこれらに類似したものは、役に立たないワードである。
【０１２９】
低頻度同語族フレーズの除去は、フレーズセット内の同語族フレーズを判定し、当該同語族フレーズ内に存在し、指定されたワード頻度条件に準拠していないワード頻度を有するフレーズを削除することであって、この場合に、同語族フレーズは、最初のｎ個のワードが同一であるフレーズを含み、且つ、ｎは、２以上の自然数である。例えば、最初の２つのワードが同一であるフレーズは、同語族フレーズとして判定することができる。例えば、「half-sleeve-dress」、「half-sleeve-shirt」、「half-sleeve-long」、及び「half-sleeve」は、同語族フレーズである。「half-sleeve-dress」のワード頻度は、１０００であり、「half-sleeve-shirt」のワード頻度は、９００であり、且つ、「half-sleeve-long」のワード頻度は、１０であり、且つ、「half-sleeve」のワード頻度は、１１００であることが統計を通じて判明している。その一方で、指定されたワード頻度条件は、フレーズのワード頻度が、３０％超だけ、フレーズの同語族フレーズのワード頻度を下回っている、と設定されている。「half-sleeve-long」は、指定されたワード頻度条件に準拠している、即ち、「half-sleeve-long」のワード頻度である１０は、３０％超だけ、「half-sleeve」のワード頻度である１１００を下回っている、と判定することができる。従って、「half-sleeve-long」は、除去することができる。
【０１３０】
上述の内容からわかるように、本出願においては、ネットワークリソースの記述情報が、フレーズ抽出に必要とされるコーパスとして使用されており、且つ、容易に発見することができる明示的フレーズ及び容易に発見することができない黙示的フレーズが記述情報から抽出され得るように、相対的に広範なフレーズ抽出が実現され得るように、且つ、フレーズ品質が保証され得るように、まず、記述情報に対して明示的フレーズ抽出手順及びモードフレーズ抽出手順が実施されている。
【０１３１】
更には、本出願においては、抽出されたフレーズが豊富なものになり得るように、且つ、抽出されたフレーズが相対的に広範なものになり得るように、導出されたフレーズを取得するために新しいフレーズ（即ち、導出されたフレーズ）を更に抽出するべく、抽出された明示的フレーズ及び黙示的フレーズに対して導出が実行されている。
【０１３２】
更には、本出願においては、フレーズが規則的な形態を有するように、フレーズの不良ケースが除去され得るように、フレーズ品質が保証され得るように、且つ、ワードライブラリの使用可能性が最終的に改善され得るように、最終的に抽出されたフレーズに対して補正動作が実行されている。
【０１３３】
要すれば、上述の方法実施形態は、一連のアクションの組合せとして記述されていることに留意されたい。但し、当業者は、本出願は、記述されているアクションの順序に制限されるものではなく、その理由は、本出願によれば、いくつかのステップは、別の順序を採用してもよく、或いは、同時に発生してもよい、からであることを理解するであろう。更には、当業者は、本明細書において記述されている実施形態は、いずれも、好適な実施形態に属しており、且つ、関連するアクション及びモジュールは、必ずしも、本出願において必須ではないことをも理解するであろう。
【０１３４】
上述の実施形態においては、様々な実施形態の記述は、異なる強調点を有しており、且つ、特定の実施形態に含まれていない部分については、その他の実施形態の関係する記述を参照することができる。
【０１３５】
図３は、本出願の更に別の実施形態によるフレーズ抽出装置の概略構造図である。図３に示されているように、装置は、取得モジュール３１と、第１の抽出モジュール３２と、第２の抽出モジュール３３とを含む。
【０１３６】
取得モジュール３１は、ネットワークリソースの記述情報を取得するように構成される。
【０１３７】
第１の抽出モジュール３２は、記述情報から明示的フレーズを抽出するべく、記述情報に対して明示的フレーズ抽出手順を実行するように構成される。
【０１３８】
第２の抽出モジュール３３は、記述情報から黙示的フレーズを抽出するべく、記述情報に対してモードフレーズ抽出手順を実行するように構成される。
【０１３９】
記述の容易性を目的として、モジュラー分割の観点において、抽出モジュールは、第１の抽出モジュール３２と、第２の抽出モジュール３３とを含んでいることに留意されたい。但し、本出願は、この実装構造に限定されるものではない。例えば、第１の抽出モジュール３２及び第２の抽出モジュール３３は、実装のために、１つの抽出モジュールに組み合わせることができる。これに加えて、第１の抽出モジュール３２及び第２の抽出モジュール３３によって実行される抽出動作の順序は、制限されてはいない。
【０１４０】
任意選択の一実装方式においては、第１の抽出モジュール３２は、特に、
予め設定された明示的フレーズ規則を読み込み、且つ、
記述情報から明示的フレーズ規則に準拠した情報セグメントを抽出し、且つ、当該情報セグメントを明示的フレーズとして使用する
ように構成される。
【０１４１】
更には、明示的フレーズ規則は、限定を伴うことなしに、指定された文字ストリング条件規則、分野辞書規則、及び属性値規則のうちの少なくとも１つの規則を含む。
【０１４２】
指定された文字ストリング条件規則は、指定された文字ストリング条件に準拠した文字ストリングが明示的フレーズとして使用され得ることを示すべく、使用される。
【０１４３】
分野辞書規則は、分野辞書内に存在しているフレーズが明示的フレーズとして使用され得ることを示すべく、使用される。分野辞書は、異なる分野ごとに異なっている。例えば、衣料品分野においては、分野辞書として、English-Chinese Textiles Dictionaryを使用することができる。
【０１４４】
属性値規則は、ネットワークリソースの属性情報内の属性値が明示的フレーズとして使用され得ることを示すべく、使用される。
【０１４５】
上述の特定の明示的フレーズ規則に基づいて、第１の抽出モジュール３２は、特に、
記述情報から指定された文字ストリング条件に準拠した文字ストリングを抽出し、且つ、当該文字ストリングを明示的フレーズとして使用することと、
記述情報から分野辞書内に存在しているフレーズを抽出し、且つ、当該フレーズを明示的フレーズとして使用することと、
記述情報がネットワークリソースの属性情報を含む場合に、属性情報内の属性値を抽出し、且つ、当該属性値を明示的フレーズとして使用することと
のうちの少なくとも１つを実行するように構成される。
【０１４６】
更には、指定された文字ストリング条件は、
文字ストリングがハイフン「-」によって接続されている、
文字ストリングが出現する回数が、予め設定された回数閾値を上回っている、
文字ストリングが、英語ワードではない、
文字ストリングの最後のワードが、「s」、「es」、「ex」、「ed」、「d」、「ing」、「ings」、「ry」、「ies」、「ves」、「y」、又は「a」で終了していない、
文字ストリングが接続詞を含んでいない、
文字ストリングがストップワードを含んでいない、
文字ストリングが、指定された量のワードを含む、
文字ストリングが数値を含んでいない、
文字ストリング内のワードの長さが、指定された長さ未満である、
文字ストリングの長さが、文字ストリング内に含まれているワードの量を上回っている、及び、
文字ストリングが、指定された正規規則に準拠していない
のうちの少なくとも１つの条件を含む。
【０１４７】
任意選択の実装方式においては、第２の抽出モジュール３３は、特に、
予め設定されたモード組合せ規則を読み込み、且つ、
記述情報からモード組合せ規則に準拠した情報セグメントを抽出し、且つ、当該情報セグメントを黙示的フレーズとして使用する
ように構成される。
【０１４８】
更には、モード組合せ規則は、限定を伴うことなしに、品詞組合せ規則、正規表現規則、及び属性表現規則のうちの少なくとも１つを含む。
【０１４９】
品詞組合せ規則は、指定された品詞組合せ条件に準拠したワード組合せが、黙示的なフレーズとして使用され得ることを示すべく、使用される。
【０１５０】
正規表現規則は、指定された正規表現に準拠したワード組合せが、黙示的フレーズとして使用され得ることを示すべく、使用される。
【０１５１】
属性表現規則は、黙示的フレーズが、予め設定された生成規則に基づいて、且つ、属性情報に従って、生成されることを示すべく、使用される。
【０１５２】
上述の特定のモードフレーズ規則に基づいて、第２の抽出モジュール３３は、特に、
指定された品詞組合せ条件に準拠したワード組合せを記述情報から抽出し、且つ、当該ワード組合せを黙示的なフレーズとして使用することと、
指定された正規表現に準拠したワード組合せを記述情報から抽出し、且つ、当該ワード組合せを黙示的フレーズとして使用することと、
記述情報がネットワークリソースの属性情報を含む場合に、予め設定された生成規則に基づいて、且つ、属性情報に従って、黙示的フレーズを生成することと
のうちの少なくとも１つの動作を実行するように構成される。
【０１５３】
更には、予め設定された生成規則に基づいて、且つ、属性情報に従って、黙示的フレーズを生成する場合には、第２の抽出モジュール３３は、特に、
属性情報内の属性名に従って、提示属性名を生成し、且つ、属性情報内の属性値を当該提示属性名と組み合わせて黙示的フレーズを生成する
ように構成される。
【０１５４】
任意選択の一実装方式においては、図４に示されているように、装置は、導出モジュール３４を更に含む。
【０１５５】
導出モジュール３４は、導出されたフレーズを取得するべく、明示的フレーズ及び黙示的フレーズに対して導出を実行するように構成される。
【０１５６】
更には、導出モジュール３４は、特に、
明示的フレーズ又は黙示的フレーズ内の名詞の逆文書頻度（ＩＤＦ）の値の統計を収集し、
フレーズセグメントを取得するべく、ＩＤＦ値が、予め設定された閾値を下回っている名詞を明示的フレーズ又は黙示的フレーズから削除し、且つ、
フレーズセグメントがフレーズ条件に準拠している場合に、フレーズセグメントを、導出されたフレーズとして判定する
ように構成される。
【０１５７】
任意選択の実装方式においては、図４に示されているように、装置は、補正モジュール３５を更に含む。
【０１５８】
補正モジュール３５は、フレーズセットを形成するべく、明示的フレーズ、黙示的フレーズ、及び導出されたフレーズを組み合わせ、且つ、
当該フレーズセットに対し、以下：
当該フレーズセット内に存在する複数形名詞を含むフレーズを判定し、且つ、当該フレーズ内の複数形の名詞を単数形の名詞に変更して戻すことと、
当該フレーズセット内に存在するストップワードを含むフレーズを判定し、且つ、当該フレーズからストップワードが除去された後に得られた残りの部分がフレーズ条件に準拠している場合に、フレーズを残りの部分で置換することと、
当該フレーズセット内の同語族フレーズを判定し、且つ、当該同語族フレーズ内に存在し、指定されたワード頻度条件に準拠していないワード頻度を有するフレーズを削除することであって、同語族フレーズは、最初のｎ個のワードが同一であるフレーズを含み、且つ、ｎは、２以上の自然数である、ことと
のうちの少なくとも１つの補正動作を実行するように構成される。
【０１５９】
本実施形態において提供されているフレーズ抽出装置においては、ネットワークリソースの記述情報が、フレーズ抽出に必要とされるコーパスとして使用されており、且つ、容易に発見することができる明示的フレーズ及び容易に発見することができない黙示的フレーズが記述情報から抽出され得るように、相対的に広範なフレーズ抽出が実現され得るように、且つ、フレーズ品質が保証され得るように、記述情報に対して明示的フレーズ抽出手順及びモードフレーズ抽出手順が実行されている。
【０１６０】
更には、本実施形態において提供されているフレーズ抽出装置においては、抽出されたフレーズが豊富なものとなり得るように、且つ、抽出されたフレーズが相対的に広範なものとなり得るように、導出されたフレーズを取得するために新しいフレーズ（即ち、導出されたフレーズ）を更に抽出するべく、抽出された明示的フレーズ及び黙示的フレーズに対して導出が実行されている。
【０１６１】
更には、本実施形態において提供されているフレーズ抽出装置においては、フレーズが規則的形態を有し得るように、フレーズの不良ケースが除去され得るように、フレーズ品質が保証され得るように、且つ、ワードライブラリの使用可能性が最終的に改善され得るように、最終的に抽出されたフレーズに対して補正動作が実行されている。
【０１６２】
当業者には、便利且つ簡便な記述を目的として、上述のシステム、装置、及びユニットの詳細な検討プロセスにおいて、上述の方法実施形態における対応するプロセスを参照可能であることが明瞭に理解され得ることから、ここでの再度の詳細な説明は、省略する。
【０１６３】
本出願において提供されているいくつかの実施形態においては、開示されているシステム、装置、及び方法は、その他の方式によって実施され得ることを理解されたい。例えば、記述されている装置実施形態は、例示を目的としたものに過ぎない。例えば、ユニット分割は、論理的機能分割であるに過ぎず、且つ、実際の実装においては、その他の分割であってもよい。例えば、複数のユニット又はコンポーネントは、別のシステムとして組み合わせられるか又は統合されてもよく、或いは、いくつかの特徴が、無視されてもよく、或いは、実行されてなくてもよい。これに加えて、図示又は説明されている相互結合又は直接結合又は通信接続は、いくつかのインターフェイスを通じて実装されてもよい。装置又はユニットの間の間接結合又は通信接続は、電気的な、機械的な、又はその他の形態において実装されてもよい。
【０１６４】
別個の部分として記述されているユニットは、物理的に分離されていてもよく或いはそうでなくてもよく、且つ、ユニットとして図示されている部分は、物理的なユニットであってもよく或いはそうでなくてもよく、１つの位置において配置されてもよく、或いは、複数のネットワークユニット上において分散していてもよい。ユニットの一部分又はすべては、実施形態の解決策の目的を実現するべく、実際のニーズに従って選択されてもよい。
【０１６５】
これに加えて、本出願の実施形態における機能ユニットは、１つの処理ユニットとして統合されてもよく、或いは、ユニットのそれぞれは、物理的に単独で存在してもよく、或いは、２つ以上のユニットが、１つのユニットに統合されている。統合されたユニットは、ハードウェアの形態において、或いは、ハードウェアに加えてソフトウェア機能ユニットの形態において、実装されてもよい。
【０１６６】
上述の統合されたユニットがソフトウェア機能ユニットの形態において実装される際には、統合されたユニットは、コンピュータ可読ストレージ媒体内において保存されてもよい。ソフトウェア機能ユニットは、ストレージ媒体内において保存されており、且つ、本出願の実施形態において記述されている方法のステップの一部分を実行するように、コンピュータ装置（パーソナルコンピュータ、サーバー、又はネットワーク装置であってもよい）又はプロセッサに命令するためのいくつかの命令を含む。上述のストレージ媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Read-Only Memory）、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、磁気ディスク、又は光ディスクなどの、プログラムコードを保存し得る任意の媒体を含む。
【０１６７】
最後に、上述の実施形態は、本出願の限定ではなく、本出願の技術的解決策について説明することを意図したものに過ぎないことに留意されたい。本出願は、上述の実施形態を参照して詳述されているが、当業者は、上述の実施形態において記述されている技術的解決策に対して変更を依然として実施し得る、或いは、そのいくつかの技術的特徴に対して等価な置換を実施し得る、ことを理解するであろう。これらの変更又は置換により、対応する技術的解決策の本質が、本出願の実施形態における技術的解決策の精神及び範囲から逸脱することにはならない。
【図１】
2019508815.tif 000004
【図２】
2019508815.tif 000005
【図３】
2019508815.tif 000006
【図４】
2019508815.tif 000007
【国際調査報告】
2019508815.tif 000008
2019508815.tif 000009
2019508815.tif 000010
2019508815.tif 000011