(57)【要約】  ユーザ端末又はサーバに応用されるキーワード抽出方法は、処理待ちテキストの各判定待ちワードを取得することと、各判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前文ワードが処理待ちテキストにおける、判定待ちワードの前文に出現するワードである、ことと、各判定待ちワードと各判定待ちワードのそれぞれに対応する前文ワードとが処理待ちテキストに出現する順序に基づき、各判定待ちワードのワードシーケンスを確定することと、各判定待ちワードのワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各判定待ちワードが処理待ちテキストのキーワードである確率を得ることと、各判定待ちワードが処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、処理待ちテキストのキーワードを確定することとを含む。
2019531562.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末又はサーバに応用されるキーワード抽出方法であって、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードは前記処理待ちテキストにおける、前記判定待ちワードの前文に出現したワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを含む
ことを特徴とするキーワード抽出方法。
【請求項２】
処理待ちテキストの各判定待ちワードを取得することは、
前記処理待ちテキストに対してワード分割処理を行い、前記処理待ちテキストにおけるワードを取得することと、
前記処理待ちテキストにおけるストップワードを識別し、前記処理待ちテキストの前記ストップワード以外のワードを判定待ちワードとして確定することとを含む
ことを特徴とする請求項１に記載のキーワード抽出方法。
【請求項３】
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することは、
各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルとを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードと各前記判定待ちワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルを用いて各前記判定待ちワードのワードベクトルシーケンスであるワードシーケンスを確定することとを含む
ことを特徴とする請求項１に記載のキーワード抽出方法。
【請求項４】
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力することの前に、
トレーニングサンプルを取得し、リカレントニューラルネットワークモデルをトレーニングし、トレーニングされたリカレントニューラルネットワークモデルを取得することをさらに含み、
前記トレーニングサンプルは要素ペアを含み、前記要素ペアは、トレーニングされたテキストに対応するトレーニングワードと、前記トレーニングワードが前記トレーニングされたテキストのキーワードである確率とを含む
ことを特徴とする請求項１に記載のキーワード抽出方法。
【請求項５】
前記リカレントニューラルネットワークモデルはＬＳＴＭモデルである
ことを特徴とする請求項１に記載のキーワード抽出方法。
【請求項６】
コンピュータ可読命令が記憶されているメモリと、プロセッサとを備えるコンピュータ装置であって、
前記コンピュータ可読命令が前記プロセッサによって実行されるとき、前記プロセッサは、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードは前記処理待ちテキストにおける、前記判定待ちワードの前文に出現したワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを実行する
ことを特徴とするコンピュータ装置。
【請求項７】
処理待ちテキストの各判定待ちワードを取得することは、
前記処理待ちテキストに対してワード分割処理を行い、前記処理待ちテキストにおけるワードを取得することと、
前記処理待ちテキストにおけるストップワードを識別し、前記処理待ちテキストの前記ストップワード以外のワードを判定待ちワードとして確定することとを含む
ことを特徴とする請求項６に記載のコンピュータ装置。
【請求項８】
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することは、
各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードと各前記判定待ちワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルを用いて各前記判定待ちワードのワードベクトルシーケンスであるワードシーケンスを確定することとを含む
ことを特徴とする請求項６に記載のコンピュータ装置。
【請求項９】
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力することの前に、
トレーニングサンプルを取得し、リカレントニューラルネットワークモデルをトレーニングし、トレーニングされたリカレントニューラルネットワークモデルを取得することをさらに含み、
前記トレーニングサンプルは要素ペアを含み、前記要素ペアは、トレーニングされたテキストに対応するトレーニングワードと、前記トレーニングワードが前記トレーニングされたテキストのキーワードである確率とを含む
ことを特徴とする請求項６に記載のコンピュータ装置。
【請求項１０】
前記リカレントニューラルネットワークモデルはＬＳＴＭモデルである
ことを特徴とする請求項６に記載のコンピュータ装置。
【請求項１１】
コンピュータ可読命令が記憶されている一つ又は複数の不揮発性記憶媒体であって、
前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されるときに、前記一つ又は複数のプロセッサは、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードは前記処理待ちテキストにおける、前記判定待ちワードの前文に出現したワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを実行する
ことを特徴とする不揮発性記憶媒体。
【請求項１２】
処理待ちテキストの各判定待ちワードを取得することは、
前記処理待ちテキストに対してワード分割処理を行い、前記処理待ちテキストにおけるワードを取得することと、
前記処理待ちテキストにおけるストップワードを識別し、前記処理待ちテキストの前記ストップワード以外のワードを判定待ちワードとして確定することとを含む
ことを特徴とする請求項１１に記載の記憶媒体。
【請求項１３】
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することは、
各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードと各前記判定待ちワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルを用いて各前記判定待ちワードのワードベクトルシーケンスであるワードシーケンスを確定することとを含む
ことを特徴とする請求項１１に記載の記憶媒体。
【請求項１４】
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力することの前に、
トレーニングサンプルを取得し、リカレントニューラルネットワークモデルをトレーニングし、トレーニングされたリカレントニューラルネットワークモデルを取得することをさらに含み、
前記トレーニングサンプルは要素ペアを含み、前記要素ペアは、トレーニングされたテキストに対応するトレーニングワードと、前記トレーニングワードが前記トレーニングされたテキストのキーワードである確率とを含む
ことを特徴とする請求項１１に記載の記憶媒体。
【請求項１５】
前記リカレントニューラルネットワークモデルはＬＳＴＭモデルである
ことを特徴とする請求項１１に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２０１７年２月２３日に中国特許庁に提出された、出願番号が２０１７１０１０１０１３．１であり、出願名称が「キーワード抽出方法及び装置」である中国特許出願に対する優先権を主張し、その全ての内容が参照により本明細書に組み込まれる。
【０００２】
本出願は情報技術分野に関し、特にキーワード抽出方法、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【０００３】
情報の表現方式は情報化時代の発展に伴って多様化しており、その中、テキストを用いて情報を表現する方式は代替できないものである。ネットワークの発展に伴い、オンラインテキスト情報の量が爆発的に増加しており、必要なテキスト情報を手動で取得することが困難になっているため、どのように情報を効果的に取得するかは非常に重要な問題である。
【０００４】
大量のテキストデータを効果的に処理するために、研究者は、テキストの分類、テキストのクラスタリング、自動的な要約や情報検索などの方面において多くの研究をしたが、これらの研究は、一つの重要かつ根本的な問題、即ちどのようにテキストにおけるキーワードを取得するかに関する。
【０００５】
従来のキーワード抽出方法は特徴選択に基づく機械学習アルゴリズムを用いるため、データの特徴に応じて効果的な特徴を手動で抽出する必要がある。人間が介入する方式は、大きな主観的考えを含むため、キーワードの正確性を保証することが困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本出願の様々な実施態様によれば、キーワード抽出方法、コンピュータ装置及び記憶媒体が提供される。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本出願の実施態様では以下の技術的解決策が用いられる。
【０００８】
キーワード抽出方法は、ユーザ端末又はサーバに応用され、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードが前記処理待ちテキストにおける、前記判定待ちワードの前文に出現するワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを含む。
【０００９】
コンピュータ装置は、メモリとプロセッサとを備え、前記メモリにコンピュータ可読命令が記憶され、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサは、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードは前記処理待ちテキストにおける、前記判定待ちワードの前文に出現したワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを実行する。
【００１０】
コンピュータ可読命令を記憶している一つ又は複数の不揮発性記憶媒体において、前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されるときに、前記一つ又は複数のプロセッサは、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードは前記処理待ちテキストにおける、前記判定待ちワードの前文に出現したワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを実行する。
【００１１】
本出願の一つ又は複数の実施態様の詳細は、以下の図面及び説明に記載される。本出願の他の特徴、目的及び利点は明細書、図面及び特許請求の範囲から明らかになる。
【図面の簡単な説明】
【００１２】
【図１】一つの実施形態によるキーワード抽出方法の応用環境図である。
【図２】一つの実施形態によるコンピュータ装置の内部構造図である。
【図３】一つの実施形態によるキーワード抽出方法のフローチャートである。
【図４】別の実施形態によるキーワード抽出方法のフローチャートである。
【図５】一つの実施形態によるＬＳＴＭユニットの構造図である。
【図６】一つの実施形態によるキーワード抽出方法のモデルの構造図である。
【図７】一つの実施形態によるコンピュータ装置の構造ブロック図である。
【図８】別の実施形態によるコンピュータ装置の構造ブロック図である。
【発明を実施するための形態】
【００１３】
本発明の目的、技術的解決策及び利点をより明確にするため、以下に図面及び実施形態を組み合わせて、本出願をさらに詳しく説明する。当然のことながら、ここで記載される具体的な実施形態が本出願を解釈するためのものだけであり、本出願の保護範囲を限定するためのものではないことを理解すべきである。
【００１４】
図１は一つの実施形態によるキーワード抽出方法の応用環境図である。図１に示すように、該応用環境はユーザ端末１１０とサーバ１２０を含み、ユーザ端末１１０がサーバ１２０と通信して接続する。ユーザ端末１１０に検索エンジン又は質問応答システムがインストールされ、ユーザはユーザ端末１１０を介してテキストを入力し、入力されたテキストが通信ネットワークを介してサーバ１２０に送信され、サーバ１２０が入力されたテキストを処理し、入力されたテキストのキーワードを抽出し、ユーザに検索結果又は質問応答結果を提供する。又は、ユーザはユーザ端末１１０を介してテキストを入力し、ユーザ端末１１０が入力されたテキストを処理し、入力されたテキストのキーワードを抽出し、通信ネットワークを介してキーワードをサーバ１２０に送信し、サーバ１２０がユーザに検索結果又は質問応答結果を提供する。
【００１５】
図２は一つの実施形態によるコンピュータ装置の内部構造図であり、該コンピュータ装置がユーザ端末又はサーバであってもよい。図２に示すように、該コンピュータ装置はシステムバスを介して接続されるプロセッサ、メモリ及びネットワークインタフェースを備える。ここで、該プロセッサは計算機能及び制御機能を提供し、コンピュータ装置全体の動作をサポートすることに用いられる。該メモリは不揮発性記憶媒体と内部メモリを備え、該不揮発性記憶媒体がオペレーティングシステム及びコンピュータ可読命令を記憶することができ、該内部メモリが不揮発性記憶媒体におけるオペレーティングシステムとコンピュータ可読命令の実行のために環境を提供し、該コンピュータ可読命令がプロセッサによって実行されるときに、プロセッサがキーワード抽出方法を実行する。該ネットワークインタフェースは外部の端末とネットワーク通信を行うことに用いられる。
【００１６】
当業者であれば、図２に示す構造が本出願の解決策と関連する一部の構造のブロック図にすぎず、本出願の解決策が応用されるコンピュータ装置を限定するためのものではなく、具体的なコンピュータ装置が図面に示すものよりもより多い又はより少ない部材を備え、又はいくつかの部材を組み合わせ、又は異なる部材配置を有することができることを理解できるだろう。
【００１７】
図３を参照すると、一つの実施形態では、キーワード抽出方法が提供され、図１に示すサーバ１２０で実行され、以下のステップを含む。
【００１８】
Ｓ３１０において、処理待ちテキストの各判定待ちワードを取得する。
【００１９】
処理待ちテキストは一般的に一字で構成される。一字と比べ、ワードは語義をより表現でき、実際の意義を持つ。
【００２０】
処理待ちテキストを前処理することで、処理待ちテキストの各判定待ちワードを取得することができる。判定待ちワードは、処理待ちテキストにおける、それが処理待ちテキストのキーワードであるか否かを判定する必要があるワードである。判定待ちワードはワード分割処理が行われた処理待ちテキストにおけるワードであってもよく、即ち前処理はワード分割処理を含むことができる。処理効率を向上させるために、判定待ちワードはさらに処理待ちテキストにおけるワードから抽出された、実際の意義を持つワードであってもよく、即ち前処理はさらにストップワード識別とストップワード除去の処理を含むことができる。
【００２１】
その中の一つの実施形態では、ステップＳ３１０の前に、処理待ちテキストを取得するステップをさらに含むことができる。ユーザはユーザ端末を介してテキストを入力し、サーバは通信ネットワークを介してユーザから入力されたテキストを取得して処理待ちテキストを得る。
【００２２】
Ｓ３２０において、各判定待ちワードのそれぞれに対応する前文ワードを確定し、前文ワードは処理待ちテキストで判定待ちワードの前文（上文）に出現するワードである。
【００２３】
前文ワードの定義から、前文ワードが処理待ちテキストにおける、判定待ちワードの前文に出現するワードであり、処理待ちテキストに基づいて各判定ワードのそれぞれに対応する前文ワードを確定することができる。具体的には、処理待ちテキストを前処理（例えばワード分割処理）して得られたワードが処理待ちテキストに出現する順序に基づき、判定待ちワードの前文に出現する前文ワードを確定することができる。
【００２４】
Ｓ３３０において、各判定待ちワード、各判定待ちワードのそれぞれに対応する前文ワードが処理待ちテキストに出現する順序に基づき、各判定待ちワードのワードシーケンスを確定する。
【００２５】
説明すべきものとして、処理待ちテキストの１番目の判定待ちワードが対応する前文ワードを有しない可能性があり、１番目の判定待ちワードのワードシーケンスは１番目の判定待ちワード自体で構成させてもよい。
【００２６】
１番目の判定ワード以外の判定待ちワードは必ず前文ワードを有し、それに対応するワードシーケンスは、該判定待ちワードに対応する各前文ワードにその自体を加え、これらのワード（各前文ワードに判定待ちワードを加えたもの）が処理待ちテキストに出現する順序に応じて確定されたワードのシーケンスである。
【００２７】
Ｓ３５０において、各判定待ちワードのワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各判定待ちワードが処理待ちテキストのキーワードである確率を得る。
【００２８】
本実施形態におけるリカレントニューラルネットワークモデルはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔ）モデル、長期短期記憶（ＬＳＴＭ：Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）モデル又はＧＲＵ（Ｇａｔｅｄ  Ｒｅｃｕｒｒｅｎｔ  Ｕｎｉｔ）モデルを用いることができる。リカレントニューラルネットワークモデルは入力層、隠れ層及び出力層を含み、ここで隠れ層における隠れユニットが最も主要な作業を完了し、入力された判定待ちワードのワードシーケンスに基づき、判定待ちワードが処理待ちテキストのキーワードである確率を得る。トレーニングされたリカレントニューラルネットワークモデルに入力されたワードシーケンスが判定待ちワード及び判定待ちワードの全文ワードによって確定されるため、前文情報を十分に考慮し、判定待ちワードが処理待ちテキストのキーワードであるより正確な確率を得ることができる。
【００２９】
Ｓ３６０において、各判定待ちワードが処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、処理待ちテキストのキーワードを確定する。
【００３０】
処理待ちテキストにおける各判定待ちワードがキーワードである確率を予め設定された閾値とそれぞれ比較し、確率が予め設定された閾値以上である判定待ちワードを処理待ちテキストのキーワードとして確定する。
【００３１】
閾値の設定が具体的な需要に関連し、閾値が高く設定されると、正確率が高くなる反面、それに応じて再現率が低くなる。閾値が低く設定されると、正確率が低くなる反面、再現率が高くなり、ユーザは需要に応じて閾値を設定することができ、例えば閾値を０．５に設定することができる。
【００３２】
上記キーワード抽出方法では、データの特徴に基づいて効果的な特徴を手動で抽出することなく、ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルに入力して対応する判定待ちワードがキーワードである確率を取得し、そしてトレーニングされたリカレントニューラルネットワークモデルに入力されたワードシーケンスが判定待ちワード及び判定待ちワードの前文ワードによって確定されるため、前文情報を十分に考慮し、判定待ちワードが処理待ちテキストのキーワードであるより正確な確率を取得することができ、それによって抽出されたキーワードの精度を向上させる。
【００３３】
その中の一つの実施形態では、処理待ちテキストの判定待ちワードを取得するステップ、即ちＳ３１０は、以下のステップを含む。
【００３４】
ステップａ：処理待ちテキストに対してワード分割処理を行い、処理待ちテキストにおけるワードを取得する。
【００３５】
ステップｂ：処理待ちテキストにおけるストップワードを識別し、処理待ちテキストにおけるストップワード以外のワードを判定待ちワードとして確定する。
【００３６】
ストップワードライブラリにおけるストップワードを処理待ちテキストにおけるワードと比較し、処理待ちテキストにおけるストップワードを確定することができる。例えば、慣用のストップワードが「の」、「した」、「何」などを含み、これらのワードをキーワードとして用いられることはだめである。本実施形態では、処理待ちテキストにおけるストップワード以外のワードを判定待ちワードとして確定し、ストップワード以外のワードは一般的にコンテンツワード（実際の意義のあるワード）であり、ストップワードを判定待ちワードとすることなく、コンテンツワードを判定待ちワードとし、これによりストップワードの出力結果がキーワード抽出の正確率に影響することを回避することができ、他方では、キーワード抽出の速度を向上させることができる。
【００３７】
その中の一つの実施形態では、前文ワードは処理待ちテキストにおける、判定待ちワードの前文に出現する、ストップワード以外のワードを含む。処理待ちテキストにおける、判定待ちワードの前文に出現する、ストップワード以外のワードが、処理待ちテキストにおける、判定待ちワードの前文に出現するコンテンツワードであることを理解できるだろう。
【００３８】
別の実施形態では、前文ワードは処理待ちテキストにおける、判定待ちワードの前文に出現する全てのワード、即ち、処理待ちテキストにおける、判定待ちワードの前文に出現するストップワードとコンテンツワードを含むことができる。
【００３９】
その中の一つの実施形態において、ステップＳ３３０は以下を含むことができる。
【００４０】
ステップａ：各判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各判定待ちワードのワードベクトルを取得する。
【００４１】
ステップｂ：各判定待ちワードのそれぞれに対応する前文ワード及び各判定待ちワードが処理待ちテキストに出現する順序に基づき、各判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各判定待ちワードのワードベクトルを用いて各判定待ちワードのワードシーケンスを確定し、ワードシーケンスがワードベクトルシーケンスである。
【００４２】
ワードベクトルは一つのワードに対応するベクトル表現（表示）であり、自然言語におけるワードをデジタル化する方式であり、ワードベクトルは言語モデルを用いてトレーニングして得られてもよい。慣用の言語モデルはＷｏｒｄ２ｖｅｃであり、ディープラーニング思想を用い、トレーニングを通じてテキストコンテンツの処理をＫ次元ベクトル空間のベクトル演算に簡素化することができる。具体的な実施形態では、大規模なテキストデータを通じてＷｏｒｄ２ｖｅｃでトレーニングして各ワードのワードベクトルを取得することができ、検索にて処理待ちテキストの各ワードのワードベクトルを取得することができ、それによって各判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各判定待ちのワードベクトルを取得することができる。
【００４３】
このようにして、ワードベクトルを用いて各ワードを示すため、ワードレベルの語義情報をより良く取得することができ、それによって抽出されたキーワードの精度をさらに向上させる。
【００４４】
説明すべきものとして、トレーニングされたリカレントニューラルネットワークモデルに入力されたワードシーケンスがワードベクトルシーケンスである場合、トレーニングされたリカレントニューラルネットワークモデルの隠れ層から出力された結果も一つのベクトルであり、該ベクトルを０−１範囲にマッピングして各判定待ちワードの確率を表すために、Ｓｏｆｔｍａｘ関数又はＳｉｇｍｏｉｄ関数を用いることができる。Ｓｏｆｔｍａｘ関数は一般的な多クラス回帰モデルである。判定待ちワードがキーワードであるか否かを判定することが一つの二次元問題として構成されてもよく、対応するＳｏｆｔｍａｘ関数が二次元を有し、一次元がキーワードである確率を表し、二次元がキーワードではない確率を表すようにする。
【００４５】
さらに、前文ワードと判定待ちワードのそれぞれに対応するワードベクトルを取得する取得方式は大規模コーパスでトレーニングして得られることである。大規模コーパスでトレーニングして得られたワードベクトルを用いることで、ワードの語義情報を用いて語義からキーワードの識別に役立つことができ、それによって抽出されたキーワードの精度をさらに向上させることができる。
【００４６】
図４を参照し、その中の一つの実施形態では、抽出されたキーワードの精度をさらに向上させるために、各判定待ちワードのワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力することの前に、以下のステップをさらに含む。
【００４７】
Ｓ３４０において、トレーニングサンプルを取得し、リカレントニューラルネットワークモデルをトレーニングし、トレーニングされたリカレントニューラルネットワークモデルを取得するステップであって、前記トレーニングサンプルが要素ペアを含み、前記要素ペアはトレーニングされたテキストに対応するトレーニングワード及び前記トレーニングワードが前記トレーニングテキストのキーワードである確率を含む。
【００４８】
要素ペアにおけるトレーニングワードがトレーニングテキストのキーワードである確率の値は０及び１を含み、該値が０である場合、該トレーニングワードが該トレーニングテキストのキーワードではないことを表し、該値が１である場合、該トレーニングワードが該トレーニングテキストのキーワードであることを表す。
【００４９】
トレーニングプロセスにおいてガウス分布を用いてリカレントニューラルネットワークモデルのネットワークパラメータを初期化することができ、トレーニングするときにトレーニングテキストのｉ番目の判定待ちワード及び該判定待ちワードの各前文ワードを、各ワードが処理待ちテキストに出現する順序に従ってワードシーケンスを形成し、ワードシーケンスにおける各ワードベクトルをリカレントニューラルネットワークモデルに順次入力し、ｉ番目の判定待ちワードの損失を得て、それによって各判定待ちワードの損失を得る。また、説明すべきものとして、トレーニングプロセスにおいて、勾配降下法を用いてリカレントニューラルネットワークモデルのパラメータを更新することができる。
【００５０】
その中の一つの実施形態では、リカレントニューラルネットワークモデルがＬＳＴＭモデルである。
【００５１】
ＬＳＴＭモデルがＲＮＮモデルに基づくものであり、リカレントニューラルネットワークモデルにおける隠れユニットがＬＳＴＭユニットである。ＬＳＴＭユニット構造は図５に示される。ここで、記憶ユニットは履歴情報を記憶することに用いられ、履歴情報の更新及び使用がそれぞれ入力ゲート（Ｉｎｐｕｔ  Ｇａｔｅ）、忘れゲート（Ｆｏｒｇｅｔ  Ｇａｔｅ）と出力ゲート（Ｏｕｔｐｕｔ  Ｇａｔｅ）という３つのゲートによって制御される。ＬＳＴＭモデルが不定長シーケンスへの入力不足を克服することができ、履歴情報をより良く記憶することができ、したがって、抽出されたキーワードの精度をさらに向上させることができる。
【００５２】
図５と図６を参照し、リカレントニューラルネットワークモデルをＬＳＴＭモデルとして一つの判定待ちワードのワードシーケンスを処理するプロセスを例とし、判定待ちワードに対応するワードシーケンスの各前文ワードのワードベクトル（Ｗｏｒｄ  Ｅｍｂｅｄｄｉｎｇ）及び該判定待ちワードのワードベクトルを、処理待ちテキストに出現する順序に従ってトレーニングされたＬＳＴＭモデルに入力し、そのため判定待ちワードの数に基づいてＬＳＴＭモデルを複数回用い、各判定待ちワードが処理待ちテキストのキーワードである確率を得る。そしてすべての各判定ワードをＬＳＴＭモデルの最後の１つＬＳＴＭユニットの入力とし、各判定待ちワードの出力結果がすべて各判定待ちワードの前文履歴情報、即ち各判定待ちワードに対応する各前文ワードの語義情報を考慮したものである。ＬＳＴＭモデルで出力された各判定待ちワードの結果がＬＳＴＭモデルの最後の隠れ層（ＬＳＴＭユニット）の出力である。
【００５３】
以下に具体的な実施形態を組み合わせて本発明のキーワード抽出方法を説明する。
【００５４】
続けて図６を参照すると、キーワード抽出方法に対応するモデルは、ＬＳＴＭユニットとＳｏｔｆｍａｘ関数を含む。該モデルで、処理待ちテキストの各判定待ちワードに対してそれがキーワードとなる確率を確定するための分類器を構成することができる。一つの判定待ちワードに対して、その文の先頭からの全てのワードを抽出してワードシーケンスを構成する。モデルの入力がワードベクトルであり、各ＬＳＴＭユニットはいずれも該ＬＳＴＭユニットに対して入力されたワードベクトルに対応するワードの結果を出力し、該結果をワードシーケンスにおける次のワードベクトルと組み合わせて次のＬＳＴＭユニットの入力とすることができる。最後のＬＳＴＭユニットは前のＬＳＴＭユニットの出力結果を判定待ちワードのワードベクトルと組み合わせて該最後のＬＳＴＭユニットの入力とし、その出力結果がベクトル形態で表される判定待ちワードに対応する結果であり、該ベクトル形態の結果がＳｏｔｆｍａｘ関数を通し、それによって該判定待ちワードがキーワードである確率を確定する。判定待ちワードがキーワードである確率を予め設定された閾値と比較して判定待ちワードがキーワードであるか否かを確定することができる。
【００５５】
「寧波に有するどんな特産が上海世界博覧会で一席を占めるか」を処理待ちテキストの例とすると、ワード分割処理を行った後、確定された判定待ちワードは「寧波」、「特産」、「上海」、「世界博覧会」、「占める」と「一席」を含む。各判定待ちワードのワードベクトル及び該判定待ちワードの前文の各前文ワードのベクトルをそれらが処理待ちテキストに出現する順序に従って、トレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各判定待ちワードが処理待ちテキストのキーワードである確率を得る。例えば、判定待ちワードが「世界博覧会」である場合、図６に示すように、「寧波」、「有する」、「特産」、「上海」、「世界博覧会」の順序で、対応するワードベクトルをリカレントニューラルネットワークモデルに入力することができ、ここで、「寧波」のワードベクトルをＬＳＴＭモデルの１番目のＬＳＴＭユニットに入力し、「有する」のワードベクトルを２番目のＬＳＴＭユニットに入力し、これによって類推し、判定待ちワード「世界博覧会」のベクトルを最後のＬＳＴＭユニットに入力し、各ＬＳＴＭユニットが前のＬＳＴＭユニットの出力の影響を受ける。ＬＳＴＭモデルの出力がＳｏｆｔｍａｘ関数マッピングによる最後のＬＳＴＭユニットの出力ベクトルに対応する確率値であり、これにより、各判定待ちワードが処理待ちテキストのキーワードである確率を得る。入力されたワードベクトルシーケンス自体が判定待ちワードに対応する各前文ワードのベクトルと判定待ちワードのワードベクトルを含むため、前文情報を考慮し、そしてＬＳＴＭモデル内部で、履歴情報をより良く記憶することができ、そのため判定待ちワードが処理待ちテキストのキーワードであるより正確な確率をさらに得ることができる。
【００５６】
理解すべきものとして、図３と図４のフローチャートにおける各ステップは矢印の指示に従って順次表示されるが、これらのステップは必ずしも矢印に示される順序に従って順次実行されるわけではない。本明細書で明確に説明しない限り、これらのステップの実行は厳しい順序制限がなく、これらのステップは他の順序で実行されてもよい。そして、図３と図４の少なくとも一部のステップが複数のサブステップ又は複数の段階を含むことができ、これらのサブステップ又は段階は必ず同一の時点で実行されて完了されず、異なる時点で実行されてもよく、これらのサブステップ又は段階の実行順序も順次実行されず、他のステップ又は他のステップのサブステップ又は段階の少なくとも一部と順次又は交互に実行されてもよい。
【００５７】
一つの実施形態では、また、コンピュータ装置が提供され、該コンピュータ装置の内部構造が図２に示され、該コンピュータ装置がキーワード抽出装置を備え、キーワード抽出装置に各モジュールが含まれ、各モジュールが全部又は一部でソフトウェア、ハードウェア又はそれらの組み合わせで実現されてもよい。
【００５８】
一つの実施形態では、キーワード抽出装置が提供され、図７に示すように、判定待ちワード取得モジュール７１０、前文ワード確定モジュール７２０、ワードシーケンス確定モジュール７３０、確率確定モジュール７５０及びキーワード確定モジュール７６０を備える。
【００５９】
ここで、判定待ち取得モジュール７１０は、処理待ちテキストの各判定待ちワードを取得するように構成される。
【００６０】
前文ワード確定モジュール７２０は、各判定待ちワードのそれぞれに対応する前文ワードを確定するように構成され、前文ワードが処理待ちテキストにおける、判定待ちワードの前文に出現するワードである。
【００６１】
ワードシーケンス確定モジュール７３０は、各判定待ちワード、各判定待ちワードのそれぞれに対応する前文ワードが処理待ちテキストに出現する順序に基づき、ワードシーケンスを確定するように構成される。
【００６２】
確率確定モジュール７５０は、各判定待ちワードのワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各判定待ちワードが処理待ちテキストのキーワードである確率を得るように構成される。
【００６３】
キーワード確定モジュール７６０は、各判定待ちワードが処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、処理待ちテキストのキーワードを確定するように構成される。
【００６４】
上記キーワード抽出装置では、データの特徴に基づいて効果的な特徴を手動で抽出することなく、ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルに入力することで対応する判定待ちワードがキーワードである確率を取得し、そしてトレーニングされたリカレントニューラルネットワークモデルに入力されたワードシーケンスが判定待ちワード及び判定待ちワードの前文ワードによって確定されるため、前文情報を十分に考慮し、判定待ちワードが処理待ちテキストのキーワードであるより正確な確率を取得することができ、それによって抽出されたキーワードの精度を向上させる。
【００６５】
図８を参照すると、その中の一つの実施形態では、判定待ちワード取得モジュール７１０は、ワード分割処理ユニット７１１と識別確定ユニット７１３を含む。
【００６６】
ここで、ワード分割処理ユニット７１１は、処理待ちテキストに対してワード分割処理を行い、処理待ちテキストにおけるワードを取得するように構成される。
【００６７】
識別確定ユニット７１３は、処理待ちテキストにおけるストップワードを識別し、処理待ちテキストにおけるストップワード以外のワードを判定待ちワードとして確定するように構成される。
【００６８】
その中の一つの実施形態では、前文ワードは処理待ちテキストにおける、判定待ちワードの前文に出現する、ストップワード以外のワードを含む。
【００６９】
その中の一つの実施形態では、ワードシーケンス確定モジュール７３０はワードベクトル取得ユニット７３１とワードシーケンス確定ユニット７３３を含む。
【００７０】
ここで、ワードベクトル取得ユニット７３１は、各判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各判定待ちワードのワードベクトルを取得するように構成される。
【００７１】
ワードシーケンス確定ユニット７３３は、各判定待ちワードのそれぞれに対応する前文ワード及び各判定待ちワードが処理待ちテキストに出現する順序に基づき、各判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各判定待ちワードのワードベクトルを用いて各判定待ちワードのワードシーケンスを確定するように構成され、ワードシーケンスがワードベクトルシーケンスである。
【００７２】
続けて図８を参照すると、その中の一つの実施形態では、
トレーニングサンプルを取得し、リカレントニューラルネットワークモデルをトレーニングし、トレーニングされたリカレントニューラルネットワークモデルを取得するように構成され、前記トレーニングサンプルが要素ペアを含み、前記要素ペアがトレーニングされたテキストに対応するトレーニングワード及び前記トレーニングワードが前記トレーニングテキストのキーワードである確率を含むモデルトレーニングモジュール７４０をさらに備える。
【００７３】
その中の一つの実施形態では、リカレントニューラルネットワークモデルがＬＳＴＭモデルである。
【００７４】
上記キーワード抽出装置が上記キーワード抽出方法に相互に対応するため、装置における上記方法に対応する具体的な技術的特徴に対して、ここで説明を省略する。
【００７５】
一つの実施形態では、コンピュータ装置が提供され、前記コンピュータ装置は、メモリとプロセッサを備え、前記メモリにコンピュータ可読命令が記憶され、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサは、
処理待ちテキストの各判定待ちワードを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードを確定することであって、前記前文ワードは前記処理待ちテキストにおける、前記判定待ちワードの前文に出現したワードである、ことと、
各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することと、
各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力し、各前記判定待ちワードが前記処理待ちテキストのキーワードである確率を得ることと、
各前記判定待ちワードが前記処理待ちテキストのキーワードである確率及び予め設定された閾値に基づき、前記処理待ちテキストのキーワードを確定することとを実行する。
【００７６】
その中の一つの実施形態では、処理待ちテキストの各判定待ちワードを取得することは
処理待ちテキストに対してワード分割処理を行い、前記処理待ちテキストにおけるワードを取得することと、
前記処理待ちテキストにおけるストップワードを識別し、前記処理待ちテキストの前記ストップワード以外のワードを判定待ちワードとして確定することとを含む。
【００７７】
その中の一つの実施形態では、各前記判定待ちワードと各前記判定待ちワードのそれぞれに対応する前文ワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのワードシーケンスを確定することは、
各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルとを取得することと、
各前記判定待ちワードのそれぞれに対応する前文ワードと各前記判定待ちワードとが前記処理待ちテキストに出現する順序に基づき、各前記判定待ちワードのそれぞれに対応する前文ワードのワードベクトルと各前記判定待ちワードのワードベクトルを用いて各前記判定待ちワードのワードベクトルシーケンスであるワードシーケンスを確定することとを含む。
【００７８】
その中の一つの実施形態では、各前記判定待ちワードの前記ワードシーケンスをトレーニングされたリカレントニューラルネットワークモデルにそれぞれ入力することの前に、
トレーニングサンプルを取得し、リカレントニューラルネットワークモデルをトレーニングし、トレーニングされたリカレントニューラルネットワークモデルを取得することをさらに含み、
前記トレーニングサンプルは要素ペアを含み、前記要素ペアは、トレーニングされたテキストに対応するトレーニングワードと、前記トレーニングワードが前記トレーニングテキストのキーワードである確率とを含む。
【００７９】
その中の一つの実施形態では、前記リカレントニューラルネットワークモデルがＬＳＴＭモデルである。
【００８０】
当業者は、上記実施形態の方法の全て又は一部のプロセスがコンピュータプログラムで関連するハードウェアに命令して完了されてもよく、前記プログラムが不揮発性コンピュータ読み取り可能記録媒体に格納されてもよく、該プログラムが実行される時、上記の各方法の実施形態のフローを含むことができることを理解できる。その中、本出願で提供される様々な実施形態で用いられる、メモリ、記憶、データベース又は他の媒体へのいかなるの参照はいずれも不揮発性及び／又は揮発性メモリを含むことができる。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部高速キャッシュメモリを含むことができる。限定ではなく例として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期チェーン（Ｓｙｎｃｈ  ｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）直接ＲＡＭ（ＲＤＲＡＭ）、直接メモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で得られてもよい。
【００８１】
上記実施形態の様々な技術的特徴が任意に組み合わせられてもよく、説明を簡単にするために、上記実施形態の各技術的特徴の全ての可能な組み合わせを説明しないが、これらの技術的特徴の組み合わせが矛盾しない限り、本明細書に記載される範囲と見なされるべきである。上記実施形態は本出願のいくつかの実施形態だけを示し、その説明がより具体的かつ詳細であるが、本発明の特許範囲を限定するものとして理解されるべきではない。当業者にとって、本出願の考えを逸脱しない前提で、いくつかの変形と修正を行うことができ、これらが全て本出願の保護範囲に属することに留意すべきである。したがって、本出願の特許の保護範囲は添付の特許請求の範囲に従うべきである。
【符号の説明】
【００８２】
１１０  ユーザ端末
１２０  サーバ
７１０  判定待ちワード取得モジュール
７２０  前文ワード確定モジュール
７３０  ワードシーケンス確定モジュール
７５０  確率確定モジュール
７６０  キーワード確定モジュール
【図１】
2019531562.tif 000003
【図２】
2019531562.tif 000004
【図３】
2019531562.tif 000005
【図４】
2019531562.tif 000006
【図５】
2019531562.tif 000007
【図６】
2019531562.tif 000008
【図７】
2019531562.tif 000009
【図８】
2019531562.tif 000010
【国際調査報告】
2019531562.tif 000011
2019531562.tif 000012
2019531562.tif 000013
2019531562.tif 000014