(57)【特許請求の範囲】
【請求項１】
コンピュータ機器が実行する文書要約自動抽出方法であって、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得るステップと、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得るステップと、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得るステップと、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態でのコンテキストベクトルを求めるための重みの値である貢献値を求め、求めた前記エンコーダの隠れ状態の前記貢献値に対応した前記コンテキストベクトルを取得するステップと、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力するステップと、
を含むことを特徴とする文書要約自動抽出方法。
【請求項２】
前記ターゲットテキストに含まれる文字を順次取得して、前記長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、前記文字を順次入力して符号化し、前記隠れ状態で構成されるシーケンスを得る前記ステップの前に、
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得るステップをさらに含むことを特徴とする請求項１に記載の文書要約自動抽出方法。
【請求項３】
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数１】
0006955580.tif 000018
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-1が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数２】
0006955580.tif 000019
が隠れ状態ｈｔ-1に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする請求項１に記載の文書要約自動抽出方法。
【請求項４】
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップでは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが履歴テキストに対応した前記単語集の大きさを表すことを特徴とする請求項３に記載の文書要約自動抽出方法。
【請求項５】
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップは、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とするステップと、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップと、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとするステップとを含むことを特徴とする請求項２に記載の文書要約自動抽出方法。
【請求項６】
前記コンテキストベクトルを取得するステップでは、前記コンテキストベクトルＺｔは、前記更新された後の隠れ状態で構成されるシーケンスを変換することにより求めた固有ベクトルａがａ＝｛ａ１、ａ２、……、ａＬ｝の場合に、
【数３】
0006955580.tif 000020
で表され、ここで、ａｔ,ｉはｔ番目の語句を生成するときにｉ番目の位置の前記固有ベクトルの占める重みを判断することに用いられ、Ｌは前記更新された後の隠れ状態で構成されるシーケンスにおける文字の数であることを特徴とする請求項１から５の何れか一項に記載の文書要約自動抽出方法。
【請求項７】
文書要約自動抽出装置であって、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る第１入力ユニットと、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る第２入力ユニットと、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る第３入力ユニットと、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態でのコンテキストベクトルを求めるための重みの値である貢献値を求め、求めた前記エンコーダの隠れ状態の前記貢献値に対応した前記コンテキストベクトルを取得するコンテキストベクトル取得ユニットと、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する要約取得ユニットと、
を備えることを特徴とする文書要約自動抽出装置。
【請求項８】
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得る履歴データトレーニングユニットをさらに備えることを特徴とする請求項７に記載の文書要約自動抽出装置。
【請求項９】
前記第２入力ユニットは、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とする初期化ユニットと、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとする更新ユニットと、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとする繰り返し実行ユニットとを備えることを特徴とする請求項８に記載の文書要約自動抽出装置。
【請求項１０】
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数４】
0006955580.tif 000021
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ−１が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数５】
0006955580.tif 000022
が隠れ状態ｈｔ−１に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする請求項７に記載の文書要約自動抽出装置。
【請求項１１】
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記第２入力ユニットは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが履歴テキストに対応した前記単語集の大きさを表すことを特徴とする請求項１０に記載の文書要約自動抽出装置。
【請求項１２】
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサに実行可能なコンピュータプログラムとを備えるコンピュータ機器であって、
前記プロセッサは、前記コンピュータプログラムを実行するときに、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得るステップと、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得るステップと、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得るステップと、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態でのコンテキストベクトルを求めるための重みの値である貢献値を求め、求めた前記エンコーダの隠れ状態の前記貢献値に対応した前記コンテキストベクトルを取得するステップと、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力するステップと、
を実現することを特徴とするコンピュータ機器。
【請求項１３】
前記ターゲットテキストに含まれる文字を順次取得して、前記長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、前記文字を順次入力して符号化し、前記隠れ状態で構成されるシーケンスを得るステップの前に、
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得るステップをさらに含むことを特徴とする請求項１２に記載のコンピュータ機器。
【請求項１４】
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数６】
0006955580.tif 000023
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-1が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数７】
0006955580.tif 000024
が隠れ状態ｈｔ-1に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする請求項１２に記載のコンピュータ機器。
【請求項１５】
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップでは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが前記履歴テキストに対応した単語集の大きさを表すことを特徴とする請求項１４に記載のコンピュータ機器。
【請求項１６】
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップは、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とするステップと、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップと、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとするステップとを含むことを特徴とする請求項１３に記載のコンピュータ機器。
【請求項１７】
プログラム指令を含むコンピュータプログラムが記憶された記憶媒体であって、
前記プログラム指令は、プロセッサによって実行されると、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る操作と、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る操作と、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る操作と、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態でのコンテキストベクトルを求めるための重みの値である貢献値を求め、求めた前記エンコーダの隠れ状態の前記貢献値に対応した前記コンテキストベクトルを取得する操作と、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する操作と、
を前記プロセッサに実行させることを特徴とする記憶媒体。
【請求項１８】
前記ターゲットテキストに含まれる文字を順次取得して、前記長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、前記文字を順次入力して符号化し、前記隠れ状態で構成されるシーケンスを得る前記操作の前に、
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得る操作をさらに含むことを特徴とする請求項１７に記載の記憶媒体。
【請求項１９】
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数８】
0006955580.tif 000025
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-1が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数９】
0006955580.tif 000026
が隠れ状態ｈｔ-1に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする請求項１７に記載の記憶媒体。
【請求項２０】
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記操作では、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが前記履歴テキストに対応した単語集の大きさを表すことを特徴とする請求項１９に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号２０１８１０１９１５０６．３（出願日：２０１８年３月８日）の中国特許出願を基礎としてその優先権を主張するが、当該出願のすべての内容は、ここで全体的に本願に取り込まれる。
【０００２】
（技術分野）
本願は、文書要約抽出の技術分野に関し、特に文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体に関する。
【背景技術】
【０００３】
現在、文章に対して文書要約を要約するときに、抽出式に基づく方法が使用されている。抽出式文書要約とは、文章における最も代表的なキーセンテンスを該文章の文書要約として抽出することである。具体的には、
１）先ず、文章に対して単語の分割を行って、ストップ単語を削除し、文章を構成する基本的な単語群を取得する。
２）次に、計算した単語の頻度に基づき頻度の高い単語を取得して、頻度の高い単語の所在するセンテンスをキーセンテンスとする。
３）最後に、いくつかのキーセンテンスを指定して文書の要約を構成する。
【０００４】
上記抽出式方法は、ニュース、議論文など、文のうち概要的な長いセンテンスが常に現れるスタイルに適用できる。たとえば、金融記事では、頻度の高い単語は、一般的に「現金」、「株式証券」、「中央銀行」、「金利」などであり、抽出結果は、一般的に「中央銀行による利上げの結果、株価が下落して、現金至上が既に株主により認められている」のような長いセンテンスである。抽出式方法には、非常に大きい制限性があり、処理対象のテキストに代表的な「キーセンテンス」が含まれないと、特に会話類のテキストの場合、抽出結果は意味がまったくない恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願は、文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体を提供し、抽出式方法で文章中の文書要約を抽出することが、ニュース、議論文など文のうち概要的な長いセンテンスが現れたスタイルのみに適用でき、キーセンテンスが含まないテキストに対して要約を抽出する抽出結果が正確ではないという従来技術の問題を解決することを目的とする。
【課題を解決するための手段】
【０００６】
第１の態様によれば、本願は、文書要約自動抽出方法を提供し、該方法は、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得るステップと、隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得るステップと、
要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得るステップと、
更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得するステップと、
更新された後の隠れ状態で構成されるシーケンス及びコンテキストベクトルに基づき、更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力するステップとを含む。
【０００７】
第２の態様によれば、本願は文書要約自動抽出装置を提供し、該装置は、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る第１入力ユニットと、
隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る第２入力ユニットと、
要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る第３入力ユニットと、
更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得するコンテキストベクトル取得ユニットと、
更新された後の隠れ状態で構成されるシーケンス及びコンテキストベクトルに基づき、更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する要約取得ユニットとを備える。
【０００８】
第３の態様によれば、本願は、メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサに実行可能なコンピュータプログラムとを備え、前記プロセッサは、前記コンピュータプログラムを実行するときに、本願に係るいずれか１項に記載の文書要約自動抽出方法を実現するコンピュータ機器をさらに提供する。
【０００９】
第４の態様によれば、本願は、プログラム指令を含むコンピュータプログラムが記憶されており、前記プログラム指令がプロセッサによって実行されると、本願に係るいずれか１項に記載の文書要約自動抽出方法を前記プロセッサに実行させる記憶媒体をさらに提供する。
【発明の効果】
【００１０】
本願は、文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体を提供する。該方法は、ＬＳＴＭモデルを用いてターゲットテキストを符号化して復号した後、コンテキスト変数と組み合わせてターゲットテキストの要約を得るものであり、総括の方式でまとめてターゲットテキストの要約を取得し、文書要約の取得の正確性を向上させる。
【図面の簡単な説明】
【００１１】
本願の実施例の技術案をより明瞭に説明するために、以下、実施例の記述に必要な図面を簡単に説明するが、勿論、下記の説明における図面は、本願のいくつかの実施例に過ぎず、当業者であれば、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を想到しうる。
【００１２】
【図１】図１は、本願の実施例に係る文書要約自動抽出方法の概略フローチャートである。
【図２】図２は、本願の実施例に係る文書要約自動抽出方法の別の概略フローチャートである。
【図３】図３は、本願の実施例に係る文書要約自動抽出方法のサブフローの模式図である。
【図４】図４は、本願の実施例に係る文書要約自動抽出装置の概略ブロック図である。
【図５】図５は、本願の実施例に係る文書要約自動抽出装置の別の概略ブロック図である。
【図６】図６は、本願の実施例に係る文書要約自動抽出装置のサブユニットの概略ブロック図である。
【図７】図７は、本願の実施例に係るコンピュータ機器の概略ブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例の図面を参照しながら、本発明の実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本発明の実施例の一部であり、全てではない。本発明の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、本発明の保護範囲に属するものである。
【００１４】
なお、本明細書および添付の特許請求の範囲で使用される場合、用語「含む」および「含有」は、記載された特徴、全体、ステップ、操作、要素及び／又は構成要素の存在を示すが、１つまたは複数の他の特徴、全体、ステップ、操作、要素、構成要素及び／又はその集合の存在または追加を排除しない。
【００１５】
また、本明細書で使用される用語は、特定の実施形態を説明する目的だけのものであって、本願を限定することを意図していないということを理解すべきである。本願明細書および添付の特許請求の範囲で使用されるように、単数形の「１」、「１」および「この」は、文脈で他の状況が明確に指定されていない限り、複数形を含むことを意味する。
【００１６】
本明細書および特許請求の範囲で使用されている用語「および／または」は、関連してリストされた項目のうちの１つまたは複数の任意の組み合わせおよび可能なすべての組み合わせを意味し、これらの組み合わせを含むこともさらに理解されるべきである。
【００１７】
図１を参照して、図１は、本願の実施例に係る文書要約自動抽出方法の概略フローチャートである。該方法は、デスクトップパソコン、ノートパソコン、タブレットコンピュータなどの端末に適用できる。図１に示すように、該方法は、ステップＳ１０１〜Ｓ１０５を含む。
【００１８】
Ｓ１０１、ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る。
【００１９】
本実施例では、先ず単語分割を行うことによりターゲットテキストに含まれる中国語文字又は英語文字である文字を取得し、上記処理によって、ターゲットテキストが複数の文字に分割される。たとえば、１編の中国語文章に対して単語分割を行う場合、以下のステップを行う。
１）単語分割対象の文字列Ｓに対して、左から右への順序で全ての候補単語ｗ１、ｗ２、．．．、ｗｉ、．．．、ｗｎを取り出す。
２）辞書から各候補単語の確率値Ｐ（ｗｉ）を検索し、各候補単語の全ての左隣接単語を記録する。
３）各候補単語の累積確率を計算するとともに、比較して各候補単語の最適な左隣接単語を得る。
４）現在の単語ｗｎが文字列Ｓの最後の単語であり、且つ累積確率Ｐ（ｗｎ）が最も大きい場合、ｗｎがＳの終止単語である。
５）ｗｎから、右から左への順序で、各単語の最適な左隣接単語を順次出力し、Ｓの単語分割の結果を得る。
【００２０】
ターゲットテキストに含まれる文字を順次取得した後、履歴データに基づきトレーニングして得たＬＳＴＭモデルに順次入力し、複数の分割単語から要約を構成可能な語句を抽出して、最終的な文書要約を構成する。処理するときに、具体的には、段落を単位として上記単語分割処理を行って、現在の段落のキーセンテンスを抽出し、最後に各段落のキーセンテンスを組み合わせて要約を構成してもよい（本願では、この単語分割の処理方式が好ましい）。直接的に文章全体を単位として上記単語分割処理を行い、複数のキーワードを抽出して組み合わせて要約を構成してもよい。
【００２１】
ターゲットテキストに含まれる文字を取得した後、ＬＳＴＭモデルに入力して処理する。ＬＳＴＭモデルは、長短期記憶ニューラルネットワークであり、ＬＳＴＭのフルネームがＬｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙであり、時間回帰型ニューラルネットワークであり、ＬＳＴＭは、時系列中の間隔と遅延が非常に長い重要なイベントを処理して予測することに適する。ＬＳＴＭモデルによってターゲットテキストに含まれる文字を符号化して、テキストの要約抽出の前処理を行うことができる。
【００２２】
ＬＳＴＭモデルをより明瞭に理解できるように、以下、ＬＳＴＭモデルを説明する。
【００２３】
ＬＳＴＭのキーは、セルの頂部全体を横切る水平線と考えられるセル状態（Ｃｅｌｌ  Ｓｔａｔｅ）である。セル状態は、コンベアに類似し、チェーン全体を直接通過するとともに、比較的小さい線形交互のみがある。セル状態に担持された情報が変更せずに非常に容易に通過することができ、ＬＳＴＭは、セル状態に情報を追加又は削除する機能を有し、上記機能は、ゲートの構造によって制御され、すなわち、ゲートが情報を選択的に通過させることができ、ここで、ゲート構造は、Ｓｉｇｍｏｉｄニューラルネットワーク層と要素レベルの乗算操作で構成される。Ｓｉｇｍｏｉｄ層が０〜１の間の値を出力し、各値が対応する部分の情報が通過すべきであるか否かを表す。０値が情報の通過拒否を表し、１値がすべての情報の通過許可を表す。１つのＬＳＴＭは、セル状態を保護して制御するための３つのゲートを有する。
【００２４】
ＬＳＴＭには、少なくとも３つのゲートを含み、それぞれ以下のとおりである。
１）忘却ゲートであって、前の時点のセル状態がいくつ現在の時点まで保持されるかを決める。
２）入力ゲートであって、現在の時点にネットワークの入力がいくつセル状態まで保存されるかを決める。
３）出力ゲートであって、セル状態がいくつＬＳＴＭの現在の出力値に出力されるかを決める。
一実施例では、前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりである。
【数１】
0006955580.tif 000002
【００２５】
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-１が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数２】
0006955580.tif 000003
が隠れ状態ｈｔ-１に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数である。
【００２６】
ターゲットテキストに含まれる文字は、第１層ＬＳＴＭ構造によって符号化されると、隠れ状態で構成されるシーケンスに変換され、続いてそれを復号すると、初期処理後のシーケンスを取得することができ、それによって、選択対象の分割単語が正確に抽出される。
【００２７】
一実施例では、図２に示すように、前記ステップＳ１０１の前には、さらにＳ１０１ａを含む。
【００２８】
Ｓ１０１ａ、コーパスにおける複数の履歴テキストを第１層ＬＳＴＭ構造に配置して、且つ履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングしてＬＳＴＭモデルを得る。
【００２９】
ＬＳＴＭモデルの全体的なフレームワークが固定されており、その入力層、隠れ層、出力層などの各層のパラメータを設定するだけで、モデルが得られ、入力層、隠れ層、出力層などの各層のパラメータの設定には、複数回の実験をすることで最適なパラメータ値を得ることができる。例えば、隠れ層ノードが１０個あり、各ノードの値が１〜１０である場合、１００種類の組み合わせを試行して１００個のトレーニングモデルを構成し、次に大量のデータでこの１００個のモデルをトレーニングして、正確率などに応じて最適なトレーニングモデルを得る。この最適なトレーニングモデルに対応したノード値などのパラメータが最適なパラメータとなる（上記ＧＲＵモデルにおけるＷｚ、Ｗｒ、Ｗがここでの最適なパラメータであることを理解できる）。最適なトレーニングモデルを本技術案に適用してＬＳＴＭモデルとすることにより、抽出された文書要約がより正確であることを確保できる。
【００３０】
Ｓ１０２、隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る。
【００３１】
図３に示すように、該ステップＳ１０２は、以下のサブステップを含む。
【００３２】
Ｓ１０２１、隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を要約のワードシーケンスにおける最初位置での語句とする。
【００３３】
Ｓ１０２２、最初位置での語句中の各字を第２層ＬＳＴＭ構造に入力し、第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、組み合わせられたシーケンスにおける確率の最も大きい単語を取得して隠れ状態で構成されるシーケンスとする。
【００３４】
Ｓ１０２３、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまで、隠れ状態で構成されるシーケンス中の各字を第２層ＬＳＴＭ構造に入力し、第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、組み合わせられたシーケンスにおける確率の最も大きい単語を取得して隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、隠れ状態で構成されるシーケンスを要約のワードシーケンスとする。
【００３５】
本実施例では、上記過程は、Ｂｅａｍ  Ｓｅａｒｃｈアルゴリズム（Ｂｅａｍ  Ｓｅａｒｃｈアルゴリズムがクラスターサーチアルゴリズムである）であり、隠れ状態で構成されるシーケンスを復号するための方法の１つであり、具体的には、以下のとおりである。
【００３６】
１）隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、要約のワードシーケンスにおける最初位置での語句とする。２）最初位置での語句中の各字を単語集における字と組み合わせて最初の組み合わせられたシーケンスを得て、最初の組み合わせられたシーケンスにおける確率の最も大きい単語を取得して最初の更新されたシーケンスとし、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまで上記過程を繰り返し、最後に要約のワードシーケンスを出力する。
【００３７】
Ｂｅａｍ  Ｓｅａｒｃｈアルゴリズムは、実際の使用過程（ｔｅｓｔ過程）のみに必要であり、トレーニング過程には必要ではない。トレーニングをするときに正しい答えを知っているため、この検索を行う必要がない。実際に使用するときに、単語集の大きさが３であり、この内容がａ、ｂ、ｃであると仮定する。ｂｅａｍ  ｓｅａｒｃｈアルゴリズムが最終的に出力するシーケンスの数（ｓｉｚｅで最終的に出力されるシーケンスの数を表すことができる）が２であり、ｄｅｃｏｄｅ（第２層ＬＳＴＭ構造をデコーダｄｅｃｏｄｅｒと見なすことができる）で復号するときに、以下のようになる。
【００３８】
最初の単語を生成するときに、確率が最も大きい２つの単語を選択し、ここでａ、ｃを仮定すると、現在のシーケンスがａｃとなり、２番目の単語を生成するときに、現在のシーケンスａ及びｃを、それぞれ単語集におけるすべての単語と組み合わせ、新しい６つのシーケンスａａ、ａｂ、ａｃ、ｃａ、ｃｂ、ｃｃを得て、次に、そのうちから最高スコアの２つを現在のシーケンスとして選択し、ここでａａ、ｃｂを仮定し、その後、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまで、この過程を繰り返し、最後に、最高スコアの２つのシーケンスを出力する。ターゲットテキストを符号化及び復号して要約のワードシーケンスを出力し、このとき、完全な要約を構成していない。要約のワードシーケンスを完全な要約にするために、更なる処理を行う必要がある。
【００３９】
一実施例では、隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得るステップでは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが履歴テキストに対応した単語集の大きさを表す。
【００４０】
ターゲットテキストｘｔに対して終了フラグ（テキストの最後の句点など）を設定し、ターゲットテキストにおける１つの単語を第１層ＬＳＴＭ構造に入力するたびに、ターゲットテキストｘｔの最後に到着すると、ターゲットテキストｘｔを符号化して得られる隠れ状態で構成されるシーケンス（すなわちｈｉｄｄｅｎ  ｓｔａｔｅ  ｖｅｃｔｏｒ）が第２層ＬＳＴＭ構造の入力として復号されることを示し、第２層ＬＳＴＭ構造は、単語集の大きさと同じであるｓｏｆｔｍａｘ層（ｓｏｆｔｍａｘ層は、多項式分布層である）を出力し、ｓｏｆｔｍａｘ層中の成分が各語句の確率を表し、ＬＳＴＭの出力層がｓｏｆｔｍａｘである場合、各時点の出力がベクトルｙｔ∈ＲＫを生成し、Ｋが単語集の大きさであり、ｙｔベクトルにおけるｋ番目の次元がｋ番目の語句の生成確率を表す。ベクトルで要約のワードシーケンスにおける各語句の確率を表すことは、次回のデータ処理の入力の参照とすることにさらに有利である。
【００４１】
Ｓ１０３、要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る。
【００４２】
本実施例では、要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化することは、二回目の処理を行い、要約のワードシーケンスから可能性の最も高い単語を要約の構成単語として選択するためのものである。
【００４３】
Ｓ１０４、更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得する。
【００４４】
本実施例では、エンコーダ隠れ状態の貢献値は、そのすべての隠れ状態の重み合計を表し、最高の重みは、デコーダが次の単語を特定するときに考慮する隠れ状態強化用の最も大きい貢献及び最も重要な隠れ状態に対応している。この態様により、文書要約を代表しうるコンテキストベクトルをより正確に取得することができる。
【００４５】
たとえば、更新された後の隠れ状態で構成されるシーケンスを固有ベクトルａに変換し、ａ＝｛ａ１、ａ２、……、ａＬ｝の場合、コンテキストベクトルＺｔが下記の式で表される。
【数３】
0006955580.tif 000004
ここで、ａｔ,ｉは、ｔ番目の語句を生成するときに、ｉ番目の位置の固有ベクトルの占める重みを判断することに用いられ、Ｌは、更新された後の隠れ状態で構成されるシーケンスにおける文字の数である。
【００４６】
Ｓ１０５、更新された後の隠れ状態で構成されるシーケンス及びコンテキストベクトルに基づき、更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する。
【００４７】
本実施例では、ターゲットテキストの各段落の文字を処理して、段落ごとに上記ステップで要約を総括して組み合わせ、最終的に完全な要約を構成する。
【００４８】
以上から分かるように、該方法は、ＬＳＴＭを用いてターゲットテキストを符号化し復号した後、コンテキスト変数を組み合わせてターゲットテキストの要約を得るものであり、総括の方式で要約を取得し、取得の正確性を向上させる。
【００４９】
本願の実施例は、上記のいずれか１項に記載の文書要約自動抽出方法を実行する文書要約自動抽出装置をさらに提供する。具体的には、図４を参照して、図４は、本願の実施例に係る文書要約自動抽出装置の概略ブロック図である。文書要約自動抽出装置１００は、デスクトップパソコン、タブレットコンピュータ、ノートパソコン等の端末に取り付けられ得る。
【００５０】
図４に示すように、文書要約自動抽出装置１００は、第１入力ユニット１０１、第２入力ユニット１０２、第３入力ユニット１０３、コンテキストベクトル取得ユニット１０４、要約取得ユニット１０５を備える。
【００５１】
第１入力ユニット１０１は、ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る。
【００５２】
本実施例では、先ず単語分割を行うことによりターゲットテキストに含まれる中国語文字又は英語文字である文字を取得し、上記処理によって、ターゲットテキストが複数の文字に分割される。たとえば、１編の中国語文章に対して単語分割を行うときに、以下のステップを行う。
【００５３】
１）単語分割対象の文字列Ｓに対して、左から右への順序で全ての候補単語ｗ１、ｗ２、・・・、ｗｉ、・・・、ｗｎを取り出す。
２）辞書から各候補単語の確率値Ｐ（ｗｉ）を検索し、各候補単語の全ての左隣接単語を記録する。
３）各候補単語の累積確率を計算するとともに、比較して各候補単語の最適な左隣接単語を得る。
４）現在の単語ｗｎが文字列Ｓの最後の単語であり、且つ累積確率Ｐ（ｗｎ）が最も大きい場合、ｗｎがＳの終止単語である。
５）ｗｎから、右から左への順序で、各単語の最適な左隣接単語を順次出力し、Ｓの単語分割の結果を得る。
【００５４】
ターゲットテキストに含まれる文字を順次取得した後、履歴データに基づきトレーニングして得たＬＳＴＭモデルに順次入力し、複数の分割単語から要約を構成可能な語句を抽出して、最終的な文書要約を構成する。処理するときに、具体的には、段落を単位として上記単語分割処理を行って、現在の段落のキーセンテンスを抽出し、最後に各段落のキーセンテンスを組み合わせて要約を構成してもよい（本願では、この単語分割の処理方式が好ましい）。直接的に文章全体を単位として上記単語分割処理を行い、複数のキーワードを抽出して組み合わせて、要約を構成してもよい。
【００５５】
ターゲットテキストに含まれる文字を取得した後、ＬＳＴＭモデルに入力して処理する。ＬＳＴＭモデルは、長短期記憶ニューラルネットワークであり、ＬＳＴＭのフルネームがＬｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙであり、時間回帰型ニューラルネットワークであり、ＬＳＴＭは、時系列中の間隔と遅延が非常に長い重要なイベントを処理して予測することに適する。ＬＳＴＭモデルによってターゲットテキストに含まれる文字を符号化して、テキストの要約抽出の前処理を行うことができる。
【００５６】
ＬＳＴＭモデルをより明瞭に理解できるように、以下、ＬＳＴＭモデルを説明する。
【００５７】
ＬＳＴＭのキーは、セルの頂部全体を横切る水平線と考えられるセル状態（Ｃｅｌｌ  Ｓｔａｔｅ）である。セル状態は、コンベアに類似し、チェーン全体を直接通過するとともに、比較的小さい線形交互のみがある。セル状態に担持された情報が変更せずに非常に容易に通過することができる。ＬＳＴＭは、セル状態に情報を追加又は削除する機能を有し、上記機能は、ゲートの構造によって制御され、すなわち、ゲートが情報を選択的に通過させることができる。ここで、ゲート構造は、Ｓｉｇｍｏｉｄニューラルネットワーク層と要素レベルの乗算操作で構成される。Ｓｉｇｍｏｉｄ層は０〜１の間の値を出力し、各値が対応する部分の情報が通過すべきであるか否かを表す。０値が情報の通過拒否を表し、１値がすべての情報の通過許可を表す。１つのＬＳＴＭは、セル状態を保護して制御するための３つのゲートを有する。
【００５８】
ＬＳＴＭには、少なくとも３つのゲートを含み、それぞれ以下のとおりである。
【００５９】
１）忘却ゲートであって、前の時点のセル状態がいくつ現在の時点まで保持されるかを決める。
２）入力ゲートであって、現在の時点にネットワークの入力がいくつセル状態まで保存されるかを決める。
３）出力ゲートであって、セル状態がいくつＬＳＴＭの現在の出力値に出力するかを決める。
【００６０】
一実施例では、前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりである。
【数４】
0006955580.tif 000005
【００６１】
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-１が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数５】
0006955580.tif 000006
が隠れ状態ｈｔ-１に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数である。
【００６２】
ターゲットテキストに含まれる文字は、第１層ＬＳＴＭ構造によって符号化されると、隠れ状態で構成されるシーケンスに変換され、続いてそれを復号すると、初期処理後のシーケンスを取得することができ、それによって、選択対象の分割単語が正確に抽出される。
【００６３】
一実施例では、図５に示すように、前記文書要約自動抽出装置１００は、履歴データトレーニングユニット１０１ａと、第２入力ユニット１０２と、第３入力ユニット１０３と、コンテキストベクトル取得ユニット１０４と、要約取得ユニット１０５とをさらに備える。
【００６４】
履歴データトレーニングユニット１０１ａは、コーパスにおける複数の履歴テキストを第１層ＬＳＴＭ構造に配置して、且つ履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングしてＬＳＴＭモデルを得る。
【００６５】
ＬＳＴＭモデルの全体的なフレームワークが固定されており、その入力層、隠れ層、出力層などの各層のパラメータを設定するだけで、モデルが得られ、入力層、隠れ層、出力層などの各層のパラメータの設定には、複数回の実験をすることで最適なパラメータ値を得ることができる。例えば、隠れ層ノードが１０個あり、各ノードの値が１〜１０である場合、１００種類の組み合わせを試行して１００個のトレーニングモデルを構成し、次に大量のデータでこの１００個のモデルをトレーニングして、正確率などに応じて１つの最適なトレーニングモデルを得る。この最適なトレーニングモデルに対応したノード値などのパラメータが最適なパラメータとなる（上記ＧＲＵモデルにおけるＷｚ、Ｗｒ、Ｗがここでの最適なパラメータであることを理解できる）。最適なトレーニングモデルを本技術案に適用してＬＳＴＭモデルとすることにより、抽出された文書要約がより正確であることを確保できる。
【００６６】
第２入力ユニット１０２は、隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る。
【００６７】
図６に示すように、前記第２入力ユニット１０２は、初期化ユニット１０２１と、更新ユニット１０２２と、繰り返し実行ユニット１０２３との３つのサブユニットを備える。
【００６８】
初期化ユニット１０２１は、隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を要約のワードシーケンスにおける最初の位置における語句とする。
【００６９】
更新ユニット１０２２は、最初の位置における語句の中の各字を第２層ＬＳＴＭ構造に入力して、第２層ＬＳＴＭ構造の単語集における各字と組み合わせ、組み合わせられたシーケンスを得て、組み合わせられたシーケンスにおける確率の最も大きい単語を取得し、隠れ状態で構成されるシーケンスとする。
【００７０】
繰り返し実行ユニット１０２３は、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまで、隠れ状態で構成されるシーケンス中の各字を第２層ＬＳＴＭ構造に入力し、第２層ＬＳＴＭ構造の単語集における各字と組み合わせ、組み合わせられたシーケンスを得て、組み合わせられたシーケンスにおける確率の最も大きい単語を取得して隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、隠れ状態で構成されるシーケンスを要約のワードシーケンスとする。
【００７１】
本実施例では、上記過程は、Ｂｅａｍ  Ｓｅａｒｃｈアルゴリズム（Ｂｅａｍ  Ｓｅａｒｃｈアルゴリズムがクラスターサーチアルゴリズムである）であり、隠れ状態で構成されるシーケンスを復号するための方法の１つである。具体的には、以下のとおりである。
【００７２】
１）隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、要約のワードシーケンスにおける最初位置での語句とする。２）最初位置での語句中の各字を単語集における字と組み合わせて最初の組み合わせられたシーケンスを得て、最初の組み合わせられたシーケンスにおける確率の最も大きい単語を取得して最初の更新されたシーケンスとし、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまで上記過程を繰り返し、最後に要約のワードシーケンスを出力する。
【００７３】
Ｂｅａｍ  Ｓｅａｒｃｈアルゴリズムは、実際の使用過程（ｔｅｓｔ過程）のみに必要であり、トレーニング過程には必要ではない。トレーニングするときに正しい答えを知っているため、この検索を行う必要がない。
【００７４】
実際に使用するときに、単語集の大きさが３であり、この内容がａ、ｂ、ｃであると仮定する。ｂｅａｍ  ｓｅａｒｃｈアルゴリズムが最終的に出力するシーケンスの数（ｓｉｚｅで最終的に出力されるシーケンスの数を表すことができる）が２であり、ｄｅｃｏｄｅ（第２層ＬＳＴＭ構造をデコーダｄｅｃｏｄｅｒと見なすことができる）で復号するときに、以下のようになる。
【００７５】
最初の単語を生成するときに、確率が最も大きい２つの単語を選択する。ここでａ、ｃを仮定すると、現在のシーケンスがａｃとなり、２番目の単語を生成するときに、現在のシーケンスａ及びｃを、それぞれ単語集におけるすべての単語と組み合わせ、新しい６つのシーケンスａａ、ａｂ、ａｃ、ｃａ、ｃｂ、ｃｃを得て、次に、そのうちから最高スコアの２つを現在のシーケンスとして選択する。ここでａａ、ｃｂを仮定し、その後、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまでこの過程を絶えずに繰り返し、最後に最高スコアの２つのシーケンスを出力する。
【００７６】
ターゲットテキストを符号化して復号して要約のワードシーケンスを出力する。このとき、完全な要約を構成していない。要約のワードシーケンスを完全な要約にするために、更なる処理を行う必要がある。
【００７７】
一実施例では、隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号する。要約のワードシーケンスを得るステップでは、前述の要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力される。ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表す。ｔの値は正の整数であり、Ｋは履歴テキストに対応した単語集の大きさを表す。
【００７８】
ターゲットテキストｘｔに対して終了フラグ（テキストの最後の句点など）を設定する。毎回ターゲットテキストにおける１つの単語を、第１層ＬＳＴＭ構造に入力するたびに、ターゲットテキストｘｔの最後に到着すると、ターゲットテキストｘｔを符号化して得られる隠れ状態で構成されるシーケンス（すなわちｈｉｄｄｅｎ  ｓｔａｔｅ  ｖｅｃｔｏｒ）が、第２層ＬＳＴＭ構造の入力として復号されることを示し、ｓｏｆｔｍａｘ層中の成分が各語句の確率を表す。ＬＳＴＭの出力層がｓｏｆｔｍａｘである場合、各時点の出力がベクトルｙｔ∈ＲＫを生成する。Ｋは単語集の大きさであり、ｙｔベクトルにおけるｋ番目の次元がｋ番目の語句の生成確率を表す。ベクトルで要約のワードシーケンスにおける各語句の確率を表すことは、次回のデータ処理の入力の参照とすることにさらに有利である。
【００７９】
第３入力ユニット１０３は、要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る。
【００８０】
本実施例では、要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化することは、二回目の処理を行い、要約のワードシーケンスから可能性の最も高い単語を要約の構成単語として選択するためのものである。
【００８１】
コンテキストベクトル取得ユニット１０４は、更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得する。
【００８２】
本実施例では、エンコーダの隠れ状態の貢献値は、そのすべての隠れ状態の重みの合計を表し、最高の重みは、デコーダが次の単語を特定するときに考慮する隠れ状態の強化用の最も大きい貢献及び最も重要な隠れ状態に対応している。この態様により、文書の要約を代表しうるコンテキストベクトルを、より正確に取得することができる。
【００８３】
たとえば、更新された後の隠れ状態で構成されるシーケンスを固有ベクトルａに変換し、ａ＝｛ａ１、ａ２、・・・、ａＬ｝の場合、コンテキストベクトルＺｔが下記の式で表される。
【数６】
0006955580.tif 000007
ここで、ａｔ,ｉは、ｔ番目の語句を生成するときに、ｉ番目の位置の固有ベクトルの占める重みを判断することに用いられ、Ｌは、更新された後の隠れ状態で構成されるシーケンス中の文字の数である。
【００８４】
要約取得ユニット１０５は、更新された後の隠れ状態で構成されるシーケンス及びコンテキストベクトルに基づき、更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する。
【００８５】
本実施例では、ターゲットテキストの各段落の文字を処理して、段落ごとに上記ステップで要約を総括して組み合わせ、最終的に完全な要約を構成する。
【００８６】
以上から分かるように、該装置は、ＬＳＴＭを用いてターゲットテキストを符号化し復号した後、コンテキスト変数を組み合わせてターゲットテキストの要約を得るものであり、総括の方式で要約を取得し、取得の正確性を向上させる。
【００８７】
上記文書要約自動抽出装置は、コンピュータプログラムの形態で実現でき、該コンピュータプログラムは、図７に示されるコンピュータ機器において実行できる。
【００８８】
図７を参照する。図７は、本願の実施例に係るコンピュータ機器の概略ブロック図である。該コンピュータ機器５００は、端末であってもよい。該端末は、タブレットコンピュータ、ノートパソコン、デスクトップパソコン、携帯個人情報端末などの電子機器であってもよい。
【００８９】
図７に示すように、該コンピュータ機器５００は、システムバス５０１を介して接続されたプロセッサ５０２、メモリ及びネットワークインタフェース５０５を備える。メモリは、不揮発性記憶媒体５０３及び内部メモリ５０４を備えてもよい。
【００９０】
該不揮発性記憶媒体５０３は、オペレーティングシステム５０３１及びコンピュータプログラム５０３２を記憶することができる。該コンピュータプログラム５０３２は、プログラム指令を含み、該プログラム指令が実行されると、プロセッサ５０２に文書要約自動抽出方法を実行させることができる。該プロセッサ５０２は、計算及び制御機能を提供し、コンピュータ機器５００全体の実行をサポートする。該内部メモリ５０４は、不揮発性記憶媒体５０３中のコンピュータプログラム５０３２の実行に環境を提供し、該コンピュータプログラム５０３２がプロセッサ５０２によって実行されると、プロセッサ５０２に文書要約自動抽出方法を実行させることができる。該ネットワークインタフェース５０５は、割り当てられたタスクを送信するなどのネットワーク通信を行うことに用いられる。当業者にとって自明なように、図７に示される構造は、本願の技術案に関連する一部の構造のブロック図に過ぎず、本願の技術案は、前のコンピュータ機器５００に適用用することに限定されるものではない。具体的には、コンピュータ機器５００は、図示されるものよりも多い又は少ない部材を備えるか、又はいくつかの部材を組み合わせるか、又は異なる部材設置を有してもよい。
【００９１】
前記プロセッサ５０２は、メモリに記憶されるコンピュータプログラム５０３２を実行して、ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得て、隠れ状態で構成されるシーケンスをＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得て、要約のワードシーケンスをＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得て、更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得し、更新された後の隠れ状態で構成されるシーケンス及びコンテキストベクトルに基づき、更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力するという機能を実現する。
【００９２】
一実施例では、プロセッサ５０２は、コーパスにおける複数の履歴テキストを第１層ＬＳＴＭ構造に配置して、且つ履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングしてＬＳＴＭモデルを得るという操作をさらに実行する。
【００９３】
一実施例では、前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数７】
0006955580.tif 000008
【００９４】
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-１が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数８】
0006955580.tif 000009
が隠れ状態ｈｔ-１に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数である。
【００９５】
一実施例では、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ｙｔにおけるｋ番目の次元がｋ番目の語句を生成する確率を表す。ｔの値は正の整数であり、Ｋは履歴テキストに対応した単語集の大きさを表す。
【００９６】
一実施例では、プロセッサ５０２は、隠れ状態で構成されるシーケンス中の各字が単語集におけるターミネーターと組み合わせたことが検出されるまで、隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を要約のワードシーケンスにおける最初の位置での語句とし、最初の位置での語句中の各字を第２層ＬＳＴＭ構造に入力し、第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、組み合わせられたシーケンスにおける確率の最も大きい単語を取得して隠れ状態で構成されるシーケンスとし、隠れ状態で構成されるシーケンス中の各字を第２層ＬＳＴＭ構造に入力し、第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、組み合わせられたシーケンスにおける確率の最も大きい単語を取得して隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、隠れ状態で構成されるシーケンスを要約のワードシーケンスとするという操作をさらに実行する。
【００９７】
当業者にとって自明なように、図７に示されるコンピュータ機器の実施例は、コンピュータ機器の具体的な構成を限定するものではなく、他の実施例では、コンピュータ機器は、図示されるものよりも多い又は少ない部材を備えるか、又はいくつかの部材を組み合わせるか、又は異なる部材設置を有してもよい。たとえば、いくつかの実施例では、コンピュータ機器は、メモリ及びプロセッサのみを備えてもよく、このような実施例では、メモリ及びプロセッサの構造及び機能は、図７に示される実施例と一致し、ここで繰り返し説明しない。
【００９８】
なお、本願の実施例では、プロセッサ５０２は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）であってもよく、該プロセッサ５０２は、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲートロジック又はトランジスタロジックデバイス、ディスクリートハードウェアユニットなどであってもよい。汎用プロセッサは、マイクロプロセッサーであってもよく、又は該プロセッサは、任意の一般的なプロセッサなどであってもよい。
【００９９】
本願の別の実施例では、記憶媒体を提供する。該記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよい。該記憶媒体には、プログラム指令を含むコンピュータプログラムが記憶されている。該プログラム指令がプロセッサによって実行されると、本願の実施例の文書要約自動抽出方法が実現される。
【０１００】
前記記憶媒体は、装置のハードディスク又はメモリなどの上記装置の内部記憶ユニットであってもよい。前記記憶媒体は、前記装置に配置されたプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ  Ｍｅｄｉａ（登録商標）  Ｃａｒｄ、  ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ、  ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ  Ｃａｒｄ）などの前記装置の外部記憶デバイスであってもよい。さらに、前記記憶媒体はさらに、前記装置の内部記憶ユニットを含むとともに外部記憶デバイスを含んでもよい。
【０１０１】
上記説明した装置、装置、及びユニットの具体的な動作手順は、説明の便宜上、前述した方法実施形態における対応する手順を参照して説明を省略することが当業者には明らかである。
【０１０２】
以上は、本発明の好適な実施例であり、発明に対しあらゆる形式上の限定をしない。当業者が上記実施例に基づいて様々な同等な変更や改良を加えることができ、特許請求の範囲内に為す同等な変化や修飾は、いずれも本発明の範囲内に含まれる。
【０１０３】
［付記］
［付記１］
文書要約自動抽出方法であって、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得るステップと、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得るステップと、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得るステップと、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、前記エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得するステップと、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力するステップと、
を含むことを特徴とする文書要約自動抽出方法。
【０１０４】
［付記２］
前記ターゲットテキストに含まれる文字を順次取得して、前記長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、前記文字を順次入力して符号化し、前記隠れ状態で構成されるシーケンスを得る前記ステップの前に、
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得るステップをさらに含むことを特徴とする付記１に記載の文書要約自動抽出方法。
【０１０５】
［付記３］
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数９】
0006955580.tif 000010
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-1が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数１０】
0006955580.tif 000011
が隠れ状態ｈｔ-1に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする付記１に記載の文書要約自動抽出方法。
【０１０６】
［付記４］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップでは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが履歴テキストに対応した前記単語集の大きさを表すことを特徴とする付記３に記載の文書要約自動抽出方法。
【０１０７】
［付記５］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップは、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とするステップと、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップと、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとするステップとを含むことを特徴とする付記２に記載の文書要約自動抽出方法。
【０１０８】
［付記６］
文書要約自動抽出装置であって、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る第１入力ユニットと、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る第２入力ユニットと、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る第３入力ユニットと、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、前記エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得するコンテキストベクトル取得ユニットと、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する要約取得ユニットと、
を備えることを特徴とする文書要約自動抽出装置。
【０１０９】
［付記７］
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得る履歴データトレーニングユニットをさらに備えることを特徴とする付記６に記載の文書要約自動抽出装置。
【０１１０】
［付記８］
前記第２入力ユニットは、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とする初期化ユニットと、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとする更新ユニットと、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとする繰り返し実行ユニットとを備えることを特徴とする付記７に記載の文書要約自動抽出装置。
【０１１１】
［付記９］
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数１１】
0006955580.tif 000012
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ−１が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数１２】
0006955580.tif 000013
が隠れ状態ｈｔ−１に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする付記６に記載の文書要約自動抽出装置。
【０１１２】
［付記１０］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記第２入力ユニットは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが履歴テキストに対応した前記単語集の大きさを表すことを特徴とする付記９に記載の文書要約自動抽出装置。
【０１１３】
［付記１１］
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサに実行可能なコンピュータプログラムとを備えるコンピュータ機器であって、
前記プロセッサは、前記コンピュータプログラムを実行するときに、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得るステップと、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得るステップと、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得るステップと、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、前記エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得するステップと、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力するステップと、
を実現することを特徴とするコンピュータ機器。
【０１１４】
［付記１２］
前記ターゲットテキストに含まれる文字を順次取得して、前記長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、前記文字を順次入力して符号化し、前記隠れ状態で構成されるシーケンスを得るステップの前に、
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得るステップをさらに含むことを特徴とする付記１１に記載のコンピュータ機器。
【０１１５】
［付記１３］
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数１３】
0006955580.tif 000014
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-1が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数１４】
0006955580.tif 000015
が隠れ状態ｈｔ-1に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする付記１１に記載のコンピュータ機器。
【０１１６】
［付記１４］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップでは、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが履歴テキストに対応した前記単語集の大きさを表すことを特徴とする付記１３に記載のコンピュータ機器。
【０１１７】
［付記１５］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記ステップは、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とするステップと、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップと、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとするステップを繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとするステップとを含むことを特徴とする付記１２に記載のコンピュータ機器。
【０１１８】
［付記１６］
プログラム指令を含むコンピュータプログラムが記憶された記憶媒体であって、
前記プログラム指令は、プロセッサによって実行されると、
ターゲットテキストに含まれる文字を順次取得して、長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、文字を順次入力して符号化し、隠れ状態で構成されるシーケンスを得る操作と、
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、要約のワードシーケンスを得る操作と、
前記要約のワードシーケンスを前記ＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に入力して符号化し、更新された後の隠れ状態で構成されるシーケンスを得る操作と、
前記更新された後の隠れ状態で構成されるシーケンスにおけるエンコーダの隠れ状態の貢献値に基づき、前記エンコーダの隠れ状態の貢献値に対応したコンテキストベクトルを取得する操作と、
前記更新された後の隠れ状態で構成されるシーケンス及び前記コンテキストベクトルに基づき、前記更新された後の隠れ状態で構成されるシーケンスでのワードの確率分布を取得し、前記ワードの確率分布のうちの確率の最も大きいワードをターゲットテキストの要約として出力する操作と、
を前記プロセッサに実行させることを特徴とする記憶媒体。
【０１１９】
［付記１７］
前記ターゲットテキストに含まれる文字を順次取得して、前記長短期記憶ニューラルネットワークであるＬＳＴＭモデルにおける第１層ＬＳＴＭ構造に、前記文字を順次入力して符号化し、前記隠れ状態で構成されるシーケンスを得る前記操作の前に、
コーパスにおける複数の履歴テキストを前記第１層ＬＳＴＭ構造に配置して、且つ前記履歴テキストに対応した文書要約を第２層ＬＳＴＭ構造に配置し、トレーニングして前記ＬＳＴＭモデルを得る操作をさらに含むことを特徴とする付記１６に記載の記憶媒体。
【０１２０】
［付記１８］
前記ＬＳＴＭモデルは、閾値サイクルユニットであり、前記閾値サイクルユニットのモデルが以下のとおりであり、
【数１５】
0006955580.tif 000016
ここで、Ｗｚ、Ｗｒ、Ｗがトレーニングして得られる重みパラメータ値、ｘｔが入力、ｈｔ-1が隠れ状態、ｚｔが更新状態、ｒｔがリセット信号、
【数１６】
0006955580.tif 000017
が隠れ状態ｈｔ-1に対応した新しい記憶、ｈｔが出力、σ（）がｓｉｇｍｏｉｄ関数、ｔａｎｈ（）が双曲線正接関数であることを特徴とする付記１６に記載の記憶媒体。
【０１２１】
［付記１９］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記操作では、前記要約のワードシーケンスは、単語集と大きさが同じである多項式分布層であり、且つベクトルｙｔ∈ＲＫが出力され、ここで、ｙｔ中のｋ番目の次元がｋ番目の語句を生成する確率を表し、ｔの値が正の整数であり、Ｋが前記履歴テキストに対応した単語集の大きさを表すことを特徴とする付記１８に記載の記憶媒体。
【０１２２】
［付記２０］
前記隠れ状態で構成されるシーケンスを前記ＬＳＴＭモデルにおける第２層ＬＳＴＭ構造に入力して復号し、前記要約のワードシーケンスを得る前記操作は、
前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を取得し、前記隠れ状態で構成されるシーケンスにおける確率の最も大きい単語を前記要約のワードシーケンスにおける最初の位置での語句とする操作と、
前記最初の位置での語句の中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとする操作と、
前記隠れ状態で構成されるシーケンスの中の各字が前記単語集におけるターミネーターと組み合わせたことが検出されるまで、前記隠れ状態で構成されるシーケンスの中の各字を前記第２層ＬＳＴＭ構造に入力し、前記第２層ＬＳＴＭ構造の単語集における各字と組み合わせて組み合わせられたシーケンスを得て、前記組み合わせられたシーケンスにおける確率の最も大きい単語を取得して前記隠れ状態で構成されるシーケンスとする操作を繰り返し実行し、前記隠れ状態で構成されるシーケンスを前記要約のワードシーケンスとする操作とを含むことを特徴とする付記１７に記載の記憶媒体。
【図１】
0006955580.tif 000027
【図２】
0006955580.tif 000028
【図３】
0006955580.tif 000029
【図４】
0006955580.tif 000030
【図５】
0006955580.tif 000031
【図６】
0006955580.tif 000032
【図７】
0006955580.tif 000033