(57)【要約】      （修正有）【課題】文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供する。【解決手段】少なくとも一組の第一原句及びそれに対応する要約を含むトレーニングデータを利用して注意行列を持つニューラルネットワークモデルを学習し、処理すべき文書の各第二原句をニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得し、処理すべき文書の各第二原句とそれに対応する要約との間の注意行列に基づいて連語注意力表を作成して、処理すべき文書から最初の連語を選択して、連語注意力表によって各最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得し、各連語候補集合中の連語を文に組み合わせて、処理すべき文書の要約を生成する。【選択図】図１
2019139772.tif 000002
【特許請求の範囲】
【請求項１】
トレーニングデータにより学習を行うことで注意力（ａｔｔｅｎｔｉｏｎ）行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を含むことを特徴とする文書要約の生成方法。
【請求項２】
前記トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップの前に、前記文書要約の生成方法は、さらに前記トレーニングデータを取得するステップを含み、
前記トレーニングデータを取得するステップは、
前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを取得することと、
前記トレーニング文書の各要約文に対して、前記純テキストにおける各文を走査し、前記純テキストにおける文が一要約文のすべての非ストップワードを含む場合、前記純テキストにおける当該文及び対応する要約文を一組の第一原句及び対応する要約とすることと、を含むことを特徴とする請求項１に記載の文書要約の生成方法。
【請求項３】
前記処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記文書要約の生成方法はさらに、
前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを取得して、前記処理すべき文書の純テキストから前記第二原句を抽出すること、を含むことを特徴とする請求項１に記載の文書要約の生成方法。
【請求項４】
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップは、
各前記第二原句における各単語と対応する要約における各単語との間の注意力行列を抽出し、各単語対の注意力値に基づいて単語注意力表を構築することであって、前記単語注意力表には前記処理すべき文書における各第二原句の各単語と対応する要約における各単語との間の注意力値が含まれる、ことと、
前記単語注意力表における単語を連語にマージし、各単語対の注意力値に基づいて各連語対の間の注意力値を更新して連語注意力表を取得することであって、前記連語注意力表には前記処理すべき文書における各第二原句の各連語と対応する要約における各連語との間の注意力値が含まれる、ことと、を含むことを特徴とする請求項１に記載の文書要約の生成方法。
【請求項５】
前記単語注意力表における単語を連語にマージするステップは、
各前記第二原句に対して構文解析を行い、構文連語タグに基づいて前記第二原句における単語を連語にマージすること、を含むことを特徴とする請求項４に記載の文書要約の生成方法。
【請求項６】
各連語対の間の注意力値は当該対の連語に含まれる複数対の単語間の注意力値の平均値であることを特徴とする請求項４に記載の文書要約の生成方法。
【請求項７】
前記処理すべき文書から最初の連語を選択するステップは、
前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを前記最初の連語として選択すること、を含むことを特徴とする請求項１に記載の文書要約の生成方法。
【請求項８】
前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得するステップは、
（ａ）各前記最初の連語に対して連語候補集合を構築するステップと、
（ｂ）前記連語注意力表から前記連語候補集合における各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値よりも大きい場合、前記最高注意力値に対応する連語を前記連語候補集合に追加するステップと、
（ｃ）前記連語候補集合の長さが目標長さに達したか否かを判定し、前記連語候補集合の長さが目標長さに達した場合、ステップ（ｂ）を実行せず、前記連語候補集合の長さが目標長さに達していない場合、続けてステップ（ｂ）を実行するステップと、を含むことを特徴とする請求項１に記載の文書要約の生成方法。
【請求項９】
各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップは、
各前記連語候補集合における連語を可読性の有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量の順に前記連語候補集合における文を前記処理すべき文書の要約として出力すること、を含み、
前記連語候補集合のオフセット量は、前記連語候補集合におけるすべての単語の平均オフセット量であることを特徴とする請求項１に記載の文書要約の生成方法。
【請求項１０】
トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するトレーニングモジュールであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、トレーニングモジュールと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得する入力モジュールであって、前記第二原句は処理すべき文書における純テキスト文である、入力モジュールと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成する処理モジュールであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、処理モジュールと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成する生成モジュールと、を含むことを特徴とする文書要約の生成装置。
【請求項１１】
プロセッサーと、
コンピュータプログラムコマンドを記憶するメモリと、を含み、
前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、
トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させることを特徴とする文書要約を生成する電子機器。
【請求項１２】
コンピュータプログラムを記憶するコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサーにより実行される時、前記プロセッサーに、
トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理技術分野に関し、特に文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
インターネット技術の急速な発展につれ、ユーザのインターネットでニュース情報を見る傾向がますます多くなってきており、現在、携帯電話などの移動端末でインターネットに提供されているニュース情報を閲覧することが一般的である。しかし、科学技術の急速な発展につれ、インターネットで毎日更新されるニュース量が非常に膨大であり、カテゴリが多様で、形式変化が多いので、人々は限られた時間内にこんなに多いニュース内容を閲読、その要点情報を知ることは非常に困難である。かつ、内容量が大きいニュースに対して、携帯電話などの移動端末のディスプレイが限られているため、携帯電話のディスプレイにニュースの内容を全部表示できない場合が多く、ユーザにとって読むのが不便であり、かつユーザは多くのニュース内容を閲読した後、前の部分のニュース内容の核心内容を忘れがちであり、ユーザのニュースを見るユーザ体験が悪い。
【０００３】
ニュースにニュース情報を閲読しやすく、ニュースの核心内容を知りやすくさせるために、従来のニュース表示方法では主にページにユース文書に対応する見出しと対応する一文要約もしくは100文字以下の短い要約を表示して、ユーザがサーチしたニュース情報に興味を感じた後、対応するニュースの見出しをクリックしてニュースを詳細に読むことができる。
【０００４】
従来の文書要約を生成する方法は主に二つがあり、第一は抽出式要約生成方式であり、当該方法により生成した要約は冗長で、かつ利用される特徴が少なく、出力された要約の精度が低いため、文章の意味を正確に代表できない。第二は生成式要約生成方式であり、当該方法により出力された要約の精度が高いが、生成された要約は人々の閲読習慣に適合せず、可読性が比較的に悪い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的な問題は、文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供することであり、生成された文書要約はコンパクト、正確、可読性が良く、かつ、文書要約に冗長な情報が存在しない。
【課題を解決するための手段】
【０００６】
上記の技術課題を解決するために、本発明の実施例の１つの態様では、トレーニングデータにより学習を行うことで注意力（ａｔｔｅｎｔｉｏｎ）行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を含む文書要約の生成方法を提供する。
【０００７】
さらに、前記トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップの前に、前記文書要約の生成方法は、さらに前記トレーニングデータを取得するステップを含み、前記トレーニングデータを取得するステップは、前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを取得することと、前記トレーニング文書の各要約文に対して、前記純テキストにおける各文を走査し、前記純テキストにおける文が一要約文のすべての非ストップワードを含む場合、前記純テキストにおける当該文及び対応する要約文を一組の第一原句及び対応する要約とすることと、を含む。
【０００８】
さらに、前記処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記文書要約の生成方法はさらに、前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを取得して、前記処理すべき文書の純テキストから前記第二原句を抽出すること、を含む。
【０００９】
さらに、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップは、各前記第二原句における各単語と対応する要約における各単語との間の注意力行列を抽出し、各単語対の注意力値に基づいて単語注意力表を構築することであって、前記単語注意力表には前記処理すべき文書における各第二原句の各単語と対応する要約における各単語との間の注意力値が含まれる、ことと、前記単語注意力表における単語を連語にマージし、各単語対の注意力値に基づいて各連語対の間の注意力値を更新して連語注意力表を取得することであって、前記連語注意力表には前記処理すべき文書における各第二原句の各連語と対応する要約における各連語との間の注意力値が含まれる、ことと、を含む。
【００１０】
さらに、前記単語注意力表における単語を連語にマージするステップは、各前記第二原句に対して構文解析を行い、構文連語タグに基づいて前記第二原句における単語を連語にマージすること、を含む。
【００１１】
さらに、各連語対の間の注意力値は当該対の連語に含まれる複数対の単語間の注意力値の平均値である。
【００１２】
さらに、前記処理すべき文書から最初の連語を選択するステップは、前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを前記最初の連語として選択すること、を含む。
【００１３】
さらに、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得するステップは、（ａ）各前記最初の連語に対して連語候補集合を構築するステップと、（ｂ）前記連語注意力表から前記連語候補集合における各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値よりも大きい場合、前記最高注意力値に対応する連語を前記連語候補集合に追加するステップと、（ｃ）前記連語候補集合の長さが目標長さに達したか否かを判定し、前記連語候補集合の長さが目標長さに達した場合、ステップ（ｂ）を実行せず、前記連語候補集合の長さが目標長さに達していない場合、続けてステップ（ｂ）を実行するステップと、を含む。
【００１４】
さらに、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップは、各前記連語候補集合における連語を可読性の有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量の順に前記連語候補集合における文を前記処理すべき文書の要約として出力すること、を含み、前記連語候補集合のオフセット量は、前記連語候補集合におけるすべての単語の平均オフセット量である。
【００１５】
本発明の実施例の他の態様では、トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するトレーニングモジュールであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、トレーニングモジュールと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得する入力モジュールであって、前記第二原句は処理すべき文書における純テキスト文である、入力モジュールと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成する処理モジュールであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、処理モジュールと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成する生成モジュールと、を含む文書要約の生成装置を提供する。
【００１６】
本発明の実施例の他の態様では、プロセッサーと、コンピュータプログラムコマンドを記憶するメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させる文書要約を生成する電子機器を提供する。
【００１７】
さらに、本発明の実施例の他の態様では、コンピュータプログラムを記憶するコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサーにより実行される時、前記プロセッサーに、トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させるコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００１８】
本発明の実施例は以下の効果がある。上記方案では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例に係る文書要約の生成方法のフローチャートである。
【図２】本発明の実施例に係るトレーニングデータを獲得するフローチャートである。
【図３】本発明の実施例に係るトレーニングデータを獲得する具体的なフローチャートである。
【図４】本発明の実施例に係る連語注意力表を構築するフローチャートである。
【図５】本発明の実施例に係る連語候補集合を拡張するフローチャートである。
【図６】本発明の実施例に係る文書要約の生成装置の構造図である。
【図７】本発明の実施例に係る文書要約を生成する電子機器の構造図である。
【図８】本発明の具体的な実施例に係る文書要約の生成方法のフローチャートである。
【図９】本発明の実施例seq2seqモデルの模式図である。
【図１０】本発明の実施例に係る連語候補集合を拡張する模式図である。
【発明を実施するための形態】
【００２０】
本発明の実施例が解決しようとする技術課題、技術方案および優れた点をより明確させるために、付図および具体的な実施例を組み合わせて詳細な説明を行う。
【００２１】
本発明の実施例は、文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供して、生成された文書要約はコンパクト、正確、可読性が良く、かつ、文書要約に冗長な情報が存在しない。
【００２２】
＜実施例１＞
本発明の実施例に係る文書要約の生成方法は、図１に示すように、以下のステップを含む。
【００２３】
ステップ101:トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一元フレーズ及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文である。
【００２４】
具体的には、ニューラルネットワークモデルがseq2seqモデルであることができる。
【００２５】
ステップ102:処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文である。
【００２６】
ステップ103:前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる。
【００２７】
ステップ104:前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。
【００２８】
本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。
【００２９】
一例として、図2に示すように、前記ステップ101は以下を含む。
【００３０】
ステップ100:前記トレーニングデータを取得する。
【００３１】
具体的には、図3に示すように、前記ステップ100は以下を含む。
【００３２】
ステップ1001:前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを得る。
【００３３】
ここで、ノイズ除去処理はトレーニング文書中のノイズを除去することであり、ノイズはURL(Uniform Resource Locator、統一資源位置指定子)、電話番号及びその他のソーシャルネットワークアカウントを含むが、それらに限られない。
【００３４】
ステップ1002:前記トレーニング文書の各要約文に対して、前記純テキスト中の各文を走査して、前記純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、前記純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を構成する。
【００３５】
一例として、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記方法はさらに以下を含む。
【００３６】
前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを得て、前記処理すべき文書の純テキストから前記第二原句を抽出する。
【００３７】
一例として、図4に示すように、前記ステップ103は以下を含む。
【００３８】
ステップ1031:各前記第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築し、前記単語注意力表には前記処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれる。
【００３９】
ステップ1032:前記単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、前記連語注意力表には前記処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。
【００４０】
ここで、前記単語注意力表中の単語を連語にマージすることは、各前記第二原句に構文解析を行い、構文連語タグに基づいて前記第二原句中の単語を連語にマージする。具体的には、各連語対の間の注意力値は、当該対の連語に含まれる複数対の単語間の注意力値の平均値であり、もちろん、その他の計算規則を用いて連語に含まれる複数対の単語間の注意力値から、各連語対の間の注意力値を計算することも可能である。
【００４１】
一例として、前記処理すべき文書から最初の連語を選択する前記ことは以下を含む。
【００４２】
前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して前記最初の連語にする。
【００４３】
一例として、図5に示すように、前記ステップ104は以下を含む。
【００４４】
ステップ1041:各前記最初の連語に対して連語候補集合を構築する。
【００４５】
ステップ1042:前記連語注意力表から前記連語候補集合中の各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値より大きい時に、前記最高注意力値に対応する連語を前記連語候補集合に追加する。
【００４６】
ステップ1043:前記連語候補集合の長さが目標長さに達したかどうかを判定し、前記連語候補集合の長さが目標長さに達したときに、ステップ1042を実行せずに連語候補集合を出力し、前記連語候補集合の長さが目標長さに達していないときに、続けてステップ1042を実行する。
【００４７】
具体的には、各前記連語候補集合中の連語を文に組み合わせて前記処理すべき文書の要約を生成する際に、各前記連語候補集合中の連語を可読性を有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量によって前記処理すべき文書の要約として前記連語候補集合が集まった文を出力し、その内、前記連語候補集合のオフセット量が前記連語候補集合中のすべての単語の平均オフセット量である。たとえば、オフセット量の低い順から、各前記連語候補集合が集まった文を順次に出力する。
【００４８】
＜実施例２＞
本発明の実施例はさらに文書要約装置を提供して、図6に示すように、トレーニングモジュール21、入力モジュール22、処理モジュール23及び生成モジュール24を含む。
【００４９】
トレーニングモジュール21は、トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一元フレーズ及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文である。
【００５０】
入力モジュール22は、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文である。
【００５１】
処理モジュール23は、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる。
【００５２】
生成モジュール24は、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。
【００５３】
本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。
【００５４】
一例として、文書要約の生成装置はさらに、前記トレーニングデータを取得するための取得モジュールを含み、前記取得モジュールは具体的に前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを得、前記トレーニング文書の各要約文に対して、前記純テキスト中の各文を走査して、前記純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、前記純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を構成する。
【００５５】
一例として、入力モジュール22は、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、さらに前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを得て、前記処理すべき文書の純テキストから前記第二原句を抽出する。
【００５６】
一例として、処理モジュール23は具体的に、各前記第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築し、前記単語注意力表には前記処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれ、前記単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、前記連語注意力表には前記処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。
【００５７】
具体的に、処理モジュール23は各前記第二原句に構文解析を行い、構文連語タグに基づいて前記第二原句中の単語を連語にマージする。その内、各連語対の間の注意力値は、当該対の連語に含まれる複数対の単語間の注意力値の平均値であることが可能である。
【００５８】
一例として、生成モジュール24は、前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して前記最初の連語にする。
【００５９】
一例として、生成モジュール24は、具体的に次のステップを実行して拡張された複数の連語候補集合を得る。
【００６０】
ステップa:各前記最初の連語に対して連語候補集合を構築する。
【００６１】
ステップb:前記連語注意力表から前記連語候補集合中の各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値より大きい時に、前記最高注意力値に対応する連語を前記連語候補集合に追加する。
【００６２】
ステップc:前記連語候補集合の長さが目標長さに達したかどうかを判定し、前記連語候補集合の長さが目標長さに達したときに、ステップbを実行せず、前記連語候補集合の長さが目標長さに達していないときに、続けてステップbを実行する。
【００６３】
一例として、生成モジュール24は具体的に、各前記連語候補集合中の連語を可読性を有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量によって前記処理すべき文書の要約として前記連語候補集合が集まった文を出力し、その内、前記連語候補集合のオフセット量が前記連語候補集合中のすべての単語の平均オフセット量である。
【００６４】
＜実施例３＞
本発明の実施例はさらに文書要約を生成する電子機器30を提供して、図7に示すように、プロセッサー32と、コンピュータプログラムコマンドが格納されるメモリ34と、を含む。
【００６５】
ここで、前記コンピュータプログラムコマンドが前記プロセッサーにより実行された時に、前記プロセッサー32に、下記のステップ、即ちトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文であるステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文であるステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を行わせる。
【００６６】
さらに、図7に示すように、文書要約の生成を実現する電子機器30はネットワークインターフェース31と、入力装置33と、ハードディスク35と、表示装置36とを含む。
【００６７】
上記各インターフェースと装置との間にはバスアーキテクチャーを介して連接し合う。バスアーキテクチャーは任意数のコンポーネントインターコネクトされるバスとブリッジとを含むことができる。具体的には、プロセッサー32が代表する一つまたは複数の中央プロセッサー（CPU）およびメモリ34が代表する一つまたは複数のメモリの各種回路とが連接されている。バスアーキテクチャーは周辺装置、定電圧器と電源管理回路などの各種ほかの回路を一緒に連接させることができる。なお、バスアーキテクチャーはこれらのユニットの間の連接通信を実現するために用いられる。バスアーキテクチャーはデータバスのほか、電源バスと、制御バスと、状態信号バスとを含むことは当分野において公知され、詳細な説明を省略する。
【００６８】
前記ネットワークインターフェース31はネットワーク（例えばインターネット、ローカルエリアネットワークなど）に接続されて、ネットワークから。例えばトレーニングデータのような関連データを取得し、かつハードディスク35に保存することができる。
【００６９】
前記入力装置33は作業員より入力された各種のコマンドを受け取り、かつプロセッサー32に発送して実行される。前記入力装置33はキーボードまたはクリックデバイス（例えばマウス、軌跡球（トラックボール）、接触感知板またはタッチスクリーンなど）を含む。
【００７０】
前記表示装置36はプロセッサー32がコマンドを実行して得た結果を表示できる。
【００７１】
前記メモリ34は、システム稼動時に必須なプログラムとデータ、およびプロセッサー32の計算過程における中間結果などのデータを格納するように用いられ。
【００７２】
なお、本発明の実施例におけるメモリ34は揮発性メモリまたは不揮発性メモリでもよく、あるいは揮発性メモリと不揮発性メモリとの両者を含むことが可能である。そこで、不揮発性メモリは読み出し専用メモリ（ROM）で、プログラマブル読み出し専用メモリ（PROM）で、消去可能なプログラマブル読み出し専用メモリ（EPROM）で、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）でもよい。揮発性メモリはランダムアクセスメモリ（RAM）でもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ34はこれらおよび任意のほかの適合類型のメモリを含むが、限られることではない。
【００７３】
いくつかの実施形態において、メモリ34は以下の要素、即ち実行可能なモジュールまたはデータ構造、あるいはそれらのサブ集合または拡張集合、オペレーティングシステム341とアプリケーションプログラム342を格納している。
【００７４】
ここで、オペレーティングシステム341は各種の基礎業務およびハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、駆動層など各種のシステムプログラムを含む。アプリケーションプログラム342は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム342に含まれることが可能である。
【００７５】
上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一元フレーズ及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文である。処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文である。前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる。前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。
【００７６】
本発明の上記実施例による方法はプロセッサー32に応用でき、あるいはプロセッサー32によって実現できる。プロセッサー32は信号の処理能力を持つ集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサー32内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上記プロセッサー32は汎用プロセッサーで、デジタル信号処理器（DSP）で、特定用途向け集積回路（ASIC）で、現場で構成可能な回路アレイ（FPGA）で、個別ゲートまたはトランジスタロジックデバイスで、個別ハードウェアユニットであってもよく、本発明の実施例に公開された各方法、ステップおよびロジックブロック図を実現または実行できる。汎用プロセッサーはマイクロプロセッサーまたはいかなる常用的なプロセッサーであっても良い。本発明の実施例より公開された方法のステップと結合して直接にできるのは、ハードウェアデコーダプロセッサーより実行して完成、またはデコーダプロセッサー内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成することである。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ34にあり、プロセッサー32はメモリ34内の情報を読み取って、そのハードウェアと結合して上記方法のステップを完成する。
【００７７】
なお、本明細書に記載されたこれらの実施例に、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる。ハードウェアの実現について、プロセスユニットはひとつまたは複数の特定用途向け集積回路（ASIC）、デジタル信号処理器（DSP）、デジタル信号処理デバイス（DSPD）、プログラマブルロジックデバイス（PLD）、フィールド プログラマブル
ゲート アレイ（FPGA）、汎用プロセッサー、コントローラ、マイクロコントローラ、マイクロプロセッサー、本願の前記機能を実現するためのほかの電子モジュールまたは組み合わせに実現可能である。
【００７８】
ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに格納、かつプロセッサーによって実行することが可能である。メモリはプロセッサー内またはプロセッサー外部において実現できる。
【００７９】
具体的に、プロセッサー32は前記トレーニングデータを獲得し，前記トレーニングデータを獲得するステップは以下を含む。前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを得、前記トレーニング文書の各要約文に対して、前記純テキスト中の各文を走査して、前記純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、前記純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を構成する。
【００８０】
具体的に、プロセッサー32は処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを得て、前記処理すべき文書の純テキストから前記第二原句を抽出する。
【００８１】
プロセッサー32は具体的に、各前記第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築し、前記単語注意力表には前記処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれ、前記単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、前記連語注意力表には前記処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。
【００８２】
プロセッサー32は具体的に、各前記第二原句に構文解析を行い、構文連語タグに基づいて前記第二原句中の単語を連語にマージする。各連語対の間の注意力値は、当該対の連語に含まれる複数対の単語間の注意力値の平均値である。
【００８３】
プロセッサー32は具体的に、前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して前記最初の連語にする。
【００８４】
プロセッサー32は具体的に、次のステップを実行して拡張された複数の連語候補集合を得る。
【００８５】
ステップa:各前記最初の連語に対して連語候補集合を構築する。
【００８６】
ステップb:前記連語注意力表から前記連語候補集合中の各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値より大きい時に、前記最高注意力値に対応する連語を前記連語候補集合に追加する。
【００８７】
ステップc:前記連語候補集合の長さが目標長さに達したかどうかを判定し、前記連語候補集合の長さが目標長さに達したときに、ステップbを実行せず、前記連語候補集合の長さが目標長さに達していないときに、続けてステップbを実行する。
【００８８】
プロセッサー32は具体的に、各前記連語候補集合中の連語を可読性を有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量によって前記処理すべき文書の要約として前記連語候補集合が集まった文を出力し、その内、前記連語候補集合のオフセット量が前記連語候補集合中のすべての単語の平均オフセット量である。
【００８９】
本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。
【００９０】
＜実施例４＞
さらに、本発明の実施例よりコンピュータ読み取り可能な記録媒体が提供され、前記コンピュータ読み取り可能な記録媒体はコンピュータプログラムを格納、前記コンピュータプログラムが前記プロセッサーにより実行される時に、前記プロセッサーに、トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文であるステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文であるステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を含む。
【００９１】
＜実施例５＞
以下、図面を参照して本発明の文書要約の生成方法についてさらに説明し、図8に示すように、本発明の実施例に係る文書要約の生成方法は具体的に以下のステップを含む。
【００９２】
ステップ401:少なくとも一組の第一原句及びそれに対応する要約を含むトレーニングデータを取得する。
【００９３】
トレーニング文書およびトレーニング文書の要約をあらかじめ取得し、トレーニング文書に対して単語分割処理とノイズ除去処理を行って、トレーニング文書の純テキストを得るが、そこで、ノイズ除去処理はトレーニング文書中のノイズを除去して、トレーニング文書の純テキストだけを保留することであって、ノイズにはURL、電話番号及びその他のソーシャルネットワークアカウントを含むが、それらに限られない。
【００９４】
あるトレーニング文書によりトレーニングデータを取得する例を説明すると、当該トレーニング文書の要約中の各文に対して、当該トレーニング文書の純テキスト中の各文を走査し、もし当該トレーニング文書の純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、当該純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を一組のトレーニングデータとする。このうち、ストップワードは実際の語義を持たない単語であり、助詞、例えば疑問や感動を表す助詞などを含む。
【００９５】
各トレーニング文書に上記操作に行うことで、大量のトレーニングデータが得られる。
【００９６】
ステップ402:トレーニングデータを用いて注意力(attention)行列を持つニューラルネットワークモデルを訓練して得る。
【００９７】
ニューラルネットワークモデルにseq2seqモデルを例とし、トレーニングデータに含まれる複数組の第一原句とそれに対応する要約をseq2seqモデルに入力して、注意力行列を持つseq2seqモデルを学習し得る。そこで、seq2seqモデルのencoder(エンコード)とdecoder(デコード)の層数を3に設定して、注意力行列にグローバルスキーマが用いられた。seq2seqモデルの注意力行列は以下に示す。
【数１】
2019139772.tif 000003
【数２】
2019139772.tif 000004
【００９８】
ここで、eijはエネルギーであり、encoder側単語xi-1がdecoder側単語yjに対する影響力を表し、si-1はdecoderがi-1時刻の隠れ状態で、hjはencoderすべての時刻における出力状態で、aは非線形関数で、aijはエネルギーeijに対してsoftmax正規化の結果であり、すなわち、注意力行列である。
【００９９】
seq2seqモデルのencoderに純テキストを入力して、decoder側で生成された要約およびencoder側単語とdecoder側単語との間の注意力行列を得る。
【０１００】
ステップ403:処理すべき文書の各第二原句をニューラルネットワークモデルに入力して、第二原句対応の要約および第二原句中の各単語と対応要約中の各単語との注意力行列を得る。
【０１０１】
ここで、第二原句は処理すべき文書中の純テキスト文である。まず、処理すべき文書に対して単語分割処理とノイズ除去処理を行って処理すべき文書の純テキストを得る。ここで、ノイズ除去処理は処理すべき文書中のノイズを除去して、処理すべき文書の純テキストだけを保留して、処理すべき文書の純テキストから第二原句を抽出する。前記ノイズにはURL、電話番号及びその他のソーシャルネットワークアカウントが含まれるが、それらに限られない。
【０１０２】
処理すべき文書の純テキスト中の第二原句をseq2seqモデルのencoderに入力して、seq2seqモデルのdecoder側で生成され当該第二原句に対応する要約、および第二原句中の各単語と対応要約中の各単語との注意力行列を得ることができる。
【０１０３】
図9に示すように、一つの例では、第二原句が「Angry Tom Cherry in
dining room」であり、当該第二原句をseq2seqモデルのencoderに入力して、seq2seqモデルのdecoder側で生成される要約「Tom CherJerry」を得ることができ、また第二原句中の各単語と対応要約中の各単語との注意力行列cを得ることもできる。
【０１０４】
ステップ404:各第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築する。
【０１０５】
ここで、単語注意力表には処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれる。第二原句を「Angry Tom Cherry in dining room」とし、出力した要約を「Tom
CherJerry」として構築された単語注意力表は表1に示し、そこで、Aijは第二原句中のi番目の単語と対応要約中のj番目の単語との間の注意力値である。
【表１】
2019139772.tif 000005
【０１０６】
ステップ405:単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得る。
【０１０７】
具体的には、既存の構文解析ツールを用いて第二原句に対して構文解析することができ、構文連語タグ(たとえばNP、VP)によって単語を連語にマージして、例えばノードツリーにおいて単語がリーフノードであり、リーフノードの1層上のノードに対応するリーフノードをマージして連語を得ることができる。第二原句「Angry
Tom Cherry in dining room」を例として、「Angry」とTom」とを「Angry Tom」にマージでき、「dining」と「room」とを「dining
room」にマージでき、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、連語注意力表には処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。
【０１０８】
具体的には、各連語対の間の注意力値を当該対の連語に含まれる複数対の単語間の注意力値の平均値にすることができ、表1に示す単語注意力表から得られる連語注意力表は表2に示す。
【表２】
2019139772.tif 000006
【０１０９】
ステップ406:処理すべき文書から最初の連語を選択し、かつ各連語にひとつの連語候補集合を生成する。
【０１１０】
具体的には、処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して最初の連語にすることができる。
【０１１１】
ステップ407:各連語の連語候補集合を拡張して、拡張された複数の連語候補集合を得る。
【０１１２】
連語注意力表から連語候補集合中の各連語と最高注意力値を有する連語を選択して、最高注意力値が所定閾値より大きい時に、最高注意力値に対応する連語を連語候補集合に追加し、上記ステップを繰り返して実行し、かつ連語候補集合の長さが目標長さに達したかどうかを判定して、連語候補集合の長さが目標長さに達したときに、連語を連語候補集合に追加することを停止して、連語候補集合の長さが目標長さに達していないときに、続けて上記ステップを実行して、要求を満たす連語を連語候補集合に追加する。例えば、連語候補集合に連語Aが含まれて、連語Aと最高注意力値を有する連語Bを連語注意力表から選択して、当該最高注意力値が所定閾値より大きければ、連語Bを連語候補集合に加えて、再び連語注意力表から連語Bと最高注意力値を有する連語Cを選択して、当該最高注意力値が所定閾値より大きければ、連語Cを連語候補集合に加え、このように、連語候補集合の長さが目標長さに達するまでに行う。
【０１１３】
図10に示すように、最初の連語候補集合が<Tom>と<Jerry>であり、一回目の拡張によって得た連語候補集合が<Tom、chase>、<Tom、Indian
Headdress>、<Jerry、Nibbles>と<Jerry、Dining room>になり、二回目の拡張によって得た連語候補集合が<Tom，chase，Nibbles
>、<Tom，Indian Headdress，shotgun>、<Jerry，Nibbles，feed>などになり、三回目の拡張によって得た連語候補集合が<Tom，chase，Nibbles，dining room >などである。
【０１１４】
ステップ408:各拡張された連語候補集合中の連語を文に組み合わせる。
【０１１５】
既存の音声ツールによって各連語候補集合中の連語を可読性を有する文に組み合わせて、例えば、連語候補集合<Tom，chase，Nibbles，dining room >を文「Tom chase Nibbles in
dining room」に組み合わせることができる。
【０１１６】
ステップ409:各拡張された連語候補集合のオフセットに基づいて集まった後の文を出力して、処理すべき文書の要約を生成する。
【０１１７】
各連語候補集合のオフセット量を計算し、連語候補集合のオフセット量によって処理すべき文書の要約として連語候補集合が集まった文を出力して、たとえば、オフセット量の低い順から、各前記連語候補集合が集まった文を順次に出力し、そこで、連語候補集合のオフセット量が連語候補集合中のすべての単語の平均オフセット量である。
【０１１８】
本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。
【０１１９】
以上は本発明の最適な実施形態を説明しているが、当業者にとって、本発明の前記技術思想から逸脱しない場合、若干の改良と修正を行うことが可能であり、これらの改良と修正も本発明の保護範囲内にあると見なすべきである。
【図１】
2019139772.tif 000007
【図２】
2019139772.tif 000008
【図３】
2019139772.tif 000009
【図４】
2019139772.tif 000010
【図５】
2019139772.tif 000011
【図６】
2019139772.tif 000012
【図７】
2019139772.tif 000013
【図８】
2019139772.tif 000014
【図９】
2019139772.tif 000015
【図１０】
2019139772.tif 000016