(57)【要約】      （修正有）【課題】正確な要約を可能とする、ニューラルネットワークに基づくテキスト処理方法及びニューラルネットワークに基づくテキスト処理装置を提供する。【解決手段】ニューラルネットワークは、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む。方法は、入力層が入力テキストを取得することと、中間層が、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得ることと、前記出力層が、複数の前処理結果に基づいてテキスト処理結果を生成して出力することとを含む。【選択図】図１
2020009449.tif 000002
【特許請求の範囲】
【請求項１】
入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法であって、
前記入力層が入力テキストを取得することと、
前記中間層が、複数の異なる処理方法により前記入力テキストを解析して、前記複数の異なる処理方法に対応する複数の前処理結果を得ることと、
前記出力層が、前記複数の前処理結果に基づいてテキスト処理結果を生成して出力することと、を含む、テキスト処理方法。
【請求項２】
前記中間層が複数の異なる処理方法により前記入力テキストを解析して、前記複数の異なる処理方法に対応する複数の前処理結果を得ることは、
前記複数の異なる処理方法のそれぞれにより前記入力テキストの全ての構成文を解析し、全ての構成文のそれぞれの文重みを前記前処理結果として得ることを含む、請求項１に記載のテキスト処理方法。
【請求項３】
前記出力層が、前記複数の前処理結果に基づいてテキスト処理結果を生成して出力することは、
前記出力層が、前記複数の異なる処理方法のそれぞれの処理方法重みと前記複数の前処理結果とに基づいて、全ての構成文における所定数の文を前記テキスト処理結果として抽出することを含む、請求項２に記載のテキスト処理方法。
【請求項４】
前記ニューラルネットワークが、Ｎ個のカスケードのテキスト処理層を含み、Ｎ≧２であり、
前記Ｎ個のカスケードのテキスト処理層における第ｎのテキスト処理層が、第（ｎ−１）のテキスト処理層により出力されるテキスト処理結果を入力テキストとして受信し、１＜ｎ≦Ｎである、請求項１〜３のいずれか一項に記載のテキスト処理方法。
【請求項５】
前記Ｎ個のカスケードのテキスト処理層のそれぞれにより出力されるテキスト処理結果における文の数が、対応する入力テキストにおける文の数に対して所定の比率となる、請求項４に記載のテキスト処理方法。
【請求項６】
テキスト処理結果がラベル付けられたトレーニングコーパスにより、損失関数に基づいて前記ニューラルネットワークを予めトレーニングすることをさらに含み、
ラベル付けられたテキスト処理結果を第Ｎ層のテキスト処理結果とし、第（ｎ−１）層のテキスト処理結果と第ｎ層の前処理結果との差を、前記第（ｎ−１）層の損失関数とする、請求項４に記載のテキスト処理方法。
【請求項７】
テキスト処理結果がラベル付けられたトレーニングコーパスにより、損失関数に基づいてニューラルネットワークを予めトレーニングすることをさらに含み、
各テキスト処理層の前処理結果とラベル付けられたテキスト処理結果との差を各テキスト処理層の前記損失関数とする、請求項４に記載のテキスト処理方法。
【請求項８】
プロセッサと、コンピュータによって読み取り可能なプログラムコマンドが格納されるメモリとを含むテキスト処理装置であって、
コンピュータによって読み取り可能なプログラムコマンドがプロセッサによって実行されると、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法が実行され、
前記方法が、
前記入力層が入力テキストを取得することと、
前記中間層が、複数の異なる処理方法により前記入力テキストを解析して、前記複数の異なる処理方法に対応する複数の前処理結果を得ることと、
前記出力層が、前記複数の前処理結果に基づいてテキスト処理結果を生成して出力することと、を含む、テキスト処理装置。
【請求項９】
前記中間層が、複数の異なる処理方法により前記入力テキストを解析して、前記複数の異なる処理方法に対応する複数の前処理結果を得ることは、
前記複数の異なる処理方法のそれぞれにより前記入力テキストの全ての構成文を解析し、全ての構成文のそれぞれの文重みを前記前処理結果として得ることを含む、請求項８に記載のテキスト処理装置。
【請求項１０】
前記出力層が、前記複数の前処理結果に基づいてテキスト処理結果を生成して出力することは、
前記出力層が、前記複数の異なる処理方法のそれぞれの処理方法重みと前記複数の前処理結果とに基づいて、全ての構成文における所定数の文を前記テキスト処理結果として抽出することを含む、請求項９に記載のテキスト処理装置。
【請求項１１】
前記ニューラルネットワークが、Ｎ個のカスケードのテキスト処理層を含み、Ｎ≧２であり、
前記Ｎ個のカスケードのテキスト処理層における第ｎのテキスト処理層が、第（ｎ−１）のテキスト処理層により出力されるテキスト処理結果を入力テキストとして受信し、１＜ｎ≦Ｎである、請求項８〜１０のいずれか一項に記載のテキスト処理装置。
【請求項１２】
前記Ｎ個のカスケードのテキスト処理層のそれぞれにより出力されるテキスト処理結果における文の数が、対応する入力テキストにおける文の数に対して所定の比率となる、請求項１１に記載のテキスト処理装置。
【請求項１３】
コンピュータによって読み取り可能なプログラムコマンドがプロセッサによって実行されると、実行されるニューラルネットワークに基づくテキスト処理方法は、
テキスト処理結果がラベル付けられたトレーニングコーパスにより、損失関数に基づいて前記ニューラルネットワークを予めトレーニングすることを含み、
ラベル付けられたテキスト処理結果を第Ｎ層のテキスト処理結果とし、第（ｎ−１）層のテキスト処理結果と第ｎ層の前処理結果との差を、前記第（ｎ−１）層の損失関数とする、請求項１１に記載のテキスト処理装置。
【請求項１４】
コンピュータによって読み取り可能なプログラムコマンドがプロセッサによって実行されると、実行されるニューラルネットワークに基づくテキスト処理方法は、
テキスト処理結果がラベル付けられたトレーニングコーパスにより、損失関数に基づいてニューラルネットワークを予めトレーニングすることを含み、
各テキスト処理層の前処理結果とラベル付けられたテキスト処理結果との差を各テキスト処理層の前記損失関数とする、請求項１１に記載のテキスト処理装置。
【請求項１５】
コンピュータによって読み取り可能なコマンドが格納されるコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータによって読み取り可能なコマンドが前記コンピュータによって実行されると、前記コンピュータが、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法を実行し、
前記方法が、
前記入力層が入力テキストを取得することと、
前記中間層が、複数の異なる処理方法により前記入力テキストを解析して、前記複数の異なる処理方法に対応する複数の前処理結果を得ることと、
前記出力層が、前記複数の前処理結果に基づいてテキスト処理結果を生成して出力することと、を含む、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、ニューラルネットワークに基づくテキスト処理の分野に関し、具体的には、ニューラルネットワークに基づくテキスト処理方法、ニューラルネットワークに基づくテキスト処理装置、及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
ディープニューラルネットワークは、大規模なマルチパラメータ最適化ツールである。ディープニューラルネットワークは、大量のトレーニングデータを基礎として、データに隠れている、まとめにくい特徴を学習できるため、顔の検出、画像のセマンティックセグメンテーション、テキスト要約の抽出、オブジェクトの検出、モーションのトラッキング、自然言語の翻訳などのような複数の複雑なタスクを完了できる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
テキスト要約の抽出とは、明確な意味を持つテキスト内容を高レベルでの一般化及び抽象化することにより、テキストの要約を生成することを指す。従来のテキスト要約の抽出方法は、テキストの具体的な内容（表現の意味、文の構造、修辞手法、物語スタイルなど）に大きく依存するため、異なるテキスト要約抽出方法が異なるテキスト（長さが異なるテキストなど）に適用されると、性能に差異が生じる。例えば、いくつかのテキスト要約抽出方法が、比較的長いテキストに対して理想的な要約抽出結果を得ることができるが、比較的短いテキストに対して理想的な抽出を達成しにくい一方、他のテキスト要約抽出方法が反対の処理性能を持つ。以上の理由から、今まで、汎用のテキスト要約抽出方法が存在しない。従来のテキスト要約抽出方法の前記の欠点を克服するために、ディープニューラルネットワークを利用してテキスト要約を生成する方法が提案された。しかしながら、ディープニューラルネットワークに基づく従来のテキスト要約生成方法は、非常に複雑であり、要約の正確さも満足のいくものではない。
【０００４】
上記の問題に鑑みて、本開示は、ニューラルネットワークに基づくテキスト処理方法、ニューラルネットワークに基づくテキスト処理装置、及びコンピュータ読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様によれば、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法であって、入力層が入力テキストを取得することと、中間層が、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得ることと、出力層が、複数の前処理結果に基づいてテキスト処理結果を生成して出力することとを含む、ニューラルネットワークに基づくテキスト処理方法を提供する。
【０００６】
本開示の別の態様によれば、プロセッサと、コンピュータによって読み取り可能なプログラムコマンドが格納されるメモリとを含むテキスト処理装置であって、コンピュータによって読み取り可能なプログラムコマンドがプロセッサによって実行されると、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法が実行され、前記方法が、入力層が入力テキストを取得することと、中間層が、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得ることと、出力層が、複数の前処理結果に基づいてテキスト処理結果を生成して出力することとを含む、テキスト処理装置を提供する。
【０００７】
本開示のさらに別の態様によれば、コンピュータによって読み取り可能なコマンドが格納されるコンピュータ読み取り可能な記憶媒体であって、コンピュータによって読み取り可能なコマンドがコンピュータによって実行されると、コンピュータが、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法を実行し、前記方法が、入力層が入力テキストを取得することと、中間層が、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得ることと、出力層が、複数の前処理結果に基づいてテキスト処理結果を生成して出力することとを含む、コンピュータ読み取り可能な記憶媒体を提供する。
【発明の効果】
【０００８】
本発明の上記の態様では、ディープニューラルネットワークをテキスト処理に適用し、異なるテキストの処理方法をトレーニングすることによって、効率的かつ正確に所望のテキストを生成しながら、異なるテキスト処理方法の異なるテキスト内容に対する依存性を低減し、処理の複雑さを低下させる。
【図面の簡単な説明】
【０００９】
図面を参照しながら、本開示の実施形態をさらに詳しく説明することにより、本開示の上記及び他の目的、特徴及び利点がより明らかになる。図面は、本開示の実施形態のさらなる理解のために提供され、明細書の一部を構成し、本開示の実施形態と共に本開示を解釈するためのものであるが、本開示を限定するものではない。図面において、同じ符号は、一般に同じ部材またはステップを指す。
【図１】本開示の実施形態を実現するためのニューラルネットワークテキスト処理方法のフローチャートである。
【図２】本開示の実施形態によるテキスト生成処理結果の模式図である。
【図３】本開示の実施形態によるテキスト生成処理結果の他の模式図である。
【図４】本開示のカスケード接続する複数のテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする第１の実施形態の模式図である。
【図５】本開示の第１の実施形態による損失関数生成の模式図である。
【図６】本開示のカスケード接続する複数のテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする第２の実施形態の模式図である。
【図７】本開示の第２の実施形態による損失関数生成の模式図である。
【図８】本開示の実施形態によるニューラルネットワークに基づくテキスト処理装置の模式図である。
【図９】本開示の実施形態に係るコンピュータ読み取り可能な記憶媒体の模式図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態に係る図面を参照しながら、本発明の実施形態に係る技術案を、明確かつ完全に説明する。記載される実施形態は、本開示の実施形態の全部でなく、一部にすぎない。本開示の実施形態に基づいて、当業者が創造的な作業をかからない前提で得られる他のすべての実施形態は、本発明の保護の範囲に属する。
【００１１】
まず、図１を参照しながら、本開示の実施形態を実施するためのニューラルネットワークテキスト処理方法を説明する。当該ニューラルネットワークは、入力層と、中間層と、出力層とが含まれている少なくとも１つのテキスト処理層を含む。当該方法は、ディープニューラルネットワークをテキスト処理に適用し、異なるテキスト処理方法をトレーニングすることによって、効率的かつ正確に所望のテキストを抽出しながら、異なるテキスト処理方法の異なるテキスト内容に対する依存性を低減し、処理の複雑さを低下させる。
【００１２】
図１に示すように、ステップＳ１０１では、入力層が入力テキストを取得する。
【００１３】
当該入力テキストは、処理しようとする元のテキストである。
【００１４】
ステップＳ１０２では、中間層が、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得る。ここで、複数の異なる処理方法のそれぞれでは、入力テキストの全ての構成文を解析し、全ての構成文のそれぞれの文の重みを前処理結果として得る。
【００１５】
現在、複数の異なるテキスト処理方法がある。例えば、テキストの要約の抽出には、ポジション方式、フレーズ方式、タイトル方式、キーワード方式などの複数の方式がある。当該ステップＳ１０２では、中間層は、異なる処理方法により入力テキストを解析して、複数の前処理結果を得る。例えば、中間層は、各テキスト処理方法に異なる重みを割り当て、各テキスト処理方法によって構成文を解析して、各テキスト処理方法に対応する各文の重みを得ることによって、複数の異なる処理方法に対応する複数の前処理結果を得る。
【００１６】
図２は、本開示の実施形態によるテキスト生成処理結果の模式図である。
【００１７】
図２に示すように、当該テキスト処理層は、入力層２３と、中間層２４と、出力層２５とを含む。入力層２３は、処理しようとする入力テキスト２１を取得する。
【００１８】
中間層２４において、例えば、Ｍ種類の異なる処理方法（処理方法１、処理方法２、…、処理方法Ｍなど）があり、中間層２４が、異なる処理方法に異なる重みをランダムに割り当てたり、異なる重みを所定のルールに従って割り当てたりすることができる。例えば、処理方法１に重みＷ１、処理２に重みＷ２、処理方法Ｍに重みＷＭを割り当てることなどをする。
【００１９】
さらに、異なる処理方法のうち、各処理方法が各構成文に異なる重みを割り当てることは、異なる処理方法における異なる文の特性への依存性を解析することによって行われる。例えば、仮に入力テキストがＰ個の構成文を含む場合、処理方法１において、各文に割り当てられる重みが｛Ｗ１１、Ｗ１２、Ｗ１３…Ｗ１Ｐ｝であり、処理方法２において、各文に割り当てられる重みが｛Ｗ２１、Ｗ２２、Ｗ２３…Ｗ２Ｐ｝であり、処理方法Ｍにおいて、各文に割り当てられる重みが｛ＷＭ１、ＷＭ２、ＷＭ３…ＷＭＰ｝であるなどのようにする。次いで、異なる処理方法における全ての構成文の各文の重みを、中間層２４の前処理結果とする。
【００２０】
ステップＳ１０３において、出力層は、複数の前処理結果に基づいて、テキスト処理結果を生成し出力する。ここで、出力層は、複数の異なる処理方法のうちのそれぞれの処理方法の重みと複数の前処理結果とに基づいて、全ての構成文における所定の数の文をテキスト処理結果として抽出することができる。
【００２１】
図２に示すように、出力層２５が中間層２４から異なる処理方法の各文の重みを取得した後、出力層２５は、入力テキスト２１の各文（例えば、文ａ、ｂ、ｃなど）の評点を計算することができる。例えば、入力テキスト２１の文ａについては、式（１）により評点Ａを得ることができる。
Ａ＝Ｗ１＊Ｗ１ａ＋Ｗ２＊Ｗ２ａ＋……＋ＷＭ＊ＷＭａ（１）
【００２２】
ここで、Ｗ１、Ｗ２……ＷＭは、それぞれ、中間層２４によりＭ個の異なる処理方法の夫々に割り当てられる重みを示し、Ｗ１ａ、Ｗ２ａ…ＷＭａは、それぞれ、Ｍ個の異なる処理方法の夫々において構成文ａの占める重みを示す。ここで各文の評点を得る方式は一例に過ぎず、他の方法により各文の評点を得ることができることを理解される。また、各文の評点に対して正規化することができる。
【００２３】
入力テキストにおける各文の評点を得た後、出力層２５は、全ての評点をソートすることができ、最終的に所定の数の文をテキスト処理結果２２として出力する。例えば、所定の数が６つである場合、ソート済みの評点から最も評点の高い６つの文をテキスト処理結果として出力する。
【００２４】
さらに、入力テキストにおける各文の前処理結果を取得した後、フルコネクションのような行列構造で生成された前処理結果を格納し、異なる処理方法の重みを調整し、前処理結果を扱ってテキスト処理結果を得ることができる。
【００２５】
図３は、本開示の実施形態によるテキスト生成処理結果の他の模式図である。
【００２６】
図３に示すように、出力層３５は、異なる処理方法の各文の重みを取得した後、フルコネクションのような行列構造で、前処理結果を扱い、より優れた最終的なテキスト処理結果を得る。
【００２７】
以上は、一つのテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする方法である。さらに、カスケード接続する複数のテキスト処理層を含むニューラルネットワークにおいても、テキスト処理をすることができる。
【００２８】
一例として、ニューラルネットワークは、カスケード接続するＮ個のテキスト処理層を含んでもよく、Ｎ≧２である。当該ニューラルネットワークにおいて、カスケード接続するＮ個のテキスト処理層のうち、第ｎのテキスト処理層は、第（ｎ−１）のテキスト処理層により出力されるテキスト処理結果を入力テキストとして受信し、１＜ｎ≦Ｎである。例えば、ニューラルネットワークは、カスケード接続する１０つのテキスト処理層を含み、当該カスケード接続するテキスト処理層のうち、第１層により出力されるテキスト処理結果を第２層の入力テキストとし、第２層により出力されるテキスト処理結果を第３層の入力テキストとするなどのようにすることができる。
【００２９】
さらに、カスケード接続するＮ個のテキスト処理層のそれぞれにより出力されるテキスト処理結果における文の数は、対応する入力テキストにおける文の数に対して所定の比率となる。例えば、ニューラルネットワークは、カスケード接続する１０つのテキスト処理層を含み、当該カスケード接続するテキスト処理層のうち、第２層により出力されるテキスト処理結果における文の数が、その入力テキストにおける文の数に対して８０％となり、第３層により出力されるテキスト処理結果における文の数が、その入力テキストにおける文の数に対して６０％となるなどようにすることができる。所定の比率は必要に応じて予め設定されてもよいことが理解される。
【００３０】
上記のようなカスケード接続する複数のテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする場合、テキスト処理結果でラベル付けられたトレーニングコーパスにより、損失関数に基づいてニューラルネットワークを予めトレーニングすることができる。
【００３１】
第１の実施形態では、ラベル付けられたテキスト処理結果を第Ｎ層のテキスト処理結果とし、第（ｎ−１）層のテキスト処理結果と第ｎ層の前処理結果との差を前記第（ｎ−１）層の損失関数としてもよい。
【００３２】
図４は、本開示の実施形態によるカスケード接続する複数のテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする第１の実施形態の模式図である。
【００３３】
図４に示すように、当該ニューラルネットワークには、カスケード接続するＮ個の処理層（例えば第１層、第２層……第Ｎ層）が含まれる。ここで、入力テキストを各処理層に入力した後、以上の評点及びスクリーンイングをしてテキスト処理結果を新たなテキストとして出力する。出力された新たなテキストを次の層の入力テキストとして引き続き次の処理層に入力し、引き続き評点及びスクリーンイングをして、ここで、出力された新たなテキストの文の数が、入力テキストの文の数に対して所定の比率となる。
【００３４】
例えば、当該ニューラルネットワークにおいて、ラベル付けられたテキスト処理結果を最後の層のテキスト処理結果とし、第１層のテキスト処理結果４１と第２層の前処理結果の差を第１層の損失関数４２とする。同様に、第２層のテキスト処理結果４３と第３層の前処理結果の差を第２層の損失関数４４とするようにする。ラベル付けられたテキスト処理結果を第Ｎ層のテキスト処理結果とするため、第Ｎ−１層では、第Ｎ層のテキスト処理結果と第Ｎ−１層のテキスト処理結果４５との差を第Ｎ−１層の損失関数４６とする。
【００３５】
図５は、本開示の第１の実施形態による損失関数生成の模式図である。
【００３６】
図５に示されるように、図５の左側では、第ｎ処理層５３において入力テキスト５０を入力し、上記のように複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得る。次に、第ｎ処理層５３は、得られた複数の前処理結果と入力テキスト５０との間で類似度マッチングを行い、複数の前処理結果に対応する予測類似度値５１を得る。図５の右側では、第ｎ−１処理層５４により生成されるテキスト処理結果を全体として、第ｎ処理層５３に入力される入力テキスト５０の各文と類似度マッチングを行い、入力テキスト５０に対応する比較類似度値５２を得る。次に、第ｎ処理層５３により生成される前処理結果の各文に対応する、予測類似度値５１と比較類似度値５２と損失関数を、第ｎ−１層５４の損失関数５５として算出する。
【００３７】
例えば、当該ニューラルネットワークに基づくテキスト処理方法により要約の抽出を行うとする。仮に、第ｎ処理層５３の入力テキスト５０が５つの文を含む場合、上記のように複数の異なる処理方法により入力テキスト５０を解析すると、複数の異なる処理方法に対応する５つの前処理結果を得、次に、第ｎ処理層５３が、得られた５つの前処理結果と、入力テキスト５０の５つの文との間で類似度マッチングを行い、５つの前処理結果に対応する予測類似度値を得る。その後、第ｎ−１処理層５４により生成されるテキスト処理結果（同様に５つの文）を全体として、第ｎ処理層５３に入力される入力テキスト（５つの文）５０の各文と類似度マッチングを行い、５つの入力テキスト５０に対応する５つの比較類似度値５２を得る。次に、５つの予測類似度値５１と５つの比較類似度値５２との間の損失関数を、第ｎ−１層５４の損失関数５５として算出する。仮に、予測類似度値５１が｛Ｘ１，Ｘ２，Ｘ３，Ｘ４，Ｘ５｝＝｛０．１，０．５，０．４，０．９，０．６｝で表され、比較類似度値５２が｛Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５｝＝｛０．２，０．７，０．３，０．１，０．４｝で表される場合、損失関数５５は、例えば、Ｚ１＝（Ｘ１−Ｙ１）＾２、Ｚ２＝（Ｘ２−Ｙ２）＾２、Ｚ３＝（Ｘ３−Ｙ３）＾２、Ｚ４＝（Ｘ４−Ｙ４）＾２、Ｚ５＝（Ｘ５−Ｙ５）＾２として算出されることができる。上記の入力テキストの文の数は単なる例であり、入力テキストはより多い文またはより少ない文を含んでもよいことが理解される。そして、上記損失関数の算出式は一例であり、損失関数の算出方法はこれに限定されるものではなく、他の方法で算出されてもよい。
【００３８】
第２の実施形態では、各テキスト処理層の前処理結果とラベル付けられたテキスト処理結果との差を各テキスト処理層の前記損失関数としてもよい。
【００３９】
図６は、本開示の実施形態によるカスケード接続する複数のテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする第２の実施形態の模式図である。
【００４０】
図６に示すように、当該ニューラルネットワークには、カスケード接続するＮ個の処理層（例えば第１層、第２層……第Ｎ層）が含まれる。ここで、入力テキストを各処理層に入力した後、以上のような評点及びスクリーンイングをしてテキスト処理結果を新たなテキストとして出力する。出力された新たなテキストを次の層の入力テキストとして引き続き次の処理層に輸入され、引き続き評点及びスクリーンイングをして、ここで、出力された新たなテキストの文の数が、入力テキストの文の数に対して所定の比率となる。
【００４１】
例えば、当該ニューラルネットワークにおいて、ラベル付けられたテキスト処理結果を最後の層のテキスト処理結果とし、第１層の前処理結果と第Ｎ層６０のテキスト処理結果の差を第１層の損失関数とする。同様に、第２層の前処理結果と第Ｎ層６０のテキスト処理結果の差を第２層の損失関数とするなどのようにする。
【００４２】
図７は、本開示の第２の実施形態による損失関数生成の模式図である。
【００４３】
図７に示されるように、図７の左側では、第ｎ処理層７３において入力テキスト７０が入力され、上記のように複数の異なる処理方法により入力テキスト７０を解析して、複数の異なる処理方法に対応する複数の前処理結果を得る。次に、第ｎ処理層７３は、得られた複数の前処理結果と入力テキスト７０との間で類似度マッチングを行い、複数の前処理結果に対応する予測類似度値７１を得る。図７の右側では、予めラベル付けられたテキスト７４を全体として、第ｎ処理層７３に入力される入力テキスト７０の各文と類似度マッチングを行い、入力テキスト７０に対応する比較類似度値７２を得る。次に、第ｎ処理層７３により生成される前処理結果の各文に対応する予測類似度値７１と比較類似度値７２との間の損失関数を、第ｎ層７３の損失関数７５として算出する。
【００４４】
例えば、当該ニューラルネットワークに基づくテキスト処理方法により要約の抽出を行うとする。仮に、第ｎ処理層７３の入力テキスト７０が５つの文を含む場合、上記のように複数の異なる処理方法により入力テキスト７０を解析すると、複数の異なる処理方法に対応する５つの前処理結果を得て、次に、第ｎ処理層７３が、得られた５つの前処理結果と、入力テキスト７０の５つの文との間で類似度マッチングを行い、５つの前処理結果に対応する予測類似度値を得る。その後、予めラベル付けられたテキスト（例えば、３つの文）７４を全体として、第ｎ処理層７３に入力される入力テキスト（５つの文）７０の各文に対して類似度マッチングを行い、５つの入力テキスト７０に対応する５つの比較類似度値７２を得る。次に、５つの予測類似度値７１と５つの比較類似度値７２との間の損失関数を、第ｎ層の損失関数７５として算出する。仮に、予測類似度値７１が｛Ｘ１，Ｘ２，Ｘ３，Ｘ４，Ｘ５｝＝｛０．１，０．５，０．４，０．９，０．６｝で表され、比較類似度値７２が｛Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５｝＝｛０．２，０．７，０．３，０．１，０．４｝で表される場合、損失関数７５は、例えば、Ｚ１＝（Ｘ１−Ｙ１）＾２、Ｚ２＝（Ｘ２−Ｙ２）＾２、Ｚ３＝（Ｘ３−Ｙ３）＾２、Ｚ４＝（Ｘ４−Ｙ４）＾２、Ｚ５＝（Ｘ５−Ｙ５）＾２として算出されることができる。上記の入力テキストの文の数は単なる例であり、入力テキストはより多い文またはより少ない文を含んでもよいことが理解される。そして、上記損失関数の算出式は一例であり、損失関数の算出方法はこれに限定されるものではなく、他の方法で算出されてもよい。
【００４５】
以下、図８を参照しながら、本開示の実施形態によるテキスト処理装置を説明する。図８は、本開示の実施形態によるニューラルネットワークに基づくテキスト処理装置の模式図である。本実施形態のニューラルネットワークに基づくテキスト処理装置の機能は、図１を参照しながら説明される上記方法の機能と同じであるため、同じ内容についての詳細な説明が簡略化のために省略される。
【００４６】
図８に示すように、ニューラルネットワークに基づくテキスト処理装置１１００は、プロセッサ１１０１とメモリ１１０２とを含む。なお、図８におけるテキスト処理装置１１００が２つのデバイスのみを含むように示されるが、これは単なる例示であり、テキスト処理装置１１００は、１つ又は複数の他のデバイスを含んでもよい。これらのデバイスは、本発明の趣旨と関係ないため、ここでは省略される。
【００４７】
本開示によるニューラルネットワークに基づくテキスト処理装置１１００は、プロセッサ１１０１と、コンピュータによって読み取り可能なプログラムコマンドが格納されるメモリ１１０２とを含むテキスト処理装置であって、コンピュータによって読み取り可能なプログラムコマンドがプロセッサ１１０１によって実行されると、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法が実行され、前記方法が、入力層が入力テキストを取得することと、中間層が複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得ることと、出力層が複数の前処理結果に基づいて、テキスト処理結果を生成し出力することとを含む。
【００４８】
入力層より入力テキストを取得し、当該入力テキストは、処理しようとする元のテキストである。
【００４９】
中間層は、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得る。ここで、複数の異なる処理方法のそれぞれは、入力テキストの全ての構成文を解析し、全ての構成文のそれぞれの文の重みを前処理結果として得る。
【００５０】
現在、複数の異なるテキスト処理方法がある。例えば、テキストの要約の抽出には、ポジション方式、フレーズ方式、タイトル方式、キーワード方式などの複数の方式がある。中間層は、異なる処理方法により入力テキストを解析して、複数の前処理結果を得る。例えば、中間層は、各テキスト処理方法に異なる重みを割り当て、各テキスト処理方法によって構成文を解析して、各テキスト処理方法に対応する各文の重みを得ることによって、複数の異なる処理方法に対応する複数の前処理結果を得る。
【００５１】
出力層は、複数の前処理結果に基づいて、テキスト処理結果を生成し出力する。ここで、出力層は、複数の異なる処理方法のうちのそれぞれの処理方法の重みと複数の前処理結果とに基づいて、全ての構成文における所定の数の文をテキスト処理結果として抽出することができる。
【００５２】
例えば、出力層は、中間層から異なる処理方法の各文の重みを取得した後、出力層は、入力テキストの各文の評点を計算することができる。入力テキストの各文の評点を得た後、出力層は、全ての評点をソートし、最終的に所定の数の文をテキスト処理結果として出力することができる。
【００５３】
さらに、入力テキストの各文の前処理結果を取得した後、フルコネクションのような行列構造で生成された前処理結果を格納し、異なる処理方法の重みを調整し、前処理結果を扱ってテキスト処理結果を得ることができる。
【００５４】
以上は、一つのテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする方法である。さらに、カスケード接続する複数のテキスト処理層を含むニューラルネットワークでも、テキスト処理をすることができる。
【００５５】
一例として、ニューラルネットワークは、カスケード接続するＮ個のテキスト処理層を含んでもよく、Ｎ≧２である。当該ニューラルネットワークにおいて、カスケード接続するＮ個のテキスト処理層における第ｎのテキスト処理層は、第（ｎ−１）のテキスト処理層により出力されるテキスト処理結果を入力テキストとして受信し、１＜ｎ≦Ｎである。
【００５６】
さらに、カスケード接続するＮ個のテキスト処理層のそれぞれにより出力されるテキスト処理結果における文の数は、対応する入力テキストにおける文の数に対して所定の比率となる。
【００５７】
上記の複数のカスケード接続するテキスト処理層を含むニューラルネットワークにおいてテキスト処理をする場合、テキスト処理結果でラベル付けられたトレーニングコーパスにより、損失関数に基づいてニューラルネットワークを予めトレーニングすることができる。
【００５８】
第１の実施形態では、ラベル付けられたテキスト処理結果を第Ｎ層のテキスト処理結果とし、第（ｎ−１）層のテキスト処理結果と第ｎ層の前処理結果との差を、前記第（ｎ−１）層の損失関数としてもよい。
【００５９】
例えば、当該ニューラルネットワークには、カスケード接続するＮ個の処理層（例えば第１層、第２層……第Ｎ層）が含まれるとする。ここで、入力テキストを各処理層に入力した後、以上の評点及びスクリーンイングをしてテキスト処理結果を新たなテキストとして出力する。出力された新たなテキストを次の層の入力テキストとして引き続き次の処理層に輸入され、引き続き評点及びスクリーンイングをして、ここで、出力された新たなテキストの文の数が、入力テキストの文の数に対して所定の比率となる。
【００６０】
例えば、当該ニューラルネットワークにおいて、ラベル付けられたテキスト処理結果を最後の層のテキスト処理結果とし、第１層のテキスト処理結果３１と第２層の前処理結果の差を第１層の損失関数とする。同様に、第２層のテキスト処理結果と第３層の前処理の結果の差を、第２層の損失関数とするなどのようにする。ラベル付けられたテキスト処理結果を第Ｎ層のテキスト処理結果とするため、第Ｎ−１層では、第Ｎ層のテキスト処理結果と第Ｎ−１層のテキスト処理結果との差を、第Ｎ−１層の損失関数とする。
【００６１】
第２の実施形態では、各テキスト処理層の前処理結果とラベル付けられたテキスト処理結果との差を各テキスト処理層の前記損失関数としてもよい。
【００６２】
例えば、当該ニューラルネットワークには、カスケード接続するＮ個の処理層（例えば第１層、第２層……第Ｎ層）が含まれるとする。ここで、入力テキストを各処理層に入力した後、以上のような評点及びスクリーンイングをしてテキスト処理結果を新たなテキストとして出力する。出力された新たなテキストを次の層の入力テキストとして引き続き次の処理層に輸入され、引き続き評点及びスクリーンイングをして、ここで、出力された新たなテキストの文の数が、入力テキストの文の数に対して所定の比率となる。
【００６３】
例えば、当該ニューラルネットワークにおいて、ラベル付けられたテキスト処理結果を最後の層のテキスト処理結果とし、第１層の前処理結果と第Ｎ層のテキスト処理結果の差を第１層の損失関数とする。同様に、第２層の前処理結果と第Ｎ層のテキスト処理結果の差を第２層の損失関数とするなどのようにする。
【００６４】
図９は、本開示の実施形態によるコンピュータ読み取り可能な記憶媒体の模式図である。
【００６５】
図９に示すように、本開示は、さらに、コンピュータによって読み取り可能なコマンド１２０１が格納されるコンピュータ読み取り可能な記憶媒体１２００を含む。当該コンピュータによって読み取り可能なコマンドがコンピュータによって実行されると、コンピュータは、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む、ニューラルネットワークに基づくテキスト処理方法を実行する。前記方法は、入力層が入力テキストを取得することと、中間層が複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得ることと、出力層が複数の前処理結果に基づいて、テキスト処理結果を生成し出力することとを含む。
【００６６】
これにより分かるように、本開示の上記の態様では、ニューラルネットワークは、入力層と、中間層と、出力層とを含む少なくとも１つのテキスト処理層を含む。一つの処理層からなるニューラルネットワークにおいて、複数の異なる処理方法により入力テキストを解析して、複数の異なる処理方法に対応する複数の前処理結果を得て、最後に、複数の前処理結果に基づいて、テキスト処理結果を生成し出力する。また、当該ニューラルネットワークは、カスケード接続するＮ個のテキスト処理層を含んでもよい。当該ニューラルネットワークにおいて、テキスト処理結果でラベル付けられたトレーニングコーパスにより、損失関数に基づいて前記ニューラルネットワークを予めトレーニングすることができる。例えば、ラベル付けられたテキスト処理結果を第ｎ層のテキスト処理結果とし、第（ｎ−１）層のテキスト処理結果と第ｎ層の前処理結果との差を、前記（ｎ−１）層の損失関数としてもよい。各テキスト処理層の前処理結果とラベル付けられたテキスト処理結果との差を各テキスト処理層の前記損失関数としてもよい。ディープニューラルネットワークをテキスト処理に適用することにより、効率的かつ正確に所望のテキストを生成しながら、異なるテキスト処理方法の異なるテキスト内容に対する依存性を低減し、処理の複雑さを低下させる。
【００６７】
当業者は、本出願の各態様が、任意の新規かつ有用な工程、機器、製品、または材料の組み合わせ、或いはそれらに対する任意の新規かつ有用な変更を含む、いくつかの特許可能な種類または状況によって説明及び記載され得ることを認識する。したがって、本出願の各態様は、完全にハードウェアによって実行されてもよく、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）によって実行されてもよく、ハードウェアとソフトウェアの組合せによって実行されてもよい。上記のハードウェアまたはソフトウェアは、いずれも「データブロック」、「モジュール」、「エンジン」、「ユニット」、「コンポーネント」、または「システム」と呼ばれることができる。また、本出願の各態様は、コンピュータによって読み取り可能なプログラムコードを含む、１つまたは複数のコンピュータによって読み取り可能な媒体内に配置されたコンピュータ製品として具現化することができる。
【００６８】
本願は、本願の実施形態を説明するために特定な用語を使用する。「一つの実施形態」、「一実施形態」及び／又は「複数の実施形態」は、本願の少なくとも一つの実施形態に係る具体的な特徴、構造、または特性を意味する。したがって、本明細書において、異なる箇所で「一実施形態」や「一つの実施形態」や「一つの代替実施形態」を二回以上提示する場合、必ずしも同じ実施形態を指していないことに留意及び強調されるべきである。また、本願の１つまたは複数の実施形態の特徴、構造、または特性のいくつかは、適宜に組み合わせることができる。
【００６９】
別段の定義がない限り、ここで用いられる（技術用語及び科学用語を含む）すべての用語は、本開示の技術分野における通常の知識を有する技術者が一般に理解するものと同じ意味を有する。また、通常の辞書で定義されるような用語は、ここで明確に定義がない限り、関連技術の文脈におけるそれらの意味と一致する意味を有すると解釈されるべきであり、理想的または極端に形式化された意味で解釈されない。
【００７０】
以上は、本開示の説明であるが、それを限定するものとして解釈されるべきではない。本開示のいくつかの例示的な実施形態を説明したが、当業者は、本開示の前提としての新規な教示及び利点から逸脱することなく、例示的な実施形態に対して多くの変更が可能であることを容易に理解する。したがって、そのようなすべての変更は、添付の特許請求の範囲によって定義される本開示の範囲内に含まれることが意図されている。なお、以上は本発明の説明であるが、開示された具体的な実施形態に限定されると解釈されるべきではなく、開示された実施形態及び他の実施形態に対する変更も、添付の特許請求の範囲内に含まれることが意図される。本開示は、特許請求の範囲及びそれらの均等物によって定義される。
【図１】
2020009449.tif 000003
【図２】
2020009449.tif 000004
【図３】
2020009449.tif 000005
【図４】
2020009449.tif 000006
【図５】
2020009449.tif 000007
【図６】
2020009449.tif 000008
【図７】
2020009449.tif 000009
【図８】
2020009449.tif 000010
【図９】
2020009449.tif 000011