(57)【要約】      （修正有）【課題】インターリーブされたテキストの投稿の要約を生成する方法及びシステムを提供する。【解決手段】方法は、第１のニューラルネットワークにより、各投稿を単語対単語符号化により埋め込むことと、第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化により複数の投稿の全体的なコンテンツを埋め込むことと、少なくとも第３のニューラルネットワークにより、複数の投稿のコンテンツ埋め込み全体に基づいて、単語対単語復号により少なくとも１つのスレッドの要約を生成することと、少なくとも１つのスレッドの要約をユーザに表示することとを含む。【選択図】図６
2020144863.tif 000002
【特許請求の範囲】
【請求項１】
インターリーブされたテキストの投稿を自動的に要約する方法において、
インターリーブされたテキストの複数の投稿を受信することと、
第１のニューラルネットワークにより、各投稿を単語対単語符号化によって埋め込むことと、
第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化によって前記複数の投稿の全体的なコンテンツを埋め込むことと、
少なくとも第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づいて、単語対単語復号によって少なくとも１つのスレッドの要約を生成することと、
前記少なくとも１つのスレッドの要約をユーザに表示することと
を含む、方法。
【請求項２】
少なくとも１つのスレッドの要約を生成することが、規則的にラベル付けされたデータを使用してエンドツーエンドで訓練された注意ニューラルネットワークによって、前記要約の文中の単語を生成するように投稿レベル注意を生成することを含む、請求項１に記載の方法。
【請求項３】
前記投稿レベル注意を生成することが、スレッド対スレッド復号において新たな文を復号するときにのみ実行される、請求項２に記載の方法。
【請求項４】
少なくとも１つのスレッドの要約を生成することが、さらに、前記要約の文中の単語を生成するように単語レベル注意をさらに生成することを含む、請求項２に記載の方法。
【請求項５】
前記複数の投稿の全体的なコンテンツ埋め込みに基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することが、
前記第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づくスレッド対スレッド復号によって少なくとも１つのスレッドの表現を生成することと、
第４のニューラルネットワークにより、前記少なくとも１つのスレッドの生成された表現に基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することと
を含み、
前記第３のニューラルネットワークが、前記スレッドの表現を生成する単方向のロングショートタームメモリニューラルネットワークである、請求項１に記載の方法。
【請求項６】
前記第３のニューラルネットワークが、現在の状態を単層フィードフォワードネットワークに渡し、その後に前記少なくとも１つのスレッド表現を計算するようにｔａｎｈアクティベーションが続く、請求項５に記載の方法。
【請求項７】
前記第３のニューラルネットワークが、要約の新たなトピックのフィードバック信号を取得するために、以前に生成された要約の単語を処理するニューラルネットワークである、請求項１に記載の方法。
【請求項８】
前記第３のニューラルネットワークが、前記以前に生成された要約に対して実行された単方向単語対単語ＬＳＴＭである、請求項７に記載の方法。
【請求項９】
コンピューティング装置に、インターリーブされたテキストの投稿を自動的に要約する方法を実行させるためのプログラムにおいて、前記方法が、
複数のインターリーブされたテキストを受信することと、
第１のニューラルネットワークにより、各投稿を単語対単語符号化によって埋め込むことと、
第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化によって前記複数の投稿の全体的なコンテンツを埋め込むことと、
少なくとも第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づいて、単語対単語復号によって少なくとも１つのスレッドの要約を生成することと、
前記少なくとも１つのスレッドの要約をユーザに表示することと
を含む、プログラム。
【請求項１０】
少なくとも１つのスレッドの要約を生成することが、規則的にラベル付けされたデータを使用してエンドツーエンドで訓練された注意ニューラルネットワークによって、前記要約の文中の単語を生成するように投稿レベル注意を生成することを含む、請求項９に記載のプログラム。
【請求項１１】
前記複数の投稿の全体的なコンテンツ埋め込みに基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することが、
前記第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づくスレッド対スレッド復号によって少なくとも１つのスレッドの表現を生成することと、
第４のニューラルネットワークにより、前記少なくとも１つのスレッドの生成された表現に基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することと
を含み、
前記第３のニューラルネットワークが、前記スレッドの表現を生成する単方向のロングショートタームメモリニューラルネットワークである、請求項９に記載のプログラム。
【請求項１２】
前記第３のニューラルネットワークが、現在の状態を単層フィードフォワードネットワークに渡し、その後に前記少なくとも１つのスレッド表現を計算するようにｔａｎｈアクティベーションが続く、請求項１１に記載のプログラム。
【請求項１３】
前記第３のニューラルネットワークが、要約の新たなトピックのフィードバック信号を取得するために、以前に生成された要約の単語を処理するニューラルネットワークである、請求項９に記載のプログラム。
【請求項１４】
第３のニューラルネットワークが、前記以前に生成された要約に対して実行された単方向単語対単語ＬＳＴＭである、請求項１３に記載のプログラム。
【請求項１５】
コンピューティング装置において、
インターリーブされたテキストの複数の投稿を記憶する記憶装置と、
前記インターリーブされたテキストの投稿を自動的に要約する方法を実行するように符号化されたプロセッサと、を含み、前記方法が、
前記記憶装置から前記複数の投稿を抽出することと、
第１のニューラルネットワークにより、各投稿を単語対単語符号化によって埋め込むことと、
第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化によって前記複数の投稿の全体的なコンテンツを埋め込むことと、
少なくとも第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づいて、単語対単語復号によって少なくとも１つのスレッドの要約を生成することと、
前記少なくとも１つのスレッドの要約をユーザに表示することと
を含む、コンピューティング装置。
【請求項１６】
少なくとも１つのスレッドの要約を生成することが、規則的にラベル付けされたデータを使用してエンドツーエンドで訓練された注意ニューラルネットワークによって、前記要約の文中の単語を生成するように投稿レベル注意を生成することを含み、
前記投稿レベル注意を生成することが、スレッド対スレッド復号において新たな文を復号するときにのみ実行される、請求項１５に記載のコンピューティング装置。
【請求項１７】
前記複数の投稿の全体的なコンテンツ埋め込みに基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することが、
前記第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づくスレッド対スレッド復号によって少なくとも１つのスレッドの表現を生成することと、
第４のニューラルネットワークにより、前記少なくとも１つのスレッドの生成された表現に基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することと
を含み、
前記第３のニューラルネットワークが、前記スレッドの表現を生成する単方向のロングショートタームメモリニューラルネットワークである、請求項１５に記載のコンピューティング装置。
【請求項１８】
前記第３のニューラルネットワークが、現在の状態を単層フィードフォワードネットワークに渡し、その後に前記少なくとも１つのスレッド表現を計算するようにｔａｎｈアクティベーションが続く、請求項１７に記載のコンピューティング装置。
【請求項１９】
前記第３のニューラルネットワークが、要約の新たなトピックのフィードバック信号を取得するために、以前に生成された要約の単語を処理するニューラルネットワークである、請求項１５に記載のコンピューティング装置。
【請求項２０】
前記第３のニューラルネットワークが、前記以前に生成された要約に対して実行された単方向単語対単語ＬＳＴＭである、請求項１９に記載のコンピューティング装置。
【請求項２１】
インターリーブされたテキストの複数の投稿を記憶する記憶手段と、
単語対単語符号化により各投稿を埋め込む手段と、
各投稿の単語対単語符号化に基づく投稿対投稿符号化により複数の投稿のコンテンツ全体を埋め込む手段と、
複数の投稿のコンテンツ全体の埋め込みに基づく単語対単語復号により少なくとも１つのスレッドの要約を生成する手段と、
少なくとも１つのスレッドの要約をユーザに表示する手段と、
を有するコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
この出願は、２０１９年３月８日に出願された米国仮特許出願第６２／８１５，８９９号からの優先権の利益を主張し、その内容は、参照により組み込まれる。
【０００２】
本開示は、電子通信システムに関し、より具体的には、電子通信システムにおけるインターリーブされた会話のテキスト要約を自動的に生成するシステム及び方法に関する。
【背景技術】
【０００３】
インターリーブ（ｉｎｔｅｒｌｅａｖｅｄ）されたテキストは、活動報告の複数の著者の申し込みから始まり、後でテキストやソーシャルメディア会話の会議のために、新たな作業方法と新たなコミュニケーション形式によってより一般的になりつつある。これらのタイプの複数参加者の投稿（例えば、オンラインチャット会話又はソーシャルメディア投稿掲示板）では、いくつかの会話又はトピックスレッドが同時に発生していることがある。これらの複数のスレッドは、投稿を確認する読者が進行中の議論に追随するだけでなく、異なるスレッドの本質を特定することを困難にすることがある。関連技術のシステムは、２段階プロセスを使用して、異なるスレッドを自動的に要約することができる。
【０００４】
第一に、インターリーブされた投稿に対して解きほぐし（ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ）プロセスが使用されることができる。そして、解きほぐしプロセスの後に、各スレッドの要約プロセスが続くことができる。例えば、いくつかの関連技術のプロセスは、スレッドを単一文の要約に圧縮する文圧縮法を使用する。しかしながら、この２段階プロセスによる主な欠点は、教師あり又は教師なしの解きほぐしを使用する関連技術の方法によって得られた解きほぐしが、その後にダウンストリームの要約タスクに伝播されて関連技術のプロセスの全体的なパフォーマンスを低下させるエラーを導入するということである。本特許出願の実装例は、この問題に対処しようとすることができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】DERNONCOURT, F. et al. "Pubmed 200k RCT; a Dataset for Sequential Sentence Classification in Medical Abstracts" In Proceedings of the Eighth International Joint Conference on Natural Language Processing, 2017, pages 308-313. Asian Federation of Natural Language Processing, 6 pages.
【非特許文献２】HSU, W. et al. "A Unified Model for Extractive and Abstractive Summarization using inconsistency Loss" In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, July 15-20,2018, pages 132-141 (Volume 1; Long Papers), Melbourne, Australia, 10 pages.
【非特許文献３】JlANG, J. et al. "Learning to Disentangle Interleaved Conversational Threads with a Siamese Hierarchical Network and Similarity Ranking" In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, June 1-6, 2018, pages 1812-1822, Volume 1 (Long Papers), 11 pages.
【非特許文献４】JING, B. et al. "On the Automatic Generation of Medical Imaging Reports" In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, July 15-20,2018, pages 2577-2586, (Volume 1: Long Papers), 10 pages.
【非特許文献５】KRAUSE, J. et al. "A Hierarchical Approach for Generating Descriptive Image Paragraphs” In Computer Vision and Pattern Recognition (CVPR), 2017; 9 pages.
【非特許文献６】Ll, J- et al. "A Hierarchical Neural Autoencoder for Paragraphs and Documents" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, 2015, pages 1106-1115, (Volume 1; Long Papers), 10 pages.
【非特許文献７】NALLAPATI, R. et al. "SummaRuNNer A Recurrent Neural Network Based Sequence Model for Extractive Summarization of Documents” In AAAI Conference on Artificial Intelligence, 2017, 7 pages.
【非特許文献８】SHANG, G. et al. "Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization" In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018, pages 664-674, (Volume 1: Long Papers) 15 pages.
【非特許文献９】WANG, L. et al. "Context-based Message Expansion for Disentanglement of Interleaved Text Conversations" Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the ACL, June 2009, pages200- 208 (9 pages).
【非特許文献１０】XUE, Y. et al, "Multimodal Recurrent Model with Attention for Automated Radiology Report Generation" In MICCAI 2018: Medical Image Computing and Computer Assisted Intervention - 21st International Conference, Granada, Spain September 16-20,2018, pages 457-466,10 pages.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の技術は、プロセスの全体的なパフォーマンスを低下させるエラーの伝播を排除することを目的とする。
【課題を解決するための手段】
【０００７】
本特許出願の第１の態様は、インターリーブされたテキストの投稿の要約を生成する方法を含むことができる。本方法は、第１のニューラルネットワークにより、各投稿を単語対単語符号化により埋め込むことと、第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化により複数の投稿の全体的なコンテンツを埋め込むことと、少なくとも第３のニューラルネットワークにより、複数の投稿のコンテンツ埋め込み全体に基づいて、単語対単語復号により少なくとも１つのスレッドの要約を生成することと、少なくとも１つのスレッドの要約をユーザに表示することとを含むことができる。
【０００８】
本特許出願の第２の態様は、第１の態様において、少なくとも１つのスレッドの要約を生成することが、規則的にラベル付けされたデータを使用してエンドツーエンドで訓練された注意ニューラルネットワークによって、前記要約の文中の単語を生成するように投稿レベル注意を生成することを含む。
本特許出願の第３の態様は、第２の態様において、前記投稿レベル注意を生成することが、スレッド対スレッド復号において新たな文を復号するときにのみ実行される。
本特許出願の第４の態様は、第２の態様において、少なくとも１つのスレッドの要約を生成することが、さらに、前記要約の文中の単語を生成するように単語レベル注意をさらに生成することを含む。
本特許出願の第５の態様は、第１の態様において、前記複数の投稿の全体的なコンテンツ埋め込みに基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することが、前記第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づくスレッド対スレッド復号によって少なくとも１つのスレッドの表現を生成することと、第４のニューラルネットワークにより、前記少なくとも１つのスレッドの生成された表現に基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することとを含み、前記第３のニューラルネットワークが、前記スレッドの表現を生成する単方向のロングショートタームメモリニューラルネットワークである。
本特許出願の第６の態様は、第５の態様において、前記第３のニューラルネットワークが、現在の状態を単層フィードフォワードネットワークに渡し、その後に前記少なくとも１つのスレッド表現を計算するようにｔａｎｈアクティベーションが続く。
本特許出願の第７の態様は、第１の態様において、前記第３のニューラルネットワークが、要約の新たなトピックのフィードバック信号を取得するために、以前に生成された要約の単語を処理するニューラルネットワークである。
本特許出願の第８の態様は、第７の態様において、前記第３のニューラルネットワークが、前記以前に生成された要約に対して実行された単方向単語対単語ＬＳＴＭである。
【０００９】
本特許出願の第９の態様は、インターリーブされたテキストの投稿を自動的に要約する方法をコンピューティング装置に実行させるためのプログラムである。本方法は、第１のニューラルネットワークにより、各投稿を単語対単語符号化により埋め込むことと、第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化により複数の投稿の全体的なコンテンツを埋め込むことと、少なくとも第３のニューラルネットワークにより、複数の投稿のコンテンツ埋め込み全体に基づいて、単語対単語復号により少なくとも１つのスレッドの要約を生成することと、少なくとも１つのスレッドの要約をユーザに表示することとを含むことができる。
【００１０】
本特許出願の第１０の態様は、第９の態様において、少なくとも１つのスレッドの要約を生成することが、規則的にラベル付けされたデータを使用してエンドツーエンドで訓練された注意ニューラルネットワークによって、前記要約の文中の単語を生成するように投稿レベル注意を生成することを含む。
本特許出願の第１１の態様は、第９の態様において、前記複数の投稿の全体的なコンテンツ埋め込みに基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することが、前記第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づくスレッド対スレッド復号によって少なくとも１つのスレッドの表現を生成することと、第４のニューラルネットワークにより、前記少なくとも１つのスレッドの生成された表現に基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することとを含み、前記第３のニューラルネットワークが、前記スレッドの表現を生成する単方向のロングショートタームメモリニューラルネットワークである。
本特許出願の第１２の態様は、第１１の態様において、前記第３のニューラルネットワークが、現在の状態を単層フィードフォワードネットワークに渡し、その後に前記少なくとも１つのスレッド表現を計算するようにｔａｎｈアクティベーションが続く。
本特許出願の第１３の態様は、第９の態様において、前記第３のニューラルネットワークが、要約の新たなトピックのフィードバック信号を取得するために、以前に生成された要約の単語を処理するニューラルネットワークである。
本特許出願の第１４の態様は、第１３の態様において、第３のニューラルネットワークが、前記以前に生成された要約に対して実行された単方向単語対単語ＬＳＴＭである。
【００１１】
本特許出願の第１５の態様は、記憶装置及びプロセッサを有するコンピューティング装置を含むことができる。記憶装置は、会話プラットフォームからの複数の投稿を記憶することができる。プロセッサは、インターリーブされたテキストの投稿を自動的に要約する方法を実行することができる。本方法は、第１のニューラルネットワークにより、各投稿を単語対単語符号化により埋め込むことと、第２のニューラルネットワークにより、各投稿の単語対単語符号化に基づく投稿対投稿符号化により複数の投稿の全体的なコンテンツを埋め込むことと、少なくとも第３のニューラルネットワークにより、複数の投稿のコンテンツ埋め込み全体に基づいて、単語対単語復号により少なくとも１つのスレッドの要約を生成することと、少なくとも１つのスレッドの要約をユーザに表示することとを含むことができる。
【００１２】
本特許出願の第１６の態様は、第１５の態様において、少なくとも１つのスレッドの要約を生成することが、規則的にラベル付けされたデータを使用してエンドツーエンドで訓練された注意ニューラルネットワークによって、前記要約の文中の単語を生成するように投稿レベル注意を生成することを含み、前記投稿レベル注意を生成することが、スレッド対スレッド復号において新たな文を復号するときにのみ実行される。
本特許出願の第１７の態様は、第１５の態様において、前記複数の投稿の全体的なコンテンツ埋め込みに基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することが、前記第３のニューラルネットワークにより、前記複数の投稿の全体的なコンテンツ埋め込みに基づくスレッド対スレッド復号によって少なくとも１つのスレッドの表現を生成することと、第４のニューラルネットワークにより、前記少なくとも１つのスレッドの生成された表現に基づく単語対単語復号によって前記少なくとも１つのスレッドの要約を生成することとを含み、前記第３のニューラルネットワークが、前記スレッドの表現を生成する単方向のロングショートタームメモリニューラルネットワークである。
本特許出願の第１８の態様は、第１７の態様において、前記第３のニューラルネットワークが、現在の状態を単層フィードフォワードネットワークに渡し、その後に前記少なくとも１つのスレッド表現を計算するようにｔａｎｈアクティベーションが続く。
本特許出願の第１９の態様は、第１５の態様において、前記第３のニューラルネットワークが、要約の新たなトピックのフィードバック信号を取得するために、以前に生成された要約の単語を処理するニューラルネットワークである。
本特許出願の第２０の態様は、第１９の態様において、前記第３のニューラルネットワークが、前記以前に生成された要約に対して実行された単方向単語対単語ＬＳＴＭである。
【００１３】
本特許出願のさらなる態様は、インターリーブされたテキストの複数の投稿を記憶する記憶手段と、単語対単語符号化により各投稿を埋め込む手段と、各投稿の単語対単語符号化に基づく投稿対投稿符号化により複数の投稿のコンテンツ全体を埋め込む手段と、複数の投稿のコンテンツ全体の埋め込みに基づく単語対単語復号により少なくとも１つのスレッドの要約を生成する手段と、少なくとも１つのスレッドの要約をユーザに表示する手段とを有するコンピューティング装置を含むことができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、解きほぐしプロセスの前後のインターリーブされたスレッドの例を示している。
【図２】図２は、本特許出願の例示的な実装にかかるシステムによって分析された会話型入力、及びシステムによって生成されることができる文要約出力の処理のグラフィック表現を示している。
【図３】図３は、本特許出願の例示的な実装にかかる階層符号化器−復号器の構造の概念図を示している。
【図４】図４は、本特許出願の例示的な実装にかかる復号器の構造を示している。
【図５】図５は、本特許出願の例示的な実装にかかる注意の構造を示している。
【図６】図６は、本特許出願の例示的な実装にかかる、会話型プラットフォームにおけるインターリーブされた投稿から会話スレッドの要約を生成及び表示するプロセスのフローチャートを示している。
【図７】図７は、本特許出願の他の例示的な実装にかかる階層符号化器−復号器の構造の概念図を示している。
【図８】図８は、本特許出願のいくつかの例示的な実装における使用に適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示している。
【発明を実施するための形態】
【００１５】
以下の詳細な説明は、本特許出願の図面及び例示的な実装のさらなる詳細を提供する。図面間の重複する要素の参照符号及び説明は、明確化のために省略されている。詳細な説明全体にわたって使用される用語は、例として提供されており、限定を意図するものではない。例えば、「自動」という用語の使用は、本特許出願の実装を実施する当業者の所望の実装に応じて、実装の特定の態様に対するユーザ又はオペレータ制御を含む完全自動又は半自動の実装を含むことができる。さらに、「第１」、「第２」、「第３」などの連続した用語は、単にラベル付けの目的で明細書及び特許請求の範囲において使用されることがあり、説明された動作又は説明されたシーケンスで生じる項目への言及に限定されるべきではない。動作又は項目は、本特許出願の範囲から逸脱することなく、異なる順序で並べられてもよく、又は並行して若しくは動的に実行されてもよい。
【００１６】
本特許出願において、コンピュータ可読媒体という用語は、ローカル記憶装置、クラウドベースの記憶装置、リモートに配置されたサーバ、又は当業者にとって明らかであり得る任意の他の記憶装置を含むことができる。
【００１７】
上述したように、インターリーブされたテキストは、活動報告、会議テキスト、及びソーシャルメディア会話の複数の著者の申し込みを含む、新たな作業方法と新たなコミュニケーション形式によってより一般的になりつつある。異なるスレッドに属する投稿が単一のシーケンスで発生する、インターリーブされたテキスト内の異なるスレッドの意味を迅速に把握したり又はコンテンツを追跡したりすることは大抵の場合に困難であり得る。これに対処するために、関連技術のシステムは、最初にインターリーブされたメッセージを解きほぐした後、個別のスレッドを要約する。図１は、解きほぐしプロセスの前後のこれらのインターリーブされたスレッドの例を示している。図示されるように、インターリーブされたメッセージ１０５は、それぞれが３つの投稿からなる２つの別個のスレッドを形成する６つの混在した投稿（１１０−１３５）を含む。スレッド１は、投稿１１０、１２０及び１２５を含む。スレッド２は、投稿１１５、１３０、及び１３５を含む。この混在は、議論に追随するだけでなく、スレッドの本質を判定することもできないというユーザにおける困難につながる。
【００１８】
図１の解きほぐされた会話１４０では、インターリーブされた投稿１１０−１３５は、それらのスレッドに基づいてともにグループ化されている。具体的には、スレッド１の投稿１１０、１２０、及び１２５がともにグループ化され、スレッド２の投稿１１５、１３０、１３５がともにグループ化されている。
【００１９】
混在したスレッドが解きほぐされた後、関連技術のプロセスは、トピックスレッドの要約を提供することができるが、解きほぐしプロセスは、要約ステップに伝播されて全体的なパフォーマンスを低下させる可能性があるエラーを導入する。
【００２０】
これに対処するために、本特許出願のいくつかの例示的な実装は、可変長入力（例えば、インターリーブされたテキスト）を受け取り、それを処理して可変長出力（例えば、複数文の要約。例示のために以下に記載される図２を参照）を生成するエンドツーエンドの訓練可能な符号化器−復号器システムを提供することができる。いくつかの例示的な実装では、エンドツーエンドのシステムは、解きほぐしコンポーネント、したがってエラーの伝播を排除することができる。
【００２１】
さらに、いくつかの例示的な実装におけるいくつかの例では、インターリーブされた投稿は、階層的に符号化されることができる（例えば、単語対単語（投稿内の単語）の後に投稿対投稿（チャネル内の投稿）が続く）。さらに、いくつかの例示的な実装では、復号器はまた、要約を階層的に生成することもできる（例えば、スレッド対スレッド（スレッド表現を生成する）の後に単語対単語（例えば、要約単語を生成する）が続く）。さらに、いくつかの例示的な実装では、インターリーブされたテキストのための階層注意機構（以下の図５に関して以下により詳細に記載される）が使用されることができる。本明細書で説明するように、エンドツーエンドの訓練可能な階層的フレームワークのいくつかの例示的な実装は、合成インターリーブされたテキストデータセットに対してシーケンスからシーケンスへのフレームワークにわたってパフォーマンスを８％向上させることができる。
【００２２】
本明細書で説明されるように、本特許出願の例示的な実装は、画像符号化器の代わりにテキスト符号化器を含むことができる。さらに、いくつかの例示的な実装では、画像領域の入力セットからのトピックではなく、スレッドＬＳＴＭが使用されてスレッド表現を生成してもよい。さらに、いくつかの例示的な実装では、フィードバックＬＳＴＭは、一貫性のある段落を生成するのではなく、異なるスレッドの非冗長な要約を生成するように訓練されてもよい。さらに、いくつかの例示的な実装では、階層注意モデルが使用され、要約されるべき重要な概念を特定してもよい。さらに、いくつかの例示的な実装では、訓練は、マルチ段階プロセスの代わりにエンドツーエンドシステムを使用して行ってもよい。
【００２３】
さらに、いくつかの例示的な実装では、モデル符号化器は、入力テキストを埋め込み空間に符号化しようとしてもよく、モデル復号器は、要約又は解きほぐしの解消を含まないように、埋め込み表現が与えられた入力テキストを生成しようとしてもよい。さらに、いくつかの例示的な実装では、文レベルの注意は、新たな文を復号するときにのみ計算されてもよい。
【００２４】
さらに、いくつかの例示的な実装では、注意ネットワークは、エンドツーエンドの抽象的要約システムの一部として訓練されてもよい。さらに、いくつかの例示的な実装では、注意モデルは、異なる訓練データに対して注意パラメータ及び他のパラメータを訓練する代わりに、規則的にラベル付けされたデータに対してエンドツーエンドで訓練されてもよい。
【００２５】
図２は、本特許出願の例示的な実装にかかるシステムによって分析されることができる会話型入力２０５、及びシステムによって生成されることができる文要約出力の処理を示すグラフィック表現２００を示している。図示されるように、会話型入力２０５は、グループメッセージングプラットフォーム又はソーシャルメディアプラットフォームなどの会話型プラットフォームからの一連のインターリーブされた投稿２１５−２４５を含む。投稿２１５−２４５に表される３つの異なる会話スレッドを識別するために、参照符号２５０、２５５及び２６０が設けられている。要約システムは、会話投稿２１５−２４５を入力として受け取り、参照符号２５０−２６０によって表される３つの異なる会話スレッドを表す３つの１文要約２６５、２７０、２７５を出力する。図２は、要約２６５−２７５が投稿２１５−２４５を解きほぐすことなく生成されることを示している。
【００２６】
図３は、本特許出願の例示的な実装にかかる階層符号化器−復号器の構造３００の概念図を示している。この構造は、以下で説明される図８に示されるコンピューティング装置８０５などの１又は複数のコンピューティング装置を含む１又は複数のニューラルネットワークを使用して実装されることができる。図示されるように、この構造の符号化器側３０２は、投稿内のシーケンス語Ｐｊ（図２からの２１５−２４５）を表現のシーケンスＨｊ＝＜ｈｊ０，・・・，ｈｊ｜Ｐｊ｜＞に変換する第１の低レベルの単語対単語符号化器３０５を含む。続いて、上レベルの投稿対投稿符号化器３１０は、それらの表現＜Ｈ０，・・・，Ｈ｜Ｃ｜＞を、上レベルの投稿表現のシーケンス＜ｍ１，・・・，ｍ｜Ｃ｜＞に変換する。次に、これらの符号化された表現は、上レベルのスレッド対スレッド復号器を利用してそれらをスレッド表現のシーケンス＜ｓ１，・・・，ｓ｜Ｔ｜＞に解きほぐす復号器３０４に渡される。いくつかの例示的な実装では、スレッド対スレッド復号器は、フィードフォワードマッピングされた会話ベクトルＣ’によって設定されたその初期状態ｈ０Ｄｔ２ｔによる単方向ＬＳＴＭ（ｆＤｔ２ｔ）とすることができる。最後に、低レベルの単語対単語復号器は、各スレッド表現ｓｉを取り、要約単語のシーケンス（図２からの２６５−２７５）を生成する。
【００２７】
インターリーブされたテキスト内の投稿の最大数はｎによって示され、スレッドはｍによって示される。いくつかの例示的な実装では、投稿内の語数は、切り捨て又はパディングのいずれかによって制限されて要約が固定長に制限されてもよく、それぞれｐ及びｑによってそれらを示す。さらに、符号化器及び復号器の隠された状態は、次元的に１を有することができる。
【００２８】
いくつかの例示的な実装では、単語対単語符号化器３０５及び投稿対投稿符号化器３１０は、ロングショートタームメモリ（ＬＳＴＭ）ニューラルネットワークとすることができる。さらに、いくつかの例示的な実装は、復号器３０４についてその領域を追跡し続けて新たなトピックを生成する上レベルのリカレントニューラルネットワーク復号器を使用するスレッドＬＳＴＭネットワークを使用してもよい。他の例示的な実装は、復号器３０４について、低レベル復号器からフィードバックを取得して新たなトピックを生成する上レベル復号器を使用するフィードバックＬＳＴＭを使用してもよい。
【００２９】
以下で説明されるように、いくつかの例示的な実装は、新たな文を復号するときにのみ注意が計算される階層注意を使用することができる。さらに、いくつかの例示的な実装では、注意ネットワークは、エンドツーエンドで訓練されてもよい。
【００３０】
図４は、本特許出願の例示的な実装にかかる復号器の構造４００を示している。復号器の構造４００は、図３に示された構造３００における復号器３０４として使用されることができる。構造４００は、以下で説明される図８に示されるコンピューティング装置８０５などの１又は複数のコンピューティング装置を含む１又は複数のニューラルネットワークを使用して実装されることができる。図示された復号器の構造４００は、スレッドＬＳＴＭである。いくつかの例示的な実装では、スレッド対スレッド復号器は、フィードフォワードマッピングされた会話ベクトルＣ’によって設定されたその初期状態ｈ０Ｄｔ２ｔによる単方向ＬＳＴＭ（ｆＤｔ２ｔ）とすることができる。単層フィードフォワードへの入力は、投稿対投稿符号化器の最後の状態である。復号器の任意のステップｉにおいて、投稿表現＜ｍ０，・・・，ｍｎ＞に対応する注意重みのシーケンス＜βｉ０，・・・，βｉｎ＞は、前の状態ｈｉ−１Ｄｔ２ｔを利用して計算される：
ｅｉｊ＝ｔｏｐ  ａｔｔｎ（ｈＤｔ２ｔ，ｍｊ）  （式１）
βｉｊ＝σ（ｅｉｊ）  （式２）
【００３１】
ｔｏｐ＿ａｔｔｎは、前の状態ｈｉ−１Ｄｔ２ｔを投稿表現ｍｊに揃える単層フィードフォワードであり、結果値にわたるシグモイドは、上記の式２を使用して注意重みβｉｊを計算する。これは、構造４００の４０５において行われる。
【００３２】
構造の４１０では、以下の式３を使用して投稿の重み表現が計算され、前の状態及びこの入力を使用して次の状態ｈｉＤｔ２ｔを計算するＬＳＴＭへの次の入力として使用される。
【数１】
2020144863.tif 000003
（式３）
【００３３】
現在の状態ｈｉＤｔ２ｔｉは、単層フィードフォワードネットワークを通過し、以下の式４を使用して４１５において停止＝１及び継続＝０にわたる分布が計算される。
【数２】
2020144863.tif 000004
（式４）
【００３４】
ここで、ｇは、フィードフォワードネットワークである。スレッド対スレッド復号器は、ｐｉＳＴＯＰが０．５を超えるまで復号し続ける。
【００３５】
４２０において、現在の状態ｈｉＤｔ２ｔは、他の単層フィードフォワードネットワークｋを通過し、その後、ｔａｎｈアクティベーションが続き、以下の式５を使用してスレッド表現ｓｉを計算する。
【数３】
2020144863.tif 000005
（式５）
【００３６】
そして、生成されたスレッド表現ｓｉは、単方向注意ＬＳＴＭなどの単語対単語復号に供給され、スレッドの要約を生成することができる。
【００３７】
他の例示的な実装では、スレッド対スレッド復号器は、代わりに、より新たなトピックについてのフィードバック信号を取得するために以前に生成された文の単語を実行する別個のＬＳＴＭである上レベル復号器によるフィードバックＬＳＴＭであってもよい。フィードバック信号は、インターリーブされたテキスト内の異なるスレッドの非冗長な要約を生成するために使用されることができる。いくつかの例示的な実装では、フィードバック信号は、以前の文を生成した低レベル復号器の最後の隠された状態を利用してもよい。これは、追加のＬＳＴＭを実行するオーバーヘッドを除去することができるため、訓練を高速化する。したがって、いくつかの例示的な実装は、以前に生成された要約、すなわちｈＤｗ２ｗｉ−１で実行された単方向単語対単語ＬＳＴＭの最後の隠された状態を使用して、スレッド表現を計算することができる。さらに、いくつかの例示的な実装では、図３におけるスレッド対スレッド復号器は除去されてもよく、代わりに、最後の隠された状態でフィードフォワードネットワークを使用してスレッド表現が計算されてもよい。基本的に、この復号器では、フィードバック表現を使用してスレッドの知識が提供される。
【００３８】
図５は、本特許出願の例示的な実装にかかる注意の構造５００を示している。注意の構造５００は、図３に示される構造３００のように使用されることができる。構造５００は、以下で説明される図８に示されるコンピューティング装置８０５などの１又は複数のコンピューティング装置を含む１又は複数のニューラルネットワークを使用して実装されることができる。
【００３９】
図示された注意の構造５００は、動的な階層注意であり、階層復号に適用可能であり、符号化方法論とは無関係である。注意の構造は、図５に示すように、スレッド表現ｓの取得中に計算される高レベル注意を再利用し、要約Ｓの単語ｙの生成中に計算される低レベル注意αをスケーリングする。
【００４０】
いくつかの例示的な実装では、注意の構造５００は、階層符号化器に結合されてもよく、５０５において、各単語ｙｊを復号しながら注意重みαｊが計算される。さらに、５１０において、投稿レベル注意βが使用され、新たな単語レベル注意重み
【数４】
2020144863.tif 000006
を計算する。新たな単語レベル注意
【数５】
2020144863.tif 000007
は、以下の式６を使用して５１５において計算されることができる：
【数６】
2020144863.tif 000008
（式６）
【００４１】
式６では、ｅｊｔｋは、以下の式７を使用して計算され、Ｃは、ｎ×ｐ×２ｌ（５２０）の単語対単語符号化器表現行列であり、ａｔｔｎは、現在の単語復号器状態ｈｊ−１Ｄｗ２ｗをＣにおける全てのｎ・ｐ表現ベクトルと揃えるフィードフォワードネットワークである。
【数７】
2020144863.tif 000009
（式７）
【００４２】
他の例示的な実装では、注意の構造５００は、シーケンシャル符号化器に結合されてもよい。これらの実施形態では、例えば単語対単語符号化器などの符号化器が１つだけあり、結果として生じる単語表現行列Ｃは、ｎ×ｐ×２ｌ（５２０）の次元を有する。式１では、復号器状態は、スレッド表現ではなく単語表現ｗに揃えられているため、結果として生じるより高レベルの注意βは、サイズがｎ・ｐである。階層注意は、式８を使用して低レベル注意を再スケーリングするために、これらの高レベル単語注意βを使用することができる：
【数８】
2020144863.tif 000010
（式８）
【００４３】
図６は、本特許出願の例示的な実装にかかる、会話型プラットフォームにおけるインターリーブされた投稿から会話スレッドの要約を生成及び表示するプロセス６００のフローチャートを示している。図示されるように、プロセス６００は、６０５において最初に会話型プラットフォームから投稿を受信又は抽出することを含む。会話型プラットフォームは、特に限定されるものではなく、ソーシャルメディアプラットフォーム、チャットプラットフォーム、企業グループ会話プラットフォーム、又は当業者にとって明らかであり得る任意の他の会話型プラットフォームを含むことができる。さらに、本特許出願の例示的な実装は、投稿を要約することに限定されるものではなく、当業者にとって明らかであり得る様々なトピックに関するテキストの他の非構造化部分に適用されることができる。
【００４４】
６１０において、受信又は抽出された各投稿は、訓練されたニューラルネットワークによる単語対単語符号化を介して埋め込まれる。例えば、低レベルの単語対単語符号化器は、投稿内の単語のシーケンスを表現のシーケンスに変換することができる。
【００４５】
さらに、６１５において、インターリーブされたテキストのオーバーコールコンテンツ及び談話構造は、訓練されたニューラルネットワークによる６１０の単語対単語符号化に基づく投稿対投稿符号化により埋め込まれることができる。例えば、６１０からの投稿の符号化表現は、上レベルの投稿対投稿符号化器に渡され、上レベルの投稿表現のシーケンスに変換されることができる。
【００４６】
６２０において、埋め込まれた全体的なコンテンツと談話が使用され、スレッド対スレッド復号を介して各会話スレッドの表現を生成することができる。例えば、符号化された上レベルの投稿表現は、上レベルのスレッド対スレッド復号器を利用してそれらをスレッド表現のシーケンスに解きほぐす復号器に渡されることができる。いくつかの例示的な実装では、この復号は、図４に関して上述したようにスレッドＬＳＴＭによって行われてもよい。他の例示的な実装では、この復号は、同様に上述したようにフィードバックＬＳＴＭによって行われてもよい。
【００４７】
６２５において、各会話スレッドの要約は、６２０からの各スレッドの生成された表現に基づいて単語対単語復号を介して生成される。例えば、低レベルの単語対単語復号器は、各スレッド表現を取り、要約単語のシーケンスを生成することができる。
【００４８】
６３０において、各会話スレッドの生成された要約は、進行中の会話の一般的な主題を判定することに関心のあるユーザによるレビューのために記憶されたデータベースに出力されてもよいか、又は生成された要約は、会話型プラットフォームにおける分析された投稿に隣接して表示されてプロセス６００が終了してもよい。
【００４９】
図７は、本特許出願の他の例示的な実装にかかる階層符号化器−復号器の構造７００の概念図を示している。構造は、以下で説明される図８に示されるコンピューティング装置８０５などの１又は複数のコンピューティング装置を含む１又は複数のニューラルネットワークを使用して実装されることができる。図示されるように、構造の符号化器側７０２は、投稿内のシーケンス語Ｐｊ（図２からの２１５−２４５）を表現のシーケンスＨｊ＝＜ｈｊ０，・・・，ｈｊ｜Ｐｊ｜＞に変換する第１の低レベルの単語対単語符号化器３０５を含む。続いて、上レベルの投稿対投稿符号化器７１０は、それらの表現＜Ｈ０，・・・，Ｈ｜Ｃ｜＞を、上レベルの投稿表現のシーケンス＜ｍ１，・・・，ｍ｜Ｃ｜＞に変換する。そして、これらの符号化表現は、単語対単語復号器７２０の複数のコピーを利用する復号器７０４に渡され、各コピーには、要約単語のシーケンスを生成するために以前の単語対単語復号器のフィードバック信号が供給される（図２からの２６５−２７５）。
【００５０】
インターリーブされたテキスト内の投稿の最大数はｎによって示され、スレッドはｍによって示される。いくつかの例示的な実装では、投稿内の語数は、切り捨て又はパディングのいずれかによって制限されて要約が固定長に制限されてもよく、それぞれｐ及びｑによってそれらを示す。さらに、符号化器及び復号器の隠された状態は、次元的に１を有することができる。
【００５１】
いくつかの例示的な実装では、単語対単語符号化器７０５及び投稿対投稿符号化器７１０は、ロングショートタームメモリ（ＬＳＴＭ）ニューラルネットワークとすることができる。さらに、いくつかの例示的な実装は、復号器７０４について、新たなトピックを生成するために以前のコピーの低レベル復号器からのフィードバックを取るフィードバックＬＳＴＭを使用してもよい。
【００５２】
以下で説明されるように、いくつかの例示的な実装は、新たな文を復号するときにのみ注意が計算される階層注意を使用することができる。さらに、いくつかの例示的な実装では、注意ネットワークは、エンドツーエンドで訓練されてもよい。
【００５３】
評価結果
【００５４】
特許出願人は、合成データセットを使用して比較評価を実施した。特許出願人は、最初に、関連技術である教師なしの抽象的会議要約モデル（ＲＡモデル）をバニラシーケンス対シーケンスモデルと比較した。特許出願人はまた、バニラシーケンス対シーケンスモデルを階層対階層モデルと比較するとともに、符号化器のみ又は復号器のみのいずれかが階層モデルであるバリエーションについても比較した。さらに、特許出願人はまた、スレッドをモデル化するためにＬＳＴＭが使用される階層注意モデルに対する、復号中のスレッド表現のフィードバックも評価した。
【００５５】
評価に使用されるデータセット
【００５６】
ソーシャルメディア（例えば、Ｒｅｄｄｉｔ、Ｔｗｉｔｔｅｒ（登録商標）、又は当業者にとって明らかであり得る他のソーシャルメディアプラットフォームでは、毎日多数の会話が行われている。しかしながら、それらの会話の要約は利用することができない。したがって、ニューラル符号化器−復号器要約モデルのラベル付けされた訓練データを取得することが困難な可能性がある。
【００５７】
これに対処するために、特許出願人は、ランダム化比較試験（ＲＣＴ）のＰＵＢＭＥＤコーパスからの要約を使用して合成データセットを作成した。これらの要約の中で、文は、背景、目的、方法、結果、及び結論に構造化され、記事のタイトルは、これらのサブセクションにおける情報を要約している。訓練データを作成するために、いくつかの要約からの順序付けられた文がランダムにインターリーブされて合成テキストを形成し、対応するインターリーブされたタイトルが使用されて合成複数文要約を形成した。合成コーパスを作成するためのパラメータが以下の表１に示され、実験用に作成された３つの異なるコーパス（容易、中間、及び困難）を示している。
【表１】
2020144863.tif 000011
【００５８】
ベースライン比較
【００５９】
ＲＡモデルと２つのシーケンス対シーケンスモデルのパフォーマンスが表２における容易コーパスについて示されている。ＲＡモデルは、教師なしの２段階プロセスであり、要約コンポーネントは、教師なしの文圧縮技術である。クラスタ→シーケンス対シーケンスモデルは、ＲＡモデルからのクラスタリングコンポーネントを利用して、まずコーパスのインターリーブされたテキストをクラスタリングし、次に、解きほぐされたコーパスが使用されてバニラシーケンス対シーケンスモデルを訓練する。表２に示すように、十分に大きなデータセットに対して訓練されたシーケンス対シーケンスモデルが要約では文圧縮法よりも優れていることから、シーケンス対シーケンスモデルは、明らかに、ＲＡモデルにおける教師なし方法よりも優れたパフォーマンスを発揮する。さらに、シーケンス対シーケンスモデルと比較してクラスタ→シーケンス対シーケンスモデルのパフォーマンスが低いことは、解きほぐしコンポーネントが不要であることを示すだけでなく、解きほぐしから要約へのエラー伝播が負の影響を与えることも示している。
【表２】
2020144863.tif 000012
【００６０】
シーケンス対シーケンス及び階層対階層の比較
【００６１】
特許出願人はまた、中間コーパス及び困難コーパスに対して実験することにより、インターリーブされたテキストを要約する際に、階層符号化器−復号器アプローチをシーケンス対シーケンスアプローチと比較した。表３は、実験結果を示している。図示されるように、中間コーパスから困難コーパスへのインターリーブの複雑さが増すと、モデルのパフォーマンスを多少低下させるが、ルージュ−１についてはより低い。表３はまた、シーケンス対シーケンスから始まる符号化器−復号器コンポーネントの変化によるパフォーマンスの変化も示している。シーケンス的から階層的への符号化器の変化は、僅かな改善のみをもたらしたが、多くの場合、シーケンシャルモデルは収束するのに１週間かかるため、この変化による訓練速度の向上（ＧＰＵ（ＴＥＳＬＡ  Ｖ１００）において約２倍）は非常に重要である。復号器を階層に変更すると、顕著な改善が見られる。しかしながら、階層復号の種類、すなわちスレッドＬＳＴＭ又はフィードバックＬＳＴＭによるパフォーマンスの変化は僅かである。
【表３】
2020144863.tif 000013
【００６２】
階層注意の影響
【００６３】
階層復号器に対する階層注意βの影響を説明するために、特許出願人は、上レベルの注意のアブレーション研究を行い、実験用に困難コーパスを使用した。階層復号器における上レベルの注意の貢献は、二通りである：スレッド表現の計算及び単語レベルの注意の再スケーリング。表４は、パフォーマンスの比較を示している。階層注意を有するモデルは、有しないモデルと比較してパフォーマンスを向上させるが、階層符号化器は情報の階層配置をより適切に統合するため、階層符号化器の場合の相対的な強化は、シーケンシャル符号化器の場合よりも高くなる。
【表４】
2020144863.tif 000014
【００６４】
例示的なコンピューティング環境
【００６５】
図８は、いくつかの例示的な実装における使用に適した例示的なコンピュータ装置８０５を有する例示的なコンピューティング環境８００を示している。コンピューティング環境８００におけるコンピューティング装置８０５は、１又は複数の処理ユニット、コア、又はプロセッサ８１０、メモリ８１５（例えば、ＲＡＭ、及び／又はＲＯＭなど）、内部記憶装置８２０（例えば、磁気、光学、固体記憶装置、及び／又は有機）、及び／又はＩ／Ｏインターフェース８２５を含むことができ、これらのうちの任意のものは、情報を通信するために通信機構又はバス８３０に結合されるか又はコンピューティング装置８０５に内蔵されることができる。
【００６６】
コンピューティング装置８０５は、入力／インターフェース８３５及び出力装置／インターフェース８４０に通信可能に結合されることができる。入力／インターフェース８３５及び出力装置／インターフェース８４０のいずれか一方又は双方は、有線又は無線インターフェースとすることができ、着脱可能とすることができる。入力／インターフェース８３５は、入力（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、及び／又は光学式読み取り装置など）を提供するために使用可能な物理的又は仮想的な任意の装置、コンポーネント、センサ、又はインターフェースを含むことができる。
【００６７】
出力装置／インターフェース８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含むことができる。いくつかの例示的な実装において、入力／インターフェース８３５（例えば、ユーザインターフェース）及び出力装置／インターフェース８４０は、コンピューティング装置８０５に内蔵されることができるか、又は物理的に結合されることができる。他の例示的な実装において、他のコンピューティング装置は、コンピューティング装置８０５についての入力／インターフェース８３５及び出力装置／インターフェース８４０として機能してもよく、又はその機能を提供してもよい。これらの要素は、これらに限定されるものではないが、ユーザがＡＲ環境と対話することができるように、周知のＡＲハードウェア入力を含むことができる。
【００６８】
コンピューティング装置８０５の例は、限定されるものではないが、高度なモバイル装置（例えば、スマートフォン、車両及び他の機械における装置、人間及び動物によって携行される装置など）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯テレビ、ラジオなど）、並びに移動性のために設計されていない装置（例えば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、情報キオスク、１又は複数のプロセッサが内蔵された及び／又はそれに結合されたテレビ、ラジオなど）を含むことができる。
【００６９】
コンピューティング装置８０５は、同じ又は異なる構成の１又は複数のコンピューティング装置を含む任意数のネットワークコンポーネント、装置、及びシステムと通信するために、外部記憶装置８４５及びネットワーク８５０に（例えば、Ｉ／Ｏインターフェース８２５を介して）通信可能に結合されることができる。コンピューティング装置８０５又は任意の接続されたコンピューティング装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は他のラベルのサービスを提供するように機能することができるか又はそのように称することができる。
【００７０】
Ｉ／Ｏインターフェース８２５は、限定されるものではないが、コンピューティング環境８００における少なくとも全ての接続されたコンポーネント、装置、及びネットワークとの間で情報を通信するために、任意の通信又はＩ／Ｏプロトコル又は標準規格（例えば、イーサネット（登録商標）、８０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する有線及び／又は無線インターフェースを含むことができる。ネットワーク８５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）とすることができる。
【００７１】
コンピューティング装置８０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能又はコンピュータ可読媒体を使用して使用及び／又は通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ−ＲＯＭ、ディジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、及び他の不揮発性記憶装置又はメモリを含む。
【００７２】
コンピューティング装置８０５は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用されることができる。コンピュータ実行可能命令は、一時的媒体から取得されることができ、非一時的媒体に記憶されて非一時的媒体から取得されることができる。実行可能命令は、プログラミング、スクリプティング、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ビジュアルベーシック、パイソン、パール、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から発生することができる。
【００７３】
プロセッサ８１０は、ネイティブ又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示しない）の下で実行することができる。論理ユニット８５５、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット８６０、入力ユニット８６５、出力ユニット８７０、投稿語符号化器ユニット８７５、全コンテンツ投稿符号化器８８０、スレッド復号器８８５、要約生成器８９０並びに異なるユニットが互いに、ＯＳ及び他のアプリケーション（図示しない）と通信するためのユニット間通信機構８９５を含む１又は複数のアプリケーションが配備されることができる。
【００７４】
例えば、投稿語符号化器ユニット８７５、全コンテンツ投稿符号化器８８０、スレッド復号器８８５、及び要約生成器８９０は、図６に示される１又は複数のプロセスを実装し、図３〜図５の構造を実装することができる。記載されたユニット及び要素は、設計、機能、構成、又は実装において変更可能であり、上述した記載に限定されるものではない。
【００７５】
いくつかの例示的な実装では、情報又は実行命令がＡＰＩユニット８６０によって受信されると、それは、１又は複数の他のユニット（例えば、投稿語符号化器ユニット８７５、全コンテンツ投稿符号化器８８０、スレッド復号器８８５、及び要約生成器８９０）に通信されることができる。例えば、投稿語符号化器ユニット８７５は、単語対単語符号化を実行して、インターリーブされた会話型プラットフォームから抽出された各投稿を埋め込むことができる。さらに、全コンテンツ投稿符号化器８８０は、埋め込まれた投稿を受信し、投稿対投稿符号化を実行して全体的なコンテンツを埋め込み、インターリーブされた会話プラットフォームの談話構造を表すことができる。さらに、スレッド復号器８８５は、埋め込まれた全体的なコンテンツから復号された１又は複数のスレッドの表現を生成することができる。さらに、要約生成器８９０は、生成されたスレッド表現に基づいて各スレッドの文要約を生成するために単語対単語復号を実行することができる。
【００７６】
場合によっては、論理ユニット８５５は、ユニット間の情報フローを制御し、上述したいくつかの例示的な実装におけるＡＰＩユニット８６０、入力ユニット８６５、投稿語符号化器ユニット８７５、全コンテンツ投稿符号化器８８０、スレッド復号器８８５、及び要約生成器８９０に指示するように構成されてもよい。例えば、１又は複数のプロセス又は実装のフローは、論理ユニット８５５によって単独に又はＡＰＩユニット８６０と連携して制御されることができる。
【００７７】
いくつかの例示的な実装が示されて記載されたが、これらの例示的な実装は、本明細書に記載された主題を当業者に伝えるために提供される。本明細書に記載された主題は、記載された例示的な実装に限定されることなく、様々な形態で実装されてもよいことが理解されるべきである。本明細書に記載された主題は、具体的に定義若しくは記載された事項を有することなく、又は記載されていない他の若しくは異なる要素若しくは事項を有して実施されることができる。添付した特許請求の範囲及びその均等物において定義された本明細書に記載された主題から逸脱することなく、これらの例示的な実装において変更を行うことができることが当業者によって理解される。
【図１】
2020144863.tif 000015
【図２】
2020144863.tif 000016
【図３】
2020144863.tif 000017
【図４】
2020144863.tif 000018
【図５】
2020144863.tif 000019
【図６】
2020144863.tif 000020
【図７】
2020144863.tif 000021
【図８】
2020144863.tif 000022