(57)【要約】いくつかの実施形態では、文書のコーパスから類似文書を読み出すためのコンピュータ実装方法が提供される。本方法は、ワードのセットを備える検索文書を受信することと、第１エンコーダを適用し、第１ベクトルを発生させることと、第２エンコーダを適用し、第２ベクトルを発生させることと、検索文書の第１ベクトルと文書のコーパスの各文書の第１ベクトルとの間の第１類似性を決定することと、検索文書の第２ベクトルと文書のコーパスの各文書の第２ベクトルとの間の第２類似性を決定することと、第１類似性に基づいて文書の第１ランク付けリストを発生させることと、第２類似性に基づいて文書の第２ランク付けリストを発生させることと、投票アルゴリズムを適用し、各文書と関連付けられるスコアを決定することと、決定されたスコアに基づいて文書の第３ランク付けリストを出力することとを含み得る。
2021535490.tif 000002
【特許請求の範囲】
【請求項１】
文書データベースを発生させるためのコンピュータ実装方法であって、前記方法は、
複数の文書のうちの文書を受信することであって、前記文書は、ワードのセットを備える、ことと、
第１のエンコーダを前記ワードのセットに適用し、第１のベクトルを発生させることと、
第２のエンコーダを前記ワードのセットに適用し、第２のベクトルを発生させることと、
前記第１のベクトルおよび前記第２のベクトルを使用して、前記文書を検索可能なインデックスにインデックス化することと、
前記インデックスを使用して、前記文書に関する検索を可能にすることと
を含む、方法。
【請求項２】
前記インデックスは、前記第１のベクトルに関する第１のインデックスと、前記第２のベクトルに関する第２のインデックスとを備える、請求項１に記載の方法。
【請求項３】
モデルを前記ワードのセットに適用し、前記文書と関連付けられる１つ以上のタグを発生させることと、
前記１つ以上のタグに基づいて、前記文書を用いてノード・エッジグラフを更新することであって、前記ノード・エッジグラフは、前記複数の文書の間の関係を表す、ことと
をさらに含む、請求項１に記載の方法。
【請求項４】
前記文書を解釈し、トリガワードを識別することであって、前記トリガワードは、ワードのサブセットを示す、ことと、
前記文書が前記トリガワードを含有しないことを決定することと、
前記文書を例外データベース内に記憶することと
をさらに含む、請求項１に記載の方法。
【請求項５】
前記第１のエンコーダは、ニューラルネットワークエンコーダを備える、請求項１に記載の方法。
【請求項６】
前記第２のエンコーダを適用することは、前記ワードのセットを解析し、前記ワードのセットからストップワードの発生を除去し、ワードのサブセットを発生させることを含む、請求項１に記載の方法。
【請求項７】
前記ワードのサブセットのそれぞれが前記ワードのサブセットに表出する回数を決定することと、
前記ワードのサブセットのそれぞれの希少性を決定することと
をさらに含む、請求項６に記載の方法。
【請求項８】
前記希少性は、ワードが前記複数の文書に表出する回数と比較した、前記ワードが前記文書に表出する回数を備える、請求項７に記載の方法。
【請求項９】
前記１つ以上のタグは、タグのセットに属し、前記タグのセットは、前記複数の文書に適用されるモデルによって発生される、請求項３に記載の方法。
【請求項１０】
文書のコーパスから類似文書を読み出すためのコンピュータ実装方法であって、前記方法は、
検索文書を受信することであって、前記検索文書は、ワードのセットを備える、ことと、
第１のエンコーダを前記ワードのセットに適用し、第１のベクトルを発生させることと、
第２のエンコーダを前記ワードのセットに適用し、第２のベクトルを発生させることと、
前記検索文書の第１のベクトルと前記文書のコーパスの各文書の第１のベクトルとの間の第１の類似性を決定することと、
前記検索文書の第２のベクトルと前記文書のコーパスの各文書の第２のベクトルとの間の第２の類似性を決定することと、
前記第１の類似性に基づいて、前記コーパス内の文書の第１のランク付けされたリストを発生させることと、
前記第２の類似性に基づいて、前記コーパス内の文書の第２のランク付けされたリストを発生させることと、
投票アルゴリズムを適用し、その相対的なランク付けされたリスト内の各文書の位置に基づいて、各文書と関連付けられるスコアを決定することと、
前記決定されたスコアに基づいて、文書の第３のランク付けされたリストを出力することと
を含む、方法。
【請求項１１】
モデルを前記検索文書のワードのセットに適用し、前記検索文書と関連付けられる１つ以上のタグを発生させることをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記１つ以上のタグに基づいて、前記検索文書を用いて前記文書のコーパスと関連付けられるノード・エッジグラフを更新することと、
前記検索文書とエッジを共有する文書のランク付けされたリストを発生させることと
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記スコアは、部分的に前記ノード・エッジグラフに基づく、請求項１２に記載の方法。
【請求項１４】
前記第１のエンコーダは、ニューラルネットワークエンコーダを備える、請求項１０に記載の方法。
【請求項１５】
前記第２のエンコーダを適用することは、前記ワードのセットを解析し、前記ワードのセットからストップワードの発生を除去し、それによって、ワードのサブセットを発生させることを含む、請求項１０に記載の方法。
【請求項１６】
前記ワードのサブセットのそれぞれが前記ワードのサブセットに表出する回数を決定することと、
前記ワードのサブセットのそれぞれの希少性を決定することと
をさらに含む、請求項１５に記載の方法。
【請求項１７】
前記希少性は、ワードが前記文書のコーパスに表出する回数と比較した、前記ワードが前記検索文書に表出する回数を備える、請求項１６に記載の方法。
【請求項１８】
条件を備えるフィルタ処理ルールを受信することと、
前記条件に基づいて、前記第３のランク付けされたリストをフィルタ処理することと、
第４のランク付けされたリストを出力することと
をさらに含む、請求項１０に記載の方法。
【請求項１９】
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、非一過性のコンピュータ可読媒体を備え、前記非一過性のコンピュータ可読媒体は、その中に具現化されたコンピュータ可読プログラムを有し、前記コンピュータ可読プログラムは、コンピューティングデバイス上で実行されると、前記コンピューティングデバイスに、
検索文書を受信することであって、前記検索文書は、ワードのセットを備える、ことと、
第１のエンコーダを前記ワードのセットに適用し、第１のベクトルを発生させることと、
第２のエンコーダを前記ワードのセットに適用し、第２のベクトルを発生させることと、
前記検索文書の第１のベクトルと前記文書のコーパスの各文書の第１のベクトルとの間の第１の類似性を決定することと、
前記検索文書の第２のベクトルと前記文書のコーパスの各文書の第２のベクトルとの間の第２の類似性を決定することと、
前記第１の類似性に基づいて、前記コーパス内の文書の第１のランク付けされたリストを発生させることと、
前記第２の類似性に基づいて、前記コーパス内の文書の第２のランク付けされたリストを発生させることと、
投票アルゴリズムを適用し、その相対的なランク付けされたリスト内の各文書の位置に基づいて、各文書と関連付けられるスコアを決定することと、
前記決定されたスコアに基づいて、文書の第３のランク付けされたリストを出力することと
を行わせる、コンピュータプログラム製品。
【請求項２０】
前記プログラムはさらに、前記コンピューティングデバイスに、
深層学習エンコーダを備える意味ベクトルモジュールを使用して、前記第１のエンコーダを適用することと、
構文モジュールを使用して、前記第２のエンコーダを適用することであって、前記構文モジュールは、
前記ワードのセットのそれぞれが前記検索文書に表出する回数を決定することと、
前記ワードのセットのそれぞれが前記文書のコーパスに表出する回数を決定することと、
各ワードが前記文書に表出する回数と各ワードが前記文書のコーパスに表出する回数との比較を表す前記第２のベクトルを発生させることと
を行うように構成される、ことと
前記検索文書を備えるノードを用いてナレッジグラフを更新するように構成される、ナレッジグラフモジュールを適用することと
を行わせる、請求項１９に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、両方ともそれらの全体として参照することによって本明細書に組み込まれる、２０１８年８月２８日に出願された米国仮出願第６２／７２３，９５９号、および２０１９年８月２７に出願された米国特許出願第１６／５５３，１４８号からの優先権を主張する。
【背景技術】
【０００２】
従来技術検索を実施することは、多くの場合、煩雑で非効率的である。従来技術検索を実施する方法は、長い処理時間に悩まされ、それによって、特許審査プロセスにおいて残務および遅延を引き起こす。加えて、現在のコンピュータ化された検索ツールは、１つ以上のステップで情報を入力するように人間に要求する。現在の検索方法における非効率性はまた、テキスト文書を定量化することの困難から生じ、準最適な結果を生じさせる。
【０００３】
したがって、類似文書を効率的かつ正確に識別するためのシステムおよび方法の必要性が存在している。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明のいくつかの実施形態に関して、コンピュータ実装方法が、文書データベースを発生させるために提供される。
【０００５】
一実施形態では、文書データベースを発生させるためのコンピュータ実装方法が、提供される。本方法は、複数の文書のうちの文書であって、ワードのセットを備える文書を受信するステップと、第１のエンコーダをワードのセットに適用し、第１のベクトルを発生させるステップと、第２のエンコーダをワードのセットに適用し、第２のベクトルを発生させるステップと、第１のベクトルおよび第２のベクトルを使用して、文書を検索可能なインデックスにインデックス化するステップと、インデックスを使用して、文書に関する検索を可能にするステップとを含んでもよい。
【０００６】
別の実施形態では、文書のコーパスから類似文書を読み出すための方法が、提供される。本方法は、検索文書であって、ワードのセットを備える検索文書を受信するステップと、第１のエンコーダをワードのセットに適用し、第１のベクトルを発生させるステップと、第２のエンコーダをワードのセットに適用し、第２のベクトルを発生させるステップと、検索文書の第１のベクトルと文書のコーパスの各文書の第１のベクトルとの間の第１の類似性を決定するステップと、検索文書の第２のベクトルと文書のコーパスの各文書の第２のベクトルとの間の第２の類似性を決定するステップと、第１の類似性に基づいて、コーパス内の文書の第１のランク付けされたリストを発生させるステップと、第２の類似性に基づいて、コーパス内の文書の第２のランク付けされたリストを発生させるステップと、投票アルゴリズムを適用し、その相対的なランク付けされたリスト内の各文書の位置に基づいて、各文書と関連付けられるスコアを決定するステップと、決定されたスコアに基づいて、文書の第３のランク付けされたリストを出力するステップとを含んでもよい。
【０００７】
別の実施形態では、コンピュータプログラム製品は、その中に具現化されたコンピュータ可読プログラムを有する、非一過性のコンピュータ可読媒体を含んでもよい。コンピュータ可読プログラムは、コンピューティングデバイス上で実行されると、コンピューティングデバイスに、検索文書であって、ワードのセットを備える検索文書を受信させ、第１のエンコーダをワードのセットに適用させて、第１のベクトルを発生させ、第２のエンコーダをワードのセットに適用させて、第２のベクトルを発生させ、検索文書の第１のベクトルと文書のコーパスの各文書の第１のベクトルとの間の第１の類似性を決定させ、検索文書の第２のベクトルと文書のコーパスの各文書の第２のベクトルとの間の第２の類似性を決定させ、第１の類似性に基づいて、コーパス内の文書の第１のランク付けされたリストを発生させ、第２の類似性に基づいて、コーパス内の文書の第２のランク付けされたリストを発生させ、投票アルゴリズムを適用させて、その相対的なランク付けされたリスト内の各文書の位置に基づいて、各文書と関連付けられるスコアを決定させ、決定されたスコアに基づいて、文書の第３のランク付けされたリストを出力させてもよい。
【０００８】
前述の一般的な説明および以下の詳細の説明は両方とも、例示的かつ説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
【図面の簡単な説明】
【０００９】
本明細書に組み込まれ、その一部を構成する、付随する図面は、開示される実施形態を図示し、説明とともに、開示される実施形態を解説する役割を果たす。
【００１０】
【図１】図１は、開示される実施形態による、従来技術データベースを維持するための例示的システムのブロック図である。
【００１１】
【図２Ａ】図２Ａは、開示される実施形態による、従来技術データベースを検索するための例示的システムのプロセス図である。
【００１２】
【図２Ｂ】図２Ｂは、開示される実施形態による、例示的意味エンコーダのプロセス図である。
【００１３】
【図３Ａ】図３Ａは、開示される実施形態による、例示的ノード・エッジグラフである。
【００１４】
【図３Ｂ】図３Ｂは、開示される実施形態による、例示的ノード・エッジグラフである。
【００１５】
【図４Ａ】図４Ａは、開示される実施形態による、従来技術データベースを検索するための例示的グラフィカルユーザインターフェースである。
【００１６】
【図４Ｂ】図４Ｂは、開示される実施形態による、従来技術検索結果を表示する別の例示的グラフィカルユーザインターフェースである。
【００１７】
【図５】図５は、開示される実施形態による、従来技術データベースを検索することの実施例の説明図である。
【００１８】
【図６】図６は、開示される実施形態による、従来技術データベースを発生させる例示的方法のフロー図である。
【００１９】
【図７】図７は、開示される実施形態による、従来技術データベースを検索する例示的方法のフロー図である。
【発明を実施するための形態】
【００２０】
以下の詳細な説明では、多数の具体的詳細が、開示される例示的実施形態の徹底的な理解を提供するために記載される。しかしながら、例示的実施形態の原理が、全ての具体的詳細がなくても実践され得ることが、当業者によって理解されるであろう。周知の方法、プロシージャ、およびコンポーネントは、例示的実施形態の原理を曖昧にしないように、詳細には説明されていない。明示的に記述されない限り、本明細書に説明される例示的方法およびプロセスは、特定の順番または順序に制約されない、または特定のシステム構成に制約されない。加えて、説明される実施形態またはその要素のうちのいくつかは、同時に、同一の時点で、または並行して起こる、または実施されることができる。
【００２１】
開示される実施形態は、コンピュータ実装型の従来技術検索を実施するためのシステムおよび方法を提供する。開示されるシステムおよび方法は、従来技術および新しい特許出願等の１つ以上の文書とのその類似性を評価するために使用されてもよい。開示されるシステムおよび方法は、非効率的であり、１つ以上のステップで人間の介入を要求する、以前のシステムと比べて、増加した正確度を提供し得る。
【００２２】
一実施形態では、本開示と一致するシステムおよび方法は、入力として特許出願または他の文書を受信し、関連従来技術結果および／または他の関連文書を出力してもよい。そのようなシステムおよび方法は、例えば、新たに提出された特許出願に関連する従来技術を見出すために使用されてもよい。他の実施形態では、説明されるシステムおよび方法は、特許出願を提出することに先立って、関連技術の検索を実施するために使用されてもよい、またはフリーダム・トゥ・オペレート分析を支援するために使用されてもよい。
【００２３】
本明細書に説明されるシステムおよび方法は、例えば、限定ではないが、科学者、知的財産の専門家、法律の専門家、ビジネス専門家、特許庁の審査官、規制機関、および研究者を含む、商業、政府、または学究実体によって使用されてもよい。ある実施形態では、本システムは、ユーザが公開された特許出願（または他の文書）と新しい特許出願（または他の文書）との間で類似性検索を実施することを可能にし得る。いくつかの実施形態では、本システムは、入力された文書に最も類似すると決定される文書、または入力された文書とのそれらの類似性に基づいてランク付けされる類似文書のリストを出力してもよい。
【００２４】
図１は、開示される実施形態による、従来技術データベースを維持するための例示的システム１００を描写する。示されるように、システム１００は、従来技術システム１０２と、従来技術データベース１０４と、クライアントデバイス１０６とを含んでもよい。システム１００のコンポーネントが、ネットワーク１０８を介して相互に接続されてもよい。
【００２５】
当業者によって理解されるであろうように、システム１００のコンポーネントは、種々の方法で配列され、適用可能であるように、ハードウェア、ファームウェア、および／またはソフトウェアの任意の好適な組み合わせで実装されることができる。例えば、図１の描写と比較すると、システム１００は、より多数またはより少数の従来技術システム、従来技術データベース、クライアントデバイス、および／またはネットワークを含んでもよい。加えて、システム１００はさらに、開示される実施形態と一致して、１つ以上のプロセスを実施する、またはその性能を支援する、描写されていない他のコンポーネントまたはデバイスを含んでもよい。図１に示される例示的コンポーネントおよび配列は、開示される実施形態を限定することを意図していない。
【００２６】
従来技術システム１０２は、開示される実施形態と一致して、コンピューティングデバイス、コンピュータ、サーバ、サーバクラスタ、複数のサーバクラスタ、および／またはクラウドサービスを含んでもよい。従来技術システム１０２は、開示される実施形態と一致して動作を実施するように構成される、１つ以上のメモリユニットと、１つ以上のプロセッサとを含んでもよい。従来技術システム１０２は、開示される実施形態と一致して、データモデルおよび／またはデータセットを発生させる、受信する、読み出す、記憶する、および／または提供するように構成される、コンピューティングシステムを含んでもよい。従来技術システム１０２は、開示される実施形態と一致して、モデルを発生させて訓練するように構成される、コンピューティングシステムを含んでもよい。従来技術システム１０２は、（例えば、ネットワーク１０８を介して）システム１００の他のコンポーネントおよび／またはシステム１００の外側のコンピューティングコンポーネントからデータを受信する、そこからデータを読み出す、および／またはそこにデータを伝送するように構成されてもよい。従来技術システム１０２は、（図２Ａを参照して）下記にさらに詳細に開示される。
【００２７】
従来技術システム１０２は、１つ以上の機械学習モデルを訓練する、実装する、記憶する、受信する、読み出す、および／または伝送するためのプログラム（例えば、スクリプト、関数、アルゴリズム）を含んでもよい。機械学習モデルは、ニューラルネットワークモデル、注意ネットワークモデル、敵対的生成モデル（ＧＡＮ）、回帰ニューラルネットワーク（ＲＮＮ）モデル、深層学習モデル（例えば、長・短期メモリ（ＬＳＴＭ）モデル）、ランダムフォレストモデル、畳み込みニューラルネットワーク（ＣＮＮ）モデル、ＲＮＮ−ＣＮＮモデル、ＬＳＴＭ−ＣＮＮモデル、時間的ＣＮＮモデル、サポートベクトルマシン（ＳＶＭ）モデル、雑音を伴うアプリケーションの密度ベースの空間クラスタリング（ＤＢＳＣＡＮ）モデル、ｋ平均クラスタリングモデル、分布ベースのクラスタリングモデル、ｋ−ｍｅｄｏｉｄｓモデル、自然言語モデル、および／または別の機械学習モデルを含んでもよい。モデルは、アンサンブルモデル（すなわち、複数のモデルから成るモデル）を含んでもよい。いくつかの実施形態では、モデルの訓練は、訓練基準が満たされるときに終了してもよい。訓練基準は、画期的な出来事の数、訓練時間、性能メトリック（例えば、試験データを再現することの正確度の推定値）、または同等物を含んでもよい。選択は、訓練の間にモデルパラメータを調節するように構成されてもよい。モデルパラメータは、加重、係数、オフセット、または同等物を含んでもよい。訓練は、教師ありまたは教師なしであり得る。
【００２８】
従来技術データベース１０４は、１つ以上のサーバ、サーバの１つ以上のクラスタ、または１つ以上のクラウドサービス上でホストされてもよい。従来技術データベース１０４は、ネットワーク１０８に接続されてもよい（接続は示されていない）。
【００２９】
いくつかの実施形態では、従来技術データベース１０４は、開示される実施形態と一致して、システム１００によって使用するためのデータを記憶するように構成される、１つ以上のデータベースを含んでもよい。いくつかの実施形態では、従来技術データベースは、開示される実施形態と一致して、データセットおよび／または１つ以上のデータセットインデックスを記憶するように構成されてもよい。従来技術データベース１０４は、クラウドベースのデータベース（例えば、ＡＭＡＺＯＮ  ＷＥＢ  ＳＥＲＶＩＣＥＳ  ＲＥＬＡＴＩＯＮＡＬ  ＤＡＴＡＢＡＳＥ  ＳＥＲＶＩＣＥ）または構内データベースを含んでもよい。従来技術データベース１０４は、開示される実施形態と一致して、データセット、モデルデータ（例えば、モデルパラメータ、訓練基準、性能メトリック等）、および／または他のデータを含んでもよい。従来技術データベース１０４は、（例えば、ネットワーク１０８を介して）システム１００の１つ以上のコンポーネントおよび／またはシステム１００の外側のコンピューティングコンポーネントから受信されるデータを含んでもよい。いくつかの実施形態では、従来技術データベース１０４は、従来技術システム１０２のコンポーネント（図示せず）であってもよい。
【００３０】
いくつかの実施形態では、従来技術データベース１０４は、データ構造、例えば、グラフ構造内に情報を記憶してもよい。従来技術データベース１０４は、限定ではないが、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、集積ドライブエレクトロニクス（ＩＤＥ）、ＩＥＥＥ−１３９４、ユニバーサルシリアルバス（ＵＳＢ）、ファイバチャネル、小型コンピュータシステムインターフェース（ＳＣＳＩ）等の接続プロトコルを採用する、メモリドライブ、リムーバブルディスクドライブ等を使用して実装されてもよい。メモリドライブはさらに、ドラム、磁気ディスクドライブ、磁気光学ドライブ、光学ドライブ、独立ディスクの冗長アレイ（ＲＡＩＤ）、ソリッドステートメモリデバイス、ソリッドステートドライブ等を含んでもよい。
【００３１】
クライアントデバイス１０６は、開示される実施形態と一致して、動作を実施するように構成される、１つ以上のメモリユニットと、１つ以上のプロセッサとを含んでもよい。いくつかの実施形態では、クライアントデバイス１０６は、ハードウェア、ソフトウェア、および／またはファームウェアモジュールを含んでもよい。クライアントデバイス１０６は、ユーザデバイスであってもよい。クライアントデバイス１０６は、モバイルデバイス、タブレット、パーソナルコンピュータ、端末、キオスク、サーバ、サーバクラスタ、クラウドサービス、記憶デバイス、開示される実施形態による方法を実施するように構成される特殊デバイス、または同等物を含んでもよい。
【００３２】
従来技術システム１０２、従来技術データベース１０４、またはクライアントデバイス１０６のうちの少なくとも１つが、ネットワーク１０８に接続されてもよい。ネットワーク１０８は、公衆ネットワークまたは私設ネットワークであってもよく、例えば、限定ではないが、ローカルエリアネットワーク、広域ネットワーク、メトロポリタンエリアネットワーク、ＩＥＥＥ１００２．１１無線ネットワーク（例えば、「Ｗｉ−Ｆｉ」）、ネットワークのネットワーク（例えば、インターネット）、固定電話ネットワーク、または同等物を含む、有線または無線ネットワークを含んでもよい。ネットワーク１０８は、種々のシステムコンポーネントを相互に、および／または外部システムまたはデバイスに接続するように、他のネットワーク（図１に描写されていない）に接続されてもよい。いくつかの実施形態では、ネットワーク１０８は、セキュアネットワークであり、ネットワークにアクセスするためにパスワードを要求し得る。
【００３３】
図２Ａは、従来技術システム１０２の例示的構成２００を描写する。当業者によって理解されるであろうように、従来技術システム１０２に含まれるコンポーネントおよびコンポーネントの配列は、変動し得る。例えば、図２Ａの描写と比較すると、従来技術システム１０２は、より多数またはより少数のプロセッサ、インターフェースまたはＩ／Ｏデバイス、またはメモリユニットを含んでもよい。加えて、従来技術システム１０２はさらに、開示される実施形態と一致して、１つ以上のプロセスを実施する、またはその性能を支援する、描写されていない他のコンポーネントまたはデバイスを含んでもよい。図２Ａに示されるコンポーネントおよび配列は、開示されるプロセスおよび特徴を実装するために使用されるコンポーネントが変動し得るため、開示される実施形態を限定することを意図していない。
【００３４】
プロセッサ２００は、マイクロプロセッサを含む、公知のコンピューティングプロセッサを備えてもよい。プロセッサ２００は、並行プロセスを同時に実行する、単一コアまたはマルチコアプロセッサを構成してもよい。例えば、プロセッサ２００は、仮想処理技術を用いて構成される単一コアプロセッサであってもよい。いくつかの実施形態では、プロセッサ２００は、論理プロセッサを使用し、複数のプロセスを同時に実行および制御してもよい。プロセッサ２００は、仮想マシン技術または他の公知の技術を実装し、複数のソフトウェアプロセス、アプリケーション、プログラム等を実行する、制御する、起動する、操作する、記憶する等の能力を提供してもよい。別の実施形態では、プロセッサ２００は、並行処理機能性を提供し、同時に複数のプロセスの実行を可能にするように構成される、多重コアプロセッサ配列（例えば、デュアルコア、クアドコア等）を含んでもよい。当業者は、本明細書に開示される能力を提供する他のタイプのプロセッサ配列も実装され得ることを理解するであろう。開示される実施形態は、いずれのタイプのプロセッサにも限定されない。プロセッサ２００は、メモリ内に記憶された種々の命令を実行し、下記にさらに詳細に説明される、開示される実施形態の種々の機能を実施してもよい。プロセッサ２００は、１つ以上の公知のプログラミング言語で書かれる機能を実行するように構成されてもよい。
【００３５】
従来技術システム１０２は、２つのコンポーネント、すなわち、従来技術プラットフォーム２０２と、従来技術アプリケーション２０４とを含んでもよい。いくつかの実施形態では、従来技術システム１０２は、付加的コンポーネントを含む、コンポーネントの他の配列を含んでもよい。
【００３６】
従来技術プラットフォーム２０２は、データソース２０８において受信される１つ以上の特許ファイルから従来技術データベース２０６を発生させるように構成されてもよい。データソース２０８は、１つ以上のデータベース、第三者データベース、ウェブスクレーパ等にアクセスし、文書ファイルを受信してもよい。文書ファイルは、データソース２０８から生成データベース２１０に伝送されてもよい。
【００３７】
生成データベース２１０は、取り込まれたファイル（取り込まれたデータ）、および人間によって手動でインデックス化されたか、または機械を介して自動化されたか（キュレートされたデータ）のいずれかであるファイルを記憶してもよい。例えば、インデックスは、文書と関連付けられる１つ以上のタグに基づいてもよい。タグは、文書の内容、文書に含有される１つ以上のキーワード、または文書と関連付けられるメタデータに関連し得る。生成データベース２１０は、従来技術データベース１０４と同一であり得る、または別個のデータベースであってもよい。
【００３８】
いくつかの実施形態では、取り込まれたファイルが、非母語である場合、翻訳モジュール２１２が、文書のテキストを非母語から母語に翻訳してもよい。いくつかの実施形態では、翻訳モジュール２１２は、例えば、データベースから、ファイルの母語バージョンを読み出してもよい。例えば、翻訳モジュール２１２は、中国特許を含む、ファイルを受信してもよい。翻訳モジュール２１２は、文書を解析して特許番号を決定し、特許番号を使用して１つ以上の第三者出願にクエリを行い、母語対応出願を読み出してもよい。
【００３９】
従来技術データベース２０６にデータ投入するために、２つのモジュール、すなわち、バッチモジュール２１４および継続モジュール２１６が、実行されてもよい。バッチモジュール２１４は、ファイルのコーパスを処理してもよい。例えば、バッチモジュール２１４は、従来技術データベース２０６へのファイルの初期処理を実行するように構成されてもよい。いくつかの実施形態では、継続モジュール２１６は、周期的（例えば、毎日、毎週、毎月等の）更新プロセスの一部として、データソース２０８において受信されるファイルを処理してもよい。いくつかの実施形態では、継続モジュール２１６は、従来技術データベース２０６にクエリを行い、ファイルがデータベース内にすでに存在しているかどうかを決定してもよい。ファイルが、存在する場合、継続モジュール２１６は、従来技術データベース２０６内のファイルと関連付けられる情報を更新してもよい。
【００４０】
いくつかの実施形態では、バッチモジュール２１４は、文書パーサ２１８ａと、意味エンコーダ２２０ａと、構文エンコーダ２２２ａと、グラフビルダ２２４ａとを含んでもよい。継続モジュール２１６は、文書パーサ２１８ｂと、意味エンコーダ２２０ｂと、構文エンコーダ２２２ｂと、グラフビルダ２２４ｂとを含んでもよい。いくつかの実施形態では、同じ名称のコンポーネント（例えば、文書パーサ２１８ａおよび文書パーサ２１８ｂ）が、同じ方法で実装されてもよい。他の実施形態では、同じ名称のコンポーネントが、相互と異なるように実装されてもよい。
【００４１】
文書パーサ２１８ａ、２１８ｂは、ファイルの１つ以上のコンポーネントを識別してもよい。例えば、ファイルが、特許である場合、文書パーサ２１８ａ、２１８ｂは、１つ以上の文字分析プロセスを実施し、一意の識別子（例えば、特許番号、公開番号、出願日）、特許題名、要約、および請求項を識別するように構成されてもよい。いくつかの実施形態では、文書パーサ２１８ａ、２１８ｂは、独立および従属請求項を識別してもよい。いくつかの実施形態では、文書パーサ２１８ａ、２１８ｂは、受信されたファイルを前処理してもよい。例えば、文書パーサ２１８ａ、２１８ｂは、ＰＤＦファイルまたはＭｉｃｒｏｓｏｆｔ  Ｗｏｒｄ文書をＸＭＬ文書に変換してもよい。
【００４２】
いったん文書パーサ２１８ａ、２１８ｂが、ファイルの１つ以上のコンポーネントを識別すると、意味エンコーダ２２０ａ、２２０ｂは、例えば、ディープニューラルネットワークエンコーダを使用して、コンポーネントのベクトル表現を作成してもよい。ディープニューラルネットワークエンコーダは、ファイルのテキストの意味論的意味を数値的に捕捉するように構成されてもよい。例えば、意味エンコーダ２２０ａ、２２０ｂは、テキスト情報（例えば、題名、要約、請求項）をベクトルの形態でそのテキストの数値数学的表現に変換してもよい。いったんテキストが代表ベクトルに変換されると、テキストは、文書の間の類似性を決定するように、同一の方法で変換される他のテキストと比較されてもよい。
【００４３】
意味エンコーディングプロセス２３６の実施例が、図２Ｂに図示される。意味エンコーダ２２０ａ、２２０ｂは、一連のワード（例えば、入力文書のテキスト）を、ベクトル内の各位置が文書のコーパス（例えば、従来技術データベース２０６内に記憶された文書）内のワードの頻度を表す値を有する、ベクトルに転換してもよい。例えば、テキスト文章を「Ｔｈｅ  ｑｕｉｃｋ  ｂｒｏｗｎ  ｆｏｘ」にさせる。意味エンコーダ２２０ａ、２２０ｂは、一連の各ワードを評価し、ベクトルを発生させてもよい。８０，０００ワードの語彙を仮定すると、［ＴＨＥ］［ＱＵＩＣＫ］［ＢＲＯＷＮ］［ＦＯＸ］は、［１，３２５７，２０３７，１００］の対応する整数ベクトルを有し得る。「ｔｈｅ」に対応する１が、それがコーパス内の最も頻繁なワードであることを意味し、３２５７が、「ｑｕｉｃｋ」がコーパス内の３，２５７番目に最も頻繁なワードであることを意味するように、１は、「ｔｈｅ」に対応し得、３２５７は、「ｑｕｉｃｋ」に対応する等である。いくつかの実施形態では、語彙は、文書のコーパスに少なくとも１回は表出するワードのリストであってもよい。他の実施形態では、語彙は、例えば、参考文献（例えば、Ｏｘｆｏｒｄ  Ｅｎｇｌｉｓｈ  Ｄｉｃｔｉｏｎａｒｙ）、１つ以上の技術または科学用語辞典等に基づいてもよい。
【００４４】
埋め込みモジュール２３８は、２５６行および８０，００１列の行列を発生させるように構成されてもよい。意図された用途および／またはプロセスの所望の速度に応じて、より多いまたはより少ない行が存在し得る。行の数は、分析されるワードの数を指し得る。例えば、２５６は、特許の請求項の最初の２５６ワードに対応し得る。列の数は、語彙内にない、または「語彙外」ワードである、見出されるワードに関する付加的な最初の列を伴う仮定語彙に対応し得る。したがって、列２は、文書のコーパス等の全体を通して最も頻繁に使用される文章内のワードを表し得る。
【００４５】
いくつかの実施形態では、行は、テキスト内のワードの番号位置を表す。例えば、ワード「ｔｈｅ」に関して、埋め込みモジュール２３８は、２５６×８０，００１行列の行１、列２に１を記憶し、「ｔｈｅ」が（行１に対応する）文章内の最初のワードであり、（列２に対応する）最も頻用されているワードであることを示すであろう。
【００４６】
双方向ゲート型回帰ユニット２４０は、文書を前後に「読み」、５１２行（埋め込みモジュール２３８によって発生される行列内の行の数の２倍）および８０，００１列を伴う行列を作成してもよい。ニューラルネットワーク２４２は、行列を類似性スコア化で使用するための最終ベクトルに変換してもよい。いくつかの実施形態では、最終ベクトル内の各位置に記憶されたフロートの幅は、最適な幅を発生させるように、機械学習に基づいて決定されてもよい。
【００４７】
構文エンコーダ２２２ａ、２２２ｂは、用語頻度・逆文書頻度（ＴＦ−ＩＤＦ）エンコーダを使用することによって、文書パーサ２１８ａ、２１８ｂによって識別されるファイルコンポーネントのベクトル表現を作成してもよい。構文エンコーダ２２２ａ、２２２ｂは、テキストの構文意味を捕捉するように構成されてもよい。構文エンコーダ２２２ａ、２２２ｂは、（特許、題名、要約、および請求項の実施例内の）テキスト情報を、ベクトルの形態でそのテキストの数値数学的表現に変換してもよい。構文エンコーダ２２２ａ、２２２ｂは、例えば、ファイルテキストを解析し、「ストップワード」（例えば、「ａｎｄ」、「ｔｈｅ」等）を識別し、ファイルから除去してもよい。構文エンコーダ２２２ａ、２２２ｂは、次いで、解析されたテキストを分析し、ワードが文書内で頻用されている程度を決定してもよい。ファイル内のワードまたはオブジェクトの頻用性は、文書内の全ての残りのワードと比較した、ワードがその文書に表出する回数を指し得る。構文エンコーダ２２２ａ、２２２ｂはまた、ワードまたはオブジェクトの希少性を決定してもよい。例えば、希少性は、ワードがファイルのコーパスに表出するファイルの数と比較した、ワードがファイルに表出する回数であってもよい。
【００４８】
いくつかの実施形態では、グラフビルダ２２４ａ、２２４ｂは、ナレッジグラフデータベース内にファイル情報を記憶するためにファイルを処理してもよい。ナレッジグラフデータベースは、グラフデータ構造内にファイル情報を記憶してもよい。ナレッジグラフを発生させるための例示的方法が、図３Ａおよび３Ｂに関してさらに詳細に議論される。
【００４９】
いくつかの実施形態では、従来技術データベース２０６は、ベクトルデータ、文書データ、およびナレッジグラフデータを記憶してもよい。いくつかの実施形態では、例外が、例外データ記憶部内で維持されてもよい。例外データ記憶部は、従来技術データベース２０６の一部であってもよい。例外データは、例えば、文書パーサ２１８ａ、２１８ｂがファイル内の１つ以上のコンポーネントを識別することができないときに、発生されてもよい。別の実施例では、例外は、母語ファイルの対応物が特定されることができないときに発生されてもよい。
【００５０】
いくつかの実施形態では、バッチモジュール２１４からのベクトルデータおよび例外データではない継続モジュール２１６からのベクトルデータが、ベクトルデータ記憶部内に記憶される。バッチモジュール２１４からの文書データおよび例外データではない継続モジュール２１６からの文書データが、文書データ記憶部内に記憶されてもよい。バッチモジュール２１４からのグラフデータおよび例外データではない継続モジュール２１６からのグラフデータが、ナレッジグラフデータ記憶部内に記憶される。
【００５１】
従来技術アプリケーション２０４は、データソース２２６と、翻訳モジュール２２８と、近リアルタイムモジュール２３０と、スコア化モジュール２３２と、ディスプレイまたはプリンタ等の出力デバイス２３４とを含んでもよい。出力デバイス２３４は、例えば、ネットワーク１０８を介して、従来技術システム１０２と通信する外部デバイスであってもよい。出力デバイス２３４は、プリンタ、コンピューティングデバイス、端末、キオスク、および同等物のうちの１つ以上のものであってもよい。
【００５２】
従来技術アプリケーション２０４は、ユーザが１つ以上の類似文書を識別するために他の文書と比較することを所望する文書を含む、（例えば、クライアントデバイス１０６を介した）ユーザからの入力を受信するように構成されてもよい。従来技術アプリケーションは、入力文書を分析し、従来技術プラットフォーム２０２によって発生される従来技術データベース２０６を検索し、１つ以上の類似文書を識別してもよい。
【００５３】
データソース２２６は、グラフィカルユーザインターフェース（ＧＵＩ）を介して入力される、１つ以上のファイルを受信してもよい。例えば、ＧＵＩは、データソース２２６にアップロードするべき文書のファイル場所を示す入力を受信するように構成されてもよい。
【００５４】
受信されたファイルが、非母語である場合、ファイルは、翻訳モジュール２２８によって翻訳されてもよい。翻訳モジュール２２８は、翻訳モジュール２１２と同一の様式で動作するように構成されてもよい。いくつかの実施形態では、翻訳モジュール２２８および翻訳モジュール２１２は、同一であり得る。ファイルは、次いで、グラフビルダ（例えば、グラフビルダ２２４ａ、２２４ｂ）、意味エンコーダ（例えば、意味エンコーダ２２０ａ、２２０ｂ）、構文エンコーダ（例えば、構文エンコーダ２２２ａ、２２２ｂ）、および文書パーサ（例えば、文書パーサ２１８ａ、２１８ｂ）を含み得る、近リアルタイムモジュール２３０によって処理されてもよい。
【００５５】
従来技術プラットフォーム２０２を参照して上記に説明されるように、文書パーサが、ファイルの１つ以上のコンポーネントを識別してもよい。いったん文書パーサがファイルのそれらのコンポーネントを識別すると、グラフビルダは、ナレッジグラフデータベース内にファイル情報を記憶するために、ファイルのテキストを処理してもよい。ファイル情報は、従来技術データベース２０６内のナレッジグラフデータ記憶部にアップロードされてもよい。意味エンコーダが、テキストの意味論的意味を捕捉するディープニューラルネットワークエンコーダを使用して、文書パーサからコンポーネントのベクトル表現を作成してもよい。構文エンコーダが、テキストの構文意味を捕捉する用語頻度・逆文書頻度（ＴＦ−ＩＤＦ）エンコーダを使用して、文書パーサからそれらのコンポーネントのベクトル表現を作成してもよい。
【００５６】
いくつかの実施形態では、近リアルタイムモジュール２３０が、処理を完了したとき、スコア化モジュール２３２は、ファイルデータを取り込み、いくつかのプロセスを実行してもよい。最初に、スコア化モジュール２３２は、従来技術データベース２０６のクエリを起動してもよい。クエリデータが、受信されたファイルに最も意味的に類似し、かつ最も構文的に類似する、ファイルの形態で返されてもよい。クエリデータはまた、ナレッジグラフ内の受信されたファイルに隣接するファイルを返してもよい。いくつかの実施形態では、類似性が、コサイン、ピアソン相関係数、またはジャッカード指数を使用して決定されてもよい。クエリデータ内で返されるファイルの数は、パラメータであってもよい。いったん類似特許の３つの群（意味、構文、およびグラフィカル）がスコア化モジュール２３２に返されると、アンサンブルプロセスが、結果を組み合わせ、類似ファイルの最適回答セットを発生させてもよい。
【００５７】
アンサンブルプロセスは、投票アルゴリズムを使用し、意味、構文、およびグラフプロセスからファイルのリストを統合してもよい。例えば、ファイルが１つのプロセスの出力に表出する場合、その発生は、ファイルがそのプロセスのリストに表出する場所の逆ランクに等しい投票に寄与する。投票は、一意のファイル毎に蓄積されてもよく、上位ファイルが、各ファイルが受信した投票の数によってランク付けされる回答セットとして返される。いくつかの実施形態では、従来技術アプリケーション２０４は、ユーザインターフェースから、所望の数の結果を受信してもよい。したがって、従来技術アプリケーション２０４は、結果の入力数を有するリストを返してもよい。いくつかの実施形態では、プロセスの投票寄与のうちの１つ以上のものが、加重されてもよい。例えば、意味ベクトルが、特定の文書タイプに関して類似性のより正確な予測因子であると決定される場合、意味プロセスの投票は、構文およびグラフプロセスよりも高い加重を有し得る。
【００５８】
いくつかの実施形態では、スコア化モジュール２３２は、フィルタ処理ルールプロセスを含んでもよい。フィルタ処理ルールプロセスは、ユーザ入力に基づいて、１つ以上のフィルタまたはアルゴリズムを最終回答セットに適用してもよい。例えば、ユーザは、回答セットを制約するためのルールを規定してもよい。特許従来技術検索の実施例では、ユーザは、従来技術アプリケーション２０４に最終回答セット内の各出願の中国対応出願をフェッチさせるためのフィルタ処理ルールを適用してもよい。
【００５９】
最後に、いったんスコア化モジュール２３２が処理を完了すると、回答セットは、ディスプレイ内でユーザにレンダリングされる、または周辺プリンタ、例えば、出力デバイス２３４上で印刷されてもよい。例えば、回答セットは、リスト、チャート、テーブル、グラフィカルディスプレイ等として、ユーザに提示されてもよい。回答セットは、文書識別子（例えば、特許番号）、文書の題名、回答リストの１つ以上の文書へのハイパーリンク等のうちの１つ以上のものを含んでもよい。
【００６０】
図３Ａおよび３Ｂは、ナレッジグラフ発生の方法を説明する。例えば、これらの方法は、１つ以上のナレッジグラフを発生させるためにグラフビルダ２２４ａ、２２４ｂによって使用されてもよい。いくつかの実施形態では、ナレッジグラフは、特許、非特許文献、および他の文書で見出される科学情報に関連する、相互接続された科学的論題、役割、および命名法を備えてもよい。科学的論題および役割は、例えば、文章内で、例えば、新しい物質、化合物、または着想を説明することによって、またはそれらのより少ない使用によって、文書のさらなる理解を提供する。役割は、物質および／または着想が使用され得る方法、および／またはそれが使用され得る容量のタイプの情報を提供し得る。いくつかの実施形態では、人間がキュレートした情報が、特許および非特許文献等の文書を相互接続するための機構としての役割を果たすことができる。キュレートされた情報は、相互接続された多重関係異種ネットワークとして改作され、ナレッジグラフとしてモデル化されてもよい。いくつかの実施形態では、科学文書、役割、および命名法は、特許および／または科学文献の訓練セット上で訓練される１つ以上の機械学習アルゴリズムを使用して、自動的に発生されてもよい。
【００６１】
いくつかの実施形態では、ナレッジグラフが、文書の間で接続を行うために使用され得る、人間またはコンピュータがキュレートした科学的内容を使用して、構築されてもよい。相互接続されたネットワークの構造および形状（トポロジ）は、文書関連性に特徴的であり得、キュレータによって規定される文書類似性の定義を提供し得る。したがって、共有トポロジおよび／または技術的類似性の特性に基づいて類似すると決定される文書が、ナレッジグラフでともに提示されてもよい。
【００６２】
いくつかの実施形態では、ナレッジグラフ内の文書接続は、化学的論題および物質関連情報を備えてもよい。付加的情報が、ナレッジグラフ全体内の接続された論題および物質の自然分布等の文書関連性をスコア化するために使用されてもよい。例えば、所与の科学的論題が類似性スコアに影響を及ぼすであろう程度は、ナレッジグラフ内のそのコネクティビティのパターンに基づいてもよい。ある実施形態では、開示されるシステムおよび方法は、サブ構造検索、化学情報学技法、引用、団体、著者、および他の技法およびカテゴリによって精緻化されてもよい。ナレッジグラフは、関連文書を識別するために、ニューラル埋め込み等の人工知能技法の代わりに、またはそれと併せて使用されてもよい。例えば、上記に説明されるように、ナレッジグラフが、意味および構文類似性と併せて使用されてもよく、文書類似性の補完的表現を提供し得る。
【００６３】
図３Ａは、形状１２０ａ、１２０ｂによって表される２つの特許文書の間の関係を表すネットワーク構造を図示する、例示的ナレッジグラフ１１０である。これらの関係は、例えば、人間のキュレーションを使用して、確立されてもよい。例えば、形状１２５としてナレッジグラフ１１０で示される物質が、接続１２７を使用して、物質について議論する文書（例えば、特許文書１２０ａ）に接続されてもよい。図３Ａの例示的ネットワーク構造では、２つの特許文書１２０ａ、１２０ｂは、相互に直接関連しない（すなわち、それらは、直接接続された論題または物質を共有しない）。代わりに、２つの文書１２０ａ、１２０ｂが、形状１３０を用いて示される「アルデヒド」等の中間論題／概念を通して接続されることを可能にする、間接的接続１４０ａ、１４０ｂが、ナレッジグラフ１１０で示され得る。文書の間の直接接続は、１つの介在する物質または概念との接続であってもよい。本実施例では、概念アルデヒド１３０が、文書１２０ａに直接接続されないが、代わりに、それ自体と文書１２０ａとの間に物質１４１Ａおよび物質１２５を有するためである。文書１２０ｂは、概念アルデヒド１３０を通して文書１２０ａに間接的に接続される。
【００６４】
図３Ｂは、形状２２０ａ、２２０ｂによって表される２つの特許文書の間の関係を表すネットワーク構造を図示する、別の例示的ナレッジグラフ２１０である。本実施例では、２つの特許文書２２０ａ、２２０ｂは、複数の概念および物質関連情報（例えば、抗腫瘍薬２３０ａ、新生物２３０ｂ、ヒト２３０ｃ、炎症２３０ｄ、および物質２４０）との直接接続を共有する。２つの特許文書の間の類似性の測定値は、直接接続、またはいくつかの実施形態では任意の接続を使用して、特許文書をともに接続する、共有概念、物質関連情報、または他の科学情報の数に基づいてもよい。例えば、文書２２０ａおよび２２０ｂは、共有概念スコア：０．２、疾患関連性：０．１、共有物質情報：０．３を有し、０．６の類似性スコアを生じさせ得る。文書２２０ａおよび２２０ｃ（図示せず）は、共有概念スコア０．０、疾患関連性：０．０、共有物質情報：０．１を有し、０．１の類似性スコアを生じさせ得る。類似性スコアは、コサイン、ピアソン相関係数、またはジャッカード指数を使用して決定されてもよい。いくつかの実施形態では、類似性は、０が、文書の間のいずれの類似性も示さず、１が、文書が完全に類似することを示す、０〜１に測定されてもよい。
【００６５】
図４Ａは、従来技術アプリケーション２０４へのユーザ入力を受信するように構成される例示的ＧＵＩ４００である。ＧＵＩ４００は、ユーザ入力を受信し、データをユーザ（例えば、特許審査官またはユーザ動作クライアントデバイス１０６）に提供するように構成されてもよい。
【００６６】
ＧＵＩ４００は、例えば、入力フィールド４０２において、文書のファイル場所を受信してもよい。データソース２０８および／またはデータソース２２６は、入力フィールド４０２内で識別される文書を受信するように構成されてもよい。他の実施形態では、ユーザが、フィールド４０４において特許番号を入力してもよい。従来技術システムは、１つ以上の第三者データベースにクエリを行い、入力特許番号と関連付けられる文書を読み出すように構成されてもよい。いったん１つ以上の文書がアップロードされると、ＧＵＩ４００は、アップロードされた文書のリスト４０６を提示してもよい。これらのアップロードされた文書は、ユーザが、例えば、従来技術データベース２０６から、類似文書を見出すことを所望する文書である。
【００６７】
いくつかの実施形態では、従来技術アプリケーション２０４は、検索プロセスが起動することを終了したときに、アラートをユーザに提供するための機能性を含んでもよい。他の実施形態では、従来技術アプリケーションは、検索結果を含有する文書（例えば、テキストファイル、スプレッドシート、Ｍｉｃｒｏｓｏｆｔ  Ｗｏｒｄ文書等）を発生させてもよい。ユーザは、進捗アラートおよび／または結果の出力リストが送信され得る、Ｅメールアドレスを（例えば、入力ボックス４０８を介して）入力してもよい。他の実施形態では、入力ボックス４０８は、出力結果を含有するファイルを保存する場所を受信するように構成されてもよい。
【００６８】
図４Ｂは、例えば、クライアントデバイス１０６を介して、従来技術アプリケーション２０４の出力をユーザに提供するように構成される、例示的ＧＵＩ４１０である。
【００６９】
ＧＵＩ４１０は、結果ウィンドウ４１２内にスコア化モジュール２３２によって識別される文書のランク付けされたリストを出力してもよい。結果ウィンドウ４１２は、識別された標的特許、例えば、ＧＵＩ４００を介して入力される特許に類似するものとして識別される特許を表示してもよい。結果ウィンドウ４１２は、例えば、特許番号、類似性スコア、題名、およびＤＯＣＤＢ対応特許群番号を含む、各特許と関連付けられる情報を表示してもよい。いくつかの実施形態では、ユーザが、例えば、ＧＵＩ４００を介して、結果ウィンドウ４１２内に表示されるべきデータを規定してもよい。例えば、従来技術アプリケーション２０４によって返される他のデータは、審査経過ステータス、最終訴状郵送日、出願日、および同等物を含んでもよい。いくつかの実施形態では、ＧＵＩ４１０は、結果に列挙される各文書への選択可能なリンクを含んでもよい。
【００７０】
いくつかの実施形態では、ユーザが、フィルタ処理ツール４１４を使用することによって、結果をフィルタ処理してもよい。例えば、結果は、規定特性を伴うそれらの結果のみが表示されるように、１つ以上の特性によって、フィルタ処理されてもよい。ＧＵＩ４１０はまた、ユーザが、例えば、特許番号、ＣＰＣ、国、関連性等によって、結果をソートし得るように、ソーティングツール４１６を含んでもよい。
【００７１】
図５は、従来技術システム１０２を使用して従来技術検索を実施するための例示的プロセス５００のフローチャートである。リアルタイムアプリケーション２０４が、文書５０２を受信してもよい。文書５０２は、データソース２２６において受信されてもよく、ＧＵＩ４００を介してユーザによってアップロードされてもよい。
【００７２】
図２Ａを参照して前述で説明されたように、文書５０２は、近リアルタイムモジュール２３０によって処理されてもよい。１つ以上の深層学習エンコーダ５０４は、文書５０２に関する意味ベクトルモジュール５０６に文書５０２に関する意味ベクトルを発生させるように構成されてもよい。ＴＦ−ＩＤＦエンコーダ５０８は、構文ベクトルモジュール５１０に文書５０２に関する構文ベクトルを発生させるように構成されてもよい。いくつかの実施形態では、１つ以上の機械学習アルゴリズムが、１つ以上の文書特性を発生させる、または識別するように、文書５０２に適用されてもよい。文書は、これらの特性に基づいて、インデックスモジュール５１２においてインデックス化および／またはタグ付けされてもよい。ナレッジグラフモジュール５１４は、１つ以上の特性に基づいて、文書５０２を、ナレッジグラフ、例えば、特許文書のコーパスを含むナレッジグラフの中にアップロードしてもよい。例えば、特性は、１つ以上の類似文書を決定するために、ナレッジグラフモジュール５１４によって使用されてもよい。文書５０２を表すノードが、共有特性の数に基づいて、類似文書に接続されてもよい。
【００７３】
これらのメトリック（意味ベクトル、構文ベクトル、およびナレッジグラフ）は、従来技術データベース５１６にクエリを行い、１つ以上の類似文書を識別するために使用されてもよい。いくつかの実施形態では、文書プロパティが数値的に定量化されているため、類似性アルゴリズムが、従来技術データベース５１６および文書５０２内の各文書のベクトルに適用されてもよい。類似性アルゴリズムは、例えば、以下によって定義され得る。
【化１】
2021535490.tif 000003
【００７４】
他のアルゴリズムまたは類似性測定値もまた、適用されてもよい。例えば、類似性は、ピアソン相関係数を使用して決定されてもよい。
【化２】
2021535490.tif 000004
【００７５】
式中、ｃｏｖ（Ａ，Ｂ）は、共分散であり、σＡは、Ａの標準偏差であり、σＢは、Ｂの標準偏差であり、Ａは、文書５０２と関連付けられるベクトル（例えば、意味ベクトルまたは構文ベクトル）を表し、Ｂは、従来技術データベース５１６内の文書と関連付けられるベクトルを表す。
【００７６】
別の実施形態では、類似性は、ジャッカード指数を使用して決定されてもよい。
【化３】
2021535490.tif 000005
【００７７】
ナレッジグラフ５１４に基づく類似性が、例えば、文書５０２を表すノードに隣接するノード（例えば、文書）に基づいて、決定されてもよい。いくつかの実施形態では、類似性の程度は、文書５０２とその隣接する文書との間で直接および／または間接的に共有される特性の数に基づいてもよい。
【００７８】
３つのプロセス（意味、構文、およびグラフ）がそれぞれ、特許のランク付けされたリストおよび文書５０２へのそれらの類似性の程度（例えば、それぞれ、テーブル５１８、５２０、および５２２）を発生させてもよい。３つのプロセスの結果は、最終回答セット５２４を発生させるように、１つ以上のアンサンブル方法またはアルゴリズムを使用して組み合わせられてもよい。最終回答セットは、文書５０２に最も類似すると決定される特許のリストを表してもよい。例えば、テーブル５１８を参照すると、特許１は、最高数の投票を割り当てられてもよく、特許２は、特許１よりも少ない投票の数を割り当てられてもよく、特許３は、最少数の投票を割り当てられてもよい。投票は、最大数の投票を伴う特許が、最初にランク付けされ、それが従来技術文書のうちで文書５０２に最も類似することを示すように、（例えば、特許１に関して投票の総和を発生させることによって）集計されてもよい。いくつかの実施形態では、最終回答セット５２４は、ＧＵＩ４１０を介してユーザに出力されてもよい。
【００７９】
図６は、開示される実施形態による、文書データベースを発生させるための例示的方法６００である。
【００８０】
ステップ６０２では、処理デバイス（例えば、従来技術システム１０２の処理デバイス）が、複数の文書のうちの文書であって、ワードのセットを備える文書を受信してもよい。例えば、文書は、特許であってもよく、特許文書のコーパスのうちの１つであってもよい。
【００８１】
ステップ６０４では、処理デバイスは、第１のエンコーダをワードのセットに適用し、第１のベクトルを発生させてもよい。第１のエンコーダは、意味ベクトルを発生させるように構成されてもよい。
【００８２】
ステップ６０６では、処理デバイスは、第２のエンコーダをワードのセットに適用し、第２のベクトルを発生させてもよい。第２のベクトルは、例えば、構文ベクトルであってもよい。
【００８３】
ステップ６０８では、処理デバイスは、第１のベクトルおよび第２のベクトルを使用して、文書をインデックス化してもよい。
【００８４】
ステップ６１０では、処理デバイスは、インデックスを使用して、文書に関する検索を可能にしてもよい。いくつかの実施形態では、方法６００は、いくつかの文書に関して実行されてもよく、発生およびインデックス化されたベクトルから文書データベースを発生させるために使用されてもよい。例えば、発生されたデータベースは、各文書が意味ベクトルおよび構文ベクトルと関連付けられる、いくつかの文書を含んでもよい。データベースは、ベクトル値についてインデックス化され、それによって、文書に関する検索を促進し得る。
【００８５】
図７は、文書のコーパスから類似文書を読み出すための例示的方法７００である。
【００８６】
ステップ７０２では、処理デバイスは、例えば、従来技術アプリケーション２０４において、検索文書であって、ワードのセットを備える検索文書を受信してもよい。例えば、検索文書は、特許または他のテキスト含有文書であってもよい。
【００８７】
ステップ７０４では、処理デバイスは、第１のエンコーダをワードのセットに適用し、第１のベクトルを発生させてもよい。第１のエンコーダは、意味ベクトルを発生させるように構成されてもよい。
【００８８】
ステップ７０６では、処理デバイスは、第２のエンコーダをワードのセットに適用し、第２のベクトルを発生させてもよい。第２のベクトルは、例えば、構文ベクトルであってもよい。
【００８９】
ステップ７０８では、処理デバイスは、検索文書の第１のベクトルと文書のコーパスの各文書の第１のベクトルとの間の第１の類似性を決定してもよい。例えば、処理デバイスは、類似性アルゴリズムを適用し、検索文書と従来技術データベース２０６内の文書のそれぞれとの間の類似性の程度を決定してもよい。
【００９０】
ステップ７１０では、処理デバイスは、検索文書の第２のベクトルと文書のコーパスの各文書の第２のベクトルとの間の第２の類似性を決定してもよい。処理デバイスは、同一または異なる類似性アルゴリズムを各文書と関連付けられる第２のベクトルに適用してもよい。例えば、類似性アルゴリズムは、コサインに基づいてもよい、ピアソン相関係数であってもよい、またはジャッカード指数であってもよい。
【００９１】
ステップ７１２では、処理デバイスは、第１の類似性に基づいて、コーパス内の文書の第１のランク付けされたリストを発生させてもよい。例えば、ランク付けされたリストは、最上位置において１の類似性（最高類似性）を生じさせる文書と、最低位置において０の類似性（最低類似性）を生じさせる文書とを有してもよい。
【００９２】
ステップ７１４では、処理デバイスは、第２の類似性に基づいて、コーパス内の文書の第２のランク付けされたリストを発生させてもよい。ランク付けされたリストは、上記に説明されるように検索文書への最大類似から最小類似にランク付けされる文書のリストを含んでもよい。
【００９３】
ステップ７１６では、処理デバイスは、投票アルゴリズムを適用し、その相対的なランク付けされたリスト内の各文書の位置に基づいて、各文書と関連付けられるスコアを決定してもよい。投票アルゴリズムは、それぞれ、第１および第２のリスト内の各ランク付けされた特許の位置に基づいて、スコアをその特許に適用するように構成されてもよい。いくつかの実施形態では、処理デバイスは、単一のリストまたは２つを上回るリストを発生させてもよい。文書のリストの数は、例えば、類似性比較のタイプの数に基づいてもよい。例えば、２つのリストが、意味ベクトル比較および構文ベクトル比較を使用するプロセスで発生されてもよい。別の実施例では、図５に示されるように、３つのリストが、意味ベクトル、構文ベクトル、およびナレッジグラフ毎に３つの類似性測定を発生させる、プロセス５００の間に発生されてもよい。
【００９４】
実施例として、第１の位置に最も類似する文書を伴う、３つの文書をそれぞれ有する、２つのランク付けされたリストを考慮すると、第１の位置における文書は、３つの投票を割り当てられてもよい。第２の位置における文書は、２つの投票を割り当てられてもよく、第３の位置における文書は、１つの投票を割り当てられてもよい。したがって、文書Ａが、一方のリストでは、第１に、他方のリストでは、第３にランク付けされる場合、その最終スコアは、４であろう。一方のリストでは、第２に、他方のリストでは、第１にランク付けされる文書Ｂは、５の最終スコアを有し、文書Ｃは、３の最終スコアを有するであろう。したがって、文書の最後のランク付けされたリストは、最大類似から最小類似に順序付けられる、文書Ｂ、文書Ａ、および文書Ｃを生じさせてもよい。
【００９５】
ステップ７１８では、処理デバイスは、決定されたスコアに基づいて、文書の第３のランク付けされたリストを出力してもよい。第３のリストは、各リスト内の各文書と関連付けられるスコアを組み合わせ、高スコアから低スコアに文書をランク付けすることによって、発生されてもよい。ランク付けされたリストは、例えば、ＧＵＩ４１０を介して、ユーザに出力されてもよい。
【００９６】
開示される実施形態は、それらの用途において、以下の説明に記載される、および／または図面および／または実施例に図示されるコンポーネントおよび／または方法の構造および配列の詳細に必ずしも限定されないことを理解されたい。開示される実施形態は、変形例、または種々の方法で実践または実行されることが可能である。
【００９７】
開示される実施形態は、システム、方法、および／またはコンピュータプログラム製品で実装されてもよい。コンピュータプログラム製品は、プロセッサに本発明の側面を実行させるためのコンピュータ可読プログラム命令をその上に有する、コンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。
【００９８】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を留保および記憶し得る、有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の好適な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な実施例の非包括的リストは、以下、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、その上に記憶された命令を有する溝内のパンチカードまたは隆起構造等の機械的にエンコードされるデバイス、および前述の任意の好適な組み合わせを含む。本明細書で使用されるようなコンピュータ可読記憶媒体は、電波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通して通過する光パルス）、またはワイヤを通して伝送される電気信号等のそれ自体が一過性の信号であるものとして解釈されるものではない。
【００９９】
本明細書に説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から個別のコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、および／または無線ネットワークを介して、外部コンピュータまたは外部記憶デバイスにダウンロードされることができる。ネットワークは、銅製伝送ケーブル、光透過ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを備えてもよい。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、個別のコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶するためにコンピュータ可読プログラム命令を転送する。
【０１００】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋、または同等物等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似プログラミング言語等の従来のプロシージャプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、独立型ソフトウェアパッケージとして、部分的にユーザのコンピュータ上および部分的に遠隔コンピュータ上で、または完全に遠隔コンピュータまたはサーバ上で、実行されてもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通して、ユーザのコンピュータに接続されてもよい、または接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通して）外部コンピュータに行われてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む、電子回路が、本発明の側面を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人化することによって、コンピュータ可読プログラム命令を実行してもよい。
【０１０１】
本発明の側面は、本発明の実施形態による、方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して、本明細書に説明される。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装され得ることを理解されたい。
【０１０２】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定される機能／行為を実装するための手段を作成するように、マシンを生成するために、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令はまた、その中に記憶された命令を有するコンピュータ可読記憶媒体が、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定される機能／行為の側面を実装する命令を含む、製造品を備えるように、特定の様式で機能するようにコンピュータ、プログラマブルデータ処理装置、および／または他のデバイスに指示し得る、コンピュータ可読記憶媒体内に記憶されてもよい。
【０１０３】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックに規定される機能／行為を実装するように、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させ、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされてもよい。
【０１０４】
図内のフローチャートおよびブロック図は、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能性として考えられる実装のアーキテクチャ、機能性、および動作を図示する。この点に関して、フローチャートまたはブロック図内の各ブロックは、規定論理機能を実装するための１つ以上の実行可能命令を備える、ソフトウェアプログラム、セグメント、またなコードの一部を表し得る。また、いくつかの代替実装では、ブロックに記述される機能は、図に記述される順序外で起こり得ることにも留意されたい。例えば、連続して示される２つのブロックが、実際には、実質的に並行して実行されてもよい、またはブロックは、時として、関与する機能性に応じて、逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図内の各ブロック、およびブロック図および／またはフローチャート図内のブロックの組み合わせは、規定機能または行為を実施する専用ハードウェアベースのシステム、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実装され得ることにも留意されたい。
【０１０５】
本発明の種々の実施形態の説明は、例証の目的のために提示されたが、包括的であること、または開示される実施形態に限定されることを意図していない。多くの修正および変形例が、説明される実施形態の範囲および精神から逸脱することなく、当業者に明白となるであろう。本明細書で使用される用語は、実施形態の原理、実用的用途、または市場で見出される技術と比べた技術的改良を最良に解説するように、または当業者が本明細書に開示される実施形態を理解することを可能にするように、選定された。
【０１０６】
明確にするために、別個の実施形態との関連で説明される、本発明のある特徴もまた、単一の実施形態において組み合わせて提供され得ることを理解されたい。逆に、簡潔にするために、単一の実施形態との関連で説明される、本発明の種々の特徴もまた、別個に、または任意の好適な副次的組み合わせで、または本発明の任意の他の説明される実施形態において好適であるように、提供されてもよい。種々の実施形態との関連で説明される、ある特徴は、実施形態がそれらの要素がないと動作不能ではない限り、それらの実施形態の不可欠な特徴と見なされるものではない。
【０１０７】
本発明は、その具体的実施形態と併せて説明されたが、多くの代替物、修正、および変形例が当業者に明白となるであろうことが明らかである。故に、添付の請求項の精神および広義の範囲内に該当する、全てのそのような代替物、修正、および変形例を包含することが意図される。
【図１】
2021535490.tif 000006
【図２Ａ】
2021535490.tif 000007
【図２Ｂ】
2021535490.tif 000008
【図３Ａ】
2021535490.tif 000009
【図３Ｂ】
2021535490.tif 000010
【図４Ａ】
2021535490.tif 000011
【図４Ｂ】
2021535490.tif 000012
【図５】
2021535490.tif 000013
【図６】
2021535490.tif 000014
【図７】
2021535490.tif 000015
【国際調査報告】
2021535490.tif 000016