(57)【要約】  関連する科学的または技術的概念に基づいて検索するための検索エンジンであって、技術的語句間の関係を関連文書におけるそれらの発生率に基づいて学習し、そこから関連語句のグループ化から概念を形成するための学習モジュールと、クエリ文書に存在する概念の関連文書における発生に基づいて、クエリ文書の関連文書を検索するための検索モジュールと、を備え、前記学習モジュールが訓練用文書セットおよび文書間関係に基づいて学習を実行する、検索エンジン。【選択図】図５
2011525673.tif 000002
【特許請求の範囲】
【請求項１】
関連する科学的または技術的概念に基づいて検索するための検索エンジンであって、
技術的語句間の関係を関連文書におけるそれらの発生率に基づいて学習し、そこから関連語句のグループ化から概念を形成するための学習モジュールと、
クエリ文書に存在する概念の関連文書における発生に基づいて、クエリ文書の関連文書を検索するための検索モジュールと、
を備え、
前記学習モジュールが訓練用文書セットおよび文書間関係に基づいて前記学習を実行する、
検索エンジン。
【請求項２】
訓練用セットは関連文書を指摘するエキスパート提供リンクを含む、請求項１に記載の検索エンジン。
【請求項３】
前記学習モジュールは、前記概念内でグループ化された技術的語句の前記個別文書内における発生に基づいて、個別文書に対する概念の関係性を定量化するように構成される、請求項１に記載の検索エンジン。
【請求項４】
前記学習モジュールは、２つの文書間に共通して比較的高い関係性を有する概念の個数に基づいて、２つの文書間の関係を定量化するように構成され、前記定量化は関連文書を指摘するために閾値と共に使用可能である、請求項３に記載の検索エンジン。
【請求項５】
学習モジュールは、訓練用セットの全文書で前記技術的語句を識別し、全体的な共起率に照らして関連文書における共起率を計算し、そこから前記グループ化を形成するように構成される、請求項２に記載の検索エンジン。
【請求項６】
学習モジュールは、訓練用セットの全文書で前記技術的語句を識別し、全体的な共起率に照らしてそれぞれの関連文書における共起率を計算し、そこから前記グループ化を形成するように構成される、請求項４に記載の検索エンジン。
【請求項７】
訓練用セットは１組の特許文書を含み、前記文書間関係は特許審査資料からの派生を含む、請求項２に記載の検索エンジン。
【請求項８】
前記学習モジュールは、前記特許審査資料に記録された特許性認定に基づいて、２つの特許文書を関連付ける文書解析能力を備える、請求項７に記載の検索エンジン。
【請求項９】
前記特許審査資料は、前記文書のうちの第１文書に関する特許審査報告書を含み、前記技術的語句の識別は、前記特許審査報告書が関係する前記第１文書のバージョンに基づく、請求項８に記載の検索エンジン。
【請求項１０】
前記特許審査報告書を解析して、拒絶またはオブジェクションを識別し、かつ拒絶またはオブジェクションの根拠をもたらす他の特許出願への言及を識別する、請求項９に記載の検索エンジン。
【請求項１１】
前記学習モジュールは、前記訓練用セットに出現する前記技術的語句を識別するための技術的語句識別ユニットを備える、請求項１に記載の検索エンジン。
【請求項１２】
前記検索モジュールは、クエリ文書に見られる前記概念の１つに属する技術的語句のそれぞれの対象文書における発生に基づいて、前記クエリ文書に照らして対象文書をランキングするように構成される、請求項１１に記載の検索エンジン。
【請求項１３】
特許出願および対応する特許庁レポートを含む特許文献の訓練用セットを得るステップと、
特許庁レポートを使用して、特定の特許出願を関連特許出願としてグループ化するステップと、
技術用語が訓練用セット全体より関連特許出願においてより頻繁に出現する場合、その技術用語を関連用語としてグループ化するステップと、
それぞれの関連用語を用いて技術文献を検索するステップと、
を含む、特許文献を検索する方法。
【請求項１４】
技術的語句間の関係について訓練用セットの関連文書におけるそれらの発生率に基づいて学習し、それによって関連語句の概念を形成するステップと、
クエリ文書に存在する概念の発生に基づいて、クエリ文書の関連文書を検索するステップと、
を含む、関連する科学的または技術的概念に基づいて検索するための検索方法。
【請求項１５】
訓練用セットは関連文書を指摘するエキスパート提供リンクを含む、請求項１４に記載の検索方法。
【請求項１６】
前記学習は、訓練用セットの全文書で前記技術的語句を識別し、全体的な共起率に照らして関連文書の共起率を計算し、そこから前記グループ化を形成することを含む、請求項１５に記載の検索方法。
【請求項１７】
訓練用セットは１組の特許文書を含み、前記文書間関係は特許審査資料からの派生を含む、請求項１５に記載の検索方法。
【請求項１８】
前記学習は、前記特許審査資料に記録された特許性認定に基づいて、２つの特許文書を関連付ける文書解析を含む、請求項１７に記載の検索方法。
【請求項１９】
前記学習は、前記訓練用セットに出現する前記技術的語句を識別するための技術的語句識別のステージを含む、請求項１４に記載の検索方法。
【請求項２０】
前記検索は、クエリ文書に見られる前記概念の１つに属する技術的語句のそれぞれの対象文書における発生に基づいて、前記クエリ文書に照らして対象文書をランキングすることを含む、請求項１９に記載の検索方法。
【請求項２１】
クエリ文書と対象文書との間のメトリックを計算するステップをさらに含み、前記メトリックは利用リスクを識別するのに使用可能である、請求項１４に記載の検索方法。
【請求項２２】
前記関連文書の検索は利用可能な技術文書に対して実行される、請求項２１に記載の検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、その一部の実施形態において、検索エンジンおよび方法論に関し、さらに詳しくは、特許調査を実行するために特許文献に適用可能な検索エンジンおよび方法論に関するが、それのみに限定されない。
【背景技術】
【０００２】
企業の成長および繁栄の要に、知識資産の特許取得がある。特許出願の件数は過去１０年間に劇増し、米国および欧州だけで新規出願は年間約１００万件に達している。
【０００３】
先行技術調査は特許出願過程の緊要な部分であり、特許範囲の決定要素である。特許出願人が全ての関連先行技術を識別し損なうと、出願の請求範囲は審査官によって拒絶されるかもしれず、あるいは特許が付与された場合、費用のかさむ訴訟にさらされるかもしれない。
【０００４】
特許を付与されるためには、特許請求項が先行技術に対して２つの条件を満たさなければならない。すなわち新規かつ非自明でなければならない。新規性とは、過去に特許を取得されておらず、かつ公開情報源に発表されていない１つの新しい知識を請求項に排他的に規定しなければならないことを意味する。自明性とは、進歩性、すなわち既存の知識を超える技術の進歩が、単なる簡単な変化以上の何かでなければならないことを意味する。新しい特許出願が本当に新規かつ非自明であるかどうかを決定するために、特許審査官は、他の特許文書および公開情報源で関連先行技術を調査する。
【０００５】
先行技術調査の市場は、特許出願の急激な増加に追随して急速に発展している。図１および２は、世界中および主要特許庁の特許出願件数の増加を示す。２００５年に、世界中の特許出願数は約１６６万件であった。特許出願は１９９５年以来、４．７％の年率で増加してきた。
【０００６】
先行技術調査は革新過程のあらゆる段階で行なわれる。発明者は分野を調査し、かつ自分のアイデアの新規性およびその特許性を検討するために先行技術調査を実行し、ベンチャーキャピタリストは商業的価値を評価するために先行技術調査を実行し、弁理士は特許出願を提出するときに先行技術調査を実行し、特許審査官は特許性および特許範囲を決定するために先行技術を調査する。我々は特許先行技術調査の年間市場規模を（控えめに見て）４０億ドルと推定している（この数字は調査１件当たり２０００ドルの費用で２００万件の先行技術調査を反映している）。
【０００７】
先行技術の調査は、技術ライセンスの拡大市場の要でもある。技術ライセンスの市場は急速に増大しており、年間数十億ドルと推定される。
【０００８】
最後に、先行技術の調査は、特許訴訟、特に侵害および無効訴訟に不可欠である。米国では毎年約１０００件の特許訴訟が起こされる。これらの訴訟に関連する貨幣移転の明確な推定値は無いが、それは零（クロスライセンス契約の結果）から数億米ドル（例えば、ブラックベリー訴訟事件で、ＲＩＭはＮＴＰに６億１２５０万ドルを支払った）まで様々であり得る。
【０００９】
先行技術の調査は数百万件の特許文書に及ぶ。自動先行技術調査のための大きな問題は、特許文書の大規模データベースのテキストの特徴に基づいて科学的関係をいかにして識別するか、である。既存の検索エンジンによる一般的な前提は、特許文書の意味類似性が科学的関係性を反映するというものである。科学的関係性は通常意味類似性に結び付かないので、この前提は実際には成績が低い。実際には、関連する科学的アイデアは通常、様々な科学的概念を含む。単語および技術的語句の概念的関係性を決定するには、数十万の関連技術の特殊専門知識および評価が必要である。最近まで、そのような体系的知識を得ることはほとんど不可能であった。この問題は、技術的利用が多種多様であるソフトウェア分野では特に深刻である。
【００１０】
現在の市場解決策
幾つかの営利目的および非営利目的の特許検索エンジンが過去数年間に出現した。主要な先行技術検索エンジンとして、ＵＳＰＴＯ、ＥＰＯ、Ｇｏｏｇｌｅ  Ｐａｔｅｎｔ、Ｄｉａｌｏｇ、およびＤｅｌｐｈｉｏｎがある。
【００１１】
これらの検索エンジンは大部分が、バッグ・オブ・ワーズ（ｂａｇ−ｏｆ−ｗｏｒｄｓ）手法（ＢＯＷ）としても知られる意味類似性解析に基づいている。検索プロセスは、各文書またはクエリにおける単語のテキスト上の重複の尺度に基づいて、文書の関係性を計算する。本質的に、中心的前提は、関連する科学的アイデアを表わす特許が共通または類似の意味を共有することである。この前提が守られない限り、既存の検索エンジンの性能は充分ではない。
【００１２】
その延長（下記参照）を含めて意味類似性手法の主要な欠点は、単語および技術的語句の概念的意味に関する情報を何ら提供しないことである。例えば単語ｘは単語ｙと全く同じアイデアを表わすことがあり得る。ｘおよびｙが同じアイデアを表わすことを知らせる外部情報または科学的「辞書」無しでは、意味類似性に基づく情報検索は失敗するであろう。
【００１３】
特許先行技術調査の分野における意味的検索エンジンの低い成績には主に４つの理由が存在する。第１に、発明者は、出願が審査官によって拒絶されるリスクを軽減することを希望して、その発明を大部分の関連先行技術のテキストからできるだけ距離を置くように表現する誘因を有する。
【００１４】
第２に、科学的概念を記述するために使用されるテキストドメインは一般的に大きい。
【００１５】
第３に、多くの場合、特許審査官によって引用される先行技術は、出願自体とは異なる技術分野のものであり、先行技術と出願との間のテキスト上の重複はほとんど存在しない。例えば、「Ａｕｔｈｅｎｔｉｃａｔｉｏｎ  ｏｆ  Ｖｅｈｉｃｌｅ  Ｃｏｍｐｏｎｅｎｔｓ」と称する特許第７１３７００１号（ＩＰＣ  Ｈ０４Ｌ  Ｔｒａｎｓｍｉｓｓｉｏｎ  ｏｆ  Ｄｉｇｉｔａｌ  Ｉｎｆｏｒｍａｔｉｏｎ）は、「Ｍｅｔｈｏｄ  ｆｏｒ  Ｐｅｒｆｏｒｍｉｎｇ  Ｇｒｏｕｐ  Ｅｘｃｌｕｓｉｏｎ  ｉｎ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｇｒｏｕｐ  Ｓｔｒｕｃｔｕｒｅｓ」と称する特許第５２２０６０４号（ＩＰＣ  Ｇ０６Ｆ  Ｅｌｅｃｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｄａｔａ  Ｐｒｏｃｅｓｓｉｎｇ）と意味類似性をほとんど共有しない。それにもかかわらず、特許第７１３７００１号の出願過程中に、特許審査官は特許第５２２０６０４号を関連先行技術として、かつ自明性を根拠に当初の出願を拒絶する理由として引用した。別の例として、特許審査官によって、「Ｃｅｌｌｕｌａｒ  Ｄｉｇｉｔａｌ  Ｐａｃｋｅｔ  Ｄａｔａ  Ｎｅｔｗｏｒｋ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｓｙｓｔｅｍ  Ｉｎｃｏｒｐｏｒａｔｉｎｇ  Ｃｅｌｌｕｌａｒ  Ｌｉｎｋ  Ｉｎｔｅｇｒｉｔｙ  Ｍｏｎｉｔｏｒｉｎｇ」と称する特許第５４５４０２４号（ＩＰＣ  Ｇ０８Ｂ  Ｓｉｇｎａｌｌｉｎｇ）と比べて拒絶された、「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｍｏｎｉｔｏｒｉｎｇ  ａ  Ｐｒｅｓｓｕｒｉｚｅｄ  Ｓｙｓｔｅｍ」と称する特許第７０５１５７０号（ＩＰＣ  Ｇ０１Ｌ  Ｍｅａｓｕｒｉｎｇ  Ｆｏｒｃｅ，  Ｓｔｒｅｓｓ，  Ｔｏｒｑｕｅ，  Ｗｏｒｋ，  Ｍｅｃｈａｎｉｃａｌ  Ｐｏｗｅｒ，  Ｍｅｃｈａｎｉｃａｌ  Ｅｆｆｉｃｉｅｎｃｙ，  ｏｒ  Ｆｌｕｉｄ  Ｐｒｅｓｓｕｒｅ）がある。
【００１６】
第４に、特許文書は通常技術的語句（例えばＣＭＯＳ−相補型金属酸化膜半導体およびＰＭＯＳ−ポジ型金属酸化膜半導体またはポータブル・メディア・オペレーティング・システム）を含む。異なる技術的語句はテキスト上の類似性をほとんど持たないようなので、意味類似性は異なる技術的語句間の関係性を認識することができない。例えば特許審査官の評価に基づいて、技術的語句ＰＭＧ（永久磁石式発電機）およびＢＬＤＣ（ブラシレスＤＣコントローラ）が科学的に関連していることが分かるが、それらはテキスト的には異なる。
【００１７】
追加的背景技術として、米国特許４８３９８５３のＣｏｍｐｕｔｅｒ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ  ｕｓｉｎｇ  ｌａｔｅｎｔ  ｓｅｍａｎｔｉｃ  ｓｔｒｕｃｔｕｒｅがある。テキスト・データ・オブジェクトを検索するための方法論が開示されている。データオブジェクトにおける単語の使用には、根底にある潜在的意味構造が存在すると想定することによって、情報は統計ドメインで処理される。この潜在的構造の推定を利用して、オブジェクトを表わし、かつ検索する。ユーザクエリは新しい統計ドメインで再表現され、次いでコンピュータシステムで処理され、クエリに応答して根底にある意味が抽出される。
【００１８】
米国特許５２９７０３９のＴｅｘｔ  ｓｅａｒｃｈ  ｓｙｓｔｅｍ  ｆｏｒ  ｌｏｃａｔｉｎｇ  ｏｎ  ｔｈｅ  ｂａｓｉｓ  ｏｆ  ｋｅｙｗｏｒｄ  ｍａｔｃｈｉｎｇ  ａｎｄ  ｋｅｙｗｏｒｄは、テキストから解析ネットワークを抽出し、かつそれらをデータベースに格納するテキスト情報抽出装置を教示している。解析ネットワークは、テキストから抽出された要素および関係を各々含むラインから構成される。解析ネットワークは同義語／類義語／シソーラスプロセスを介し、かつ補完テンプレートを介して補完され、それらのラインは概念テンプレートを介して加重される。テキスト類似性マッチング装置は、単語、単語対、およびラインの一致に基づいて、入力およびデータベース解析ネットワークの類似性を判断する。テキスト検索システムは、テキストおよびそこから作成された補完語リストをそれぞれのデータベースに格納する。クエリは解析ネットワークの形で入力され、そこからキーワードおよび関係の組が抽出される。データベースに格納されたテキストおよび補完語リストを検索した後、各入力クエリから抽出されたキーワードに対して、キーワードおよび関係の組の一致が決定される。
【００１９】
米国特許５９６３９６５のＴｅｘｔ  ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  ｒｅｔｒｉｅｖａｌ  ｓｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄは、テキスト処理のための内容ベースのシステムおよび方法を教示しており、検索は複数のテキストを内容に基づいて処理して、テキスト片の内容を表わす語句のリストを含むインデックスを各テキスト片に対して生成する、テキスト処理および検索のための内容ベースのシステムおよび方法を教示している。語句は語句の関係度に基づいてクラスタを生成するようにグループ化され、予め定められた関係度に各々対応する複数のマップを含む階層構造が生成される。マップは予め定められた関係度のクラスタを図形的に表現し、各々がクラスタを表わす複数のノードと、関係するノードを接続する複数のリンクとを含む。マップはユーザに対して表示され、ユーザはマップ上の特定のクラスタを選択し、ユーザによって選択されたクラスタに基づいてテキストの一部分がテキスト片から抽出される。
【００２０】
米国特許第５９９１７５１のＳｙｓｔｅｍ，  ｍｅｔｈｏｄ，  ａｎｄ  ｃｏｍｐｕｔｅｒ  ｐｒｏｇｒａｍ  ｐｒｏｄｕｃｔ  ｆｏｒ  ｐａｔｅｎｔ−ｃｅｎｔｒｉｃ  ｐｒｏｃｅｓｓｉｎｇ  ｄａｔａは、データを処理するためのシステム、方法、およびコンピュータプログラム製品を教示している。システムは特許の第１データベース、および企業体が関心を持つ非特許情報の第２データベースを維持する。システムはまた、１つ以上のグループも維持する。グループの各々は、第１データベースからの任意の個数の特許を含む。システムは、適切なオペレータコマンドを受け取ると、グループの１つにおける特許を第２データベースからの非特許情報と共に自動的に処理する。したがって、システムはデータの特許中心およびグループ指向処理を実行する。グループはまた任意の個数の非特許文書も含むことができる。グループは製品ベース、人間ベース、または企業体ベースであるかもしれず、あるいはユーザ定義されたものであるかもしれない。一時的グループのような他のタイプのグループも包含される。
【００２１】
米国特許第６２９８３２７号のＥｘｐｅｒｔ  ｓｕｐｐｏｒｔ  ｓｙｓｔｅｍ  ｆｏｒ  ａｕｔｈｏｒｉｎｇ  ｉｎｖｅｎｔｉｏｎ  ｄｉｓｃｌｏｓｕｒｅｓは、発明開示をオーサリングし、かつ開示される発明の蓋然的特許性および市場性を評価するためのコンピュータ実現エキスパート支援システムを教示している。該システムは少なくとも、コンピュータ、入力装置、出力装置、およびソフトウェアプログラムを含む。ソフトウェアプログラムはオブジェクト指向設計プロセスで作成され、Ｃ＋＋のようなオブジェクト指向コンピュータ言語で実現される。システムは発明の特徴の通信を容易にし、かつ特許出願のフォーマットを含め、複数のフォーマットでの発明の開示の出力を可能にする。
【００２２】
米国特許第６３６３３７８号のＲａｎｋｉｎｇ  ｏｆ  ｑｕｅｒｙ  ｆｅｅｄｂａｃｋ  ｔｅｒｍｓ  ｉｎ  ａｎ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ  ｓｙｓｔｅｍは、ユーザ入力クエリを処理し、クエリフィードバックのランキングを含めたクエリフィードバックを識別して、ユーザが新しいクエリを再フォーマッティングするのを容易にする情報検索システムを教示している。用語概念を表わす複数のノードを含む知識ベースは、ノード間の概念近接性を反映するように構成される。情報検索システムはクエリを処理し、クエリに関連するトピックならびにクエリフィードバック語を識別し、次いでトピックおよびフィードバック語の両方を、相応する用語概念を持つ知識ベースのノードにリンクさせる。トピックに基づいて少なくとも１つの焦点ノードが知識ベースから選択され、焦点ノードとクエリ・フィードバック・ノードとの間の概念近接性が決定される。クエリフィードバック語は、焦点ノードに対する概念近接性に基づいてランキングされる。クエリフィードバック処理における使用のための文書のコーパスからテーマを識別する内容処理システムも開示される。
【００２３】
米国特許第６４５２６１３号のＳｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ａｎ  ａｕｔｏｍａｔｅｄ  ｓｃｏｒｉｎｇ  ｔｏｏｌ  ｆｏｒ  ａｓｓｅｓｓｉｎｇ  ｎｅｗ  ｔｅｃｈｎｏｌｏｇｉｅｓは、自動発明提出書のための装置および方法ならびに発明提出書を評価するためのスコアリングツールを教示している。システムはサーバシステムおよび複数のサーバシステムを含む。サーバシステムは、ネットワーク接続を介してユーザシステムにおける提出者に提出書質問表を提示する。ユーザは質問表に記入し、それは処理のためにサーバシステムに返送される。サーバシステムは回答を処理し、特許性および少なくとも１つの他のパラメータ例えば影響または価値に基づいて、提出書の定量評価を提供する。評価システムで評価者は、発明提出書の定量評価のプレゼンテーションを見ることができる。評価者はまた、ステータス概観ページで複数の発明提出書の結果も見ることができる。ステータス概観ページ、個々の質問表、および個々の評価プレゼンテーションの間のリンクが提供される。
【００２４】
米国特許第６５４２８８９号のＭｅｔｈｏｄｓ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｓｉｍｉｌａｒｉｔｙ  ｔｅｘｔ  ｓｅａｒｃｈ  ｂａｓｅｄ  ｏｎ  ｃｏｎｃｅｐｔｕａｌ  ｉｎｄｅｘｉｎｇは、概念類似性検索に使用する１つ以上の概念単語連鎖を１つ以上の文書から生成するステップと；１つ以上の単語連鎖を持つ文書の概念インデックスを構築するステップと；概念インデックスを用いて類似性クエリを評価するステップとを含む、概念類似性検索を実行する方法を教示している。評価ステップは、検索の結果得られた最も近い文書；１つ以上の文書における１つ以上のマッチング単語連鎖；および１つ以上の文書の１つ以上のマッチングトピック単語のうちの１つ以上を返すことが好ましい。
【００２５】
米国特許第７０５４８５６号のＳｙｓｔｅｍ  ｆｏｒ  ｄｒａｗｉｎｇ  ｐａｔｅｎｔ  ｍａｐ  ｕｓｉｎｇ  ｔｅｃｈｎｉｃａｌ  ｆｉｅｌｄ  ｗｏｒｄ  ａｎｄ  ｍｅｔｈｏｄは、技術分野の単語を用いて特許マップを描くためのシステムおよび方法を開示している。そのシステムおよびその方法において、特許マップを描くために使用される単語は、特許データから不必要な単語を除去することによって得られる重要な単語の加重値を計算することによって抽出され、この抽出された単語を特許とマッチングさせて特許マップが描かれる。
【００２６】
米国特許出願第１１／６９７４４７号のＥｎｈａｎｃｅｄ  Ｐａｔｅｎｔ  Ｐｒｉｏｒ  Ａｒｔ  Ｓｅａｒｃｈ  Ｅｎｇｉｎｅは、文書のデータベースを検索しかつエンドユーザに検索結果を提供するように構成された検索エンジンを教示しており、本明細書に記載されている。検索エンジンは、エンドユーザによって提出された検索クエリの用語の同義語のリストをエンドユーザに提供し、かつエンドユーザが検索エンジンに含めるべきこれらの同義語を識別できるように構成することができる。代替的にまたは追加的に、検索エンジンはエンドユーザに調査質問を提供するように構成することができ、それに対する回答を使用して、検索クエリをさらに定義することができる。データベースは、データベース内の特定の文書に関連付けられるメモおよび／または広告を含むことができる。
【００２７】
米国特許出願第１１／７４５５４９号のＳｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ａｎａｌｙｚｉｎｇ  Ｓｅｍａｎｔｉｃ  Ｄｏｃｕｍｅｎｔｓ  Ｏｖｅｒ  ａ  Ｎｅｔｗｏｒｋは、ユーザのために１件以上の調査を実行して知的所有権（ＩＰ）の利害に関係する１つ以上の文書を突き止める自動エージェントであって、ユーザプロファイルにアクセスして、ユーザのＩＰの利害を決定し、かつＩＰの利害に応答するタグを有する１つ以上のＩＰ文書を識別する自動エージェントを提供し；自動エージェントによって突き止められた１つ以上の文書をランキングし；かつ自動エージェントによって突き止められた１つ以上の文書を表示することによって、ＩＰを処理するためのシステムおよび方法を教示している。
【００２８】
米国特許出願第１１／８０９４５５号のＣｏｎｃｅｐｔ  ｂａｓｅｄ  ｃｒｏｓｓ  ｍｅｄｉａ  ｉｎｄｅｘｉｎｇ  ａｎｄ  ｒｅｔｒｉｅｖａｌ  ｏｆ  ｓｐｅｅｃｈは、たとえ音声文書が音声（またはテキスト）のクエリ語を含まない場合でも、概念レベルでクエリ語に関連付けられる音声文書を見つけて取り出すことによって達成される、音声文書（録音図書、音声放送、録音された会話を含むがそれらに限らない）の内容のインデキシング、検索、および取出しを開示している。概念ベースのクロスメディア情報検索が使用される。訓練用文書セットから語−音素／文書マトリクスが構築される。次いで訓練用データから構築されたマトリクスに文書が追加される。語−音素／文書マトリクスからベクトル空間を計算するために特異値分解が使用される。結果は、語−音素および文書ベクトルが最近傍として概念的に関連付けられる、低次元の数値空間である。クエリエンジンは、空間内のクエリベクトルと他の全てのベクトルとの間のコサイン値を計算し、最高コサイン値を持つ語−音素および／または文書のリストを返す。
【００２９】
米国特許出願第１１／８１２１３５号のＳｙｓｔｅｍｓ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ａｎａｌｙｚｉｎｇ  ｐａｔｅｎｔ  ｖａｌｕｅは、特許関連文書のような法律文書の価値を評価するためのシステム、コンピュータプログラム製品、および方法を開示する少なくとも１つの例示的実施形態を教示している。少なくとも１つの例示的実施形態によると、潜在的意味解析（「ＬＳＡ」）検索エンジンは、特許関連文書のデータベースを検索し、それによって対象文書に関係すると思われる「Ｎ」個の特許関連文書を識別することができ、対象特許関連文書のインデックスを、識別された関係する特許関連文書のインデックスに照らして比較し、スコアリングすることができる。少なくとも１つの例示的実施形態は、法律的、商業的、および／または技術的因子を用いて特許関連文書の価値の複数のインデックスを評価する。
【発明の概要】
【００３０】
本発明の一部の実施形態の態様では、特許審査機関によって提供される調査および審査報告書を学習データベースとして使用して検索エンジンを訓練し、科学技術的概念間の関係を学習する方法論を提供する。そのような学習データベースを用いて訓練された検索エンジンは次いで、特許文献のみならず科学技術的文献一般についても、有意義な検索を実行することができる。
【００３１】
本発明の一部の実施形態の態様では、関連する科学的または技術的概念に基づいて検索するための検索エンジンであって；
技術的語句間の関係を関連文書におけるそれらの発生率に基づいて学習し、そこから関連語句のグループ化から概念を形成するための学習モジュールと、
クエリ文書に存在する概念の関連文書における発生に基づいて、クエリ文書の関連文書を検索するための検索モジュールと、
を備え、
前記学習モジュールが訓練用文書セットおよび文書間関係に基づいて学習を実行する、
検索エンジンを提供する。
【００３２】
１実施形態では、訓練用セットは関連文書を指摘するエキスパート提供リンクを含む。
【００３３】
１実施形態では、学習モジュールは、概念内でグループ化された技術的語句の個別文書内における発生に基づいて、個別文書に対する概念の関係性を定量化するように構成される。
【００３４】
１実施形態では、学習モジュールは、２つの文書間に共通して比較的高い関係性を有する概念の個数に基づいて、２つの文書間の関係を定量化するように構成され、定量化は関連文書を指摘するために閾値と共に使用可能である。
【００３５】
１実施形態では、学習モジュールは、訓練用セットの全文書で技術的語句を識別し、全体的な共起率に照らして関連文書における共起率を計算し、そこからグループ化を形成するように構成される。
【００３６】
１実施形態では、学習モジュールは、訓練用セットの全文書で技術的語句を識別し、全体的な共起率に照らしてそれぞれの関連文書における共起率を計算し、そこからグループ化を形成するように構成される。
【００３７】
１実施形態では、訓練用セットは１組の特許文書を含み、文書間関係は特許審査資料からの派生を含む。
【００３８】
１実施形態では、学習モジュールは、特許審査資料に記録された特許性認定に基づいて、２つ特許文書を関連付ける文書解析能力を備える。
【００３９】
１実施形態では、特許審査資料は文書のうちの第１文書に関する特許審査報告書を含み、技術的語句の識別は、特許審査報告書が関係する第１文書のバージョンに基づく。
【００４０】
１実施形態では、特許審査報告書を解析して、拒絶（ｒｅｊｅｃｔｉｏｎ）またはオブジェクション（ｏｂｊｅｃｔｉｏｎ）を識別し、かつ拒絶またはオブジェクションの根拠をもたらす他の特許出願への言及を識別する。
【００４１】
１実施形態では、学習モジュールは、訓練用セットに出現する技術的語句を識別するための技術的語句識別ユニットを備える。
【００４２】
１実施形態では、検索モジュールは、クエリ文書に見られる概念の１つに属する技術的語句のそれぞれの対象文書における発生に基づいて、クエリ文書に照らして対象文書をランキングするように構成される。
【００４３】
本発明の第２態様では、特許出願および対応する特許庁レポートを含む特許文献の訓練用セットを得るステップと；
特許庁レポートを使用して、特定の特許出願を関連特許出願としてグループ化する
技術用語が訓練用セット全体より関連特許出願においてより頻繁に出現する場合、その技術用語を関連用語としてグループ化するステップと；
それぞれの関連用語を用いて技術文献を検索するステップと；
を含む、特許文献を検索する方法を提供する。
【００４４】
本発明の第３態様では、
技術的語句間の関係について訓練用セットの関連文書におけるそれらの発生率に基づいて学習し、それによって関連語句の概念を形成するステップと；
クエリ文書に存在する概念の発生に基づいて、クエリ文書の関連文書を検索するステップと；
を含む、関連する科学的または技術的概念に基づいて検索するための検索方法を提供する。
【００４５】
１実施形態では、訓練用セットは関連文書を指摘するエキスパート提供リンクを含む。
【００４６】
１実施形態では、学習は、訓練用セットの全文書で技術的語句を識別し、全体的な共起率に照らして関連文書の共起率を計算し、そこからグループ化を形成することを含む。
【００４７】
１実施形態では、訓練用セットは１組の特許文書を含み、文書間関係は特許審査資料からの派生を含む。
【００４８】
１実施形態では、学習は、特許審査資料に記録された特許性認定に基づいて、２つの特許文書を関連付ける文書解析を含む。
【００４９】
１実施形態では、学習は、訓練用セットに出現する技術的語句を識別するための技術的語句識別のステージを含む。
【００５０】
１実施形態では、検索は、クエリ文書に見られる概念の１つに属する技術的語句のそれぞれの対象文書における発生に基づいて、クエリ文書に照らして対象文書をランキングすることを含む。
【００５１】
クエリ文書と対象文書との間のメトリックを計算するステップを含んでいてもよく、そのメトリックは利用リスクを識別するのに使用可能である。
【００５２】
１実施形態では、関連文書の検索は利用可能な技術文書に対して実行される。
【００５３】
別途定義されない限り、本明細書で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。
【００５４】
本発明の実施形態の方法および／またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および／またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。
【００５５】
例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書に記載される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および／またはデータを格納するための揮発性メモリ、および／または、命令および／またはデータを格納するための不揮発性記憶装置（例えば、磁気ハードディスク、および／または取り外し可能な記録媒体）を含む。任意選択的に、ネットワーク接続もさらに提供される。ディスプレイおよび／またはユーザ入力装置（例えば、キーボードまたはマウス）も、任意選択的にさらに提供される。
【図面の簡単な説明】
【００５６】
本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。
【００５７】
【図１】図１は、一貫した長期の成長傾向を示す、１９８５年から２００５年までの毎年の特許出願件数のグラフである。
【００５８】
【図２】図２は、１００年の期間にわたる様々な特許庁の特許出願件数のグラフである。
【００５９】
【図３】図３は、本発明の実施形態に係る、学習モジュールおよび検索モジュールを持つ検索エンジンの概念的詳細を示す簡易ブロック図である。
【００６０】
【図４】図４は、図３の学習モジュールの構成要素を示す簡易ブロック図である。
【００６１】
【図５】図５は、図３の検索エンジンの学習段階のフローチャートを示す簡易図である。
【００６２】
【図６】図６は、図３の検索エンジンの検索段階を示す簡易フローチャートである。
【００６３】
【図７】図７は、解析された文書間の関係がどのようにして訓練用セットの概念を導くかを示す図表である。
【００６４】
【図８】図８は、本発明の実施形態に係る文書の関係性の概念およびそれらの定量化を示す図表である。
【００６５】
【図９】図９は、図５のフローをさらに詳細に示す図表である。
【００６６】
【図１０】図１０は、図９のフローの一部分をさらに詳細に示す図表である。
【００６７】
【図１１】図１１は、図９および１０で決定された数量を用いた検索を示すフローチャートである。
【００６８】
【図１２】図１２は、図１の検索エンジンに対するユーザインタフェースを示す。
【００６９】
【図１３】図１３は、本発明に係る概念検索を先行技術のテキスト検索と比較した実験結果を示すグラフである。
【図１４】図１４は、本発明に係る概念検索を先行技術のテキスト検索と比較した実験結果を示すグラフである。
【図１５】図１５は、本発明に係る概念検索を先行技術のテキスト検索と比較した実験結果を示すグラフである。
【図１６】図１６は、本発明に係る概念検索を先行技術のテキスト検索と比較した実験結果を示すグラフである。
【図１７】図１７は、本発明に係る概念検索を先行技術のテキスト検索と比較した実験結果を示すグラフである。
【００７０】
【図１８Ａ−Ｂ】図１８Ａは、本発明の好適な実施形態に従って、検索される特許文書のための概念空間を提供し、概念単語の同義語を含む単語をその空間にマッピングするための手順を示すフローチャートである。図１８Ｂは、用語を抽出して概念空間を構築するための一連のモデルを示す。
【００７１】
【図１９】図１９は、同義語選択のための可能な方法を示す図１８Ａの詳細フローチャートである。
【発明を実施するための形態】
【００７２】
本発明は、その一部の実施形態において、検索エンジンおよび方法論に関し、さらに詳しくは、特に特許文献に適用可能な検索エンジンおよび方法論に関するが、それのみに限定されない。
【００７３】
本発明の方法論は、検索エンジンを訓練して科学技術的概念間の関係を学習するための学習データベースとして、特許審査機関によって提供される調査および審査報告書を使用することができる。そのような学習データベースを用いて訓練した検索エンジンは、次いで特許文献のみならず、科学技術文献一般についても有意義な検索を実行することができる。
【００７４】
方法論は、報告書の対象である審査された特許または出願の請求項と、報告書でそれに対して引用された特許または出願のテキストとの間の関係を想定することができるように、機関によって提供される調査および審査報告書のような文書の構造を理解することを含む。想定された関係は次いで、両方の文書に出現する語句に相互依存性を割り当てるために使用される。上記プロセスは数百および数千の文書に実行されるので、データベースは２つの語句が関連する確率から構築される。
【００７５】
学習ステージ後に、データベースは次いで、密接に関係する主題を持つ文書が検索結果で上位にランキングされるように、文書間の関係をランキングするために検索で使用することができる。したがって、特許検索ステージは意味関係を指摘するようになり、同一キーワードの必要性に対する依存から解放される。
【００７６】
本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、および／または図面および／または実施例において例示される構成要素および／または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
【００７７】
ここで図面を参照しながら説明するが、図１および２については背景で言及した通りである。
【００７８】
図３は、本発明の概念的実施形態を示す簡易ブロック図である。データベースを作成し、次いで関連する科学的または技術的概念に基づいて検索するための検索エンジン１０は、学習モジュール１２および検索モジュール１４を含む。
【００７９】
学習モジュール１２は、技術的語句間の関係について関連文書におけるそれらの発生率に基づいて学習し、それに基づいて概念をグループ化する。さらに詳しくは、以下でさらに詳しく説明するように、関連文書における共起率を背景共起率と比較したときに、比率が得られる。関連文書における発生率が背景率より高い場合、すなわち比率が正の場合、２つの技術的語句は結合されて概念すなわち関連語句のグループ化を形成するかもしれない。１実施形態では、接続は絶対的はい／いいえ接続であるかもしれず、その場合、比率が予め定められた閾値を超えた場合にはいつでも接続が行なわれる。代替的に、得られる実際の割合に基づいて相対的接続が定義されることができる。比率は、技術文書の訓練用文書データベース１６およびどの文書が他のどの文書に関連付けられるかのリストから算出されることができる。
【００８０】
以下でさらに詳しく説明するように、どの文書が他のどの文書に関連付けられるかのリストは、当該分野のエキスパートによって提供することができる。後述の通り、特許は審査され、関連分野を専門とするエキスパートである特許審査官によって提供される審査文書は、初期関係を定義するためのエキスパート入力として役立てることができるので、特許文献はこの点に関して特に興味深い。したがって訓練用セット１６は２つの構成要素、すなわち技術文献自体を提供する特許出願文献１８と、どの特許出願が他のどの特許出願に関連するかを示すエキスパート提供リンクを含む特許審査文書２０を備える。
【００８１】
検索モジュール１４は次いで、学習モジュール‐訓練用セット２２によって発見された概念を使用する。クエリ文書が提示されると、検索モジュールは技術的語句を探し、次いで語句自体または学習モードで概念としてそれらに結び付けられた他の語句を検索する。次いで、概念に属する技術的語句の発生に従って対象文書がランキングされ、ランキングされた文書の一部または全部がユーザに提示される。
【００８２】
ここで図４を参照すると、それは学習モジュール１２をより詳細に示している。学習モジュール１２は、特許審査文献および特許出願文献の両方を解析する文書解析ユニット３０を含む。
【００８３】
文書解析ユニットは、一般的にインターネットで入手可能な画像から文書テキストを読み取る光学式文字認識（ＯＣＲ）ユニット３２を含む。次いで関係発見ユニット３４は特許審査文献を解析して、審査官によって指摘されている関連文書を審査文書のテキストから識別する。特許審査文献はこれらの文書を識別する際に特定の形式に従う傾向があるので、学習モジュールによって要求される解析能力が容易になる。解析については以下でさらに詳しく論じる。
【００８４】
文書解析ユニットはさらに、訓練用セットの特許出願文書に出現する技術的語句を識別するための技術的語句識別ユニット３６を含むことができる。
【００８５】
ＯＣＲ後の文書解析プロセスが図５のフローチャートに示されており、ここでそれについて言及する。図５に示すように、特許出願文書の解析は技術的語句を探査し、各特許出願文書を一連の技術的語句に簡約する。次いで特許審査文書を解析して、関連特許文書を発見する。
【００８６】
次いで、各技術的語句が順番に取り上げられ、他の文書における他の技術的語句との共起（ｃｏ−ｏｃｃｕｒｅｎｃｅ）について検査される。関連文書における共起はＡで表わされ、全文書における共起はＢで表わされる。Ａ／Ｂの比率が例えば閾値に照らして検査され、検査結果が肯定的である場合、２つの技術的語句は単一の概念に付託される。
【００８７】
次に図６を参照すると、それは、図５で得られた概念を使用した検索手順の流れを示す略図である。文書はユーザによって初期クエリとして入力される。文書はそれ自体の技術的語句を有し、それらは抽出される。抽出された技術的語句は、訓練ステージで識別された概念に属しても、属さなくてもよい。属する場合、概念の全ての技術的語句を使用して、実際に使用される検索クエリが策定される。次いで検索クエリは、識別された概念の技術的語句の発生頻度に従って、データベース内の文書をランキングする。
【００８８】
拡張概念の一部ではない技術的語句の場合、熟練ユーザの選好により、個々の技術的語句はそのまま単純に検索クエリに加えられてもよく、あるいは無視されてもよい。
【００８９】
検索モジュールはこうして、クエリ文書で見つかった異なる概念に属する様々な技術的語句の異なる対象文書における発生に基づいて、クエリ文書に照らして対象文書をランキングする。
【００９０】
説明した通り、本発明の実施形態は、特許文書の科学的関係性を評価するための方法を提供する。該方法は関連する科学的概念の訓練用セット２２を使用して、異なる特許文書の科学的類似性を計算する。この訓練用セットは、異なる科学的概念の科学的関係性についての外部情報を介して、異なる科学的概念を結び付け、上述した訓練プロセスで形成される。
【００９１】
訓練用セットは、特許審査機関、例えば米国特許商標庁および欧州特許庁の特許審査官による数千の調査および審査報告書を含む。これらの報告書は、特定の技術分野を専門とする経験豊かで熟達したエキスパートである特許審査官によって決定された、科学的文書の関係性についての情報を取り出すために、自動的にかつ手動的に解析される。審査官調査報告書データセットに加えて、報告書が言及している拒絶前の原特許出願を使用してもよい。該組合せは、キーワードの類似性に基づくだけでなく、高度に熟達した科学者の専門的意見で解釈された意味にも基づく方法で、特許出願からの科学的概念を先行技術に結び付けることを可能にする。
【００９２】
過去１０年間に、情報検索として知られる自動的内容ベース検索エンジンは、学術および事業分野で大人気を博してきた。情報検索ＩＲのモデルは、各文書のテキストの特徴から推測される文書間の関係を検討する。一般的技術は、バッグ・オブ・ワーズ表現としても知られるベクトル空間モデルである。この技術によると、各文書は、特徴の、通常は出現する単語または文書に関連する単語のインデックスベクトルによって表わされる。特徴は通常加重され、重みは、特徴が文書に出現する頻度と他の全ての文書に出現する頻度との間の比率と共に増加する。次いで、各文書の加重されたバッグ・オブ・ワーズ表現の類似性に基づいて、文書の関係性が計算される。
【００９３】
文書の概念的意味についての学習は、テキスト分類（ＴＣ）−自然言語テキストをそれらの内容に基づいて１つ以上の予め定められたカテゴリに割り当てること−としても知られる。テキスト分類は、文書を予め定められたラベルセットに分類することを目指しており、各ラベルは、文書で使用されている単語セットに関連付けられる。各文書は、数学的に操作することのできる代表項目の集合として表わされる。次いで、カテゴリおよび概念の分類は代表ベクトルの類似度に基づく。
【００９４】
情報検索の分野のエキスパートが直面する問題は、文書のテキストの特徴に基づいて文書の内容関係性についていかに学習するか、である。意味類似性は、文書の関係性を測るのに使用される最も単純な技術である（Ｂａｅｚａ−ＹａｔｅｓおよびＲｉｂｅｉｒｏ−Ｎｅｔｏ、１９９９）。すなわち、文書の関係性を評価するために使用される唯一の基準は、各文書で使用される単語間の重複度である（各単語は通常、単語が文書および他の全ての文書で使用される相対的頻度によって加重される）。バッグ・オブ・ワーズ手法には主に２つの欠点、すなわち（１）テキストの特徴に関するその高い次元数、および（２）正確な厳密なテキストの重複への完全な依存性がある。
【００９５】
より高度なアルゴリズムは、ＬＳＡファミリに属する。ＬＳＡ手法は、線形代数の技術を用いて代表概念のベクトルを形成することによって、バッグ・オブ・ワーズの次元数を低減する。その次元数を低減することによってバッグ・オブ・ワーズを改善する他の試みとして、ｎグラム手法ならびに統計および言語モデルがある。ＬＳＡ手法は、特許文書では単語が技術的語句のクラスタに出現することが非常に一般的であることに注目する（上記の例を参照）。したがって、特許文書に出現する常用単語に加えて、概念的関係性を評価する際に、ＬＳＡ手法に従って、単語クラスタをそれらの個々の語とは独立して検討してもよい。
【００９６】
単語の次元数を低減するのとは対照的に、特徴生成技術は、外部情報源からの背景単語を使用するためにバッグ・オブ・ワーズを拡大する。例えば、ＳａｈａｍｉおよびＨｅｉｌｍａｎ（２００６）は、文書のテキストの特徴に基づくクエリをウェブ検索エンジンに送信し、次いでクエリ毎にウェブから取り出された単語のベクトル間の類似性を計算することによって、短い文書を比較することを提案している。この線に沿ってＳｔｒｕｂｅおよびＰｏｎｚｅｔｔｏ（２００６）ならびにＧａｂｒｉｌｏｖｉｃｈおよびＭａｒｋｏｖｉｔｃｈ（２００７）は、原文書における単語の概念的意味に光を当てる追加的背景単語を導入することを目指して、クエリに出現する単語のセットに対してウィキペディアからの情報をエクスポートする。ＬＳＡと同様に、主要な限界は単語および技術的語句の概念的関係性についての情報の欠如である。
【００９７】
様々な技術が、訓練用セットおよび機械学習アルゴリズムを用いて文書間の関係を検討する。機械学習技術は、情報検索タスク、すなわち転移学習および半教師付き学習、ＥＭアルゴリズム、潜在的意味カーネル、ならびに一般化ベクトル空間モデルに開発され、実現されてきた。機械学習アルゴリズムは、文書のテキストの特徴を文書の分類にマッピングする関数を近似化するのに使用される。そのような近似化は、それらの分類が事前に分かっている文書を含む訓練用セットを用いて実行される。通常の場合、訓練用セットは個々の専門家、エキスパートによって組み立てられる。次いで、機械学習技術が実現され、分類された文書間のテキストのリンクについて学習して、文書とカテゴリとの間のマッピング関数が形成され、訓練セット外で文書を自動的に分類するために使用される。
【００９８】
自然言語の概念的意味を系統的に網羅する訓練用セットの形成は、極めて複雑な作業である。そのような訓練用セットの１例として、単語を概念にグループ化した特別な辞書であるＷｏｒｄＮｅｔがある。単語を概念（Ｓｙｎｓｅｔｓ）にグループ化することに加えて、ＷｏｒｄＮｅｔは概念間の階層関係に関する情報も提供する。この階層関係に基づいて、単語の概念的関係性を測る多くの技術が開発された。ＷｏｒｄＮｅｔの開発はほとんどが手動であり、約２０年かかった。その主な欠点は依然として単語の比較的低い網羅率であり、別の欠点は、単一の単語に割り当てられる概念の多数性である。
【００９９】
本発明の実施形態はエキスパート訓練用セット機械学習システム［ＥＴＳＭ］に基づくものであり、教師付き学習の過程で、関連特許文書の数千のエキスパート評価報告書から科学的文書の関係性について学習する。
【０１００】
本発明の実施形態は技術文書検索エンジン、さらに詳しくは特許文書検索エンジンを提供するが、それに限定されない。それらは、特許文書における単語および技術的語句間の科学的関係に関する情報を提供する新規データベースに立脚している。意味類似性エンジンとは異なり、本発明の実施形態は特許文書のテキストの重複を比較するのではなく、むしろそれらに関連付けられる可能性が高い科学的概念における重複を比較する。
【０１０１】
本発明の実施形態は、米国特許商標庁（ＵＳＰＴＯ）および欧州特許庁（ＥＰＯ）のような特許審査機関の特許審査官の調査報告書から抽出された科学的関連文書の訓練用セットに基づく機械学習システムを開発する。調査報告書は、関連または同一技術を表わす別個の文書に関する独自の情報を含む。特許審査官が特定の請求項を拒絶する場合、審査官は拒絶の説明を提供しなければならず、この説明は通常関連先行技術文書の引用である。ひとたび審査官が特許出願の請求項を先行技術文書に関連付けることができると、関係する２つの文書間に概念的関係を想定することができる。概念的関係は今や、拒絶された特許文書の記述に用いられた単語のセット、および先行技術引例の記述に用いられた単語のセットを含む。
【０１０２】
したがって、本発明の実施形態は特許審査官によって提供された調査および審査報告書を概念リンク知識ベースとして使用する。本書の実施例で使用する、非最終拒絶としても知られる審査官の報告書は、特許出願過程を追跡し文書化するＵＳＰＴＯの包袋セクションからインターネットで直接入手することができる。最初に提出された特許出願からの情報だけが、訓練用セットを提供するために有効とみなされる。請求項はその後に先行技術とは異なるように修正されるので、付与された特許はもはや同じ関係を呈さない。したがって、付与された特許のテキストから同じ発明を記載するために使用される異なる意味について学習する可能性は低下する。他方、特許出願過程中に、特許審査官はどの請求項が概念的に関連先行技術と類似しているかを具体的に決定する。科学的関係性の識別の典拠を提供するシステムのエキスパート入力となるのは、この審査官の決定である。
【０１０３】
拒絶の場合、特許審査官は拒絶された請求項の数および拒絶の理由を示す。ＵＳＰＴＯ審査官による拒絶の最も一般的な理由は新規性（１０２）および自明性（１０３）である。
【０１０４】
パラグラフ３５Ｕ．Ｓ．Ｃ．１０２（ｂ）または１０２（ｅ）下の拒絶
（ｂ）合衆国における特許出願日より１年を超える以前に、その発明が、本邦若しくは外国において特許され、若しくは刊行物に記載されていた場合、又は本邦において公然用いられ若しくは販売されていた場合。
（ｅ）（１）特許出願人による発明前に、その発明が合衆国に提出され第１２２条（ｂ）に基づいて公開された他人の特許出願に記載されていた場合。ただし、第３５１条（ａ）において定義される条約に基づいてなされた国際出願は、合衆国を指定国とする国際出願が当該条約第２１条（２）（ａ）に基づいて英語で公開された場合に限り、本項上、第１２２条（ｂ）に基づいて公開された国内出願と同一の効果を享受するものとする。
【０１０５】
パラグラフ３５Ｕ．Ｓ．Ｃ．１０３（ａ）下の拒絶
発明が第１０２条に規定された如く全く同一のものとして開示又は記載されていない場合であっても、特許を得ようとする発明の主題が全体としてそれに関する技術分野において通常の技術を有する者にその発明のなされた時点において自明であったであろうような場合は特許を受けることができない。特許性は発明のなされ方により否定されることはない。
【０１０６】
引用された先行技術に加えて、特許審査官は、拒絶査定を導いたかもしれない出願および先行技術の様々な技術的態様について、詳細な説明を提供することがある。
【０１０７】
拒絶された出願および特許審査官によって引用された先行技術の組合せは、概念的関係を形成する。この概念的関係は、バッグ・オブ・ワーズ手法に従って、そのテキストの特徴によって表わされる。次いで、テキスト表現に基づく条件付き確率として、根底にある概念を観察する確率を推定するために、学習アルゴリズムが実現される。
【０１０８】
ここで図７を参照すると、それは、概念の訓練用セットが、拒絶された出願のテキストおよび先行技術引例のテキストと組み合わせて、調査または審査報告書からいかに導出されるかを示す簡易ブロック図である。特許文書間の関係性の情報源は、特許審査官によって提供される調査または審査報告書である。各報告書から、特許審査官によって拒絶された出願当初の請求項および引用された先行技術が識別される。拒絶された出願および先行技術の組合せは概念を形成する。
【０１０９】
非最終拒絶：例
以下は、特許出願第１０／２０４１１９号および特許出願第０９／４５１１２７号に対する特許審査官の調査報告書からの請求項拒絶の２つの例である。最初の例は、新規性に基づく２つの請求項の拒絶を示す。これらの請求項は、特許第５４０６０４４号にすでに開示されている。これは、拒絶された請求項に開示されている科学的内容がその先行技術と関連性が高いことを意味する。第２の例は、自明性に基づく拒絶を示す。特許第５７６４４８５号による拒絶に開示された進歩性は、特許性を正当化するのに充分有意義ではない。したがって、ここでもまた、拒絶された請求項の技術的内容は先行技術に類似しすぎている。
2011525673.tif 000003
表１：米国特許出願第１０／２０４１１９号の審査報告書（非最終拒絶）からの抜粋。該出願の請求項は新規性の欠如を理由に特許審査官によって拒絶されている。請求項に開示された発明はすでに特許が付与されている（特許第５４０６０４４号）。この実施例の概念関係は、当初の拒絶された請求項のテキストの特徴および先行技術のテキストの特徴を含む。
2011525673.tif 000004
表２：この図表は、特許出願第０９／４５８１１２７号の審査官報告書（非最終拒絶）の抜粋である。請求項は自明性を理由に特許審査官によって拒絶されている。請求項に開示された発明は、別の特許を付与された発明（特許第５７６４４８５号）に類似しすぎている。この実施例の関係概念は、当初の拒絶された請求項のテキストの特徴および先行技術のテキストの特徴を含む。
【０１１０】
単語および技術的語句間の概念的関係
本発明の方法論は、高度に熟達した分野の専門家（特許審査官）によって技術的に関連すると分類された単語および技術的語句の間に、文書におけるそれらの出現の頻度に基づいて、リンクを形成する。出願−先行技術の対を概念と定義し、同じ先行技術が２つ以上の出願を拒絶するために使用される場合、そのような概念は２つ以上の出願を含むことができることが注目される。訓練用セット外の各特許文書に対し、概念の加重ベクトルを構築し、特許に関連付けられる可能性が高い概念は、高い重みを受け取る。特許文書間の比較は、それらが関連付けられる可能性の高い関係概念のベクトルの類似度に基づいて実行される。したがって、予測される概念ベクトルが高い類似性を示す場合、異なる特許は技術的に関連性が高いと想定される。
【０１１１】
2011525673.tif 000005
【０１１２】
図１０に示す通り、訓練用セットは、拒絶された請求項および関連先行技術の対を含む。各文書（訓練用セット外）および概念に対し、分類状態値（ＣＳＶ）を割り当てる。ＣＳＶは、訓練用セットからの実際の文書の関係性の特許文書のテキストの特徴への投影を表わす。特許対は、それらのＣＳＶベクトルの類似性が高い場合、より強い科学的関係を有すると想定される。
【０１１３】
次に種々の構成要素について詳細に検討する。
【０１１４】
訓練用セットの構築
本発明の実施形態の検索アルゴリズムは１組の技術関連文書を使用し、そこから単語および技術的語句の科学的関係性について学習し、かつ概念の訓練用セットを形成する。訓練用セットは、特許出願自体および専門特許審査官によって評価されたそれらの間の相互接続から構成される。本節では、訓練用セットを構築するためのステップをより詳細に論じる。
【０１１５】
ステージ１：生文書を用意する
ここで図９を参照すると、前述の通り、アルゴリズムは米国特許商標庁（ＵＳＰＴＯ）に提出された特許の出願過程からの情報を使用する。同様の方法論は、欧州特許庁（ＥＰＯ）に提出された特許に対して実現することができる。
【０１１６】
Ｉ．出願文書をダウンロードする
ａ．非最終拒絶と称する審査報告書を、ＵＳＰＴＯの包袋（Ｆｉｌｅ  Ｗｒａｐｐｅｒ）セクションからダウンロードする−ステージ１。２つ以上の非最終拒絶が存在する場合には、最初のものが好ましい。
ｂ．審査報告書が言及する原出願請求項もＵＳＰＴＯの包袋セクションからダウンロードする。出願当初の請求項は、オブジェクションに応答して行なわれる、致命的な連結素材の除去を含むことのある補正を含まない。
【０１１７】
ＩＩ．文書をＩＭＡＧＥフォーマットからＴＸＴフォーマットに変換する
ａ．審査報告書はＵＳＰＴＯによってスキャンされ、画像ファイルとしてウェブにアップロードされる。したがって文書解析の前提条件は、ＯＣＲソフトウェアを用いて文書をＰＤＦのようなテキストフォーマットに変換することである。
ｂ．出願文書は次いでＰＤＦフォーマットからＴＸＴまたは類似のフォーマットに変換することができる。
ｃ．次いで文書は２つの別個の部分、すなわち審査報告書を含む拒絶部分、および当初の出願の請求項を含む請求項部分に分割することができる。
【０１１８】
ＩＩＩ．自動文書解析
ａ．拒絶部分は、拒絶のパターンを識別するためにスキャンされる。そのようなパターンは、拒絶告知、拒絶理由、拒絶の根拠となる文書の特許番号または他の識別文書を含む。
ｂ．ステージ（ａ）の出力は１００件の拒絶のリストに編成される（リストの各行に出願番号、引用特許番号、拒絶請求項の番号、および拒絶理由コードが含まれる）。各リストは、手動的確認のためにＵＳＰＴＯからダウンロードされた原画像ファイルも含む別個のフォルダに追加される。
【０１１９】
ＩＶ．手動文書解析
（ｉ）自動文書解析−ステージ２−の後に、手動解析−ステージ３−が続く。手動解析の主な目的は、自動プロセスの誤りを識別することである。一般的な誤りとして次のようなものがある。
ａ）文書のヘッダおよびフッタから無関係のテキストが含まれる（例えば通し番号、ファイル名等）。
ｂ）スキャンされた文書上の手書きの走り書きまたは行が、テキストファイルでわけの分からない言葉に変換される。
ｃ）文書はＵＳＰＴＯによって低品質にスキャンされることがあり、それは文書テキストの特徴に歪みを引き起こすことがある。
ｄ）数式のみならず分子構造も拙劣に提示されることがある。
ｅ）審査報告書が当初に提出した請求項に言及しており、概念形成が歪められる傾向のある審査前の補正等の請求項に言及していないことを確実にする。
【０１２０】
Ｖ．語幹処理
我々の検索アルゴリズムでは、主に２つの理由から、技術的語句に注意を向ける。第一に、技術的語句は特許文書の要であるので、技術的語句の正しい識別は文書自体の正しい分類の一環である。第二に、文書間のキーワード類似性に依存するテキスト検索の古典的モデルとは異なり、本発明のアルゴリズムは異なる技術的語句の関係性を識別するように意図されている。
（ｉ）自動語幹処理：  受け入れられた語幹処理規則（例えばストップワードを脱落させる、ｉｎｇを除去するなど）に従って単語を語幹処理する。
（ａ）最初の文字が数字である場合、（ｂ）単語に「〜」、「＃」、「±」のような文字が含まれる場合、および（ｃ）単語が数字だけを特徴とする場合、単語は落とされる。
（ｉｉ）技術的語句の手動語幹処理：特許文書は通常、技術的語句の略語を含む。そのような語句は特許の主要な科学的概念を記述する可能性が高い。技術的語句は例えば大文字の使用によって区別されるかもしれない。したがって、単語の最初の文字がアッパケースである場合、特徴は潜在的技術的語句としてタグ付けされる。加えて、他の技術的語句を手動で識別するために全ての単語がスキャンされる（すなわち「Ｊａｖａ（登録商標）Ｂｅａｎ」）。アッパケース単語は、複数形でない限り、語幹処理されない。例えば単語「ＥＴＣｓ」は「ＥＴＣ」に語幹処理され、単語「ＯＬＥＤ」は「ＯＬ」に語幹処理されない。化学元素（すなわちＬｉまたはＣＯ２）もそれらの最初の大文字によって識別され、それらはタグ付けされ、語幹処理されない。
（ｉｉｉ）科学的意味を見出すことのできない略語は脱落させる（大抵の場合、これらの略語は、ＩＭＡＧＥフォーマットからＴＸＴフォーマットへの文書変換時の誤りを表わす）。
【０１２１】
ＶＩ．単語のインデキシングおよび頻度
語幹処理された各単語をインデキシングし、その頻度を計算する。単語の頻度を次の２つのレベルで計算する。
（ｉ）特許レベル−特許レベルの単語の頻度とは、語幹処理された単語が特許の請求範囲に出現する回数である。
（ｉｉ）概念レベル−概念レベルの単語の頻度とは、語幹処理された単語が概念に出現する回数であり、概念は、拒絶された出願の出願当初の請求項および先行技術の請求項に出現する全ての単語を含む。この頻度は、語幹処理された単語が出現する各概念に対して計算される。
【０１２２】
ステージ２：概念および意味関係を計算する
Ｉ．概念関係
ステージ１で構築された訓練用セットに基づいて、単語および技術的語句間の概念リンクを形成する。これらのリンクは、類似の発明を記載するためにどの単語が使用されるかを知らせる「辞書」を形成する。特許対間の概念関係は２つのステップで計算される。第１ステップで各特許のための確率概念ベクトルを形成する。このベクトルの各概念に、特許に関連付けられる確率を表わす０から１の間の値（ＣＳＶ）が割り当てられる。第２ステップで、特許対の概念関係性をそれらの確率概念ベクトルの重複度合として計算する。この手順は、関係性が、意味類似性に基づいてではなく、各特許に含まれる予想される科学的アイデアの類似性に基づいて決定されることを意味する。
【０１２３】
2011525673.tif 000006
【０１２４】
2011525673.tif 000007
【０１２５】
最後に、各特許の確率概念ベクトルを計算した後、特許対の概念類似性が概念ベクトルの重複度合として計算される。概念ベクトルの次元数を低減するために、ＣＳＶでランキングされた上位１００の概念だけを含める。関連付けられる共通の概念数が多い特許対は、科学的関連性が高いと分類される。他のメトリックを使用してもよい。この尺度を洗練させるために、ベクトルにおける概念のランクに従って概念の出現に重みをも加える。したがって、概念ベクトルは、同一概念をより多く含み、かつ概念の類似性ランキングがより高い場合、類似性が高いと想定される。
【０１２６】
次に図１１を参照すると、それは検索プロセスを示している。各技術的語句は他の技術的語句を含む概念に属するので、今やクエリ文書内の技術的語句を識別することができる。語幹処理、辞書のような前に使用されたのと同じ技術を使用して、より一様に語句を得ることができるので、クエリ（開示）に対してＣＳＶを計算することができる。次いで対象文書に対してＣＳＶを計算することができ、次いで対象文書をクエリ文書との関係に従ってランキングすることができ、最も近い文書がユーザに出力される。
【０１２７】
2011525673.tif 000008
【０１２８】
検索結果インタフェース
検索アルゴリズムの出力は、各発明の開示に対して示唆された特許先行技術のリストである。図１２は、開示および検索結果のための主なインタフェースレイアウトを提示する。ユーザが開示テキストの形のクエリを上部ボックス内に挿入すると、下部ボックス内に関連先行技術が提供される。
【０１２９】
開示
検索クエリのための開示は、フリーテキストおよびキーワードの２つの形式で記述することができる。フリーテキスト部分は、ユーザが自然言語で自分の発明を、特定の構造または長さの制限無しに記述することを可能にする。キーワード部分は、発明の技術分野を定義し、かつ検索結果を洗練させることを目指している。検索はフリーテキスト、キーワード、または両方に基づいて実行することができる。フリーテキストに基づく検索は、潜在的により正確な検索結果の取り出しを導くことのできる、より豊富な開示から利益を得る。しかし、フリーテキスト検索の欠点は、技術的な焦点の欠如を招く危険を冒していることであり、それは同様にノイズの多い検索結果を導きかねない。
【０１３０】
検索結果
Ｉ．先行技術の選択
検索を行なう前に、ユーザは取り出された先行技術の特徴を選択する。選択基準は、「先行技術検索」ボタンをクリックしたときに、別個の「ポップアップ」スクリーンに提示される。選択基準は、特許付与年（範囲または特定の年）、出願年（範囲または特定の年）、技術領域（６桁以内のＩＰＣ）、譲受人の名前、および検索結果に現れる先行技術の数を含む。デフォルトは、先行技術の特徴に関して選択せず、（ユーザによって利用可能にされている場合）フリーテキストおよびキーワードの複合検索を実行する。
【０１３１】
ＩＩ．検索結果のレイアウト
検索結果における各先行技術は、特定のオンスクリーン情報を含むことができる。（ｉ）関係性尺度、ここでは、先行技術文書の名称の上の水平バーに星形アイコンとして提示された状態で示される。バーの右端は緑色であり、バーの左端は赤色である。色スペクトルの緑の色調から赤の色調に移動するにつれて、関係性は上昇する。代替例は、関係性を数字または比率として示すことを含む。
（ｉｉ）名称−先行技術の完全な名称を関係性バーの下に列挙することができる。名称は、全文、技術分野、引例等のような詳細な特許情報を含む別個のページにリンクされる。
（ｉｉｉ）主な特許の特徴−特許番号、出願日、および譲受人の名前が名称行の下に現われる。
【０１３２】
プロトタイプは、さらなる解析のために、ユーザが開示および対応する検索結果をＷｏｒｄまたはＥｘｃｅｌのようなオフィスアプリケーションにエクスポートすることを可能にする。
【０１３３】
経験的評価
検索エンジンのプロトタイプの試験では、５００件の特許出願に対し特許審査官によって引用された先行技術を正しく予測する本発明の実施形態に係るアルゴリズムの能力を精査するために、約８０００件の出願および１６５００件の出願−先行技術リンクのサンプルを使用した。
【０１３４】
各出願−先行技術対（訓練用セット外）に対し、１０の対照対を選択する。対照対は実際の対の場合と同じ出願を含み、この出願はプラシーボ先行技術に結び付けられる。プラシーボ先行技術は、実際の先行技術と同じ技術分野（４桁のＩＰＣ）である。我々のアルゴリズムに基づいて、各出願に対し先行技術をランキングし、実際の先行技術が高いランキングを受ける程度を検討する。実験のさらなる詳細については下述する。
【０１３５】
出願の８０パーセント超で、実際の先行技術（すなわち特許審査官によって引用された先行技術）が上位２回の選択に入ることが判明し、出願の６６パーセント超で、実際の先行技術が最初の選択に出現することが明らかになっている。この性能を意味類似性アルゴリズムと比較する。意味アルゴリズムは、出願の４１パーセントだけで実際の先行技術を上位２回の選択でランキングし、最初の選択では約２３パーセントだけである。
【０１３６】
例えば特許第７１８３８０７号「Ｍｅｔｈｏｄ，  ａｐｐａｒａｔｕｓ  ａｎｄ  ｓｙｓｔｅｍ  ｏｆ  ｄｏｍｉｎｏ  ｍｕｌｔｉｐｌｅｘｉｎｇ」（ＩＰＣ  Ｈ０３Ｋ／Ｐｕｌｓｅ  Ｔｅｃｈｎｉｑｕｅ）の出願は、先行技術第４８９９０６６号「ＯＲ−ｔｙｐｅ  ＣＭＯＳ  ｌｏｇｉｃ  ｃｉｒｃｕｉｔ  ｗｉｔｈ  ｆａｓｔ  ｐｒｅｃｈａｒｇｉｎｇ」（ＩＰＣ  Ｇ１１Ｃ  ／Ｓｔａｔｉｃ  Ｓｔｏｒｅｓ）に関連していることが明らかになった。出願の請求項における最頻単語は、［ａｒｒａｎｇｅｍｅｎｔ、ｂｌｏｃｋ、ｃｏｎｎｅｃｔｅｄ、ｄｏｍｉｎｏ、ｏｕｔｐｕｔ、Ｐ−ｃｈａｎｎｅｌ、ｐｒｅｃｏｎｄｉｔｉｏｎｅｄ、Ｎ‐ｃｈａｎｎｅｌ、ｓｔａｔｅ］である。先行技術における最頻単語は、［ＣＭＯＳ、ｃｏｎｎｅｃｔｅｄ、ｄａｔａ、ｌｉｎｅ、ＭＯＳ、ｐｒｅｃｈａｒｇｉｎｇ、ｓｉｎｇｌｅ、ｐｏｒｔｉｏｎｓ、ｔｒａｎｓｉｓｔｏｒ］である。２つの特許が共有している単語は非常に少ないので、それらの意味類似性は低い。それでもなお、検索エンジンは訓練用セットから、技術的語句ＣＭＯＳ（相補型金属酸化膜半導体、トランジスタ型）とＰチャネル（別のトランジスタ型）との間の関係について発見し、強い概念類似性を識別する。ＣＭＯＳおよびＰチャネルの関係性の学習は、特許番号７１６１３８７の特許出願と（審査官によって引用された）先行技術６７７４６９６との間のリンクを通して行なわれた。出願はＰチャネルという語句を含み、先行技術はＣＭＯＳという語句を含む。
【０１３７】
特許情報
実験で使用したデータは、米国特許商標庁（ＵＳＰＴＯ）に由来する。我々は、１９７５年から２００７年までにＵＳＰＴＯで付与された全ての特許の全ての特徴およびテキスト情報を抽出する。特許データベースは２つの部分、すなわち（１）各特許の請求範囲の単語、ならびに（２）特許の特徴、例えば付与および出願日、発明者、譲受人、住所および国籍、他の特許の引例、非特許文献の引例、技術分野の分類（国際特許分類およびＵＳ分類）を含む。全体で特許データベースは４０６万９４１２件の特許を含み、主要技術分野の分布は、化学１９％、コンピュータおよび通信１４％、薬剤および医薬品８％、電気および電子機器１８％、機械２２％であり、残りの特許はその他の技術分野に分類される。
【０１３８】
審査報告書および出願当初の請求項
審査報告書および出願当初の請求項は、ＵＳＰＴＯの包袋セクションに由来する。包袋とは、特許出願過程を追跡する文書の集合である。我々は２つの文書、すなわち（１）非最終拒絶、および（２）出願当初の請求項を使用する。非最終拒絶は、特許出願に対する特許審査官の最初の応答である。典型的には、非最終拒絶は、特許審査官によって拒絶された１組の請求項、および拒絶の根拠となる関連先行技術を指摘する。出願文書は、非最終拒絶文書に言及される、ＵＳＰＴＯに提出された出願当初の請求項を含む。化学および薬剤の分野の出願は通常、分子構造および他の非テキストの特徴を含むので、これらの分野の特許の出願は除外する。
【０１３９】
表３に示す通り、上述した手動および自動処理の後、我々の訓練用セットデータベースは、７９９２個の非最終拒絶および同数の出願当初の請求項を含む。非最終拒絶から、原出願の特徴と先行技術の特徴との間に１６４４４個の概念関係が識別される。平均すると、拒絶された出願は２．０６個の先行技術を引用される。引用された先行技術の４桁のＩＰＣが出願と同一であるのは、審査官の拒絶の約３８．３パーセントだけである。この百分率は、６桁のＩＰＣの場合、約１７パーセントに低下する。これは、先行技術および拒絶が異なる技術分野に属するので、それらが異なるテキスト表現を有する可能性が高いことを意味する。平均すると、出願の提出年と先行技術の特許付与年との間の時間差は４．８２年である。
2011525673.tif 000009
【０１４０】
技術的語句
特許文書は通常、科学的内容を記述する技術的語句を含む。本発明の実施形態の学習アルゴリズムは、意味的に異なるが関連する科学的概念を表わすかもしれない技術的語句間の科学的関係を識別するのに特に重要である。例えばＣｅｌｌｕｌａｒ  Ｄｉｇｉｔａｌ  Ｐａｃｋｅｔ  Ｄａｔａ（セルラ・デジタル・パケット・データ）を表わす技術的語句のＣＤＰＤは、特許第５８０５９９７に記載されたアイデアの要である。
【０１４１】
平均して、１つの概念は１１６個の語幹処理後の単語を含み、先行技術には６８個の単語が出現し、出願の当初の請求項には６２個の単語が出現する。訓練用セットにおける単語および技術的語句の総数は２８２２７個である。これらの単語は１００８万５９１２回出現する。
【０１４２】
表６は、訓練用セットに出現する幾つかの共通する技術的語句の例をまとめたものである。
2011525673.tif 000010
2011525673.tif 000011
【０１４３】
技術的語句およびそれらの意味を手動で識別することが可能である。最初に、大文字で始まる全ての単語を識別する。次に、各単語および略語に対し、種々の技術ソース（例えばＷｉｋｉＰｅｄｉａおよびＡｂｂｒｅｖｉａｔｉｏｎｓ．ｃｏｍ）を利用して、それが技術的語句を表わしているか否かを手動で精査する。このプロセスで４６９９個の技術的語句が残る。表７は関連する技術的語句の幾つかの例をまとめたものである。関係性は、異なる技術的語句が同一概念に共起する程度に基づく。
2011525673.tif 000012
【０１４４】
例えばＳＣＳＩと言う語句は、特許番号７１８１５５３の出願当初の請求項に６回出現する。これらの請求項は、ＳＡＮという語句が３回出現する特許番号７０８０１４０により拒絶された。拒絶された出願と関連先行技術とをリンクさせることによって、これら２つの語句間の科学的関係が識別される。別の例として、特許番号７１８０５５４の出願に１１回出現するＤＭＤという語句、および先行技術６４５６４３２の請求項に８回出現するＣＲＴという語句がある。
【０１４５】
評価
実験設計
前節に記載したデータを使用して我々の概念関係アルゴリズムの性能を試験し、現在の市場解決策で用いられている意味類似性アルゴリズムの性能と比較する。我々のサンプルにおける出願に対して、特許審査官によって引用された先行技術を予測する概念アルゴリズムおよび意味アルゴリズムの能力を精査する。
【０１４６】
各出願−先行技術対（訓練用セット外）に対し、１０の対照対を選択する。対照対は実際の対と同じ出願を含み、この出願はプラシーボ先行技術に結び付けられる。プラシーボ先行技術は、実際の先行技術と同じ技術分野（４桁のＩＰＣ）である。我々のアルゴリズムに基づいて、各出願に対し先行技術をランキングし、実際の先行技術が高いランキングを受ける程度を検討する。
2011525673.tif 000013
【０１４７】
結果
以下の表１０は、実際の拒絶とそれらの対照との間の概念および意味尺度の違いについての平均比較検査を報告する。概念尺度（パネルＡ）の場合、実際の拒絶対に対する平均概念尺度は０．３８であり、対照対に対する平均概念尺度は０．１２である。これは、平均すると実際の拒絶に対する概念尺度が、対照に対する概念尺度より２倍大きいことを意味する。意味尺度（パネルＢ）の場合、実際の拒絶に対する平均意味距離は０．０１５であり、対照に対しては０．０１８である。平均差は１パーセントレベルでは有意である（したがって、実際の拒絶は対照よりかなり大きい類似性を有する）が、概念尺度の場合の２０４パーセントと比較して、平均対照意味尺度の１８パーセントを占めるだけであるので、この差は定量的には大きくない。結果のこのパターンは主要技術分野にわたって頑健である。
2011525673.tif 000014
【０１４８】
テキスト分類文献からの容認された基準を使用して、我々の概念検索エンジンの性能を定義する。各特許対に対し、我々のアルゴリズムを使用して、先行技術が出願を拒絶する理由として特許審査官によって引用されたか否か、または先行技術が対照であるか否かを決定する。各対に対し、それが拒絶関係を表わしているか否か、またはそれが対照であるかどうかは既知である。次いで、我々のアルゴリズムがどの程度に実際の拒絶を対照から正しく識別することができるかを精査する。我々のアルゴリズムが拒絶を正しく識別した回数をａで示し、我々のアルゴリズムが正しい拒絶を識別しなかった回数をｂで示す。表１１のマトリクスは、全ての可能な結果をまとめたものである。
2011525673.tif 000015
【０１４９】
情報検索研究で一般的に使用されるメトリックは、リコールおよび誤りを含む。リコールはａ／（ａ＋ｂ）と定義され、誤りは（ｂ＋ｃ）／（ａ＋ｂ＋ｃ＋ｄ）と定義される。リコールはアルゴリズムが拒絶を正しく識別できる度合を測り、誤りは間違った分類を測る。
【０１５０】
概念および意味尺度の性能を論じる前に、分類規則を論じる。本発明の実験は、特許出願を１１のカテゴリの１つに分類するように試みるものであり、各カテゴリは１つの先行技術文書である。我々の分類規則は次の通りである。各出願に対し、先行技術文書の出願からの距離（意味および概念）に従って先行技術文書をランキングする。次いで、最初のγ個の特許だけを関連先行技術と分類する。アルゴリズムの性能は主に正確な拒絶分類によって、換言すると実際の拒絶が上位γ個の選択された先行技術に現れる回数によって、決定される。
【０１５１】
概念および意味アルゴリズムのリコールおよび誤り
表１２ならびに図１３および１４は、γ＝１に対する概念および意味アルゴリズムの性能、換言すると、最高ランクの先行技術だけを拒絶と分類し他の全ての先行技術を非拒絶と分類するときに達成される性能を報告する。全部で５００の出願を分類する。概念アルゴリズムは３３１の先行技術を正しく分類する。すなわち、３３１の出願に対し、実際の拒絶が最高概念ランクを受ける。対照的に、意味アルゴリズムは１１５の先行技術だけを正しく分類する。すなわち、１１５の出願に対してだけ、実際の先行技術が最高意味ランクを受ける。これらの数字は、概念アルゴリズムのリコール尺度が０．６６（３３１／５００）であり、意味アルゴリズムのリコール尺度がわずか０．２３（１１５／５００）であることを意味する。同様に、概念アルゴリズムの誤り尺度は０．０６１（（１９２＋１９２）／５５００）であり、意味アルゴリズムの誤り率は０．１４（（３８８＋３８８）７５５００）である。
2011525673.tif 000016
【０１５２】
ここで図１５を参照すると、それは異なるγ個のカットオフに対して概念および意味アルゴリズムの正しい分類の累積分布を示す。実際の拒絶の８０パーセント超が概念アルゴリズムによって上位２回の選択でランキングされるのと比較して、意味アルゴリズムでは約４１パーセントにすぎない。
【０１５３】
アルゴリズム性能および訓練用セットのサイズ
上述した性能結果は、我々のデータベースの全ての技術分野に基づいている。訓練用セットのサイズが増大するにつれて、概念アルゴリズムの性能は改善することが期待される。大規模訓練用セットは、概念アルゴリズムが単語および語句間の科学的関係をより多く学習することを可能にし、関連先行技術の識別を改善する。
【０１５４】
次に図１６および１７を参照すると、それらは技術分野毎の概念アルゴリズムの性能を表わす。全技術、電気および電子機器、コンピュータおよび通信、ならびに機械の各々について、図１６は、概念的および意味論的方法間の正しい分類を図表化し、図１７は２つの方法の対応する誤り率を示す。したがって、最大の訓練用セットを持つ技術分野（「電気デジタルデータ処理」）を考慮する。この技術分野は、１９１６件の文書（１２０９件の出願および１５０１件の先行技術）を含む。概念および意味アルゴリズムのリコール率はそれぞれ７８および１８．２であり（図１６）、誤り率はそれぞれ４および１４．９である（図１７）。
【０１５５】
検索モデルのさらなる詳細
以下では、添付の図１８Ａ、１８Ｂ、および１９を参照しながら、可能な検索モデルのさらなる詳細について掲げる。
【０１５６】
既述の通り、特許審査過程に関連する完全な組の文書から抽出が実行される。これらの文書は、用語を類似の技術的意味のカテゴリにグループ化するために使用される。これらのグループ化およびスコアリングアルゴリズムに基づいて、全て図１８Ａに示すように、ユーザ検索クエリで使用される各単語の同義語のリストを作成する。図１８Ａは、本発明の好適な実施形態に従って、検索対象の特許文書のための概念空間を提供し、かつ概念単語の同義語を含む単語をその空間にマッピングするための手順を示す例示的フローチャートである。先行技術引例、原出願、および審査文献は全て、概念空間を定義するために使用される。次いで、加重をもたらすために上述したようにそれらの頻度因子および位置因子に基づいて、単語を概念空間にマッピングすることができる。次いで単語間のスコアを計算することができ、同義語データベースを用いて単語を追加することができる。
【０１５７】
特許出願と特許審査官によって引用された先行技術との間の技術的類似性に関して審査文書に含まれる情報に従って、幾つかのモデルの１つ以上を使用して審査文書を分類する。図１８Ｂは、概念空間を確立する初期ステージ用の検索用語を得るための５つの可能なモデルを示す。以下のモデルは一般的に、ＵＳＰＴＯおよびＥＰＯの審査記録に対して別々に適用される。
【０１５８】
１．初期審査報告書からの情報だけを用語グループ化のために使用する。最初の非最終拒絶は典型的には関連先行技術に関して最も一般的とみなされる。
【０１５９】
２．最後の審査報告書からの情報だけを用語グループ化のために使用する。最後の非最終拒絶は潜在的に、初期非最終拒絶より多くの関連先行技術を包含する。この後に、特許査定通知が続くかもしれない。
【０１６０】
３．さらなる検索モデルは、その後に放棄が続く非最終拒絶を含む。特許出願の放棄につながる先行技術は潜在的に、特許出願に対する関係が特許査定につながる先行技術より大きい。
【０１６１】
４．文書「Ｅｘａｍｉｎｅｒ‘ｓ  ｓｅａｒｃｈ  ｓｔｒａｔｅｇｙ  ａｎｄ  ｒｅｓｕｌｔｓ」から、審査過程中に審査官が使用した実際の検索単語をも識別する。
【０１６２】
５．最後のモデルは、１〜４の情報源の２つ以上からグループ化情報を集約する。
【０１６３】
次に図１９を参照すると、それは本発明の実施形態に使用するための同義語選択のプロセスを示す略図である。ユーザは検索クエリを入力し、同義語データベースから選択するように同義語が提示される。システムは入力された単語から分割することのできる単語および入力された単語の語幹を探索し、次いで結果におけるクエリ語句の加重に基づいて検索を実行する。より有望な同義語は結果においてより大きく加重することができ、あるいは厳密な一致は同義語の一致より大きく加重することができる。いずれにしても、各文書には、検索クエリまたは同義語によって変更された検索クエリの発見に基づいて、総合スコアを与えられる。
【０１６４】
用語は検索結果をランキングするために使用され、次いで最終結果は、より高いランキングおよびしたがって関連性が高いと推定される先行技術を先にリストして、検索結果としてユーザに提出される。
【０１６５】
まとめ
先行技術調査は革新過程および特許範囲の決定のための要である。自動先行技術調査の大きな問題は、特許文書の大規模データセットのテキストの特徴に基づいて科学的関係をいかにして識別するか、である。
【０１６６】
既存の先行技術検索エンジンは、科学的関係性を決定する際に意味類似性に依存する。実際には、そのようなエンジンは、概念関係性が通常意味類似性に結び付かないので、性能が低い。本発明の実施形態は、関連技術の専門的評価の包括的な訓練用セット−特許出願過程の特許審査報告書に基づいて特許文書の科学的関係性を測る検索エンジンを開示する。これらの報告書は、拒絶された特許出願に対して特許審査官によって引用された先行技術についての情報を提供する。機械学習技術を利用し、各特許に含まれる期待される科学的アイデアに基づいて、特許文書の関係性を測る。
【０１６７】
本発明のアルゴリズムの性能を検査するために、拒絶された出願を実際の先行技術にどの程度正しく分類することができるかを精査する。我々のアルゴリズムは、意味類似性アルゴリズムに比べてかなりの改善をもたらす。出願の８０パーセント超に対し、我々のアルゴリズムが実際の先行技術を上位２回の選択でランキングし、出願の６６パーセント超に対し、実際の先行技術が最初の選択でランキングされることが判明している。対照的に、意味アルゴリズムは出願の４２パーセントに対してだけ、上位２回の選択で実際の先行技術をランキングし、最初の選択では約２３パーセントだけである。
【０１６８】
用途
基本的用途は、クエリ文書とのマッチングを探すための特許文献の検索である。クエリ文書は、出願を行なう実現可能性を決定すること、またはベンチャへの投資の妥当性を判断することを目的とする、まだ提出されていない新しい特許出願の提案、または新しい技術系ベンチャ一般の提案であるかもしれない。代替的に、クエリ文書は、ユーザが理由の如何によらず特許庁の認定を予測することを希望する実際の特許出願であるかもしれない。さらなる代替例として、ユーザは実際には、適切な関連先行技術を見つけ出すことを希望する特許庁審査官であるかもしれない。
【０１６９】
さらなる用途では、各クエリ−特許対のスコアが得られた後、スコアを使用して、特許出願の実現可能性に対するリスク、例えば拒絶および訴訟のリスクの尺度を計算することができる。さらに詳しくは、商業用途の１つは、企業ＩＰエキスパートが彼らの特許ポートフォリオを管理するのを助け、彼らの特許を侵害しているかもしれない市場の技術または製品を識別することによって、ライセンス収益を生むことを助けることである。そのような場合、特許文献は技術用語群を見つけるために使用されるが、最終検索は、企業のウェブサイトおよび事業報告書を含む技術文献一般に対して実行されるかもしれない。
【０１７０】
用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」ことを意味する。この用語は、「からなる（ｃｏｎｓｉｓｔｉｎｇ  ｏｆ）」および「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ  ｅｓｓｅｎｔｉａｌｌｙ  ｏｆ）」を包含する。
【０１７１】
本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。
【０１７２】
明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。
【０１７３】
本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。
【０１７４】
本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。
【図３】
2011525673.tif 000017
【図４】
2011525673.tif 000018
【図５】
2011525673.tif 000019
【図６】
2011525673.tif 000020
【図９】
2011525673.tif 000021
【図１０】
2011525673.tif 000022
【図１１】
2011525673.tif 000023
【図１５】
2011525673.tif 000024
【図１８Ａ−Ｂ】
2011525673.tif 000025
【図１９】
2011525673.tif 000026
【図１】
2011525673.tif 000027
【図２】
2011525673.tif 000028
【図７】
2011525673.tif 000029
【図８】
2011525673.tif 000030
【図１２】
2011525673.tif 000031
【図１３】
2011525673.tif 000032
【図１４】
2011525673.tif 000033
【図１６】
2011525673.tif 000034
【図１７】
2011525673.tif 000035
【国際調査報告】
2011525673.tif 000036
2011525673.tif 000037
2011525673.tif 000038