(57)【特許請求の範囲】
【請求項１】
複数の文書を格納する文書記憶手段と、
前記文書記憶手段から文書を入力する文書入力手段と、
前記文書入力手段によって得られた文書から構成要素を抽出する文書構成要素抽出手段と、
各々の文書構成要素が文書中に何個含まれているか計数する文書構成要素計数手段と、
文書構成要素と出現回数とを組にして記憶する文書構成要素記憶手段と、
前記文書構成要素記憶手段から２つの文書に対する、文書構成要素とその出現回数とを入力する文書構成要素入力手段と、
２つの文書を文書Ａと文書Ｂとし、２つの文書に共通に含まれる文書構成要素の文書Ａでの出現回数の総和を、文書Ａの全ての文書構成要素の出現回数の総和によって除算することにより、文書Ｂに対する文書Ａの類似度を算出するとともに、２つの文書に共通に含まれる文書構成要素の文書Ｂでの出現回数の総和を、文書Ｂの全ての文書構成要素の出現回数の総和によって除算することにより、文書Ａに対する文書Ｂの類似度を算出する類似度算出手段とを備えたことを特徴とする文書照合装置。
【請求項２】
請求項１記載の文書照合装置において、
記憶用出現回数閾値設定記憶手段を更に備え、当該記憶用出現回数閾値設定記憶手段から出力される記憶用出現回数閾値以上の出現回数を有する文書構成要素と出現回数とを前記文書構成要素記憶手段に記憶することを特徴とする文書照合装置。
【請求項３】
請求項１記載の文書照合装置において、
類似度算出用出現回数閾値設定手段を更に備え、前記文書構成要素入力手段から文書構成要素と出現回数とを入力して前記類似度算出手段で類似度を算出するときに、類似度算出用出現回数閾値未満の出現回数を有する文書構成要素を類似度の算出に使用しないことを特徴とする文書照合装置。
【請求項４】
請求項１記載の文書照合装置において、
無特徴文書構成要素記憶手段を更に備え、文書構成要素が当該無特徴文書構成要素記憶手段に格納されているときには前記文書構成要素記憶手段に当該文書構成要素と出現回数とを格納しないことを特徴とする文書照合装置。
【請求項５】
請求項１記載の文書照合装置において、
無特徴文書構成要素記憶手段を更に備え、文書構成要素が当該無特徴文書構成要素記憶手段に格納されているときには前記類似度算出手段での類似度の算出において当該文書構成要素と出現回数とを使用しないことを特徴とする文書照合装置。
【請求項６】
請求項１記載の文書照合装置において、
２つの文書の相違度を算出するときに対象となる文書構成要素の出現回数閾値を与えるための相違度算出用出現回数閾値設定記憶手段と、
文書Ａに含まれる文書構成要素について、文書Ａでの出現回数から文書Ｂでの出現回数（ゼロを含む）を減じた差が前記相違度算出用出現回数閾値設定記憶手段から与えられる値以上の文書構成要素についての差の総和をとり、文書Ａの全ての文書構成要素の出現回数の総和によって除算することにより、文書Ｂに対する文書Ａの相違度を算出するとともに、文書Ｂに含まれる文書構成要素について、文書Ｂでの出現回数から文書Ａでの出現回数（ゼロを含む）を減じた差が前記相違度算出用出現回数閾値設定記憶手段から与えられる値以上の文書構成要素についての差の総和をとり、文書Ｂの全ての文書構成要素の出現回数の総和によって除算することにより、文書Ａに対する文書Ｂの相違度を算出する相違度算出手段とを更に備えたことを特徴とする文書照合装置。
【請求項７】
請求項６記載の文書照合装置において、
無特徴文書構成要素記憶手段を更に備え、文書構成要素が当該無特徴文書構成要素記憶手段に格納されているときには前記相違度算出手段での相違度の算出において当該文書構成要素と出現回数とを使用しないことを特徴とする文書照合装置。
【請求項８】
請求項１記載の文書照合装置において、
照合する２つの文書は特許明細書であり、
前記文書入力手段を経由して読み出した特許明細書から国際特許分類（ＩＰＣ）コードを検出する手段と、
２つの文書に同一ＩＰＣコードが含まれているかどうかを検出するＩＰＣコード解析手段とを更に備えたことを特徴とする文書照合装置。
【請求項９】
複数の文書を格納する文書記憶手段と、
前記文書記憶手段から文書を入力する文書入力手段と、
前記文書入力手段によって得られた文書から単語とその品詞を解析する単語解析手段と、
品詞情報を複数持つ単語については品詞情報毎に、各々の単語が文書中に何個含まれているか計数する単語計数手段と、
単語と品詞情報と出現回数とを組にして記憶する単語記憶手段と、
前記単語記憶手段から２つの文書に対する、単語と品詞情報と出現回数とを入力する単語入力手段と、
２つの文書を文書Ａと文書Ｂとし、２つの文書に共通に含まれかつ品詞情報が一致している単語の文書Ａでの出現回数の総和を、文書Ａの全ての単語の出現回数の総和によって除算することにより、文書Ｂに対する文書Ａの類似度を算出するとともに、２つの文書に共通に含まれかつ品詞情報が一致している単語の文書Ｂでの出現回数の総和を、文書Ｂの全ての単語の出現回数の総和によって除算することにより、文書Ａに対する文書Ｂの類似度を算出する類似度算出手段とを備えたことを特徴とする文書照合装置。
【請求項１０】
請求項９記載の文書照合装置において、
記憶用出現回数閾値設定記憶手段を更に備え、当該記憶用出現回数閾値設定記憶手段から出力される記憶用出現回数閾値以上の出現回数を有する単語と品詞情報と出現回数とを前記単語記憶手段に記憶することを特徴とする文書照合装置。
【請求項１１】
請求項９記載の文書照合装置において、
類似度算出用出現回数閾値設定手段を更に備え、前記単語入力手段から単語と出現回数とを入力して前記類似度算出手段で類似度を算出するときに、類似度算出用出現回数閾値未満の出現回数を有する単語を類似度の算出に使用しないことを特徴とする文書照合装置。
【請求項１２】
請求項９記載の文書照合装置において、
無特徴単語記憶手段を更に備え、単語が当該無特徴単語記憶手段に格納されているときには前記単語記憶手段に当該単語と出現回数とを格納しないことを特徴とする文書照合装置。
【請求項１３】
請求項９記載の文書照合装置において、
無特徴単語記憶手段を更に備え、単語が当該無特徴単語記憶手段に格納されているときには前記類似度算出手段での類似度の算出において当該単語と出現回数とを使用しないことを特徴とする文書照合装置。
【請求項１４】
請求項９記載の文書照合装置において、
照合する２つの文書は特許明細書であり、
前記文書入力手段を経由して読み出した特許明細書から国際特許分類（ＩＰＣ）コードを検出する手段と、
２つの文書に同一ＩＰＣコードが含まれているかどうかを検出するＩＰＣコード解析手段とを更に備えたことを特徴とする文書照合装置。
【請求項１５】
請求項９記載の文書照合装置において、
異なる言語間の名詞変換手段を更に備え、照合する２つの文書が異なる言語で記述されているときには、前記類似度算出手段で類似度を算出する前に、前記単語記憶手段から出力された単語に付加された品詞情報から名詞と動詞以外は類似度の算出の対象外とするとともに、
動詞名詞変換手段を更に備え、動詞は対応する名詞に変換し、名詞の出現回数を修正加算したあと、一方の文書に含まれている単語を他方の言語に変換して類似度を算出することを特徴とする文書照合装置。
【請求項１６】
請求項９記載の文書照合装置において、
動詞名詞変換手段を更に備え、名詞と動詞のときのみ、かつ動詞は対応する名詞に変換し、名詞の出現回数を修正加算したあと、前記単語記憶手段に格納することを特徴とする文書照合装置。
【請求項１７】
請求項１６記載の文書照合装置において、
異なる言語間の名詞変換手段を更に備え、照合する２つの文書が異なる言語で記述されているときには、前記類似度算出手段で類似度を算出する前に、前記単語記憶手段から出力された一方の文書に含まれている単語を他方の言語に変換することを特徴とする文書照合装置。
【請求項１８】
請求項９記載の文書照合装置において、
２つの文書の相違度を算出するときに対象となる単語の出現回数閾値を与えるための相違度算出用出現回数閾値設定記憶手段と、
文書Ａに含まれる品詞情報付き単語について、文書Ａでの出現回数から文書Ｂでの出現回数（ゼロを含む）を減じた差が前記相違度算出用出現回数閾値設定記憶手段から与えられる値以上の単語についての差の総和をとり、文書Ａの全ての単語の出現回数の総和によって除算することにより、文書Ｂに対する文書Ａの相違度を算出するとともに、文書Ｂに含まれる品詞情報付き単語について、文書Ｂでの出現回数から文書Ａでの出現回数（ゼロを含む）を減じた差が前記相違度算出用出現回数閾値設定記憶手段から与えられる値以上の単語についての差の総和をとり、文書Ｂの全ての単語の出現回数の総和によって除算することにより、文書Ａに対する文書Ｂの相違度を算出する相違度算出手段とを更に備えたことを特徴とする文書照合装置。
【請求項１９】
請求項１８記載の文書照合装置において、
無特徴単語記憶手段を更に備え、単語が当該無特徴単語記憶手段に格納されているときには前記相違度算出手段での相違度の算出において当該単語と出現回数とを使用しないことを特徴とする文書照合装置。
【請求項２０】
請求項１８記載の文書照合装置において、
異なる言語間の名詞変換手段を更に備え、照合する２つの文書が異なる言語で記述されているときには、前記相違度算出手段で相違度を算出する前に、前記単語記憶手段から出力された単語に付加された品詞情報から名詞と動詞以外は相違度の算出の対象外とするとともに、
動詞名詞変換手段を更に備え、動詞は対応する名詞に変換し、名詞の出現回数を修正加算したあと、一方の文書に含まれている単語を他方の言語に変換して相違度を算出することを特徴とする文書照合装置。
【請求項２１】
請求項１８記載の文書照合装置において、
動詞名詞変換手段を更に備え、名詞と動詞のときのみ、かつ動詞は対応する名詞に変換し、名詞の出現回数を修正加算したあと、前記単語記憶手段に格納することを特徴とする文書照合装置。
【請求項２２】
請求項２１記載の文書照合装置において、
異なる言語間の名詞変換手段を更に備え、照合する２つの文書が異なる言語で記述されているときには、前記相違度算出手段で相違度を算出する前に、前記単語記憶手段から出力された一方の文書に含まれている単語を他方の言語に変換することを特徴とする文書照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば特許文献等の複数文書間の類似度、相違度を算出するための文書照合装置に関するものである。
【０００２】
【従来の技術】
従来、ユーザが入力したキーワードを使用して２つの文書の類似度が算出されてきた。これに対してユーザがキーワードを与えないでも２つの文書の類似度を算出するシステムの例として特開平１１−７３４２２号（名称「類似文書検索システムおよびそれに用いる記憶媒体」）がある。このシステムでは、内部に索引を有し、文書を入力するときに、入力文書のテキストから語を抽出して索引を更新し、索引に登録された語の頻度情報を索引に保持して、頻度の最も大きい語の重要度を１として、一般の語の重要度は頻度の最も大きい語に対する比率で定義している。類似度の算出ではシステムパラメータで指定できる整数をｎとして比較の元となる文書の重要度の高いものからｎ個の語について、２つの文書でのｎ個の語の重要度を使用して類似度が算出されている。類似度の算出では分母に比較の元となる文書でのｎ個の語の重要度の総和をとり、また各ｎ個の語について２つの文書での重要度の小さい値を選び、その総和を分子としている。
【０００３】
【発明が解決しようとする課題】
上記従来のシステムによると最も大きい重要度の語が文書比較において特徴を与えないような語であり、かつ非常に多く使用されている場合には、他のｎ−１個の重要度の値が小さくなり、類似度は小さいと判定されることがある。また、この従来システムは複数言語に対応していない。
【０００４】
本発明の目的は、２つの文書を照合する際に、文書の内容に応じて明確な差が表れる類似度、相違度を算出できるようにすることにある。
【０００５】
本発明の他の目的は、異言語文書の照合にも適用可能な文書照合装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、各文書から構成要素（単一の単語のみならず、単語の一部分、複数の単語が繋がったもの等をも含む。）を抽出した後、各々の文書構成要素の出現回数を求め、文書構成要素と出現回数とを組にして文書構成要素記憶手段に格納し、２つの文書に共通に含まれる文書構成要素の出現回数の各々の総和を各々の文書の全ての文書構成要素の出現回数の総和によって除算することにより各々の文書の類似度を算出するとともに、２つの文書に含まれる文書構成要素の出現回数の差をそれぞれ当該文書構成要素を多く含んでいる方の文書に振り当てて総和をとり、当該総和を各々の文書の全ての文書構成要素の出現回数の総和によって除算することにより相違度を算出する。しかし、これだけでは内容が異なっていても目立った類似度及び相違度の差異が現れないことがあるので、無特徴文書構成要素記憶手段を備えて内容の類似、相違には関係しない語を記憶させ、類似度、相違度の算出の対象から除外している。更に出現回数の少ない文書構成要素は文書の内容が異なっても２つの文書の間で使用されて類似度を高く保つことがあるので、類似度算出用出現回数閾値設定記憶手段を備えて類似度算出用出現回数閾値よりも小さい出現回数の文書構成要素は類似度の算出対象から除く。また、文書の内容に関係なく一方の文書で２、３回多く使われ、これが相違度を大きくすることがあるので、相違度算出用出現回数閾値設定記憶手段を備えて相違度算出用出現回数閾値未満の出現回数の文書構成要素は相違度の算出対象から除く。更に多数の文書構成要素と出現回数とを記憶しなければいけないという点を軽減するために、記憶用出現回数閾値設定記憶手段を備えて、出現回数の少ない文書構成要素は記憶しないこととした。
【０００７】
また本発明では、異なる言語の間では名詞と動詞を対象とし、更に動詞を対応する名詞に変換して最終的には名詞で類似度、相違度を算出することとした。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。ここでは、特許文献の照合の例を説明する。
【０００９】
図１は、本発明の第１の実施形態の構成を示すブロック図である。図１において、１０１は複数の文書を格納する文書記憶手段、１０２は文書入力手段、１０３は文書から構成要素を抽出する文書構成要素抽出手段、１０４は文書構成要素毎の出現回数を計数する文書構成要素計数手段、１０５は文書構成要素と出現回数とを組として記憶する場合に記憶対象となる出現回数閾値を与える記憶用出現回数閾値設定記憶手段、１０６は文書の内容によらずに使用され、文書の内容に関する特徴を表すことのない無特徴文書構成要素を記憶する手段、１０７は文書構成要素と出現回数とを組として記憶する文書構成要素記憶手段、１０８は文書構成要素と出現回数とを組として読み出す文書構成要素入力手段、１０９は類似度算出の対象となる文書構成要素の出現回数閾値を与えるための類似度算出用出現回数閾値設定記憶手段、１１０は２つの文書の構成要素と出現回数から２つの文書の類似度を算出する文書類似度算出手段、１１１は相違度算出の対象となる文書構成要素の出現回数閾値を与えるための相違度算出用出現回数閾値設定記憶手段、１１２は２つの文書の構成要素と出現回数から２つの文書の相違度を算出する文書相違度算出手段、１１３はＩＰＣ（国際特許分類）コードを検出する手段、１１４はＩＰＣコード解析手段である。
【００１０】
外部から新しい文書が文書記憶手段１０１に記憶されるときには文書入力手段１０２が新しく記憶した文書を読み出し、文書構成要素抽出手段１０３で文書から構成要素を抽出する。文書構成要素の抽出には単語辞書を使用しないで、図２に示す文字を空白に置き換えることにより、文書構成要素を互いに分離する。図２において、５２個の英字“  Ａ  ”〜“  ｚ  ”については前後に１文字ずつの空白がある。
【００１１】
日本語において１回の文書走査で最初に被置換文字が見つかったところで処理が終了となるような仕様のコマンドを使用するときには、文書の文字数に等しい回数だけ走査する。これにより、英字が記号として１文字だけ使用されている場合には、英字の前後に空白を挟んだ形となり、この場合も空白に置き換えられる。また、日本語の場合には後述する無特徴文書構成要素のほとんどは平仮名で記述される場合が多く、英語と違って区切り文字（デリミタ）を空白に置き換えることと無特徴文書構成要素を検出することとは同じような処理となるので、本実施形態では特許明細書に共通して用いられる図２中の６個の言葉（“図”〜“請求項”）を文書構成要素抽出段階で削除する。
【００１２】
日本語の場合、図２の文字を空白に置き換える前後によって文がどう変わるか、特開平６−１８７１３２号公報の要約書部分を例として図３に示す。
【００１３】
図３に示した空白に置き換えられた文には単一の単語に分解されたものもあれば、複数の単語が繋がったままのもの、漢字１字もあり、いろいろな形が残っている。よって、単語という表現は避け、文書構成要素と呼ぶことにした。
【００１４】
文書構成要素を抽出したあと、文書構成要素計数手段１０４で文書構成要素毎に出現回数を計数する。記憶用出現回数閾値設定記憶手段１０５に記憶対象となる出現回数閾値を設定しておき、また本実施形態は英文をも対象としていることから、図４、図５及び図６に示すような、文書の内容によらずに使用され、文書の内容に関しての特徴を表すことのない文書構成要素を、無特徴文書構成要素記憶手段１０６に予め格納しておく。
【００１５】
図４、図５及び図６に示す無特徴文書構成要素を削除することによって文書構成要素記憶手段１０７のファイル容量、文書構成要素種類数、文書構成要素総数がどれだけ減少するかを、米国特許６，０００，０００号から６，０００，０１９号までの２０特許の合計値について図７に示す。冠詞を例にとると、文書構成要素種類数が項番０と項番１で６０異なるのは２０件とも図４中の冠詞３個を使用しており、３×２０＝６０個の種類減となる。文書構成要素種類数減少率は０．４％と小さいが文書構成要素総数減少率は１３．３％にもなり、英文特許明細書では冠詞が多く使われていることが分かる。項番５の前置詞及び前置詞句では、種類数減少率は冠詞の約１０倍であり、文書構成要素総数減少率は冠詞とほぼ同じの１４．３％である。
【００１６】
文書構成要素記憶手段１０７には、新しい文書の文書構成要素と出現回数との組が記憶用出現回数閾値設定記憶手段１０５から出力される出現回数閾値以上の出現回数であり、加えて無特徴文書構成要素記憶手段１０６に記憶されていない文書構成要素のときに記憶される。
【００１７】
出現回数についても文書構成要素記憶手段１０７のファイル容量、文書構成要素種類数、文書構成要素総数がどれだけ減少するかを１回以下から１０回以下の場合について、米国特許６，０００，０００号から６，０００，０１９号までの２０特許の合計値を図８に示す。
【００１８】
文書構成要素記憶手段１０７に格納される文書構成要素と出現回数の例を前出の特開平６−１８７１３２号公報の場合について順位を付加して５２番目まで図９に示す。なお、同公報の場合、文書構成要素の種類数は６０９、文書構成要素の総数は１４，９１２である。
【００１９】
同様に英文明細書の例として米国特許６，０００，０００号の場合、文書構成要素の種類数は２６５、文書構成要素の総数は３，２３２であり、文書構成要素と出現回数の５２番目までを図１０に示す。
【００２０】
２つの文書を照合するとき、文書構成要素記憶手段１０７から文書構成要素入力手段１０８が２つの文書の文書構成要素と出現回数との組を読み出し、類似度算出用出現回数閾値設定記憶手段１０９に設定された出現回数閾値以上の出現回数を持つ文書構成要素を類似度算出対象として、文書類似度算出手段１１０では２つの文書の類似度を、２つの文書に共通に含まれる文書構成要素の出現回数の各々の総和を、各々の文書の全ての文書構成要素の出現回数の総和によって除算することにより算出する。
【００２１】
数式を用いて説明すると、ここでは文書Ａの文書構成要素をＥＡ（１）、ＥＡ（２）、…、ＥＡ（ｍ）、及びそれらからなる集合をＳＡとする。また、文書Ａに含まれている文書構成要素の数をＮＡ（ＥＡ（ｉ））（１≦ｉ≦ｍ）で表す。一方、文書Ｂの文書構成要素をＥＢ（１）、ＥＢ（２）、…、ＥＢ（ｎ）、及びそれらからなる集合をＳＢとする。また、文書Ｂに含まれている文書構成要素の数をＮＢ（ＥＢ（ｊ））（１≦ｊ≦ｎ）で表す。ＡのＢに対する類似度は数式１により、またＢのＡに対する類似度は数式２によりそれぞれ与えられる。ただし、類似度算出用出現回数閾値未満の出現回数を持つ文書構成要素は数式１及び数式２の計算において分母、分子ともに使用されない。
【００２２】
【数１】
0003719666.tif 000002
【００２３】
【数２】
0003719666.tif 000003
【００２４】
類似度の算出例を図１１に示す。米国特許６，０００，０００号から６，０００，０１９号までの２０特許の間で互いの類似度を算出したところ、６，０００，０１１号と６，０００，０１２号との間の類似度が１００％近い値となったので、これ以外の組み合わせでの最大値と最小値とを図１１に示した。図１１では無特徴文書構成要素の削除、及び出現回数の少ない文書構成要素の削除の効果を調査する目的で、図１１の削除内容に示すそれぞれの場合について類似度を求めた。文書構成要素を何も削除しないときには、内容が似ていなくても英文に共通して用いられる言葉の影響で類似度が５０％前後の値となり、利用するのに適当とは言えないが、図４〜図６に示した無特徴文書構成要素を全て削除し、出現回数２回以下の文書構成要素を削除したときには６，０００，０００号から６，０００，０１９号までの間の類似度最小値が６．３％、これら２０特許に対する６，０００，０６７号の類似度最小値が０．７％、６，０００，０６７号に対する同２０特許の類似度最小値が１．４％となり、最小値については削除なしの場合よりかなり小さくなる一方、最大値については６，０００，０００号から６，０００，０１９号までの間では約１０％小さくなるだけである。
【００２５】
一方、図１中の文書相違度算出手段１１２では、２つの文書に含まれる文書構成要素の出現回数の差が相違度算出用出現回数閾値設定記憶手段１１１から与えられる値以上の文書構成要素についての差を、それぞれ当該文書構成要素を多く含んでいる方の文書に振り当てて総和をとり、当該総和を各々の文書の全ての文書構成要素の出現回数の総和によって除算することにより、各々の文書の相違度を算出する。
【００２６】
数式を用いて説明すると、ここでも文書Ａの文書構成要素をＥＡ（１）、ＥＡ（２）、…、ＥＡ（ｍ）、及びそれらからなる集合をＳＡとする。また、文書Ａに含まれている文書構成要素の数をＮＡ（ＥＡ（ｉ））（１≦ｉ≦ｍ）で表す。一方、文書Ｂの文書構成要素をＥＢ（１）、ＥＢ（２）、…、ＥＢ（ｎ）、及びそれらからなる集合をＳＢとする。また、文書Ｂに含まれている文書構成要素の数をＮＢ（ＥＢ（ｊ））（１≦ｊ≦ｎ）で表す。相違度算出用出現回数閾値をＴＨとするとき、ＡのＢに対する相違度は数式３により、またＢのＡに対する相違度は数式４によりそれぞれ与えられる。ただし、要素ＥＡ（ｉ）が集合ＳＢに属しないときＮＡ（ＥＡ（ｉ））＝０とし、要素ＥＢ（ｊ）が集合ＳＡに属しないときＮＢ（ＥＢ（ｊ））＝０とする。つまり、２つの文書の少なくとも一方に含まれる文書構成要素について他方には含まれない場合には、他方での出現回数をゼロとするものとする。
【００２７】
【数３】
0003719666.tif 000004
【００２８】
【数４】
0003719666.tif 000005
【００２９】
米国特許６，０００，０１１号と６，０００，０１２号とについて相違度を求めると、
６，０００，０１１号の６，０００，０１２号に対する相違度：１７．７％
６，０００，０１２号の６，０００，０１１号に対する相違度：０．２％
となる。
【００３０】
相違度については次のような利用方法がある。まず、類似度が低いときには２つの文書の内容に共通するところがないと判断されるが、相違度が高いことによってもこのことが裏付けられる。また、類似度が高いときには２つの文書の内容に共通するところがいろいろあることが予想されるが、相違度がほぼ０％の場合には２つの文書の内容がほぼ等しいと予想される。
【００３１】
類似度が１００％近くで相違度が０％から少し離れている場合には、比較対象の文書よりも言葉数をかけて詳しく説明しているか、又は比較対象の文書が取り扱っていない内容を含んでいることが予想される。例えば、米国特許６，０００，０１１号と６，０００，０１２号のテキスト部分については、“RELATED APPLICATION DATA”、“BACKGROUND OF THE INVENTION  1. Field of the Invention”、“Claims”が異なるだけで、上記以外の相違は１１ページ下から６〜７行目に６，０００，０１１号には“in the command buffer 600”が追加されているだけである。６，０００，０１１号のクレームは３３個、シート約４枚、６，０００，０１２号のクレームは１６個、シート約１枚で、クレームの違いが１７．７％、０．２％という相違度の原因となっている。
【００３２】
図１中の文書相違度算出手段１１２では出現回数の差が大きい順に文書構成要素を出力する機能を持たせており、図１２及び図１３のような出力が得られる。ここでは、ＴＨ＝１０としており、図１２は６，０００，０１１号（文献Ａ）での出現回数の方が多い文書構成要素のリストを、図１３は６，０００，０１２号（文献Ｂ）での出現回数の方が多い文書構成要素のリストをそれぞれ示している。各文書構成要素について、「差」は出現回数の差を、「回数Ａ」は文献Ａでの出現回数を、「回数Ｂ」は文献Ｂでの出現回数をそれぞれ表している。
【００３３】
ＩＰＣコード検出手段１１３は、文書入力手段１０２を経由して読み出した特許明細書からＩＰＣコードを検出する。ＩＰＣコード解析手段１１４では、照合する２つの明細書でＩＰＣコードが一致しているかどうか解析して、例えば米国特許６，０００，０１１号と６，０００，０１２号との場合、
６，０００，０１１号：Ｇ０６Ｆ  １３／１４
６，０００，０１２号：Ｇ０６Ｆ  １３／１４
セクション、クラス、サブクラス、グループともに一致
のような解析結果を出力する。
【００３４】
なお、図１中の文書構成要素記憶手段１０７に格納すべき文書構成要素と出現回数とを文書記憶手段１０１の文書中に含ませるようにしてもよい。
【００３５】
図１４は、本発明の第２の実施形態の構成を示すブロック図である。図１４において、２０１は複数の文書を格納する文書記憶手段、２０２は文書入力手段、２０３は和文から単語とその品詞を解析する和文用単語解析手段、２０４は品詞情報を複数持つ単語については品詞情報毎に、各々の単語が文書中に何個含まれているか計数する和文用単語計数手段、２０５は英文から単語とその品詞を解析する英文用単語解析手段、２０６は品詞情報を複数持つ単語については品詞情報毎に、各々の単語が文書中に何個含まれているか計数する英文用単語計数手段、２０７は単語と品詞情報と出現回数とを組として記憶する場合に記憶対象となる出現回数閾値を与える記憶用出現回数閾値設定記憶手段、２０８は文書の内容によらずに使用され、文書の内容に関する特徴を表すことのない和文用無特徴単語を記憶する手段、２０９は文書の内容によらずに使用され、文書の内容に関する特徴を表すことのない英文用無特徴単語を記憶する手段、２１０は単語と品詞情報と出現回数とを組として記憶する単語記憶手段、２１１は単語と品詞情報と出現回数とを組として読み出す単語入力手段、２１２は名詞と動詞のときのみ処理の対象とするとともに動詞は対応する名詞に変換しかつ名詞の出現回数を修正加算する和文用動詞名詞変換手段、２１３は名詞である単語を日本語から英語に変換する名詞和英変換手段、２１４は名詞と動詞のときのみ処理の対象とするとともに動詞は対応する名詞に変換しかつ名詞の出現回数を修正加算する英文用動詞名詞変換手段、２１５は類似度算出の対象となる単語の出現回数閾値を与えるための類似度算出用出現回数閾値設定記憶手段、２１６は２つの文書の単語と出現回数から２つの文書の類似度を算出する文書類似度算出手段、２１７は相違度算出の対象となる単語の出現回数閾値を与えるための相違度算出用出現回数閾値設定記憶手段、２１８は２つの文書の単語と出現回数から２つの文書の相違度を算出する文書相違度算出手段、２１９は和文特許明細書からＩＰＣ（国際特許分類）コードを検出する和文用ＩＰＣコード検出手段、２２０は英文特許明細書からＩＰＣコードを検出する英文用ＩＰＣコード検出手段、２２１はＩＰＣコード解析手段である。
【００３６】
外部から新しい文書が文書記憶手段２０１に記憶されるときには文書入力手段２０２が新しく記憶した文書を読み出し、和文の場合には和文用単語解析手段２０３で文書から単語を抽出し、和文用単語計数手段２０４で品詞情報を伴う単語の出現回数を計数する。他方、文書が英文の場合には英文用単語解析手段２０５で文書から単語を抽出し、英文用単語計数手段２０６で品詞情報を伴う単語の出現回数を計数する。
【００３７】
なお、品詞解析システムとして日本語では、
・奈良先端科学技術大学院大学の日本語形態素解析システム「茶筌」
・東京工業大学の形態素・構文解析用ツールＭＳＬＲパーザ
・京都大学の日本語形態素解析システム  ＪＵＭＡＮ
・ＮＴＴ基礎研究所の形態素解析システム「すもも」
などがあり、英語では、
・米国ジョンホプキンス大学のTrainable Part of Speech Tagger
・米国フランクリン大学のＭＸＰＯＳＴ（Maximum Entropy POS Tagger）
・英国ランカスター大学のＣＬＡＷＳ  part-of-speech tagger
・独国ザールランテ大学のＴｎＴ  --  Statistical Part-of-Speech Tagging
などがある。
【００３８】
第１の実施形態と大きく異なり、和文用単語解析手段２０３では図１５の項番１に示す無特徴な品詞の単語を出現回数の計数の対象外として出力しない。記憶用出現回数閾値設定記憶手段２０７には記憶対象となる出現回数閾値を設定しておき、和文用無特徴単語記憶手段２０８には図１５の項番２に示す特許明細書用無特徴単語、項番３に示す特殊な動詞を格納しておく。英文用無特徴単語記憶手段２０９には、図４〜図６の単語、及び英字を格納しておく。
【００３９】
図１５において和文中の「する」及び「する」の活用形を無特徴な単語としている理由は、次のとおりである。すなわち、特開平９−２９２９９４号公報の特許明細書を単語解析したあと、「する」及び「する」の活用形を削除しないで出現回数の多い順に３０個を図１６に示している。３番目、６番目、１２番目の「する」、「さ」、「し」は「する」及びその活用形であり、非常に出現回数が多い。出現回数が多い理由は「する」は「命令する」、「実行する」、「故障する」などのように名詞に付けて使用される場合が多いからであり、本発明で異なる言語の間では名詞と動詞を対象とし、更に動詞を対応する名詞に変換して最終的には名詞で類似度、相違度を算出する理由もここにある。例を挙げれば、英語の“ｅｘｅｃｕｔｅ”は日本語では「実行」＋「する」となるからである。
【００４０】
さて、単語記憶手段２１０には新しい文書の単語と品詞情報と出現回数との組が、記憶用出現回数閾値設定記憶手段２０７から出力される出現回数閾値以上の出現回数であり、加えて和文の場合には和文用無特徴単語記憶手段２０８に記憶されていない単語のときに、また英文の場合には英文用無特徴単語記憶手段２０９に記憶されていない単語のときにそれぞれ記憶される。
【００４１】
２つの文書を照合するとき、単語記憶手段２１０から単語入力手段２１１が２つの文書の単語と品詞情報と出現回数との組を読み出し、和文用動詞名詞変換手段２１２で和文に対して動詞、名詞、品詞未定義以外の単語は捨てられるとともに動詞は名詞に変換され、更に名詞は名詞和英変換手段２１３によって英語に変換されるとともに品詞未知語の英字単語はそのまま出力される一方、英文用動詞名詞変換手段２１４で英文に対して動詞、名詞、品詞未定義以外の単語は捨てられるとともに動詞は名詞に変換される。
【００４２】
そののち、類似度算出用出現回数閾値設定記憶手段２１５に設定された出現回数閾値以上の出現回数を持つ単語を類似度算出対象として、文書類似度算出手段２１６では、２つの文書に共通に含まれる単語の出現回数の各々の総和を各々の文書の全ての単語の出現回数の総和によって除算することにより、各々の文書の類似度を算出する。また、文書相違度算出手段２１８では、２つの文書に含まれる単語の出現回数の差が相違度算出用出現回数閾値設定記憶手段２１７から与えられる値以上の単語についての差を、それぞれ当該単語を多く含んでいる方の文書に振り当てて総和をとり、当該総和を各々の文書の全ての単語の出現回数の総和によって除算することにより、各々の文書の相違度を算出する。
【００４３】
具体的な類似度の算出例を図１７に、相違度の算出例を図１８にそれぞれ示す。日本国特許公開公報と米国特許公報は、
▲１▼日本国  特開平５−３１３８６１号：▲５▼米国  特許５２７８７８２号
▲２▼日本国  特開平７−１６０４８１号：▲６▼米国  特許５５３７３４５号
▲３▼日本国  特開平９−１６７０９３号：▲７▼米国  特許５７７４７３７号
▲４▼日本国  特開平９−２９２９９４号：▲８▼米国  特許６０２１５１１号
のように対応している。図１７、図１８のそれぞれの値を算出するにあたっては、２つの文書が異なる言語のときのみ、名詞と動詞を対象としている。
【００４４】
なお、▲１▼、▲２▼、▲３▼、▲４▼の発明の名称はそれぞれ、
▲１▼開平演算装置
▲２▼テーブル情報を利用する数学関数演算装置
▲３▼可変語長ＶＬＩＷ命令プロセッサ
▲４▼プロセッサ
のようになっており、▲２▼の数学関数演算装置の例として開平演算装置を含んでいるため、▲１▼と▲２▼の類似度が大きく、また、▲４▼は故障に対して縮退構成で稼動可能なプロセッサの例としてＶＬＩＷ命令プロセッサを含んでいるため、▲３▼と▲４▼の類似度が大きくなっている。
【００４５】
和文と英文の特許明細書に関しては▲１▼と▲５▼、▲２▼と▲６▼、▲３▼と▲７▼、▲４▼と▲８▼がそれぞれ対応するが、日本語の単語を英語の単語に１対１で変換したため、類似度は大きい値になってはいるが９０．０％を越えてはいない。１対Ｎの単語変換に対応できるようシソーラス辞書を導入すれば改善される。
【００４６】
図１４中の和文用ＩＰＣコード検出手段２１９は、文書入力手段２０２を経由して読み出した特許明細書が和文のときにＩＰＣコードを検出し、また英文用ＩＰＣコード検出手段２２０は文書入力手段２０２を経由して読み出した特許明細書が英文のときにＩＰＣコードを検出する。ＩＰＣコード解析手段２２１では、照合する２つの明細書でＩＰＣコードが一致しているかどうか解析して、結果を出力する。
【００４７】
なお、図１４中の単語記憶手段２１０に格納すべき単語と出現回数とを文書記憶手段２０１の文書中に含ませるようにしてもよい。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、文書の内容に関係せず、内容が似ていない文書に対して大きい類似度を与える無特徴文書構成要素と、出現回数の少ない文書構成要素とを類似度及び相違度の算出から除外したことによって、似ているものと似ていないものとの類似度、相違度の差が大きくなり、文書照合装置としての精度を向上させることができる。また、特に相違度によって２つの文書がどの程度異なっているかを数値で表わすことができ、２つの文書が似ていない場合には類似度が低いだけでなくて相違度が高いことによってもこれを裏付け、２つの文書が似ている場合には類似度が高いだけでなく、相違度の値によってほとんど同じなのか、より詳細な記述があるのか、又は別の内容が含まれているのかを推定できるようになる。したがって、本発明の文書照合装置によれば、例えば特許文献サーチにおいて担当者間の熟練度の差異を吸収できる等の効果が得られる。
【００４９】
また、本発明によれば、異なる言語の間では名詞と動詞を対象とし、更に動詞を対応する名詞に変換して最終的には名詞で類似度、相違度を算出することとしたので、異言語文書の照合にも適用可能な文書照合装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る文書照合装置の構成を示すブロック図である。
【図２】図１中の文書構成要素抽出手段の説明図である。
【図３】図１中の文書構成要素抽出手段による抽出結果の一例を示す説明図である。
【図４】図１中の無特徴文書構成要素記憶手段の記憶内容の例を示す説明図である。
【図５】図４に続く説明図である。
【図６】図５に続く説明図である。
【図７】図４〜図６中の無特徴文書構成要素の削除効果を示す説明図である。
【図８】図１中の記憶用出現回数閾値設定記憶手段を設けたことによる効果を示す説明図である。
【図９】ある和文特許文献の場合の図１中の文書構成要素記憶手段の記憶内容の例を示す説明図である。
【図１０】ある英文特許文献の場合の図１中の文書構成要素記憶手段の記憶内容の例を示す説明図である。
【図１１】英文特許文献の場合の図１の文書照合装置による類似度の算出例を示す説明図である。
【図１２】図１の文書照合装置において、ある２つの英文特許文献Ａ及びＢの相違度の算出に用いられた、一方の文献Ａでの出現回数の方が多い文書構成要素のリストを示す説明図である。
【図１３】他方の文献Ｂでの出現回数の方が多い文書構成要素のリストを示す説明図である。
【図１４】本発明の第２の実施形態に係る文書照合装置の構成を示すブロック図である。
【図１５】図１４中の和文用単語解析手段及び和文用無特徴単語記憶手段を用いて照合対象から除外される単語を示す説明図である。
【図１６】図１４中の和文用単語解析手段及び和文用単語計数手段による処理結果の一例を示す説明図である。
【図１７】和文及び英文特許文献の場合の図１４の文書照合装置による類似度の算出例を示す説明図である。
【図１８】和文及び英文特許文献の場合の図１４の文書照合装置による相違度の算出例を示す説明図である。
【符号の説明】
１０１  文書記憶手段
１０２  文書入力手段
１０３  文書構成要素抽出手段
１０４  文書構成要素計数手段
１０５  記憶用出現回数閾値設定記憶手段
１０６  無特徴文書構成要素記憶手段
１０７  文書構成要素記憶手段
１０８  文書構成要素入力手段
１０９  類似度算出用出現回数閾値設定記憶手段
１１０  文書類似度算出手段
１１１  相違度算出用出現回数閾値設定記憶手段
１１２  文書相違度算出手段
１１３  ＩＰＣコード検出手段
１１４  ＩＰＣコード解析手段
２０１  文書記憶手段
２０２  文書入力手段
２０３  和文用単語解析手段
２０４  和文用単語計数手段
２０５  英文用単語解析手段
２０６  英文用単語計数手段
２０７  記憶用出現回数閾値設定記憶手段
２０８  和文用無特徴単語記憶手段
２０９  英文用無特徴単語記憶手段
２１０  単語記憶手段
２１１  単語入力手段
２１２  和文用動詞名詞変換手段
２１３  名詞和英変換手段
２１４  英文用動詞名詞変換手段
２１５  類似度算出用出現回数閾値設定記憶手段
２１６  文書類似度算出手段
２１７  相違度算出用出現回数閾値設定記憶手段
２１８  文書相違度算出手段
２１９  和文用ＩＰＣコード検出手段
２２０  英文用ＩＰＣコード検出手段
２２１  ＩＰＣコード解析手段
【図１】
0003719666.tif 000006
【図２】
0003719666.tif 000007
【図３】
0003719666.tif 000008
【図４】
0003719666.tif 000009
【図５】
0003719666.tif 000010
【図６】
0003719666.tif 000011
【図７】
0003719666.tif 000012
【図８】
0003719666.tif 000013
【図９】
0003719666.tif 000014
【図１０】
0003719666.tif 000015
【図１１】
0003719666.tif 000016
【図１２】
0003719666.tif 000017
【図１３】
0003719666.tif 000018
【図１４】
0003719666.tif 000019
【図１５】
0003719666.tif 000020
【図１６】
0003719666.tif 000021
【図１７】
0003719666.tif 000022
【図１８】
0003719666.tif 000023