【手続補正書】
【提出日】平成17年11月8日(2005.11.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
以下の（ａ）から（ｄ）の手段を有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、前記文書集合の各文書が話題を共通にする程度を示す文書集合共通度を求める装置、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により前記行前記列の成分の値を与えることによって共通共起行列を生成する手段と、
（ｄ）前記共通共起行列の全成分、又は対角成分の和をもとに文書集合共通度を求める手段。
【請求項２】
以下の（ａ）から（d）の手段を有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、各文書もしくは各文書セグメントが前記文書集合に共通する話題にどの程度近いかを示す、文書・文書集合共通度、又は文書セグメント・文書集合共通度を求める装置、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により前記行前記列の成分の値を与えることによって共通共起行列を生成する手段と、
（ｄ）前記文書もしくは文書セグメントの共起行列と共通共起行列の全成分との積和、又は対角成分の積和をもとに、文書・文書集合共通度、又は文書セグメント・文書集合共通度を求める手段。
【請求項３】
以下の（ａ）から（ｅ）の手段を有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、文書集合共通度を算出する装置、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により、但し前記同一行同一列の成分の値が０の場合を除く、不一致許容形の共通共起行列を生成する手段と、
（ｄ）各文書の共起行列の各成分について値がゼロかどうかをチェックし、ゼロでない文書数を計数した共起計数行列を作成する手段と、
（ｅ）共起計数行列の各成分について、値が所定の閾値未満の場合、前記不一致許容形の共通共起行列の対応する成分をゼロとなるように修正し、修正された前記不一致許容形の共通共起行列の全成分、又は対角成分の和をもとに不一致許容形の文書集合共通度を求める手段。
【請求項４】
以下の（ａ）から（ｇ）の手段を有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合から話題の共通する文書を抽出する装置、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により、但し前記同一行同一列の成分の値が０の場合を除く、不一致許容形の共通共起行列を生成する手段と、
（ｄ）各文書の共起行列の各成分について値がゼロかどうかをチェックし、ゼロでない文書数を計数した共起計数行列を作成する手段と、
（ｅ）共起計数行列の各成分について、値が所定の閾値未満の場合、前記不一致許容形の共通共起行列の対応する成分をゼロとなるように修正し、修正された前記不一致許容形の共通共起行列の全成分、又は対角成分の和をもとに不一致許容形の文書集合共通度を求める手段と、
（ｆ）不一致許容形の文書集合共通度がある閾値以上の場合に、各文書について前記各文書の前記共起行列の全成分と前記修正された不一致許容形の共通共起行列の全成分との積和、もしくは各文書の共起行列の対角成分と前記修正された不一致許容形の共通共起行列の対角成分との積和をもとに不一致許容形文書・文書集合共通度を求める手段と、
（ｇ）前記不一致許容形文書・文書集合共通度が所定の閾値を越える文書を話題が共通する文書として抽出する手段。
【請求項５】
前記出現する用語の種類数がMで与えられ、R個の文書からなる文書集合Dにおいて、r番目の文書をDr、Drの文書セグメント数をYr、Drのy番目の文書セグメントベクトルをdry=(dry1,.., dryM)Tとすると、ここで、Tはベクトルの転置を表す、文書Drの前記共起行列S rは、
【数１】
2004164036.tif 000001
で与えられることを特徴とする請求項１から４に記載の装置。
【請求項６】
文書集合Dの共通共起行列SCのmn成分SCmnは、
【数２】
2004164036.tif 000002
で計算されることを特徴とする請求項１から４に記載の装置。
【請求項７】
文書集合Dの共通共起行列SCの各対角成分は対応する用語の各文書の出現頻度の積によって近似することを特徴とする請求項1から４に記載の装置。
【請求項８】
コンピュータを制御して、以下の（ａ）から（ｄ）の手段を動作させ、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、前記文書集合の各文書が話題を共通にする程度を示す文書集合共通度を求めるプログラム、（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により前記行前記列の成分の値を与えることによって共通共起行列を生成する手段と、
（ｄ）前記共通共起行列の全成分、又は対角成分の和をもとに文書集合共通度を求める手段。
【請求項９】
コンピュータを制御して、以下の（ａ）から（ｄ）の手段を動作させ、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、各文書もしくは各文書セグメントが前記文書集合に共通する話題にどの程度近いかを示す、文書・文書集合共通度、又は文書セグメント・文書集合共通度を求めるプログラム、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により前記行前記列の成分の値を与えることによって共通共起行列を生成する手段と、
（ｄ）前記文書もしくは文書セグメントの共起行列と共通共起行列の全成分との積和、又は対角成分の積和をもとに、文書・文書集合共通度、又は文書セグメント・文書集合共通度を求める手段。
【請求項１０】
コンピュータを制御して、以下の（ａ）から（ｅ）の手段を動作させ、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、文書集合共通度を算出するプログラム、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により、但し前記同一行同一列の成分の値が０の場合を除く、不一致許容形の共通共起行列を生成する手段と、
（ｄ）各文書の共起行列の各成分について値がゼロかどうかをチェックし、ゼロでない文書数を計数した共起計数行列を作成する手段と、
（ｅ）共起計数行列の各成分について、値が所定の閾値未満の場合、前記不一致許容形の共通共起行列の対応する成分をゼロとなるように修正し、修正された前記不一致許容形の共通共起行列の全成分、又は対角成分の和をもとに不一致許容形の文書集合共通度を求める手段。
【請求項１１】
コンピュータを制御して、以下の（ａ）から（ｇ）の手段を動作させ、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合から話題の共通する文書を抽出するプログラム、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成する手段と、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成する手段と、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により、但し前記同一行同一列の成分の値が０の場合を除く、不一致許容形の共通共起行列を生成する手段と、
（ｄ）各文書の共起行列の各成分について値がゼロかどうかをチェックし、ゼロでない文書数を計数した共起計数行列を作成する手段と、
（ｅ）共起計数行列の各成分について、値が所定の閾値未満の場合、前記不一致許容形の共通共起行列の対応する成分をゼロとなるように修正し、修正された前記不一致許容形の共通共起行列の全成分、又は対角成分の和をもとに不一致許容形の文書集合共通度を求める手段と、
（ｆ）不一致許容形の文書集合共通度がある閾値以上の場合に、各文書について前記各文書の前記共起行列の全成分と前記修正された不一致許容形の共通共起行列の全成分との積和、もしくは各文書の共起行列の対角成分と前記修正された不一致許容形の共通共起行列の対角成分との積和をもとに不一致許容形文書・文書集合共通度を求める手段と、
（ｇ）前記不一致許容形文書・文書集合共通度が所定の閾値を越える文書を話題が共通する文書として抽出する手段。
【請求項１２】
前記出現する用語の種類数がMで与えられ、R個の文書からなる文書集合Dにおいて、r番目の文書をDr、Drの文書セグメント数をYr、Drのy番目の文書セグメントベクトルをdry=(dry1,.., dryM)Tとすると、ここで、Tはベクトルの転置を表す、文書のDrの前記共起行列をS rが、
【数３】
2004164036.tif 000003
で与えられることを特徴とする請求項８から１１に記載のプログラム。
【請求項１３】
文書集合Dの共通共起行列SCのmn成分SCmnは、
【数４】
2004164036.tif 000004
で計算されることを特徴とする請求項８から１１に記載のプログラム。
【請求項１４】
以下の（ａ）から（ｄ）のステップを有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、前記文書集合の各文書が話題を共通にする程度を示す文書集合共通度を求める方法、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成するステップと、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成するステップと、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により前記行前記列の成分の値を与えることによって共通共起行列を生成するステップと、
（ｄ）前記共通共起行列の全成分、又は対角成分の和をもとに文書集合共通度を求めるステップ。
【請求項１５】
以下の（ａ）から（d）のステップを有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、各文書もしくは各文書セグメントが前記文書集合に共通する話題にどの程度近いかを示す、文書・文書集合共通度、又は文書セグメント・文書集合共通度を求める方法、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成するステップと、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成するステップと、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により前記行前記列の成分の値を与えることによって共通共起行列を生成するステップと、
（ｄ）前記文書もしくは文書セグメントの共起行列と共通共起行列の全成分との積和、又は対角成分の積和をもとに、文書・文書集合共通度、又は文書セグメント・文書集合共通度を求めるステップ。
【請求項１６】
以下の（ａ）から（ｅ）のステップを有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合に対して、文書集合共通度を算出する方法、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成するステップと、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成するステップと、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により、但し前記同一行同一列の成分の値が０の場合を除く、不一致許容形の共通共起行列を生成するステップと、
（ｄ）各文書の共起行列の各成分について値がゼロかどうかをチェックし、ゼロでない文書数を計数した共起計数行列を作成するステップと、
（ｅ）共起計数行列の各成分について、値が所定の閾値未満の場合、前記不一致許容形の共通共起行列の対応する成分をゼロとなるように修正し、修正された前記不一致許容形の共通共起行列の全成分、又は対角成分の和をもとに不一致許容形の文書集合共通度を求めるステップ。
【請求項１７】
以下の（ａ）から（ｇ）のステップを有する、一つまたは複数の文書セグメントを持つ複数の文書から成る文書集合から話題の共通する文書を抽出する方法、
（ａ）前記文書セグメント毎に、前記文書セグメントに出現する用語に対応する成分の値を１、他の値は0とする文書セグメントベクトルを生成するステップと、
（ｂ）前記文書集合の各文書に対して文書セグメントベクトルより共起行列を生成するステップと、
（ｃ）各文書の各共起行列の同一行同一列の成分の値の積により、但し前記同一行同一列の成分の値が０の場合を除く、不一致許容形の共通共起行列を生成するステップと、
（ｄ）各文書の共起行列の各成分について値がゼロかどうかをチェックし、ゼロでない文書数を計数した共起計数行列を作成するステップと、
（ｅ）共起計数行列の各成分について、値が所定の閾値未満の場合、前記不一致許容形の共通共起行列の対応する成分をゼロとなるように修正し、修正された前記不一致許容形の共通共起行列の全成分、又は対角成分の和をもとに不一致許容形の文書集合共通度を求めるステップと、
（ｆ）不一致許容形の文書集合共通度がある閾値以上の場合に、各文書について前記各文書の前記共起行列の全成分と前記修正された不一致許容形の共通共起行列の全成分との積和、もしくは各文書の共起行列の対角成分と前記修正された不一致許容形の共通共起行列の対角成分との積和をもとに不一致許容形文書・文書集合共通度を求めるステップと、
（ｇ）前記不一致許容形文書・文書集合共通度が所定の閾値を越える文書を話題が共通する文書として抽出するステップ。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
により与えられる。さらに一般化して説明を続ける。R文書の場合、文の組み合わせにおいて文書Drからk(r)番目の文が取り出されたとして、共通ベクトルをck(1) k(2) …k(R)=（ ck(1) k(2) …k(R)1,.., ck(1) k(2) …k(R)M)と書くと、ck(1) k(2) …k(R)mはd1k(1)md2k(2)m…dmk(m)mと表わすことが出来るので、SCのmn成分は次の式で与えられる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
式（２）は共通共起行列の各成分は各文書の共起行列の対応する成分同士の積として求められることを示しており、共通共起行列は共通ベクトルを実際に求めることなく得ることができる。また、前述のように、同じ用語が同じ文に2回以上出現しないのであれば、S rmmは文書Drにおける用語mの出現頻度となる。同じ用語が同じ文に2回以上出現する頻度は少ないと考えられるので、SCの各対角成分は対応する用語の各文書の出現頻度の積によって近似することもできる。
文書集合共通度算出38では、各文書の話題がどの程度共通しているかを示すスコアーを算出する。前述のように、本発明では各共通ベクトルで値が1の成分数の全共通ベクトルに対する和、もしくは2乗和をもとに各文書の文書集合共通度を求める。前者を線形モデル、後者を2次モデルと呼ぶ。先ず前者の線形モデルの場合について述べる。各共通ベクトルで値が1の成分数の和をGl(D1, .., DR)とする。これは、
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
のように求める。coml (D;T A)、coms (D;T A)は行列T Aを共通共起行列として用いて求められる文書集合共通度という意味である。coml(D;TR)、coms (D;TR)はcoml (D)、coms (D)とそれぞれ等価である。
ここで、文書集合DではRより少ないB個の文書が話題を共通にしており、他は互いに関連のないものと仮定する。このとき、Aの値がBと等しいか小さければB個の文書に現れる用語の寄与によって行列TAにおいて値が0でない成分の和は大きくなり、不一致許容形の文書集合共通度も大きくなる筈である。一方、AがR 〜B+1の間にあるときは、偶発的にB個以上の文書で現れる用語があったにしてもその用語の各文書内の頻度は高くないものと想定され、TAでの0でない成分の和は小さく、不一致許容形の文書集合共通度も小さいものと考えられる。従って、ブロック49では求められた不一致許容形の文書集合共通度と予め決められた閾値との比較を行い、閾値を越えるときには、行列TAは話題を共有する文書の影響を受けている可能性が高いと判断してブロック50に進む。閾値よりも小さければブロック52に進む。この場合の閾値は実験的に決めておく。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
文書選択では、線形モデルを採用する場合にはcoml(D, Dr;TA)が、2次モデルを採用する場合はcoms(D, Dr;TA)が予め設定された閾値を越える文書を選択する。閾値は実験的に決めておく。
ブロック51では、ブロック50において選択された文書集合の文書集合共通度を算出し、文書集合として話題が共通しているか否かを判断するために閾値処理を行う。選択された文書集合の文書集合共通度は線形モデルを採用する場合には式（４）、2次モデルを採用する場合は式（６）を用いて求めることができる。文書集合共通度が閾値を越える場合、またはA=1の場合には処理を終了し、閾値未満の場合には、ブロック52において不一致許容閾値を小さくなるように変更してブロック49に戻り、処理を続行する。