(57)【特許請求の範囲】
【請求項１】
検索語が入力されると該当する文書を検索するための更新データベースを作成する文書データベース作成装置であって、
入力された全文書を形態素解析し、該形態素解析によって得られる単語のうち、必要な単語のみ選択し、選択された各単語と、各文書の対について、該文書が該単語を含んでいれば、１が割り当てられ、含んでいなければ０が割り当てられているような文書集合と単語集合の関係データベースである原データベースを作成する原データベース作成手段と、
前記文書集合における各文書と前記単語集合における各単語の対について、該文書が該単語を持つ確率推定値を格納するための、前記文書集合と前記単語集合の関係データベースである更新データベースを作成する更新データベース作成手段と、
前記原データベース上の単語が同一な単語と文書の対の集合である単語レコードの中で、回帰分析手段において、未処理の単語レコードを一つ処理対象としてとり、該回帰分析手段において未処理の単語レコードがなければ処理を終了する処理対象単語レコード決定手段と、
前記原データベース上の、前記処理対象単語レコード決定手段で決定した単語レコードの単語を被説明変数とし、それ以外の全ての単語を説明変数とし、各文書を標本として、回帰分析し、被説明変数を説明する尤度が最大となる各説明変数の係数を求め、各文書毎に、前記求めた各説明変数の係数と前記原データベース上の各説明変数の値とを用いて、前記文書集合における各文書が前記被説明変数の単語をもつ確率推定値を求め、該確率推定値を前記更新データベース上の該文書と該単語との間に設定し、前記処理対象単語レコード決定手段における処理に移行する回帰分析手段と、
からなることを特徴とする文書データベース作成装置。
【請求項２】
原データベース作成手段と、更新データベース作成手段と、処理対象単語レコード決定手段と、回帰分析手段とを備え、検索語が入力されると該当する文書を検索するための更新データベースを作成する文書データベース作成装置における文書データベース作成方法であって、
前記原データベース作成手段が、入力された全文書を形態素解析し、該形態素解析によって得られる単語のうち、必要な単語のみ選択し、選択された各単語と、各文書の対について、該文書が該単語を含んでいれば、１が割り当てられ、含んでいなければ０が割り当てられているような文書集合と単語集合の関係データベースである原データベースを作成する原データベース作成過程と、
前記更新データベース作成手段が、前記文書集合における各文書と前記単語集合における各単語の対について、該文書が該単語を持つ確率推定値を格納するための、前記文書集合と前記単語集合の関係データベースである更新データベースを作成する更新データベース作成過程と、
前記処理対象単語レコード決定手段が、前記原データベース上の単語が同一な単語と文書の対の集合である単語レコードの中で、回帰分析過程において未処理の単語レコードを一つ処理対象としてとり、該回帰分析過程において未処理の単語レコードがなければ処理を終了する処理対象単語レコード決定過程と、
前記回帰分析手段が、前記原データベース上の、前記処理対象単語レコード決定過程で決定し、単語レコードの単語を被説明変数とし、それ以外の全ての単語を説明変数とし、各文書を標本として、回帰分析し、被説明変数を説明する尤度が最大となる各説明変数の係数を求め、各文書毎に、前記求めた各説明変数の係数と前記原データベース上の各説明変数の値とを用いて、前記文書集合における各文書が前記被説明変数の単語をもつ確率推定値を求め、該確率推定値を前記更新データベース上の該文書と該単語との間に設定し、前記処理対象単語レコード決定過程の処理に移行する回帰分析過程と、
を行うことを特徴とする文書データベース作成方法。
【請求項３】
検索語が入力されると該当する文書を検索するための更新データベースを作成する文書データベース作成プログラムを格納した記憶媒体であって、
前記請求項２記載の文書データベース作成方法を実現するための処理をコンピュータに実行させるためのプログラムを格納したことを特徴とする文書データベース作成プログラムを格納した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書データベース作成方法及び装置及び文書データベース作成プログラムを格納した記憶媒体に係り、特に、検索語を入力し、該当する文書を検索するための文書データベース作成方法及び装置及び文書データベース作成プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
文書集合と単語集合の関係データベースとしては、各文書と各単語の対に対し、該文書が該単語を含んでいれば１が割り当てられ、含んでいなければ０が割り当てられているようなものがある。また、各文書と各単語の対に対し、該単語が該文書に出現する頻度が割り当てられているようなものがある。
【０００３】
また、ｔｆ・ｉｄｆのように、各文書と各単語の対に対し、該文書における該単語の相対出現頻度と、全文書集合における該単語の逆出現頻度（例えば、文の総数をＧ、該単語が出現する文書の総数をｇとしたときの、相対頻度比log Ｇ／ｇ）の積が割り当てられているようなものがある。
【０００４】
検索語が入力されたときは、その検索語と文書との間の値が正の数であるような文書が検索されることになる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、検索語が入力されたとき、該当する文書であるにも係わらず、その検索語を含んでいないために検索されない文書が存在する可能性がある。この再現率の問題を解決するため、シソーラス等からその検索語の類義語を取り出し、検索語とその類義語でＯＲ検索することによって、再現率を向上させることが行われている。しかし、該当する文書が検索語とその類義語を全く含んでいない場合もあり、完全な解決にならない。
【０００６】
また、検索語が入力されたとき、該当しない文書であるにも関わらず、たまたまその検索語を含んでいるために検索される文書が存在する可能性がある。これは、適合率の問題である。
【０００７】
そもそも単語間の関係には意味的な類似性の高さだけでなく、たとえ意味的に類似でなくとも、同一の文書に出現しやすい傾向にあるといった、共起性の高さもある。
【０００８】
本発明は、上記の点に鑑みなされたもので、単語間の共起性に着目することにより、検索語が入力されたとき、従来問題となっている再現率や適合率を向上させ、検索語に該当する文書を過不足なく検索することを可能とする文書データベース作成方法及び装置及び文書データベース作成プログラムを格納した記憶媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明（請求項１）は、検索語が入力されると該当する文書を検索するための更新データベースを作成する文書データベース作成装置であって、
入力された全文書を形態素解析し、該形態素解析によって得られる単語のうち、必要な単語のみ選択し、選択された各単語と、各文書の対について、該文書が該単語を含んでいれば、１が割り当てられ、含んでいなければ０が割り当てられているような文書集合と単語集合の関係データベースである原データベースを作成する原データベース作成手段と、
文書集合における各文書と単語集合における各単語の対について、該文書が該単語を持つ確率推定値を格納するための、文書集合と単語集合の関係データベースである更新データベースを作成する更新データベース作成手段と、
原データベース上の単語が同一な単語と文書の対の集合である単語レコードの中で、回帰分析手段において、未処理の単語レコードを一つ処理対象としてとり、該回帰分析手段において未処理の単語レコードがなければ処理を終了する処理対象単語レコード決定手段と、
原データベース上の、処理対象単語レコード決定手段で決定した単語レコードの単語を被説明変数とし、それ以外の全ての単語を説明変数とし、各文書を標本として、回帰分析し、被説明変数を説明する尤度が最大となる各説明変数の係数を求め、各文書毎に、求めた各説明変数の係数と原データベース上の各説明変数の値とを用いて、文書集合における各文書が被説明変数の単語をもつ確率推定値を求め、該確率推定値を更新データベース上の該文書と該単語との間に設定し、処理対象単語レコード決定手段における処理に移行する回帰分析手段と、からなる。
図１は、本発明の原理を説明するための図である。
【００１０】
本発明（請求項２）は、原データベース作成手段と、更新データベース作成手段と、処理対象単語レコード決定手段と、回帰分析手段とを備え、検索語が入力されると該当する文書を検索するための更新データベースを作成する文書データベース作成装置における文書データベース作成方法であって、
原データベース作成手段が、入力された全文書を形態素解析し、該形態素解析によって得られる単語のうち、必要な単語のみ選択し、選択された各単語と、各文書の対について、該文書が該単語を含んでいれば、１が割り当てられ、含んでいなければ０が割り当てられているような文書集合と単語集合の関係データベースである原データベースを作成する原データベース作成過程（ステップ１）と、
更新データベース作成手段が、文書集合における各文書と単語集合における各単語の対について、該文書が該単語を持つ確率推定値を格納するための、文書集合と単語集合の関係データベースである更新データベースを作成する更新データベース作成過程（ステップ２）と、
処理対象単語レコード決定手段が、原データベース上の単語が同一な単語と文書の対の集合である単語レコードの中で、回帰分析過程において未処理の単語レコードを一つ処理対象としてとり、該回帰分析過程において未処理の単語レコードがなければ処理を終了する処理対象単語レコード決定過程（ステップ３）と、
回帰分析手段が、原データベース上の、処理対象単語レコード決定過程で決定し、単語レコードの単語を被説明変数とし、それ以外の全ての単語を説明変数とし、各文書を標本として、回帰分析し、被説明変数を説明する尤度が最大となる各説明変数の係数を求め、各文書毎に、求めた各説明変数の係数と原データベース上の各説明変数の値とを用いて、文書集合における各文書が被説明変数の単語をもつ確率推定値を求め、該確率推定値を更新データベース上の該文書と該単語との間に設定し、処理対象単語レコード決定過程の処理に移行する回帰分析過程（ステップ４）と、を行う。
【００１１】
本発明（請求項３）は、検索語が入力されると該当する文書を検索するための更新データベースを作成する文書データベース作成プログラムを格納した記憶媒体であって、
請求項２記載の文書データベース作成方法を実現するための処理をコンピュータに実行させるためのプログラムを格納した記憶媒体である。
【００１２】
上述のように、本発明では、検索語を入力して所望の文書を検索する対象となるデータベースの作成方法において、検索語が入力されても目的の文書が検索されないという問題を解消するために、一文書内において単語の出現頻度をカウントする過程を設けて、その情報をデータベース内の同一文書内に２種類以上の異なる単語が現れ易いという単語間の共起性として利用する。
【００１３】
詳しくは、原データベース上で、一つの単語を被説明変数とし、それ以外の単語を説明変数として回帰分析を行うので、全文書において被説明変数の単語と共起し易い単語を多数含み、共起しにくい単語をあまり含んでいない文書の回帰値は高くなり、共起しやすい単語をあまり含んでおらず、共起しにくい単語を多数含んでいる文書の回帰値は低くなる。本発明では、この回帰値を文書と被説明変数の単語との関連する度合いと見做することにより、被説明変数の単語が検索語のときは、この回帰値が高い文書が検索されることになる。
【００１４】
被説明変数の単語と関連の深い文書は一般に、被説明変数の単語と共起し易い単語を多数含み、共起しにくい単語をあまり含んでいないと考えられるので、例えば、文書が被説明変数の単語を含んでいなくても回帰値は高くなり、被説明変数の単語が検索語のとき、この文書は検索されることになる。つまり、検索語に対応する文書で、検索語やその類義語を含んでいない文書でも、検索でき、再現率の向上が図れる。
【００１５】
また、被説明変数の単語と関連が深くない文書は一般に、被説明変数の単語と共起しやすい単語をあまり含んでおらず、共起しにくい単語を多数含んでいると考えられるので、たとえ文書が被説明変数の単語を含んでいても回帰値は低くなり、被説明変数の単語が検索語のとき、この文書は検索されないことになる。つまり、検索語を含んでいる文書で、検索語に対応しない文書は検索されず、適合率の向上が図れる。
【００１６】
本発明では、このように単語間の共起性に基づいて、文書と単語との関連する度合いを算出するので、従来技術において解決できなかった再現率及び適合率の向上を実現することが可能となる。
【００１７】
【発明の実施の形態】
図２は、本発明の文書データベース作成方法を示すフローチャートである。
【００１８】
ステップ１１０）  原データベースの作成過程：
ステップ１１１）  最初に、全文書を形態素解析する。
【００１９】
ステップ１１２）  ステップ１１１における形態素解析によって得られる単語のうち、必要な単語のみ選択する。
【００２０】
ステップ１１３）  選択された各単語と、各文書の対について、該文書が該単語を含んでいれば、１が割り当てられ、含んでいなければ０が割り当てられているような文書集合と単語集合の関係データベースを作成する。
【００２１】
ステップ１２０）  更新データベース作成過程：
更新後のデータを格納するための、文書集合と単語集合の関係データベースを作成する。
【００２２】
ステップ１３０）  処理対象レコード決定過程：
原データベース上の単語が同一な単語と文書の対の集合である単語レコードの中で、未処理の単語レコードを一つの処理対象としており、未処理単語レコードがなければ処理を終了する。
【００２３】
ステップ１４０）  回帰分析過程：
原データベース上で、前述の処理対象単語レコード決定過程で決定した単語レコードの単語または、単語の出現確率を被説明変数とし、それ以外の単語または、単語の出現確率を説明変数とし、各文書を標本として、回帰分析する。
【００２４】
ステップ１４１）  プロビット回帰分析、または、ロジスティック回帰分析を行う。
【００２５】
ステップ１４２）  回帰分析の結果得られる、各文書が被説明変数の単語をもつ確率値を、更新データベース上の文書と被説明変数の単語との間の値に設定し、処理対象単語レコード決定過程（ステップ１３０）に移行する。
【００２６】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００２７】
［第１の実施例］
本実施例を前述の図２のフローチャートに基づいて説明する。
【００２８】
原データベース作成過程（ステップ１１０）では、全文書を形態素解析し（ステップ１１１）、それによって得られる単語のうち、必要な単語のみを選択し（ステップ１１２）、選択された各単語と、各文書の対について、当該文書が当該単語を含んでいれば１が割り当てられ、含んでいなければ０が割り当てられているような文書集合と単語集合の関係データベースを作成する（ステップ１１３）。
【００２９】
ここで、選択した単語の中で同義語や類義語は同一視して同値類とし、各同値類と各文書の対について、当該文書が当該同値類の中の単語のいずかを含んでいれば、１が割り当てられ、いずれも含んでいなければ、０が割り当てられているような文書集合と同値類の集合の関係データベースを構成してもよい。この方式で関係データベースを構成した場合は、以後の説明では、一同値類のことを一単語と見做すことにする。
【００３０】
図３は、本発明の第１の実施例の原データベースの例を示す。
【００３１】
Ｗr （０≦ｒ≦ｐ）は単語集合であり、Ｔg （１≦ｇ≦ｎ）は文書集合である。Ｋrg（０≦ｒ≦ｐ，１≦ｇ≦ｎ）については、Ｔg がＷr を含んでいるとき、Ｋrg＝１であり、Ｔg がＷr を含んでいないとき、Ｋrg＝０である。
【００３２】
次に、更新データベース作成過程（ステップ１２０）では、更新後のデータを格納するための、文書集合と単語集合の関係データベースを作成する。
【００３３】
図４は、本発明の第１の実施例の更新データベースの例を示す。
【００３４】
同図において、Ｗr （０≦ｒ≦ｐ）は単語集合であり、Ｔg （１≦ｇ≦ｎ）は、文書集合である。Ｋrg* （０≦ｒ≦ｐ，１≦ｇ≦ｎ）は、Ｔg とＷr との間の更新された値であり、ステップ１２０の更新データベース作成過程の時点においては、何も設定されていない。
【００３５】
次に、処理対象単語レコード決定過程（ステップ１３０）では、原データベース上の単語が同一な、単語と文書の対の集合である単語レコードの中で、未処理の単語レコードを一つ処理対象としてとり、未処理単語レコードがなければ本処理を終了する。処理対象の単語レコードが、Ｗt の列、即ち、Ｋtg（１≦ｇ≦ｎ）に決定したとする。
【００３６】
最後に、回帰分析過程（ステップ１４０）では、原データベース上で、前述の処理対象単語レコード決定過程（ステップ１３０）で決定した単語レコードの単語を被説明変数とし、それ以外の単語を説明変数とし、各文書を標本として、プロビット回帰分析または、ロジスティック回帰分析を行い、回帰分析の結果得られる、各文書が被説明変数の単語をもつ確率値を、更新データベース上の当該文書と被説明変数の該単語との間の値に設定し、前述の処理対象単語レコード決定過程に移行する。
【００３７】
図５は、本発明の第１の実施例の回帰分析の対象となる情報を示す。図３における文書Ｔg （１≦ｇ≦ｎ）は、図５において標本となる。
【００３８】
処理対象単語レコードの単語Ｗt が被説明変数Ｙに対応し、Ｙg ＝Ｋtg（１≦ｇ≦ｎ）である。また、それ以外の単語Ｗu （０≦ｕ≦ｔ−１，ｔ＋１≦ｕ≦ｐ）は、被説明変数Ｘi （１≦ｉ≦ｐ）に対応し、
Ｘu+1 ＝Ｗu   （０≦ｕ≦ｔ−１），
Ｘu+1,g ＝Ｗug  （０≦ｕ≦ｔ−１，１≦ｇ≦ｎ），
Ｘu ＝Ｗu （ｔ＋１≦ｕ≦ｐ），
Ｘug＝Ｗug（ｔ＋１≦ｕ≦ｐ，１≦ｇ≦ｎ），
である。
【００３９】
プロット回帰分析または、ロジスティック回帰分析では、Ｙg ＝１となる確率Ｐ（Ｙg ＝１｜Ｘ1g, …, Ｘpg）を求める。
【００４０】
この確率を求めるにあたり、プロビット回帰分析では、標準正規分布関数の累積分布関数
【００４１】
【数１】
0003690266.tif 000002
を考え、ロジスティック回帰分析では、ロジスティック分布関数の累積分布関数
【数２】
0003690266.tif 000003
を考える。
【００４２】
いずれの回帰分析でもこの累積分布関数を用いて、尤度関数
【００４３】
【数３】
0003690266.tif 000004
を考える。ここで、記号
【００４４】
【数４】
0003690266.tif 000005
は、それぞれ、Ｙg ＝１となるｇについての積、及びＹg ＝０となるｇについての積を表す。
【００４５】
尤度関数Ｌ（β0 ，β1 ，…βp ）を最大にさせる（β0 ，β1 ，…βp ）の値を求め、それを、（β’0 ，β’1 ，…β’p ）  とする。これにより、求めるべき確率値Ｐ（Ｙg ＝１｜Ｘ1g，…，Ｘpg）の推定値は、
Ｐ’（Ｙg ＝１｜Ｘ1g，…，Ｘpg）＝Ｆ（β’0 ＋β’1 Ｘ1g＋…＋β’p Ｘpg）となる。
【００４６】
各Ｐ’（Ｙg ＝１｜Ｘ1g，…，ｘpg）（１≦ｇ≦ｎ）を、図４の更新データベース上のＫtg* （１≦ｇ≦ｎ）へ
ｋtg* ＝Ｐ’（Ｙg ＝１｜Ｘ1g，…，Ｘpg）  （１≦ｇ≦ｎ）
となるように格納する。
【００４７】
この後、処理対象単語レコード決定過程に移行する。
【００４８】
［第２の実施例］
次に、本実施例では、検索用データベースの作成方法について説明する。
【００４９】
本実施例は、前述の第１の実施例における原データベース作成過程において、他の方法で関連データベースを生成する。
【００５０】
図６は、本発明の第２の実施例の文書データベースの作成方法を示すフローチャートである。
【００５１】
ステップ２１１）  全文書を形態素解析する。
【００５２】
ステップ２１２）  形態素解析によって得られる単語のうち、必要な単語のみを選択する。
【００５３】
ステップ２１３）  選択された各単語に対して、２つの範疇Ａ，Ｂを設定する。
【００５４】
ステップ２１４）  各単語と各文書の対について当該文書が当該単語を含んでいるかを判断し、含んでいれば、ステップ２１５に移行し、含んでいなければステップ２１７に移行する。
【００５５】
ステップ２１５）  当該単語の範疇Ａと当該文書の対に１を割り当てる。
【００５６】
ステップ２１６）  当該単語の範疇Ｂと当該文書の対に０を割り当て、ステップ２１９に移行する。
【００５７】
ステップ２１７）  当該単語の範疇Ａと当該文書の対に０を割り当てる。
【００５８】
ステップ２１８）  当該単語の範疇Ｂと当該文書の対に１を割り当て、ステップ２１９に移行する。
【００５９】
ステップ２１９）  上記の割り当てにより、文書集合と単語集合の関係データベースを作成する。
【００６０】
ここで、選択した単語の中で、同義語や類義語は同一視して同値類とし、一同値類のことを一単語とみなしてもよい。この場合、各同値類と各文書の対について、当該文書が当該同値類の中の単語のいずれかを含んでいれば、当該同値類の範疇Ａと当該文書の対に１が割り当てられ、当該同値類の範疇Ｂと当該文書の対に０が割り当てられ、いずれも含んでいなけれは、当該同値類の範疇Ａと当該文書の対に０が割り当てられ、当該同値類の範疇Ｂと当該文書の対に１が割り当てられているような関係データベースを作成する。
【００６１】
図７は、本発明の第２の実施例の原データベースの例を示す。
【００６２】
Ｗr （０≦ｒ≦ｐ）は、単語集合であり、各単語Ｗr には範疇Ａ、Ｂが割り当てられている。Ｔg （１≦ｇ≦ｎ）は、文書集合である。Ｌrsg （０≦ｒ≦ｐ，１≦ｓ≦２，１≦ｇ≦ｎ）については、Ｔg がＷr を含んでいるとき、Ｌr1g ＝１、Ｌr2g ＝０であり、Ｔg がＷr を含んでいないときＬr1g ＝０，Ｌr2g ＝１である。
【００６３】
次に、更新データベース作成過程について説明する。
【００６４】
更新データベース作成過程では、更新後のデータを格納するための、文書集合と単語集合の関係データベースを作成する。
【００６５】
前述の図４に示すように、Ｗr （０≦ｒ≦ｐ）は単語集合であり、Ｔg （１≦ｇ≦ｎ）は、文書集合である。Ｋrg* （０≦ｒ≦ｐ，１≦ｇ≦ｎ）は、Ｔg とＷr との間の更新された値であり、更新データベース作成過程の時点においては、何も設定されていない。
【００６６】
次に、処理対象単語レコード決定過程について説明する。
【００６７】
当該処理対象単語レコード決定過程では、原データベース上の単語が同一な、単語と文書の対の集合である単語レコードの中で、未処理の単語レコードを一つ処理対象としてとり、未処理単語レコードがなければ本処理を終了する。処理対象の単語レコードがＷt の列、即ち、Ｌtsg （１≦ｓ≦２，１≦ｇ≦ｎ）に決定したとする。
【００６８】
次に、回帰分析過程について説明する。
【００６９】
回帰分析過程では、原データベース上で、前述の処理対象単語レコード決定過程で決定した単語レコードの単語の範疇Ａを被説明変数とし、それ以外の単語を要因とし、各文書を標本として、数量化分析Ｉ類の回帰分析を行い、回帰分析の結果得られる、各文書と被説明変数の単語の範疇Ａとの間の回帰値を、更新データベース上の当該文書と被説明変数の該単語との間の値に設定し、前述の処理対象単語レコード決定過程に移行する。
【００７０】
図８は、本発明の第２の実施例の回帰分析の対象となる情報を示す。
【００７１】
図７における文書Ｔg （１≦ｇ≦ｎ）は、図８において標本となる。
【００７２】
処理対象単語レコードの単語Ｗt の範疇Ａが被説明変数Ｙに対応し、Ｙg ＝Ｌt1g （１≦ｇ≦ｎ）である。また、それ以外の単語Ｗu （０≦ｕ≦ｔ−１，ｔ＋１≦ｕ≦ｐ）は、要因Ｘi （１≦ｉ≦ｐ）に対応し、各要因Ｘi にも範疇Ａ，Ｂが割り当てられていて、
Ｘu+1 ＝Ｗu （０≦ｕ≦ｔ−１）
Ｘu+1,sg＝Ｌusg （０≦ｕ≦ｔ−１，１≦ｓ≦２，１≦ｇ≦ｎ）
Ｘu ＝Ｗu （ｔ＋１≦ｕ≦ｐ）
Ｘusg ＝Ｌusg （ｔ＋１≦ｕ≦ｐ，１≦ｓ≦２，１≦ｇ≦ｎ）
である。
【００７３】
数量化分析Ｉ類の回帰分析の説明を行うにあたり、以下の行列記号を導入する。
【００７４】
【数５】
0003690266.tif 000006
数量化分析Ｉ類では、ＶとＵが与えられたときに、残差の平方和である、
Ｅ＝（Ｖ−ＵＤ）’（Ｖ−ＵＤ）＝Ｖ’Ｖ−２Ｄ’Ｕ’Ｖ＋Ｄ’Ｕ’ＵＤ
を最小にする
Ｄ”＝［ｄ”ij］      （１≦ｉ≦ｐ，１≦ｊ≦２）
を求め、これから回帰値
ＵＤ”＝［Ｙ”g ］  （１≦ｇ≦ｎ）
を求める。
【００７５】
Ｄ”は、ＥをＤで偏微分して０とおいた式
【００７６】
【数６】
0003690266.tif 000007
即ち、
（Ｕ’Ｕ）Ｄ＝Ｕ’Ｖ        …（１）
を満足する必要がある。
ここで、Ｕ’Ｕは、２ｐ次の行列であるが、
Ｘi1g ＋Ｘi2g ＝１    （１≦ｉ≦ｐ，１≦ｇ≦ｎ）
という関係により、階数は、
２ｐ−（ｐ−１）
となり、｜Ｕ’Ｕ｜＝０となるため、式（１）から直ちに一意にＤを求めることはできない。
【００７７】
そこで、ＵよりＸi （２≦ｉ≦ｐ）の範疇Ａの列を除去した、列の数が２ｐ−（ｐ−１）の行列Ｕ* を考える。
また、Ｄからｄi1（２≦ｉ≦ｐ）を除いた行列Ｄ* を考える。
Ｕ* ，Ｄ* は次のように表される。
【００７８】
【数７】
0003690266.tif 000008
Ｕ* ，Ｄ* に関し、同じ議論を繰り返すことにより、次式を得る。
【００７９】
（Ｕ* ’Ｕ* ）Ｄ* ＝Ｕ* ’Ｖ
これから、（Ｕ* ’Ｕ* ）-1は求めることができ、上式を満足するＤ”* は、
【００８０】
【数８】
0003690266.tif 000009
となる。Ｄ”* よりＤ”は、
【００８１】
【数９】
0003690266.tif 000010
として求まる。
【００８２】
各回帰値Ｙ”g （１≦ｇ≦ｎ）を、図４の更新データベース上のＫtg* （１≦ｇ≦ｎ）へ、
Ｋtg* ＝Ｙ”g （１≦ｇ≦ｎ）
となるように格納する。
【００８３】
この後、処理対象単語レコード決定過程に移行する。
【００８４】
［第３の実施例］
本実施例では、検索用データベースの作成方法について説明する。
【００８５】
本実施例における原データベース作成過程については、前述の第１の実施例のステップ１１２までは同様である。この後、選択された各単語と、各文書の対に対し、当該単語が当該文書に出現する頻度が割り当てられているような文書集合の関係データベースを作成する。
【００８６】
ここで、当該単語が当該文書に出現する頻度は、各単語が当該文書に出現する回数の総和に占める、当該単語の出現回数の割合でもよい。
【００８７】
また、ここで、選択した単語の中で同義語や類義語は同一視して同値類とし、各同値類と各文書の対について、当該同値類の中の各単語が当該文書に出現する頻度の総和が割り当てられているような文書集合と同値類の集合の関係データベースを構成してもよい。この方式で、関係データベースを構成した場合は、以後の説明では、一同値類のことを一単語とみなすことにする。
【００８８】
前述の図３に示す原データベースにおいて、Ｗr （０≦ｒ≦ｐ）は、単語集合であり、Ｔg （１≦ｇ≦ｎ）は文書集合である。Ｋrg（０≦ｒ≦ｐ，１≦ｇ≦ｎ）は、Ｗr がＴg に出現する頻度であり、０以上の数である。
【００８９】
次に、更新データベース作成過程について前述の図４の更新データベースを用いて説明する。
【００９０】
Ｗr （０≦ｒ≦ｐ）は単語集合であり、Ｔg （１≦ｇ≦ｎ）は、文書集合である。Ｋrg* （０≦ｒ≦ｐ、１≦ｇ≦ｎ）は、Ｔg とＷr との間の更新された値であり、更新データベース作成過程の時点においては、何も設定されていない。
【００９１】
次に、処理対象単語レコード決定過程について説明する。
【００９２】
当該処理対象単語レコード決定過程では、原データベース上の単語が同一な、単語と文書の対の集合である単語レコードの中で、未処理の単語レコードを一つ処理対象としてとり、未処理単語レコードがなければ本処理を終了する。処理対象の単語レコードがＷt の列、即ち、Ｋtg（１≦ｇ≦ｎ）に決定したとする。
次に、回帰分析過程では、原データベース上で、処理対象単語レコード決定過程で決定した単語レコードの単語を被説明変数とし、それ以外の単語を説明変数とし、各文書を標本として、重回帰分析を行い、回帰分析の結果得られる、各文書と被説明変数の単語との間の回帰値を、更新データベース上の当該文書と被説明変数の該単語との間の値に設定し、処理対象単語レコード決定過程に移行する。
以下、前述の図５を用いて説明する。
【００９３】
図３における文書Ｔg （１≦ｇ≦ｎ）は、図５において標本となる。
【００９４】
処理対象単語レコードの単語Ｗi が被説明変数Ｙに対応し、Ｙg ＝Ｋtg（１≦ｇ≦ｎ）である。
【００９５】
また、それ以外の単語Ｗu （０≦ｕ≦ｔ−１，ｔ＋１≦ｕ≦ｐ）は、被説明変数Ｘi （１≦ｉ≦ｐ）に対応し、
Ｘu+1 ＝Ｗu           （０≦ｕ≦ｔ−１）
Ｘu+1,g ＝Ｗu,g       （０≦ｕ≦ｔ−１，１≦ｇ≦ｎ）
Ｘu   ＝Ｗu           （ｔ＋１≦ｕ≦ｐ）
Ｘug＝Ｗug            （ｔ＋１≦ｕ≦ｐ，１≦ｇ≦ｎ）
である。
【００９６】
重回帰分析の説明を行うにあたり、以下の行列記号を導入する。
【００９７】
【数１０】
0003690266.tif 000011
重回帰分析では、ＶとＵが与えられた時に、残差の平方和である
Ｅ＝（Ｖ−ＵＤ）’（Ｖ−ＵＤ）＝Ｖ’Ｖ−２Ｄ’Ｕ’Ｖ＋Ｄ’Ｕ’ＵＤ
を最小にする。
【００９８】
Ｄ”＝［ｄ”i ］（０≦ｉ≦ｐ）
を求め、これから回帰値
ＵＤ”＝［Ｙ”g ］（１≦ｇ≦ｎ）
を求める。
【００９９】
Ｄ”は、ＥをＤで偏微分して０とおいた式
【０１００】
【数１１】
0003690266.tif 000012
即ち、
（Ｕ’Ｕ）Ｄ＝Ｕ’Ｖ      …  （１）
を満足する必要がある。
【０１０１】
ここで、｜Ｕ’Ｕ｜≠０であることを仮定すると、（Ｕ’Ｕ）-1が存在して、式（１）を満足するＤ”は、
【０１０２】
【数１２】
0003690266.tif 000013
として求まる。
【０１０３】
各回帰値Ｙ”g （１≦ｇ≦ｎ）を、図４に示す更新データベース上のＫtg* （１≦ｇ≦ｎ）へ、
Ｋtg* ＝Ｙ”g （１≦ｇ≦ｎ）
となるように格納する。
【０１０４】
この後、前述の処理対象単語レコード決定過程に移行する。
【０１０５】
実際に検索する際は、以上のようにして作成した図４の更新データベースに対して行う。例えば、一つの検索語Ｗr （０≦ｒ≦ｐ）が入力された場合、更新データベース上において、Ｋrg* ≧０．５であるようなＴg を検索結果として出力する。
【０１０６】
また、上記の各実施例における、原データベース作成過程、更新データベース作成過程、処理対象単語レコード決定過程、及び回帰分析過程をそれぞれプログラムとして構築し、検索装置として利用されるコンピュータに接続されるディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際に、前記それぞれのプログラムをインストールすることにより、容易に前記原データベース作成過程、更新データベース作成過程、処理対象単語レコード決定過程、回帰分析過程のそれぞれを実施する原データベース作成手段、更新データベース作成手段、処理対象単語レコード決定手段、回帰分析手段をコンピュータ上に構築して本発明を実現できる。
【０１０７】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０１０８】
【発明の効果】
上述のように、本発明によれば、単語間の共起性に基づいて、文書と単語との関連する度合いを算出するので、従来解決できなかった再現率及び適合率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の文書データベース作成方法を示すフローチャートである。
【図３】本発明の第１の実施例の原データベースの例である。
【図４】本発明の第１の実施例の更新データベースの例である。
【図５】本発明の第１の実施例の回帰分析の対象となる情報の例である。
【図６】本発明の第２の実施例の文書データベース作成方法を示すフローチャートである。
【図７】本発明の第２の実施例の原データベースの例である。
【図８】本発明の第２の実施例の回帰分析の対象となる情報の例である。
【図１】
0003690266.tif 000014
【図２】
0003690266.tif 000015
【図３】
0003690266.tif 000016
【図４】
0003690266.tif 000017
【図５】
0003690266.tif 000018
【図６】
0003690266.tif 000019
【図７】
0003690266.tif 000020
【図８】
0003690266.tif 000021