(57)【要約】【課題】文書を、あらかじめ定めたジャンル群の内の該当するジャンルに分類する文書分類を高速に行うことを可能とするベクトル間距離算出装置、ベクトル間距離算出方法、プログラム及び記録媒体を提供することを目的とする。【解決手段】単語と該単語に対応するベクトルの組の集合を格納する単語ベクトルデータベースと、ジャンルと該ジャンルに対応するベクトルの組の集合を格納するジャンルベクトルデータベースと、任意の単語と任意のジャンルに対し、前記単語ベクトルデータベース中の該単語のベクトルと、前記ジャンルベクトルデータベース中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベースに格納する単語・ジャンル間距離算出手段とを有する。【選択図】図２
2010267194.tif 000002
【特許請求の範囲】
【請求項１】
単語と該単語に対応するベクトルの組の集合を格納する単語ベクトルデータベースと、
ジャンルと該ジャンルに対応するベクトルの組の集合を格納するジャンルベクトルデータベースと、
任意の単語と任意のジャンルに対し、前記単語ベクトルデータベース中の該単語のベクトルと、前記ジャンルベクトルデータベース中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベースに格納する単語・ジャンル間距離算出手段とを有することを特徴とするベクトル間距離算出装置。
【請求項２】
文書を入力として、
該文書を単語分割する単語分割手段と、
任意のジャンルに対し、前記単語分割手段で得られた各単語と該ジャンルとの距離を、前記単語・ジャンル間距離データベースから取得し、該文書と該ジャンルとの距離として、該単語と該ジャンルとの該距離の和を算出する文書・ジャンル間距離算出手段とをさらにあわせもつことを特徴とする請求項１記載のベクトル間距離算出装置。
【請求項３】
任意の単語と任意のジャンルに対し、単語と該単語に対応するベクトルの組の集合を格納する単語ベクトルデータベース中の該単語のベクトルと、ジャンルと該ジャンルに対応するベクトルの組の集合を格納するジャンルベクトルデータベース中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベースに格納する単語・ジャンル間距離算出工程を有することを特徴とするベクトル間距離算出方法。
【請求項４】
文書を入力として、
該文書を単語分割し、記憶装置に記憶する単語分割工程と、
任意のジャンルに対し、前記単語分割手段で得られた各単語と該ジャンルとの距離を、前記単語・ジャンル間距離データベースから取得し、該文書と該ジャンルとの距離として、該単語と該ジャンルとの該距離の和を算出し、記憶装置に記憶する文書・ジャンル間距離算出工程とをさらにあわせもつことを特徴とする請求項３記載のベクトル間距離算出方法。
【請求項５】
請求項１または請求項２記載のベクトル間距離算出装置を構成する各手段としてコンピュータを機能させるプログラム。
【請求項６】
請求項１または請求項２記載のベクトル間距離算出装置を構成する各手段としてコンピュータを機能させるプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書を、あらかじめ定めたジャンル群の内の該当するジャンルに分類する文書分類を高速に行うベクトル間距離算出装置、ベクトル間距離算出方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
文書を、あらかじめ定めたジャンル群の内の該当するジャンルに分類する文書分類の手法として、非特許文献1で挙げられているような、単語の意味表現としての概念ベクトルを使用する概念ベース法がある。
【０００３】
概念ベース法では、名詞、用言等の内容語ｋは、コーパスからの単語の共起性に基づく統計処理により、その意味表現としての単語ベクトルｗｋ＝（ｗｋ１，…，ｗｋＮ）で表しておく。ｗｋは長さ１に正規化される場合もある。任意の内容語とそのベクトルの組の集合を単語ベクトルデータベースに格納しておく。
【０００４】
任意の文書は、該文書を構成する内容語のベクトルの平均ベクトルとして表される。すなわち、該文書を構成する内容語がｋ（１≦ｋ≦Ｍ）であったときに、
【０００５】
【数１】
2010267194.tif 000003
【０００６】
と表される。ｄは長さ１に正規化される場合もある。ｄを文書ベクトルと呼ぶ。
【０００７】
あらかじめ分類先のジャンル群を定める。各ジャンルに対し、該ジャンルに相当する正例文書の集合を対応づけておく。各ジャンルは、該ジャンルの正例文書のベクトルの平均ベクトルｇ＝（ｇ１，…，ｇＮ）として表される。ｇは長さ１に正規化される場合もある。ｇをジャンルベクトルと呼ぶ。任意のジャンルとそのベクトルの組の集合をジャンルベクトルデータベースに格納しておく。
【０００８】
分類の入力文書に対し、該文書を構成する内容語がｋ（１≦ｋ≦Ｍ）であったときに、ｋのベクトルを単語ベクトルデータベースから取得し、該文書のベクトル
【０００９】
【数２】
2010267194.tif 000004
【００１０】
を算出する。次に、任意のジャンルに対し、ｄと該ジャンルのベクトルｇとの距離ＤＥ（ｄ，ｇ）を以下の式により算出する。
【００１１】
【数３】
2010267194.tif 000005
【００１２】
距離ＤＥ（ｄ，ｇ）の小さいジャンルを分類結果として出力する。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】別所克人、 内山俊郎、 内山匡著「αダイバージェンスに基づく単語連想と文書分類への適用」信学技報, Vol.108 No.484 PRMU2008-255、pp.105-110、2009年3月
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記概念ベース法では、まず、文書ベクトルｄを算出するのに、（Ｍ−１）×Ｎ回の加算処理を行う。次に、任意のジャンルに対し、ｄと該ジャンルのベクトルｇとの距離ＤＥ（ｄ，ｇ）を算出するのに、Ｎ回の減算・乗算処理と、Ｎ−１回の加算処理を行う。ジャンル数がＬであれば、Ｎ×Ｌ回の乗算処理を含む。ｄは文書が与えられないと決まらないので、分類時に必ずこれだけの計算量を要する。
【００１５】
Ｎとして２０００ほどの値をとると、特にＤＥ（ｄ，ｇ）算出におけるＮ回の乗算処理は時間がかかり、分類速度として問題があった。
【００１６】
本発明は、この課題を解決するために考え出されたものであり、文書を、あらかじめ定めたジャンル群の内の該当するジャンルに分類する文書分類を高速に行うことを可能とするベクトル間距離算出装置、ベクトル間距離算出方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、単語と該単語に対応するベクトルの組の集合を格納する単語ベクトルデータベースと、ジャンルと該ジャンルに対応するベクトルの組の集合を格納するジャンルベクトルデータベースと、任意の単語と任意のジャンルに対し、前記単語ベクトルデータベース中の該単語のベクトルと、前記ジャンルベクトルデータベース中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベースに格納する単語・ジャンル間距離算出手段とを有することを特徴とするベクトル間距離算出装置である。
【００１８】
また、本発明は、上記ベクトル間距離算出装置であって、文書を入力として、該文書を単語分割する単語分割手段と、任意のジャンルに対し、前記単語分割手段で得られた各単語と該ジャンルとの距離を、前記単語・ジャンル間距離データベースから取得し、該文書と該ジャンルとの距離として、該単語と該ジャンルとの該距離の和を算出する文書・ジャンル間距離算出手段とをさらにあわせもつベクトル間距離算出装置である。
【発明の効果】
【００１９】
本発明によって入力文書と各ジャンルとの距離を算出し、距離の昇順にジャンルを順序づけたとき、その順序は、従来の概念ベース法によって導出される順序と同一となる。したがって、同一の分類結果を得ることができる。
【００２０】
本発明では、任意の単語と任意のジャンルとの距離は、分類の事前処理として計算しておく。分類時は、任意のジャンルに対し、入力文書と該ジャンルとの距離を算出するのに、Ｍ−１回の加算処理しか必要としない。ジャンル数がＬであれば、（Ｍ−１）×Ｌ回の加算処理となる。
【００２１】
従来の概念ベース法のＮ×Ｌ回の乗算処理と、本発明の（Ｍ−１）×Ｌ回の加算処理とを比べたとき、次元数Ｎが２０００ほどの値であれば、文書内の内容語数Ｍが２０００を超えることは少なく、また、従来の概念ベース法が時間のかかる乗算処理であるのに対し、本発明は時間のかからない加算処理であるため、本発明は、従来の概念ベース法と比べ、分類時の処理時間が格段に短くなる。
【００２２】
このように、本発明により、従来の概念ベース法と同一の分類結果を出力し、かつ、従来の概念ベース法より高速な分類処理を行うことが可能となる。
【図面の簡単な説明】
【００２３】
【図１】実施例１の説明図である。
【図２】本発明のベクトル間距離算出装置の構成例である。
【図３】単語ベクトルデータベース１４の例を示す図である。
【図４】ジャンルベクトルデータベース１５の例を示す図であり、各ジャンルはジャンルＩＤで示されている。
【図５】単語・ジャンル間距離データベース１６の例を示す図である。
【図６】単語・ジャンル間距離算出手段１１の処理のフローチャートである。
【図７】文書・ジャンル間距離算出手段１３の処理のフローチャートである。
【発明を実施するための形態】
【００２４】
発明を実施するための形態は、以下の実施例である。
【実施例１】
【００２５】
本発明の構成について説明する前に、本発明の考え方について説明する。
【００２６】
分類の入力文書を構成する内容語がｋ（１≦ｋ≦Ｍ）であったとき、
単語ｋのベクトルｗｋ＝（ｗｋ１，…，ｗｋＮ）  １≦ｋ≦Ｍ
とする。ベクトル間の距離尺度として、カルバック・ライブラー距離やαダイバージェンスをとる場合、ベクトルは確率ベクトルであり、各成分の和は1 となる。
【００２７】
【数４】
2010267194.tif 000006
【００２８】
該入力文書のベクトルは、ベクトル間の距離尺度としてユークリッド距離やカルバック・ライブラー距離をとる場合、
【００２９】
【数５】
2010267194.tif 000007
【００３０】
と表される。ベクトル間の距離尺度として、カルバック・ライブラー距離をとる場合、ベクトルは確率ベクトルであるが、ｄの各成分の和は、以下に示すように、この条件を満たすように１となっている。
【００３１】
【数６】
2010267194.tif 000008
【００３２】
該入力文書のベクトルは、ベクトル間の距離尺度としてαダイバージェンスをとる場合、
【００３３】
【数７】
2010267194.tif 000009
【００３４】
と表される。ベクトル間の距離尺度として、αダイバージェンスをとる場合、ベクトルは確率ベクトルであるが、ｄの各成分の和は、以下に示すように、この条件を満たすように１となっている。
【００３５】
【数８】
2010267194.tif 000010
【００３６】
ジャンルのベクトルを、
ジャンルベクトル  ｇ＝（ｇ１，…，ｇＮ）
として表す。ジャンルベクトルは、任意に定めても本発明による計算効率化は成り立つ。一般的には、該ジャンルの正例文書のベクトルの平均ベクトルとして算出する（正例文書ベクトルの算出は、上述の入力文書ベクトルの算出と同一である）。ベクトル間の距離尺度として、カルバック・ライブラー距離やαダイバージェンスをとる場合は、ベクトルは確率ベクトルであるが、ｇをそのように算出するとき、ｇの各成分の和は、この条件を満たすように１となっている。
【００３７】
以下、ベクトル間の距離尺度としてユークリッド距離、カルバック・ライブラー距離、αダイバージェンスをとったときに、本発明によっていかに計算効率化が図れるかを説明する。
【００３８】
ベクトル間の距離尺度としてユークリッド距離をとったときを述べる。
【００３９】
入力文書ベクトルｄとジャンルベクトルｇとのユークリッド距離は、
【００４０】
【数９】
2010267194.tif 000011
【００４１】
と表される。
【００４２】
一方、
【００４３】
【数１０】
2010267194.tif 000012
【００４４】
であり、上記２式の右辺の差は、以下のようになる。
【００４５】
【数１１】
2010267194.tif 000013
【００４６】
したがって、以下の式が成り立つ。
【００４７】
【数１２】
2010267194.tif 000014
【００４８】
ｄを固定したとき、ジャンルｇ，ｇ’に対し、
【００４９】
【数１３】
2010267194.tif 000015
【００５０】
ならばＤＥ（ｄ，ｇ）≦ＤＥ（ｄ，ｇ’）が成り立つ。したがって、文書とジャンルとの距離として、該文書を構成する内容語と該ジャンルとの距離の和
【００５１】
【数１４】
2010267194.tif 000016
【００５２】
をとることができる。
【００５３】
ベクトル間の距離尺度としてカルバック・ライブラー距離をとったときを述べる。
【００５４】
入力文書ベクトルｄとジャンルベクトルｇとのカルバック・ライブラー距離は、
【００５５】
【数１５】
2010267194.tif 000017
【００５６】
と表される。これは以下のように変形できる。
【００５７】
【数１６】
2010267194.tif 000018
【００５８】
ｄを固定したとき、ジャンルｇ，ｇ’に対し、
【００５９】
【数１７】
2010267194.tif 000019
【００６０】
ならばＤＫ（ｄ，ｇ）≦ＤＫ（ｄ，ｇ’）が成り立つ。したがって、文書とジャンルとの距離として、該文書を構成する内容語と該ジャンルとの距離の和
【００６１】
【数１８】
2010267194.tif 000020
【００６２】
をとることができる。
【００６３】
ベクトル間の距離尺度としてαダイバージェンスをとったときを述べる。
【００６４】
入力文書ベクトルｄとジャンルベクトルｇとのαダイバージェンスは、
【００６５】
【数１９】
2010267194.tif 000021
【００６６】
と表される。これは以下のように変形できる。
【００６７】
【数２０】
2010267194.tif 000022
【００６８】
一方、
【００６９】
【数２１】
2010267194.tif 000023
【００７０】
であり、したがって、
【００７１】
【数２２】
2010267194.tif 000024
【００７２】
となる。ｄを固定したとき、ジャンルｇ，ｇ’に対し、
【００７３】
【数２３】
2010267194.tif 000025
【００７４】
ならばＤα（ｄ，ｇ）≦Ｄα（ｄ，ｇ’）が成り立つ。したがって、文書とジャンルとの距離として、該文書を構成する内容語と該ジャンルとの距離の和
【００７５】
【数２４】
2010267194.tif 000026
【００７６】
をとることができる。
【００７７】
ベクトル間の距離尺度がユークリッド距離で、ジャンルベクトルｇの長さが常に１に正規化されている（||ｇ||＝１）場合、以下が成り立つ。以下でｓｄはｄをｓ（＞０）倍したベクトルである。
【００７８】
ＤＥ（ｄ,ｇ）≦ＤＥ（ｄ,ｇ'）ならばＤＥ（ｓｄ,ｇ）≦ＤＥ（ｓｄ,ｇ'）    （＊）
これは図１を使って以下のように説明できる。ベクトルｇ，ｇ’と原点０を通る平面をＵとし、ｇ，ｇ’の中点において直線ｇｇ’と垂直に交わる平面をＶとしたとき、Ｖは０を通る。ＤＥ（ｄ，ｇ）＝ＤＥ（ｄ，ｇ’）のとき、ｄはＶ上にあり、ｓｄもＶ上にあるので、ＤＥ（ｓｄ，ｇ）＝ＤＥ（ｓｄ，ｇ’）が成り立つ。ＤＥ（ｄ,ｇ）＜ＤＥ（ｄ,ｇ'）のとき、ｄは、Ｖによって２分される空間の一方（Ｗとする）にあり、ｓｄもＷにあるので、ＤＥ（ｓｄ，ｇ）＜ＤＥ（ｓｄ，ｇ’）が成り立つ。
【００７９】
（＊）の命題が成り立つことから、ｄを固定したとき、ジャンルｇ，ｇ’に対し、
【００８０】
【数２５】
2010267194.tif 000027
【００８１】
ならばＤＥ（ｓｄ,ｇ）≦ＤＥ（ｓｄ,ｇ'）が成り立つ。したがって、文書ベクトルの長さを１に正規化する場合（||ｓｄ||＝１）でも、文書とジャンルとの距離として、該文書を構成する内容語と該ジャンルとの距離の和
【００８２】
【数２６】
2010267194.tif 000028
【００８３】
をとることができる。
【００８４】
このことは、ベクトル間の距離尺度がユークリッド距離で、単語ベクトル、文書ベクトル、ジャンルベクトルの長さが常に１に正規化されている場合は、以下のように直接的に示すこともできる。
【００８５】
【数２７】
2010267194.tif 000029
【００８６】
とする。ｒは||ｄ||＝１となるように定められ、ｒ＞０である。
【００８７】
【数２８】
2010267194.tif 000030
【００８８】
したがって、以下の式が成り立つ。
【００８９】
Ｘ＝ｒＹ−２ｒＭ＋２
ｄを固定したとき、ジャンルｇ，ｇ’に対し、
【００９０】
【数２９】
2010267194.tif 000031
【００９１】
ならばＤＥ（ｄ，ｇ）≦ＤＥ（ｄ，ｇ’）が成り立つ。したがって、文書とジャンルとの距離として、該文書を構成する内容語と該ジャンルとの距離の和
【００９２】
【数３０】
2010267194.tif 000032
【００９３】
をとることができる。
【００９４】
このように、文書とジャンルとの距離を、該文書を構成する内容語と該ジャンルとの距離の和で表せるため、請求項１のように、分類の事前処理として、あらかじめ任意の単語と任意のジャンルとの距離を計算し、その結果を保持しておく。分類時は、請求項２のように、任意のジャンルに対し、入力文書中の内容語と該ジャンルとの、すでに算出済みの距離の和をとる。このようにして分類処理の高速化が図れる。
【００９５】
以下、図面とともに本発明の一実施例を説明する。
【００９６】
図２は、本発明のベクトル間距離算出装置の構成例である。
【００９７】
単語・ジャンル間距離算出手段１１までの処理が分類の事前処理であり、請求項１に対応する。
【００９８】
単語・ジャンル間距離算出手段１１は、任意の単語と任意のジャンルに対し、単語ベクトルデータベース１４中の該単語のベクトルと、ジャンルベクトルデータベース１５中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベース１６に格納する。
【００９９】
単語ベクトルデータベース１４は、単語とその意味表現である単語ベクトルの組の集合からなる。図３は、単語ベクトルデータベース１４の例を示す図である。単語としては、名詞、用言等の内容語が格納されており、用言は終止形で格納されている。各単語には、Ｎ次元の単語ベクトルが対応付けられている。単語ベクトルデータベース１４では、意味の近い単語の単語ベクトルは距離が近くなるように、各単語に単語ベクトルが対応付けられている。単語をキーとして単語ベクトルデータベース１４を検索することにより、該単語の単語ベクトルを取得することができる。
【０１００】
単語ベクトルデータベースの例としては、特開平６−１０３３１５号公報の「類似性判別装置」や、特開平７−３０２２６５号公報の「類似性判別用データ精錬方法およびこの方法を実施する装置」で開示されているデータベースがある。
【０１０１】
また、Deerwesterの論文（S. Deerwester, S. T. Dumais, G. W. Furnas, T. K. Landauer and R. Harshman,Indexing by Latent Semantic Analysis, Journal of the American Society for Information Science,pp.391-407, 1990.）では、単語の文書における頻度を記録した単語・文書間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も単語ベクトルデータベースの一例である。Schutzeの論文（H. Schutze, Dimensions of Meaning, Proc. of Supercomputing '92, pp.786-796, 1992.）では、コーパス中の単語間の共起頻度を記録した単語・単語間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も単語ベクトルデータベースの一例である。
【０１０２】
また、非特許文献１では、コーパス中の単語・意味属性間の共起頻度を記録した単語・意味属性間の共起行列を特異値分解により次元数を縮退させた行列に変換しているが、この変換後の行列も単語ベクトルデータベースの一例である。
【０１０３】
ジャンルベクトルデータベース１５は、ジャンルとそのジャンルベクトルの組の集合からなる。ジャンルベクトルデータベース１５中のジャンルベクトルの次元数は、単語ベクトルデータベース１４中の単語ベクトルの次元数と同一である。図４は、ジャンルベクトルデータベース１５の例を示す図であり、各ジャンルはジャンルＩＤで示されている。ジャンルをキーとしてジャンルベクトルデータベース１５を検索することにより、該ジャンルのジャンルベクトルを取得することができる。
【０１０４】
単語・ジャンル間距離データベース１６は、任意の単語と任意のジャンルとの距離を格納するデータベースである。図５は、単語・ジャンル間距離データベース１６の例を示す図である。単語・ジャンル間距離データベース１６は、単語・ジャンル間行列で表され、単語・ジャンル間距離は、行列中の対応する成分に格納される。ジャンルをキーとして単語・ジャンル間距離データベース１６を検索することにより、該ジャンルと任意の単語との距離を取得することができる。
【０１０５】
図６は、単語・ジャンル間距離算出手段１１の処理のフローである。各ステップについて説明する。
【０１０６】
ステップ１１１）
これまでに処理していないジャンルベクトルデータベース１５中のジャンルで、処理対象とするジャンルを決定する。処理対象とするジャンルがあればステップ１１２に移行し、なければ本フローを終了する。
【０１０７】
ステップ１１２）
処理対象ジャンルのジャンルベクトルデータベース１５中の対応するベクトルｇを取得する。ｇ＝（ｇ１，…ｇＮ）とする。ステップ１１３に移行する。
【０１０８】
ステップ１１３）
これまでに処理していない単語ベクトルデータベース１４中の単語で、処理対象とする単語を決定する。処理対象とする単語があればステップ１１４に移行し、なければステップ１１１に移行する。
【０１０９】
ステップ１１４）
処理対象単語の単語ベクトルデータベース１４中の対応するベクトルｗを取得する。ｗ＝（ｗ１，…ｗＮ）とする。ステップ１１５に移行する。
【０１１０】
ステップ１１５）
単語ベクトルｗとジャンルベクトルｇとの距離Ｄ（ｗ，ｇ）を算出し、単語・ジャンル間距離データベース１６中の、処理対象単語・処理対象ジャンルに対応する成分にＤ（ｗ，ｇ）を格納する。ステップ１１３に移行する。
【０１１１】
Ｄ（ｗ，ｇ）はベクトル間の距離尺度ごとに以下のように算出する。
【０１１２】
【数３１】
2010267194.tif 000033
【０１１３】
上記、単語・ジャンル間距離算出手段１１の説明においては、すでに生成済みのジャンルベクトルを使用している。これに対し、生成済みのジャンルベクトルがない状態で、ステップ１１２で、処理対象ジャンルのベクトルを、該ジャンルの正例文書のベクトルの平均ベクトルとして算出して取得するという形態をとることもできる。この場合、請求項１におけるジャンルベクトルデータベースは、ステップ１１２で算出して得られた（メモリ内にある）該ジャンルのベクトルをレコードとしてもつものとして解釈される。
【０１１４】
単語分割手段１２、文書・ジャンル間距離算出手段１３の処理が分類処理であり、請求項２に対応する。
【０１１５】
単語分割手段１２は、入力文書を単語分割する。分割して得られた単語のうち、名詞、用言等の内容語を残す。用言は終止形に変換する。残った単語の中で、同一表記の単語が複数あるとき、それらを別物としてそのまま残すやり方と、それらの内一つだけを残すやり方がある。内容語に番号ｋ（１≦ｋ≦Ｍ）をつける。
【０１１６】
文書・ジャンル間距離算出手段１３は、任意のジャンルに対し、単語分割手段１２で得られた各単語と該ジャンルとの距離を、単語・ジャンル間距離データベース１６から取得し、該文書と該ジャンルとの距離として、該単語と該ジャンルとの該距離の和を算出する。
【０１１７】
図７は、文書・ジャンル間距離算出手段１３の処理のフローである。各ステップについて説明する。
【０１１８】
ステップ１３１）
これまでに処理していない単語・ジャンル間距離データベース１６中のジャンルで、処理対象とするジャンルを決定する。処理対象とするジャンルがあればステップ１３２に移行し、なければ本フローを終了する。
【０１１９】
ステップ１３２）
文書・ジャンル間距離を０にセットする。ステップ１３３に移行する。
【０１２０】
ステップ１３３）
これまでに処理していない単語ｋ（１≦ｋ≦Ｍ）で、処理対象とする単語を決定する。処理対象とする単語があればステップ１３４に移行し、なければステップ１３１に移行する。
【０１２１】
ステップ１３４）
処理対象単語ｋと処理対象ジャンルとの距離Ｄ（ｗｋ，ｇ）を、単語・ジャンル間距離データベース１６から取得し、Ｄ（ｗｋ，ｇ）を文書・ジャンル間距離に加算する。ステップ１３３に移行する。
【０１２２】
ステップ１３３、１３４のループが終了した時点で、文書・ジャンル間距離
【０１２３】
【数３２】
2010267194.tif 000034
【０１２４】
が得られる。
【０１２５】
以上の処理により、入力文書と任意のジャンルとの距離が算出できる。
【０１２６】
入力文書ベクトルｄとジャンルベクトルｇとの距離Ｄ（ｄ，ｇ）を算出する従来の手法で、ある閾値以下のＤ（ｄ，ｇ）をとるジャンルを分類結果とするやり方がある。しかし、本発明の距離
【０１２７】
【数３３】
2010267194.tif 000035
【０１２８】
は、それに入力文書に依存する値を乗算・減算するため、該閾値が入力文書によって変わってしまう。そこで、本発明の理念に基づき、そもそも文書とジャンルとの距離は、文書中の単語とジャンルとの距離の和の平均
【０１２９】
【数３４】
2010267194.tif 000036
【０１３０】
であると定義すれば、この値がある閾値以下となるジャンルを分類結果とすることもできる。
【０１３１】
なお、本発明は文書分類に適用可能であるが、ジャンルを検索対象文書とし、ジャンルベクトルを検索対象文書ベクトルとすれば、入力文書ベクトルと検索対象文書ベクトルとの距離を算出する検索処理にも、同様に適用可能である。
【０１３２】
これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【０１３３】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０１３４】
上記実施例は、単語と該単語に対応するベクトルの組の集合を格納する単語ベクトルデータベースと、ジャンルと該ジャンルに対応するベクトルの組の集合を格納するジャンルベクトルデータベースと、任意の単語と任意のジャンルに対し、前記単語ベクトルデータベース中の該単語のベクトルと、前記ジャンルベクトルデータベース中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベースに格納する単語・ジャンル間距離算出手段とを有するベクトル間距離算出装置の例である。
【０１３５】
この場合、文書を入力として、該文書を単語分割する単語分割手段と、任意のジャンルに対し、前記単語分割手段で得られた各単語と該ジャンルとの距離を、前記単語・ジャンル間距離データベースから取得し、該文書と該ジャンルとの距離として、該単語と該ジャンルとの該距離の和を算出する文書・ジャンル間距離算出手段とをさらにあわせもつ。
【０１３６】
また、上記実施例において、上記手段を工程に置き換えれば、上記実施例を方法の発明として把握することができる。つまり、上記実施例は、任意の単語と任意のジャンルに対し、単語と該単語に対応するベクトルの組の集合を格納する単語ベクトルデータベース中の該単語のベクトルと、ジャンルと該ジャンルに対応するベクトルの組の集合を格納するジャンルベクトルデータベース中の該ジャンルのベクトルとの距離を算出し、該単語、該ジャンル、該距離の組を単語・ジャンル間距離データベースに格納する単語・ジャンル間距離算出工程を有することを特徴とするベクトル間距離算出方法の例である。
【０１３７】
この場合、文書を入力として、該文書を単語分割し、記憶装置に記憶する単語分割工程と、任意のジャンルに対し、前記単語分割手段で得られた各単語と該ジャンルとの距離を、前記単語・ジャンル間距離データベースから取得し、該文書と該ジャンルとの距離として、該単語と該ジャンルとの該距離の和を算出し、記憶装置に記憶する文書・ジャンル間距離算出工程とをさらにあわせもつ。
【０１３８】
また、上記実施例を、プログラムの発明として把握することができる。つまり、上記実施例は、請求項１または請求項２記載のベクトル間距離算出装置を構成する各手段としてコンピュータを機能させるプログラムの例である。
【０１３９】
さらに、上記実施例を、記録媒体の発明として把握することができる。つまり、上記実施例は、請求項１または請求項２記載のベクトル間距離算出装置を構成する各手段としてコンピュータを機能させるプログラムを記録したコンピュータ読取可能な記録媒体の例である。上記記録媒体として、ＣＤ、ＤＶＤ、ＨＤ、光ディスク、光磁気ディスク、半導体メモリ等が考えられる。
【産業上の利用可能性】
【０１４０】
本発明は、ベクトル間の距離を効率的に算出する技術に適用可能である。
【符号の説明】
【０１４１】
１１…単語・ジャンル間距離算出手段、
１２…単語分割手段、
１３…文書・ジャンル間距離算出手段、
１４…単語ベクトルデータベース、
１５…ジャンルベクトルデータベース、
１６…単語・ジャンル間距離データベース。
【図１】
2010267194.tif 000037
【図２】
2010267194.tif 000038
【図３】
2010267194.tif 000039
【図４】
2010267194.tif 000040
【図５】
2010267194.tif 000041
【図６】
2010267194.tif 000042
【図７】
2010267194.tif 000043