(57)【特許請求の範囲】
【請求項１】
語の意味をベクトル表現した概念辞書と、
ユーザの検索を記録した検索ログを保持する検索ログデータベースと、
検索語とその関連度を含む関連語データを一時保存する関連語データベースと
、
新たに属性ベクトルを追加する新語のリストである新語リストと、
属性ベクトルを一時保存する一時保存ベクトルデータベースと、
最終的な新語の属性ベクトルの計算結果を保持する新語辞書と、
前記検索ログデータベース中の検索ログを読み込み、検索ログから得られる、検索ユーザが使用した各２つの検索語の使用された時間間隔の情報を用いて両検索語間の関連度を算出し、検索語とその関連度を含む関連語データを前記関連語データベースに保存する関連度計算部と、
前記新語リスト中の各単語について、前記関連語データベースから、その単語に関する関連語を関連度とともに取得し、取得した関連語の中で前記概念辞書に既に存在するものについて、属性ベクトルを前記概念辞書から取得し、取得した関連語の中で前記一時保存ベクトルデータベースに存在するものについて、属性ベクトルを前記一時保存ベクトルデータベースから取得し、前記の取得した属性ベクトルを前記関連度で重みづけした上で足し合わせて前記単語の属性ベクトルを計算し、所定の終了条件が満たされたかどうか判定し、満たされていない場合、今回計算した各語の属性ベクトルで前記一時保存ベクトルデータベースを書き換え、前記の単語の属性ベクトルの計算に戻り、満たされていた場合、今回計算した各語の属性ベクトルを前記新語辞書へ書き出す新語ベクトル計算部を有する概念辞書拡張装置。
【請求項２】
前記終了条件が、計算回数が予め設定された計算回数に達したか否かである、請求項１に記載の装置。
【請求項３】
前記終了条件が、各単語の属性ベクトルの前回の計算結果との差分の総和が、予め設定された閾値よりも小さいか否かである、請求項１に記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ上で、自然言語文の意味処理を行うために用いる概念辞書に新しい語を追加する概念辞書拡張装置に関する。
【０００２】
【従来の技術】
近年のインターネットの発達などにより、電子化された文書が多数存在するようになり、それらを検索、分類したいという要望が高まっている。電子化された文書を検索、分類する手法には、単語の出現頻度に基づく文書ベクトルを利用する方法や、単語の意味を属性ベクトルで表現した概念辞書を用いて、文書内に出現する各単語の属性ベクトルの和により表現した文書ベクトルを利用する方法などがある。
【０００３】
単語の出現頻度を利用するものは、特に辞書を必要としないという利点はあるが、表記にのみ依存するので、表記の違う単語同士は、全く別の語として取り扱われてしまうため、単語間の意味の近さを表現できないという欠点がある。これに対して、概念辞書を用いる方法は、概念辞書中の属性ベクトルの近い語は類似の語として判断することが可能なので、単語間の意味の類似性を取り扱うことができる。
【０００４】
概念辞書を作成する手法としては、既存の国語辞書などを利用し、見出し語の単語を、その後の語義文中に出現する単語を属性とし、その出現回数をその属性の値として、属性ベクトルを定義するという方法がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、辞書の語義文を利用する方法では、辞書に掲載されている以外の語の属性ベクトルを定義することはできない。このため、インターネット上のＷＷＷページなどに出現する固有名詞や新語を取り扱うことができないという問題がある。
【０００６】
本発明の目的は、概念辞書中に存在しない固有名詞や新語の属性ベクトルを計算し、概念辞書に追加し、概念辞書を拡張する概念辞書拡張装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の概念辞書拡張装置は概念辞書と検索ログデータベースと関連語データベースと新語リストと一時保存ベクトルデータベースと新語辞書と関連度計算部と新語ベクトル計算部を有する。
【０００８】
関連度計算部は、検索ログから得られる、検索ユーザが使用した各２つの検索語の使用された時間間隔の情報を用いて両検索語間の関連度を算出し、検索語とその関連度を含む関連語データを作成する。
【０００９】
新語ベクトル計算部は、属性ベクトルを追加する新語のリストである新語リストから単語を１つ読み込み、関連語データベースから、その単語に関する関連語を関連度ともに受け取る。
【００１０】
次に、関連語の中で概念辞書に既に存在するものについて、属性ベクトルを概念辞書から取得し、それを関連度で重みづけした上で足し合わせて、新語の属性ベクトルとする。これを新語リストの各単語について行い、結果を一時保存ベクトルデータベースへ保存する。
【００１１】
次に、新語ベクトル計算部は、再び新語リストから単語を１つ読み込み、先程と同様に、関連語とその関連度を関連語データベースから取得する。
【００１２】
関連語の中で概念辞書に存在するものは、概念辞書から、一時保存ベクトルデータベースに存在するものに関しては、一時保存ベクトルデータベースから属性ベクトルを取得し、関連度で重みづけした上で足し合わせて、新語の新たな属性ベクトルとし、一時保存ベクトルデータベースに記録する。
【００１３】
関連語データを取得し、概念辞書と一時保存ベクトルデータベース中の属性ベクトルデータを利用して、新たな属性ベクトルを計算するという動作を、予め定められた回数、あるいは前回の属性ベクトルと新たな属性ベクトルの差分の総和が予め定められた閾値を下回るまで繰り返し、最終的に得られた結果を新語辞書に出力する。
【００１４】
以上のように、検索ログと概念辞書より新たな語の属性ベクトルを算出し、新語辞書を概念辞書に加えることにより、概念辞書の拡張を行うことができる。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１を参照すると、本発明の一実施形態の概念辞書拡張装置は新語リスト１と概念辞書２と検索ログデータベース３と関連度計算部４と関連語データベース５と新語ベクトル計算部６と一時保存ベクトルデータベース７と新語辞書８で構成されている。
【００１７】
新語リスト１は属性ベクトルを追加する単語のリストを保存している。概念辞書２は語の意味を属性ベクトルで表現した辞書である。検索ログデータベース３はＷＷＷの検索エンジンの検索ログまたはデータベースの検索ログを保存している。関連度計算部４は検索ログデータベース３中の検索ログから、ユーザＩＤ（または端末ＩＤ）、検索語、検索時刻の情報を取得し、検索語間の関連度を計算し、関連語データベース５に検索語と関連度を含む関連語データを出力する。関連語データベース５は関連度計算部４が出力した関連語データを保存する。新語ベクトル計算部６は新語リスト１から読み込んだ単語に関する関連語データを関連語データベース５より取得し、それに基づき概念辞書２および一時保存ベクトルデータベース７内の語の属性ベクトル情報を利用して、新語の属性ベクトルを計算し、一時保存ベクトルデータベース７や新語辞書８に出力する。一時保存ベクトルデータベース７は新語ベクトル計算部６が算出した、新語の属性ベクトルの途中結果を一時的に保存する。新語辞書８は新語ベクトル計算部６が算出した最終的な新語の属性ベクトルを保存する。
【００１８】
図２は、新語リスト１中の単語リストの例である。概念辞書２に新たに追加したい語を１行に１単語記述したものである。
【００１９】
表１は、概念辞書２中の辞書データの例である。図中の「電話」「レストラン」「グラフ」などが単語であり、「Ａ」「Ｂ」「Ｃ」・・・・「ＺＺＺ」が属性名である。各語について、各属性の値を定義してあり、これにより単語が属性ベクトルとして表現されている。これは、予め作成して与えておく。なお、一時保存ベクトルデータベース７、新語辞書８中のデータも同様の形式である。
【００２０】
【表１】
0003614765.tif 000002
【００２１】
表２は、検索ログデータベース３中の検索ログの例である。ユーザまたは端末を表すユーザＩＤとそのユーザが入力した単語とその単語が入力された時刻が記述してある。
【００２２】
【表２】
0003614765.tif 000003
【００２３】
この例では、時刻はある時点を起点として、そこからの秒数で表現してある。ログの表現形式は一例であり、ユーザＩＤ、検索時刻、検索語の情報が含まれていれば、形式に制限はない。
【００２４】
図３は、関連語データベース５中の関連語データの例である。２つの語と、その関連度が記述されている。この値が大きいほど、２つの語の関連度が高いことを示している。
【００２５】
次に、本概念辞書拡張装置の動作について、図４に示すフローチャートをもとに説明する。
【００２６】
ステップ１０１に、関連度計算部４は検索ログデータベース３中の検索ログを読み込み、関連度を計算し、関連語と関連度を含む関連語データを作成し、関連語データベース５に保存する。検索語ｗｊとｗｋの関連度Ｖｊｋは例えば以下の式で求める。
【００２７】
【数１】
0003614765.tif 000004
【００２８】
ここで、ｉは、検索語ｗｊとｗｋの両方の語を使用したユーザを表し、
【００２９】
【外１】
0003614765.tif 000005
【００３０】
は、以下で与えられるものとする。
【００３１】
【数２】
0003614765.tif 000006
【００３２】
ただし、ｔｉｊは、ユーザｉが検索語ｗｊを使用した時刻とする。
【００３３】
また、関数ｆ（ｘ）は、ｘの値が大きいほど、小さい値を与える関数とする。
【００３４】
検索語ｗｊとｗｋの関連度は、あるユーザｉがｗｊとｗｋを使用した時間間隔が小さいほど大きくなり、また、ｗｊとｗｋの両方を使用したユーザの数が大きいほど大きくなる。
【００３５】
上記の方法で、全ての検索語の組み合わせについて、関連度を計算し、図３に示すような形式の関連語データを作成し、関連語データベース５に保存する。
【００３６】
ステップ１０２に、新語ベクトル計算部６は、新語リスト１中のリストＬから単語ｔを取り出す。
【００３７】
ステップ１０３に、新語ベクトル計算部６は関連語データベース５から単語ｔの関連語データＲを取得する。関連語データＲは、単語ｔの関連語ｒｉと、単語ｔの関連語ｒｉの関連度ｖｉの組（ｒｉ，ｖｉ）の集合である。ここで、ｉは関連語の番号である。
【００３８】
ステップ１０４に、新語ベクトル計算部６は、関連語データＲ中の関連語ｒｉのうちで、概念辞書２中に存在する語に関して、概念辞書２より各関連語ｒｉの属性ベクトル
【００３９】
【外２】
0003614765.tif 000007
【００４０】
を取得する。
【００４１】
ステップ１０５に、新語ベクトル計算部６は、関連語データＲ中の語ｒのうちで、一時保存ベクトルデータベース７中に存在する語に関して、一時保存データベース７よりその属性ベクトル
【００４２】
【外３】
0003614765.tif 000008
【００４３】
を取得する。なお、初期状態では、一時保存ベクトルデータベース７中にはデータはない。
【００４４】
ステップ１０６に、新語ベクトル計算部６は、関連度の高い語同士は意味的な関連も深いと仮定し、ステップ１０４または１０５で取得した属性ベクトルデータ
【００４５】
【外４】
0003614765.tif 000009
【００４６】
とステップ１０３で求めた関連度の値ｖｉを用いて、単語ｔの属性ベクトル
【００４７】
【外５】
0003614765.tif 000010
【００４８】
を次式により計算
【００４９】
【数３】
0003614765.tif 000011
【００５０】
する。
【００５１】
ここで、添字１は単語ｔの属性ベクトルの１回目の計算結果であることを表す。一般に単語ｔの属性ベクトルのｎ回目の計算結果を
【００５２】
【外６】
0003614765.tif 000012
【００５３】
で表す。
【００５４】
ステップ１０７に、新語リストＬ中に未処理の単語が存在するかどうか判定する。存在する場合は、ステップ１０２へ、全ての単語について処理を終えた場合は、ステップ１０８へ進む。この時点で、新語リストＬ中の各語についての属性ベクトルの計算が１回、終了したことになる。
【００５５】
ステップ１０８に、新語ベクトル計算部６は、終了条件を判定する。終了条件としては、予め設定した計算回数に達したか否かや、各単語の属性ベクトルの前回の計算結果との差分の総和Ｄが、予め設定した閾値より小さいか否かなどが考えられる。Ｄは次式で定義される。
【００５６】
【数４】
0003614765.tif 000013
【００５７】
終了条件が満たされている場合は、ステップ１１０へ、満たされていない場合は、ステップ１０９へ進む。
【００５８】
ステップ１０９に、新語ベクトル計算部６は、今回計算した各語の属性ベクトルで、一時保存ベクトルデータベース７を書き換え、ステップ１０２へ戻る。
【００５９】
ステップ１１０に、新語ベクトル計算部６は、今回計算した各語の属性ベクトルを新語辞書８へ書き出す。
【００６０】
本実施形態によれば、既存の概念辞書２と検索ログを用意するだけで、自動的に新語の属性ベクトルを算出することが可能となる。
【００６１】
なお、以上説明した図４の処理は概念辞書拡張プログラムとして、フロッピィディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどの記録媒体に記録しておき、パソコンなどのコンピュータ上で実行することができる。
【００６２】
【発明の効果】
以上説明したように、本発明は、インターネットの検索エンジンやデータベースの検索ログから、検索語、検索語が使用された時刻、検索語の使用者あるいは使用端末のＩＤ情報を獲得し、これらに基づき検索語間の関連の程度を表す関連度を算出し、この関連度と概念辞書に定義された単語の属性ベクトルを用い、新語の属性ベクトルを自動的に算出することにより、新語や固有名詞に対応した概念辞書を容易に構築できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態の概念辞書拡張装置のブロック図である。
【図２】図１に示した新語リスト１中の単語リストの例の一部である。
【図３】図１に示した関連度計算部４が生成し、関連語データベース５に保存される関連語データの例の一部である。
【図４】図１の概念辞書拡張装置の動作を示すフローチャートである。
【符号の説明】
１    新語リスト
２    概念辞書
３    検索ログデータベース
４    関連度計算部
５    関連語データベース
６    新語ベクトル計算部
７    一時保存ベクトルデータベース
８    新語辞書
１０１〜１１０    ステップ
【図１】
0003614765.tif 000014
【図２】
0003614765.tif 000015
【図３】
0003614765.tif 000016
【図４】
0003614765.tif 000017