(57)【要約】【課題】  グループの関係や関係するレベルに一貫性をもたせてグループ化の精度を高める。【解決手段】  本発明は、単語間スコアデータと単語リストを取得し、単語リストの対象語から組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコアデータを取得して、対象語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する。更に、共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして統計情報記憶手段に格納し、統計情報記憶手段から前記統計情報データを取得し、単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する。【選択図】  図１
2014002552.tif 000002
【特許請求の範囲】
【請求項１】
単語群に対しグループ化を行う単語グループ作成装置であって、
単語間スコアデータと単語リストが入力されると、該単語リストの対象語から組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコア記憶手段に格納する対象語間スコアデータ抽出手段と、
前記対象語間スコア記憶手段から対象語間スコアデータを読み込み、対象語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する対象語グループ判定手段と、
を有することを特徴とする単語グループ作成装置。
【請求項２】
共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして統計情報記憶手段に格納する統計情報算出手段と、
前記統計情報記憶手段から前記統計情報データを取得し、単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する第１の単語間スコア算出手段と、
を有する請求項１記載の単語グループ作成装置。
【請求項３】
単語の共起頻度が記載された統計情報データが入力されると、統計情報データから単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する第２の単語間スコア算出手段
を有する請求項１記載の単語グループ作成装置。
【請求項４】
単語群に対しグループ化を行う単語グループ作成装置であって、
共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして統計情報記憶手段に格納する統計情報算出手段と、
前記統計情報記憶手段から前記統計情報データ読み出し、単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する単語間スコア算出手段と、
単語リストと前記統計情報記憶手段の統計情報データを取得し、該単語リストの各単語に対する関連語を抽出し、関連語データ記憶手段に格納する関連語抽出手段と、
前記単語間スコア記憶手段から前記単語間スコアデータを読み出し、前記関連語データ記憶手段から前記関連語データを読み出し、該関連語データの関連語を対象語として、組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコア記憶手段に格納する対象語間スコアデータ抽出手段と、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み出し、前記関連語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する対象語グループ判定手段と、
を有することを特徴とする単語グループ作成装置。
【請求項５】
前記対象語グループ判定手段は、
第１のグループ判定手段と第２のグループ判定手段のいずれか、または、両方を有し、
前記第１のグループ判定手段は、
２単語間の単語間スコアを前記対象語間スコア記憶手段から取得する第１の単語間スコア参照手段と、
前記対象語と類似する単語をn語抽出する第１の類似単語抽出手段と、
一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定する第１の単語一致判定手段と、
一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定する第１の対象語−類似単語スコア判定手段と、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み込み、未処理な対象語間スコアがあるか判定し、対象語間をグループ化すべきかの情報を、前記第１の単語スコア参照手段、前記第１の類似単語抽出手段、前記第１の単語一致判定手段、前記第１の対象語−類似単語スコア判定手段から取得し、判定を行って、単語グループデータを作成する第１のグループ条件判定手段と、を有し、
前記第２のグループ判定手段は、
２単語間の単語間スコアを前記対象語間スコア記憶手段から取得する第２の単語間スコア参照手段と、
前記対象語と類似する単語をn語抽出する第２の類似単語抽出手段と、
一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定する第２の単語一致判定手段と、
一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定する第２の対象語−類似単語スコア判定手段と、
前記対象語間の単語スコアと、一方の対象語とその類似語間の単語スコア平均と、他方の対象語とその類似語間の単語スコア平均を用いて、対象語間のスコアの上下一定の割合に各スコア平均が含まれているか判定する対象語−類似単語群スコア判定手段と、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み込み、未処理な対象語間スコアがあるか判定し、対象語間をグループ化すべきかの情報を前記第２の単語スコア参照手段、前記第２の類似単語抽出手段、前記第２の単語一致判定手段、前記第２の対象語−類似単語スコア判定手段、前記対象語−類似単語群スコア判定手段から取得し、判定を行って、単語グループデータを作成する第２のグループ条件判定手段と、
を有する請求項１または４記載の単語グループ作成装置。
【請求項６】
前記対象語グループ判定手段は、
前記第１のグループ条件判定手段の条件を満たしたグループを単語グループデータ（中間）として作成し、さらに前記第２のグループ条件判定手段の条件を満たしたグループを追加作成する、
もしくは、
前記第２のグループ条件判定手段の条件を満たしたグループを単語グループデータ（中間）として作成し、さらに前記第１のグループ条件判定手段の条件を満たしたグループを追加作成する手段を含む
請求項５記載の単語グループ作成装置。
【請求項７】
単語群に対しグループ化を行う単語グループ作成方法であって、
対象語間スコア記憶手段、対象語間スコアデータ抽出手段、対象語グループ判定手段を有する装置において、
前記対象語間スコアデータ抽出手段が、単語間スコアデータと単語リストが入力されると、該単語リストの対象語から組合せ可能な対象語の対を求め、その単語間スコアを抽出し、前記対象語間スコア記憶手段に格納する対象語間スコアデータ抽出ステップと、
前記対象語グループ判定手段が、前記対象語間スコア記憶手段から対象語間スコアデータを読み込み、対象語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する対象語グループ判定ステップと、
を行うことを特徴とする単語グループ作成方法。
【請求項８】
統計情報記憶手段、単語間スコア記憶手段、統計情報算出手段、第１の単語間スコア算出手段を更に有する装置において、
前記統計情報算出手段が、共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして統計情報記憶手段に格納する統計情報算出ステップと、
前記第１の単語間スコア算出手段が、前記統計情報記憶手段から前記統計情報データを取得し、単語間の関係を表わすスコアを算出し、単語間スコアデータを前記単語間スコア記憶手段に格納する第１の単語間スコア算出ステップと、
を更に行う請求項７記載の単語グループ作成方法。
【請求項９】
第２の単語間スコア算出手段を更に有する装置において、
前記第２の単語間スコア算出手段が、単語の共起頻度が記載された統計情報データが入力されると、統計情報データから単語間の関係を表わすスコアを算出し、単語間スコアデータを前記単語間スコア記憶手段に格納する第２の単語間スコア算出ステップを更に行う
請求項７記載の単語グループ作成方法。
【請求項１０】
単語群に対しグループ化を行う単語グループ作成方法であって、
統計情報記憶手段、単語間スコア記憶手段、対象語間スコア記憶手段、関連語データ記憶手段、統計情報算出手段、単語間スコア算出手段、関連語抽出手段、対象語間スコアデータ抽出手段、対象語グループ判定手段を有する装置において、
前記統計情報算出手段が、共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして前記統計情報記憶手段に格納する統計情報算出ステップと、
前記単語間スコア算出手段が、前記統計情報記憶手段から前記統計情報データ読み出し、単語間の関係を表わすスコアを算出し、単語間スコアデータを前記単語間スコア記憶手段に格納する単語間スコア算出ステップと、
前記関連語抽出手段が、単語リストと前記統計情報記憶手段の統計情報データを取得し、該単語リストの各単語に対する関連語を抽出し、前記関連語データ記憶手段に格納する関連語抽出ステップと、
前記対象語間スコアデータ抽出手段が、前記単語間スコア記憶手段から前記単語間スコアデータを読み出し、前記関連語データ記憶手段から前記関連語データを読み出し、該関連語データの関連語を対象語として、組合せ可能な対象語の対を求め、その単語間スコアを抽出し、前記対象語間スコア記憶手段に格納する対象語間スコアデータ抽出ステップと、
前記対象語グループ判定手段が、前記対象語間スコア記憶手段から前記対象語間スコアデータを読み出し、前記関連語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する対象語グループ判定ステップと、
を行うことを特徴とする単語グループ作成方法。
【請求項１１】
前記対象語グループ判定ステップにおいて、
第１のグループ判定ステップと第２のグループ判定ステップのいずれか、または、両方を行い、
前記第１のグループ判定ステップにおいて、
２単語間の単語間スコアを前記対象語間スコア記憶手段から取得する第１の単語間スコア参照ステップと、
前記対象語と類似する単語をn語抽出する第１の類似単語抽出ステップと、
一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定する第１の単語一致判定ステップと、
一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定する第１の対象語−類似単語スコア判定ステップと、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み込み、未処理な対象語間スコアがあるか判定し、対象語間をグループ化すべきかの情報として、前記第１の単語スコア参照ステップ、前記第１の類似単語抽出ステップ、前記第１の単語一致判定ステップ、前記第１の対象語−類似単語スコア判定ステップの結果を取得し、判定を行って、単語グループデータを作成する第１のグループ条件判定ステップと、を含み、
前記第２のグループ判定ステップにおいて、
２単語間の単語間スコアを前記対象語間スコア記憶手段から取得する第２の単語間スコア参照ステップと、
前記対象語と類似する単語をn語抽出する第２の類似単語抽出ステップと、
一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定する第２の単語一致判定ステップと、
一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定する第２の対象語−類似単語スコア判定ステップと、
前記対象語間の単語スコアと、一方の対象語とその類似語間の単語スコア平均と、他方の対象語とその類似語間の単語スコア平均を用いて、対象語間のスコアの上下一定の割合に各スコア平均が含まれているか判定する対象語−類似単語群スコア判定ステップと、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み込み、未処理な対象語間スコアがあるか判定し、対象語間をグループ化すべきかの情報として、前記第２の単語スコア参照ステップ、前記第２の類似単語抽出ステップ、前記第２の単語一致判定ステップ、前記第２の対象語−類似単語スコア判定ステップ、前記対象語−類似単語群スコア判定ステップの結果を取得し、判定を行って、単語グループデータを作成する第２のグループ条件判定ステップと、を含む
請求項７または１０記載の単語グループ作成方法。
【請求項１２】
前記対象語グループ判定ステップにおいて、
前記第１のグループ条件判定ステップの条件を満たしたグループを単語グループデータ（中間）として作成し、さらに前記第２のグループ条件判定ステップの条件を満たしたグループを追加作成する、
もしくは、
前記第２のグループ条件判定ステップの条件を満たしたグループを単語グループデータ（中間）として作成し、さらに前記第１のグループ条件判定ステップの条件を満たしたグループを追加作成する
請求項１１記載の単語グループ作成方法。
【請求項１３】
コンピュータを、
請求項１乃至６のいずれか１項に記載の単語グループ作成装置の各手段として機能させるための単語グループ作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語グループ作成装置及び方法及びプログラムに係り、特に、検索ログなどのように共起単語データを情報源として、単語のグループを高精度に作成するための単語グループ作成装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
現在、インターネット上で活用されるサービスには様々なテキストデータが大量に存在する。例えば、情報検索サービスで蓄積された検索ログには、利用者の検索要求が検索語に反映されており、このデータを分析することで、特定単語から人々が抱いた関心事の特徴把握が可能となる。但し、そのままでは単語が膨大で理解しづらいため、有用な情報を把握するためには、それらの整理が必要となる。検索ログから有用な情報を得るための従来技術として、所定の期間において使用された検索語同士の関連度を求めたり、所定の期間での検索語の使用頻度から相関の高い検索語をグループにまとめる技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５４７０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、関連度や相関が高い単語の関係を考えた場合、例えば、同類、上位、下位、全体、部分など、様々なものが想定でき、また、関係する抽象度のレベルも異なってくるが、それらの区別なく関連語や相関の値のみでグループ化した場合、１つのグループに異なる関係や異なるレベルの単語が混在し、グループとして一貫性のないものが得られるという問題がある。
【０００５】
本発明は、上記の点に鑑みなされたもので、単語間の同類性を重視するよう条件を定めてグループ化を行うことで、グループの関係や関係するレベルに一貫性をもたせてグループ化の精度を高めることが可能な単語グループ作成装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明（請求項１）は、単語群に対しグループ化を行う単語グループ作成装置であって、
単語間スコアデータと単語リストが入力されると、該単語リストの対象語から組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコア記憶手段に格納する対象語間スコアデータ抽出手段と、
前記対象語間スコア記憶手段から対象語間スコアデータを読み込み、対象語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する対象語グループ判定手段と、を有する。
【０００７】
また、本発明（請求項２）は、請求項１の単語グループ作成装置において、
共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして統計情報記憶手段に格納する統計情報算出手段と、
前記統計情報記憶手段から前記統計情報データを取得し、単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する第１の単語間スコア算出手段と、を有する。
【０００８】
また、本発明（請求項３）は、請求項１の単語グループ作成装置において、
単語の共起頻度が記載された統計情報データが入力されると、統計情報データから単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する第2の単語間スコア算出手段と、を有する。
【０００９】
本発明（請求項４）は、単語群に対しグループ化を行う単語グループ作成装置であって、
共起単語データが入力されると、単語の共起頻度を算出し、統計情報データとして統計情報記憶手段に格納する統計情報算出手段と、
前記統計情報記憶手段から前記統計情報データ読み出し、単語間の関係を表わすスコアを算出し、単語間スコアデータを単語間スコア記憶手段に格納する単語間スコア算出手段と、
単語リストと前記統計情報記憶手段の統計情報データを取得し、単語リストの各単語に対する関連語を抽出し、関連語データ記憶手段に格納する関連語抽出手段と、
前記単語間スコア記憶手段から前記単語間スコアデータを読み出し、前記関連語データ記憶手段から前記関連語データを読み出し、該関連語データの関連語を対象語として、組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコア記憶手段に格納する対象語間スコアデータ抽出手段と、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み出し、前記関連語をグループにすべきか判定してグループ化を行い、単語グループデータを作成する対象語グループ判定手段と、を有する。
【００１０】
また、本発明（請求項５）は、請求項１または請求項４の単語グループ作成装置において、
前記対象語グループ判定手段は、
第１のグループ判定手段と第２のグループ判定手段のいずれか、または、両方を有し、
前記第１のグループ判定手段は、
２単語間の単語間スコアを前記対象語間スコア記憶手段から取得する第１の単語間スコア参照手段と、
前記対象語と類似する単語をn語抽出する第１の類似単語抽出手段と、
一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定する第１の単語一致判定手段と、
一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定する第１の対象語−類似単語スコア判定手段と、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み込み、未処理な対象語間スコアがあるか判定し、対象語間をグループ化すべきかの情報を、前記第１の単語スコア参照手段、前記第１の類似単語抽出手段、前記第１の単語一致判定手段、前記第１の対象語−類似単語スコア判定手段から取得し、判定を行って、単語グループデータを作成する第１のグループ条件判定手段と、を有し、
前記第２のグループ判定手段は、
２単語間の単語間スコアを前記対象語間スコア記憶手段から取得する第２の単語間スコア参照手段と、
前記対象語と類似する単語をn語抽出する第２の類似単語抽出手段と、
一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定する第２の単語一致判定手段と、
一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定する第２の対象語−類似単語スコア判定手段と、
前記対象語間の単語スコアと、一方の対象語とその類似語間の単語スコア平均と、他方の対象語とその類似語間の単語スコア平均を用いて、対象語間のスコアの上下一定の割合に各スコア平均が含まれているか判定する対象語−類似単語群スコア判定手段と、
前記対象語間スコア記憶手段から前記対象語間スコアデータを読み込み、未処理な対象語間スコアがあるか判定し、対象語間をグループ化すべきかの情報を前記第２の単語スコア参照手段、前記第２の類似単語抽出手段、前記第２の単語一致判定手段、前記第２の対象語−類似単語スコア判定手段、前記対象語−類似単語群スコア判定手段から取得し、判定を行って、単語グループデータを作成する第２のグループ条件判定手段と、を有する。
【００１１】
また、本発明（請求項６）は、請求項５の単語グループ作成装置において、
前記対象語グループ判定手段は、
前記第１のグループ条件判定手段の条件を満たしたグループを単語グループデータ（中間）として作成し、さらに前記第２のグループ条件判定手段の条件を満たしたグループを追加作成する、
もしくは、
前記第２のグループ条件判定手段の条件を満たしたグループを単語グループデータ（中間）として作成し、さらに前記第１のグループ条件判定手段の条件を満たしたグループを追加作成する手段を含む。
【発明の効果】
【００１２】
本発明によれば、単語間の同類性を考慮した条件によってグループ化を行うことで、グループの関係や関係するレベルに一貫性をもたせてグループ化の精度を高めることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態における単語グループ作成装置の構成図である。
【図２】本発明の第１の実施の形態における単語グループ作成装置の処理のフローチャートである。
【図３】本発明の第１の実施の形態における対象語グループ判定部の構成図である。
【図４】本発明の第１の実施の形態における第１の対象語グループ判定部の処理のフローチャートである。
【図５】本発明の第１の実施の形態における第２の対象語グループ判定部の処理のフローチャートである。
【図６】本発明の第１の実施の形態における各種データの例である。
【図７】本発明の第２の実施の形態における単語グループ作成装置の構成図である。
【図８】本発明の第２の実施の形態における単語グループ作成装置の処理のフローチャートである。
【図９】本発明の第２の実施の形態における各種データの例である。
【発明を実施するための形態】
【００１４】
以下、図面と共に本発明の実施の形態を説明する。
【００１５】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施の形態例に限定されるものではない。
【００１６】
［第１の実施の形態］
図１は、本発明の第１の実施の形態の単語グループ作成装置の構成図である。
【００１７】
本実施の形態の単語グループ作成装置１０００は、共起単語データ記憶部１１００、統計情報算出部１１１０、統計情報データ記憶部１１２０、単語間スコア算出部１１３０、単語間スコアデータ記憶部１１４０、対象語間スコアデータ抽出部１１７０、対象語間スコアデータ記憶部１１８０、対象語グループ判定部１１９０から構成される。
【００１８】
単語グループ作成装置１０００の各部の、後述する各機能は、例えばコンピュータによって達成される。また、各記憶部はハードディスク等の記憶媒体に格納されている。
【００１９】
次に、単語グループ作成装置１０００の各構成要素の詳細について説明する。
【００２０】
図２は、本発明の一実施の形態における単語グループ作成装置の処理のフローチャートである。図４のＳ１００〜Ｓ１３０は各処理のステップを各々示している。
【００２１】
Ｓ１００）  統計情報算出部１１１０では、共起単語データ記憶部１１００から共起単語データを読み込み、単語の共起頻度を算出し、統計情報データとして統計情報データ記憶部１１２０へ出力する。
【００２２】
Ｓ１１０）  単語間スコア算出部１１３０は、統計情報データ記憶部１１２０の統計情報データから単語間の関係を表わすスコアを算出し、単語間スコアデータ記憶部１１４０へ出力する。
【００２３】
Ｓ１２０）  対象語間スコアデータ抽出部１１７０は、単語間スコアデータ記憶部１１４０の単語間スコアデータと単語リスト２０００を取得し、単語リスト２０００の対象語から組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコアデータとして対象語間スコアデータ記憶部１１８０へ出力する。
【００２４】
Ｓ１３０）  対象語グループ判定部１１９０は、対象語間スコアデータ記憶部１１８０から対象語間スコアデータを取得し、対象語をグループにすべきかを判定してグループ化を行い、単語グループデータ３０００として出力する。
【００２５】
上記の対象語グループ判定部１１９０について詳細に説明する。
【００２６】
図３は、本発明の第１の実施の形態における対象語グループ判定部の構成を示す。
【００２７】
本実施の形態の対象語グループ判定部１１９０は、第１のグループ判定部１１９１、単語グループデータ（中間）記憶部１１９２、第２のグループ条件判定部１１９３、単語間スコア参照部１１９４、類似単語抽出部１１９５、単語一致判定部１１９６、対象語−類似単語スコア判定部１１９７、対象語−類似単語群スコア判定部１１９８、対象語間スコアデータ記憶部１１８０から構成される。
【００２８】
対象語グループ判定部１１９０の各部の、後述する各機能は、例えばコンピュータによって達成される。また、各記憶部はハードディスク等の記憶媒体に格納されている。
【００２９】
次に、対象語グループ判定部１１９０の各構成要素の詳細な動作について説明する。
【００３０】
図４は、本発明の第１の実施の形態における第１の対象語グループ判定部の処理のフローチャートである。
【００３１】
第１のグループ条件判定部１１９１では、対象語間スコアデータ記憶部１１８０から対象語間スコアデータを読み込み（Ｓ１０００）、未処理な対象語間スコアがあるか判定し（Ｓ１０１０）、対象語間をグループ化すべきかの情報を、単語スコア参照部１１９４、類似単語抽出部１１９５、単語一致判定部１１９６、対象語−類似単語スコア判定部１１９７から取得し、判定を行って（Ｓ１０３０、Ｓ１０７０）、単語グループデータ（中間）を作成し、単語グループデータ（中間）記憶部１１９２に格納する（Ｓ１０８０）。
【００３２】
図５は、本発明の第１の実施の形態における第２の対象語グループ判定部の処理のフローチャートである。
【００３３】
第２のグループ条件判定部１１９３では、単語グループデータ（中間）記憶部１１９２と対象語間スコアデータ記憶部１１８０からデータを読み込み（Ｓ２０００）、未処理な対象語間スコアデータがあるか判定し（Ｓ２０１０）、対象語間をグループ化すべきかの情報を単語スコア参照部１１９４、類似単語抽出部１１９５、単語一致判定部１１９６、対象語−類似単語スコア判定部１１９７、対象語−類似単語群スコア判定部１１９８から取得し、判定を行って（Ｓ２０３０、Ｓ２０７０、Ｓ２０９０）、単語グループデータ３０００を作成し、出力する（Ｓ２１００）。
【００３４】
単語間スコア参照部１１９４は、指定された２単語間の単語間スコアを対象語間スコアデータ記憶部１１８０から取得し（Ｓ１０００、Ｓ２０００）、第１のグループ条件判定部１１９１または第２のグループ条件判定部１１９３に出力する。
【００３５】
類似単語抽出部１１９５は、対象語と類似する単語をn語抽出し（Ｓ１０４０、Ｓ１０５０、Ｓ２０４０、Ｓ２０５０）、第１のグループ条件判定部１１９１または第２のグループ条件判定部１１９３に出力する。
【００３６】
単語一致判定部１１９６は、一方の対象語もしくはその類似語群と、他方の対象語もしくはその類似語群との間で、表記が一致するかどうかを判定し（Ｓ１０６０、Ｓ２０６０）、その判定結果を第１のグループ条件判定部１１９１または第２のグループ条件判定部１１９３に出力する。
【００３７】
対象語−類似単語スコア判定部１１９７は、一方の対象語とその類似語とのスコアが対象語間の単語スコア以下でかつ、他方の対象語とその類似語とのスコアが対象語間の単語スコア以下であるかを判定し（Ｓ１０６０、Ｓ２０６０）し、その判定結果を第１のグループ条件判定部１１９１または第２のグループ条件判定部１１９３に出力する。
【００３８】
対象語−類似単語群スコア判定部１１９８は、対象語間の単語スコアと、一方の対象語とその類似語間の単語スコア平均と、他方の対象語とその類似語間の単語スコア平均を用いて、対象語間のスコアの上下一定の割合に各スコア平均が含まれているか判定し（Ｓ２０８０）、その判定結果を第２のグループ条件判定部１１９３に出力する。
【００３９】
なお、第１のグループ条件判定部１１９１のみを利用する場合は、出力は単語グループデータ（中間）記憶部１１９２ではなく、単語グループデータ３０００として出力される。また、第２のグループ条件判定部１１９３のみ利用する場合は、対象語間スコアデータ記憶部１１８０のデータは、第1のグループ条件判定部１１９１ではなく、第２のグループ判定部１１９３へ入力される。
【００４０】
また、第１のグループ条件判定部１１９１と第２のグループ条件判定部１１９３の適用順序を逆にしても構わない。
【００４１】
次に、本実施の形態の動作を具体例により、図２のフローチャートに沿って説明する。
【００４２】
図６は、本発明の第１の実施の形態における各種データの例である。
【００４３】
Ｓ１００）  統計情報算出部１１１０では、共起単語データ記憶部１１００から共起単語データを取得し、検索語の共起頻度を算出し、統計情報データ記憶部１１２０へ出力する。
【００４４】
例えば、図６（Ａ）のように、１行に１回の検索式が記述された検索ログが共起単語データとして入力された場合、１行に複数の単語を含むものを対象として、任意の２語が１行内で共起して出現する頻度をカウントし、図６（Ｂ）のような統計情報データを統計情報データ記憶部１１２０に出力する。なお、２語の統計情報データを作成する際には、事前に２単語の並びの違いを区別するかどうかを決定した上で行う。また、共起頻度が低いものは、誤った入力である可能性も高まるので、単語の共起に関する信頼性が低いと考えて、共起頻度が所定の閾値未満のものは除外することも可能である。また、図６（Ａ）は検索ログを例として用いているが同様なデータであればこれに限定されない。
【００４５】
Ｓ１１０）  単語間スコア算出部１１３０は、統計情報データ記憶部１１２０から取得した統計情報データから単語間の関係を表わすスコアを算出し、単語間スコアデータ記憶部１１４０へ出力する。
【００４６】
例えば、図６（Ｂ）のような、２単語の共起頻度が格納された統計情報データを取得し、各単語の共起語の共起頻度を要素とする単語の特徴ベクトルを作成する。さらに、特徴ベクトルの各要素の総和が１となるよう正規化を行う。なお、正規化を行わなくても本装置で得られた結果が精度的に問題なければ省略しても構わない。また、特徴ベクトルの次元数を限定しても構わない。例えば、単語の頻度の多いものから所定の頻度以上の単語に限定したり、単語の頻度の多いものから所定の個数の単語に限定するなど、ベクトルの各要素に対応する単語の種類やベクトルの次元数を固定してもよい。なお、統計情報算出部１１１０において、事前に各単語の特徴ベクトルを作成しておける場合は、単語の特徴ベクトルを参照するだけで済み、毎回ベクトルを作成する処理を省くこともできる。
【００４７】
次に、単語間スコア算出部１１３０は、２単語の特徴ベクトルを用いて、単語間の関係を表わすスコアを計算する。スコアの計算式としては、距離や類似度や相関などの関係を表わすことができるものであれば、適切なものを選択可能である。例えば、特徴ベクトルが正規化されており、次元数が膨大で要素の値が小さくなりやすい場合は、小さい値で微妙な違いを表現できるHellinger距離が考えられる。２単語のうちの単語１の特徴ベクトルをxi、単語２の特徴ベクトルをyiとした場合、Hellinger距離によるスコアSCは以下の計算式によって求まる。
【００４８】
【数１】
2014002552.tif 000003
本明細書では、スコアは距離によって表わされたものとして説明する。なお、類似度や相関を用いる場合は、スコアの意味合いが逆になるため（距離が小さい方が近いものとなるが、類似度や相関は大きい方が近いものとなる）、そのことを考慮して適宜変更することとする（例えば、距離の小さい順に並べる箇所は、類似や相関では大きい順に並べ、条件判定で距離が閾値以下となる箇所は、類似度や相関では閾値以上に変更することとなる）。
【００４９】
最後に、スコアの小さい順に並べたデータを作成し、単語間スコアデータ記憶部１１４０に格納する。例えば、図６（Ｃ）はスコアの小さい順に並べた単語間スコアデータである。
【００５０】
Ｓ１２０）  対象語間スコアデータ抽出部１１７０は、単語間スコアデータ記憶部１１４０の単語間スコアデータと単語リスト２０００を取得し、単語リスト２０００の対象語から組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコアデータ記憶部１１８０へ出力する。
【００５１】
例えば、図６（Ｄ１）の単語リストの対象語について、異なる対象語間で組合せ可能な対を作成して、その単語間の単語間スコアデータを図６（Ｃ）の単語間スコアデータのサブセット（不図示）として抽出する。抽出した結果はスコアの値が昇順になるように並べる。
【００５２】
Ｓ１３０）  対象語グループ判定部１１９０は、対象語間スコアデータ記憶部１１８０から対象語間スコアデータを取得し、対象語をグループにすべきか判定してグループ化を行い、単語グループデータ３０００として出力する。
【００５３】
例えば、対象語間スコアデータ記憶部１１８０から図６（Ｃ）のサブセットである対象語間スコアデータを取得し、図４に示すフローチャートに従って、サブセットである対象語間スコアデータの先頭から順に２単語をグループにすべきか判定を行って、単語のグループを作成する。
【００５４】
以下、図４のフローチャートのステップに従って対象語グループ判定部１１９０の処理を説明する。
【００５５】
Ｓ１０００）  対象語間スコアデータ記憶部１１８０から対象語間スコアデータを読み込む。
【００５６】
Ｓ１０１０）  未処理な関連語間スコアがあるか判定する。なければ処理終了する。
【００５７】
Ｓ１０２０）  未処理な関連語間スコアがある場合、関連語間スコアから未処理なもののうちスコアの小さい単語対（A0,B0）の単語間スコアSC(A0,B0)を得る。
【００５８】
Ｓ１０３０）  単語間スコアの計算式が距離である場合、SC(A0,B0)が閾値T1以下であるか判定する。T1を超える場合は、単語間の関係が薄いと考えて、Ｓ１０１０に戻り、次の未処理な関連語間スコアの処理を行う。
【００５９】
Ｓ１０４０）  単語間スコアがT1以下の場合は、対象語間スコアデータから、単語A0との単語間スコアが最小のものから上位n語（A1,...,An）を抽出する。これらは、単語A0と類似した単語群といえる。
【００６０】
Ｓ１０５０）  Ｓ１０４０と同様に、対象語間スコアデータから、単語B0との単語間スコアが最小のものから上位n語（B1,...,Bn）を抽出する。これらは、単語B0と類似した単語群といえる。
【００６１】
Ｓ１０６０）  単語Aiと単語Bj（0≦i≦n, 0≦j≦n）が一致し、かつSC(A0,Ai)≦SC(A0,B0)かつSC(B0,Bj)≦SC(A0,B0)を満たす数Mを求める。これは、まず、単語A0と単語B0が似ていれば、単語A0および単語A0に類似した単語群{Ai}(1≦i≦n)と、単語B0および単語B0に類似した単語群{Bj}(1≦j≦n)の間で一致する単語が出現しやすいこと、および、単語A0と単語B0の単語間スコアより、単語A0と他の単語Aiの単語間スコアの方が小さいことで、単語A0との他の単語Aiとの類似性が高いと考えられること、同様に、単語B0と他の単語Bjの単語スコアの方が小さいことで、単語B0と他の単語Bjとの類似性が高いと考えられることにより、単語A0と単語B0の類似について信頼性が高い条件となっている。また、単語Aiと単語Bi(0≦i≦n, 0≦j≦n）が一致するのは、最大でn−1（単語A0と単語B0は異なるため）であるので、その数Mが大きいほどさらに類似について信頼性が高い条件となっている。
【００６２】
Ｓ１０７０）  Ｓ１０６０で得られた数Mが閾値T2以上であるか判定する。T2未満の場合、単語間の関係が薄いと考えて、Ｓ１０１０に戻り、次の未処理な関連語間スコアの処理を行う。
【００６３】
Ｓ１０８０）  Ｓ１０６０で得られた数Mが閾値T2以上の場合は、単語A0と単語B0は同類性が高いと判断し、単語A0と単語B0を同じグループとしてまとめる。単語A0もしくは単語B0が既にグループとなっていればそれらも単語A0や単語B0と同じグループにまとめる。これは、既にあるものも高い同類性を保っているので、さらに単語A0（のグループ）と単語B0（のグループ）をまとめても、同類性が保つことができる。その後、Ｓ１０１０に戻り、次の未処理な関連語間スコアの処理を行う。
【００６４】
図４に示すフローチャートに従って得られた結果は、図６（Ｅ）のように、多数の単語については同類性の高いものが同一グループとなっており、これを単語グループデータ３０００として出力する。
【００６５】
なお、図４のフローチャートで得られた結果のうち、グループ化されない同類の単語が少ないながら存在する。これは、図６のＳ１０３０の条件やＳ１０７０の条件を満たさなかったからであるが、条件を変えて追加適用することでグループとする単語の網羅性を高めることができる。そこで、図６のＳ１０３０の条件を緩める代わりに、Ｓ１０７０の条件を別の厳しい条件とする図７のフローチャートの処理を図６の処理に続いて行う方法について説明する。
【００６６】
図４と図５の処理は多くが共通であるので、相違点について詳しく説明し、同様な処理の説明については省略する。
【００６７】
図５の処理では既に図４の処理によってグループ化されている状態からさらにグループ化を行う点が異なる。
【００６８】
Ｓ２０００〜２０２０は、Ｓ１０００〜１０２０と同様に処理する。
【００６９】
Ｓ２０３０）  単語間スコアの計算式が距離である場合、SC(A0,B0)が閾値T2以下であるか判定する。T2を超える場合は、単語間の関係が薄いと考えて、Ｓ２０１０に戻り、次の未処理な関連語間スコアの処理を行う。T2はT1より大きい値を設定することで、より多くの関連語間スコアを対処することになる。そのため、スコアに対する類似性が不正確なものも増えるため、後段の処理でそれらを厳しくフィルタする処理が必要となる。
【００７０】
Ｓ２０４０〜２０７０は、Ｓ１０４０〜１０７０と同様に処理する。
【００７１】
Ｓ２０８０）  Ｓ２０６０で得られた数Mが閾値T4以上の場合は、単語A0に対して、単語A0に類似した単語群{Ai}(1≦i≦n)との単語間スコアの平均値SCAと、単語B0に対して、単語B0に類似した単語群{Bj}(1≦j≦n)との単語間スコアの平均値SCBを求め、それらが、単語A0と単語B0との単語間スコアSC(A0,B0)との上下T5の割合の範囲（SC(A0,B0)*(1-T5)≦SCA≦SC(A0,B0)*(1+T5)、SC(A0,B0)*(1-T5)≦SCB≦SC(A0,B0)*(1+T5)）に収まるという条件を満たすかどうか求める。これは、A0とB0の単語間スコアの距離感と、単語A0とその類似した単語群{Ai}(1≦i≦n)の距離感、および、単語B0とその類似した単語群{Bj}(1≦j≦n)の距離感が同程度であって極端な距離の偏りがないことを考慮した条件の追加となる。
【００７２】
Ｓ２０９０）  Ｓ２０８０の条件を満たさない場合は、Ｓ２０１０に戻り、次の未処理な関連語間スコアの処理を行う。
【００７３】
Ｓ２１００）  Ｓ２０８０の条件を満たす場合は、単語A0と単語B0は同類性が高いと判断し、単語A0と単語B0を同じグループとしてまとめる。単語A0もしくは単語B0が既にグループとなっていればそれらも単語A0や単語B0と同じグループにまとめる。これは、既にあるものも高い同類性を保っているので、さらに単語A0（のグループ）と単語B0（のグループ）をまとめても、同類性が保つことができる。その後、Ｓ２０１０に戻り、次の未処理な関連語間スコアの処理を行う。
【００７４】
図５の処理の結果、単語グループデータ３０００として出力する。例えば、図４の処理では「公式、公式サイト、…」、「オフィシャル」、「オフィシャルサイト」とグループが分かれていたが、図５の処理を追加することで同一グループとなる。
【００７５】
なお、図４のみ、もしくは、図４、図５の順番に適用した例を示したが、図５のみ、もしくは図５、図４の順番に適用しても構わない。
【００７６】
なお、図１に示す本装置は共起単語データを入力としているが、装置外に既にある統計情報データを入力し、単語間スコア算出部１１３０の処理を行うという構成でも構わない。また、装置外に既にある単語間スコアデータを入力し、対象語間スコアデータ抽出部１１７０の処理を行うという構成でも構わない。
【００７７】
［第２の実施の形態］
図７は、本発明の第２の実施の形態における単語グループ作成装置の構成図である。図１と同一構成部分には同一符号を付す。
【００７８】
本実施の形態の単語グループ作成装置１０００は、共起単語データ記憶部１１００、統計情報算出部１１１０、統計情報データ記憶部１１２０、単語間スコア算出部１１３０、単語間スコアデータ記憶部１１４０、関連語抽出部１１５０、関連語データ記憶部１１６０、対象語間スコアデータ抽出部１１７０、対象語間スコアデータ記憶部１１８０、対象語グループ判定部１１９０から構成される。図７に示す単語グループ作成装置は、図１の構成に、関連語抽出部１１５０と関連語データ記憶部１１６０が付加された構成である。
【００７９】
単語グループ作成装置１０００の各部の、後述する各機能は、例えばコンピュータによって達成される。また、各記憶部はハードディスク等の記憶媒体に格納されている。
【００８０】
ここで、対象語グループ判定部１１９０の各構成要素の詳細については第１の実施の形態と同様であるので省略する。
【００８１】
次に、単語グループ作成装置１０００の各構成要素の詳細について説明する。
【００８２】
図８は、本発明の第２の実施の形態における単語グループ作成装置の処理のフローチャートである。図８のＳ１００〜Ｓ１４０は各処理のステップを各々示しており、図２と同様の処理については同一のステップ番号を付与している。
【００８３】
Ｓ１００）  統計情報算出部１１１０では、共起単語データ記憶部１１００から共起単語データを取得し、単語の共起頻度を算出し、統計情報データ記憶部１１２０へ出力する。
【００８４】
Ｓ１１０）  単語間スコア算出部１１３０は、統計情報データ記憶部１１２０の統計情報データから単語間の関係を表わすスコアを算出し、単語間スコアデータ記憶部１１４０へ出力する。
【００８５】
Ｓ１１５）  関連語抽出部１１５０は、単語リスト２０００と、統計情報データ記憶部１１２０から統計情報データを取得し、単語リスト２０００の各単語に対する関連語を抽出し、関連語データ記憶部１１６０へ出力する。
【００８６】
Ｓ１２５）  対象語間スコアデータ抽出部１１７０は、単語間スコアデータ記憶部１１４０と関連語データ記憶部１１６０のデータを取得し、関連語データの関連語を対象語として、組合せ可能な対象語の対を求め、その単語間スコアを抽出し、対象語間スコアデータ記憶部１１８０へ出力する。
【００８７】
Ｓ１３０）  対象語グループ判定部１１９０は、対象語間スコアデータ記憶部１１８０の対象語間スコアデータを取得し、関連語をグループにすべきか判定してグループ化を行い、単語グループデータ３０００として出力する。
【００８８】
次に、本実施の形態の動作を具体例により、図８のフローチャートに沿って図６及び図９のデータを用いて説明する。
【００８９】
なお、本実施の形態は、第１の実施の形態での対象語が異なる以外は同様な処理である。具体的には、第１の実施の形態では対象語間スコアデータ抽出部１１７０に入力される対象語は単語リスト２０００に記載したものとなっているが、本実施の形態では関連語抽出部１１５０によって単語リスト２０００に記載の単語の関連語を抽出し、関連語データ記憶部１１６０に格納された関連語を対象語とする。
【００９０】
ここでは、関連語抽出部１１５０の処理のみ説明し、他の説明は重複するので省略する。
【００９１】
関連語抽出部１１５０は、単語リスト２０００と統計情報データ記憶部１１２０の統計情報データを取得し、各対象語に対する関連語を抽出し、関連語データ記憶部１１６０へ出力する。
【００９２】
例えば、図６（Ｄ２）のような単語リストと、図６（Ｂ）のような統計情報データを取得した場合、統計情報の片方の単語に単語リストのいずれかを含むものを統計情報データから抽出し、図６（Ｆ）のような関連語データを出力する。また、関連語データから、重複のない単語リストを作成する（不図示）。この例では、図６（Ｄ２）は２語の例であるが、２語以上でも構わない。
【００９３】
なお、図７に示す本装置は共起単語データを入力としているが、装置外に既にある統計情報データを入力し、単語間スコア算出部１１３０の処理を行うという構成でも構わない。また、装置外に既にある単語間スコアデータを入力し、対象語間スコアデータ抽出部１１７０の処理を行うという構成でも構わない。
【００９４】
ところで、本実施の形態では単語グループデータが作成されるが、それを用いて単語リストの単語間で、その関連語の比較を行うことが可能である。
【００９５】
例えば、図６（Ｆ）の関連語データでは、単語リストの単語毎に関連語が分かる。また、図６（Ｅ）の単語グループデータのように、関連語のグループが分かるので、単語リストの単語毎に関連語グループを区別したデータとして、図９（Ｇ）のような関連語比較データ（１）が得られる。ここで、各単語における関連語の頻度を図６（Ｂ）の統計情報データの共起頻度とすれば、単語リスト２０００の各単語におけるグループサイズは、グループに属する単語と関連語との共起頻度の和によって求められる。図９（Ｇ）の例では、単語「シャエル」に対する項番２のグループは「化粧品、コスメ、…」があり、そのグループサイズは1020である。一方、「クッチ」に対して同じ項番２のグループには関連語がないので、そのグループサイズは0である。
【００９６】
また、図９（Ｇ）の関連語比較データ（１）は、同一グループに対して、「シャエル」のグループサイズと「クッチ」のグループサイズの差を取り、その差が大きい順にグループを並べたものである。そのため、表の項番の小さい方が「シャエル」に特徴的な関連語を含むグループとなり、項番の大きい方が「クッチ」に特徴的な関連語を含むグループとなる。
【００９７】
さらに、図９（Ｈ）の関連語比較データ（２）のように、レーダチャートで図示することで、項番の小さい右側に「シャエル」に特徴的な関連語を含むグループが、項番の大きい左側に「クッチ」に特徴的な関連語を含むグループがどの程度の量含まれているかが分かる。なお、レーダチャートに限らず同様な特徴が表わせるグラフであればこれに限定されない。
【００９８】
また、単語リストの単語と関連語の共起頻度を求め、単語リストの単語の区分に関係なく同一グループに属する関連語の共起頻度の和を求めることで、各グループで共起頻度が最大の関連語をそのグループの代表語とすることができる。図９の左側のリストがグループの項番と代表語になる。なお、この項番は図９（Ｇ）および、図９（Ｈ）のリスト、レーダチャートで共通である。
【００９９】
共起頻度を元にグループサイズの比較することを行ったが、各単語でグループサイズの和が１となるように正規化して比較することで、各単語について相対的なグループサイズによる比較も行うことができる。
【０１００】
なお、単語間の関連語の比較として、２つの語について説明したが、２つの語群での比較でも構わない。その場合、語群に対するグループサイズを各単語のグループサイズの和であったり、平均によって表わすことで処理できる。
【０１０１】
以上のように、本発明によれば、単語間の同類性を考慮した条件によってグループ化を行うことで、グループの関係や関係するレベルに一貫性をもたせてグループ化の精度を高めることが可能となる。
【０１０２】
また、本実施の形態の単語グループ作成装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施の形態の関連語計算方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばフレキシブルディスクや、MO（Magneto−Optical disk）、ROM（Read Only Memory），メモリカード，CD（Compact Disk）-ROM，DVD（Digital Versatile Disk）-ROM，BD（Blu-ray）-ROM，CD-R，CD-RW，DVD-R，DVD-RW，DVD-R DL，DVD+R，DVD+RW，DVD+R DL、BD-R、BD-RE，HDD，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１０３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【０１０４】
１０００  単語グループ作成装置
１１００  共起単語データ記憶部
１１１０  統計情報算出部
１１２０  統計情報データ記憶部
１１３０  単語間スコア算出部
１１４０  単語間スコアデータ記憶部
１１５０  関連語抽出部
１１６０  関連語データ記憶部
１１７０  対象語間スコアデータ抽出部
１１８０  対象語間スコアデータ記憶部
１１９０  対象語グループ判定部
１１９１  第１のグループ条件判定部
１１９２  単語グループデータ（中間）記憶部
１１９３  第２のグループ条件判定部
１１９４  単語間スコア参照部
１１９５  類似単語抽出部
１１９６  単語一致判定部
１１９７  対象語−類似単語スコア判定部
１１９８  対象語−類似単語群スコア判定部
２０００  単語リスト
３０００  単語グループデータ
【図１】
2014002552.tif 000004
【図２】
2014002552.tif 000005
【図３】
2014002552.tif 000006
【図４】
2014002552.tif 000007
【図５】
2014002552.tif 000008
【図６】
2014002552.tif 000009
【図７】
2014002552.tif 000010
【図８】
2014002552.tif 000011
【図９】
2014002552.tif 000012