(57)【特許請求の範囲】
【請求項１】
文書データに対して形態素解析を実行し、形態素、および各形態素の品詞情報を含む形態素解析データを得る形態素解析手段と、
前記形態素解析データに含まれる形態素の品詞情報で、各品詞について結合するか否かを記録した品詞結合規則データを参照し、連続する形態素がいずれも結合するものである場合に、当該連続する形態素を複合名詞候補とするとともに、形態素が未知語であるかどうかの判断、形態素が単独名詞としてキーワードとすべきかどうかの判断を行う複合名詞候補作成手段と、
前記複合名詞候補を構成する先頭の形態素、末尾の形態素それぞれについて、文字列頻度データを参照し、先頭の形態素、末尾の形態素の出現頻度に基づくスコアを取得し、両スコアがともに所定の条件を満たす場合に、先頭の形態素から末尾の形態素までの文字列を複合名詞として抽出する複合名詞抽出手段と、
前記複合名詞、前記未知語、前記単独名詞をキーワードとして各キーワードの出現頻度を算出し、キーワード頻度データを作成するキーワード頻度データ作成手段と、
を有することを特徴とする複合名詞抽出装置。
【請求項２】
前記文字列頻度データは、各Ｎ文字列の全見出しにおける出現頻度の偏差値をスコアとして記録したものであり、
前記複合名詞抽出手段は、前記両スコアがともに設定されたスコア設定値より大きいことを前記所定の条件とするものであることを特徴とする請求項１に記載の複合名詞抽出装置。
【請求項３】
コンピュータを、請求項１または請求項２に記載の複合名詞抽出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文書データから適切な複合名詞を抽出する技術に関する。
【背景技術】
【０００２】
従来、テキストマイニングにより、文書データからキーワードを抽出する様々な試みが行われている。キーワードとして複数の名詞により構成される複合名詞を抽出する場合、全ての複合名詞を解析用の辞書データに登録しておき、辞書データを参照する手法がある。また、品詞ごとの結合規則をシソーラスから生成して複合名詞を抽出する手法もある（非特許文献１参照）。
【０００３】
また、対象文書から単語のＮ−ｇｒａｍを切り出し、切り出されたＮ−ｇｒａｍの連接語の出現頻度を集計し、Ｎ−ｇｒａｍの連接語と出現頻度を用いてＮ−ｇｒａｍの共起度を計算し、Ｎ−ｇｒａｍ連接語を共起度の値で分類することで連語を抽出する手法もある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１６１３４０号広報
【非特許文献】
【０００５】
【非特許文献１】筏井勝、横山晶一、佐久間一弘  シソーラスを用いた複合名詞の生成・解析  情報処理学会第５２回全国大会pp.7-8
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記辞書データを参照する手法では、複合名詞リストを辞書データとして用意しておかなければならず、そのためのコストが大きいという問題がある。また、上記非特許文献１に記載の手法では、抽出結果が形態素解析の精度のみに依存するという問題がある。また、上記特許文献１に記載の手法では、対象文書が大きくない場合、共起度を計算するのに十分な量の頻度が得られず、抽出精度が低くなるという問題があるとともに、対象文書に、解析用辞書データに存在しない単語が出現した場合に、単語Ｎ−ｇｒａｍの切り出しができないという問題がある。
【０００７】
そこで、本発明は、事前に複合名詞リストや詳細なルールを記述することなく、適切な複合名詞を抽出することが可能な複合名詞抽出装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明では、文書データに対して形態素解析を実行し、形態素、および各形態素の品詞情報を含む形態素解析データを得る形態素解析手段と、前記形態素解析データに含まれる形態素の品詞情報で、各品詞について結合するか否かを記録した品詞結合規則データを参照し、連続する形態素がいずれも結合するものである場合に、当該連続する形態素を複合名詞候補とするとともに、形態素が未知語であるかどうかの判断、形態素が単独名詞としてキーワードとすべきかどうかの判断を行う複合名詞候補作成手段と、前記複合名詞候補を構成する先頭の形態素、末尾の形態素それぞれについて、文字列頻度データを参照し、先頭の形態素、末尾の形態素の出現頻度に基づくスコアを取得し、両スコアがともに所定の条件を満たす場合に、先頭の形態素から末尾の形態素までの文字列を複合名詞として抽出する複合名詞抽出手段と、前記複合名詞、前記未知語、前記単独名詞をキーワードとして各キーワードの出現頻度を算出し、キーワード頻度データを作成するキーワード頻度データ作成手段を有する複合名詞抽出装置を提供する。
【０００９】
本発明によれば、本文文書データを形態素解析した後、得られた形態素解析データの品詞情報で品詞結合規則を参照し、連続する形態素が結合規則に適合する場合に、その連続する形態素を複合名詞候補とし、複合名詞候補を構成する先頭の形態素、末尾の形態素それぞれについて、文字列頻度データを参照して先頭の形態素、末尾の形態素の出現頻度に基づくスコアを取得し、両スコアがともに所定の出現頻度を示す場合に、先頭の形態素から末尾の形態素までの文字列を複合名詞として抽出するようにしたので、事前に複合名詞リストや詳細なルールを記述することなく、適切な複合名詞を抽出することが可能となる。
【００１０】
また、本発明では、前記複合名詞抽出装置において、前記文字列頻度データは、各Ｎ文字列の全見出しにおける出現頻度の偏差値をスコアとして記録したものであり、前記複合名詞抽出手段は、前記両スコアがともに設定されたスコア設定値より大きいことを前記所定の条件とするものであることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、事前に複合名詞リストや詳細なルールを記述することなく、適切な複合名詞を抽出することが可能となるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る複合名詞抽出装置の一実施形態を示す構成図である。
【図２】品詞結合規則データ１６０の一例を示す図である。
【図３】辞書見出しの分析処理を示す図である。
【図４】本発明に係る複合名詞抽出装置の処理動作を示すフローチャートである。
【図５】形態素解析の例を示す図である。
【図６】複合名詞候補作成の様子を示す図である。
【図７】文字列頻度データ１９０の一例を示す図である。
【図８】複合名詞抽出の様子を示す図である。
【図９】アンケート回答結果を対象の文書データとして、複合名詞抽出処理を行う応用例を示す図である。
【発明を実施するための形態】
【００１４】
（１．装置構成）
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。図１は、本発明に係る複合名詞抽出装置の一実施形態を示す構成図である。本実施形態の複合名詞抽出装置は、演算処理手段１０１、記憶手段１２０により構成されており、現実には、外部記憶装置を備えた汎用のコンピュータに、専用のプログラムを組み込むことにより実現される。
【００１５】
演算処理手段１０１は、形態素解析手段１０４、複合名詞候補作成手段１０６、複合名詞抽出手段１０８、品詞結合規則設定手段１１０、キーワード頻度データ作成手段１１２、辞書見出し分析手段１１６を有している。演算処理手段１０１が有する各手段は、現実には、コンピュータのＣＰＵが、対応するプログラムを外部記憶装置から読み込み、実行することにより実現される。記憶手段１２０は、コンピュータに接続されたハードディスク等の外部記憶装置により実現され、本文文書データ１３０、形態素解析データ１４０、複合名詞候補データ１５０、品詞結合規則データ１６０、複合名詞データ１７０、辞書見出しデータ１８０、文字列頻度データ１９０、スコア設定値２００を記憶する。
【００１６】
形態素解析手段１０４は、本文文書データ１３０に対して、形態素解析を実行し、形態素解析データ１４０を作成する。複合名詞候補作成手段１０６は、形態素解析データ１４０内の各形態素について、品詞結合規則データ１６０を参照し、複合名詞候補データ１５０を作成する。複合名詞抽出手段１０８は、複合名詞候補データ１５０内の各形態素について、文字列頻度データ１９０を参照してスコアを取得し、スコア設定値２００と比較することにより、複合名詞を抽出する。品詞結合規則設定手段１１０は、名詞の形態素について、結合すべきか否かの規則を設定し、品詞結合規則データを作成する。キーワード頻度データ作成手段１１２は、複合名詞、未知語、単独名詞について、本文文書データにおける出現頻度を計数する。辞書見出し分析手段１１６は、辞書見出しデータ１８０を分析し、文字列頻度データ１９０を作成する。
【００１７】
ここで、品詞結合規則データ１６０の一例を図２に示す。品詞結合規則設定手段１１０により設定された品詞結合規則データ１６０は、図２に示すように、名詞の詳細分類、および未知語について、結合するか（図中“○”で示す）、結合しないか（図中“×”で示す）を記録したものである。
【００１８】
（２．処理動作）
（２．１．事前処理）
本実施形態に係る複合名詞抽出装置では、事前処理として、辞書見出し分析手段１１６が、辞書見出しデータ１８０における文字列の出現頻度を分析し、辞書見出し分析結果として文字列頻度データ１９０を作成する。辞書見出しデータ１８０は、辞書の見出しのみを記録したデータである。辞書見出しデータ１８０における見出しとしては、例えば、日本語語彙大系（岩波書店）、Ｗｉｋｉｐｅｄｉａ日本語版に掲載のものを用いることができる。
【００１９】
複合名詞抽出装置に対して、辞書見出し分析の指示が行われると、辞書見出し分析手段１１６は、記憶手段１２０に記憶された辞書見出しデータ１８０を読み込み、見出し文字列の先頭、末尾を起点として各文字Ｎ−ｇｒａｍの出現頻度を求める。そして、各文字Ｎ−ｇｒａｍが見出し文字列の先頭に出現する頻度情報から前方スコアを、末尾に出現する頻度情報から後方スコアを算出する。前方スコア、後方スコアとしては、出現頻度の偏差値を用いる。
【００２０】
辞書見出し分析手段１１６による処理を図３に示す。辞書見出し分析手段１１６は、辞書見出しデータ１８０内の各見出しの先頭、末尾を起点として各文字Ｎ−ｇｒａｍの出現頻度を求める。本実施形態では、Ｎ＝１〜（見出し文字数）までＮの値を１づつ変化させながら実行する。その結果、各文字列（各文字Ｎ−ｇｒａｍ）について、前方頻度、後方頻度の情報が得られる。図３の例では、「ポケ（Ｎ＝２）」「ポケモ（Ｎ＝３）」「ポケモン（Ｎ＝４）」はそれぞれ前方頻度“５”、後方頻度“０”、「選手権（Ｎ＝３）」は前方頻度“０”、後方頻度“５”となる。図３では省略してあるが、見出し文字列そのもの（例えば、文字列「サンパウロ州選手権（Ｎ＝９）」）は、前方頻度“１”、後方頻度“１”となる。
【００２１】
続いて、辞書見出し分析手段１１６は、全ての文字列を母集団とし、全文字列の出現頻度の平均値を“５０”として、各文字列の出現頻度の偏差値を算出する。そして、各文字列の前方頻度の偏差値を前方スコア、各文字列の後方頻度の偏差値を後方スコアとする。この結果、図３に示したような文字列頻度データ１９０が得られることになる。文字列頻度データ１９０は、各文字列の前方頻度の偏差値を前方スコア、各文字列の後方頻度の偏差値を後方スコアとしたものであるため、図３に示すように、出現頻度が高い文字列のスコアは高く、出現頻度が低い文字列のスコアは低くなっている。
【００２２】
（２．２．複合名詞抽出）
事前処理の結果、文字列頻度データ１９０が得られたら、複合名詞抽出処理を行う。図４は、複合名詞抽出装置による複合名詞抽出処理の概要を示すフローチャートである。複合名詞抽出装置は、図示しない指示入力機器により対象文書が指定されると、記憶手段１２０から指定された本文文書データ１３０を読み込む（Ｓ１）。続いて、読み込んだ本文文書データ１３０に対して形態素解析手段１０４が形態素解析を実行する（Ｓ２）。形態素解析の具体的手法は、公知の様々な手法を用いることができるので、詳細な説明は省略する。本実施形態では、形態素解析ソフトウェアの「茶筌」（奈良先端科学技術大学院大学）をコンピュータが実行することにより、形態素解析手段１０４を実現している。
【００２３】
例えば、「私が前回充電池を買ったときは」という文書データが入力された場合、形態素解析手段１０４による形態素解析の結果、得られる形態素解析データ１４０は、図５に示すようなものになる。図５に示すように、形態素解析データ１４０は、各形態素ごとに、出現形、読み、基本形、品詞の項目で構成される。
【００２４】
形態素解析データ１４０が得られたら、複合名詞候補作成手段１０６が、複合名詞候補を作成する（Ｓ３）。具体的には、得られた形態素解析データ１４０中の連続した形態素の品詞情報で、品詞結合規則データ１６０を参照し、ともに結合規則に適合するものである場合に、連続した形態素を複合名詞候補とし、複合名詞候補データ１５０を作成する。
【００２５】
例えば、図５に示した形態素解析データ１４０に対して、複合名詞候補データ１５０を作成する場合を考えてみる。形態素解析データ１４０の形態素のうち、名詞以外のものは、品詞結合規則データ１６０に存在しないため、候補から除外する。形態素が名詞である場合は、品詞結合規則データ１６０を参照する。名詞である形態素のうち、「私」については、「名詞−代名詞−一般」が「×（結合しない）」であるため、複合名詞候補とはせず、「とき」についても、「名詞−非自立−副詞可能」が「×（結合しない）」であるため、複合名詞候補とはしない。「前回」「充電」「池」は、その品詞「名詞−一般」「名詞−サ変接続」「名詞−一般」がいずれも「○（結合する）」であり、出現順が連続しているため、複合名詞候補とする。この結果、図６に示したような複合名詞候補データ１５０が得られる。図６に示すように、複合名詞候補データ１５０は、形態素の連続したもの、すなわち形態素シーケンスの形式となっている。
【００２６】
複合名詞候補データ１５０が得られたら、複合名詞抽出手段１０８が、複合名詞候補から複合名詞を抽出する（Ｓ４）。具体的には、複合名詞候補データ１５０のうち、先頭の形態素、末尾の形態素それぞれについて、文字列頻度データ１９０を参照してスコアを取得し、各スコアがスコア設定値より大きい場合に、その複合名詞候補を複合名詞とする処理を行う。スコア設定値とは、各形態素のスコアと比較するための閾値であり、事前に設定されるものである。
【００２７】
図６に示した複合名詞候補データ１５０から複合名詞を抽出する場合について、図７、図８を用いて説明する。図７は、文字列頻度データ１９０の一例を示す図である。図８は、複合名詞抽出の様子を示す図である。複合名詞候補データ１５０の先頭の形態素である「前回」、末尾の形態素である「池」で図７に示す文字列頻度データ１９０を参照すると、先頭の形態素に対応するスコアである前方スコア“３２．６５”、末尾の形態素に対応するスコアである後方スコア“１５０．９３”が得られる。これを事前に設定されているスコア設定値“５０”と比較すると、後方スコアはスコア設定値より大きいが、前方スコアはスコア設定値より小さい。この場合、複合名詞抽出手段１０８は、スコア設定値より小さい前方スコアを有する先頭の形態素「前回」を複合名詞候補から除外する。
【００２８】
先頭の形態素「前回」を複合名詞候補から除外したら、複合名詞抽出手段１０８は、次の形態素「充電」を新たな先頭の形態素として、文字列頻度データ１９０から前方スコアを取得し、スコア設定値と比較する。形態素「充電」の前方スコアは“５５．１７”であり、スコア設定値より大きいため、前方スコア、後方スコアがともにスコア設定値より大きいという条件を満たす。したがって、複合名詞抽出手段１０８は、複合名詞候補のうち、先頭の形態素「充電」から末尾の形態素「池」までの形態素が複合名詞として抽出する。図８の例の場合、先頭の形態素「充電」と末尾の形態素「池」の間に他の形態素がないため、２つの形態素で構成される「充電池」が複合名詞データとして抽出されることになる。
【００２９】
図８の例は、複合名詞候補の当初の形態素数が“３”であり、複合名詞の形態素数が“２”となったものであるが、複合名詞抽出手段１０８は、上記Ｓ４における前方スコア、後方スコアの少なくとも一方がスコア設定値より小さい場合には、スコア設定値より小さいスコアを有する形態素を除外した状態で、さらにスコア設定値との比較を行う処理を再帰的に行っていく。したがって、複合名詞抽出手段１０８は、複合名詞が抽出されるが、複合名詞候補の形態素数が“１”になるまで上記処理を繰り返し実行することになる。
【００３０】
複合名詞抽出装置は、上記Ｓ１〜Ｓ４における処理を実行することにより、入力された文書データから、キーワードとなる複合名詞を抽出することができる。Ｓ１〜Ｓ４までの処理で、本発明の課題を解決することができるが、本実施形態に係る複合名詞抽出装置では、キーワード頻度データ作成手段１１２が、抽出した複合名詞の、文書データ中における出現頻度を計数する処理を行う（Ｓ５）。具体的には、同一文字列となる複合名詞ごとに、複合名詞として抽出された数をカウントする。さらに、本実施形態では、キーワード頻度データ作成手段１１２は、形態素解析手段１０４による形態素解析の結果得られた形態素解析データ中で、品詞が特定できず、「未知語」と判断された形態素についても出現頻度を計数する。また、形態素解析データ中、他の名詞と結合されないが、品詞結合規則に適合する単独の名詞についても出現頻度を計数する。この結果、複合名詞、未知語、単独名詞をキーワードとして、各キーワードの出現頻度を記録したキーワード頻度データが得られる。
【００３１】
（３．実験結果）
本発明に係る複合名詞抽出装置の効果を確認するために、Ｗｉｋｉｐｅｄｉａ日本語版の本文データを対象の文書データとして、実験を行った。品詞結合規則のみによる抽出手法（従来手法）と、本発明の実験結果の例を以下に示す。
【００３２】
（本発明）日本商工会議所／主催  （従来手法）日本商工会議所主催
（本発明）大津インター／付近    （従来手法）大津インター付近
【００３３】
従来手法では、「日本商工会議所主催」「大津インター付近」をそれぞれ１つの複合名詞として抽出するが、本発明に係る複合名詞抽出装置では、「日本商工会議所」「大津インター」をそれぞれ１つの複合名詞として抽出することができる。すなわち、形態素シーケンス（複合名詞候補）末尾に“付近（名詞−一般）”や“主催（名詞−サ変接続）”といった、キーワードの一部として不要なものが出現する場合にも、適正な複合名詞を抽出することができる。
【００３４】
（４．応用例）
次に、複合名詞抽出装置による応用例について図９を用いて説明する。本実施形態に係る複合名詞抽出装置をアンケート回答結果に対して用いることにより、アンケート回答結果に含まれるキーワードを得ることが可能となる。この場合、本文文書データ１３０として、アンケート回答結果を記録したものを用いる。アンケート回答結果に対して、上記Ｓ１〜Ｓ５の処理を実行した結果、図９の下線部がキーワードとして抽出され、キーワード頻度データが作成される。このように、フリーテキストのアンケート回答結果から、キーワード頻度データをリスト形式で作成することにより、分析者がキーワード頻度データを見てアンケート全体の傾向を把握することができる。
【００３５】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、前方スコア、後方スコアとして出現頻度の偏差値を用いたが、出現頻度を反映する指標であれば、偏差値以外のものを用いても良い。
【００３６】
また、上記実施形態では、複合名詞抽出装置１００により、品詞結合規則データ１６０、文字列頻度データ１９０を作成するようにしたが、事前に別途作成しておき、記憶手段１２０に記憶させておくようにしても良い。
【００３７】
また、上記実施形態では、文字列頻度データ１９０の作成の基礎として、辞書見出しデータ１８０を用いたが、必ずしも辞書の見出しである必要はなく、記事の見出しやタイトルその他、意味を持ち、それ自体で完結したある程度の長さの文字列の集合を基礎として、文字列頻度データ１９０を作成するようにしても良い。
【産業上の利用可能性】
【００３８】
本発明は、テキストマイニングにおけるキーワード抽出、情報検索システムにおける索引語データの作成等、コンピュータを用いて用語を抽出する産業に利用することができる。
【符号の説明】
【００３９】
１００・・・複合名詞抽出装置
１０１・・・演算処理手段
１０４・・・形態素解析手段
１０６・・・複合名詞候補作成手段
１０８・・・複合名詞抽出手段
１１０・・・品詞結合規則設定手段
１１２・・・キーワード頻度データ作成手段
１１６・・・辞書見出し分析手段
１２０・・・記憶手段
１３０・・・本文文書データ
１４０・・・形態素解析データ
１５０・・・複合名詞候補データ
１６０・・・品詞結合規則データ
１７０・・・複合名詞データ
１８０・・・辞書見出しデータ
１９０・・・文字列頻度データ
２００・・・スコア設定値
【図１】
0005434402.tif 000002
【図２】
0005434402.tif 000003
【図３】
0005434402.tif 000004
【図４】
0005434402.tif 000005
【図５】
0005434402.tif 000006
【図６】
0005434402.tif 000007
【図７】
0005434402.tif 000008
【図８】
0005434402.tif 000009
【図９】
0005434402.tif 000010