(57)【特許請求の範囲】
【請求項１】
文書入力手段、複合語抽出手段、類似複合語作成手段、出現頻度集計手段、重要語設定提示手段、類語データベースを備える重要語抽出装置が行う重要語抽出方法であって、
前記文書入力手段が、文書データを取得する文書入力ステップと、
前記複合語抽出手段が、文書データから品詞の種類が限定されない３以上の形態素で構成される複合語を抽出する複合語抽出ステップと、
前記類似複合語作成手段が、複合語を構成する１つの形態素を検索キーにして、類語データベースを検索して得られる類語で置き換えて、類似複合語を作成する類似複合語作成ステップと、
前記出現頻度集計手段が、複合語と類似複合語を用いて、文書データにおける出現頻度を集計する出現頻度集計ステップと、
前記重要語設定提示手段が、複合語と類似複合語の出現頻度が重要語設定条件を満たせば、当該複合語を、前記文書データの重要語に設定して、提示する重要語設定提示ステップと、
を含んだ手順でなされることを特徴とする重要語抽出方法。
【請求項２】
請求項１に記載の重要語抽出方法であって、
前記重要語設定条件は、
複合語の出現頻度が２回以上で、かつ、類似複合語の出現頻度が０回である、
ことを特徴とする重要語抽出方法。
【請求項３】
類語データベースを格納する類語格納領域、
を有する記憶部と、
文書データを取得する文書入力手段と、
文書データから品詞の種類が限定されない３以上の形態素で構成される複合語を抽出する複合語抽出手段と、
複合語を構成する１つの形態素を検索キーにして、類語データベースを検索して、類語を取得する類語取得手段と、
検索キーに用いた形態素を取得された類語に置き換えて、類似複合語を作成する類似複合語作成手段と、
複合語と類似複合語を用いて、文書データにおける出現頻度を集計する出現頻度集計手段と、
複合語と類似複合語の出現頻度が重要語設定条件を満たせば、当該複合語を、前記文書データの重要語に設定して、提示する重要語設定提示手段と、
を備えることを特徴とする重要語抽出装置。
【請求項４】
請求項３に記載の重要語抽出装置であって、
前記重要語設定条件は、
複合語の出現頻度が２回以上で、かつ、類似複合語の出現頻度が０回である、
ことを特徴とする重要語抽出装置。
【請求項５】
コンピューターに組込むことによって、コンピューターを請求項３または請求項４に記載の重要語抽出装置として動作させるコンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを記録したコンピューター読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の特徴を現す重要語を抽出する方法、装置、プログラム、記録媒体に関するものである。
本発明は、特に、自然言語で作成された文書から抽出した形態素を連結した語を、文書の特徴を現す重要語として抽出する場合に有用である。
【背景技術】
【０００２】
インターネットやコンピューターの普及に伴い、膨大な電子化文書の蓄積が進んでいることから、これらの文書を活用するために、文書の特徴を現す語（＝重要語）を抜き出すことが益々重要となっている。
重要語を手掛りとすることで、文書の利用者（以下、分析者）は、文書を能率よく、分類し検索することができる。
ここで、文章の内容が専門的な事項に関する場合には、複数の単語の組み合わせ（＝複合語）で、複雑な概念を表すことが多いから、文書の重要語として複合語を用いることが、有効である。
【０００３】
そこで、文書から複合語を抜き出す方法と重要語を決定する方法について説明する。
《Ａ．複合語の抽出》
複合語を抜き出す方法は、自然言語で作成された文書を形態素解析プログラムにより形態素分割して、次に、この分割された形態素に対して、単語の品詞や属性などの組み合わせ方を定めた複合語規則を適用することで、複数の形態素を連結した複合語を作成する。
たとえば、非特許文献１には、日本文を単語単位（＝形態素）に分割し、品詞を付与する技術が開示されている。
また、特許文献１では、文書の形態素に対して複合語規則を適用することで、品詞や読みなどの形態素解析情報を有する複合語を作成する技術が開示されている。
ここで、形態素解析とは、自然言語で書かれた文を、大まかにいえば、言語で意味を持つ最小単位である形態素の列に分割し、それぞれの品詞を判別する自然言語処理の基礎技術であり、広く用いられている。
《Ｂ．重要語の決定》
複合語の中から重要語を選定する方法は、重要語が出現する文書位置などの重要語知識や、複合語の出現頻度の情報を用いて、複合語の重要度を計算して、重要語を決定する。
たとえば、特許文献２では、重要語が割り付けられる場所や重要語のフォントサイズなどの重要語知識を用いて、重要語を決定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８７４０６号公報（段落００８１−段落００８８、図６）
【特許文献２】特開２００６−３０９３４７号公報（段落００５９−段落００６２）
【非特許文献】
【０００５】
【非特許文献１】形態素解析システム茶筅［平成２０年６月２０日検索］インターネットＵＲＬ：http://chasen-legacy.sourceforge.jp/
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、《Ａ．複合語の抽出》に於いて、複合語規則を用いて文書から複合語を抽出する場合には、複合語規則に則らない複合語が抽出できないので、抽出できない複合語は、文書の重要語として設定できない。
また、《Ｂ．重要語の決定》に於いて、重要語を決定するためには、予め重要語について分析して、重要語知識を習得しなければ成らない。
【０００７】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、複合語規則や重要語知識を用いずに、複合語を文書の特徴を現す重要語に設定できる方法、装置、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、文書入力手段、複合語抽出手段、類似複合語作成手段、出現頻度集計手段、重要語設定提示手段、類語データベースを備える重要語抽出装置が行う重要語抽出方法であって、
前記文書入力手段が、文書データを取得する文書入力ステップと、
前記複合語抽出手段が、文書データから品詞の種類が限定されない３以上の形態素で構成される複合語を抽出する複合語抽出ステップと、
前記類似複合語作成手段が、複合語を構成する１つの形態素を検索キーにして、類語データベースを検索して得られる類語で置き換えて、類似複合語を作成する類似複合語作成ステップと、
前記出現頻度集計手段が、複合語と類似複合語を用いて、文書データにおける出現頻度を集計する出現頻度集計ステップと、
前記重要語設定提示手段が、複合語と類似複合語の出現頻度が重要語設定条件を満たせば、当該複合語を、前記文書データの重要語に設定して、提示する重要語設定提示ステップと、
を含んだ手順でなされることを特徴とする重要語抽出方法である。
【０００９】
このように、複合語規則を用いずに、文書から複合語を抽出することが可能である。ここで、複合語の品詞は、名詞や動詞などに限定されず、いかなる品詞であってもよい。また、複合語を構成する形態素の品詞も、いかなる品詞であってもよい。
また、類似複合語（＝複合語の一部を類語に置き換えた語）の出現頻度を重要語判定条件を用いることによって、複合語が重要語（＝文書の特徴を現す語）であるか否かを容易に判定することが可能である。
【００１０】
本願発明の第２の発明は、第１の発明に記載の重要語抽出方法であって、
前記重要語設定条件は、
複合語の出現頻度が２回で、かつ、類似複合語の出現頻度が０回である、
を備えることを特徴とする重要語抽出方法である。
【００１１】
本願発明の第３の発明は、類語データベースを格納する類語格納領域、
を有する記憶部と、
文書データを取得する文書入力手段と、
文書データから品詞の種類が限定されない３以上の形態素で構成される複合語を抽出する複合語抽出手段と、
複合語を構成する１つの形態素を検索キーにして、類語データベースを検索して、類語を取得する類語取得手段と、
検索キーに用いた形態素を取得された類語に置き換えて、類似複合語を作成する類似複合語作成手段と、
複合語と類似複合語を用いて、文書データにおける出現頻度を集計する出現頻度集計手段と、
複合語と類似複合語の出現頻度が重要語設定条件を満たせば、当該複合語を、前記文書データの重要語に設定して、提示する重要語設定提示手段と、
を備えることを特徴とする重要語抽出装置である。
【００１２】
本願発明の第４の発明は、第３の発明に記載の重要語抽出装置であって、
前記重要語設定条件は、
複合語の出現頻度が２回以上で、かつ、類似複合語の出現頻度が０回である、
ことを特徴とする重要語抽出装置である。
【００１３】
本願発明の第５の発明は、コンピューターに組込むことによって、コンピューターを第３または第４の発明に記載の重要語抽出装置として動作させるコンピュータプログラムである。
【００１４】
本願発明の第６の発明は、第５の発明に記載のコンピュータプログラムを記録したコンピューター読取り可能な記録媒体である。
【発明の効果】
【００１５】
本願発明によれば、
（１）文書から複数の形態素を連結した複合語を抽出することが可能である。
（２）類似複合語（＝複合語の一部を類語に置き換えた語）の出現頻度を計測することで、複合語が文書の特徴を現す語であるか否かを容易に判定することが可能である。
従って、本発明によれば、複合語と類語を用いて、当該複合語の出現頻度を判定することで、複合語が文書の特徴を現す重要語であるか否かを、容易に特定できるという効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態による複合語抽出システム１の概要を説明する図である。（実施例１）
【図２】複合語抽出システム１の作業と処理の大まかな手順を説明する図である。
【図３】文書データの表示例を説明する図である。
【図４】類語データベースの詳細を説明する図である。
【図５】語の意味と類語を説明する図である。
【図６】複合語抽出処理の詳細な手順を説明する図である。
【図７】複合語を説明する図である。
【図８】類似複合語生成処理の詳細な手順を説明する図である。
【図９】重要語抽出装置１００の詳細な構成図である。
【発明を実施するための形態】
【００１７】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【実施例１】
【００１８】
図１は、本発明の実施の形態による複合語抽出システム１の概要を説明する図である。
複合語抽出システム１は、重要語抽出装置１００と、ウェブサーバー装置３００とがネットワーク接続されて構成される。
【００１９】
重要語抽出装置１００は、既存の形態素解析プログラムを備えたパーソナルコンピューターに、ユーザーエージェント（たとえば、ウェブブラウザーやクローラーやメールユーザーエージェントなど）と、後述する専用プログラムを搭載したものである。
【００２０】
ウェブサーバー装置３００は、既存のサーバープログラム（たとえば、ウェブページをユーザーエージェントに提供するウェブサーバープログラム）を備えたサーバーコンピューターである。
ウェブサーバー装置３００が提供する文書データには、ウェブページ（ブログや電子掲示板などを含む）などがある。
なお、ウェブサーバー装置３００は、メールサーバープログラムを備えて、ネットニュースを提供してもよい。
【００２１】
図２は複合語抽出システム１の作業と処理の大まかな手順を説明する。
（１）分析者は、インターネット上の文書（ウェブサーバー装置３００のウェブページなど）を指定（たとえば、ＵＲＬ＝Uniform Resource Locatorを入力）する。
（２）重要語抽出装置１００は、ウェブサーバー装置３００からＵＲＬで指定された文書データ３９１を取得する。
ここで、重要語抽出装置１００は外部記録媒体（ＣＤ、ＤＶＤ、半導体メモリ）から文書データ３９１を取得するように構成しても良い。
（３）重要語抽出装置１００は、文書データ３９１から、複数の形態素で構成される複合語を抽出する。
ここで、複合語の品詞の種類は問わず、いかなる品詞であってもよい。また、複合語には、品詞や読みなどの形態素解析情報を関連付ける必要はない。また、複合語を構成する複数の形態素には、品詞や読みなどの形態素解析情報を関連付ける必要はない。（詳細は後述する）
（４）重要語抽出装置１００は、類語データベースを用いて、複合語を構成する形態素の類語を得て、複合語の該当する形態素をこの類語に置き換えて、類似複合語を生成する。
（５）重要語抽出装置１００は、文書に於いて、複合語と類似複合語の出現頻度を集計して、出現頻度が重要語設定条件（たとえば、複合語の出現頻度が２回以上で、類似複合語の出現頻度がゼロ回）を満たせば、その複合語を、その文書の重要語に設定して、提示する。
（６）分析者は、重要語を手掛りにして、必要な文書にたどり着く。
【００２２】
図３は、文書の重要語を説明する図である。
【００２３】
図３の（ａ）は、複合語が重要語と判断される文書データ３９１文書の表示例である。
表示された文書データ３９１には、複合語「我輩は猫である」が含まれている。
ここで、形態素「猫」の類語を用い作成した類似複合語（たとえば、形態素「猫」の類語「犬」を用いて作成した類似複合語「我輩は犬である」など）が、この文書には含まれていないことを示している。
【００２４】
この表示された文書データ３９１の意味は、複合語「我輩は猫である」の出現頻度が、所定の回数（たとえば、２回以上）あって、類似複合語（たとえば、「我輩は犬である」など）の出現頻度が、０回であるので、重要語設定条件に適合しおり、複合語「我輩は猫である」は、重要語であることを示している。
【００２５】
図３の（ｂ）は、複合語と、類似複合語が含まれる文書データ３９１の表示例である。
表示された文書データ３９１には、複合語「日本の食料自給率」とこの複合語に対する類似複合語「アメリカの食料自給率」と「韓国の食料自給率」が含まれている。すなわち、形態素「日本」の類語が、「アメリカ」と「韓国」とであるので、複合語「日本の食料自給率」から生成した類似複合語は、複合語「アメリカの食料自給率」と「韓国の食料自給率」に相当する。
【００２６】
この表示された文書データ３９１の意味は、複合語「日本の食料自給率」の出現頻度が、所定の回数（たとえば、２回以上）あって、類似複合語「アメリカの食料自給率」と「韓国の食料自給率」の出現頻度が、少なくとも１回あるので、複合語「日本の食料自給率」は、重要語でないことを示している。
【００２７】
ここで、複合語「食料自給率」が重要語であるか否かを検討する。複合語「食料自給率」の出現頻度（２回以上）と、類似複合語（たとえば、「食べ物自給率」や「食料調達率」など）の出現頻度（０回）とが、重要語設定条件を満たす。そこで、複合語「食料自給率」は、この文書の重要語に設定される。
【００２８】
以上の説明で述べた複合語の品詞は、名詞や動詞であったが、これに限定されるものではなくて、形容詞や副詞などであってもよい。また、複合語を構成する形態素の品詞は、名詞や動詞、助詞などであったが、これに限定されるものではなくて、形容詞や副詞などであってもよい。
なお、複合語を抽出するためには、特許文献１の技術の複合語規則や、特許文献２の技術の重要語知識を必要としないことが分かる。
【００２９】
図４は、類語データベースの詳細を説明する。
類語データベース１９１は、１つの形態素と同じ意味の類語を検索するデータベースである。
類語データベース１９１は、意味テーブル１９１１と、類語テーブル１９１２とを含んで構成される。
意味テーブル１９１１は、単語１９１４（主キー）と、意味を表す語１９１３と、を対応付けた表形式のデータである。
類語テーブル１９１２は、意味を表す語１９１７（主キー）と、類語１９１６の集合１９１５と、を対応付けた表形式のデータである。
【００３０】
類語データベース１９１の説明として、リレーショナル型データベースを例にしたが、ネットワーク型データベースを用いてもよい。
類語データベース１９１としては、たとえば、ＮＴＴコミュニケーション科学研究所が監
修している『日本語語彙大系』（岩波書店）を用いればよい。
【００３１】
ここで、図５を用いて、意味を表す語１９１３と類語１９１６の集合１９１５について説明する。
【００３２】
意味を表す語１９１３とは、体系化された語体系（たとえば、木構造による語体系）である。
図５に例示された意味を表す語１９１３の木構造は、たとえば、意味を表す語１９１３「名詞」の下位には、意味を表す語１９１３「生物」と「物質」とが関連付けられて、木構造で体系化されている。また、意味を表す語１９１３「生物」の下位には、たとえば、意味を表す語１９１３「動物」と「植物」とが関連付けられて、木構造で体系化されている。また、意味を表す語１９１３「動物」の下位には、たとえば、意味を表す語１９１３「哺乳類」と「爬虫類」と「鳥類」と関連付けられて、木構造で体系化されている。
【００３３】
これらの例示された意味を表す語の木構造の意図は、「名詞」１９１３の下位の意味には、「生物」１９１３と「物質」１９１３とがあるということを示している。また、「生物」１９１３の下位の意味には、「動物」１９１３と「植物」１９１３とがあるということを示している。また、「動物」１９１３の下位の意味には、「哺乳類」１９１３と「爬虫類」１９１３と「鳥類」１９１３とがあるということである。
【００３４】
次に、類語の集合１９１５について説明する。
図５に例示された類語の集合１９１５は、たとえば、「犬」１９１６と「猫」１９１６「牛」１９１６となどである。この類語の集合１９１５は、意味を表す語１９１３「哺乳類」に対応付けられている。
【００３５】
これらの例示された類語の集合１９１５の意図は、ある類語１９１６「猫」の意味は、たとえば、「哺乳類」１９１３であるので、この「哺乳類」１９１３に対応付けられた他の類語１９１６は、「犬」１９１６と「牛」１９１６などであるということである。
【００３６】
図６は、複合語抽出処理の詳細な手順を説明する図である。
（３）複合語抽出処理
（３−１）重要語抽出装置１００は、文書データ３９１を形態素解析して、形態素に分割する。
（３−２）重要語抽出装置１００は、これらの分割された形態素の列から、連続してＮ個の形態素を取り出して連結して、複合語とする。（Ｎ＝２、３、・・・、ｎ。ｎは、予め定めた整数値）従って、複合語を構成する形態素は、形態素の列から連続して、機械的に取り出すので、形態素の品詞の種類は問わない。
【００３７】
ここで、図７を用いて、複合語を説明する。
図７の（ａ）には、文書データ３９１の一部としての句が、例示されている。
文書データ３９１の句の例としては、小説の題名「我輩は猫である」が示されている。
図７の（ｂ）には、分割された形態素が、例示されている。
分割された形態素の例としては、「我輩 ／ は ／ 猫 ／ で ／ ある」が示されている。／は、形態素の区切りを示す記号である。
図７の（ｃ）には、連続してＮ個の形態素を取り出して連結した複合語が、例示されている。
Ｎ＝２の時には、複合語の例としては、「吾輩は」 「は猫」 「猫で」 「である」が示されている。
Ｎ＝３の時には、複合語の例としては、「吾輩は猫」 「は猫で」 「猫である」が示されている。
Ｎ＝４の時には、複合語の例としては、「吾輩は猫で」 「は猫である」が示されている。
Ｎ＝５の時には、複合語の例としては、「吾輩は猫である」が示されている。
【００３８】
図８は、類似複合語生成処理の詳細な手順を説明する図である。
（４）類似複合語生成処理
（４−１）重要語抽出装置１００は、複合語を構成する１つの形態素を検索キーにして、類語データベースを検索して、検索キーの形態素に対応する類語を取得する。
なお、類語データベース１９１は、検索キーの形態素を用いて、意味テーブルを参照して、検索キーの形態素に対応する意味コードを取得して、次に、この取得した意味コードを用いて、類語テーブルを参照して、意味コードに対応する類語を取得する。
（４−２）重要語抽出装置１００は、取得した類語を用いて、形態素列の該当する形態素を、この類語に置き換えて、類似複合語を生成する。
【００３９】
図９は、重要語抽出装置１００の詳細な構成図である。
重要語抽出装置１００は、ＣＰＵ１０１と、表示部１０３と、入力部１０２と、ネットワーク通信部１０４と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、表示部１０３と、入力部１０２と、ネットワーク通信部１０４と、記憶部１０９とは、ＢＵＳ１９９で接続される。
【００４０】
ＣＰＵ１０１は、中央演算装置である。
表示部１０３は、液晶表示装置や有機ＥＬ表示装置である。
入力部１０２は、マウスやキーボードである。入力部１０２は、キーボードやマウスや表示部１０３に表示されたソフトキーボード（＝タッチパネル）であってもよい。
ネットワーク通信部１０４は、ＬＡＮアダプターである。
【００４１】
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、類語データベース格納領域１０９１と文書格納領域１０９２と形態素格納領域１０９３とを備えて、オペレーティングシステム１８５と、形態素解析プログラム１８０と、ウェブブラウザー３８１と、専用プログラムとを記憶する。
【００４２】
類語データベース格納領域１０９１は、類語データベース１９１を格納する。
文書格納領域１０９２は、文書データ３９１を格納する。
形態素格納領域１０９３は、形態素列データ１９５を格納する。
【００４３】
記憶部１０９は、クローラーやメールユーザーエージェントなどのユーザーエージェントを記憶してもよい。
【００４４】
オペレーティングシステム１８５は、重要語抽出装置１００のハードウェア（たとえば、ＣＰＵ１０１と、入力部１０２と、表示部１０３と、ネットワーク通信部１０４と、記憶部１０９と、ＢＵＳ１９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
形態素解析プログラム１８０は、既存のプログラムであって、所定の形式のテキストデータを入力データとして与えると、分解した形態素と品詞や読みの情報とを対応付けた形態素解析データを出力するプログラムである。
ウェブブラウザー３８１は、既存のプログラムであって、インターネットのウェブサイトのウェブページ（たとえば、文書データ）を閲覧するプログラムである。
【００４５】
この他に、文書入力手段１１０と、複合語抽出手段１２０と、類語抽出手段１３５と、類似複合語作成手段１３０と、出現頻度集計手段１４０と、重要語設定提示手段１５０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００４６】
文書入力手段１１０は、ウェブサーバー装置３００から文書データ３９１を取得する。
【００４７】
複合語抽出手段１２０は、形態素解析プログラム１８０を呼び出して、文書データ３９１を入力データとして渡して、形態素解析プログラム１８０が出力する形態素解析データを受け取り、この形態素解析データの形態素を用いて複合語を作成する。
なお、複合語抽出手段１２０の処理の詳細は、図６の（３）《複合語抽出処理》の詳細な流れを説明する項で述べた。
【００４８】
類語抽出手段１３５は、複合語を構成する１つの形態素を検索キーにして、類語データベース１９１を検索して、類語を取得する。
なお、類語抽出手段１３５の処理の詳細は、図８の（４）《類似複合語生成処理》の詳細な流れを説明する項で述べた。
【００４９】
類似複合語作成手段１３０は、元の複合語を構成する１つの形態素を、取得された類語に置き換えて、類似複合語を作成する。
【００５０】
出現頻度集計手段１４０は、複合語と類似複合語を用いて、文書データ３９１における出現頻度を集計する。
【００５１】
重要語設定提示手段１５０は、複合語と類似複合語の出現頻度が所定の条件を満たせば、その複合語を、その文書の重要語に設定して、提示する。
【符号の説明】
【００５２】
１  複合語抽出システム
１００  重要語抽出装置
１１０  文書入力手段
１２０  複合語抽出手段
１３０  類似複合語作成手段
１３５  類語抽出手段
１４０  出現頻度集計手段
１５０  重要語設定提示手段
１８０  形態素解析プログラム
１９１  類語データベース
３００  文書サーバー装置
３９１  文書データ
【図１】
0005499546.tif 000002
【図２】
0005499546.tif 000003
【図３】
0005499546.tif 000004
【図４】
0005499546.tif 000005
【図５】
0005499546.tif 000006
【図６】
0005499546.tif 000007
【図７】
0005499546.tif 000008
【図８】
0005499546.tif 000009
【図９】
0005499546.tif 000010