(57)【要約】【課題】所定の文書から単語を抽出する場合、抽出された単語に、誤認識語が混入される割合を低減することができる単語抽出装置を提供することを目的とする。【解決手段】文書から所定の単語を抽出する単語抽出装置において、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出部と、上記単語リスト中の各単語に、重要度を付与する重要度付与部と、上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与部と、上記重要度と上記結束度とが付加されている単語リストを出力する単語リスト出力部とを有することを特徴とする単語抽出装置。【選択図】  図１
2004252775.tif 000002
【特許請求の範囲】
【請求項１】
文書から所定の単語を抽出する単語抽出装置において、
所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出部と；
上記単語リスト中の各単語に、重要度を付与する重要度付与部と；
上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与部と；
上記重要度と上記結束度とが付加されている単語リストを出力する単語リスト出力部と；
を有することを特徴とする単語抽出装置。
【請求項２】
文書から所定の単語を抽出する単語抽出方法において、
所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出段階と；
上記単語リスト中の各単語に、重要度を付与する重要度付与段階と；
上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与段階と；
上記重要度と上記結束度とが付加されている単語リストを出力する単語リスト出力段階と；
を有することを特徴とする単語抽出方法。
【請求項３】
文書から所定の単語を抽出するプログラムにおいて、
所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リスト記憶装置に格納されている単語リストに、単語抽出部が、記憶させる単語抽出手順と；
上記単語リスト中の各単語に、重要度付与部が、重要度を付与する重要度付与手順と；
上記単語リスト中の所定の単語と他の単語との結束度を、結束度付与部が、上記所定の単語に付与する結束度付与手順と；
上記重要度と上記結束度とが付加されている単語リストを、単語リスト出力部に出力させる単語リスト出力手順と；
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識や文字認識等を行った結果の語に重要度を付与し、重要語を抽出する単語抽出装置に関する。
【０００２】
【従来の技術】
従来の単語抽出装置では、入力文書中の出現頻度や外部コーパスでの出現頻度に基づいて、重要度を計算する手法が一般的である。たとえば、ｔｆ・ｉｄｆ法では、入力文書中で、その語の出現頻度（ｔｆ）と、新聞記事等の外部コーパス中においてその語が出現する文書数の逆数（ｉｄｆ；一般にはさらに対数を取って利用する）との積をもって重要度とする（たとえば、特許文献１参照）。また、文書の重要度と単語間の関連性とを評価することが知られている（たとえば、特許文献２参照）。
【０００３】
これらの手法において、入力文書が、完全に信頼がおけるものであるとして設計され、たとえば、音声認識や文字認識の結果のように、入力に誤りが含まれている場合にも、誤り語を無分別に採用するという問題がある。
【０００４】
【特許文献１】
特開２００１−０６７３６２号公報
【特許文献２】
特開２００１−１０１１９４号公報
【０００５】
【発明が解決しようとする課題】
従来の単語抽出装置では、認識誤りの可能性を考慮しないので、誤認識率に応じて、選ばれた重要語に誤認識語が混入する。
【０００６】
重要語は、いわば文書の特徴を少数の語で代表させた語であるということができ、選択された重要語に誤認識語が混入していれば、その重要語を用いた処理（要約や関連文書検索等の処理）に、致命的な悪影響を及ぼす。
【０００７】
したがって、選択された重要語に誤認識語が混入していれば、この重要語の誤認識語混入は、単に非重要語が選ばれた場合とは、質の異なる誤抽出であり、誤認識語の混入を避けることが望まれる。認識誤りかどうかを決定的に判別することは不可能であるので、ある程度、誤認識語が混入することを避けることはできないが、誤認識語混入の割合をできるだけ低くすることが望まれる。
【０００８】
本発明は、所定の文書から単語を抽出する場合、抽出された単語に、誤認識語が混入される割合を低減することができる単語抽出装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、抽出単語と文書中の他の単語との結束度を表す尺度を、抽出単語に付与することによって、重要語への誤認識語の混入割合を低減することを可能とする。
【００１０】
また、本発明は、文書から所定の単語を抽出する単語抽出方法において、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出段階と、上記単語リスト中の各単語に、重要度を付与する重要度付与段階と、上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与段階と、上記重要度と上記結束度とが付加されている単語リストを出力する単語リスト出力段階とを有することを特徴とする単語抽出方法である。
【００１１】
さらに、本発明は、文書から所定の単語を抽出するプログラムにおいて、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リスト記憶装置に格納されている単語リストに、単語抽出部が、記憶させる単語抽出手順と、上記単語リスト中の各単語に、重要度付与部が、重要度を付与する重要度付与手順と、上記単語リスト中の所定の単語と他の単語との結束度を、結束度付与部が、上記所定の単語に付与する結束度付与手順と、上記重要度と上記結束度とが付加されている単語リストを、出力部に出力させる単語リスト出力手順とをコンピュータに実行させるプログラムである。
【００１２】
【発明の実施の形態および実施例】
図１は、本発明の一実施例である単語抽出装置１００を示す構成図である。
【００１３】
入力文書は、入力装置１１０から入力され、単語抽出部１２０によって文書内の単語が抽出され、単語リスト記憶装置１３０に保存される。
【００１４】
単語抽出部１２０は、形態素解析によってテキストから単語に分割するものである。
【００１５】
重要度付与部１４０は、単語リスト記憶装置１３０内の各単語について、重要度を付与する。付与される重要度は、自動要約装置や文書自動分類装置、関連文書検索装置等の自然言語処理システムで広く用いられる。
【００１６】
重要度を計算する場合、たとえば、ｔｆ・ｉｄｆ等を利用するようにしていもよい。結束度付与部１５０は、単語リスト記憶装置１３０内の各単語について、結束度を付与する。結束度を計算する場合、たとえば、別コーパスから算出した単語共起ベクトルの距離や、別コーパスから算出した単語間の相互情報量等を利用することができる。
【００１７】
単語ｗｉとｗｊとの相互情報量Ｉ（ｗｉ，ｗｊ）を用いて、結束度（ｗｉ）を計算する場合、たとえば、次の式（１）によって、結束度（ｗｉ）を算出することができる。
【００１８】
【数１】
2004252775.tif 000003
相互情報量Ｉ（ｗｉ，ｗｊ）は、新聞記事等の別コーパスから予め算出し、別コーパス中における所定の単語の出現確立Ｐ（ｗ）と、共起出現確立Ｐ（ｗｉ，ｗｊ）とを用い、次の式（２）によって、相互情報量Ｉ（ｗｉ，ｗｊ）を計算することができる。
【００１９】
【数２】
2004252775.tif 000004
なお、上記式（２）において、対数の底に、何にとるかは任意である。
【００２０】
単語共起ベクトルの距離を用いる場合、たとえば、単語ベクトル
【００２１】
【数３】
2004252775.tif 000005
と、文書ベクトル
【００２２】
【数４】
2004252775.tif 000006
とのなす角度を用い、次の式（３）によって、単語共起ベクトルの距離を算出することができる。
【００２３】
【数５】
2004252775.tif 000007
ここで、新聞記事等の別コーパスから、各単語ベクトルｗｉを予め算出し、別コーパス内の各文書がベクトルの次元を持ち、所定の単語が、文書中に出現すれば、１であり、出現しなければ、０であると定義する。角度（上記単語ベクトルと上記文書ベクトルとのなす角度）の代わりに、内積やユークリッド距離等を用いても、上記と同様である。
【００２４】
単語リスト出力部１６０は、重要度と結束度とが付加された単語を、記憶装置１３０から取り出して出力する。
【００２５】
出力されたリストから重要語を抽出する場合、たとえば、重要度と結束度との積が大きい順にソートし、上位ｎ単語を抽出すればよい。重要度と結束度とについて、上記のように積を求める代わりに、加算するようにしてもよく、上記と同様である。この場合、重み付けして加算してもよく、また、重み付けしないで加算するようにしてもよい。
【００２６】
次に、上記実施例の動作について説明する。
【００２７】
日本語音声を自動音声認識した文書を例にとって、単語抽出装置１００の動作を説明する。
【００２８】
図２は、日本語音声を自動音声認識した文書の例を示す図である。
【００２９】
図２に示す例文書では、「アザラシ」、「タマ」、「帷子川」は正しく音声認識された単語であるが、「イチロー」は誤認識された語であるとして説明する。
【００３０】
図２の入力文書は、入力装置１１０から入力され、上記入力された入力文書から、単語抽出部１２０が、単語「アザラシ」、「タマ」、「帷子川」、「イチロー」を抽出し、これら抽出された単語が、単語リスト記憶装置１３０に保存される。
【００３１】
この例では、入力文書は、日本語プレインテキストであるので、単語抽出部１２０は、形態素解析装置を用い、容易に構成可能である。仮に入力文書が、音声認識装置からのマークアップつきの文書であれば、単語抽出部１２０の処理は、単語とマークされている箇所とを取り出すだけであり、さらに容易に構成可能である。
【００３２】
重要度付与部１４０は、単語リスト記憶装置１３０に記憶されている各単語について、重要度を付与する。ここでは、ｔｆ・ｉｄｆ法を用い、
重要度（「アザラシ」）＝１．０
重要度（「タマ」）＝４．０
重要度（「帷子川」）＝３．０
重要度（「イチロー」）＝４．０
であると計算されたとする。
【００３３】
ｔｆ・ｉｄｆの計算については、たとえば「東京大学出版会：情報検索と言語処理」を参照。
【００３４】
次に、結束度付与部１５０は、単語リスト記憶装置１３０に記憶されている各単語について、結束度を付与する。
【００３５】
図３は、共起頻度の例を示す図である。
【００３６】
上記実施例において、結束度を算出する場合、別コーパスから、図３に示す共起頻度が得られていたとし、この場合における相互情報量を用いる。図３に示す共起頻度から、相互情報量は、
Ｉ（「アザラシ，タマ」）＝８．７６
Ｉ（「アザラシ，帷子川」）＝８．９７
Ｉ（「アザラシ，イチロー」）＝０
Ｉ（「タマ，帷子川」）＝９．３８
Ｉ（「タマ，イチロー」）＝０
Ｉ（「帷子川，イチロー」）＝０
と計算できる（ここでは、対数の底を２とした）。
【００３７】
したがって、各単語の結束度ｆ（ｗ）は、
結束度（「アザラシ」）＝１７．７３
結束度（「タマ」）＝１８．１４
結束度（「帷子川」）＝１８．３５
結束度（「イチロー」）＝０
である。なお、重要度付与部１４０の処理順序と、結束度付与部１５０の処理順序とは任意である。
【００３８】
次に、出力部１６０は、重要度と結束度とが付加ている単語リストを、記憶装置１３０から取り出し、出力する。
【００３９】
図４は、上記実施例において、重要度と結束度とが付加されている単語リストを取り出した例を示す図である。
【００４０】
この結果に基づいて、たとえば、重要度２語を取り出すことを考える。従来技術では、図４において、「重要度」のみによって判断しているので、取り出される単語は、「タマ」と「イチロー」であるが、上記実施例において、たとえば、重要度と結束度との積を尺度とすれば、「タマ」と「帷子川」が取り出される。上記積の代わりに、線形結合を用いても、上記と同様の結果になる。
【００４１】
すなわち、出力部１６０が出力した単語リストから、上記重要度と上記結束度との積、または、線形結合に応じて、単語を取り出すようにしてもよい。
【００４２】
つまり、上記実施例によれば、抽出単語と、文書中の他の単語との結束度を表す尺度を付与することによって、誤認識語が重要語に混入する割合を低減することができる。これによって、算出された重要度を用いた要約や文書分類、関連文書検索等の自然言語処理の精度を向上させることができる。
【００４３】
また、上記実施例を、単語抽出方法として把握することができる。
【００４４】
つまり、上記実施例は、文書から所定の単語を抽出する単語抽出方法において、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出段階と、上記単語リスト中の各単語に、重要度を付与する重要度付与段階と、上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与段階と、上記重要度と上記結束度とが付加されている単語リストを出力する出力段階とを有することを特徴とする単語抽出方法の例である。
【００４５】
さらに、上記実施例をプログラムとして把握することができる。すなわち、上記実施例は、文書から所定の単語を抽出するプログラムにおいて、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リスト記憶装置に格納されている単語リストに、単語抽出部が、記憶させる単語抽出手順と、上記単語リスト中の各単語に、重要度付与部が、重要度を付与する重要度付与手順と、上記単語リスト中の所定の単語と他の単語との結束度を、結束度付与部が、上記所定の単語に付与する結束度付与手順と、上記重要度と上記結束度とが付加されている単語リストを、出力部に出力させる単語リスト出力手順とをコンピュータに実行させるプログラムの例である。
【００４６】
また、上記実施例を次のように把握することができる。すなわち、上記実施例は、文書から所定の単語を抽出する単語抽出装置において、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出部と、上記単語リスト中の各単語に、重要度を付与する重要度付与部と、上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与部と、上記単語抽出部が抽出した単語のうちで、上記重要度と上記結束度とに応じた単語を出力する単語出力部とを有することを特徴とする単語抽出装置の例である。
【００４７】
【発明の効果】
本発明によれば、所定の文書から単語を抽出する場合、抽出された単語に、誤認識語が混入される割合を低減することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施例である単語抽出装置１００を示す構成図である。
【図２】日本語音声を自動音声認識した文書の例を示す図である。
【図３】共起頻度の例を示す図である。
【図４】上記実施例において、重要度と結束度とが付加されている単語リストを取り出した例を示す図である。
【符号の説明】
１００…単語抽出装置、
１１０…入力装置、
１２０…単語抽出装置、
１３０…単語リスト記憶装置、
１４０…重要度付与部、
１５０…結束度付与部、
１６０…出力部、
ｗｉ、ｗｊ…単語、
Ｉ（ｗｉ，ｗｊ）…単語ｗｉとｗｊとの相互情報量、
ｗｉ…結束度、
Ｐ（ｗ）…別コーパス中における所定の単語の出現確立、
Ｐ（ｗｉ，ｗｊ）…共起出現確立、
ｆ（ｗ）…単語の結束度。
【図１】
2004252775.tif 000008
【図２】
2004252775.tif 000009
【図３】
2004252775.tif 000010
【図４】
2004252775.tif 000011