(57)【要約】【課題】形態素解析の正解データが整備されていない新分野の文法に基づく文に対する形態素解析結果の誤り箇所を、新分野の正解データを用意することなく、精度良く検出する。【解決手段】集計部２２が、対象文の形態素に関する統計量を集計して、対象文統計量ＤＢ３２に格納する。誤り候補抽出部２３が、形態素解析された対象文から全ての形態素ｎ−ｇｒａｍを誤り候補として抽出する。素性生成部２４が、各誤り候補の素性となる統計量を対象文統計量ＤＢ３２から取得して素性ベクトルを生成する。誤り抽出部２５が、素性ベクトル及び対象文とは異なる分野の比較文の形態素に関する統計量が格納された比較文統計量ＤＢ３３の情報を用いて、対象文と比較文とで形態素に関する統計量の異なりが大きく、対象文統計量ＤＢ３２での出現頻度が少ない形態素を含み、かつ所定の品詞情報が付与された形態素を含む誤り候補を誤り箇所として抽出する。【選択図】図１
2014215970.tif 000002
【特許請求の範囲】
【請求項１】
形態素解析の誤り検出の対象となり、かつ分野が同じ複数の対象文の各々の形態素解析結果に含まれる形態素に関する第１の統計量を集計する集計部と、
前記複数の対象文の各々の形態素解析結果に含まれる形態素の連接を誤り候補として抽出する誤り候補抽出部と、
前記誤り候補抽出部により抽出された誤り候補が、前記誤り候補に含まれる形態素に関する第１の統計量と、前記分野とは異なる分野の複数の比較文の各々の形態素解析結果に含まれ、かつ前記誤り候補に含まれる形態素と対応する形態素に関する第２の統計量との差または比が、予め定めた第１閾値以上で、前記複数の対象文の各々の形態素解析結果における出現頻度が予め定めた第２閾値以下の形態素を含み、かつ予め定めた品詞情報が付与された形態素を含まない場合に、前記誤り候補を前記対象文の形態素解析結果の誤り箇所として抽出する誤り抽出部と、
を含む誤り検出装置。
【請求項２】
前記形態素に関する第１の統計量は、前記対象文の形態素解析結果に含まれる品詞の連接、形態素の連接、及び形態素の少なくとも１つの頻度に関連する値を含む請求項１記載の誤り検出装置。
【請求項３】
前記予め定めた品詞情報は、独立詞を示す品詞情報、記号に付与される品詞情報、及びアルファベットに付与される品詞情報の少なくとも１つを含む請求項１または請求項２記載の誤り検出装置。
【請求項４】
前記比較文を、新聞記事のテキストデータとした請求項１〜請求項３のいずれか１項記載の誤り検出装置。
【請求項５】
集計部が、形態素解析の誤り検出の対象となり、かつ分野が同じ複数の対象文の各々の形態素解析結果に含まれる形態素に関する第１の統計量を集計するステップと、
誤り候補抽出部が、前記複数の対象文の各々の形態素解析結果に含まれる形態素の連接を誤り候補として抽出するステップと、
誤り抽出部が、前記誤り候補抽出部により抽出された誤り候補が、前記誤り候補に含まれる形態素に関する第１の統計量と、前記分野とは異なる分野の複数の比較文の各々の形態素解析結果に含まれ、かつ前記誤り候補に含まれる形態素と対応する形態素に関する第２の統計量との差または比が、予め定めた第１閾値以上で、前記複数の対象文の各々の形態素解析結果における出現頻度が予め定めた第２閾値以下の形態素を含み、かつ予め定めた品詞情報が付与された形態素を含まない場合に、前記誤り候補を前記対象文の形態素解析結果の誤り箇所として抽出するステップと、
を含む誤り検出方法。
【請求項６】
コンピュータを、請求項１〜請求項４のいずれか１項記載の誤り検出装置を構成する各手段として機能させるための誤り検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形態素解析結果の誤り箇所を検出する誤り検出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
自然言語処理の基本技術の一つとして、形態素解析がある。形態素解析では、入力文（テキストデータ）を、辞書を用いて単語毎に区切り、各単語に品詞等の情報を付与する。形態素解析で用いる辞書に登録されていない単語が入力文に含まれている場合には、品詞等の情報として、未知語であることを示す情報が付与される。形態素解析により未知語に分類される語には、誤字、脱字、誤変換などの誤った表現や、ｗｅｂ上で用いられる特有な表現として出現する口語、方言、長音化、促音化などの表記ゆれ、「ググる」などの新語、略語などが存在する。この未知語の部分を、形態素解析の誤り箇所として検出することができる。
【０００３】
例えば、入力文「だいじょーぶだよー」に対して、「大丈夫」の崩れた表現である「だいじょーぶ」が辞書に登録されていない形態素解析器で形態素解析を行うと、例えば下記に示すような形態素解析結果が得られる。
【０００４】
０：だいじょーぶ  ｋａｎａ
１：だ            判定詞
２：よー          終助詞
【０００５】
上記の例における「ｋａｎａ」は、未知語であることを示す情報の一例である。上記の例の場合、「だいじょーぶ」の箇所を、形態素解析の誤り箇所として検出することができる。
【０００６】
また、上記のように、辞書に登録されていない単語が形態素解析の誤り箇所となる場合以外にも、入力文が意図する単語毎の区切りではなく、誤った既知語（辞書に登録されている単語）毎に区切られ、誤った品詞等の情報が付与される形態素解析の誤りの場合もある。
【０００７】
例えば、入力文「ゆにばいきたすぎるー」に対して、「ユニバーサルスタジオ」の略語である「ゆにば」が辞書に登録されていない形態素解析器で形態素解析を行うと、例えば下記に示すような形態素解析結果が得られる。
【０００８】
０：ゆに  名詞
１：ばい  終助詞
２：き    動詞語幹
３：た    動詞接尾辞
４：すぎ  形容詞接尾辞
５：る    動詞接尾辞
６：ー    終助詞
【０００９】
上記の例では、辞書に登録された「ゆに」及び「ばい」という既知語により、誤った単語区切り及び品詞情報の付与が行われてしまい、形態素解析結果が誤りを含んでいる。しかし、この場合、未知語に基づいて誤り箇所を検出する場合に比べ、形態素解析が誤っているか否かの判別が難しく、誤り箇所を検出することが困難である。このような形態素解析の誤りは、新聞記事等の正しい文法に基づく入力文に対する形態素解析よりも、口語調、方言、崩れた表現などが多用された入力文に対する形態素解析で多く発生し得る。
【００１０】
一方で、従来、文章中の誤字、脱字、誤変換などの誤りを、形態素解析結果を用いて検出する技術が提案されている。例えば、新聞記事のテキストデータから抽出した品詞Ｎ−ｇｒａｍ統計情報と文字種ヒューリスティクスとを用いて、日本語で書かれた文から誤字、脱字、誤変換などの誤り箇所を検出する技術が提案されている（例えば、非特許文献１参照）。
【００１１】
また、形態素解析器が未知語と判断した箇所の周辺を調べ、所定の条件を満たす場合には、その未知語を新たな単語として辞書に格納する技術が提案されている（例えば、被特許文献２参照）。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】石場正大、竹山哲夫、青木恒夫、兵藤安昭、池田尚志、「品詞Ｎ−ｇｒａｍ統計情報を用いた日本語文書における誤り検出法について」、情報処理学会研究報告、ＳＬＰ、音声言語情報処理  ｖｏｌ．１２０、１９９７
【非特許文献２】村脇有吾、黒橋禎夫、「形態論的制約を用いた未知語の自動獲得」、言語処理学会  第１４回年次大会  発表論文集、２００８
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述の誤った既知語による形態素解析の誤りの検出に、上記非特許文献１の技術を適用することも考えられる。しかし、非特許文献１の技術は、誤字、脱字、誤変換などの「正しい文法に基づいた文中での文そのものの誤り」を検出することを目的としており、「形態素解析の誤り」を検出することは意図されていなため、非特許文献１の技術を、形態素解析の誤り検出に適用することは困難である。
【００１４】
また、非特許文献１の技術は、例えば新聞記事のようなある分野の文法に基づく文の形態素解析結果の正解データを用い、同分野の文法に基づく文を誤り検出対象の文として、品詞統計量を比較することにより、誤り検出対象の文から誤り箇所を検出している。このように、正解データの分野と同じ分野の文法に基づく文を誤り検出対象の文とする場合には、正解データと誤り検出対象の文との単純な比較を行うことができるが、正解データの分野と異なる分野の文法に基づく文を誤り検出対象の文とする場合には、単純な比較を行うことができず、誤り箇所を検出することが困難になる。
【００１５】
特に、口語調、方言、崩れた表現などが多用されるｔｗｉｔｔｅｒ（登録商標）やブログなどの投稿文の分野は、まだ形態素解析の正解データが整備されていない分野である。このような新分野の文法に基づく文を誤り検出対象の文として、例えば新聞記事のような分野の正しい文法に基づく文の形態素解析結果の正解データと比較すると、単語の出現分布や品詞連接の出現分布が異なるため、誤り検出対象の文に対する形態素解析が誤っていない箇所まで誤り箇所として検出してしまう過剰検出が生じる。
【００１６】
このような形態素解析の正解データが整備されていない新分野の文法に基づく文の形態素解析の誤りを検出するために、実際に新分野の文法に基づく文の形態素解析結果を人手で確認し、解析結果が誤っているか否かの正解を付け、モデルによって誤り傾向を学習するという方法が考えられる。しかし、人手によって正解か否かを確認する作業は非常にコストが高く、現実的ではない。
【００１７】
また、非特許文献２の技術を適用して、新分野の文法に基づく文を形態素解析するための辞書に、未知語と判断された単語を所定の条件下で登録していくことも考えられる。しかし、上述のように、誤った既知語による形態素解析の誤り箇所には、非特許文献２の技術を適用することができない。
【００１８】
本発明は、上記の事実を考慮して成されたもので、形態素解析の正解データが整備されていない新分野の文法に基づく文に対する形態素解析結果の誤り箇所を、新分野の正解データを用意することなく、精度良く検出することができる誤り検出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明の誤り検出装置は、形態素解析の誤り検出の対象となり、かつ分野が同じ複数の対象文の各々の形態素解析結果に含まれる形態素に関する第１の統計量を集計する集計部と、前記複数の対象文の各々の形態素解析結果に含まれる形態素の連接を誤り候補として抽出する誤り候補抽出部と、前記誤り候補抽出部により抽出された誤り候補が、前記誤り候補に含まれる形態素に関する第１の統計量と、前記分野とは異なる分野の複数の比較文の各々の形態素解析結果に含まれ、かつ前記誤り候補に含まれる形態素と対応する形態素に関する第２の統計量との差または比が、予め定めた第１閾値以上で、前記複数の対象文の各々の形態素解析結果における出現頻度が予め定めた第２閾値以下の形態素を含み、かつ予め定めた品詞情報が付与された形態素を含まない場合に、前記誤り候補を前記対象文の形態素解析結果の誤り箇所として抽出する誤り抽出部と、を含んで構成されている。
【００２０】
本発明の誤り検出装置によれば、集計部が、形態素解析の誤り検出の対象となり、かつ分野が同じ複数の対象文の各々の形態素解析結果に含まれる形態素に関する第１の統計量を集計する。また、誤り候補抽出部が、複数の対象文の各々の形態素解析結果に含まれる形態素の連接を誤り候補として抽出する。そして、誤り抽出部が、誤り候補抽出部により抽出された誤り候補が、下記の条件を満たす場合に、誤り候補を対象文の形態素解析結果の誤り箇所として抽出する。
【００２１】
・誤り候補に含まれる形態素に関する第１の統計量と、対象文の分野とは異なる分野の複数の比較文の各々の形態素解析結果に含まれ、かつ前記誤り候補に含まれる形態素と対応する形態素に関する第２の統計量との差または比が、予め定めた第１閾値以上で、
・複数の対象文の各々の形態素解析結果における出現頻度が予め定めた第２閾値以下の形態素を含み、かつ
・予め定めた品詞情報が付与された形態素を含まない場合
【００２２】
このように、比較文との形態素に関する統計量の比較だけでなく、対象文における出現頻度、及び品詞情報が条件を満たす誤り候補を誤り箇所として検出するため、誤り箇所の誤検出が低減され、形態素解析の正解データが整備されていない新分野の文法に基づく文に対する形態素解析結果の誤り箇所を、新分野の正解データを用意することなく、精度良く検出することができる。
【００２３】
また、前記形態素に関する第１の統計量は、前記対象文の形態素解析結果に含まれる品詞の連接、形態素の連接、及び形態素の少なくとも１つの頻度に関連する値を含むことができる。頻度に関連する値は、例えば出現頻度、相対頻度、これらを正規化した値等とすることができる。品詞や形態素の連接情報は、形態素解析の誤り検出として用いるのに適した情報であり、形態素の出現頻度は、上記の２番目の条件を判定する際に用いることができる。
【００２４】
また、前記予め定めた品詞情報は、独立詞を示す品詞情報、記号に付与される品詞情報、及びアルファベットに付与される品詞情報の少なくとも１つを含むことができる。これらの品詞情報が付与された形態素は、形態素解析の正解データが整備されていない新分野の文法に基づく文に多く用いられ、かつ対象文とは異なる分野の比較文を基準とした形態素解析を行った場合でも、形態素解析の誤りになり難いと考えられる。
【００２５】
また、前記比較文を、新聞記事のテキストデータとすることができる。新聞記事は、正しい文法に基づく文であり、形態素解析の正解データが整備された分野の文として、収集が容易である。
【００２６】
また、本発明の誤り検出方法は、集計部が、形態素解析の誤り検出の対象となり、かつ分野が同じ複数の対象文の各々の形態素解析結果に含まれる形態素に関する第１の統計量を集計するステップと、誤り候補抽出部が、前記複数の対象文の各々の形態素解析結果に含まれる形態素の連接を誤り候補として抽出するステップと、誤り抽出部が、前記誤り候補抽出部により抽出された誤り候補が、前記誤り候補に含まれる形態素に関する第１の統計量と、前記分野とは異なる分野の複数の比較文の各々の形態素解析結果に含まれ、かつ前記誤り候補に含まれる形態素と対応する形態素に関する第２の統計量との差または比が、予め定めた第１閾値以上で、前記複数の対象文の各々の形態素解析結果における出現頻度が予め定めた第２閾値以下の形態素を含み、かつ予め定めた品詞情報が付与された形態素を含まない場合に、前記誤り候補を前記対象文の形態素解析結果の誤り箇所として抽出するステップと、を含む方法である。
【００２７】
また、本発明の誤り検出プログラムは、コンピュータを、上記の誤り検出装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の誤り検出装置、方法、及びプログラムによれば、比較文との形態素に関する統計量の比較だけでなく、対象文における出現頻度、及び品詞情報が条件を満たす誤り候補を誤り箇所として検出するため、誤り箇所の誤検出が低減され、形態素解析の正解データが整備されていない新分野の文法に基づく文に対する形態素解析結果の誤り箇所を、新分野の正解データを用意することなく、精度良く検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】本実施の形態に係る誤り検出装置の構成を示すブロック図である。
【図２】対象文統計量データベースの一例を示す図である。
【図３】本実施の形態における誤り検出処理ルーチンの内容を示すフローチャートである。
【図４】実験結果示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
本実施の形態に係る誤り検出装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する誤り検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、誤り検出部２０と、比較文統計部４０とを含んだ構成で表すことができる。また、誤り検出部２０は、形態素解析部２１、集計部２２、誤り候補抽出部２３、素性生成部２４、及び誤り抽出部２５を含んだ構成で表すことができる。また、比較文統計部４０は、形態素解析部４１及び集計部４２を含んだ構成で表すことができる。なお、素性生成部２４及び誤り抽出部２５は、本発明の誤り抽出部の一例である。
【００３２】
誤り検出装置１０には、形態素解析の誤り検出の対象である対象文（テキストデータ）の集合、及び対象文の分野とは異なる分野の文法に基づく比較文（テキストデータ）の集合が入力される。本実施の形態では、対象文を、口語調、方言、崩れた表現などが多用されるｔｗｉｔｔｅｒ（登録商標）やブログなどの投稿文の分野の文法に基づく文とし、比較文を正しい文法に基づく新聞記事とする。
【００３３】
形態素解析部２１は、入力として対象文集合を受け付け、各対象文に対して、記憶部３０に記憶された形態素解析器３１を用いて形態素解析処理を行い、単語区切り及び品詞情報を付与した形態素解析結果を出力する。形態素解析器３１は、比較文の形態素解析結果の正解データを学習して構築されたものである。
【００３４】
より具体的には、形態素解析部２１は、対象文に対して、形態素解析器３１の辞書を用いて、単語区切り及び品詞情報のあり得る経路を複数生成し、各経路の生成コストにより、最適な経路、すなわち最適な単語区切り及び品詞情報を決定する。例えば、下記（１）式により、最適な経路を決定することができる。
【００３５】
【数１】
2014215970.tif 000003
【００３６】
ただし、Ｗは右辺を満たす最適な単語列、Ｔは右辺を満たす最適な品詞列、ｃｏｎ（ｔｉ−１，ｔｉ）は、品詞ｔｉが品詞ｔｉ−１に接続するコスト、及びｗｏｒｄ（ｗｉ，ｔｉ）は、品詞ｔｉにおける単語ｗｉの出現コストである。
【００３７】
例えば、対象文「ライブ行きたかった」が入力された場合には、形態素解析部２１は、形態素解析結果「ライブ［名詞］／行［動詞語幹］／き［動詞活用語尾］／た［動詞接尾辞］／かった［形容詞接尾辞］」を出力する。なお、この形態素解析結果では、単語区切りを“／”で表し、各単語に付与された品詞情報を［  ］で表している。また、ここでの「品詞情報」には、文法上の品詞を示す情報に加え、句読点、記号、アルファベット等を識別する情報を含む。また、「行［動詞語幹］」のように、単語の表記とその単語に付与された品詞情報とのセットを形態素という。
【００３８】
形態素解析部４１は、入力として比較文集合を受け付け、各比較文に対して、形態素解析処理を行う点が形態素解析部２１と異なるだけであるので、詳細な説明を省略する。
【００３９】
集計部２２は、形態素解析部２１から出力された対象文の形態素解析結果を入力として受け付け、対象文の形態素に関する統計量を集計する。統計量としては、対象文集合に出現する品詞の連接の情報である品詞ｎ−ｇｒａｍの対象文中における頻度分布や、対象文集合に出現する形態素の対象文中における頻度分布を集計することができる。ｎ−ｇｒａｍのｎは連接数を表す。集計部２２は、集計した統計量を正規化して、記憶部３０に記憶された対象文統計量データベース（ＤＢ）３２に格納する。
【００４０】
図２に、記憶部３０に記憶された対象文統計量ＤＢ３２に格納された統計量の一例を示す。図２の例では、統計量として、品詞ｔｒｉ−ｇｒａｍの出現頻度、及び形態素ｕｎｉ−ｇｒａｍの出現頻度を用いている。品詞ｔｒｉ−ｇｒａｍの出現頻度は、例えば「名詞−格助詞−動詞語幹」、「名詞−格助詞−名詞」、「動詞語幹−動詞活用語尾−動詞接尾辞」等の品詞３つの連接の情報の対象文集合の形態素解析結果における出現回数である。また、形態素ｕｎｉ−ｇｒａｍは、例えば「！［句点］」、「て［動詞接尾辞］」、「。［句点］」、「の［格助詞］」等の各形態素の対象文集合の形態素解析結果における出現回数である。ｎが同じ場合には、品詞ｎ−ｇｒａｍよりも形態素ｎ−ｇｒａｍの方が情報量が多く、組み合わせ種類数が膨大になる。なお、品詞ｎ−ｇｒａｍの連接数ｎは３の場合に限定されない。また、ｎが２以上の形態素ｎ−ｇｒａｍの出現頻度を統計量として集計してもよい。
【００４１】
集計部４２は、形態素解析部４１での各比較文の形態素解析結果を入力として受け付け、比較文の形態素に関する統計量を集計する。集計部４２は、集計した統計量を正規化して、比較文統計量ＤＢ３３に格納する。その他については、集計部２２と同様であるので、詳細な説明を省略する。
【００４２】
誤り候補抽出部２３は、形態素解析部２１による形態素解析済みの対象文を、形態素ｎ−ｇｒａｍで区切って、全ての形態素ｎ−ｇｒａｍを誤り候補として抽出し、出力する。例えば、形態素解析済みの対象文が「ライブ／行／き／た／かった」で、かつｎ＝３の場合、「ライブ／行／き」、「行／き／た」、及び「き／た／かった」の３つの誤り候補が抽出される。なお、上記の誤り候補（形態素ｎ−ｇｒａｍ）の例では、品詞情報の記載を省略している。
【００４３】
素性生成部２４は、誤り候補抽出部２３から出力された全ての誤り候補を入力として受け付け、各誤り候補の素性となる統計量を対象文統計量ＤＢ３２から取得する。素性とは、ある処理を行う際の説明変数となる要素である。素性生成部２４は、取得した統計量が示す各素性を要素とする素性ベクトルを生成して出力する。例えば、誤り候補「ライブ［名詞］／行［動詞語幹］／き［動詞活用語尾］」について、誤り候補の品詞ｔｒｉ−ｇｒａｍ［名詞−動詞語幹−動詞活用語尾］と同一の品詞ｔｒｉ−ｇｒａｍを対象文統計量ＤＢ３２から検索して、対応する出現頻度を取得する。また、誤り候補の各形態素ｕｎｉ−ｇｒａｍ「ライブ［名詞］」、「行［動詞語幹］」、及び「き［動詞活用語尾］」と同一の形態素ｕｎｉ−ｇｒａｍを対象文統計量ＤＢ３２から検索して、対応する出現頻度を取得する。素性生成部２４は、対象文統計量ＤＢ３２から取得した情報を用いて、例えば、｛［名詞−動詞語幹−動詞活用語尾］（５００），ライブ［名詞］（１５０），行［動詞語幹］（２０００），き［動詞活用語尾］（１５００）｝のような素性ベクトルを生成する。なお、（  ）内は、品詞ｔｒｉ−ｇｒａｍ及び形態素ｕｎｉ−ｇｒａｍの各々の出現頻度を表す。
【００４４】
誤り抽出部２５は、素性生成部２４で生成された各誤り候補の素性ベクトルを入力として受け付け、予め定めたヒューリスティックルールを満たす誤り候補を、誤り箇所として抽出し、出力する。ヒューリスティックルールとしては、少なくとも下記の３つの条件の全ての満たすように定めることができる。
【００４５】
１つ目の条件は、誤り候補に含まれる形態素に関する統計量、すなわち対象文統計量ＤＢ３２から取得した統計量と、比較文統計量ＤＢ３３内に含まれ、かつ誤り候補に含まれる形態素と対応する形態素に関する統計量とが大きく異なることである。１つ目の条件は、比較文の分野の文法を基準にした対象文の形態素解析結果の誤り箇所を抽出するための条件である。本実施の形態では、統計量として、品詞ｎ−ｇｒａｍの出現頻度を集計しているため、この品詞ｎ−ｇｒａｍの出現頻度を用い、誤り候補の素性ベクトルに含まれる品詞ｎ−ｇｒａｍの出現頻度と、比較文統計量ＤＢ３３を検索して得られる同一の品詞ｎ−ｇｒａｍの出現頻度との差または比が、予め定めた閾値以上の場合に、その誤り候補は１つ目の条件を満たすと判定することができる。
【００４６】
例えば、１つ目の条件の具体例として、「“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度”＜０．０１」という条件を定めておくことができる。この条件は、誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの比較文統計量ＤＢ３３における出現頻度と対象文統計量ＤＢ３２における出現頻度とが１００倍以上異なることを表す条件である。例えば、誤り候補の素性ベクトルが｛［名詞−名詞接尾辞−終助詞］（５００００），はえ［名詞］（１８１），ー［名詞接尾辞］（２０６８６），な［終助詞］（５７１４）｝で、かつ比較文統計量ＤＢ３３における品詞ｔｒｉ−ｇｒａｍ［名詞−名詞接尾辞−終助詞］の出現頻度が５０の場合、“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度”＝５０／５００００＝０．００１となるため、１つ目の条件を満たす。すなわち、この誤り候補は、１つ目の条件によっては誤り候補から除外されない。
【００４７】
なお、上記の例では、品詞ｎ−ｇｒａｍの出現頻度を用いる場合について説明したが、形態素ｕｎｉ−ｇｒａｍの出現頻度を用いて同様の条件を定めてもよいし、品詞ｎ−ｇｒａｍの出現頻度と形態素ｕｎｉ−ｇｒａｍの出現頻度との両方を用いた条件を定めてもよい。また、形態素ｎ−ｇｒａｍの出現頻度を集計している場合には、形態素ｎ−ｇｒａｍの出現頻度を用いた条件を定めてもよい。さらに、出現頻度以外の統計量を集計している場合には、その統計量を用いた条件を定めてもよい。
【００４８】
２つ目の条件は、誤り候補が、対象文集合の形態素解析結果全体における出現頻度が少ない形態素を含むことである。２つ目の条件は、１つ目の条件を満たす場合であっても、誤り候補に含まれる各形態素の出現頻度が多い場合には、その誤り候補は、対象文の分野で良く使われる表現であると言え、誤り箇所として抽出するのは不適切であると判定するための条件である。本実施の形態では、統計量として、形態素ｕｎｉ−ｇｒａｍの出現頻度を集計しているため、この形態素ｕｎｉ−ｇｒａｍの出現頻度を用いて、誤り候補に含まれる形態素ｕｎｉ−ｇｒａｍの出現頻度の少なくとも１つが、予め定めた閾値以下の場合に、その誤り候補は２つ目の条件を満たすと判定することができる。なお、対象文の形態素に関する統計量として、形態素ｎ−ｇｒａｍ（ｎは誤り候補を抽出する際の形態素ｎ−ｇｒａｍのｎと同一）の出現頻度を集計している場合には、形態素毎の出現頻度で判定する代わりに、誤り候補を表す形態素ｎ−ｇｒａｍ（上記の例では、形態素ｔｒｉ−ｇｒａｍ）の出現頻度が予め定めた閾値以下か否かで、その誤り候補が２つ目の条件を満たすか否かを判定してもよい。
【００４９】
例えば、２つ目の条件の具体例として、「誤り候補の素性ベクトルに、出現頻度が２００未満の形態素ｕｎｉ−ｇｒａｍが含まれること」という条件を定めておくことができる。この条件は、誤り候補に含まれる各形態素の対象文集合の形態素解析結果全体における出現回数が２００回未満であることを表す条件である。例えば、上記の１つ目の条件を満たす誤り候補の素性ベクトル｛［名詞−名詞接尾辞−終助詞］（５００００），はえ［名詞］（１８１），ー［名詞接尾辞］（２０６８６），な［終助詞］（５７１４）｝の場合、形態素ｕｎｉ−ｇｒａｍ「はえ［名詞］」の出現頻度が２００未満のため、２つ目の条件を満たす。すなわち、この誤り候補は、１つ目及び２つ目の条件によっては誤り候補から除外されない。
【００５０】
一方、例えば、誤り候補の素性ベクトルが｛［独立詞−終助詞−ｓｙｍｂｏｌ］（５００００），どんまい［独立詞］（３３６），じゃん［終助詞］（５０１６），（笑）［ｓｙｍｂｏｌ］（１４８７２）｝で、かつ比較文統計量ＤＢ３３における品詞ｔｒｉ−ｇｒａｍ［独立詞−終助詞−ｓｙｍｂｏｌ］の出現頻度が５０の場合、“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度”＝５０／５００００＝０．００１となるため、１つ目の条件は満たす。しかし、全ての形態素ｕｎｉ−ｇｒａｍの出現頻度が２００以上であり、２つ目の条件を満たさないため、この誤り候補は除外される。すなわち、この誤り候補は、形態素解析の誤り箇所ではないと判定される。
【００５１】
３つ目の条件は、誤り候補に含まれる形態素の品詞が、予め定めた品詞を含まないことである。予め定めた品詞は、対象文の分野での出現頻度が高く、かつ対象文の分野と比較文の分野との相違に関わらず、誤りになり難い品詞とすることができ、例えば、独立詞や記号等を定めておくことができる。３つ目の条件は、口語調、方言、崩れた表現などが多用される分野の対象文の形態素解析結果に対する誤り検出における誤検出を低減させるための条件である。
【００５２】
例えば、３つ目の条件の具体例として、「誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍを構成する品詞が“独立詞”、“Ｓｙｍｂｏｌ”、及び“Ａｌｐｈａｂｅｔ”を含まない」という条件を定めておくことができる。“Ｓｙｍｂｏｌ”及び“Ａｌｐｈａｂｅｔ”は、形態素解析において単語に付与される品詞情報の１つで、“Ｓｙｍｂｏｌ”は記号に、“Ａｌｐｈａｂｅｔ”はアルファベットに付与される品詞情報である。例えば、上記の１つ目及び２つ目の条件を満たす誤り候補の素性ベクトル｛［名詞−名詞接尾辞−終助詞］（５００００），はえ［名詞］（１８１），ー［名詞接尾辞］（２０６８６），な［終助詞］（５７１４）｝の場合、上記の予め定めた品詞を含まないため、３つ目の条件を満たす。すなわち、この誤り候補は、３つの条件全てを満たすため、誤り箇所として抽出される。
【００５３】
誤り抽出部２５は、対象文統計量ＤＢ３２の情報を用いて生成された素性ベクトル、及び比較文統計量ＤＢ３３の情報を用いて、誤り候補の各々から、上記の３つの条件を含むヒューリスティックルールを満たす誤り箇所を抽出し、抽出した誤り箇所の集合を誤りリストとして出力する。例えば、「か［終助詞］／っ［終助詞］／こえ［名詞］，や［終助詞］／っ［終助詞］／ぱり［名詞］，やぶ［名詞］／ぇ［終助詞］／よ［終助詞］，・・・」のような誤りリストを出力する。
【００５４】
次に、本実施の形態に係る誤り検出装置１０の作用について説明する。記憶部３０に記憶された比較文統計量ＤＢ３３に、比較文統計部４０で集計された比較文の形態素に関する統計量が格納された状態で、誤り検出装置１０に対象文集合が入力されると、ＣＰＵがＲＯＭに記憶された誤り検出プログラムを読み出して、図３に示す誤り検出処理を実行する。
【００５５】
図３に示す誤り検出処理のステップ１００で、形態素解析部２１が、入力として対象文集合を受け付け、各対象文に対して、記憶部３０に記憶された形態素解析器３１を用いて形態素解析処理を行い、単語区切り及び品詞情報を付与した形態素解析結果を出力する。例えば、入力された対象文集合に含まれる対象文の一例が「朝に風呂入ろっかな」であった場合、この対象文について、例えば下記に示すような形態素解析結果が出力される。
【００５６】
０：朝      名詞
１：に      格助詞
２：風呂    名詞
３：入      名詞接尾辞
４：ろっか  名詞
５：な      終助詞
【００５７】
上記の形態素解析結果の一例において、“：”で区切った１番目の項目は、各形態素を識別する番号、２番目の項目は、各形態素を表す表記及び品詞情報である。
【００５８】
次に、ステップ１０２で、集計部２２が、上記ステップ１００で、形態素解析部２１から出力された対象文の形態素解析結果を入力として受け付け、対象文の形態素に関する統計量を集計する。ここでは、統計量として、品詞ｔｒｉ−ｇｒａｍの出現頻度及び形態素ｕｎｉ−ｇｒａｍの出現頻度を集計し、集計した統計量を正規化して、例えば図２に示すように、記憶部３０に記憶された対象文統計量ＤＢ３２に格納する。
【００５９】
次に、ステップ１０４で、誤り候補抽出部２３が、上記ステップ１００で、形態素解析部２１により形態素解析された対象文を、形態素ｎ−ｇｒａｍで区切って、全ての形態素ｎ−ｇｒａｍを誤り候補として抽出する。例えば、形態素ｔｒｉ−ｇｒａｍ（ｎ＝３）を誤り候補として抽出する場合、上記の対象文「朝に風呂入ろっかな」の形態素解析結果から、下記に示す４つの誤り候補が抽出される。
【００６０】
＜誤り候補１＞
０：朝      名詞
１：に      格助詞
２：風呂    名詞
＜誤り候補２＞
１：に      格助詞
２：風呂    名詞
３：入      名詞接尾辞
＜誤り候補３＞
２：風呂    名詞
３：入      名詞接尾辞
４：ろっか  名詞
＜誤り候補４＞
３：入      名詞接尾辞
４：ろっか  名詞
５：な      終助詞
【００６１】
次に、ステップ１０６で、素性生成部２４が、上記ステップ１０４で抽出された全ての誤り候補を入力として受け付け、各誤り候補の素性となる統計量を対象文統計量ＤＢ３２から取得する。ここでは、素性となる統計量として、品詞ｔｒｉ−ｇｒａｍの出現頻度、及び形態素ｕｎｉ−ｇｒａｍの出現頻度を取得する。素性生成部２４は、取得した統計量が示す各素性を要素とする素性ベクトルを生成する。
【００６２】
次に、ステップ１０８で、誤り抽出部２５が、上記ステップ１０６で生成された各誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの比較文統計量ＤＢ３３における出現頻度を取得する。そして、誤り抽出部２５が、比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度と、誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度とを用いて、ｒ＝“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度”を計算する。
【００６３】
上記の誤り候補１〜４の各々について、各誤り候補の素性ベクトルに含まれる形態素ｔｒｉ−ｇｒａｍ、品詞ｔｒｉ−ｇｒａｍ、各形態素ｕｎｉ−ｇｒａｍの出現頻度、及び計算したｒの一例を下記に示す。下記では、各行の３番目の項目が、上記ステップ１０６で生成された素性ベクトルに含まれる形態素ｕｎｉ−ｇｒａｍの出現頻度（対象文統計量ＤＢ３２から取得した出現頻度）である。また、最終行が計算したｒの値である。
【００６４】
＜誤り候補１＞
０：朝      名詞      ：    ５８９７
１：に      格助詞    ：３７１００９
２：風呂    名詞      ：    ４９５２
ｒ＝１．９６１
＜誤り候補２＞
１：に      格助詞    ：３７１００９
２：風呂    名詞      ：    ４９５２
３：入      名詞接尾辞：      １８６
ｒ＝２．７３７
＜誤り候補３＞
２：風呂    名詞      ：    ４９５２
３：入      名詞接尾辞：      １８６
４：ろっか  名詞      ：        ５０
ｒ＝２．１４１
＜誤り候補４＞
３：入      名詞接尾辞：      １８６
４：ろっか  名詞      ：        ５０
５：な      終助詞    ：  ５７４１３
ｒ＝０．００９３
【００６５】
次に、ステップ１１０で、誤り抽出部２５が、上記ステップ１０４で抽出された誤り候補から１つの誤り候補を選択する。次に、ステップ１１２で、誤り抽出部２５が、選択した誤り候補が、ヒューリスティックルールの１つ目の条件である「誤り候補に含まれる形態素に関する統計量と、比較文統計量ＤＢ３３内に含まれ、かつ誤り候補に含まれる形態素と対応する形態素に関する統計量とが大きく異なること」を満たすか否かを判定する。例えば、選択した誤り候補について、上記ステップ１０８で計算したｒ（＝“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度”）が、ｒ＜０．０１か否かを判定する。ｒ＜０．０１の場合には、選択した誤り候補は１つ目の条件を満たすため、この段階では除外せず、ステップ１１４へ移行する。ｒ≧０．０１の場合には、選択した誤り候補を誤りリストに追加することなく、ステップ１２０へ移行する。
【００６６】
ステップ１１４では、誤り抽出部２５が、選択した誤り候補が、ヒューリスティックルールの２つ目の条件である「誤り候補が、対象文集合の形態素解析結果全体における出現頻度が少ない形態素を含むこと」を満たすか否かを判定する。例えば、選択した誤り候補の素性ベクトルに含まれる少なくとも１つの形態素ｕｎｉ−ｇｒａｍの出現頻度が２００未満か否かを判定する。出現頻度が２００未満の形態素ｕｎｉ−ｇｒａｍが１つでも存在する場合には、選択した誤り候補は２つ目の条件を満たすため、この段階では除外せず、ステップ１１６へ移行する。選択した誤り候補の素性ベクトルに含まれる全ての形態素ｕｎｉ−ｇｒａｍの出現頻度が２００以上の場合には、選択した誤り候補を誤りリストに追加することなく、ステップ１２０へ移行する。
【００６７】
ステップ１１６では、誤り抽出部２５が、選択した誤り候補が、ヒューリスティックルールの３つ目の条件である「誤り候補に含まれる形態素の品詞が、予め定めた品詞を含まないこと」を満たすか否かを判定する。例えば、誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍを構成する品詞が“独立詞”、“Ｓｙｍｂｏｌ”、及び“Ａｌｐｈａｂｅｔ”を含まないか否かを判定する。予め定めた品詞を含まない場合には、ステップ１１８へ移行し、誤り抽出部２５が、選択した誤り候補を誤りリストに追加する。一方、予め定めた品詞を含む場合には、選択した誤り候補を誤りリストに追加することなく、ステップ１２０へ移行する。
【００６８】
上記の誤り候補１〜３については、いずれもｒ≧０．０１であるため、上記ステップ１１２で否定判定されて、誤りリストには追加されない。誤り候補４は、ｒ＜０．０１であり、形態素「入」及び「ろっか」の出現頻度が２００未満であり、かつ“独立詞”、“Ｓｙｍｂｏｌ”、及び“Ａｌｐｈａｂｅｔ”を含まないため、上記ステップ１１２、１１４、及び１１６で肯定判定される。すなわち、誤り候補４は、ヒューリスティックルールの３つの条件を全て満たすため、誤りリストに追加される。
【００６９】
ステップ１２０では、上記ステップ１０４で抽出した誤り候補の全てについて、ヒューリスティックルールを満たすか否かの判定を行ったか否かを判定する。未処理の誤り候補が存在する場合には、ステップ１１０へ戻って、次の誤り候補を選択して処理を繰り返す。全ての誤り候補について処理が終了した場合には、ステップ１２２へ移行し、誤り抽出部２５が、上記ステップ１１８で生成した誤りリストを出力して、誤り検出処理を終了する。ここでは、誤り候補４が誤りリストに追加されているため、下記に示すような誤りリストが出力される。
【００７０】
＜誤りリスト＞
３：入      名詞接尾辞：      １８６
４：ろっか  名詞      ：        ５０
５：な      終助詞    ：  ５７４１３
【００７１】
なお、比較文統計部４０で、比較文統計量ＤＢ３３に格納する統計量を集計する処理は、比較文集合に対して、上記ステップ１００及び１０２の処理を行えばよいので、詳細な説明を省略する。
【００７２】
以上説明したように、本実施の形態に係る誤り検出装置によれば、対象文の形態素に関する統計量が、比較文の形態素に関する統計量と大きく異なり、対象文集合の形態素解析結果における出現頻度が少ない形態素を含み、かつ予め定めた品詞を含まない誤り候補を、形態素解析の誤り箇所として検出する。このため、比較文とは大きく文の構造が異なる対象文であっても、誤検出が低減され、正解データを用意することなく、精度良く形態素解析の誤りを検出することができる。
【００７３】
ここで、本発明の効果を示すための実験結果について説明する。本実験では、対象文をｔｗｉｔｔｅｒ（登録商標）の投稿を収集したテキストデータ、比較文を新聞記事のテキストデータとした。
【００７４】
ヒューリスティックルールの１つ目の条件は、「ｒ（＝“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度”）＜０．０１」とした。また、２つ目の条件は、「素性ベクトルに含まれる形態素ｕｎｉ−ｇｒａｍの出現頻度（対象文統計量ＤＢ３２から取得した形態素ｕｎｉ−ｇｒａｍの出現頻度）の少なくとも１つ＜１００」とした。３つ目の条件は、「“Ｓｙｍｂｏｌ”、“句点”、“読点”、“Ａｌｐｈａｂｅｔ”、“括弧”、“空白”等の１６種類の予め定めた品詞を含まない。」とした。
【００７５】
本発明の誤り検出装置により誤り箇所として検出された箇所から５０サンプルをランダムに抽出した集計結果を、図４に示す。図４に示すように、形態素解析誤りの正解データなしで、約５０％の適合率で誤りを検出することができた。
【００７６】
本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７７】
例えば、対象文及び比較文の形態素解析結果の統計量として、品詞ｎ−ｇｒａｍや形態素の相対頻度を用いてもよい。例えば、品詞ｔｒｉ−ｇｒａｍの相対頻度は、対象文集合における全品詞ｔｒｉ−ｇｒａｍの出現頻度に対する各品詞ｔｒｉ−ｇｒａｍの出現頻度として集計することができる。
【００７８】
また、上記実施の形態では、誤り抽出部２５でｒ（＝“比較文統計量ＤＢ３３から取得した品詞ｔｒｉ−ｇｒａｍの出現頻度”／“誤り候補の素性ベクトルに含まれる品詞ｔｒｉ−ｇｒａｍの出現頻度）を計算する場合について説明したが、素性生成部２４でｒを計算し、ｒの値を素性ベクトルに含めるようにしてもよい。
【００７９】
また、上記実施の形態では、対象文をｔｗｉｔｔｅｒ（登録商標）やブログなどの投稿文の分野の文法に基づく文、比較文を新聞記事とする場合について説明したが、これに限定されない。比較文は形態素解析誤りの正解データが整備されている分野の文で、対象文は正解データが整備されていない分野の文であれば、本発明を適用する効果がある。
【００８０】
また、上記実施の形態では、誤り検出部２０と比較文統計部４０とを同一のコンピュータで構成する場合について説明したが、それぞれを別のコンピュータで構成するようにしてもよい。この場合、誤り検出処理を実行する際に、比較文統計部４０を構成するコンピュータから、比較文統計量ＤＢ３３を読み込むようにするとよい。
【００８１】
また、誤り検出装置に、形態素解析済みの対象文集合及び比較文集合を入力する場合には、形態素解析部２１及び形態素解析部４１を省略することができる。
【００８２】
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。
【００８３】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００８４】
１０   誤り検出装置
２０   誤り検出部
２１   誤り検出部の形態素解析部
２２   誤り検出部の集計部
２３   誤り候補抽出部
２４   素性生成部
２５   誤り抽出部
３０   記憶部
３１   形態素解析器
３２   対象文統計量ＤＢ
３３   比較文統計量ＤＢ
４０   比較文統計部
４１   比較文統計部の形態素解析部
４２   比較文統計部の集計部
【図１】
2014215970.tif 000004
【図２】
2014215970.tif 000005
【図３】
2014215970.tif 000006
【図４】
2014215970.tif 000007