(57)【要約】【課題】人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる修正候補取得装置、修正候補取得システム、修正候補取得方法、修正候補取得プログラムを提供する。【解決手段】未知語抽出部４０が未知語と未知語を含む文とを抽出する。検索部６０は、未知語をワイルドカードとして検索文を生成して、その検索文を基にコーパス記憶部５０から修正候補を取得する。修正ルール生成部７０は、検索部６０の検索結果に基づいて修正ルールを生成する。修正ルール評価部９０は、修正ルール生成部７０が生成した修正ルールをスコアリングする。【選択図】図１
2010257022.tif 000002
【特許請求の範囲】
【請求項１】
未知の語を含む文章情報を修正する修正候補を取得する修正候補取得装置であって、
既知の語を記憶する既知語記憶手段と、
複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出する未知語抽出手段と、
文書集合を記憶するコーパス記憶手段と、
前記未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列を前記コーパス記憶手段から検索して取得する検索手段と、
を備える修正候補取得装置。
【請求項２】
請求項１に記載の修正候補取得装置において、
前記検索手段は、前記未知語抽出手段が抽出した未知語の前方と後方との少なくとも一方に隣接する文字列と一致する文字列を前記コーパス記憶手段から検索すること、
を特徴とする修正候補取得装置。
【請求項３】
請求項１又は請求項２に記載の修正候補取得装置において、
前記検索手段が検索して取得した前記修正候補文字列に基づいて前記未知語を既知語に修正する修正ルールを生成する修正ルール生成手段を備えること、
を特徴とする修正候補取得装置。
【請求項４】
請求項３に記載の修正候補取得装置において、
前記コーパス記憶手段から前記修正候補文字列が検索された出現頻度に基づいて前記修正ルールに対して頻度評価値を付与する頻度評価手段を備えること、
を特徴とする修正候補取得装置。
【請求項５】
請求項３又は請求項４に記載の修正候補取得装置において、
前記未知語と前記修正ルールにより前記未知語について修正を行った後の修正語との間の文字列距離を算出する文字列距離算出手段と、
前記文字列距離算出手段が算出した前記文字列距離に基づいて前記修正ルールに対して距離評価値を付与する距離評価手段と、
を備えることを特徴とする修正候補取得装置。
【請求項６】
請求項３から請求項５までのいずれか１項に記載の修正候補取得装置において、
前記第１の文章情報に対して前記修正ルールにしたがった修正を行い第２の文章情報を生成する修正手段と、
前記第２の文章情報について形態素解析を行う形態素解析手段と、
前記第２の文章情報の生成に用いた前記修正ルールに対して前記形態素解析結果に応じた形態素解析評価値を付与する形態素解析評価手段と、
を備えることを特徴とする修正候補取得装置。
【請求項７】
請求項６に記載の修正候補取得装置において、
前記形態素解析手段は、前記未知語抽出手段と前記既知語記憶手段とを包含していること、
を特徴とする修正候補取得装置。
【請求項８】
未知の語を含む文章情報を修正する修正候補を取得する修正候補取得システムであって、
既知の語を記憶する既知語記憶手段と、
複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出する未知語抽出手段と、
文書集合を記憶するコーパス記憶手段と、
前記未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列を前記コーパス記憶手段から検索して取得する検索手段と、
を備える修正候補取得システム。
【請求項９】
未知の語を含む文章情報を修正する修正候補を取得する修正候補取得方法であって、
既知の語を既知語記憶手段へ記憶し、
複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出し、
抽出した未知語を含む未知文字列に近似する修正候補文字列を、文書集合を記憶するコーパス記憶手段から検索して取得する修正候補取得方法。
【請求項１０】
未知の語を含む文章情報を修正する修正候補を取得する修正候補取得プログラムであって、
コンピュータを、
既知の語を記憶する既知語記憶手段と、
複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出する未知語抽出手段と、
文書集合を記憶するコーパス記憶手段と、
前記未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列を前記コーパス記憶手段から検索して取得する検索手段として機能させるための修正候補取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原文の意味内容を変えることなく表現を修正するときの修正候補を取得する修正候補取得装置、修正候補取得システム、修正候補取得方法、修正候補取得プログラムに関するものである。
【背景技術】
【０００２】
従来、インターネット上に公開されるブログ等のテキストベースの文章情報を解析対象として、文章を構成する最小単位である形態素に分割して解析する形態素解析装置が利用されている。このような形態素解析装置は、例えば、予め定められた単語（既知語）とその単語の品詞とを対応付けた辞書情報を予め記憶する。そして、解析対象とする文章情報を読み込んで文章を構成する単語を抽出し、抽出した単語のそれぞれと、予め記憶された辞書情報に含まれる単語とを比較する。このようにして解析を行うことにより、例えば、インターネット上でどのようなことが多く取り上げられているか等の統計的処理に利用することができる。
【０００３】
しかし、インターネット上に公開されるブログやニュース、電子掲示板サービス等独特の文章表現による未知語が含まれる文章情報を解析対象とする場合、辞書情報から対応する語を検出することができず適切な形態素の分割を行うことができない場合がある。
【０００４】
そこで、本願発明者らは、独特の文章表現による未知語が含まれる文章情報を適切に形態素解析できるように修正を行う手法を提案した（非特許文献１及び非特許文献２）。これら非特許文献１及び非特許文献２では、修正ルールの正解判定及び評価（スコアリング）を行うために、修正ルール適用前後の文をそれぞれ形態素解析したときの未知語の有無情報を利用している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】池田和史、柳原正、松本一則、滝嶋康弘、「ブログ的表記を正規化するためのルール自動生成方式の提案と評価」、ＤＥＩＭフォーラム、２００９
【非特許文献２】池田和史、柳原正、松本一則、滝嶋康弘、「ブログにおける表記の揺れを修正するためのルール自動生成システムの提案」、情報処理学会全国大会５Ｈ−６、２００９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１及び非特許文献２の手法では、予め人手によって与えられた少数の汎用な修正ルール（プリミティブルール）を基に多数の修正ルールを自動的に生成している。しかし、これら従来の手法では、与えられるプリミティブルールが少ないときは精度が低下するという問題があった。また、従来の手法では、人手により与えられた修正ルールを組み合わせたルールしか生成することができず、適用できる事例が少ないという問題があった。さらに、事例数を増やすためには人手で多数の修正ルールを記述する必要があるが、多くの労力を要するという問題があった。
【０００７】
これら従来技術の問題点について具体例を挙げて説明する。
原文として、「今日ゎいい天気」が与えられ、「ゎ」が未知語であるときを想定する。従来技術の手法では、修正ルール「ゎ」→「わ」と「ゎ」→「は」の双方が存在すれば、統計的な学習機能により「今日わいい天気」ではなく、「今日はいい天気」の方が文として正しいと判定し、文を修正することが可能である。しかし、修正ルールとして「ゎ→は」が存在しなければ、他に選択肢が無いため「今日わいい天気」のように誤った修正を行ってしまう。
また、原文として、「困っちゃう」が与えられ、「ちゃう」が未知語であるとき、従来技術では、修正ルール「ちゃう」→「てしまう」が存在すれば、「困ってしまう」と修正できる。しかし、全てのルールを人手により与えることは非常に多くの労力が必要であった。
【０００８】
本発明の課題は、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる修正候補取得装置、修正候補取得システム、修正候補取得方法、修正候補取得プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【００１０】
（１）本発明は、未知の語を含む文章情報を修正する修正候補を取得する修正候補取得装置であって、既知の語を記憶する既知語記憶手段（３０）と、複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出する未知語抽出手段（４０）と、文書集合を記憶するコーパス記憶手段（５０）と、前記未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列を前記コーパス記憶手段から検索して取得する検索手段（６０）とを備える修正候補取得装置を提案している。
【００１１】
この発明によれば、既知語記憶手段は、既知の語を記憶する。未知語抽出手段は、複数の語から構成される第１の文章情報の中から既知語記憶手段に記憶されていない未知の語を抽出する。コーパス記憶手段は、文書集合を記憶する。検索手段は、未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列をコーパス記憶手段から検索して取得する。したがって、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる。
【００１２】
（２）本発明は、（１）に記載の修正候補取得装置において、前記検索手段（６０）は、前記未知語抽出手段（４０）が抽出した未知語の前方と後方との少なくとも一方に隣接する文字列と一致する文字列を前記コーパス記憶手段（５０）から検索することを特徴とする修正候補取得装置を提案している。
【００１３】
この発明によれば、検索手段は、未知語抽出手段が抽出した未知語の前方と後方との少なくとも一方に隣接する文字列と一致する文字列をコーパス記憶手段から検索する。したがって、修正候補を容易に検索できる。
【００１４】
（３）本発明は、（１）又は（２）に記載の修正候補取得装置において、前記検索手段（６０）が検索して取得した前記修正候補文字列に基づいて前記未知語を既知語に修正する修正ルールを生成する修正ルール生成手段（７０）を備えることを特徴とする修正候補取得装置を提案している。
【００１５】
この発明によれば、修正ルール生成手段は、検索手段が検索して取得した修正候補文字列に基づいて未知語を既知語に修正する修正ルールを生成する。したがって、自動的に修正ルールを生成して出力できる。
【００１６】
（４）本発明は、（３）に記載の修正候補取得装置において、前記コーパス記憶手段（５０）から前記修正候補文字列が検索された出現頻度に基づいて前記修正ルールに対して頻度評価値を付与する頻度評価手段（９１）を備えることを特徴とする修正候補取得装置を提案している。
【００１７】
この発明によれば、頻度評価手段は、コーパス記憶手段から修正候補文字列が検索された出現頻度に基づいて修正ルールに対して頻度評価値を付与する。したがって、生成した修正ルールのスコアリングを行うことができる。
【００１８】
（５）本発明は、（３）又は（４）に記載の修正候補取得装置において、前記未知語と前記修正ルールにより前記未知語について修正を行った後の修正語との間の文字列距離を算出する文字列距離算出手段（９２ａ）と、前記文字列距離算出手段が算出した前記文字列距離に基づいて前記修正ルールに対して距離評価値を付与する距離評価手段（９２）とを備えることを特徴とする修正候補取得装置を提案している。
【００１９】
この発明によれば、文字列距離算出手段は、未知語と修正ルールにより未知語について修正を行った後の修正語との間の文字列距離を算出する。距離評価手段は、文字列距離算出手段が算出した文字列距離に基づいて修正ルールに対して距離評価値を付与する。したがって、生成した修正ルールのスコアリングを行うことができる。
【００２０】
（６）本発明は、（３）から（５）までのいずれか１項に記載の修正候補取得装置において、前記第１の文章情報に対して前記修正ルールにしたがった修正を行い第２の文章情報を生成する修正手段（８０）と、前記第２の文章情報について形態素解析を行う形態素解析手段（２０）と、前記第２の文章情報の生成に用いた前記修正ルールに対して前記形態素解析結果に応じた形態素解析評価値を付与する形態素解析評価手段（９３）とを備えることを特徴とする修正候補取得装置を提案している。
【００２１】
この発明によれば、修正手段は、第１の文章情報に対して修正ルールにしたがった修正を行い第２の文章情報を生成する。形態素解析手段は、第２の文章情報について形態素解析を行う。形態素解析評価手段は、第２の文章情報の生成に用いた修正ルールに対して形態素解析結果に応じた形態素解析評価値を付与する。したがって、生成した修正ルールのスコアリングを行うことができる。
【００２２】
（７）本発明は、（６）に記載の修正候補取得装置において、前記形態素解析手段は、前記未知語抽出手段と前記既知語記憶手段とを包含していることを特徴とする修正候補取得装置を提案している。
【００２３】
この発明によれば、形態素解析手段は、前記未知語抽出手段と前記既知語記憶手段とを包含している。したがって、原文の形態素解析結果の算出と、原文からの未知語抽出を、同時に行うことができ、計算時間を短縮することができる。
【００２４】
（８）本発明は、未知の語を含む文章情報を修正する修正候補を取得する修正候補取得システムであって、既知の語を記憶する既知語記憶手段（３０）と、複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出する未知語抽出手段（４０）と、文書集合を記憶するコーパス記憶手段（５０）と、前記未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列を前記コーパス記憶手段から検索して取得する検索手段（６０）とを備える修正候補取得システムを提案している。
【００２５】
この発明によれば、既知語記憶手段は、既知の語を記憶する。未知語抽出手段は、複数の語から構成される第１の文章情報の中から既知語記憶手段に記憶されていない未知の語を抽出する。コーパス記憶手段は、文書集合を記憶する。検索手段は、未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列をコーパス記憶手段から検索して取得する。したがって、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる。
【００２６】
（９）本発明は、未知の語を含む文章情報を修正する修正候補を取得する修正候補取得方法であって、既知の語を既知語記憶手段（３０）へ記憶し、複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出し、抽出した未知語を含む未知文字列に近似する修正候補文字列を、文書集合を記憶するコーパス記憶手段（５０）から検索して取得する修正候補取得方法を提案している。
【００２７】
この発明によれば、修正候補取得方法は、既知の語を既知語記憶手段へ記憶し、複数の語から構成される第１の文章情報の中から既知語記憶手段に記憶されていない未知の語を抽出し、抽出した未知語を含む未知文字列に近似する修正候補文字列を、文書集合を記憶するコーパス記憶手段から検索して取得する。したがって、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる。
【００２８】
（１０）本発明は、未知の語を含む文章情報を修正する修正候補を取得する修正候補取得プログラムであって、コンピュータを、既知の語を記憶する既知語記憶手段（３０）と、複数の語から構成される第１の文章情報の中から前記既知語記憶手段に記憶されていない未知の語を抽出する未知語抽出手段（４０）と、文書集合を記憶するコーパス記憶手段（５０）と、前記未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列を前記コーパス記憶手段から検索して取得する検索手段（６０）として機能させるための修正候補取得プログラムを提案している。
【００２９】
この発明によれば、既知語記憶手段は、既知の語を記憶する。未知語抽出手段は、複数の語から構成される第１の文章情報の中から既知語記憶手段に記憶されていない未知の語を抽出する。コーパス記憶手段は、文書集合を記憶する。検索手段は、未知語抽出手段が抽出した未知語を含む未知文字列に近似する修正候補文字列をコーパス記憶手段から検索して取得する。したがって、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる。
【発明の効果】
【００３０】
本発明によれば、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる。また、自動的に修正ルールを生成して蓄積できる。さらに、生成した修正ルールを的確に評価できる。
【図面の簡単な説明】
【００３１】
【図１】本発明による修正候補取得装置の実施形態の構成を示す図である。
【図２】修正候補取得装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、図面を用いて、本発明の実施形態について詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００３３】
（実施形態）
図１は、本発明による修正候補取得装置の実施形態の構成を示す図である。
本実施形態の修正候補取得装置は、解析対象文章入力部１０と、形態素解析部２０と、既知語記憶部３０と、未知語抽出部４０と、コーパス記憶部５０と、検索部６０と、修正ルール生成部７０と、修正部８０と、修正ルール評価部９０と、修正ルールスコア出力部１００とを備えている。
【００３４】
解析対象文章入力部１０は、ブログやＷｅｂ上のテキスト等、砕けた表現の多い文章を解析対象文章（第１の文章情報：以下、原文と称する）として入力する。解析対象文章入力部１０は、入力された原文を形態素解析部２０と未知語抽出部４０とへ送る。
【００３５】
形態素解析部２０は、文章に対して形態素解析を実行する。本実施形態の形態素解析部２０には、形態素解析器として一般的なＭｅｃａｂを利用しているが、他の種類の形態素解析器を利用してもよい。形態素解析部２０は、解析対象文章入力部１０から得た原文と、修正部８０が修正した修正後文（第２の文章情報）とについて形態素解析を行う。
形態素解析部２０は、解析対象文章入力部１０から得た原文についての形態素解析結果を未知語抽出部４０へ送る。また、形態素解析部２０は、解析対象文章入力部１０から得た原文についての形態素解析結果、及び、修正後文についての形態素解析結果を修正ルール評価部９０へ送る。
【００３６】
既知語記憶部３０は、既知の語（既知後）を多数記憶した辞書データベースである。本実施形態では、既知語記憶部３０に記憶されていない語を未知の語（未知語）であるとして取り扱う。例えば、上述した「困ってしまう」の「てしまう」は、既知後であるが、「困っちゃう」の「ちゃう」は、未知語である。
【００３７】
未知語抽出部４０は、既知語記憶部３０を参照して、解析対象文章入力部１０から得た原文の中に未知語が含まれているか否かを確認し、未知語を抽出する。未知語抽出部４０が抽出した未知語を含む原文は、検索部６０へ送られる。
【００３８】
コーパス記憶部５０は、多数の文書集合を記憶する。本実施形態のコーパス記憶部５０に記憶させる文書としては、砕けた表現が少ない文書であることが望ましく、例えば、新聞記事データを用いることができる。
【００３９】
検索部６０は、未知語抽出部４０が抽出した未知語を含む未知文字列に近似する修正候補文字列をコーパス記憶部５０から検索して取得する。
検索文を生成するには、例えば、未知語を含む近隣の数文節を抜き出し、未知語部分をワイルドカード（任意の文字列）とする方法等がある。
原文：「いいかどうヵゎ分かりません」、未知語：「ヵゎ」
文節区切り：いい／か／どう／ヵゎ／分かり／ませ／ん
未知語の両隣の１文節ずつを抜き出し、未知語部分をワイルドカード（任意の長さの文字列）とすると、検索文が生成できる。
検索文：「どう＊分かり」
なお、検索文の生成方法については、これに限らず、未知語の両隣の２文節ずつを抜き出してもよいし、その他の方法により検索文を生成してもよい。
検索部６０は、このような検索文を生成し、検索文と部分一致するような文を修正候補文字列としてコーパス記憶部５０から全て取得する。
【００４０】
修正ルール生成部７０は、検索部６０が検索して取得した修正候補文字列に基づいて、未知語を既知語に修正する修正ルールを生成する。すなわち、検索部６０の検索結果におけるワイルドカード部分に一致した検索結果を修正ルールの修正後の文字列として修正ルールを作成する。
ここで、修正ルールとは、「ヵゎぃぃ→かわいい」のように、未知語を含む文章を未知語を含まない文語的な表現へ修正するための文字列置換の規則を示す。なお、上述の記号「→」は、記号の左辺の語から右辺の語へと修正するという修正ルールを表すものとする。修正ルール生成部７０は、この修正ルールを新たに生成し、その修正ルールを修正ルール評価部９０へ送る。
【００４１】
修正部８０は、修正ルール生成部７０から出力された修正ルールにしたがって、未知語抽出部４０が抽出した未知語を含む原文を修正する。修正部８０は、原文に対して、修正ルールを適用し、修正ルール適用後の修正後文を生成する。修正部８０が生成した修正後文は、形態素解析部２０に送られる。
【００４２】
修正ルール評価部９０は、頻度評価部９１と、距離評価部９２と、形態素解析評価部９３とを備えており、修正ルール生成部７０が生成した修正ルールの評価を行う。
修正ルールスコア出力部１００は、修正ルール評価部９０により評価された修正ルールのスコアを出力する。
【００４３】
上述したように、本実施形態では、検索部６０が検索して取得した修正候補文字列に基づいて、未知語を既知語に修正する修正ルールを修正ルール生成部７０が生成する。
以下、検索部６０による修正候補文字列の検索及び修正ルール生成部７０が生成する修正ルールとその評価（スコアリング）について詳しく説明する。
【００４４】
（１）検索部６０は、未知語Ｘを含む文Ａ（未知文字列）に対して、未知語Ｘをワイルドカードに置き換えた文Ｑを生成し、この文Ｑと部分一致するような文Ｂを修正候補文字列としてコーパス記憶部５０から全て取得する。以下に具体例を示す。
原文：「どうヵゎ分かりませんが、」、未知語：「ヵゎ」
未知語「ヵゎ」を任意の文字列で置き換えた文と部分一致する文をコーパスから全て取得する。
検索文：「どう＊分かり」、ここで、「＊」は、ワイルドカードを示す。
検索結果１：どう「かは」分かり…これかどう「かは」分かりません…
検索結果２：どう「か」分かり…よくあるのかどう「か」分かりません…
検索結果３：どう「したらいいのか」分かり…どう「したらいいのか」分かりません…
検索結果４：どう「かは」分かり…この先どう「かは」分かりません…
検索結果５：どう「か」分かり…本当かどう「か」分かりませんが…
検索結果６：どう「かは」分かり…使うかどう「かは」分かりませんけどね…
検索結果７：どう「かは」分かりませ…あるかどう「かは」分かりません…
【００４５】
（２）修正ルール生成部７０では、上記（１）で取得した検索結果から修正ルールを生成する。上記例で「」で囲んだ部分が未知語「ヵゎ」を修正ルールにより修正した後の文字列となる。
修正ルール１：「ヵゎ」→「かは」
修正ルール２：「ヵゎ」→「か」
修正ルール３：「ヵゎ」→「したらいいのか」
【００４６】
（３）修正ルール評価部９０では、修正ルール生成部７０が生成した修正ルールをスコアリングする。
まず、頻度評価部９１が修正ルール毎に、検索部６０による検索により当該修正ルールに該当する検索結果が出現した頻度をテーブルにまとめる。
頻度評価部９１がまとめるテーブルを表１に示す。
【表１】
2010257022.tif 000003
【００４７】
本実施形態では、頻度評価部９１がまとめた出現頻度を修正ルールのスコアリングの一指標として利用する。
【００４８】
（４）上記（２）で生成した各修正ルールについて、距離評価部９２の文字列距離算出部９２ａは、修正前後の文字列の距離を取得する。文字列の距離の取得はレーベンシュタイン距離の計算等、既存の手法を利用することができる。
ここで、文字列距離を取得するために、文字列の挿入や削除、置換等に重み付きのコストが与えられている。文字列の挿入・削除については、例えば、以下のようなコストが与えられる。
修正ルール１：「ヵゎ」→「かは」、挿入・削除コスト：０
修正ルール２：「ヵゎ」→「か」、挿入・削除コスト：１
修正ルール３：「ヵゎ」→「したらいいのか」、挿入・削除コスト：５
なお、値が小さい修正ルールの方が高いスコアを得るものとする。
文字列の置換については、例えば、以下のようなコストが与えられる。
修正ルール：「ぢ」→「じ」、置換コスト：２
修正ルール：「ぢ」→「に」、置換コスト：４
修正ルール：「ぢ」→「え」、置換コスト：８
置換コストでは、「ぢ→じ」のように、文字列がより類似しているものの置換コストを小さくする。
文字列距離の算出は、上述したような挿入・削除コスト及び置換コストを用いて行われる。
以下の表２に文字列距離の計算例を示す。
【表２】
2010257022.tif 000004
本実施形態では、距離評価部９２の文字列距離算出部９２ａがこのようにして求めた文字列距離を修正ルールのスコアリングの一指標とする。
【００４９】
（５）修正ルールをそれぞれ適用して修正部８０が修正を行った修正後文について、形態素解析部２０が形態素解析を行い、解体素解析結果を形態素解析評価部９３へ送る。形態素解析評価部９３では、形態素解析結果に基づいて形態素解析スコア（形態素解析評価値）を求める。
ここで、形態素解析スコア（形態素解析評価値）としては、例えば、従来技術（非特許文献１及び２）で用いられている手法などを利用する。非特許文献１では大規模なコーパスに対して、修正ルールを適用し、ルールの適用前後の文に未知語が含まれているかどうかを比較することで、修正ルールを統計的値によりスコアリングを行っている。
また、形態素解析スコアとしては、例えば、形態素解析コストも用いることができる。形態素解析コストとは、本来、複数ある文節区切りの中で、その文節区切りがどのくらい確からしいかを表す指標であり、単語単体での出現確率や複数単語が連続して出現する確率等から計算される。形態素解析コストは既存の多くの形態素解析器で用いられている。
【００５０】
本実施形態では、上述のように従来技術（非特許文献１及び２）に開示されているように未知語がなくなったことを正解として、その正解率によりスコアリングを行った。以下の表３に従来の手法により修正後文のスコアリングを行った場合の修正後文の形態素解析スコアの例を示す。
【表３】
2010257022.tif 000005
【００５１】
なお、従来技術（非特許文献１及び２）では、修正ルールの特殊化という処理を行い、スコア向上を実現している。例えば、「ヵゎ→かは」よりも「どうヵゎ→どうかは」の方が形態素解析スコアは高い。ここで、特殊化とは、汎用な修正ルールを基に、より具体的な修正ルールを生成することを指している。従来技術の手法によって形態素解析スコアを求めるときには、従来と同様に、（２）で得られた「ヵゎ→かは」のルールを「どうヵゎ→どうかは」に特殊化する必要がある。その場合の出現頻度や文字列距離のスコアは、「ヵゎ→かは」と同じとする。上記表３には、この特殊化した修正ルール４を併記している。
【００５２】
（６）上記の（２）〜（５）のスコアの具体例をまとめると、表４のようになる。
【表４】
2010257022.tif 000006
【００５３】
表４のように得られた各スコアを総合して、修正ルールのスコアを例えば、以下の式のようにして求める。
修正ルールのスコア＝出現頻度×α＋文字列距離×β＋形態素解析スコア×γ
ここで、α、β、γは、重み付け用のパラメータ変数であり、最適値を実験等により、算出するとよい。
このようにして求めた修正ルールのスコアは、例えば、スコアの低いルールを削除したり、修正に適用する順序を決めたりする等して、修正ルールの精度を高めたり、処理の高速化を図ったりできる。
【００５４】
図２は、修正候補取得装置の動作の流れを示すフローチャートである。
以下、本実施形態の修正候補取得装置の動作の流れを図２に沿って説明する。
ステップ（以下、Ｓとする）１０は、処理を開始した初期状態を示している。この段階では、解析対象文章入力部１０が解析対象のブログ等の文章を入力する。また、砕けた表現の少ない文書集合をコーパス記憶部５０に用意する。
Ｓ２０では、未知語抽出部４０が解析対象のブログ等の文章から未知語の抽出と、未知語を含む文の取得を行う。
【００５５】
Ｓ３０では、Ｓ２０で取得した未知語文から検索部６０が検索文を生成する。
Ｓ４０では、Ｓ３０で生成した検索文をコーパス記憶部５０から検索部６０が検索し、検索結果を取得する。また、修正ルール生成部７０が検索結果から修正ルールを生成する。
【００５６】
Ｓ５０では、頻度評価部９１が修正ルール毎に出現頻度を取得する。
Ｓ６０では、文字列距離算出部９２ａが、修正ルール毎に修正前後の文字列の距離を算出する。
【００５７】
Ｓ７０では、修正ルールにしたがい修正部８０が修正した修正後文を形態素解析部２０により形態素解析して、形態素解析結果評価値に基づいて形態素解析スコアを求める。
Ｓ８０では、Ｓ５０〜Ｓ７０で取得した修正ルールのスコアをもとに、修正ルールの総合的なスコアを算出する。
【００５８】
以上説明したように、本実施形態によれば、検索部６０が未知語を含む未知文字列に近似する修正候補文字列をコーパス記憶部５０から検索するので、人手により修正の事例や修正ルール等を与えることなく修正の候補を取得できる。よって、修正ルールを自動的に生成できる。また、修正ルール評価部９０により修正ルール毎にスコアリングを行うので、生成した修正ルールの有用性を的確に評価でき、正確な修正を行える修正ルールを自動的に生成できる。
【００５９】
なお、修正候補取得装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを修正候補取得装置に読み込ませ、実行することによって本発明の修正候補取得装置、修正候補取得システム、修正候補取得方法を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００６０】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００６１】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６２】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００６３】
（変形形態）
（１）本実施形態において、修正候補取得装置として１つのまとまった装置の例を挙げて説明したが、これに限らず、例えば、複数の装置を組み合わせた修正候補取得システムとして構成してもよい。
【００６４】
（２）本実施形態において、形態素解析部２０と既知語記憶部３０と未知語抽出部４０とが独立した形態であるとして説明を行った。これに限らず、例えば、形態素解析部２０が既知語記憶部３０と未知語抽出部４０とを包含する形態としてもよい。
【００６５】
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【符号の説明】
【００６６】
１０  解析対象文章入力部
２０  形態素解析部
３０  既知語記憶部
４０  未知語抽出部
５０  コーパス記憶部
６０  検索部
７０  修正ルール生成部
８０  修正部
９０  修正ルール評価部
９１  頻度評価部
９２  距離評価部
９２ａ  文字列距離算出部
９３  形態素解析評価部
１００  修正ルールスコア出力部
【図１】
2010257022.tif 000007
【図２】
2010257022.tif 000008