(57)【特許請求の範囲】
【請求項１】
伏せ字を含む解析対象文章情報に対して、該伏せ字を修正するようにコンピュータを機能させる伏せ字修正プログラムであって、
修正基準文章情報を記憶した基準文章記憶手段と、
予め登録された伏せ字を含む１つの文字列を抽出し、該文字列を形態素に分割する伏せ字抽出手段と、
前記伏せ字に対応するワイルドカードと、当該伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
前記基準文章記憶手段を用いて、前記解析対象文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された１つ以上の修正ルールを検索する修正ルール検索手段と、
１つ以上の前記修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する修正ルール選択手段と
してコンピュータを機能させることを特徴とする伏せ字修正プログラム。
【請求項２】
前記修正ルール検索手段によって検索された１つ以上の修正ルールについて、当該修正ルール毎に修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する修正ルール判定手段を更に有し、
前記修正ルール選択手段は、前記修正ルール判定手段によって連結すると判定された１つ以上の修正ルールの中から、前記文章構成指標に基づいて１つの修正ルールを選択するようにコンピュータを更に機能させることを特徴とする請求項１に記載の伏せ字修正プログラム。
【請求項３】
前記解析対象文章情報は、ネットワークを介して公開されているブログ(Weblog)、掲示板及び／又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であるようにコンピュータを更に機能させることを特徴とする請求項１又は２に記載の伏せ字修正プログラム。
【請求項４】
前記修正ルール選択手段は、前記文章構成指標として、（１）当該修正ルールにおける出現頻度、（２）前記伏せ字と前記修正ルールに基づく修正形態素との間の編集距離、及び／又は、（３）修正前と修正後との形態素解析コスト値の差分、に基づいて１つの修正ルールを選択するようにコンピュータを更に機能させることを特徴とする請求項１から３のいずれか１項に記載の伏せ字修正プログラム。
【請求項５】
前記伏せ字が修正された解析対象文章情報に対して、予め登録された違法・有害キーワードを含むか否かを判定する違法有害情報検出手段を更に有するようにコンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載の伏せ字修正プログラム。
【請求項６】
伏せ字を含む解析対象文章情報に対して、伏せ字を修正する装置の伏せ字修正方法であって、
修正基準文章情報を記憶した基準文章記憶部を有し、
予め登録された伏せ字を含む１つの文字列を抽出し、該文字列を形態素に分割する第１のステップと、
前記伏せ字に対応するワイルドカードと、当該伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する第２のステップと、
前記基準文章記憶手段を用いて、前記解析対象文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された１つ以上の修正ルールを検索する第３のステップと、
１つ以上の前記修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する第４のステップと
を有することを特徴とする装置の伏せ字修正方法。
【請求項７】
第３のステップによって検索された１つ以上の修正ルールについて、当該修正ルール毎に修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する判定ステップを更に有し、
第４のステップは、前記判定ステップによって連結すると判定された１つ以上の修正ルールの中から、前記文章構成指標に基づいて１つの修正ルールを選択する
ことを特徴とする請求項６に記載の装置の伏せ字修正方法。
【請求項８】
伏せ字を含む解析対象文章情報を他の公開サーバからネットワークを介して取得し、該伏せ字を修正する文章解析サーバであって、
修正基準文章情報を記憶した基準文章記憶手段と、
予め登録された伏せ字を含む１つの文字列を抽出し、該文を形態素に分割する伏せ字抽出手段と、
前記伏せ字に対応するワイルドカードと、当該伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
前記基準文章記憶手段を用いて、前記解析対象文章情報の中から、前記検索キーを用いて、前記ワイルドカードで検索された１つ以上の修正ルールを検索する修正ルール検索手段と、
１つ以上の前記修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する修正ルール選択手段と
を有することを特徴とする文章解析サーバ。
【請求項９】
前記修正ルール検索手段によって検索された１つ以上の修正ルールについて、当該修正ルール毎に修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する修正ルール判定手段を更に有し、
前記修正ルール選択手段は、前記修正ルール判定手段によって連結すると判定された１つ以上の修正ルールの中から、前記文章構成指標に基づいて１つの修正ルールを選択することを特徴とする請求項８に記載の文章解析サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットに公開されるＷｅｂサイトに記述された文章情報の中で、違法・有害情報を検出する技術に関する。
【背景技術】
【０００２】
インターネットの普及により、ブログ、掲示板又はクチコミコメントを公開するＷｅｂサイトに、様々なテキストが記述されている。「ブログ」(Weblog)とは、一般的に個人によって運営され、時事ニュースや専門的トピックスに関する自らの意見を表明するために、日記的に更新することができるサイトをいう。また、「掲示板」とは、様々なテーマについて、他人と議論を逐次に交換するためのサイトをいう。更に、「クチコミコメント」とは、人の噂のような、物事の評判などに関するコメントを記述することができるサイトをいう。これらのサイトの普及により、一般のユーザが、インターネットで自由に情報発信できるようになった。
【０００３】
これに伴って、これらＷｅｂサイトに、個人や組織を誹謗及び中傷する文章や、犯罪予告の文章のような違法・有害情報が記述されることが社会的な問題となってきた。そのために、表現の自由を配慮しつつ、これら違法・有害情報を記述した個人及びＷｅｂサイトを検出する必要がある。
【０００４】
このようなＷｅｂ文書の文章内容を解析するために、少なくとも形態素解析が必要となる。形態素解析プログラムは、解析対象となる文章を形態素に分割する。英語の文章は、“This is a pen.”のように単語ごとに区切られた「分かち書き」にされている。これに対して、日本語の文章は、分かち書きされていないため、構文解析等に先立って、形態素解析による処理が必要となる。
【０００５】
「形態素」とは、文章の構成要素のうち、意味を持つ最小の単位をいう。形態素解析プログラムは、「単語」毎に「品詞」「読み」が登録された辞書を有する。分割された形態素には、辞書を用いて「品詞」「読み」の情報が付与され、単語の配列を規定する文法規則を用いて文章を解析する。このように、形態素解析プログラムの解析精度は、辞書に依存する。そのため、辞書に登録されていない単語を含む文章は、十分な解析精度を得ることができない。
【０００６】
これに対し、違法・有害情報をＷｅｂサイトに投稿するユーザは、具体的な個人又は法人の特定を避けるべく「伏せ字」を使用する場合がある。伏せ字は、例えば以下のように用いられる。
（１）「池田和●はこう言った」
（２）「Ｋ●ＤＩ研究所チーム●本」
【０００７】
「伏せ字」は、一般的に、その個人又は法人を特定できる文脈の中で、その個人又は法人の具体的な名前の一部の文字を「●」又は「○」のような記号に置き換えたものである。これにより、特定の分野の閲覧者には、その伏せ字によって置き換えられた文字を理解させると共に、直接的な検索を回避することができる。また、違法・有害情報を投稿するユーザにとっては、情報発信の責任回避をすることができる。
【０００８】
一般に、これら伏せ字を含む文字列は、形態素解析プログラムの辞書には登録されていない。そのため、以下の理由によって、形態素解析の精度が低下する。
・伏せ字を含む文字列全体が「未知語」として解析される。
・伏せ字部分が独立して「記号」又は「未知語」として解析される。
・伏せ字の前後の文字列が伏せ字から切り離されて誤って解析される。
その結果、伏せ字を含む文章情報が、違法・有害情報として検出できないという課題があった。
【０００９】
伏せ字が未知語として検出されることに対して、従来、未知語を含む文章を形態素解析に適した文章に修正する技術がある（例えば非特許文献１参照）。Ｗｅｂサイトは、親しみやすさから、口語的な「くだけた表現」で記述されることが多い。「くだけた表現」には、例えば、「うっそー」「ヵゎぃぃ」（「かわいい」と読む）のようなものがある。これらの表現は、一般的に、形態素解析プログラムの辞書には登録されていないために、「未知語」として処理され、形態素解析に失敗する。
【００１０】
この技術によれば、解析に失敗して「未知語」として出力されることを前提として、未知語を含む文章である解析対象文章を形態素解析する。そして、形態素解析の結果に基づいて、未知語の部分を任意文字列に置き換えた検索キーを生成する。生成された検索キーによって、修正基準文章から、自動的に修正候補文字列が検索され、修正候補文字列から１以上の修正ルールが生成される。生成された修正ルールは、（１）同じような文脈で頻繁に使用される表現か、（２）解析対象文章の表現から変化し過ぎていないか、（３）修正後の文章が日本語として自然か、といった指標を用いて、スコアリングされ、最適な修正ルールが選択される。解析対象文章は、選択された修正ルールによって、形態素解析に適した文章に修正される。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】池田和史、柳原正、松本一則、滝嶋康弘、「くだけた表現を修正するための教師なし学習方式の提案と評価」、第８回情報科学技術フォーラム、２００９
【発明の概要】
【発明が解決しようとする課題】
【００１２】
伏せ字は、一般的に、単語中の一部の文字を「●」又は「○」のような記号に置き換えるため、伏せ字の部分自体が、独立した形態素とはならない。しかしながら、非特許文献１に記載された技術によれば、未知語として検出された伏せ字を、独立する一形態素として修正しようとする。そのために、伏せ字が、形態素解析としては正しい文字に修正されたとしても、その修正自体が誤っている可能性が高い。
【００１３】
そこで、本発明は、解析対象文章情報の中から検出された伏せ字について、その伏せ字を含む一形態素の単語として正しく修正することができる伏せ字修正プログラム、方法及び文章解析サーバを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によれば、伏せ字を含む解析対象文章情報に対して、該伏せ字を修正するようにコンピュータを機能させる伏せ字修正プログラムであって、
修正基準文章情報を記憶した基準文章記憶手段と、
予め登録された伏せ字を含む１つの文字列を抽出し、該文字列を形態素に分割する伏せ字抽出手段と、
伏せ字に対応するワイルドカードと、当該伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
基準文章記憶手段を用いて、解析対象文章情報の中から、検索キーを用いて、ワイルドカードで検索された１つ以上の修正ルールを検索する修正ルール検索手段と、
１つ以上の修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する修正ルール選択手段と
してコンピュータを機能させることを特徴とする。
【００１５】
本発明の伏せ字修正プログラムにおける他の実施形態によれば、
修正ルールを適用した修正後文字列を仮に生成し、修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する修正ルール判定手段と、
連結する場合、修正後文字列を解析対象文章情報に適用し、連結しない場合、修正前文字列を解析対象文章情報に適用する修正ルール適用手段と
してコンピュータを更に機能させることも好ましい。
【００１８】
本発明の伏せ字修正プログラムにおける他の実施形態によれば、
解析対象文章情報は、ネットワークを介して公開されているブログ(Weblog)、掲示板及び／又はクチコミコメントにおける不特定多数のユーザによって記述された文章情報であるようにコンピュータを更に機能させることも好ましい。
【００１９】
本発明の伏せ字修正プログラムにおける他の実施形態によれば、
修正ルール選択手段は、文章構成指標として、（１）当該修正ルールにおける出現頻度、（２）伏せ字と修正ルールに基づく修正形態素との間の編集距離、及び／又は、（３）修正前と修正後との形態素解析コスト値の差分、に基づいて１つの修正ルールを選択するようにコンピュータを更に機能させることも好ましい。
【００２０】
本発明の伏せ字修正プログラムにおける他の実施形態によれば、
伏せ字が修正された解析対象文章情報に対して、予め登録された違法・有害キーワードを含むか否かを判定する違法有害情報検出手段を更に有するようにコンピュータを更に機能させることも好ましい。
【００２１】
本発明によれば、伏せ字を含む解析対象文章情報に対して、伏せ字を修正する装置の伏せ字修正方法であって、
修正基準文章情報を記憶した基準文章記憶部を有し、
予め登録された伏せ字を含む１つの文字列を抽出し、該文字列を形態素に分割する第１のステップと、
伏せ字に対応するワイルドカードと、当該伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する第２のステップと、
基準文章記憶手段を用いて、解析対象文章情報の中から、検索キーを用いて、ワイルドカードで検索された１つ以上の修正ルールを検索する第３のステップと、
１つ以上の修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する第４のステップと
を有することを特徴とする。
本発明の装置の伏せ字修正方法における他の実施形態によれば、
第３のステップによって検索された１つ以上の修正ルールについて、当該修正ルール毎に修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する判定ステップを更に有し、
第４のステップは、判定ステップによって連結すると判定された１つ以上の修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する
ことも好ましい。
【００２２】
本発明によれば、伏せ字を含む解析対象文章情報を他の公開サーバからネットワークを介して取得し、該伏せ字を修正する文章解析サーバであって、
修正基準文章情報を記憶した基準文章記憶手段と、
予め登録された伏せ字を含む１つの文字列を抽出し、該文を形態素に分割する伏せ字抽出手段と、
伏せ字に対応するワイルドカードと、当該伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する検索キー生成手段と、
基準文章記憶手段を用いて、解析対象文章情報の中から、検索キーを用いて、ワイルドカードで検索された１つ以上の修正ルールを検索する修正ルール検索手段と、
１つ以上の修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する修正ルール選択手段と
を有することを特徴とする。
本発明の文章解析サーバにおける他の実施形態によれば、
修正ルール検索手段によって検索された１つ以上の修正ルールについて、当該修正ルール毎に修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する修正ルール判定手段を更に有し、
修正ルール選択手段は、修正ルール判定手段によって連結すると判定された１つ以上の修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択することも好ましい。

【発明の効果】
【００２３】
本発明の伏せ字修正プログラム、方法及び文章解析サーバによれば、解析対象文章情報の中から検出された伏せ字について、その伏せ字を含む一形態素の単語として正しく修正することができる。これにより、伏せ字を含む文章情報であっても形態素解析の精度が高くなり、伏せ字を含む違法・有害情報の検出の精度が高くなる。
【図面の簡単な説明】
【００２４】
【図１】本発明における伏せ字修正プログラムの機能構成図である。
【図２】本発明における修正ルール判定及び修正ルール適用の説明図である。
【図３】本発明における文章解析サーバのシステム構成図である。
【図４】本発明におけるシステムのシーケンス図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２６】
図１は、本発明における伏せ字修正プログラムの機能構成図である。
【００２７】
図１によれば、伏せ字修正プログラム１は、基準文章記憶部１１と、伏せ字記憶部１２と、伏せ字抽出部１３と、検索キー生成部１４と、修正ルール検索部１５と、修正ルール選択部１７と、修正ルール判定部１６と、修正ルール適用部１８とを有する。基準文章記憶部１１を除くこれら機能部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。尚、各機能部の処理の流れは、コンピュータを用いた伏せ字修正方法として実行できる。
【００２８】
基準文章記憶部１１は、修正基準文章情報の集合を記憶する。修正基準文章には、例えば、新聞記事の文章のような形態素解析の解析精度が高い文章が用いられる。
【００２９】
伏せ字記憶部１２は、修正対象の伏せ字を予め登録し、記憶する。伏せ字には、例えば「●」、「○」、「■」、「□」又は「×」がある。伏せ字記憶部１２は、伏せ字抽出部１３によって参照される。
【００３０】
伏せ字抽出部１３は、解析対象文章情報を入力する。解析対象文章情報は、Ｗｅｂサイトに公開されているブログ、掲示板又はクチコミコメントのような不特定多数のユーザによって記述された文章情報であってもよい。そして、伏せ字抽出部１３は、伏せ字記憶部１２に予め登録された伏せ字を、解析対象文章情報から検索する。解析対象文章に伏せ字が含まれている場合、伏せ字抽出部１３は、その解析対象文章情報から、予め登録された伏せ字を含む１つの文字列を抽出する。伏せ字を含む文字列は、伏せ字を含む一文又は一文節であってもよいし、伏せ字とその前後の一定の長さからなる文字列の組み合わせであってもよい。
【００３１】
次に、伏せ字抽出部１３は、抽出した伏せ字を含む文字列を、形態素解析によって形態素に分割する。ここで、「池田和●は」という伏せ字を含む文字列を例に挙げて説明する。
伏せ字を含む文字列：池田和●は
形態素解析結果    ：池田／和／●（未知語又は記号）／は
伏せ字は、一般に、形態素解析用辞書に登録されていないので、「●」は未知語として処理される。但し、伏せ字が、「記号」として形態素解析辞書に登録されている場合、「●」は「記号」として解析される。
【００３２】
伏せ字抽出部１３は、形態解析された伏せ字を含む文字列を、検索キー生成部１４へ出力する。また、伏せ字抽出部１３は、伏せ字が検出された解析対象文章情報を、修正ルール適用部１８へ出力する。
【００３３】
検索キー生成部１４は、形態素毎に分割された伏せ字を含む文字列を入力する。検索キー生成部１４は、伏せ字と、その伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる「検索キー」を生成する。ここで、伏せ字と、それに隣接する前方の２形態素と、後方の１形態素とが、検索キーの生成に利用されたものとして説明する。
入力文字列    ：池田／和／●／は
検索キー      ：池田和＊は（ここで、「＊」は、１以上の任意文字列を示す。）
【００３４】
検索キー生成部１４は、伏せ字を正規表現（例えば、ワイルドカードを表す「＊」）とし、正規表現と、伏せ字に隣接する文字列とを合わせた検索キーを生成する。勿論、正規表現は、任意の一文字にマッチングするもの（例えば、正規表現で任意の一文字を表す「？」）であってもよい。
【００３５】
伏せ字抽出部１３で抽出された１つの文字列に複数の伏せ字が含まれていた場合、検索キー生成部１４は、これらの伏せ字同士が所定文字数以下で近接していれば、複数の正規表現を含む検索キーを生成する。ここで、「Ｋ●ＤＩ研究所池田和●は」という伏せ字を含む文字列を例に挙げて説明する。
入力文字列    ：Ｋ／●／ＤＩ／研究所／池田／和／●／は
検索キー      ：Ｋ＊ＤＩ研究所池田和＊は
（ここで、「＊」は、１以上の任意文字列を示す。）
【００３６】
また、隣接する形態素は、伏せ字に対する前方及び後方の少なくとも一方があればよい。勿論、隣接する形態素が、２形態素以上連続するものであってもよい。また、伏せ字も、２以上連続するものであってもよい。検索キー生成部１４は、生成した検索キーを修正ルール検索部１５へ出力する。
【００３７】
修正ルール検索部１５は、検索キーを入力する。修正ルール検索部１５は、基準文章記憶部１１から、「検索キー」を含む修正候補文字列を検索する。そして、修正ルール検索部１５は、抽出した修正候補文字列中の正規表現に該当する部分を、伏せ字に近似する部分と判断し、修正ルールとして抽出する。修正ルールとは、伏せ字を含む文字列（例えば「池田和●」）から、修正候補文字列（例えば、「池田和史」）へ文字列変換するためのルールをいう。
【００３８】
修正ルール検索部１５は、例えば、検索により、以下の修正候補文字列を得る。修正ルール検索部１５は、抽出した修正候補文字列中の正規表現に該当する部分から、１以上の修正ルールを抽出する。ここで、「池田和●はこう言った」という伏せ字を含む文字列を例に挙げて説明する。
検索キー      ：池田和＊は（ここで、「＊」は、１以上の任意文字列を示す。）
修正候補文字列：池田和／史／は
池田和／歌子／は
池田和／について／は
池田和／と／は
修正ルール    ：●⇒史
●⇒歌子
●⇒について
●⇒と
【００３９】
検索キーによる検索によって得られる修正ルールは、２以上であってもよい。修正ルール検索部１５は、検索キーによる検索によって得た全ての修正ルールを、修正ルール判定部１６へ出力する。
【００４０】
修正ルール判定部１６は、全ての修正ルールを適用した修正後文字列を仮に生成し、その修正後文字列を形態素解析し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する。連結して１形態素を構成する修正ルールが１つ以上あれば、修正ルール判定部１６は、それらの修正ルールを修正ルール選択部１７へ出力する。一方、連結して１形態素を構成する修正ルールが１つもなければ、修正ルール判定部１６は、修正前文字列を修正ルール適用部１８へ出力してもよい。
【００４１】
修正ルール選択部１７は、入力された修正ルールが２以上ある場合は、文章構成指標に基づいて文脈に適した１つの修正ルールを選択する。
【００４２】
文章構成指標は、（１）修正ルールにおける出現頻度、（２）伏せ字と、修正ルールに基づく修正形態素との間の編集距離、及び／又は、（３）修正前と修正後との形態素解析コスト値の差分から算出される指標をいう。修正ルール選択部１７は、この文章構成指標に基づいて１つの修正ルールを選択する。
【００４３】
修正ルール選択部１７は、例えば、以下の修正ルールを入力したとする。
修正ルール    ：●⇒史
●⇒歌子
【００４４】
（１）修正ルールにおける出現頻度
修正ルールにおける出現頻度は、検索された修正ルールに該当する検索結果文字列が出現した頻度をいう。以下の表では、検索結果文字列の出現頻度に基づくスコアリングの例を表す。
【表１】
0005574526.tif 000002
【００４５】
出現頻度が高い文字列は、伏せ字が出現した文脈と類似した文脈の中で頻繁に利用される表現であると考えられ、修正候補文字列である可能性が高い。一方、類似した文脈の中であまり利用されていない表現は、修正候補文字列ではない可能性が高い。そこで、出現頻度の高い修正ルールは、スコアが高くなる。スコアは、出現頻度を検索件数で割り、正規化することにより、検索件数に依存しないものとしてもよい。
【００４６】
（２）伏せ字と、修正ルールに基づく修正形態素との間の編集距離
編集距離とは、二つの文字列がどの程度異なっているかを表す指標であり、一方の文字列を他方の文字列に変換するために必要な挿入、削除、置換の最小回数として与えられる。修正ルールに基づく修正形態素は、未知語に対して少数文字の挿入や削除、置換を実行したものであることが多い。例えば、「フォーラム」から「ファーム」への編集は、「ォ」を「ァ」に置換し、「ラ」を削除する方法が、最小の編集回数である２回となるため、編集距離は２である。以下の表は、編集距離に基づくスコアリングの例を表す。編集距離の小さい修正ルールは、スコアが高くなる。
【表２】
0005574526.tif 000003
【００４７】
（３）形態素解析コスト値の差分
形態素解析コスト値とは、複数ある単語区切りの中で、その単語区切りがどのくらい確からしいかを表す指標である。形態素解析コスト値は、例えば、単語単体での出現確率（生起コスト)や複数単語が連続して出現する確率（連接コスト）から算出される。形態素解析コスト値は、修正ルールの文脈における適応度を評価する指標として用いられる。
【００４８】
文全体の形態素解析コスト値は、文頭から文末までの各形態素の連接コストと単語生起コストとの和を累積して算出する（累積コスト）。修正ルールの適用により、文脈における適応度が高い表現が生成された場合、その表現周辺の生起コストや連接コストは小さくなるため、文全体の形態素解析コスト値は小さくなる。一方、文脈における適応度が低い表現が生成された場合、その表現周辺の生起コストや連接コストは大きくなるため、文全体の形態素解析コスト値は大きくなる。
【００４９】
ここでは、修正ルール適用後の文全体の形態素解析コスト値と、修正前の文全体の形態素解析コスト値との差分から、形態素解析コスト値に基づくスコアとして算出する。修正ルールによって生成された表現が文脈に適応する場合、算出されるスコアは高くなる。
【００５０】
文章構成指標(score)は、（１）修正ルールにおける出現頻度(freq)、（２）伏せ字と、修正ルールに基づく修正形態素との間の編集距離（dist）、及び／又は、（３）形態素解析コスト値の差分(cost)から、例えば、以下の計算式により算出する。
score＝α・freq＋β・dist＋γ・cost
ここで、α、β、γは、重み付け関数であり、修正ルールの適用と学習により、最適値を算出することができる。また、修正ルールは、適用する閾値を設定することができる。閾値を低く設定した場合、適用される修正ルールは増加するが、その中に含まれる修正ルールの誤適用も増加する。一方、閾値を高く設定した場合、適用される修正ルールは減少するが、その中に含まれる修正ルールの誤適用も減少させることができる。
【００５１】
修正ルール選択部１７は、文章構成指標に基づいて、修正ルールを選択する。勿論、複数の修正ルールが選択されてもよい。また、修正ルール選択部１７は、閾値以上且つ最大のスコアを持つ修正ルールを選択してもよい。修正ルール選択部１７は、選択した１つの修正ルールを、修正ルール適用部１８へ出力する。
【００５２】
修正ルール適用部１８は、解析対象文章情報を入力する。修正ルール選択部１７から修正ルールを入力した場合、修正ルール適用部１８は、修正ルールを、解析対象文章情報に適用する。一方、修正ルール判定部１６から判定結果を入力した場合、修正ルール適用部１８は、修正前文字列を、解析対象文章に適用してもよい。
【００５３】
本発明の特徴は、解析対象文章に対して、適切な修正ルールを適用することにある。従って、修正ルール判定部１６における実施形態を、以下の図２によって説明する。
【００５４】
図２は、本発明における修正ルール判定の説明図である。
【００５５】
（Ｓ２１）修正ルール判定部１６は、修正ルールを適用した修正後文字列を仮に生成し、その修正後文字列を形態素に分割する。形態素解析の結果、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する。勿論、伏せ字に対応する文字が、前方及び後方の双方の文字と連結して１形態素を構成していてもよい。
【００５６】
（Ｓ２２）ここで、「池田和●はこう言った」という伏せ字を含む解析対象文章を例に挙げて説明する。解析対象文章情報に対して、修正後文字列「池田和史は」及び「池田和には」が、仮に生成される。
【００５７】
「池田和史は」の例では、置き換えられた文字「史」が、前方の文字「和」と連結して、１形態素を構成する。
解析対象文章            ：池田和●はこう言った
仮生成された修正後文字列：池田和史は
形態素解析結果          ：池田／和史／は
この場合、修正ルール判定部１６は、修正ルールを修正ルール選択部１７へ出力する。
【００５８】
（Ｓ２３）これに対して、「池田和には」の例では、置き換えられた文字「に」が、前方の文字「和」とも、後方の文字「は」とも連結せず、「に」のみで１形態素を構成する。
解析対象文章            ：池田和●はこう言った
仮生成された修正後文字列：池田和には
形態素解析結果          ：池田／和／に／は
この場合、修正ルール判定部１６は、修正ルールを修正ルール選択部１７へ出力しない。
【００５９】
（Ｓ２４）入力した修正ルール中に、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するものがない場合、修正ルール判定部１６は、判定結果を修正ルール適用部１８へ出力してもよい。修正ルール適用部１８は、修正前文字列を解析対象文章に適用してもよい。この場合、解析対象文章は、「池田和●はこう言った」のまま修正されない。
【００６０】
図３は、本発明における文章解析サーバのシステム構成図である。
【００６１】
図３によれば、文章解析サーバ２は、通信インタフェース部２０と、解析対象文章入力部２１と、伏せ字修正機能部２２とを有する。文章解析サーバ２は、通信インタフェース部２０を介してインターネットに接続する。
【００６２】
また、図３によれば、文章解析サーバ２は、インターネットを介して、Ｗｅｂサーバ３と通信することができる。また、Ｗｅｂサーバ３は、投稿者用端末４から接続される。
【００６３】
Ｗｅｂサーバ３は、投稿者用端末４から受信した、解析対象文章であるブログテキスト及びクチコミコメントのようなＷｅｂ文書を公開する。文章解析サーバ２は、インターネットを介して、Ｗｅｂサーバ３から、そのＷｅｂ文書を解析対象文章として取得する。
【００６４】
解析対象文章入力部２１は、通信インタフェース部２０を介して、解析対象文章を受信する。その解析対象文章を、伏せ字修正機能部２２へ出力される。
【００６５】
伏せ字修正機能部２２は、図１で前述した機能構成部と全く同様である。伏せ字修正機能部２２は、解析対象文章入力部２１から解析対象文章を入力し、修正後文章を出力する。
【００６６】
図４は、本発明におけるシステムのシーケンス図である。
【００６７】
（Ｓ４０１）投稿者用端末４は、解析対象文章であるブログテキストをＷｅｂサーバ３へ投稿する。
（Ｓ４０２）文章解析サーバ２は、Ｗｅｂサーバ３から解析対象文章情報（「池田和●はこう言った」）を受信する。その解析対象文章は、伏せ字修正機能部２２へ出力される。
（Ｓ４０３）伏せ字修正機能部２２は、予め登録された伏せ字を解析対象文章情報から検索する。解析対象文章に伏せ字が含まれている場合、伏せ字修正機能部２２は、その解析対象文章情報から、予め登録された伏せ字を含む１つの文字列を抽出する。伏せ字修正機能部２２は、更に、その文字列を形態素解析によって形態素に分割する。
（Ｓ４０４）伏せ字修正機能部２２は、Ｓ４０３で抽出した伏せ字と、その伏せ字に対する前方及び後方の少なくとも一方の隣接形態素とからなる検索キーを生成する。
（Ｓ４０５）伏せ字修正機能部２２は、修正基準文章情報の中から、検索キーを用いて、伏せ字に近似する１つ以上の修正ルールを検索する。
（Ｓ４０６）伏せ字修正機能部２２は、修正ルールを適用した修正後文字列を仮に生成し、その修正後文字列を形態素に分割し、伏せ字に対応する文字が、前方及び後方の少なくとも一方の文字と連結して１形態素を構成するか否かを判定する。
（Ｓ４０７）伏せ字修正機能部２２は、Ｓ４０６で連結して１形態素を構成すると判定された修正ルールの中から、文章構成指標に基づいて１つの修正ルールを選択する。
（Ｓ４０８）伏せ字修正機能部２２は、選択された１つの修正ルールを解析対象文章情報に適用し、修正後文章（「池田和史はこう言った」）を出力する。
【００６８】
以上、詳細に説明したように、本発明の伏せ字修正プログラム、方法及び文章解析サーバによれば、解析対象文章情報の中から検出された伏せ字について、その伏せ字を含む一形態素の単語として正しく修正することができる。これにより、伏せ字を含む文章情報であっても形態素解析の精度が高くなり、伏せ字を含む違法・有害情報の検出の精度が高くなる。
【００６９】
本発明によって検出された違法・有害情報を記述したＷｅｂサイトに対するアクセスを防止するフィルタリングの技術にも適用される。フィルタリングとは、ユーザがアクセスしようとしたＷｅｂサイトが違法・有害情報を記述したものである場合、そのＷｅｂサイトへのアクセスを防止する技術をいう。
【００７０】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７１】
１  伏せ字修正プログラム
１１  基準文章記憶部
１２  伏せ字記憶部
１３  伏せ字抽出部
１４  検索キー生成部
１５  修正ルール検索部
１６  修正ルール判定部
１７  修正ルール選択部
１８  修正ルール適用部
２  文章解析サーバ
２０  通信インタフェース部
２１  解析対象文章入力部
２２  伏せ字修正機能部
３  Ｗｅｂサーバ
４  投稿用端末
【図１】
0005574526.tif 000004
【図２】
0005574526.tif 000005
【図３】
0005574526.tif 000006
【図４】
0005574526.tif 000007