(57)【特許請求の範囲】
【請求項１】
見本単語集データベースを備えたコンピュータにおいて、処理対象取得プロセスと、主題単語抽出プロセスと、単語集選出プロセスと、単語集統合プロセスと、形態素検索プロセスとを行うコンピュータ形態素解析方法であって、
見本単語集データベースは、多数の異なる見本単語集の集合体であり、
１つの見本単語集は、ある文意をもってひとまとまりに日本語表現された見本文章に含まれる単語を列記するとともに、各単語の当該見本文章中の出現回数を対応付けした集合体であり、
処理対象取得プロセスは、ある文意をもってひとまとまりに日本語表現された散文や口語文である仮名漢字混じりの文字列データを処理対象として取得し、
主題構成単語抽出プロセスは、処理対象文字列データにあらかじめ設定されている主題から１つ以上の主題構成単語を抽出し、
単語集選出プロセスは、主題構成単語をキーワードとして見本単語集データベースを検索し、その主題構成単語を含んでいる見本単語集を複数選出し、
単語集統合プロセスは、単語集選出プロセスで選出された複数の見本単語集に基づいて統合見本単語集を作成し、
統合見本単語集は、選出された複数の見本単語集に含まれる各単語を重複させずに列記するとともに、各単語ごとの出現回数の合計回数を対応付けした集合体であり、
形態素検索プロセスは、統合見本単語集中の多数の単語を合計回数の多い順番で順次キーワードとして処理対象文字列データの検索を繰り返し、処理対象文字列データ中に見いだしたキーワードに一致する単語を順次形態素と認識して、当該単語の前後にて処理対象文字列データを区切る
コンピュータ形態素解析方法。
【請求項２】
見本単語集データベースと、処理対象取得プロセス・主題単語抽出プロセス・単語集選出プロセス・単語集統合プロセス・形態素検索プロセスの実行プログラムとを含み、コンピュータに形態素解析処理を行わせるソフトウェアを記録した媒体であって、
見本単語集データベースは、多数の異なる見本単語集の集合体であり、
１つの見本単語集は、ある文意をもってひとまとまりに日本語表現された見本文章に含まれる単語を列記するとともに、各単語の当該見本文章中の出現回数を対応付けした集合体であり、
処理対象取得プロセスは、ある文意をもってひとまとまりに日本語表現された散文や口語文である仮名漢字混じりの文字列データを処理対象として取得し、
主題構成単語抽出プロセスは、処理対象文字列データにあらかじめ設定されている主題から１つ以上の主題構成単語を抽出し、
単語集選出プロセスは、主題構成単語をキーワードとして見本単語集データベースを検索し、その主題構成単語を含んでいる見本単語集を複数選出し、
単語集統合プロセスは、単語集選出プロセスで選出された複数の見本単語集に基づいて統合見本単語集を作成し、
統合見本単語集は、選出された複数の見本単語集に含まれる各単語を重複させずに列記するとともに、各単語ごとの出現回数の合計回数を対応付けした集合体であり、
形態素検索プロセスは、統合見本単語集中の多数の単語を合計回数の多い順番で順次キーワードとして処理対象文字列データの検索を繰り返し、処理対象文字列データ中に見いだしたキーワードに一致する単語を順次形態素と認識して、当該単語の前後にて処理対象文字列データを区切る
形態素解析用ソフトウェア記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、日本語の文章を単語単位に区分する形態素解析法に関し、より具体的には、形態素解析処理の対象となる文章に含まれていそうな単語を推理し、その単語が実際に処理対象文章の文字列に含まれているかどうかを検索して、含まれていれば、それを単語として認識してその前後で区切っていくという方法と、その方法を実行するためのソフトウェア記録媒体に関する。
【０００２】
【従来の技術】
日本語の文章をコンピュータに認識させる場合、文章を単語単位に分割する作業、いわゆる形態素解析を行わなければならない。ところが、日本語の文章は、単語同士を区分するための「スペース」を使用せずに、実質的な意味を有する単語と、文法的な機能のみを有する単語とを区切りなく次々と結合することにより作成されているため、機械的な分割が困難である。そこで日本語の文章を単語単位に分割するために、さまざまな形態素解析法が研究されてきた。
従来の形態素解析法としては、最長一致法、字種切り法、文節数最小法、ＣＹＫ法等の方法があり、処理対象が文語体で表現された日本語文章であれば、比較的高い精度をもって形態素解析を行うことができるようになった。
【０００３】
【発明が解決しようとする課題】
近年のパソコンの普及に伴い、インターネットのサービスであるE-mailや電子掲示板等は誰でも気軽に利用できるようになり、また、個人的にＷｅｂサイトを運営するユーザも増えてきた。その気軽さ故か、これらのサービスを利用する際、造語・流行語・新語や、いわゆる「ら抜き言葉」等のような口語的な表現が頻繁に使用されるようになった。ところが、既存の五十音順辞書データを使用する従来の形態素解析法によっては、口語文を単語単位に正確に分割するのは難しく、したがって口語的表現を含む文字列をコンピュータに認識させるのは極めて困難である。
【０００４】
文字列中の単語をコンピュータに正確に認識させる技術は、例えば、公序良俗に反する単語を含むＷｅｂページをチェックしたり、電子掲示板やチャットにおいて話題となっている事柄についてリサーチして市場調査に活用したり、あるいは日本語表現されたＷｅｂページを高精度で機械翻訳したりするのに不可欠であるため、散文や口語文をも単語単位に分割できる方法が探求されてきた。
【０００５】
この発明は、以上のような点に鑑みてなされたものであり、日本語表現された散文や口語文の文字列をコンピュータ処理により単語列として認識する方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明においては、ある文意をもってひとまとまりに日本語表現された散文や口語文が処理対象であり、そのような文章が仮名漢字混じりの文字列データとしてコンピュータに入力される。この発明の方法では、処理対象文章に含まれていそうな単語を推理し、その単語が文字列中に存在するか否かを検索する。文字列中にその単語が存在すれば、それを処理対象文章の構成単語として認識し、その前後にて文字列を区切る。更に未確認部分の文字列について、含まれていそうだと推理した別の単語が実際に存在するか否かを検索する。このような処理を単語を変えながら繰り返すことで、処理対象文章の文字列を単語の列として認識する。
【０００７】
この方法において重要なのは、処理対象文章に含まれていそうな単語を適切に推理することである。この推理が妥当なものでなければ、処理対象文章を正しく単語列に区切ることはできないし、たとえ単語列に区切ったとしても誤りが多くなる。
【０００８】
そこでこの発明においては、処理対象文章に本文とは別に主題を付けておくこととする。この主題は、本文の文意をごく短く表現したごく少数の単語から構成されるものである。処理対象文章は、その文字列データ中のどの部分が主題でどの部分が本文なのかが分かるデータ構造になっている。
【０００９】
そしてこの発明では、処理対象文章の主題に基づいて、本文に含まれていそうな単語を推理するのである。主題はごく少数の単語で構成されているので、それを単語に区切って認識することは、既知の手法を用いて容易に実現できる。まず主題を構成している単語を認識し、その主題構成単語をキーワードとして見本単語集データベースを検索する。このデータベースからは、当該処理対象文章の本文に含まれている確率の高い単語の集合が抽出される。このようにしてデータベースから抽出された単語の集合に含まれる単語が、前述の“推理”した単語に相当する。
【００１０】
したがって、この発明の方法において重要なことは、前記“推理”が妥当なものとなるように見本単語集データベースが構築されていることである。見本単語集データベースとは次のように作成したものである。
【００１１】
ある文意をもってひとまとまりに表現され、適当な方法によって予め単語単位に区切られた日本語の文章を１単位の見本文章とし、１単位の見本文章に含まれる単語を列記することにより１単位の見本単語集を作成する。文意の異なる多数の見本文章に基づいて作成された多数の見本単語集をデータベース化して見本単語集データベースを構築する。
【００１２】
この発明では、主題構成単語が含まれる見本単語集を、前記“処理対象文章の本文に含まれている確率が高い単語の集合”として見本単語集データベースから抽出して利用する。このような見本単語集を主題関連見本単語集と称し、ここに含まれる単語が前述の“推理”した単語に相当し、これを見本単語と称する。主題関連見本単語集に含まれる見本単語が処理対象文章にも含まれている確率が高いと考えられる理由について説明する。
【００１３】
そもそも文章とは、文字を連ねることによってあるまとまった思想を表現したものであり、ある文章の中で使用される単語は、その思想を表すために適切に選択されたものである。もし、二つの別個の文章Ａ、Ｂに、ある共通の単語ａが使用されていたとすれば、文章Ａ、Ｂは、ともに単語ａを使用して表されうる思想を表現したものであることになり、したがって両文章の思想は、互いに類似性のあるものだと考えられる。逆に、文章Ａ、Ｂが互いに類似した思想を表現したものであるとすれば、文章Ｂに使用される単語ｂが、文章Ａにも使用されている可能性は高いと推理できる。
【００１４】
したがって、処理対象文章と類似した思想を表現する見本文章に基づいて作成された主題関連見本単語集に含まれる見本単語は、処理対象文章の本文にも含まれる確率が高いと推理できるので、この見本単語を使って本文文字列を単語単位に正確に区切ることができるのである。
【００１５】
具体的にはこういうことである。仮名漢字混じりで表現されるひとまとまりの文字列からなる文章αを単語単位に分割したいとする。この文章αに、例えば「美人」という単語が含まれていることが分かっているとすれば、上記仮定に基づいて、まず、「美人」という単語を含む別の文章βを何らかの方法で探してくる。文章α及び文章βには、共に「美人」という単語が含まれているので、両文章は互いに比較的類似した思想をもって書かれたものだろうと推測され、したがって両章には、「美人」以外にも共通する単語が含まれると考えてよいだろう。つまり、文章βに「綺麗」という単語が含まれていれば、文章αにも同様に「綺麗」という単語が含まれている可能性は高いと考える。
【００１６】
そこで、文章βに含まれる単語をキーワードとして、文章αの文字列を検索する。キーワードとなる単語が文字列中から検出されたなら、それを単語として認識し、その前後に区切りを入れる。例えば、「ちょうきれい」のような、区切れ目の判断しづらい口語的表現による文字列が文章αに含まれていた場合にも、文章βに含まれる「綺麗」という単語をキーワードとすれば、この単語が文章αにも出現する可能性が高いということが予想されているので、「超／綺麗」と正確に単語として認識できるのである。（従来の形態素解析法では「長期／例」などと分割されたり、あるいは全く分割できなかったりした。）
【００１７】
なお、この発明における前記主題構成単語は、そもそも処理対象文章の思想を端的に表す単語なので、ある見本単語集に主題構成単語が含まれるのであれば、その見本単語集の基となった見本文章の思想が処理対象文章のそれと類似している確率はより高いものだと考えられる。
【００１８】
ところで、検索キーワードとしての見本単語を主題関連見本単語集から１つ選択するにあたり、見本単語を無作為に選択するのではなく、ある優先順位を付して選択することもできる。
例えば、ある主題関連見本単語集において、出現回数が１回の見本単語ｂと、５回の見本単語ｃとを比較した場合、見本単語ｃの方が、この主題関連見本単語集を作成する基となった見本文章の思想を表現するのに貢献しているといえる。したがって、処理対象文章の文字列に見本単語ｃが含まれる確率の方が、見本単語ｂのそれよりも高いと思われるので、こちらを優先的に選択して検索を行った方がよかろう。
そこで、それぞれの見本単語集に含まれる単語を、予めその出現頻度順に並べて列記しておき、出現頻度の多い単語を優先的に選択してもよい。
【００１９】
ところが、ある単語の出現回数が多いからといって、助詞や助動詞を優先的に検索しても、処理対象文章を正確に区切ることができない場合があるので、実質的な意味を有する見本単語を優先的に選択して検索を行った方がよいだろう。そこで見本単語集に含まれる単語を品詞別に分類して列記し、品詞別の優先順位に従って単語を選択してもよい。
【００２０】
また、従来の最長一致法においてもみられるように、長い文字列からなる見本単語を優先的に選択して検索を行った方が比較的よい結果が得られることが知られているので、見本単語集に含まれる単語を、文字列の長い順に並べて列記し、その順序に従って単語を選択してもよい。
【００２１】
一方、複数の主題関連見本単語集が抽出された場合、それぞれの主題関連見本単語集ごとに上記の検索・区切り処理を実行してもよいが、各主題関連見本単語集に重複して出現する見本単語があると、その見本単語について重複して検索作業を行わなければならず、処理プロセスが煩雑になってしまう。
そこで複数の主題関連見本単語が抽出された場合、それぞれの主題関連見本単語集に含まれる見本単語を、全て重複なく１つの統合見本単語集にまとめて、この統合見本単語集に含まれる見本単語をキーワードとして本文検索を行ってもよい。
また、統合見本単語集を構成する見本単語を、それぞれ品詞別に分類し、各主題関連見本単語集に出現した頻度の合計を示す出現頻度情報を付して列記してもよい。
【００２２】
【発明の実施の形態】
＝＝＝実施例＝＝＝
《処理対象文章》
本実施例では、Ｗｅｂページの電子掲示板の１アーティクルを処理対象文章１として形態素解析を行う。図１に処理対象文章1の模式図を示す。図中、２がその主題、３がその本文を示す。
【００２３】
《見本単語集データベース》
本実施例では、図２に示すような、インターネット上にある適当なＷｅｂページのテキスト部分を１単位の見本文章４とする。見本文章となるＷｅｂページのテキスト部分は、自然言語処理により予め単語単位に分割されているものとする。
【００２４】
図３に、前記見本文章４に基づいて作成された見本単語集の模式図を示す。本実施例においては、各単語は“品詞の種類”→“対応する見本文章中に出現する回数”→“単語の長さ”の優先順位に従って列記することとし、見本単語集を構成する単語には、それぞれ、その単語が見本文章中に出現する回数及びその単語の品詞を付した。品詞別に並べる際には、名詞→動詞→形容詞→形容動詞→副詞→接続詞→感動詞→接辞という優先順位に従って列記ものとし、助詞・助動詞・句読点・数字・英字については処理対象から除く。見本単語集を構成する単語が動詞、形容詞、形容動詞であった場合、全て終止形として列記する。
【００２５】
本実施例では、自動巡回手段等を利用してＷｅｂページを無作為に多数収集し、各ページのテキスト部分を見本文章として多数の見本単語集を作成して、作成された多数の見本単語集を用いて見本単語集データベースを構築する。
【００２６】
《処理プロセス》
本実施形態の処理プロセスを、図６のフローチャートを参照しつつ、以下に詳述する。
（１）主題の抽出
電子掲示板に掲載された処理対象文章１の主題２を抽出する。本実施例においては、主題２は「奥多摩キャンプ場、最高！」である。
【００２７】
（２）主題構成単語の抽出
処理対象文章１の主題２を単語単位に分割する。電子掲示板のアーティクルに付される主題２は、一般に簡潔で短いものが多いので、公知の形態素解析法をもってその単語分割をおこなってもよいが、ここでは人手によって単語抽出をおこなう。こうして主題２から、主題構成単語として「奥多摩」、「キャンプ場」、「最高」の三つの単語を得る。
【００２８】
（３）主題関連見本単語集の抽出
見本単語集データベースにアクセスし、（２）で得られた主題構成単語をクエリーとして、三つの主題構成単語を全て含む見本単語集を検索する。該当する見本単語集が見つかったら、それを主題関連見本単語集として抽出する。このような検索・抽出処理の結果、複数の主題関連見本単語集が得られる。
なお、図３に示した見本単語集も、「奥多摩」、「キャンプ場」、「最高」の三つの主題構成単語を全て含むので、主題関連見本単語集のひとつとして抽出する。便宜上、これを単語集▲１▼と呼ぶ。
【００２９】
（４）統合見本単語集の作成
本実施例では、以降の本文分割プロセスを簡略化するために、抽出された複数の主題関連見本単語集それぞれに含まれる見本単語を、全て重複なく１つの統合見本単語集にまとめることとした。
ここで、この作業の一例として、（３）で得られた複数の主題関連見本単語集のうち、前記単語集▲１▼と、その他二つの単語集▲２▼及び▲３▼とをまとめて、仮の統合見本単語集を作成する方法について図４を参照して説明する。
単語集▲１▼、▲２▼及び▲３▼に含まれる全ての単語を、見本単語集を作成する際に考慮した優先順位に従って１つの仮統合見本単語集にまとめて列記する。各単語集に共通して出現する同一の単語については、重複列挙を避けるため、それぞれの単語集における「出現回数」を合計して、得られた数値を「合計回数」として付して、一行にまとめて記す。
具体的にはこういうことである。例えば、「キャンプ場」という単語は、図４において網掛けして示したように、単語集▲１▼、▲２▼及び▲３▼の全てに含まれていることが分かるが、その「出現回数」は、単語集▲１▼では“１”、単語集▲２▼では“５”、単語集▲３▼では“１”なので、仮統合見本単語集においては、「キャンプ場」という単語の「合計回数」の欄には“７”と記す。
以降、（３）で得られた全ての主題関連見本単語集について同様の作業を行い、統合見本単語集を完成させる。作成された統合見本単語集は、適当な記憶手段に一時的に保存しておく。
【００３０】
（５）本文の分割
図６を参照して、統合見本単語集に含まれる見本単語をキーワードとして用いて、処理対象文章１の本文３の文字列を区切る方法について以下説明する。
説明を簡単にするため、ここでは前記単語集▲１▼、▲２▼及び▲３▼を基に作成した図４の仮統合見本単語集を使用する。
処理対象文章１の本文３を抽出しておく。まず、仮統合見本単語集において先頭にあげられた「キャンプ場」という単語を見本単語として選択し、本文３中にこの見本単語が含まれているかどうか検索する。検索の結果、「キャンプ場」という見本単語が本文３の文字列中に発見されたので、図５に示すように、これを単語として認識し、その前後にて区切る。（図５では区切り符号“／”を挿入した。）「キャンプ場」という単語について、本文文字列の検索が終了したならば、再度仮統合見本単語集を参照し、次にリストアップされた「秩父」という単語を見本単語として選択し、同様に本文３を検索する。この場合、「秩父」という単語は本文３の文字列に含まれていないので、この見本単語による検索を終了し、次の単語である「奥多摩」を選択する。このように、見本単語を次々と変えながら本文３を検索していく。そして仮統合見本単語集の最後の行まで到達したら、見本単語を用いた検索・分割作業を終了する。
この段階で、本文３には、助詞・助動詞からなる文字列が残っているので、既存の助詞・助動詞辞書を使用して残った文字列も分割する。
上記説明では、三つの主題関連見本単語集のみを基に作成された仮統合見本単語集を使用したため、見本単語の数が比較的少なかったが、実際には、前記（３）の工程において多数の主題関連見本単語集が抽出されるので、相当数の見本単語をキーワードとすることができ、従って処理対象文章１の本文３の文字列を全て正確に区切ることができる。
【００３１】
（６）応用プロセスへの引き渡し
処理対象文章１の本文３において認識された単語を、例えば、それぞれ既存の掲載禁止単語集などと照らし合わせて、掲載禁止単語に該当するものが発見された場合、電子掲示板の管理者にその旨を通達する。
【００３２】
＝＝＝その他変更例＝＝＝
上記実施例では、処理対象文章としてインターネット上の電子掲示板のアーティクルを選択したが、E-mailの文章、Ｗｅｂページのテキスト部分であってもよいし、実際には、コンピュータに入力された文章であって、その本文の要旨を表す単語が１つ以上分かっているようなものであればどのようなものであってもよい。
【００３３】
見本文章としては、サーチエンジン等を利用して無作為に収集したＷｅｂページを使用したが、むろん、図書・雑誌等の内容を電子化した電子出版物を利用してもよいし、やはりコンピュータに認識可能なものであればどのようなものであってもよい。
【００３４】
上記実施例では、見本単語集の単語は、特定の優先順位に従って、その品詞・出現頻度情報を付して列記するものとしたが、実際には、処理対象文章に出現する可能性の高い順番に並べられていれば、品詞・出現頻度情報が併記されていなくても構わないし、どのような順序・形式に沿って列記されていても構わない。
【００３５】
また、見本単語集データベースに格納された多数の見本単語集のうち、ある一定期間が経過しても全く使用されなかったものを削除したり、逆に、頻繁に使用される見本単語集があれば、それを作成する基となった見本文章と類似した分野に属する文章を収集して、特定分野の見本単語集をより多く作成してデータベースを充実させたりする機能を搭載させてもよい。
【００３６】
応用プロセスとしては、例えば処理対象文章１の本文３に含まれる単語の統計を取り、電子掲示板やチャットにどのような話題が掲載されているのかをリサーチして、流行・市場調査を行うもの等であってもよい。
【００３７】
以上の説明から明らかなように、本願の発明者により創作された技術的思想とは、つぎの事項（１）〜（９）により特定されるものである。
（１）見本単語集データベースを備えたコンピュータにおいて、処理対象取得プロセスと、主題単語抽出プロセスと、単語集選出プロセスと、単語集統合プロセスと、形態素検索プロセスとを行うコンピュータ形態素解析方法であること
（２）見本単語集データベースは、多数の異なる見本単語集の集合体であること
（３）１つの見本単語集は、ある文意をもってひとまとまりに日本語表現された見本文章に含まれる単語を列記するとともに、各単語の当該見本文章中の出現回数を対応付けした集合体であること
（４）処理対象取得プロセスは、ある文意をもってひとまとまりに日本語表現された散文や口語文である仮名漢字混じりの文字列データを処理対象として取得すること
（５）主題構成単語抽出プロセスは、処理対象文字列データにあらかじめ設定されている主題から１つ以上の主題構成単語を抽出すること
（６）単語集選出プロセスは、主題構成単語をキーワードとして見本単語集データベースを検索し、その主題構成単語を含んでいる見本単語集を複数選出すること
（７）単語集統合プロセスは、単語集選出プロセスで選出された複数の見本単語集に基づいて統合見本単語集を作成すること
（８）統合見本単語集は、選出された複数の見本単語集に含まれる各単語を重複させずに列記するとともに、各単語ごとの出現回数の合計回数を対応付けした集合体であること
（９）形態素検索プロセスは、統合見本単語集中の多数の単語を合計回数の多い順番で順次キーワードとして処理対象文字列データの検索を繰り返し、処理対象文字列データ中に見いだしたキーワードに一致する単語を順次形態素と認識して、当該単語の前後にて処理対象文字列データを区切ること
【００３８】
【発明の効果】
この発明によれば、文字列データとして入力された文章の主題を構成する単語を知ることによりその文章に含まれていそうな単語を推理し、文字列中に推理した単語が含まれているか否かを検索して、含まれていればそれを単語として認識し、その前後にて区切ることができる。処理の対象となる文章がが散文や口語文であっても、この方法によれば、簡単且つ正確に単語単位に分割することができる。
したがって、口語的表現を多く含む、E-mail、電子掲示板、Ｗｅｂページやチャット等における文章を単語単位に分割して単語列として認識させることができるので、例えば、公序良俗に反する単語を含むＷｅｂページをチェックしたり、電子掲示板やチャットにおいて話題となっている事柄についてリサーチして市場調査に活用したり、あるいは日本語表現されたＷｅｂページを高精度で機械翻訳したりできる。
【図面の簡単な説明】
【図１】本発明の実施例における処理対象文章の模式図である。
【図２】本発明の実施例における見本文章の模式図である。
【図３】上記見本文章を基に作成した見本単語集の模式図である。
【図４】本発明の実施例における仮統合見本単語集を作成する際の模式的な概念図である。
【図５】上記処理対象文章の本文を単語単位に分割していくプロセスを時系列に沿って示した模式的な概念図である。
【図６】本発明の原理を説明するフローチャートである。
【符号の説明】
１  処理対象文章
２  主題
３  本文
４  見本文章
【図１】
0004030687.tif 000002
【図２】
0004030687.tif 000003
【図３】
0004030687.tif 000004
【図４】
0004030687.tif 000005
【図５】
0004030687.tif 000006
【図６】
0004030687.tif 000007