(57)【特許請求の範囲】
【請求項１】
コンピュータを、文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定する一文字判断手段と、前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記一文字判断手段により一文字と判定されなかった文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定する品詞情報判断手段と、前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力する重複文字除去手段として機能させるためのプログラム。
【請求項２】
コンピュータを、文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定する一文字判断手段と、前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を出力する重複文字除去手段として機能させるためのプログラム。
【請求項３】
コンピュータを、文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定する品詞情報判断手段と、前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力する重複文字除去手段として機能させるためのプログラム。
【請求項４】
コンピュータを、前記重複文字除去手段により出力された文字列を格納する記憶手段として機能させるための請求項１乃至請求項３のいずれか１項に記載のプログラム。
【請求項５】
データ受付手段と、文章解析手段と、一文字判断手段と、同一文字判断手段と、品詞情報判断手段と、重複文字除去手段とを有する文字列整形装置が実施する文字列整形方法であって、前記データ受付手段が文字列のデータを受け付け、前記文章解析手段が前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出し、前記一文字判断手段が前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定し、前記同一文字判断手段が前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断し、前記品詞情報判断手段が前記一文字判断手段により一文字と判定されなかった文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定し、前記重複文字除去手段が前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力することを特徴とする文字列整形方法。
【請求項６】
データ受付手段と、文章解析手段と、一文字判断手段と、同一文字判断手段と、重複文字除去手段とを有する文字列整形装置が実施する文字列整形方法であって、前記データ受付手段が文字列のデータを受け付け、前記文章解析手段が前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出し、前記一文字判断手段が前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定し、前記同一文字判断手段が前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断し、前記重複文字除去手段が前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を出力することを特徴とする文字列整形方法。
【請求項７】
データ受付手段と、文章解析手段と、品詞情報判断手段と、重複文字除去手段とを有する文字列整形装置が実施する文字列整形方法であって、前記データ受付手段が文字列のデータを受け付け、前記文章解析手段が前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出し、前記品詞情報判断手段が前記文章解析手段により前記切り出された複数の文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定し、前記重複文字除去手段が前記切り出された複数の文字列を前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力することを特徴とする文字列整形方法。
【請求項８】
前記重複文字除去手段により出力された文字列を記憶手段に格納することを特徴とする請求項５乃至請求項７のいずれか１項に記載の文字列整形方法。
【請求項９】
文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定する一文字判断手段と、前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記一文字判断手段により一文字と判定されなかった文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定する品詞情報判断手段と、前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力する重複文字除去手段とを有することを特徴とする文字列整形装置。
【請求項１０】
文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定する一文字判断手段と、前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を出力する重複文字除去手段とを有することを特徴とする文字列整形装置。
【請求項１１】
文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定する品詞情報判断手段と、前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力する重複文字除去手段とを有することを特徴とする文字列整形装置。
【請求項１２】
前記重複文字除去手段により出力された文字列を格納する記憶手段を有することを特徴とする請求項９乃至請求項１１のいずれか１項に記載の文字列整形装置。
【請求項１３】
コンピュータを、文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定する一文字判断手段と、前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記一文字判断手段により前一文字と判定されなかった文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定する品詞情報判断手段と、前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力する重複文字除去手段と、前記重複文字除去手段により出力された文字列及び前記データ受付手段により受け付けられた文字列とを比較して、一致しない場合には再形態素解析を実行する再形態素解析実行手段として機能させるためのプログラム。
【請求項１４】
文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報とを登録した辞書情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち一文字の文字列を判定する一文字判断手段と、前記一文字判断手段により一文字と判定された文字列と当該文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記一文字判断手段により前一文字と判定されなかった文字列のうち対応する単語情報が前記辞書情報に登録されていない未登録語を判定する品詞情報判断手段と、前記同一文字判断手段により次の文字列の先頭文字と同一であると判断された一文字の文字列を除く前記切り出された複数の文字列を、前記品詞情報判断手段により未登録語と判定された文字列中に連続して出現する同一の文字を一文字にして出力する重複文字除去手段と、前記重複文字除去手段により出力された文字列及び前記データ受付手段により受け付けられた文字列とを比較して、一致しない場合には再形態素解析を実行する再形態素解析実行手段とを有することを特徴とする文字列整形装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はテキストを整形する技術に関し、特に言語処理の対象となる文章のうち、重複文字を有する部分の誤字の除去を行い、正常な文章に回復した後に、検索、要約等の言語処理を行う技術に関する。
【０００２】
【従来の技術】
コンピュータ技術の性能の向上に伴い、これまで様々な言語処理技術の提案がなされてきている。これらの技術の手法として、言語処理の対象となる文章を単語単位に区切り、解析を行う形態素解析手法を用いることがある。しかし、言語処理の対象となる文章が誤字を含む場合、当該文字は形態素解析を行う際に未登録語として処理され、正しい結果が得られない。たとえば、もともとのアプリケーションで、強調したい個所に影文字などの文字修飾を施してあった場合、このアプリケーションを別形式のデータに変換してテキストデータを抽出すると、文字修飾を施した部分の文字が重なって抽出されることがあった。一例として、米国マイクロソフト社のWord2000（登録商標）上で特定の単語、例えば「あいう」を強調するためにボールド体を使用した場合、これを米国アドービシステムズ社のPDF(Portable Document Format)フォーマットに変換し、Acrobat Readerのテキスト選択を用いてPDF(Portable Document Format)ファイルから抽出したテキストでは、「ああいいうう」等の連続する文字が抽出されることがある。そこで、誤字を修正する技術としてスペルチェッカーや単に連続する文字をまとめて１文字に置き換えるという方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかし、スペルチェッカーでは、上記のような重複文字に対しては、修正候補の提示はおろか、ミススペルの発見すら困難である。また、連続して同じ文字が出現する場合に、単純に連続する文字を１文字に置き換えてしまうと、「ふたたび」という単語が「ふたび」になったりと、本来あるべき単語の構成文字まで削除される恐れがある。影文字などの文字修飾を施した部分は、本来作者が重要と考える部分に相当するが、従来技術では作者の意図が言語処理の結果に十分に反映されない恐れがある。
【０００４】
本発明は、上記課題を解決するために発明されたものであり、誤字と思われる重複文字を除去して正しい単語に整形した後に、言語処理の対象とすることを目的とする。
【０００５】
【発明を解決するための手段】
上記のような目的を達成するために、本発明の第1の特徴とするプログラムは、コンピュータを、同一文字が重複して出現する文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち、第１の文字列が一文字であるか否かを判断する一文字判断手段と、前記一文字判断手段により前記第１の文字列が一文字であると判断された場合は、前記第１の文字列と前記第１の文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記同一文字判断手段により同一文字であると判断された場合は、同一文字の整形を行う文字整形手段と、前記一文字判断手段により前記第１の文字列が一文字でないと判断された場合は、前記第１の文字列の品詞情報を判断する品詞情報判断手段と、前記品詞情報判断手段により前記第１の文字列が品詞情報として登録されていないと判断された場合は、前記第１の文字列から重複する同一の文字を一つにまとめる重複文字除去手段を有することを特徴とする。
【０００６】
また、本発明の第2の特徴とするプログラムは、コンピュータを、同一文字が重複して出現する文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち、第１の文字列が一文字であるか否かを判断する一文字判断手段と、前記一文字判断手段により前記第１の文字列が一文字であると判断された場合は、前記第１の文字列と前記第１の文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断する同一文字判断手段と、前記同一文字判断手段により同一文字であると判断された場合は、同一文字の整形を行う文字整形手段を有することを特徴とする。
【０００７】
また、本発明の第３の特徴とするプログラムは、コンピュータを、同一文字が重複して出現する文字列のデータを受け付けるデータ受付手段と、前記受付手段により受け付けられた前記文字列を単語情報と品詞情報に基づいて複数の文字列に切り出す文章解析手段と、前記文章解析手段により前記切り出された複数の文字列のうち、第１の文字列の品詞情報を判断する品詞情報判断手段と、前記品詞情報判断手段により前記第１の文字列が品詞情報として登録されていないと判断された場合は、前記第１の文字列から重複する同一の文字を一つにまとめる重複文字除去手段を有することを特徴とする。
【０００８】
また、本発明の第４の特徴とするプログラムは、前記文字整形手段により整形された文字列を出力する整形文字列出力手段を含み、前記重複文字除去手段により重複文字を除いた文字列を出力する重複文字除去後出力手段を含むことを特徴とする。
【０００９】
このような様々な特徴を有する本発明のプログラムは、本発明の装置において、同様の特徴を有する。また、本発明の方法において、同様の特徴を有する。即ち、同一文字が重複して出現する文字列のデータを受け付けて、前記文字列を単語情報と品詞情報に基づいて複数の文字列に切り出す。また、前記切り出された複数の文字列のうち、第１の文字列が一文字であるか否かを判断し、一文字であると判断された場合は、前記第１の文字列と前記第１の文字列の次に切り出された文字列の先頭文字とが同一であるか否かを判断し、同一文字であると判断された場合は、同一文字の整形を行う。また、前記切り出された複数の文字列のうち、第１の文字列の品詞情報を判断し、品詞情報として登録されていないと判断された場合は、前記第１の文字列から重複する同一の文字を一つにまとめる。前記同一文字の整形後の内容及び前記重複する同一の文字を一つにまとめた後の内容は出力される。
【００１０】
【発明の実施の形態】
本発明をその一実施形態に基づいて具体的に説明する。本実施形態では、形態素解析結果を利用して重複文字の除去を行う。本実施形態では、米国マイクロソフト社のWord2000（登録商標）上で、"「武士ゼロフウウCadrCdr（カダアクダア）」を開発、4月13日より発売"といった文字列の"「武士ゼロフウウCadrCdr(カダアクダア)」を開発"を影文字とした場合、別のファイル形式に変換した文書からは"「「武武士士ゼゼロロフフウウウウCCaaddrrCCddrr（（カカダダアアククダダアア））」」をを開開発発"といった文字列が抽出されたときにおける重複文字の除去について説明する。
【００１１】
図1は、本発明に関わる言語処理システムの概略構成を示す機能ブロック図である。この言語処理システムは、文章記憶手段１、単語記憶手段２、接続関係記憶手段３、文章解析手段４、解析結果記憶手段５、重複文字除去手段６、整形文字列記憶手段７から構成されている。
【００１２】
文章記憶手段１には、言語処理の対象となる日本語文章が格納されている。単語記憶手段２は、単語とその属性情報を登録した日本語辞書である。各単語の属性情報には、品詞情報などが含まれている。接続関係記憶手段３には、単語間の接続の可否を示す接続情報が格納されている。文章解析手段４は、単語記憶手段２と接続関係記憶手段３を検索して文章記憶手段１に記憶された文章を単語単位に文章解析する。解析結果記憶手段５は、前記文章解析手段４で単語単位に解析された結果を記憶する。重複文字除去手段６は、解析結果記憶手段５の結果を調べ、整形文字列を整形文字列記憶手段７に格納する。整形文字列記憶手段７には整形文字列が格納される。
【００１３】
上記言語処理システムにおいて、入力文中に同一文字が重複して出現する場合の処理手順を図2のフローチャートならびに図3から図7に基づいて説明する。図2において文章解析手段４は文章記憶手段１に記憶されている文章を取り出す操作を試み（ステップ１０１）、文章があるかどうかを判断する（ステップ１０２）。ここで、文章がないときは処理を終了し、文章があるときは、その中から１文を読み込む（ステップ１０３）。以下の処理では、この１文全体が処理の単位となる。ここでは、具体例として"「「武武士士ゼゼロロフフウウウウCCaaddrrCCddrr（（カカダダアアククダダアア））」」をを開開発発"という文が読み込まれたものとする。
【００１４】
文章解析手段４は、単語記憶手段２の日本語辞書を用いて入力文を文頭から文末まで単語検索する（ステップ１０５）。単語記憶手段２の内容の一例を図３に示す。単語検索によって、入力文の各単語（見出し語）に対応する語の情報が読み取られる。続いて、検索された単語が持つ品詞情報と、接続関係記憶手段３の接続情報とに基づいて単語間の接続関係をチェックする（ステップ１０６）。接続関係記憶手段３の内容の一例を図４に示す。図４において、単語間の接続の可否を示す接続情報としては、接続が可能である組み合わせには１という値が付けられ、接続できない組み合わせには０という値が付けられている。
【００１５】
文章解析手段４は、これらの情報を用いて、文節数最少法により文章解析を行う（ステップ１０７）。文節数最少法とは、接続可能であった単語の内文節数が最少のものを結果として出力する文章解析方法である。なお、文章解析には最長一致法やコスト最少法を用いてもよい。この結果、"「／「／武／武士／士／ゼゼロロフフウウウウ／CCaaddrrCCddrr／（／（／カカダダアアククダダアア／）／）／」／」／を／を／開／開発／発"という単語列が切り出される。次に、文章解析手段４は、切り出した単語の表記、品詞、位置情報を解析結果記憶手段５に格納する（ステップ１０８）。解析結果記憶手段５格納された情報を図５に示す。図５に示すように、本来辞書に登録されている単語情報が正しく、切り出されない。
【００１６】
次に、重複文字除去手段６は、重複文字の除去を実行する（ステップ２００）。ステップ２００の重複文字の除去のフローチャートを図6に示す。ここで、解析結果記憶手段５の中の単語No.を保持する変数としてiを、入力文の末尾の位置の値を保持する変数としてendを、整形文字列記憶手段７に出力した文字数を保持する変数としてlenを、使用する。
【００１７】
重複文字除去手段６は、iとlenに0をセットする（ステップ２０１）。重複文字除去手段６は、lenの値がend以上になったかどうかを判定する（ステップ２０２）。判定結果がYesの場合、重複除去の処理を終了する（図2のステップ３００へ戻る）。判定結果がNoの場合、ステップ２１０に処理を進める。ステップ２１０において、重複文字除去手段６は、i番目の単語の表記は1文字かどうかを判定する。判定結果が、Yesの場合、処理をステップ２２０に進め、Noの場合には、処理をステップ２３０に進める。
【００１８】
ステップ２２０において、重複文字除去手段６は、i番目の単語の表記とi+1番目の単語の表記の先頭文字は同じかどうかを判定する。判定結果が、Yesの場合、処理をステップ２４０に進め、Noの場合には、処理をステップ２７０に進める。
【００１９】
ステップ２４０において、重複文字除去手段６は、i+1番目の単語の表記を整形文字列記憶手段７に格納する。そして、ステップ２４１で、i+1番目の単語の表記の長さをlenに足し、iに１を足し、処理をステップ２７０に進める。
【００２０】
ステップ２３０において、重複文字除去手段６は、i番目の単語の品詞は未登録語かどうかを判定する。判定結果が、Yesの場合、処理をステップ２５０に進め、Noの場合には処理をステップ２６０に進める。ステップ２５０において、重複文字除去手段６は、i番目の単語の表記から連続する文字が同一のもの（重複文字）を１つにまとめる。例えば、"ゼゼロロフフウウウウ"は"ゼロフウウ"にまとめられる。ステップ２５１において、重複文字を除いた文字列を整形文字列記憶手段７に格納する。そして、ステップ２５２において重複文字を除いた文字列の長さをlenに足し、処理をステップ270に進める。
【００２１】
ステップ２６０において、重複文字除去手段６は、i番目の単語の表記を整形文字列記憶手段７に格納する。そして、ステップ２６１でi番目の形態素の表記の長さをlenに足し、処理を２７０に進める。ステップ２７０において重複文字除去手段６は、iに１を足し、処理をステップ２０２に進める。
【００２２】
以上のように重複文字の除去が実行されると、図２のステップ３００にて、文章解析手段４は、整形文字列記憶手段７の内容を図示しない記憶手段または記憶装置に出力し（ステップ３００）、ステップ１０２の処理を行う。
【００２３】
本実施の形態では、ステップ２００の結果、整形文字列記憶手段７の内容は、"「武士ゼロフウウＣａｄｒＣｄｒ（カダアクダア）」を開発"となり、整形文字列記憶手段７に格納される。
【００２４】
次に、本発明の第2の実施形態について具体的に説明する。第2の実施形態では、形態素解析結果を利用して重複文字の除去を行った後、再解析を行う。第2の実施形態では、米国マイクロソフト社のWord2000（登録商標）上で、"「武士ゼロフウウCadrCdr（カダアクダア）」を開発、4月13日より発売"といった文字列の"「武士ゼロフウウCadrCdr(カダアクダア)」を開発"を影文字とした場合、別のファイル形式に変換した文書からは"「「武武士士ゼゼロロフフウウウウCCaaddrrCCddrr（（カカダダアアククダダアア））」」をを開開発発"といった文字列が抽出されたときにおける重複文字の除去後、再解析を行うことについて説明する。
【００２５】
第2の実施形態は、図９に示すように、文章記憶手段９１、単語記憶手段９２、接続関係記憶手段９３、文章解析手段９４、解析結果記憶手段９５、重複文字除去手段９６、再解析文字列記憶手段９７から構成されている。文章記憶手段９１、単語記憶手段９２、接続関係記憶手段９３、文章解析手段９４、解析結果記憶手段９５は第1の実施形態における図1の文章記憶手段１、単語記憶手段２、接続関係記憶手段３、文章解析手段４、解析結果記憶手段５にそれぞれ対応するものである。第1の実施形態と比較して、重複文字除去手段９６、再解析文字列記憶手段９７の構成が異なる。重複文字除去手段９６は、解析結果記憶手段９５の結果を調べ、再解析の対象となる文字列を再解析文字列記憶手段９７に格納する。再解析文字列記憶手段９７には、文章解析手段９４による再解析の対象となる文字列が格納される。
【００２６】
次に、上記言語処理システムにおいて、入力文中に同一文字が重複して出現する場合の処理手順を図８と図１０のフローチャートならびに図3、図４、図５、図7に基づいて説明する。図８において文章解析手段９４は文章記憶手段９１に記憶されている文章を取り出す操作を試み（ステップ８１０１）、文章があるかどうかを判断する（ステップ８１０２）。ここで、文章がないときは処理を終了し、文章があるときは、その中から１文を読み込む（ステップ８１０３）。以下の処理では、この１文全体が処理の単位となる。ここでは、具体例として"「「武武士士ゼゼロロフフウウウウCCaaddrrCCddrr（（カカダダアアククダダアア））」」をを開開発発"という文が読み込まれたものとする。
【００２７】
文章解析手段９４は、再解析フラグをOffにする（ステップ８104）。文章解析手段９４は、単語記憶手段９２の日本語辞書を用いて入力文を文頭から文末まで単語検索する（ステップ８１０５）。単語記憶手段９２の内容の一例を図３に示す。単語検索によって、入力文の各単語（見出し語）に対応する語の情報が読み取られる。続いて、検索された単語が持つ品詞情報と、接続関係記憶手段９３の接続情報とに基づいて単語間の接続関係をチェックする（ステップ８１０６）。接続関係記憶手段９３の内容の一例を図４に示す。図４において、単語間の接続の可否を示す接続情報としては、接続が可能である組み合わせには１という値が付けられ、接続できない組み合わせには０という値が付けられている。
【００２８】
文章解析手段９４は、これらの情報を用いて、接続可能であった単語の内文節数が最少のものを結果として出力する文節数最少法により文章解析を行う（ステップ８１０７）。なお、文章解析には最長一致法やコスト最少法を用いてもよい。この結果、"「／「／武／武士／士／ゼゼロロフフウウウウ／CCaaddrrCCddrr／（／（／カカダダアアククダダアア／）／）／」／」／を／を／開／開発／発"という単語列が切り出される。次に、文章解析手段９４は、切り出した単語の表記、品詞、位置情報を解析結果記憶手段９５に格納する（ステップ８１０８）。解析結果記憶手段９５格納された情報を図５に示す。図５に示すように、本来辞書に登録されている単語情報が正しく、切り出されない。
【００２９】
次に文章解析手段９４は、再解析フラグがOffかどうかを判断する（ステップ８１０９）。フラグがOnで判定結果がNoの場合は、ステップ８１１３を実行する。フラグがOffで判定結果がYesであれば、ステップ８２００を実行する。
【００３０】
ステップ８２００の重複文字の除去のフローチャートを図１０に示す。ここで、解析結果記憶手段９５の中の単語No.を保持する変数としてiを、入力文の末尾の位置の値を保持する変数としてendを、再解析文字列記憶手段９７に出力した文字数を保持する変数としてlenを、使用する。
【００３１】
重複文字除去手段９６は、iとlenに0をセットする（ステップ１２０１）。重複文字除去手段９６は、lenの値がend以上になったかどうかを判定する（ステップ１２０２）。判定結果がYesの場合、重複除去の処理を終了する（図８のステップ８１１０へ戻る）。判定結果がNoの場合、ステップ１２１０に処理を進める。ステップ１２１０において、重複文字除去手段９６は、i番目の単語の表記は1文字かどうかを判定する。判定結果が、Yesの場合、処理をステップ１２２０に進め、Noの場合には、処理をステップ１２３０に進める。
【００３２】
ステップ１２２０において、重複文字除去手段９６は、i番目の単語の表記とi+1番目の単語の表記の先頭文字は同じかどうかを判定する。判定結果が、Yesの場合、処理をステップ１２４０に進め、Noの場合には、処理をステップ１２７０に進める。
【００３３】
ステップ１２４０において、重複文字除去手段９６は、i+1番目の単語の表記を再解析文字列記憶手段９７に格納する。そして、ステップ１２４１で、i+1番目の単語の表記の長さをlenに足し、iに１を足し、処理をステップ１２７０に進める。
【００３４】
ステップ１２３０において、重複文字除去手段９６は、i番目の単語の品詞は未登録語かどうかを判定する。判定結果が、Yesの場合、処理をステップ１２５０に進め、Noの場合には処理をステップ１２６０に進める。ステップ１２５０において、重複文字除去手段９６は、i番目の単語の表記から連続する文字が同一のもの（重複文字）を１つにまとめる。例えば、"ゼゼロロフフウウウウはゼロフウウ"にまとめられる。ステップ１２５１において、重複文字を除いた文字列を再解析文字列記憶手段９７に格納する。そして、ステップ１２５２において重複文字を除いた文字列の長さをlenに足し、処理をステップ１270に進める。
【００３５】
ステップ１２６０において、重複文字除去手段９６は、i番目の単語の表記を再解析文字列記憶手段９７に格納する。そして、ステップ１２６１でi番目の形態素の表記の長さをlenに足し、処理を１２７０に進める。ステップ１２７０において重複文字除去手段９６は、iに１を足し、処理をステップ１２０２に進める。
【００３６】
図８の説明に戻り、次に、文章解析手段９４は、再解析文字列記憶手段９７の内容と入力文の内容を比較する（ステップ８１１０）。ここで、入力文の内容と再解析文字列記憶手段９７の内容が一致する場合、再解析は必要ないのでステップ８１１３を実行する。一致しない場合、判定結果がNoとなり、文章解析手段９４は、再解析フラグをOnにし（ステップ８１１１）、入力文を再解析文字列とし、解析結果記憶手段９５の内容を消去する（ステップ８１１２）。そして、ステップ８１０５に進み、入力文字列の再解析を行う。ステップ８１０５，８１０６，８１０７，８１０８と処理を進め、ステップ８１０９の判定結果はNoとなるので、文章解析手段９４はステップ８１１３を実行する。
【００３７】
ステップ８１１３にて、文章解析手段９４は、解析結果記憶手段９５の内容を図示しない記憶手段または記憶装置に出力し、ステップ８１０２の処理を行う。
【００３８】
本実施形態での入力では、ステップ８２００の結果、再解析文字列記憶手段９７の内容は、"「武士ゼロフウウCadrCdr（カダアクダア）」を開発"となり、ステップ８１１０の判定結果がNoとなり、ステップ８１１１、８１１２、８１０５、８１０６、８１０７、８１０８と処理した結果、解析結果記憶手段９５には、図７に示すような結果が格納されようになる。
【００３９】
第２の実施形態においては、第1の実施形態と比較し、重複文字の除去を実施した後に入力文と再解析文字列の内容を比較し、内容が一致しない場合は入力文字の再解析を行う。これにより、精度の高い整形結果が得られる。
【００４０】本発明は、上記実施形態に限定されることなく、例えば図８のステップ８１１３において、文章解析手段４は重複文字除去手段によって変換された文字列も解析結果とともに出力するように構成することも出来る。
【００４１】
【発明の効果】
形態素解析の結果を利用して連続する文字を置き換えるため、誤って単語の構成文字を削除しないような連続文字の除去が可能とる。その結果、連続する文字を含むテキストの修正や、修正されたテキストを使った形態素解析結果を得ることができるようになる。
【図面の簡単な説明】
【図１】 第1の実施形態における言語処理システムの概略構成を示す機能ブロック図である。
【図２】 第1の実施形態における言語処理システムの処理手順を示すフローチャートである。
【図３】 単語記憶手段の内容を示す説明図である。
【図４】 接続関係記憶手段の内容を示す説明図である。
【図５】 初回の解析の結果、解析結果記憶手段に格納された情報を示す説明図である。
【図６】 第1の実施形態における重複文字除去の処理手順を示すフローチャートである。
【図７】 再解析の結果、解析結果記憶手段に格納された情報を示す説明図である。
【図８】 第2の実施形態における言語処理システムの処理手順を示すフローチャートである。
【図９】 第２の実施形態における言語処理システムの概略構成を示す機能ブロック図である。
【図１０】 第２の実施形態における重複文字除去の処理手順を示すフローチャートである。
【符号の説明】
１ 文章記憶手段
２ 単語記憶手段
３ 接続関係記憶手段
４ 文章解析手段
５ 解析結果記憶手段
６ 重複文字除去手段
７ 整形文字列記憶手段
９１ 文章記憶手段
９２ 単語記憶手段
９３ 接続関係記憶手段
９４ 文章解析手段
９５ 解析結果記憶手段
９６ 重複文字除去手段
９７ 再解析文字列記憶手段
【図１】
0003932912.tif 000002
【図２】
0003932912.tif 000003
【図３】
0003932912.tif 000004
【図４】
0003932912.tif 000005
【図５】
0003932912.tif 000006
【図６】
0003932912.tif 000007
【図７】
0003932912.tif 000008
【図８】
0003932912.tif 000009
【図９】
0003932912.tif 000010
【図１０】
0003932912.tif 000011