(57)【特許請求の範囲】
【請求項１】
漢字を含む文字列のテキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページを検出する検出手段と、
前記検出手段により検出された前記スペース、タブ、改行、または改ページの前後の文字の種類を判定する判定手段と、
前記判定手段の判定結果に対応して、前記スペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、前記スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、前記第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する処理手段と
を備えることを特徴とするテキストデータ処理装置。
【請求項２】
前記判定手段は、前記スペース、タブ、改行、または改ページの前後の文字が、いずれも前記第１の文字の種類としてのカタカナであるか否か、またはいずれも前記第２の文字の種類としての英数文字であるか否かを判定する
ことを特徴とする請求項１に記載のテキストデータ処理装置。
【請求項３】
前記処理手段は、前記スペース、タブ、改行、または改ページの前後の文字が、いずれも前記第１の文字の種類としてのカタカナであり、かつ、そのスペース、タブ、改行、または改ページの数が２個以上である場合、そのスペース、タブ、改行、または改ページをすべて削除し、前記スペース、タブ、改行、または改ページの前後の文字が、いずれも前記第２の文字の種類としての英数文字である場合、そのスペース、タブ、改行、または改ページを１個のスペースに置換する
ことを特徴とする請求項１または２に記載のテキストデータ処理装置。
【請求項４】
前記文字列は、日本語または中国語の少なくとも一方と、英語が混在可能な文字列である
ことを特徴とする請求項１、２または３に記載のテキストデータ処理装置。
【請求項５】
漢字を含む文字列のテキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページを検出する検出ステップと、
前記検出ステップで検出された前記スペース、タブ、改行、または改ページの前後の文字の種類を判定する判定ステップと、
前記判定ステップの判定結果に対応して、前記スペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、前記スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、前記第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する処理ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テキストデータ処理装置および記録媒体に関し、特に、漢字を含む文字列のテキストデータを、より正確に解析することができるようにしたテキストデータ処理装置および記録媒体に関する。
【０００２】
【従来の技術】
翻訳装置で翻訳を行う場合、入力されるテキストデータを、形態素解析装置などにより、所定の品詞毎に単語に予め分解する必要がある。翻訳装置は、分解された単語を予め用意されている辞書などを参照して、翻訳することになる。
【０００３】
【発明が解決しようとする課題】
形態素解析装置においては、入力されるテキストデータを１行ずつ処理するか、あるいは句点または読点に着目して、１文章ずつ処理するようにしている。
【０００４】
しかしながら、１行ずつ処理する場合、例えば図７に番号１で示すように、「発病」の文字が途中で改行されて、２行にわたって表示されているような場合、正しい解析を行うことができなくなる。同様に、番号２で示すように、テキストを整形するために、行頭にスペースが挿入されているような場合にも、正しい解析ができなくなることが多い。さらに、番号３で示すように、「発病する」の文字の「病」と「する」の間に、誤ってスペースが挿入されていると、やはり正しい解析ができなくなることが多い。このことは、番号４で示すように、「病原菌」のように、「病」と「原」の間にテキストを強調するために、意図的にスペースが挿入されている場合も同様である。
【０００５】
番号５で示すように、「ストロマティーニア」が「ストロマ」と「ティーニア」の部分に分割され、２行にわたって表示されている場合にも、番号１における場合と同様に、正しい解析を行うことができない。
【０００６】
しかしながら、例えば番号６で示す「ストロマティーニア」と「クリプトメリアエ」の間のスペースは、２つの単語を区分するスペースであるため、スペースが存在した方が正しい解析を行うことができる。番号７で示す「Stromania」と「cryptomeriae」の間のスペースも、２つの単語を区分するスペースであるため、そのスペースが存在することにより、より正確な解析が可能となる。
【０００７】
図８は、中国語のテキストの表示例を示している。中国語は、全ての文字が漢字であるため、各文字の間にスペースを挿入しないと文章が見にくくなる。そこで、番号８で示すように、各文字と文字の間にスペースを挿入するようにしている。このスペースがあると、やはり正しい解析をすることが困難になる。
【０００８】
句読点に着目して１文章ずつ処理するようにすれば、番号１または番号５で示すような、１つの単語が複数の行にまたがってしまうことによる誤解析は起こらないが、番号２乃至番号４、および番号８に示すようなスペースの存在は、正しい解析の妨げとなる。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、文章の途中に改行やスペースが存在したとしても、正確に解析を行うことができるようにするものである。
【００１０】
【課題を解決するための手段】
請求項１に記載のテキストデータ処理装置は、漢字を含む文字列のテキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページを検出する検出手段と、検出手段により検出されたスペース、タブ、改行、または改ページの前後の文字の種類を判定する判定手段と、判定手段の判定結果に対応して、スペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する処理手段とを備えることを特徴とする。
【００１１】
請求項５に記載の記録媒体は、漢字を含む文字列のテキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページを検出する検出ステップと、検出ステップで検出されたスペース、タブ、改行、または改ページの前後の文字の種類を判定する判定ステップと、判定ステップの判定結果に対応してスペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する処理ステップとを備えるプログラムが記録されていることを特徴とする。
【００１２】
請求項１に記載のテキストデータ処理装置においては、テキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページが検出されると、そのスペース、タブ、改行、または改ページの前後の文字の種類が判定され、その判定結果に対応して、スペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する。
【００１３】
この判定にあたっては、スペース、タブ、改行、または改ページの前後の文字が、いずれも第１の文字の種類としてのカタカナまたは第２の文字の種類としての英数文字であるのか否かを判定するようにすることができる。
【００１４】
スペース、タブ、改行、または改ページの前後の文字が、いずれも第１の文字の種類としてのカタカナであり、かつ、そのスペース、タブ、改行、または改ページの数が２個以上である場合、そのスペース、タブ、改行、または改ページをすべて削除したり、スペース、タブ、改行、または改ページの前後の文字が、いずれも第２の文字の種類としての英数文字である場合、そのスペース、タブ、改行、または改ページを１個のスペースに置換するようにすることができる。
【００１５】
文字列は、日本語または中国語の少なくとも一方と、英語が混在可能な文字列とすることができる。
【００１６】
請求項５に記載の記録媒体においては、テキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページが検出されると、その前後の文字の種類が判定され、判定結果に対応して、スペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する。
【００１７】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１８】
請求項１に記載のテキストデータ処理装置は、漢字を含む文字列のテキストデータ中の１個以上の連続するスペース、タブ、改行、または改ページを検出する検出手段（例えば図１の検出部１１）と、検出手段により検出されたスペース、タブ、改行、または改ページの前後の文字の種類を判定する判定手段（例えば図１の判定部１２）と、判定手段の判定結果に対応して、スペース、タブ、改行、または改ページの前後の文字が第１の文字の種類である場合、スペース、タブ、改行、または改ページに対して第１の処理を行い、第２の文字の種類である場合、第１の処理と異なる第２の処理を行い、解析に適した文字列を出力する処理手段（例えば図１の処理部１３）とを備えることを特徴とする。
【００１９】
図１は、本発明を適用した翻訳システムの構成例を示すブロック図である。この構成例においては、処理されるべき入力テキストが、スペース・タブ・改行または改ページ削除装置１（以下、削除装置１と略す）に入力されるようになされている。削除装置１は、入力されたテキストデータから１個以上の連続するスペース、タブ、改行、または改ページを検出する検出部１１を有している。判定部１２は、検出部１１が１個以上の連続するスペース、タブ、改行、または改ページを検出したとき、そのスペース、タブ、改行、または改ページの直前と直後の文字の種類を判定する。処理部１３は、判定部１２の判定結果に対応してスペース、タブ、改行、または改ページの数を制限したり、削除したりする処理を行う。
【００２０】
削除装置１で処理された入力テキストデータは、形態素解析装置２に入力され、形態素解析が行われた後、翻訳装置３に供給され、翻訳されるようになされている。
【００２１】
次に、その動作について、図２のフローチャートを参照して説明する。最初にステップＳ１において、検出部１１に文字列のテキストデータが入力される。検出部１１は、ステップＳ２において、１個以上の連続するスペース、タブ、改行、または改ページを検出する。
【００２２】
判定部１２は、検出部１１が１個以上の連続するスペース、タブ、改行、または改ページを検出したとき、ステップＳ３において、その検出された１個以上の連続するスペース、タブ、改行、または改ページの直前と直後の文字が、いずれもカタカナ文字であるか否かを判定する。いずれもカタカナ文字である場合には、ステップＳ４に進み、その検出された１個以上の連続するスペース、タブ、改行、または改ページが２個以上のスペース文字であるか否か、またはその検出された１個以上の連続するスペース、タブ、改行、または改ページがスペース以外のタブ、改行、または改ページであるか否かが判定される。その検出された１個以上の連続するスペース、タブ、改行、または改ページが２個以上のスペース文字である場合、またはスペース以外のタブ、改行、または改ページである場合、ステップＳ５に進み、処理部１３が、その検出された１個以上の連続するスペース、タブ、改行、または改ページを全て削除する処理を実行する。
【００２３】
例えば、図３に示すように、「セグメント」の文字が、「セグ」と「メント」の間に改行が存在する状態で表示されているとき、改行が削除され、「セグメント」の文字列とされる。そして、この文字列がステップＳ９において出力される。
【００２４】
ステップＳ４において、その検出された１個以上の連続するスペース、タブ、改行、または改ページが１個のスペースであると判定された場合、処理部１３は、特に処理を行わず、ステップＳ９に進み、その文字列をそのまま出力する。例えば、図４に示すように、「メモリ  セグメント」のように、「メモリ」と「セグメント」の間に１個のスペースが存在する場合、その文字列はそのまま出力される。これは、この場合におけるスペースは、単語を区分するために意図的に挿入されたものが多いためである。
【００２５】
ステップＳ３において、１個以上の連続するスペース、タブ、改行、または改ページの直前と直後の文字が、ともにカタカナではないと判定された場合、ステップＳ６に進み、１個以上の連続するスペース、タブ、改行、または改ページの直前と直後の文字が、いずれも英数文字であるか否かが、判定部１２で判定される。１個以上の連続するスペース、タブ、改行、または改ページの直前と直後の文字が、いずれも英数文字である場合には、ステップＳ７に進み、処理部１３は、１個以上の連続するスペース、タブ、改行、または改ページを１個のスペースに置換する処理を実行する。
【００２６】
例えば図５（Ａ）に示すように、「memory」と「segment」の間に改行が存在する場合、改行を削除して、「memory segment」の文字列に変換される。これにより、異なる単語が１個のスペースを挟んで配置された状態となる。また、図５（Ｂ）に示すように、「memory segment」のように、１個以上の連続するスペース、タブ、改行、または改ページがそもそも１個のスペースである場合には、ステップＳ７では、実質的に何も行われずに、その文字列がステップＳ９においてそのまま出力される。このようにすることで、より正確な解析が可能となる。
【００２７】
ステップＳ６において、１個以上の連続するスペース、タブ、改行、または改ページの直前と直後の文字がいずれも英数文字ではないと判定された場合、ステップＳ８に進み、処理部１３は、１個以上の連続するスペース、タブ、改行、または改ページを全て削除する処理を実行する。
【００２８】
例えば図６（Ａ）に示すように、「方式」と「segment」が１個のスペースを挟んで配列されている場合、「方式segment」のように、スペースが削除される。また、図６（Ｂ）に示すように、「方式」と「装置」の間に１個のスペースが存在する場合、そのスペースが削除され、「方式装置」のように配列される。このように配列された文字列がステップＳ９で出力される。
【００２９】
以上のようにして、例えば図１に示すように、「このような要請に答えるのがセグ」、「メント方式  segment system  で」、および「ある」の３行の文字列が削除装置１に入力されると、「このような要請に答えるのがセグメント方式segment systemである」の文字列が出力されることになる。
【００３０】
形態素解析装置２は、削除装置１から入力された文字列を、形態素解析する。すなわち、入力された文字列を単語に分解し、各単語の品詞を判定する。削除装置１で不要なスペース、タブ、改行、または改ページが削除されているので、１つの単語を複数の単語として誤って解析してしまうようなことが防止される。
【００３１】
形態素解析装置２で形態素解析された単語は、その品詞とともに翻訳装置３に供給され、翻訳される。正確な形態素解析が行われているので、その翻訳も正確に行うことが可能となる。
【００３２】
なお、削除装置１に入力される文字列が中国語の文字列である場合には、各漢字と漢字の間のスペースは、図６（Ｂ）に示した場合と同様の原理により削除される。従って、正確な形態素解析が可能となる。
【００３３】
なお、削除装置１は、ハードウエアで構成することもできるが、ソフトウエアプログラムで対応する機能を実行するように構成することもできる。この場合、プログラムは、磁気ディスク、CD-ROMディスクなどの記録媒体に記録したものを各ユーザに提供したり、削除装置１に予め内蔵されているハードディスクや固体メモリなどに予め記憶させておくようにすることができる。あるいはまた、プログラムをネットワークを介して伝送し、ハードディスクや固体メモリに記憶させるようにしてもよい。
【００３４】
【発明の効果】
以上の如く、請求項１に記載のテキストデータ処理装置および請求項５に記載の記録媒体によれば、１個以上の連続するスペース、タブ、改行、または改ページを検出し、検出されたスペース、タブ、改行、または改ページの前後の文字の種類を判定して、その判定結果に対応して１個以上の連続するスペース、タブ、改行、または改ページを処理するようにしたので、正確な解析処理が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した翻訳システムの構成例を示すブロック図である。
【図２】図１の削除装置１の処理を説明するフローチャートである。
【図３】図２のフローチャートの処理を説明する図である。
【図４】図２のフローチャートの処理を説明する図である。
【図５】図２のフローチャートの処理を説明する図である。
【図６】図２のフローチャートの処理を説明する図である。
【図７】日本語テキストの表示例を示す図である。
【図８】中国語テキストの表示例を示す図である。
【符号の説明】
１  削除装置
２  形態素解析装置
３  翻訳装置
１１  検出部
１２  判定部
１３  処理部
【図１】
0003758813.tif 000002
【図２】
0003758813.tif 000003
【図３】
0003758813.tif 000004
【図４】
0003758813.tif 000005
【図５】
0003758813.tif 000006
【図６】
0003758813.tif 000007
【図７】
0003758813.tif 000008
【図８】
0003758813.tif 000009