(57)【特許請求の範囲】
【請求項１】
入力テキスト及び前記入力テキストの言語を表す言語情報を受け付ける文書入力手段と、
この文書入力手段により受け付けた前記入力テキストから漢字表記を抽出する漢字相当切出手段と、
漢字表記が異なる正規化対象の言語と正規化言語との文字対応を記述した異表記正規化規則を格納する正規化規則格納手段と、
前記文書入力手段により受け付けた前記言語情報の言語を正規化対象の言語として含む異表記正規化規則を前記正規化規則格納手段から選択する異表記正規化規則選択手段と、
この異表記正規化規則選択手段により選択された前記異表記正規化規則に応じて前記漢字相当切出手段により抽出した正規化対象言語の漢字表記を正規化言語の漢字表記に正規化する正規化処理手段と、を備える異表記正規化処理装置。
【請求項２】
入力テキスト及び前記入力テキストの言語を表す言語情報を受け付ける文書入力機能と、
この文書入力機能により受け付けた前記入力テキストから漢字表記を抽出する漢字相当切出機能と、
漢字表記が異なる正規化対象の言語と正規化言語との文字対応を記述した異表記正規化規則を格納する正規化規則格納機能と、
前記文書入力機能により受け付けた前記言語情報の言語を正規化対象の言語として含む異表記正規化規則を前記正規化規則格納機能から選択する異表記正規化規則選択機能と、
この異表記正規化規則選択機能により選択された前記異表記正規化規則に応じて前記漢字相当切出機能により抽出した正規化対象言語の漢字表記を正規化言語の漢字表記に正規化する正規化処理機能と、
をコンピュータにて実現させることを特徴とする異表記正規化処理プログラム。
【請求項３】
請求項２に記載の異表記正規化処理プログラムを記憶するコンピュータにて読取可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、異表記正規化処理装置、異表記正規化処理プログラム、これを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
中国において一般に用いられる漢字は簡体字と呼ばれ、台湾において一般に用いられる漢字は繁体字と呼ばれており、同じ意味を表すのに異なる漢字が用いられる場合がある。例えば、繁体字では「印刷機械」と表すものが、簡体字では「印刷机械」として表される。
【０００３】
そこで、簡体字で記載された文書と繁体字で記載された文書を変換する装置が研究、開発されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平８−２６３４７８号公報
【０００５】
【発明が解決しようとする課題】
ところで、漢字を使用する言語としては、上述した中国語における簡体字や繁体字の他に、日本語、韓国語、ベトナム語等も挙げられる。これらの言語においては、漢字の発音は異なるが同じ意味で使用されることもあり、簡単な文章であれば理解することができる。また、言語が同一であっても、各言語においては旧字新字や異体字などがあり、同じ意味を表すのに異なる漢字が用いられる場合がある。
【０００６】
このように同じ意味を表すのに異なる漢字が用いられている文書について文書検索処理を行った場合には、漢字表記が異なるために検索漏れが発生するという問題がある。
【０００７】
そのため、近年においては、簡体字と繁体字との間のみならず、各種の言語間における多様な表記のゆれを吸収することが望まれている。
【０００８】
本発明の目的は、漢字表記が異なる各種の言語間における多様な表記のゆれを吸収することができる異表記正規化処理装置、異表記正規化処理プログラム、これを記憶する記憶媒体を提供することである。
【００１０】
【課題を解決するための手段】
この発明は、上記の目的を達成するため、入力テキスト及び前記入力テキストの言語を表す言語情報を受け付ける文書入力手段と、この文書入力手段により受け付けた前記入力テキストから漢字表記を抽出する漢字相当切出手段と、漢字表記が異なる正規化対象の言語と正規化言語との文字対応を記述した異表記正規化規則を格納する正規化規則格納手段と、前記文書入力手段により受け付けた前記言語情報の言語を正規化対象の言語として含む異表記正規化規則を前記正規化規則格納手段から選択する異表記正規化規則選択手段と、この異表記正規化規則選択手段により選択された前記異表記正規化規則に応じて前記漢字相当切出手段により抽出した正規化対象言語の漢字表記を正規化言語の漢字表記に正規化する正規化処理手段とを備えたものである。
【００１３】
また、入力テキスト及び前記入力テキストの言語を表す言語情報を受け付ける文書入力機能と、この文書入力機能により受け付けた前記入力テキストから漢字表記を抽出する漢字相当切出機能と、漢字表記が異なる正規化対象の言語と正規化言語との文字対応を記述した異表記正規化規則を格納する正規化規則格納機能と、前記文書入力機能により受け付けた前記言語情報の言語を正規化対象の言語として含む異表記正規化規則を前記正規化規則格納機能から選択する異表記正規化規則選択機能と、この異表記正規化規則選択機能により選択された前記異表記正規化規則に応じて前記漢字相当切出機能により抽出した正規化対象言語の漢字表記を正規化言語の漢字表記に正規化する正規化処理機能と、をコンピュータにて実現させることを特徴とする異表記正規化処理プログラムも提供する。
また、この異機種正規化処理プログラムを格納した記憶媒体も提供する。
【００４２】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図６に基づいて説明する。
【００４３】
図１は、本発明が適用される異表記正規化処理装置１のハードウェア構成を概略的に示すブロック図である。図１に示すように、異表記正規化処理装置１は、例えばパーソナルコンピュータやワークステーションであり、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Central Processing Unit）２を備えている。このＣＰＵ２には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３と、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）４とがバス５で接続されている。
【００４４】
さらにバス５には、各種のプログラム等を格納するＨＤＤ（Hard Disk Drive）６と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Compact Disc）−ＲＯＭ７を読み取るＣＤ−ＲＯＭドライブ８と、異表記正規化処理装置１とネットワーク９との通信を司る通信制御装置１０と、キーボードやマウスなどの入力装置１１と、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などの表示装置１２とが、図示しないＩ／Ｏを介して接続されている。
【００４５】
ＲＡＭ４は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ２の作業エリアとして機能し、例えば後述する文書バッファ等の役割を果たす。
【００４６】
図１に示すＣＤ−ＲＯＭ７は、この発明の記憶媒体を実施するものであり、ＯＳ（Operating System）や各種のプログラムが記憶されている。ＣＰＵ２は、ＣＤ−ＲＯＭ７に記憶されているプログラムをＣＤ−ＲＯＭドライブ８で読み取り、ＨＤＤ６にインストールする。
【００４７】
なお、記憶媒体としては、ＣＤ−ＲＯＭ７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１０を介してインターネットなどのネットワーク９からプログラムをダウンロードし、ＨＤＤ６にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００４８】
このシステム全体の動作を制御するＣＰＵ２は、このシステムの主記憶として使用されるＨＤＤ６上にロードされたプログラムに基づいて各種処理を実行する。
【００４９】
次に、異表記正規化処理装置１のＣＰＵ２がプログラムに基づいて実行する各種処理の内容について説明する。図２は、異表記正規化処理装置１を示す機能ブロック図である。図２に示すように、当該異表記正規化処理装置１においては、入力装置１１から入力された文書データや検索語等のテキスト（入力テキスト）を受け付ける文書入力手段１０１、入力テキストに対して正規化処理を施す異表記正規化手段１０２、異表記正規化手段１０２から出力された正規化表記に関する情報等の処理結果を表示装置１２に対して出力する出力手段１０３の各機能が、ＣＰＵ２がコンピュータソフトウェアに従って動作することにより実現される。なお、文書検索の用途などに用いる場合は、異表記正規化手段１０２における処理結果を、出力手段１０３を介することなく、そのまま直接インデキシング処理や検索処理に出力することも可能である。また、文書データや検索語等のテキストの入力は、入力装置１１からの入力に限るものではなく、ＯＣＲ（Optical Character Reader）等による入力であっても良い。
【００５０】
ここで、異表記正規化手段１０２について詳細に説明する。図２に示すように、異表記正規化手段１０２は、漢字相当切出手段１０２ａと、正規化処理手段１０２ｂと、少なくとも２種以上の異表記正規化規則１０２ｃを格納する正規化規則格納手段１０２ｅと、異表記正規化規則選択手段１０２ｄとを有している。
【００５１】
漢字相当切出手段１０２ａは、文書入力手段１０１を介して入力されたテキスト（入力テキスト）から漢字表記の文字を一文字ずつ抽出して、正規化処理手段１０２ｂに出力する。
【００５２】
正規化規則格納手段１０２ｅに格納される異表記正規化規則１０２ｃは、概略的には、所定の言語間の文字対応を記述したものである。図３は異表記正規化規則１０２ｃの一例を示す説明図である。図３に示す異表記正規化規則１０２ｃは、中国語繁体字と中国語簡体字との間の変換についての異表記正規化規則である。図３に示すように、異表記正規化規則１０２ｃには、中国語繁体字の表記及び文字コード（ユニコード）と、中国語簡体字の表記及び文字コード（ユニコード）とが対応付けられている。なお、異表記正規化規則１０２ｃは、図４に示すように、複数言語間の異表記正規化規則が記述されていても良く、文字コードもユニコード以外の文字コード、例えばJIS0208やUTF-8など複数種類の文字コードが記述されていても良い。これにより、所定の言語の漢字表記と他の言語の漢字表記との間における表記のゆれを吸収することが可能になる。また、異表記正規化規則１０２ｃとしては、図５に示すように、言語異体字と繁体字との間の変換についての異表記正規化規則であっても良い。これにより、所定の言語の漢字表記とその異体字との間における表記のゆれを吸収することが可能になる。このような異表記正規化規則１０２ｃは、異表記正規化規則選択手段１０２ｄにより選択される。
【００５３】
異表記正規化規則選択手段１０２ｄは、入力装置１１から入力されて文書入力手段１０１で受け付けた文書（入力テキスト）の言語情報を解析し、解析された言語情報に基づいて異表記正規化規則１０２ｃを正規化規則格納手段１０２ｅから抽出する。文書の言語情報は、入力装置１１から文書とは別に文書の言語情報を明示的に入力された情報もしくは、予め入力文書中に記載される言語情報が使用される。例えば、ＸＭＬ文書では、lang属性を用いて言語情報が記述されている。このような言語情報の判別方法としては、既存の言語識別方法（例えば、特開平10-320399号公報に示されている方法等）を用いることができる。したがって、どの言語で入力するかを意識せずとも、漢字の入力テキストに対して適切な異表記正規化処理を施すことが可能になる。なお、複数の異表記正規化規則１０２ｃが抽出された場合には、表示装置１２に抽出された異表記正規化規則１０２ｃのリストを一覧表示し、このリストの中から適当な異表記正規化規則１０２ｃを入力装置１１で選択するようにしても良い。これにより、漢字の入力テキストに対して最も適切な異表記正規化処理を施すことが可能になる。
【００５４】
正規化処理手段１０２ｂは、漢字相当切出手段１０２ａから出力された一文字の漢字に対し、異表記正規化規則選択手段１０２ｄにより選択された異表記正規化規則１０２ｃに基づいて、正規化表記を生成する。
【００５５】
次に、異表記正規化処理装置１における異表記正規化処理の全体的な流れについて図６を参照して説明する。図６は、異表記正規化規則１０２ｃとして中国語繁体字−中国語簡体字変換（図３参照）を異表記正規化規則選択手段１０２ｄにより選択し、入力テキストとして中国語繁体字で「印刷機械」と入力した場合を例として示している。
【００５６】
図６に示すように、まず、文書入力手段１０１を介して入力されたテキストを文書入力手段１０１で受付け（ステップＳ１のＹ）、漢字相当切出手段１０２ａにおいて入力されたテキスト中に含まれている漢字一文字を検出して切り出す（ステップＳ２）。ここでは、まず最初に、漢字「印」が切り出される。
【００５７】
切り出された漢字「印」は正規化処理手段１０２ｂに入力され、異表記正規化規則１０２ｃに基づいて正規化処理を実施する（ステップＳ３）。正規化処理は、切り出された漢字について異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に適合するか否かを確認し、異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に適合する場合には異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に従って正規化を実施するものである。ここで、切り出された漢字「印」は、図３に示す異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に該当する規則が存在しないため、そのままステップＳ４に進む。
【００５８】
入力されたテキスト中に含まれている全ての漢字の切り出しが終わっていないので（ステップＳ４のＮ）、ステップＳ２に戻り、次の文字「刷」を漢字相当切出手段１０２ａにより切り出す。
【００５９】
次に切り出された漢字「刷」も、図３に示す異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に該当する規則が存在しないため、正規化を実施せずに（ステップＳ３）、そのままステップＳ４に進む。そして、入力されたテキスト中に含まれている全ての漢字の切り出しが終わっていないので（ステップＳ４のＮ）、ステップＳ２に戻り、次の文字「機」を漢字相当切出手段１０２ａにより切り出す。
【００６０】
次に切り出された漢字「機」は、図３に示す異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に該当する規則が存在するため、正規化処理手段１０２ｂにより中国語繁体字「機」を中国語簡体字「机」に正規化し（ステップＳ３）。ステップＳ４に進む。そして、入力されたテキスト中に含まれている全ての漢字の切り出しが終わっていないので（ステップＳ４のＮ）、ステップＳ２に戻り、次の文字「械」を漢字相当切出手段１０２ａにより切り出す。
【００６１】
次に切り出された漢字「械」は、図３に示す異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に該当する規則が存在しないため、正規化を実施せずに（ステップＳ３）、そのままステップＳ４に進む。そして、入力されたテキスト中に含まれている全ての漢字の切り出しが終わったので（ステップＳ４のＹ）、ステップＳ５に進む。
【００６２】
したがって、元のテキストの文字列にある中国語繁体字である漢字文字列「印刷機械」が異表記正規化規則１０２ｃ（中国語繁体字−中国語簡体字変換）に従って中国語簡体字「印刷机械」に変換される。このようにして正規化が実施された文字列「印刷机械」は、正規化処理手段１０２ｂの処理結果として表示装置１２に出力される（ステップＳ５）。
【００６３】
このように本実施の形態によれば、入力テキストから漢字表記が抽出され、漢字表記が異なる言語間の文字対応を記述した少なくとも２種以上の異表記正規化規則１０２ｃから入力テキストに適した異表記正規化規則１０２ｃが選択され、この選択された異表記正規化規則１０２ｃに基づいて抽出された漢字表記が正規化される。これにより、漢字表記が異なる各種の言語間における多様な表記のゆれを吸収することが可能になる。
【００６４】
なお、本実施の形態においては、正規化対象の文字列を中国語繁体字と中国語簡体字との変換を例として説明したが、これに限るものではなく、日本語漢字と中国語繁体字の場合、あるいは、ベトナム漢字と中国語簡体字の場合等、漢字使用国間における同様の異表記正規化処理を行う場合に適応することができる。
【００６５】
また、異表記正規化規則選択手段１０２ｄにより異表記正規化規則１０２ｃとして中国語繁体字−中国語簡体字変換（図３参照）と言語異体字−中国繁体字変換（図５参照）との両方を選択し、例えば入力された漢字が言語異体字「国」である場合、言語異体字−中国繁体字変換（図５参照）に従って中国繁体字「國」に正規化し、さらに、中国語繁体字−中国語簡体字変換（図３参照）に従って中国繁体字「國」を中国語簡体字「国」に正規化するようにしても良い。
【００６６】
次に、本発明の第二の実施の形態を図７及び図８に基づいて説明する。なお、本発明の第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、第一の実施の形態の異表記正規化処理装置１を備えた文書検索装置に関するものである。
【００６７】
図７は本実施の形態の文書検索装置５０の概略構成を示す機能ブロック図、図８は文書検索装置５０における処理の流れを示し、（ａ）は文書に含まれる文字列からインデックス情報を抽出して登録するインデックス情報登録処理の流れを示すフローチャート、（ｂ）は検索語により文書を検索する文書検索処理の流れの概略を示すフローチャートである。
【００６８】
本実施の形態の文書検索装置５０は、第一の実施の形態で説明した異表記正規化処理装置１と同様のパーソナルコンピュータやワークステーションであって、そのハードウェア構成は異表記正規化処理装置１と同一である。すなわち、文書検索装置５０のＨＤＤ６上には、文書検索用のプログラムがロードされている点で、異表記正規化処理装置１とは異なっている。
【００６９】
以下においては、ＣＰＵ２が文書検索用のプログラムに基づいて実行する処理について、図７に示す機能ブロック図及び図８の処理の流れに沿って説明する。
【００７０】
まず、インデックス情報登録処理の流れについて説明する。キーボードやマウスなどの入力装置１１，ＯＣＲ等からなる入力装置５１から入力された文書を文書入力手段５２を介して文書格納手段５３が読み取り、読み取った文書を文書データベース５４に逐次登録していく（ステップＳ１１）。
【００７１】
次いで、インデックス登録手段５５は、登録されている文書のうち、まだインデックス情報を抽出していない文書があれば、文書データベース５４より読み出し（ステップＳ１２）、該文書を異表記正規化処理装置１に引き継いで、該文書から文字列を抽出して抽出文字列毎の異表記正規化処理を行う（ステップＳ１３）。なお、異表記正規化処理については、第一の実施の形態で説明したので、ここでの説明は省略する。
【００７２】
ステップＳ１３において異表記正規化された正規化表記情報は、インデックス登録手段５５に返送されてくるので、文書との対応をつけた形式（インデックス情報）でインデックス情報格納部５６に格納保存される（ステップＳ１４）。
【００７３】
次に、文書検索処理の流れについて説明する。入力装置５１から入力された検索語は、文書入力手段５２を介して検索条件作成手段５７に読み取られ、検索条件作成手段５７は、該検索語を異表記正規化処理装置１に送出して該検索語から文字列を抽出して、異表記正規化処理を行う（ステップＳ２１）。なお、異表記正規化処理については、第一の実施の形態で説明したので、ここでの説明は省略する。
【００７４】
続いて、検索条件作成手段５７は、異表記正規化処理された正規化表記情報に基づいて検索条件を作成し、検索処理手段５８において、インデックス情報格納部５６に格納保存されているインデックス情報との照合を行い、文書検索処理を行う（ステップＳ２２）。
【００７５】
文書検索された結果は、必要であれば、検索された文書が文書データベース５４から読み出されて、表示装置１２あるいはかかる処理結果を出力保存するＨＤＤ６等からなる出力装置５９において表示される（ステップＳ２３：結果出力手段）。
【００７６】
このように本実施の形態によれば、異表記正規化処理が施されたインデックス情報及び検索条件が生成されるので、漢字使用圏の言語（中国語（簡体字や繁体字）、日本語、韓国語、ベトナム語等）で記述された文書についての文書検索処理における検索漏れの発生を防止することが可能になるので、最も適切な文書を検索することが可能になる。
【００７７】
【発明の効果】
本願発明によれば、入力テキストから漢字表記を抽出し、漢字表記が異なる言語間の文字対応を記述した異表記正規化規則から入力テキストに適した異表記正規化規則を選択し、この選択された異表記正規化規則に基づいて抽出された漢字表記を正規化することにより、漢字表記が異なる各種の言語間における多様な表記のゆれを吸収することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の異表記正規化処理装置のハードウェア構成を概略的に示すブロック図である。
【図２】異表記正規化処理装置を示す機能ブロック図である。
【図３】異表記正規化規則の一例を示す説明図である。
【図４】異表記正規化規則の一例を示す説明図である。
【図５】異表記正規化規則の一例を示す説明図である。
【図６】異表記正規化処理装置における異表記正規化処理の全体的な流れを示すフローチャートである。
【図７】本発明の第二の実施の形態の文書検索装置の概略構成を示す機能ブロック図である。
【図８】文書検索装置における処理の流れを示し、（ａ）は文書に含まれる文字列からインデックス情報を抽出して登録するインデックス情報登録処理の流れを示すフローチャート、（ｂ）は検索語により文書を検索する文書検索処理の流れの概略を示すフローチャートである。
【符号の説明】
１        異表記正規化処理装置
７        記憶媒体
５０      文書検索装置
５２      文書入力手段
５３      文書格納手段
５４      文書データベース
５５      インデックス登録手段
５６      インデックス情報格納部
５７      検索条件作成手段
５８      検索処理手段
１０１    文書入力手段
１０２ａ      漢字相当切出手段
１０２ｂ      正規化処理手段
１０２ｃ      異表記正規化規則
１０２ｄ      異表記正規化規則選択手段
１０２ｅ      正規化規則格納手段
【図１】
0004294386.tif 000002
【図２】
0004294386.tif 000003
【図３】
0004294386.tif 000004
【図４】
0004294386.tif 000005
【図５】
0004294386.tif 000006
【図６】
0004294386.tif 000007
【図７】
0004294386.tif 000008
【図８】
0004294386.tif 000009