(57)【要約】【課題】構成要素の違いによる異体字関係を利用し、語（表記）の入力語に対して、最も適切な異表記正規化処理を施し、文書検索において、検索漏れの発生を防止できる異表記正規化を実現すること。【解決手段】入力テキストを受け付ける入力処理ステップと、前記入力テキストを１文字単位に抽出するステップと、異表記正規化規則に基づいて、抽出した原表記に異表記正規化する異表記正規化ステップと、異表記正規化規則が複数存在する場合、規化規則選択部において、前記のデータを１つもしくは複数を選択して使用することができる異表記正規化処理方法であって、前記異表記正規化規則が文字を構成する要素による異表記正規化規則を有することを特徴とする。【選択図】図２
2007102321.tif 000002
【特許請求の範囲】
【請求項１】
入力テキストを受け付ける入力処理ステップと、前記入力テキストを１文字単位により抽出するステップと、異表記正規化規則に基づいて、抽出した原表記に異表記正規化する異表記正規化ステップと、異表記正規化規則が複数存在する場合、正規化規則選択部において、前記異表記正規化規則のデータを１つもしくは複数を選択して使用することができる異表記正規化処理方法であって、前記異表記正規化規則が文字を構成する要素による異表記正規化規則を有することを特徴とする異表記正規化方法。
【請求項２】
請求項１に記載の異表記正規化方法において、前記異表記正規化規則が１つ以上複数の文字要素の組合せと１つ以上複数の組合せとの変換規則であることを特徴とした異表記正規化方法。
【請求項３】
請求項１又は請求項２に記載の異表記正規化方法において、前記異表記正規化規則が対象とする文字が漢字の場合、構成する要素が、へん、つくり、冠を含む部首であることを特徴とした異表記正規化方法。
【請求項４】
入力装置からの入力テキストを受け付ける入力処理ステップと、入力された前記入力テキストが文書の場合、文書データベースに格納する文書格納ステップと、前記文書データベースに格納された前記文書からインデックス情報を抽出して保存するインデックス登録ステップと、入力された前記入力テキストが検索語の場合、検索条件を作成する検索条件作成ステップと、作成された前記検索条件に基づいて前記インデックス情報を検索する検索処理ステップと、前記検索の結果を出力する結果出力ステップと、前記インデックス情報および前記検索条件を正規化表記に変換させる異表記正規化処理ステップとを有し、前記異表記正規化処理ステップが前記請求項１〜３の何れか１項に記載の異表記正規化方法により構成されていることを特徴とする文書検索方法。
【請求項５】
請求項４に記載の文書検索方法を実行する文書検索装置であって、入力装置からの入力テキストを受け付ける入力処理部と、入力された前記入力テキストが文書の場合、文書データベースに格納する文書格納部と、前記文書データベースに格納された前記文書からインデックス情報を抽出して保存するインデックス登録部と、入力された前記入力テキストが検索語の場合、検索条件を作成する検索条件作成部と、作成された前記検索条件に基づいて前記インデックス情報を検索する検索処理部と、前記検索の結果を出力する結果出力部と、前記インデックス情報および前記検索条件を正規化表記に変換させる異表記正規化処理部とを有し、前記異表記正規化処理部が請求項１〜３の何れか１項に記載の異表記正規化方法を実行する機能を有することを特徴とする文書検索装置。
【請求項６】
請求項４に記載の文書検索方法を、コンピュータに実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムが記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベース等に登録された文書に対して、キーワードを基に検索する文書検索システム等における文書および／または検索語の異表記の取扱いに関し、特に、文書および／または検索語における異表記（表記のゆれ）を吸収した正規化表記に正規化する異表記正規化方法、文書検索方法、文書検索装置、プログラムおよびプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、例えば、特許文献１には、漢字１文字単位の異表記正規化ルールを備えることにより、漢字使用圏（上記４国を含む）で記述された文書を検索できるよう、検索漏れの発生を防止できる異表記正規化方法および文書検索方法を実現する発明が開示されている。
また特許文献２には、文字認識された文書を検索する方法において、文字認識誤りに対応するために、検索時にある漢字の文字（「本」を誤認識されやすい文字（「木、大、太、才」）に変換することにより、検索漏れを防止できる文書検索方法を実現する発明が開示されている。
さらに特許文献３には、文字認識による得られる文字要素間の関連度距離を用いて適切な文字要素集合を選択し認識文字を確定することにより、文字認識による誤りを防ぐ発明が開示されている。
【特許文献１】特開２００５−４６２６公報
【特許文献２】特開平７−１５２７７４号公報
【特許文献３】特許第３５９９１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、漢字やハングルなどの文字は複数の部品から構成される文字であり、例えば漢字の「語」という文字は「言」、「五」、「口」から構成される。中国語では、この「語」（UCS2 8A9E）という文字と同じ意味を表すのに
2007102321.tif 000003
が使用される（異体字の関係）。
このように同じ意味を表すのに異なる文字が用いられている文書について文書検索処理を行った場合には、表記が異なるために検索漏れが発生するという問題がある。この他にもたとえば、「計（UCS2 8A08）」と
2007102321.tif 000004
などがあり、これらは文字の構成要素の一部の違い
2007102321.tif 000005
により異体字関係となっている。
本発明は、このような構成要素の違いによる異体字関係を利用し、語（表記）の入力語に対して、最も適切な異表記正規化処理を施し、文書検索において、検索漏れの発生を防止できる異表記正規化を実現することを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、入力テキストを受け付ける入力処理ステップと、前記入力テキストを１文字単位により抽出するステップと、異表記正規化規則に基づいて、抽出した原表記に異表記正規化する異表記正規化ステップと、異表記正規化規則が複数存在する場合、正規化規則選択部において、前記異表記正規化規則のデータを１つもしくは複数を選択して使用することができる異表記正規化処理方法であって、前記異表記正規化規則が文字を構成する要素による異表記正規化規則を有することを特徴とする。
請求項２に記載の発明は、請求項１に記載の異表記正規化方法において、請求項１に記載の異表記正規化方法において、前記異表記正規化規則が１つ以上複数の文字要素の組合せと１つ以上複数の組合せとの変換規則であることを特徴とする。
請求項３に記載の発明は、請求項１又は請求項２に記載の異表記正規化方法において、前記異表記正規化規則が対象とする文字が漢字の場合、構成する要素が、へん、つくり、冠を含む部首であることを特徴とする。
【０００５】
請求項４に記載の発明は、入力装置からの入力テキストを受け付ける入力処理ステップと、入力された前記入力テキストが文書の場合、文書データベースに格納する文書格納ステップと、前記文書データベースに格納された前記文書からインデックス情報を抽出して保存するインデックス登録ステップと、入力された前記入力テキストが検索語の場合、検索条件を作成する検索条件作成ステップと、作成された前記検索条件に基づいて前記インデックス情報を検索する検索処理ステップと、前記検索の結果を出力する結果出力ステップと、前記インデックス情報および前記検索条件を正規化表記に変換させる異表記正規化処理ステップとを有し、前記異表記正規化処理ステップが前記請求項１〜３の何れか１項に記載の異表記正規化方法により構成されている文書検索方法を特徴とする。
請求項５に記載の発明は、請求項４に記載の文書検索方法を実行する文書検索装置であって、入力装置からの入力テキストを受け付ける入力処理部と、入力された前記入力テキストが文書の場合、文書データベースに格納する文書格納部と、前記文書データベースに格納された前記文書からインデックス情報を抽出して保存するインデックス登録部と、入力された前記入力テキストが検索語の場合、検索条件を作成する検索条件作成部と、作成された前記検索条件に基づいて前記インデックス情報を検索する検索処理部と、前記検索の結果を出力する結果出力部と、前記インデックス情報および前記検索条件を正規化表記に変換させる異表記正規化処理部とを有し、前記異表記正規化処理部が請求項１〜３の何れか１項に記載の異表記正規化方法を実行する機能を有する文書検索装置を特徴とする。
請求項６に記載の発明は、請求項４に記載の文書検索方法をコンピュータに実行させるプログラムを特徴とする。
請求項７に記載の発明は、請求項６に記載のプログラムが記録されている記録媒体を特徴とする。
【発明の効果】
【０００６】
本発明によれば、文字を構成する文字要素の違いにより、同じ意味を表す、異なる漢字に対して、正規化処理を施すことが可能になり、多様な表記の揺らぎを少なくする（吸収する）ことができる。
また本発明によれば、文書検索処理において、正規化処理されたインデックス情報および検索情報が生成されるので、最も適切な文書を検索することができる。
【発明を実施するための最良の形態】
【０００７】
本発明に係る異表記正規化処理方法等について図を用いて説明する。
図１は、本発明に係る異表記正規化処理装置の一例であり、この装置から入力された文書データや検索語などのテキストを受け付ける文書入力部１００と、入力されたテキストに対して正規化処理を施す異表記正規化部１０１と、異表記正規化部１０１から出力された正規化表記に関する情報等の処理結果を出力する出力装置１０２とを有する。なお、文書検索などに用いる場合には、処理結果を、出力装置１０２を介してもよいが介さずに、そのまま直接インデキシング処理（indexing process：索引を付すあるいは指し示す処理）や検索処理を実行することも可能である。
また異表記正規化部１０１は、文字相当切出部１０１ａと正規化処理部１０１ｂと文字相当合成部１０１ｅとを有する。文字相当切出部１０１ａは表記の文字を一文字ずつテキストから抽出し、さらに文字を文字要素に分割して、正規化処理部１０１ｂに出力する。また、正規化処理部１０１ｂは文字相当切出部１０１ａから出力された前記一文字の文字に対し、正規化規則部１０１ｃに記憶される規則を参照し、異表記正規化規則選択部１０１ｄにより選択され、文字要素を正規化表記に変換する。文字相当合成部１０１ｅにより文字要素を合成し、文字に変換し、出力装置１０２により出力される。
【０００８】
［実施例１］
このような前記装置を用いて、本発明に係る異表記正規化処理の流れの例を、図２に示すフローチャートにより説明する。
図２は、入力テキストとして「言語」と入力されている場合を例として、異表記正規化処理方法の流れを示す。
まず、入力されたテキスト（本実施例では「言語」）を入力装置１００で受付け或いは入力し（Ｓ２００）、文字相当切出部１０１ａにおいて、入力されたテキスト中に含まれている文字相当の「言語」を切出して一文字毎に検出し（Ｓ２０１）（入力された文書から文字相当の「言語」を、「言」と「語」に分離する切出しを実行する）、文字要素として、「言」が「言」に、切り出される（Ｓ２０２）。
切り出された文字要素「言」は正規化処理部１０１ｂに入力されて、正規化規則部１０１ｃに格納されている正規化規則に基づいて（Ｓ２０３）、正規化処理が実施される。「言」は正規化規則
2007102321.tif 000006
が適用されて正規化処理部１０１ｂにより、「言」は
2007102321.tif 000007
に正規化される（Ｓ２０４）。
次に文字要素を合成して文字を形成し（Ｓ２０５）、正規化結果が出力される（ステップＳ２０６）。次いで文末か否かの判断を行い（Ｓ２０７）、ステップＳ２０７においてＮｏの場合（文末でない場合）、次の文字「語」を検出する（Ｓ２０７→Ｓ２０１）。
この次の文字「語」は、さらに文字要素として、「言」と「五」と「口」とに切り出される（Ｓ２０２）。切り出された各文字要素は前記したのと同様に、正規化処理部１０１ｂに入力され、正規化規則部１０１ｃに格納されている正規化規則に基づいて（Ｓ２０３）、正規化処理が実施され（Ｓ２０４）、「言」は
2007102321.tif 000008
に正規化される（Ｓ２０４）。また「五」、「口」は正規化規則部１０１ｃに格納されている正規化規則に該当する規則が存在しないため、入力された文字要素のまま文字要素の合成が行われ（Ｓ２０５）、その結果を正規化処理結果として出力され（Ｓ２０６）、次いで文末か否かの判断を行い（Ｓ２０７）、文末であると判断されると（Ｓ２０７においてＹｅｓの場合）、フローを終了し、またステップＳ２０７において、文末でないと判断されれば前記同様にステップＳ２０１に戻り、以降、前記同様の処理が続行される。
このようにして、文字を一文字毎、文字要素ごとに切出し、正規化規則に適合するかを確認し、正規化規則に適合する場合は、正規化を実施する。
【０００９】
図２において、デリミタ「／」（ここではデリミタ（区切り記号）として、スラッシュ「／」を使用）は、漢字の切出し毎の分割した区切り目を示している。
また、図３の（Ａ）は正規化規則の一例を示し、変換表記もしくは文字コード（ユニコードやＪＩＳ０２０８など複数種類の文字コード）が記述されていてもよい。
以上に述べたごとく、本実施例においては、文字要素が漢字の部首の場合についての変換例を説明したが、この例に限定されるものではなく、また漢字以外の表記における文字要素に対しても同様の異表記正規化処理を行う場合に適応することができる。
また、上記した正規化規則の例では、図３（Ａ）に示す通り、文字要素が１対１の場合の異表記正規化規則を用いた場合について説明したが、複数の文字要素と複数の文字要素の異表記正規化規則とは、図３（Ｂ）に例示する通りである。これは、特定の文字要素の組合せ時にのみ、規則を用いて異表記正規化を行う場合に対応するものである。例えば、図３（Ｂ）の「桜」は文字要素「木」、「ツ」、「女」から構成され、「ツ」単独では、
2007102321.tif 000009
には正規化されないが、文字要素が「ツ」と「女」を組として持つ時、「嬰」に変換されるというように、異表記正規化が行われる場合に対応するものである。
複数の文字要素は１つの文字を構成する文字要素とし、複数文字要素文字対文字との対応情報を記憶する場合も考えられる。
請求項４〜６は、請求項１〜３の各方法を、それぞれ、実行するための装置、方法をコンピュータに実行させるためのプログラムおよびこのプログラムを記録した記録媒体の発明の適用例に関するものである。
【００１０】
次に、前述した異表記正規化処理を適用した文書検索装置を、図４を用いて説明する。文書検索装置の一構成例を示す機能ブロック図を図４に、また、本構成例における文書検索装置における処理の流れを図５のフローチャートに、それぞれ示す。図５（Ａ）のフローチャートは、文書に含まれる文字列からインデックス情報を抽出して登録する処理の流れを概略的に示し、図５（Ｂ）のフローチャートは、検索語により文書を検索する処理の流れを概略的に示す。
ここで、図５のステップＳ５０３およびステップＳ５１１に示す異表記正規化処理の構成は、図１に示す異表記正規化処理装置で行う異表記正規化処理と同一の構成を有している。
図４に示す文書検索装置のブロック図を参照しながら、図５に沿って文書検索の流れを説明する。まず、文書のインデックス情報を登録する処理の流れを、図５（ａ）を用いて説明する。キーボード、ＯＣＲ等からなる入力装置４００から入力された文書を、入力処理部４０１を介して、文書格納部４０５が読み取り、文書データベース４０８に逐次登録していく（Ｓ５０１）。
次いで、インデックス登録部４０６は、登録されている文書のうち、まだ、インデックス情報を抽出していない文書があれば、文書データベース４０８より読み出し（Ｓ５０２）、読み出された文書を異表記正規化処理部４０７に引き継いで、この文書から文字列を抽出して抽出文字列毎に異表記正規化処理を行う（Ｓ５０３）。
異表記正規化された正規化表記情報はインデックス登録部４０６に返送されてくるので、文書との対応をつけた形式でインデックス情報としてインデックス情報格納部４０９に保存される（Ｓ５０４）。
【００１１】
次に文書検索処理の流れを、図５（ｂ）を用いて説明する。
まず、入力装置４００から入力された検索語は入力処理部４０１を介して検索条件作成部４０２に読み取られる。検索条件作成部４０２は、読み取られた検索語を異表記正規化処理部４０７に送出して、この検索語から文字列を抽出させて、異表記正規化処理を行う（Ｓ５１１）。
次いで、検索条件作成部４０２は異表記正規化処理された正規化表記情報に基づいて検索条件を作成し、検索処理部４０３において、インデックス情報格納部４０９に格納されたインデックス情報との照合を行い、文書検索処理を行う（Ｓ５１２）。文書検索された結果は、必要であれば、検索された文書が文書データベース４０８から読み出されてディスプレイ装置あるいはその処理結果を出力保存するディスク装置や磁気テープ装置等からなる出力装置４０４に表示あるいは出力等される（Ｓ５１３）。
【図面の簡単な説明】
【００１２】
【図１】本発明の異表記正規化処理装置の構成図である。
【図２】本発明の異表記正規化処理の流れの例を示すフローチャートである。
【図３】（ａ）は正規化規則の一例を示す図、（ｂ）は文字要素の一例を示す図である。
【図４】本発明の文書検索装置のブロック図である。
【図５】文書検索の流れを説明するための図であり、（ａ）は文書のインデックス情報を登録する処理の流れを示すフローチャート、（ｂ）は文書検索処理の流れを示すフローチャートである。
【符号の説明】
【００１３】
１００、４００  入力装置、１０１  異表記正規化部、１０１ａ  文字相当切出部（文字要素切出部）、１０１ｂ  正規化処理部、１０１ｃ  正規化規則部、１０１ｄ  異表記正規化規則選択部、１０１ｅ  文字相当合成部、１０２、４０４  出力装置、４０１  入力処理部、４０２  検索条件作成部、４０３  検索処理部、４０５  文字格納部、４０６  インデックス登録部、４０７  異表記正規化部、４０８  文書データベース、４０９  インデックス情報格納部
【図１】
2007102321.tif 000010
【図２】
2007102321.tif 000011
【図３】
2007102321.tif 000012
【図４】
2007102321.tif 000013
【図５】
2007102321.tif 000014