(57)【要約】      （修正有）【課題】  外字で入力された文書と内字で入力された文書とが混在する文書から漏れのない検索を行い、汎用的にかつ安定的に外字検索機能を付与するシステム及び方法を提供する。【解決手段】  外字コード、外字に対応した内字の異体字と類似度が格納された外字・異体字変換テーブルと、電子文書内の文章に含まれる外字から前記外字・異体字変換テーブルの外字コードを検索し、検索した外字コードに対応した内字のうち一定の類似度以上の一つ又は複数の内字の異体字を検索する手段と、前記外字コードを含む元の文章に対して、前記検索した一つ又は複数の内字の異体字に置き換えた文章を作成する手段と、前記異体字に置き換えて作成した一つ又は複数の文章を分かち書きする手段と、前記分かち書きした単語から、外字に対応した内字の異体字を単語として抽出し、前記抽出した単語を電子文書内に不可視情報として埋め込む手段とを有するシステムである。【選択図】  図１
2006235800.tif 000002
【特許請求の範囲】
【請求項１】
外字コード、外字に対応した内字の異体字が字形や意味で関連付けられ格納された外字・異体字変換テーブルと、
外字コードを含む電子文書内の文章に含まれる外字コードから前記外字・異体字変換テーブルの外字コードを検索し、一つ又は複数の内字の異体字を検索する手段と、
前記電子文書内の文章に対して、前記検索した一つまたは複数の内字の異体字に置き換えた文章を作成する手段と、
前記異体字に置き換えて作成した一つ又は複数の文章を分かち書きする手段と、
前記分かち書きした文字列から、外字に対応した内字の異体字を分かち書きした文字列として抽出し、前記抽出した分かち書きした文字列を電子文書内に電子情報閲覧ソフトで不可視となる情報として埋め込む手段とを有することを特徴とする電子文書への不可視情報付与システム。
【請求項２】
前記外字・異体字変換テーブルに、外字コードと外字コードに組み合わされる文字とその読み及び類義語を設定することを特徴とする請求項１記載の電子文書への不可視情報付与システム。
【請求項３】
前記外字・異体字変換テーブルに外字の字形と外字に対応した内字の異体字との類似度を具備し、外字コード検索手段に類似度を用い検索される異体字の文字数を制御することを特徴とする請求項１記載の電子文書への不可視情報付与システム。
【請求項４】
前記不可視情報として埋め込む分かち書きした文字列の前後に、記号を挿入することにより、検索システムが明らかに分かち書きした文字列として抽出することを特徴とする請求項１、２又は３記載の電子文書への不可視情報付与システム。
【請求項５】
外字と内字から構成される電子文書の文章に対して、前記電子文書の文章をすべて内字に置き換え、
前記内字に置き換えた文章を分かち書きし、
前記分かち書きした文字列のうち外字部分に対応する内字の異体字を、外字コード、外字に対応した内字の異体字が格納された外字・異体字変換テーブルから抽出し、
前記抽出した分かち書きした文字列を電子情報閲覧ソフトで不可視となる情報として、もとの電子文書に埋め込むことを特徴とする電子文書への不可視情報付与方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子文書への不可視情報付与システム及び付与方法に係わり、特に、コンピュータによる外字を含む電子文書検索システムに関するものである。
【背景技術】
【０００２】
一般に、コンピュータで扱う電子文書には人名や地名などに外字を必要とする場合があり、電子文書への入力としては、仮名漢字変換システムにより行われている。
【０００３】
従来より、仮名漢字変換システムを用いる場合には、同じ地名や人名であっても電子文書入力者が異なると一方は内字で入力し、別の文書では外字で入力されている場合が発生し、その結果、電子文書検索システムには内字で入力された文書と外字で入力された文書が混在することになり、外字を含む地名や人名を漏れなく検索するためには、内字と外字の両方を検索する必要が発生していた。
【０００４】
また、外字を内字の異体字で置き換える場合、特に人名などの際には、本人や原稿作成者の了承を得る必要が発生する場合がある。
【０００５】
電子文書では外字を内字の異体字として置き換えて使用することがあり、簡単に外字を扱う方法としては外字フォント登録機能を用いたり、画像として埋め込む方法がある。
【０００６】
外字フォント機能や画像として外字を用いる場合には、仮名漢字変換システムでは外字が変換できない上、文書の検索が行えないという問題があった。
【０００７】
外字による検索機能を実現する方法として、通常の内字検索システムと外字検索システムが密接に関連することにより外字検索を実現しているものがある（例えば、特許文献１、２、３又は４参照）。これらの従来技術では内字検索システムと外字検索システムが密接に関連しているため、検索システム全体を開発する必要があり、膨大な労力を必要とする。また、内字検索システムと外字検索や外字変換機能が同時に稼動するためシステムが複雑になり、複数のプロセスや機器が同時に稼動する必要があり、安定性やメンテナンス性が低下するという問題がある。また、外字検索機能が検索システム自体と連携していることから既存の検索システムに搭載することが困難である。
【０００８】
【特許文献１】特開平９−２３２３１３号公報
【特許文献２】特開２００２−４１５０３号公報
【特許文献３】特開２００２−２３６６７６号公報
【特許文献４】特開２００３−２９７３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、このような問題を解決するためになされたもので、第１の目的は、外字検索機能を持たない検索システムに、容易にかつ安定的に外字検索機能を付与することにあり、第２の目的は対象となる単語が、外字で入力された文書と内字で入力された文書とが混在する文書から漏れのない検索を行うことであり、外字入力機能及び外字検索機能を持たない電子文書検索システムに汎用的かつ安定的に外字検索機能を付与することを実現する、電子文書への不可視情報付与システム及び付与方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の電子文書への不可視情報付与システムは、外字コード、外字に対応した内字の異体字が字形や意味で関連付けられ格納された外字・異体字変換テーブルと、外字コードを含む電子文書内の文章に含まれる外字コードから前記外字・異体字変換テーブルの外字コードを検索し、一つ又は複数の内字の異体字を検索する手段と、前記電子文書内の文章に対して、前記検索した一つ又は複数の内字の異体字に置き換えた文章を作成する手段と、前記異体字に置き換えて作成した一つ又は複数の文章を分かち書きする手段と、前記分かち書きした文字列から、外字に対応した内字の異体字を分かち書きした文字列として抽出し、前記抽出した分かち書きした文字列を電子文書内に電子情報閲覧ソフトで不可視となる情報として埋め込む手段と、を有することを特徴としている。
【００１１】
本発明の電子文書への不可視情報付与システムは、外字・異体字変換テーブルに、外字に対応した内字の異体字が無い場合には、外字コードと外字コードに組み合わされる文字とその読み及び類義語を設定することを特徴としている。
【００１２】
本発明の電子文書への不可視情報付与システムは、前記外字・異体字変換テーブルに外字の字形と外字に対応した内字の異体字との類似度を具備し、外字コード検索手段に類似度を用い検索される異体字の文字数を制御することを特徴としている。
【００１３】
本発明の電子文書への不可視情報付与システムは、前記不可視情報として埋め込む分かち書きした文字列の前後に、記号を挿入することにより、検索システムが明らかに分かち書きした文字列として抽出することを特徴としている。
【００１４】
本発明の電子文書への不可視情報付与方法は、外字と内字から構成される電子文書の文章に対して、前記電子文書の文章をすべて内字に置き換え、前記内字に置き換えた文章を分かち書きし、前記分かち書きした文字列のうち外字部分に対応する内字の異体字を、外字コード、外字に対応した内字の異体字が格納された外字・異体字変換テーブルから抽出し、前記抽出した分かち書きした文字列を電子情報閲覧ソフトで不可視となる情報として、もとの電子文書に埋め込むことを特徴としている。
【発明の効果】
【００１５】
以上のように、本発明では検索システムとの連携の必要がなく、電子文書データに不可視情報を付与するシステムであることから、検索システム自体の安定性、メンテナンス性が非常に高く、どのような検索システムにも実装が可能である。  
【００１６】
また、内字と外字との区別をなくすために、同一対象の単語の記述でも入力者などの違いによる異なる文書間の内字と外字の混在による検索の漏れを完全になくすことが可能となる。
【発明を実施するための最良の形態】
【００１７】
本発明の電子文書への不可視情報付与システムは、外字コード、外字に対応した内字の異体字、外字の字形と外字に対応した内字の異体字の類似度の対応を格納する外字・異体字変換テーブルが基礎となっている。
本発明において、外字の字形とは、例えば、「渡なべ」の場合には、「辺」、「邊」、「邉」という字形の違うものがあるが、この三種類の表す意味は同じものをいう。        
【００１８】
本発明は、この外字・異体字変換テーブルを用いて、検索システムで用いる電子文書に、あらかじめ検索システムで扱うことができるように不可視の文字列を埋め込む処理をすることを特徴としている。この不可視の文字列は検索システムが検索対象として扱うことができれば、電子文書中であればどこにあってもよい。
【００１９】
不可視情報を埋め込む方法は、外字と内字から構成される文章に対して、外字・異体字変換テーブルを用いて外字に対応した内字の異体字を検索し、外字に対応した内字の異体字を１文字不可視情報として埋め込むと検索の際に単語として検索が行えないため、外字を含む文章を一度内字に置き換え、その文章を分かち書きし、外字部分に対応する内字の異体字による単語を抽出し、不可視情報としてもとの文書に埋め込むものである。
【００２０】
外字に対応した内字の異体字が無い場合には、読みを設定すれば外字を読みに対応させることができる。更に既知の人物であれば旧姓、土地の名称であれば旧称などの類義語を設定することにより検索候補の数を拡張することができる。
【００２１】
更に、例えば、国際標準化により各種の言語を統一的に扱う文字コードとして提案されているユニコード（Unicode）のように中国漢字、韓国漢字などを扱える大規模文字列集合である場合には、日本漢字だけでなく中国漢字、韓国漢字などの外字も扱うことが可能になる。
【００２２】
また、本発明では、「・」や「：」などの、検索システムでは記号として扱われるものを文字として不可視情報の単語の前後に挿入することにより、不可視情報の単語を明示的に検索システムに単語として認識させることが可能となる。
【００２３】
また、本発明では、外字と外字に対応した内字の異体字の単語の類似度を外字・異体字変換テーブルに格納していることから、情報公開側で類似度に対する閾値を設定することにより、外字に対応した内字の異体字の数を制御し、検索精度を調整することが可能となる。
【００２４】
電子文書に外字に対応した内字の異体字の単語を不可視情報としてあらかじめ付与することにより、検索システムと外字検索機能を付与するシステムを別のシステムとして構築できるので、外字検索機能を持たない検索システムに容易にかつ安定的に外字検索機能を付与することが可能になる。
【００２５】
外字１文字に対して一つ又は複数の対応した内字の異体字の文字列を不可視情報として付与することにより、外字は複数の内字の異体字で検索が可能になり、外字、内字の区別をなくし、漏れのない検索を行うことが可能になる。
【実施例】
【００２６】
本発明に係る電子文書への不可視情報付与システム及び付与方法の実施の形態の一例を、図を用いて説明する。図１は、既存の検索システムに、本発明の不可視情報付与システムを組み込んだ情報検索システムの一形態であり、これに限定されるものではない。
本実施例において、分かち書きとは、文章をある単位に区切ることをいい、形態素とは、これ以上細かくすると意味をなさなくなる最小の単位をいう。
【００２７】
図１は、不可視情報付与システムを組み込んだ情報検索システムの構成図である。本実施例の不可視情報付与システムは不可視情報付与手段５と外字・異体字変換テーブル６とから構成され、既存の検索システムは情報閲覧手段１、情報検索手段２、電子文書データ蓄積部４、情報検索のための電子文書データ蓄積部から生成される検索用インデックス部３から構成される。
【００２８】
情報閲覧手段１は、検索画面の表示、検索語の入力、入力された検索語を情報検索手段２に送信し、情報検索手段２からの検索結果の受信と表示、電子文書データの表示のためのリクエストの送信と電子文書データの受信と表示を行い、情報検索手段２と接続する。
【００２９】
情報検索手段２は、情報閲覧手段１と検索用インデックス部３と電子文書データ蓄積部４とを接続し、あらかじめ電子文書データ蓄積部４から電子文書データを読み込み、検索用インデックスを作成し、検索用インデックス部３に保存する。情報検索手段２は、検索の際に情報閲覧手段１から検索語を受け取り、検索用インデックス部３からインデックスを読み込み、出現頻度による重み付けなどの特定のアルゴリズムによる演算を行い、情報閲覧手段１に検索結果を返す。情報検索手段２は情報閲覧手段１からのリクエストにより電子文書データ蓄積部４から電子文書データを読み込み、情報閲覧手段１にデータを送る。
【００３０】
不可視情報付与手段５は、電子文書データ蓄積部４と外字・異体字変換テーブル６と接続し、電子文書データ蓄積部４内の電子文書データにアクセス可能な状態にする。
【００３１】
検索用インデックス部３は、検索速度向上の為に設置されており、検索用インデックス部３がない検索システムもある。本実施例においては、検索用インデックス部３の有無は動作に影響しない。本実施例は電子データに不可視情報を埋め込む方法であることから、図１の接続はプロセス間通信、ネットワーク等どのような接続形態であってもよい。
【００３２】
電子文書データでは、あらかじめ外字は外字を一意に区別可能な外字コードを与えて文書を作成し、電子文書データ蓄積部４に登録する。
【００３３】
インデックス作成形の情報検索システムの場合には、インデックスを作成する処理を行う前に外字検索機能を付与する。
【００３４】
図２は、外字に対する内字の異体字の類似度を表す外字・異体字変換テーブル６を示す図である。外字・異体字変換テーブル６は、外字コード、外字画像、外字に対応した内字の異体字及び外字と外字に対応した内字の異体字の類似度から構成され、それぞれのデータはあらかじめ登録しておく。
【００３５】
図の横１ラインが１レコードになり、外字コード００１で検索すると、外字コード００１が付与された複数の内字とその類似度が検索される。外字画像については、外字コード１つに対して外字画像は一つであるため、外字画像は別のテーブルに定義してもよいし、外字を表現するために画像でなくフォントで表現するのであればフォントを定義してもよい。また、「＃」等の別の文字に置き換えて表現するのであれば画像自体は定義をする必要はない。
【００３６】
外字と外字に対応した内字の異体字の類似度は人間の主観で設定してもよいし、パターンマッチングなどの画像処理を用いてもよく、外字と外字に対応視した内字の異体字の見た目や渡辺の「辺」と「邊」のように見た目は異なるが意味的に近い等の類似性を表現できていればよい。
【００３７】
図３は、外字に対応した内字の異体字の文字列の付与方法の流れを示すフローチャートである。このフローチャートは一つの電子文書データに対して外字検索機能を付与することを示しており、電子文書データが複数ある場合には該処理を電子文書データ分繰り返して処理を行う。
【００３８】
外字機能を付与するための設定値として、抽出する外字に対応した内字の異体字の類似度を設定し、不可視情報付与手段に初期パラメータとしてあらかじめ与えておく。
【００３９】
不可視情報付与手段５は、処理において対象とする電子文書データを電子文書データ蓄積部４から読み込み（S１）、「。」「．」等の記号を文章の区切り文字として電子文書データ内部から文章を抽出する（S２）。文章の抽出ができなければ終了の判定（S３）を行い、一つの電子文書データの処理が終了する。文章の抽出ができた場合には、その文章に外字が含まれているか否かの判定（S４）を行い、外字が含まれていない場合には、次の文章の抽出（S２）を行う。
【００４０】
文章に外字が含まれる場合には、外字コードを検索キーにして外字・異体字変換テーブルを検索し（S５）、外字が登録されているか判定する（S６）。外字が登録されていない場合には、外字コード、外字に類似した内字の異体字を登録する処理（S７）を行う。
【００４１】
外字コードが見つかった場合、外字と外字に対応した内字の異体字との類似度を参照し、類似度があらかじめ設定されていた閾値以上のものを１つ以上抽出する。閾値以下であっても類似度が最も高い一つの文字の抽出を行い、外字を含む文章の外字部分に抽出された一つ以上の外字に対応した内字の異体字に置き換える。一つの異体字が抽出されれば文章は１つ、複数の異体字が抽出されれば複数の異体字に置き換えた文章を作成する（ステップS8）。
【００４２】
一つの文章中に複数の外字が出現する場合、一つの外字以外を内字に置換し、前記一連の処理を行う。その結果得られた複数の文章に対して、内字に置換した文字を１文字だけ外字に戻し、同様に前記一連の処理を行う。更に、複数の外字があればその個数分の処理を行う。
【００４３】
例えば、内字をX、外字をA、Bとし、外字Aの異体字はa1、a2、a3の３つが抽出され、外字Bの異体字はb1、b2の２つが抽出されたとする。文章が「XXXABXX」の場合、最初に外字Bを異体字b1に置換した文章「XXXAb1XX」を作成し、前記処理を行う。前記処理により「XXXa1b1XX」と「XXXa2b1XX」、「XXXa3b1XX」の三つの文章が得られる。次に得られた三つの文章に対してb1を外字Bに戻し、「XXXa1BXX」と「XXXa2BX」、「XXXa3BXX」の三つの文章に対して前記処理を行うと、「XXXa1b1XX」と「XXXa1b2X」、「XXXa2b1XX」、「XXXa2b2XX」と「XXXa3b1X」、「XXXa3b2XX」の六つの文章を得ることができる。
【００４４】
外字を内字の異体字に置き換えた一つ以上の文章を分かち書き処理を行う。分かち書き処理は形態素解析プログラムを用いる（S9）。本実施例は分かち書きに形態素解析を用いているが、分かち書きの単位は形態素単位でなく、形態素より大きい単位でもよい。例えば、外字を含む単語が名詞で、その単語を含む連続した名詞が存在する場合には連続した名詞を不可視情報を与える語として抽出してもよい。
【００４５】
分かち書きした文章からもとの文章の外字部分に相当する単語を抽出する（S10）。この処理により異体字に置き換えた文章が一つであれば一つの単語が、複数の異体字で置き換えれば複数の単語が抽出される。
文章中の外字が複数存在する場合には、重複して同じ異体字による単語が作成される場合があるため、同じ異体字による単語がある場合には重複分を削除する。
【００４６】
以上詳述した本実施例に基づいて、例えば、「私は、図２外字画像７（さい）藤です。」という文章があった場合について説明する。
【００４７】
「私は、図２外字画像７（さい）藤です。」の「図２外字画像７（さい）」が、異体字「図２内字の異体字８（さい）」と「図２内字の異体字９（さい）」が閾値を超える異体字として選択された場合、「私は、図２内字の異体字８（さい）藤です。」と「私は図２内字の異体字９（さい）藤です。」の二つの文章を作成する。次にこの二つの文章を、分かち書き処理に形態素解析プログラムを用いて分割を行い、「私  は、  図２内字の異体字８（さい）藤  です  。」と「私  は、  図２内字の異体字９（さい）藤  です  。」のように、分かち書き処理により分割した文章から、外字部分に相当する異体字の単語である「図２内字の異体字８（さい）藤」と「図２内字の異体字９（さい）藤」が抽出される。
【００４８】
抽出された単語の前後に、「・」や「：」等の、分かち書き処理で明らかに単語の一部とは、認識されない記号などを付加し、電子文書データに不可視情報として付与する（S11）。
【００４９】
電子データ形式がＸＭＬ形式の場合「<p>私は<gaiji code="123"/>藤です。</p>」と定義されている場合には「<p>私は<gaiji code="123"><itaiji>齋藤</itaiji><itaiji>齊藤</itaiji></gaiji>藤です。</p>」とデータの付与を行う。電子データ形式をＸＳＬＴで変換する場合は、<gaij>から<gaij>を表示する際には非表示として扱う定義を行う。
【００５０】
同様に電子データ形式がＨＴＭＬ形式の場合「私は<IMG SRC="sai.jpg"><span style='display:none'>斉藤</span>藤です。」のように定義を行うことで、不可視情報として扱われる。
【００５１】
インデックスを作成するタイプの検索システムであれば、電子文書データに不可視情報を付与した後インデックスの生成を行うことで、外字に対応した内字の異体字の単語による検索が可能になる。
【００５２】
全文検索システムにおいては、文書の位置に関係なく単語が検索できることから、不可視情報を付与する位置は文書中のどこにあってもよい。
【００５３】
また、外字に対応した内字の異体字が無い場合には、読みを異体字として登録することにより、代用することも可能である。
【００５４】
また、外字が人名や地名などの既知のものであれば、外字と内字との組合せが明確に判明するため、人名であれば旧姓、地名であれば旧名称などを類義語検索機能としても使用することが可能になる。
【００５５】
ユニコードなどの日本漢字、中国漢字、韓国漢字を備える大規模文字列であれば、中国漢字、韓国漢字において、本実施例と同様の手法を用いることにより、中国漢字、韓国漢字も同様に外字の検索機能を付与することが可能になる。
【００５６】
上記実施例はＸＭＬ、ＨＴＭＬの場合であるが、情報検索システムで扱うことができ、かつ、不可視情報を埋め込むことのできる電子文書データフォーマットであればどのようなデータ形式でもよい。
【００５７】
ユニコードを扱えるコンピュータでも、すべてのコードに対応したフォントが登録されていない状態がある。情報検索システムと閲覧システムが別々のコンピュータで、ネットワークで接続されている場合、情報検索システムにはユニコードのすべてのフォントを登録し、電子文書データは、ＪＩＳ第１第２水準で定義された文字を記述する。電子文書内のＪＩＳ第１第２水準以外の文字は、画像として表示し、該手法により、読みと単語を不可視情報として登録する。閲覧システムがＪＩＳ第１第２水準しか保持していないコンピュータでも表示が行え、読みから検索が可能になる。更に別のＪＩＳ第１第２水準以上のフォントを備える閲覧システムがＪＩＳ第１第２水準以外の文字で検索を行っても検索が可能になる。
【００５８】
例えば、ＪＩＳ第１第２水準では表示できない「シンセン」の「セン」は、「深セン」などのようにカナによる表示がされているが、ユニコードでは表現可能である。本実施例の手法では不可視情報として漢字の「シンセン」を保持することが可能であるため、漢字の「シンセン」の検索リクエストに対しても対応することが可能になる。
【００５９】
本発明の実施例では、外字コードと内字の異体字の変換テーブルを用いて外字コードを含む文章から外字に対応した内字の異体字を含む文字列を抽出し、不可視情報として付与することにより、内字の文字列で外字を含む文字列を検索することを可能にする例を示しているが、変換テーブルの外字コードのフィールドに内字コードを登録し、内字と内字の異体字を対応付けることにより、内字の文字列で内字の異体字を含む文字列を検索することができるようになる。例えば、変換テーブルに内字の「斉」と異体字として内字の「斎」を関連付け登録し、上記方法により不可視情報として付与することにより、検索語が「斉藤」の場合「斉藤」と「斎藤」が検索可能になり、検索の際に異体字同士の区別をなくし、検索の漏れをなくすことが可能になる。
【図面の簡単な説明】
【００６０】
【図１】本実施例の検索システムの構成図を示す。
【図２】外字に対する内字の異体字の類似度を表す外字・異体字変換テーブルを示す図である。
【図３】外字に対応した内字の異体字の文字列の付与方法の流れを示すフローチャートである。
【符号の説明】
【００６１】
１  情報閲覧手段
２  情報検索手段
３  検索用インデックス部
４  電子文書データ蓄積部
５  不可視情報付与手段
６  外字・異体字変換テーブル
７  外字画像
８、９  内字の異体字
【図１】
2006235800.tif 000003
【図２】
2006235800.tif 000004
【図３】
2006235800.tif 000005