(57)【特許請求の範囲】
【請求項１】
コンピュータを用いて文書の標準化を行なう文書標準化方法であって、
一定のまとまりを持った文書を、ファイルからまたはキーボードからの文字列として入力する処理、
該文書を、コンピュータが予め記憶装置に記憶した辞書を参照して形態素解析することにより、文法情報を伴う単語を複数切り出す処理、
該切り出した単語に対して、コンピュータが所定の標準化を行なう処理、
該標準化された後の単語から再構成された文書を出力する処理
を行ない、
前記所定の標準化の処理は、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理、
（ｄ）前記位置関係が修正された複数の隣接した単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理
を含む文書標準化方法。
【請求項２】
請求項１記載の標準化方法であって、
前記所定の標準化の処理は、
（ａ）前記入力した文書を構成する文字のうち、予め記憶した文字を、予め定めた規則に従い予め定めた文字に置き換える文字の標準化、
（ｃ）表記のゆれを、予め記憶した規則に従い、所定の表記に統一する表記の統一処理、
のうちの少なくとも一つを含む標準化方法。
【請求項３】
請求項１記載の標準化方法であって、
前記形態素解析は、予め用意した形態素解析用の辞書を用いることを特徴とする標準化方法。
【請求項４】
文字の標準化の処理（ａ）の後に自立語処理（ｄ）を行なうことを特徴とする請求項２記載の標準化方法。
【請求項５】
連語化処理（ｂ）の後に前記自立語処理（ｄ）および前記付属語処理（ｅ）を行なうことを特徴とする請求項１記載の標準化方法。
【請求項６】
表記の統一処理（ｃ）を、少なくとも自立語処理（ｄ）の後に行なうことを特徴とする請求項２記載の標準化方法。
【請求項７】
請求項１記載の標準化方法であって、
前記標準化の処理の際に、標準化の結果が２以上存在する場合には、該２以上の結果のうちの一つを表示すると共に、
複数の結果が存在することを表示する
標準化方法。
【請求項８】
請求項７記載の標準化方法であって、
使用者の操作に応じて、前記表示した結果以外の結果を次候補として順次表示する標準化方法。
【請求項９】
コンピュータを用いて、複数の文書を登録したデータベースを文書データベースとして構築方法であって、
一定のまとまりを持った文書を、ファイルからまたはキーボードからの文字列として入力する処理、
該文書を、コンピュータが予め記憶装置に記憶した辞書を参照して形態素解析することにより、文法情報を伴う単語を複数切り出する処理、
該切り出した単語に対して、コンピュータが所定の標準化を行なう処理、
該標準化された後の単語から再構成された文書をデータベースとして蓄積する処理
を行ない、
前記所定の標準化の処理は、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理、
（ｄ）前記位置関係が修正された隣接する複数の単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理
を含む文書データベースの構築方法。
【請求項１０】
コンピュータを用いて文書の検索を行なう文書検索方法であって、
文書の検索に先立って、
一定のまとまりを持った文書を、ファイルからまたはキーボードからの文字列として入力する処理、
該文書を、コンピュータが予め記憶装置に記憶した辞書を参照して形態素解析することにより、文法情報を伴う単語を複数切り出す処理、
該切り出した単語に対して、コンピュータが所定の標準化を行なう処理であり、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理、
（ｄ）前記位置関係が修正された複数の単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理
該標準化された後の単語から再構成された文書を出力する処理
を含む標準化の処理
を行ない、
該標準化された後の単語から再構成された文書を予めデータベースとして蓄積しておき、
文書の検索時に、
指定された検索用単語と前記データベースに蓄積された文書とを比較して、コンピュータが、該検索用単語が含まれる文書を特定する
文書検索方法。
【請求項１１】
コンピュータを用いて、テキストデータから構成された文書を標準化する装置であって、
一定のまとまりを持った文書を入力する入力手段と、
該文書を形態素解析して、文法情報を伴う単語を切り出す形態素解析手段と、
該切り出した単語に対して、予め定めた標準化の処理を行なう標準化処理手段と、
該標準化された後の単語から再構成された文書を出力する文書出力手段と
を備え、
前記標準化処理手段は、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理手段、
（ｄ）前記位置関係が修正された複数の単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理手段、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理手段
を備えた文書標準化装置。
【請求項１２】
請求項１１記載の文書標準化装置であって、
前記標準化処理手段は、
（ａ）予め定めた文字に置き換える文字標準化手段、
（ｃ）表記のゆれを予め定めた表記に統一する表記の統一処理手段、
のうちの少なくも一つを含む文書標準化装置。
【請求項１３】
複数の文書を登録した文書データベースの構築装置であって、
一定のまとまりを持った文書を入力する入力手段と、
該文書を形態素解析して、文法情報を伴う単語を切り出す形態素解析手段と、
該切り出した単語に対して、予め定めた標準化の処理を行なう標準化処理手段と、
該標準化された後の単語から再構成された文書をデータベースとして蓄積する文書蓄積手段と
を備え、
前記標準化処理手段は、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理手段、
（ｄ）前記位置関係が修正された複数の単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理手段、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理手段
を備えた文書データベースの構築装置。
【請求項１４】
文書の検索を行なう文書検索装置であって、
文書の検索に先立って動作する
一定のまとまりを持った文書を入力する手段と、
該文書を形態素解析して、文法情報を伴う単語を切り出す形態素解析手段と、
該切り出した単語に対して、予め定めた標準化の処理を行なう標準化処理手段と、
該標準化された後の単語から再構成された文書を予めデータベースとして蓄積しておく蓄積手段と
を備え、
前記標準化処理手段は、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理手段、
（ｄ）前記位置関係が修正された複数の単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理手段、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理手段
を備え、更に、
文書の検索時に動作する
指定された検索用単語と前記データベースに蓄積された文書とを比較して、該検索用単語が含まれる文書を特定する検索手段を備えた文書検索装置。
【請求項１５】
一定のまとまりを有するテキストデータを標準化する処理をコンピュータに行なわせるプログラムであって、
該テキストデータを、コンピュータが予め記憶装置に記憶した辞書を参照して形態素解析することにより、文法情報を伴う単語を複数切り出す機能、
該切り出した単語に対して、コンピュータが所定の標準化を行なう機能
該標準化された後の単語から再構成された文書を出力する機能
を備え、
前記所定の標準化の機能は、
（ｂ）予め記憶装置に記憶した共起関係を参照することにより、前記切り出した複数の単語が、前記記憶した共起関係を有するとき、該関係を有する複数の単語の位置を隣接する位置関係に修正する連語化処理、
（ｄ）前記位置関係が修正された複数の隣接した単語を含む自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理
をコンピュータにより実現する
プログラム。
【請求項１６】
請求項１５記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書に対して処理を行なうことにより、文書を標準化する技術に関する。
【０００２】
【従来の技術】
テキストデータの検索は、特許公報や文献データベースの検索など、様々な分野で必要とされているが、大量のテキストデータを単にデータベースとして蓄積しておき、パターンマッチングの技術を用いて、蓄積した文書から目的の単語が含まれるものを検索するのが通常である。この場合、検索を容易にしようとすれば、シソーラスなどを用いて、検索しようとする単語とよく似た概念語の検索を行なったり（例えば、検索語が「自動車」である場合に、「車」や「車両」も検索語として検索を行なったり）、あるいは表記の相違を考慮して検索を行なったり（例えば、「車両」に対して「車輌」も検索語として検索を行なったり）することが提案されている。
【０００３】
かかる手法を実現するには、文書をデータベースに登録する際に、検索の対象となりそうな言葉を派生させて、文書のキーワードとして記憶しておいたり、検索を行なう際に、正規表現と呼ばれるような表現形式を用いて、一文字違いなどの単語などを検索の対象とするといった対応が採られていた。例えば、特開平１０−２４０７４２号では、文字列情報の蓄積時に、入力された原文字列以外の入力候補文字列を生成し、この入力候補文字列を蓄積文字列に変換して、データベースに蓄積している。また、検索時には、検索者が、検索するための検索文字列情報を入力すると、この検索文字列以外で検索可能な検索候補文字列を生成し、検索文字列情報と、蓄積されている蓄積文字列とを照合することにより、検索を行なっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、かかる手法では、データベースへの登録時に、多数の単語についてそれぞれ派生語を生成せねばならず、処理に膨大な手間を要するという問題があった。例えば、「切換」という用語に「切り換え」「切替」「切り替え」「切替え」などの表記のゆれが存在する場合、これら全ての候補文字列を、蓄積しようとしている文書毎に発生され、かつ記憶したのでは、処理に時間を要し、しかも膨大な記憶容量が必要となってしまう。
【０００５】
また、異なる単語に異なる表現のゆれなどが存在する場合、例えば「切り替え」と「書き換え」という単語を考えると、一方を「切替」に統一することと、他方を「書替」に統一することは、それぞれ別の作業になるので、いちいち指定しなければならないという問題があった。更に、上記の「切り替え」の例のように、複数の表記が存在する場合、どの表記を用いるか、という指定を行なわねばならなかった。
【０００６】
本発明は、こうした問題を解決し、文書の標準化を行なうことで、その後の種々の文書処理、例えば検索の手間を減らすことを目的とする。
【０００７】
【課題を解決するための手段およびその作用・効果】
上記課題の少なくとも一部を解決する本発明の文書標準化方法は、
一定のまとまりを持った文書を入力し、
該文書を形態素解析して、文法情報を伴う単語を切り出し、
該切り出した単語に対して、予め定めた標準化の処理を行ない、
該標準化された後の単語から再構成された文書を出力すること
を要旨としている。
【０００８】
また、これに関連してなされた文書データベースの構築方法の発明は、
一定のまとまりを持った文書を入力し、
該文書を形態素解析して、文法情報を伴う単語を切り出し、
該切り出した単語に対して、予め定めた標準化の処理を行ない、
該標準化された後の単語から再構成された文書をデータベースとして蓄積すること
を要旨としている。
【０００９】
更に、これらに関連してなされた文書検索方法の発明は、
文書の検索に先立って、
一定のまとまりを持った文書を入力し、
該文書を形態素解析して、文法情報を伴う単語を切り出し、
該切り出した単語に対して、予め定めた標準化の処理を行ない、
該標準化された後の単語から再構成された文書を予めデータベースとして蓄積しておき、
文書の検索時に、
指定された検索用単語と前記データベースに蓄積された文書とを比較して、該検索用単語が含まれる文書を特定すること
を要旨としている。
【００１０】
かかる発明においては、文書を形態素解析することにより文法情報を伴って単語を切り出すので、これに対して適切な標準化を施すことができる。即ち、単語の切り出しを行なっていることから、単純な置き換えではなく、単語単位で適切な標準化を施すことができる。標準化した単語から再構成した文書は、例えばファイルとしてあるいはディスプレイに、出力しても良いし、再構成した文書としてデータベースの構築に用いても良い。かかるデータベースでは、文書は、原則として標準化されて蓄積されているから、検索を極めて容易に行なうこともできる。
【００１１】
かかる標準化において、
前記予め定めた標準化の処理としては、少なくとも
（ａ）予め定めた文字に置き換える文字の標準化、
（ｂ）共起関係を有する単語の関係を予め定めた関係に修正する連語化処理、
（ｃ）表記のゆれを予め定めた表記に統一する表記の統一処理、
（ｄ）自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える自立語処理、
（ｅ）付属語を、所定の規則に従って他の付属語に置き換える付属語処理
のうちの一つを含ませることができる。これらの処理のうち、少なくとも一つを採用することで、文書の標準化を様々なレベルで行なうことができる。
【００１２】
これらの標準化の処理は、予め用意した辞書を参照することにより、単語の置き換えを行なう処理として実現することができる。形態素解析により文法情報を伴って単語を切り出しているので、辞書を参照することは容易である。かかる形態素解析についても、予め用意した形態素解析用の辞書を用いて実現することができる。もとより、アルゴリズムに依拠して形態素解析を行なうことも可能である。
【００１３】
上記の複数の標準化処理は、様々な順序で実施可能であるが、例えば文字の標準化の処理（ａ）の後に自立語処理（ｄ）を行なうことも好適である。こうすれば、例えば半角の「WINDOWS」と「ウィンドウズ」、および全角の「ＷＩＮＤＯＷＳ」「ウィンドウズ」といった自立語のばらつきを、簡単な操作で確実に標準化することができる。
【００１４】
また、連語化処理（ｂ）の後に自立語処理を行なうことをも同様に好適である。連語化処理とは、共起関係にある単語の関係を予め定めた関係に修正するものであり、連語化処理を予めしておくことで、自立語処理をより確実に行なうことができる。例えば、「腹が」＋「立つ」という連語を「怒る」に置き換える自立語処理を行なうものとした場合、「腹が」＋「ひどく」＋「立つ」を、一旦連語化処理により「ひどく」＋「腹が」＋「立つ」に変換しておけば、次の自立語処理により、「ひどく」＋「怒る」に標準化することは容易である。更に、表記の統一処理（ｃ）を、少なくとも自立語処理（ｄ）の後に行なうことも好適である。こうすることで、自立語処理より、表記の統一が崩れると言うことがない。
【００１５】
また、前記標準化の処理の際に、標準化の結果が２以上存在する場合には、該２以上の結果のうちの一つを表示すると共に、複数の結果が存在することを表示することも望ましい。標準化の処理を行なっている使用者は、これにより、複数の結果が存在することを知ることができ、場合によっては、他の候補を選択することができるからである。使用者の操作に応じて、前記表示した結果以外の結果を次候補として順次表示することも、候補選択の面から望ましい。
【００１６】
なお、これらの発明は、いずれも上記の方法を実行する装置の発明、コンピュータ上で実行され、上記の機能を実現するプログラムの発明、こうしたプログラムを記録した記録媒体としての発明として、それぞれ把握することができる。装置は、コンピュータ上でプログラムが実行されることで、上記の文書の入力、形態素解析、標準化、出力、データベースの構築などを実現するものであっても良いし、ディスクリートな回路構成より実現するものであっても良い。また、プログラムは、Ｃ言語やパスカル、フォートラン、コボル、ＢＡＳＩＣ、等の周知のプログラム言語が採用可能であり、オブジェクト指向のプログラム言語、あるいはＪａｖａＳｃｒｉｐｔ等の言語などを利用することも可能である。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，半導体メモリ（ＲＯＭ，ＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリ等）など、種々の記録媒体を用いることができる。もとより、インターネットなどのネットワーク上に置かれたサーバにこれらのプログラムを記憶しておき、クライアントのコンピュータにダウンロードして利用することも可能である。
【００１７】
【発明の他の態様】
本願発明の標準化の技術は、例えば翻訳などにも用いることができる。翻訳では、翻訳例をデータベース化することが有効であり、こうしたデータベースを翻訳者の作成した文書の癖などから自由なプレーンなテキストにより構築することは、翻訳のための検索において極めて有用である。また、インターネットなどの検索エンジンがネット上の多数のウェブを検索し、これをデータベース化する際にも、同様の標準化を適用することは有効である。ウェブサイトなどの作成は、基本的には個人の責任に委ねられているので、文書の表現の統一がなされていないからである。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を実施例に基づいて説明する。
（１）実施例の構成：
はじめに、実施例の構成について図１を用いて説明する。図１は本実施例のデータベース構築を行なうシステムを示す概略構成図である。このシステムは、インターネットのような大規模なネットワーク１０に接続されたデータベースサーバ２００として実現されている。ネットワーク１０には図示しないクライアントが接続されている。
【００１９】
データベースサーバ２００は、モデムやルータ２０を介してネットワーク１０とのデータのやり取りを制御するネットワークインタフェース（ＮＴ−Ｉ／Ｆ）２１、処理を行なうＣＰＵ２２、処理プログラムや固定的なデータを記憶するＲＯＭ２３、ワークエリアとしてのＲＡＭ２４、時間を管理するタイマ２５、モニタ３０への表示を司る表示回路２６、後述する各種のデータを蓄積するハードディスク（ＨＤ）２７、キーボード１１やマウス１２とのインタフェースを司る入力インタフェース（Ｉ／Ｆ）２８等を備える。なお、ハードディスク２７は、固定式のものとして記載したが、着脱式のものでも良いし、着脱式の記憶装置（例えばＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、フレキシブルディスクなど）を併用することも可能である。また、この実施例では、サーバ２００の処理プログラムは、ＲＯＭ２３内に記憶されているものとしたが、ハードディスク２７に記憶しておき、起動時にＲＡＭ２４上に展開して実行するものとしても良い。あるいは、上述した着脱式の記録媒体から読み込むものとしても良い。更には、ネットワーク１０を介して、他のサーバから読み込んで実行するものとしても良い。
【００２０】
図１に示したサーバ２００は、キーボード１１から入力した文書（テキストデータ）や、ネットワーク１０を介して外部から取り込んだテキストデータを、標準化して、最終的にはハードディスク２７に文書データベースを構築する。その後、データベース化された文書データに対して、検索処理を行なうこともできるが、この検索処理は、サーバ２００から行なっても良いし、ネットワーク１０を介して接続された各クライアントから行なうこともできる。
【００２１】
サーバ２００内には、上述のように、ＣＰＵ２２やＲＯＭ２３などのハードウェアが設けられているが、かかるサーバ２００内において後述するプログラムを実行することにより、図２に示した構成を実現することができる。即ち、サーバ２００は、図２に示した機能実現手段をディスクリートに設けたのと同じ働きを実現する。サーバ２００は、図示するように、文書入力部２０５，形態素解析部２１０、辞書検索部２２０，形態素解析用辞書２３０，標準化ルールデータベース２４０，標準化処理部２５０，ログ管理部２６０，文書出力部２７０，ログ出力装置２８０などを備える。
【００２２】
ここで、文書入力部２０５は、文書を入力する処理を実現するものであり、キーボード１１から文書を入力したり、予めハードディスク２７などに記憶している文書を取り込んだりするものである。形態素解析部２１０は、入力した文書のテキストデータを形態素解析するものであり、漢字仮名混じりのテキストデータの形態素を解析して、テキストデータを構成する自立語や付属語などを、その文法情報と共に取得するものである。標準化処理部２５０は、形態素解析されたテキストデータに対して標準化の処理を実行するものであり、実行される標準化の処理としては、
（ａ）文字の標準化処理（予め定めた文字に置き換える文字の標準化）、
（ｂ）連語化処理（共起関係を有する単語の関係を予め定めた関係に修正する処理）、
（ｃ）表記の統一処理（表記のゆれを予め定めた表記に統一する処理）、
（ｄ）自立語処理（自立語を、予め定めた置き換えの基準に従って、他の自立語に置き換える処理）、
（ｅ）付属語処理（付属語を、所定の規則に従って他の付属語に置き換える処理）
がある。これらの処理は全て実行される必要はなく、使用者の設定により、必要な処理（少なくとも一つの処理）が実行される。
【００２３】
文書出力部２７０は、標準化されたテキストデータを外部に出力するものである。本実施例では、テキストデータは、ハードディスク２７にデータベースとして保存されるものとしたが、単純に標準化処理後のテキストデータをモニタ３０上に表示するものとしても良いし、図示しないプリンタなどに印字するものとしても良い。あるいは、ネットワーク１０を介して外部のクライアントマシンに出力するものとしても良い。
【００２４】
辞書検索部２２０は、形態素解析用辞書２３０と標準化ルールデータベース２４０を参照するためのものである。形態素解析部２１０や標準化処理部２５０は、辞書やデータベースを参照する必要が生じると、この辞書検索部２２０を介して、辞書２３０やデータベース２４０をアクセスし、必要な情報を取り出し、それぞれ形態素解析部２１０や標準化処理部２５０に渡す。なお、辞書検索部２２０は、形態素解析用辞書２３０や標準化ルールデータベース２４０毎に別々に設けても差し支えない。
【００２５】
ログ管理部２６０とログ出力部２８０は、標準化の処理のログを管理し、これを出力するものである。標準化の処理は、上述したように、文字の標準化から連語化処理まで、様々なレベルに及ぶので、どのような処理を行なったか、必要に応じて参照できるよう、ログを管理し出力するのである。ログには、処理対象となった文書、実施された標準化処理の内容、その結果、エラーなどの情報が保存される。
【００２６】
（２）実施例における処理の概要：
そこで、次に標準化処理部２５０において実現される標準化処理について、図３に依拠しつつ説明する。図３は、標準化処理部２５０が実行する処理の概要を示す説明図である。この図では、標準化処理部２５０は、全ての標準化処理を実行するものとして記載しているが、実際には、少なくともいずれか一つの標準化処理が実行される場合も存在する。いずれの標準化処理ないしそれらの任意の組合わせを実行するかは、使用者が初期設定（プロパティなど）により定めるものとなっている。図３に示した標準化処理ルーチンが起動されると、まず、文書を読み込む処理が実行される（ステップＳ３００）。この処理は、文書入力部２０５に相当する処理であり、キーボード１１から文書を入力するものとしても良いし、既に作られてハードディスク２７などに保存されている処理用の文書ＴＸＴ（テキストデータ）を読み出すものとしてもよい。従って、例えば標準化処理の実行を示すアイコンを、モニタ３０のいわゆるデスクトップに表示しておき、マウス１２によりテキストファイルをドラッグアンドドロップすることにより、図３に示した標準化処理が起動され、そのテキストファイルが、読み込まれるものとすることもできる。
【００２７】
文書の読み込みは、一括して全データを読み込むという形で実現しても良いし、テキストデータから改行などを区切りコードとして、順次読み込む形態としても良い。可能であれば、句読点などを用いて「文」単位で読み込んでも良い。いずれの場合でも、一つ一つの文には、識別番号を付与して、その後に管理に用いることが望ましい。なお、テキストデータは、ＲＡＭ２４上に実際に展開して処理可能な状態としても良いし、識別番号を付けてからハードディスク２７などにランダムアクセスあるいはシーケンシャルアクセス可能に保存してもよい。
【００２８】
こうして文書の読込を行なった後、まず形態素解析処理を行なう（ステップＳ３１０）。これは、形態素解析部２１０に相当する処理であり、辞書検索部２２０を介して形態素解析用辞書２３０を参照する処理に相当する。実際には、ハードディスク２７に記憶された逆引き辞書ＩＤＣを参照して、文書を構成する単語を形態素解析により定める。形態素解析処理の詳細を図４に示した。以下、図４に基づいて、形態素解析の処理について説明する。なお、逆引き辞書とは、通常の仮名漢字変換用辞書が、仮名文字を見出しにして漢字やカタカナ等の変換文字列が、文法情報と共に配列されているのに対して、図５に示すように、これが逆に配列されている辞書である。従って、例えば「学校」という文字列から「がっこう」という読みと名詞という文法情報などを取り出すことができる。
【００２９】
形態素解析処理が開始されると、まず識別番号をつけた一つの文が、解析の対象として特定され、この文の先頭からＭ文字目（Ｍ＝１，２，・・・・）からＬ文字分（Ｌ＝１，２，・・・）を取り出して逆引き辞書ＩＤＣを引く処理を行なう（ステップＳ１２）。Ｍは、着目している文字列の先頭位置を、Ｌは、取り出す文字数を、それぞれ示していることになる。逆引き辞書の参照の手法は、まずＭ＝１、即ち先頭位置から、Ｌ＝１、即ち１文字分の文字を取り出し、辞書を参照して該当語を取り出す処理から開始する。Ｌを順次インクリメントしながら辞書ＩＤＣを参照し、該当する見出し語がなくなれば、着目する文字列の先頭位置Ｍをインクリメントし、再度文字数Ｌを１に戻して、辞書の検索を行なう。こうして着目する文字の位置か、解析しようとする文の文字数を超えたところで、辞書の参照をうち切る。
【００３０】
例えば、「ＤＤという車は、品質を重視したセダンである。」という文章に対して、逆引き辞書ＩＤＣを参照すると、「ＤＤ」「と」「いう」「という」「い」「う」「車」「は」「品質」「を」「重視」「した」「し」「た」「セダン」「で」「ある」「である」「あ」といった語を切り出すことができる。ここで、「い」や「う」「あ」「し」「た」などの仮名一音も、語として切り出しているのは、「いう（言う）」の語幹「い」や「うる（売る）」の語幹「う」などが、文中に現れる可能性があるからである。
【００３１】
逆引き辞書ＩＤＣには、これらの語がその文法情報と共に記憶されている。そこで、切り出した語を次に文法情報に従って並べて、破綻しない配列を見い出す処理を行なう。かかる解析は、例えば複数文節最長一致法や最小コスト法といった手法が知られており、所定の語の組合わせのうちどれが最も日本語としてもっともらしいかを検定するのである。本実施例では、最小コスト法を採用しているので、こうして得られた多数の文字列を対象として、次にコスト計算を行なう（ステップＳ３１４）。コスト計算とは、文字列の配列に対して、日本語らしい配列ほど点数が低くなるように予め用意された文字列のコストを計算する処理である。その規則は大まかに言えば、自立語はコスト２、これに付属語が付属する場合はコスト０、といったものである。例えば、「品質を」を例にとると、「品質」＋「を」ではあれば、自立語＋付属語（助詞）の結びつきとなって、コスト２、「品」＋「質」＋「を」であれば、自立語＋自立語＋付属語（助詞）となってコストは４となるのである。最小コスト法のルールは、現実の日本語にあわせてチューニングされており、「まったく」＋「ない」などの共起関係にある単語が文中に生じる場合は、コスト「−１」など、様々な規則が用意されている。
【００３２】
こうして、逆引き辞書の参照により得られた全ての単語について、上記のコストを計算し、そのうちで最小のコストになる文を特定する処理を行なう（ステップＳ３１５）。上記の例では、「品」（自立語・名詞）＋「質」（自立語・名詞）＋「を」（付属語・助詞）よりも、「品質」（自立語・名詞）＋「を」（付属語・助詞）の方が、日本語として確からしいと判断するのである。もとより、この計算は、少なくとも文を単位として行なわれ、文全体で、コストが最小になるような単語の配列を選択する。従って、例えば共起関係によるコストの低減などがあれば、「品質」＋「を」に替えて、「品」＋「質」＋「を」が選択される場合も存在する。
【００３３】
こうして最小コスト法による形態素解析が完了すると、次に文構造の解析処理を行なう（ステップＳ３１６）。この処理は、文を構成している単語の結びつき方を、論理積と論理和により表現するものであり、例えば複文を、二つの文に分離する場合などに利用される。本実施例では、特にこの点については説明しない。以上の処理を行なった後、形態素解析されたデータを出力する処理を行なう（ステップＳ３１８）。データは、そのまま次の標準化処理に渡されても良いし、一旦ハードディスク２７に識別コード付きで保存されるものとしても良い。
【００３４】
こうして形態素解析された文に対して、次に各種の標準化の処理が実行される（図３参照）。標準化の処理としては、
▲１▼文字の標準化処理（ステップＳ３２０）
▲２▼連語化処理（ステップＳ３３０）
▲３▼自立語処理（ステップＳ３４０）
▲４▼表記の統一処理（ステップＳ３５０）
▲５▼付属語処理（ステップＳ３６０）
がある。なお、各標準化の処理は、既に説明したように、全てを実行する必要はなく、使用者の意図に合致した処理のみ実施しすればよい。また、複数の標準化処理を実施する場合、上記の順に限るものではなく、その他の順序で実施することも可能である。
【００３５】
まず、文字の標準化の処理について、図６を参照しつつ説明する。文字の標準化処理が起動されると、まず標準化規則ＣＳＤを参照する処理を実行する（ステップＳ３２２）。この標準化規則ＣＳＤは、予めハードディスク２７に記憶されているものであり、文字の標準化をどのような規則に沿って行なうかを定めたものである。こうした規則は、一応デフォルトが設定されているが、使用者により変更可能なものとなっている。この実施例における文字の標準化とは、図７に示したように、括弧、引用符、一般記号、英数字、句点、読点、半角カタカナ、名前の繋文字、長音記号を、一定の規則で置き換える処理を言う。このうち図７の欄Ａに「×」で示したものは、置き換えに際して周りの文字を考慮する必要がないことを、「○」は周囲の文字を考慮する必要があることを、それぞれ示している。また、欄Ｂは、置き換えの範囲を示しているが、ここで「文」が置き換えの範囲になる場合があるとされているので、例えば「−」（マイナス記号）と「−」（長音記号）とが相違している場合などには、長音記号に置き換えると、形態素解析の結果に影響を与える場合があるからである。従って、長音記号の置き換えなどを行なった場合には、逆引き辞書ＩＤＣを参照して、文構成を変更することがある。
【００３６】
文字の標準化の例として、句点や読点を取り上げると、まずこれらについては、デフォルトで「、」「。」に置き換えられるように設定されている。従って、「コーヒーは，うまい．」という文に対して、文字の置き換えが行なわれると、「コーヒーは、うまい。」となる。もっとも、この設定は、変更可能なので、句点として「。」が、読点として「，」に設定が変更されていれば、「コーヒーは，うまい。」となる。なお、欄Ａに示したように、周りの文字を考慮するとなっているが、周りの文字列が英文であれば、逆に「，」「．」への置き換えがデフォルトの設定となっている。
【００３７】
その他の文字の標準化を例示すると、
（Ａ）括弧：『』と「」の置き換えを行なうなど、
（Ｂ）引用符：“”と””の置き換えを行なうなど、
（Ｃ）一般記号：種々の記号（例えば「：，？！」など）について、半角／全角の置き換えを行なうなど、
（Ｄ）英数字：全角／半角や大文字／小文字の置き換えを行なうなど、
（Ｅ）半角カタカナ：カタカナについて全角／半角の置き換えを行なうなど、
（Ｆ）名前の繋文字：「クイーン＝エリザベス」を「クイーン・エリザベス」に置き換えるなど、
がある。
【００３８】
これらの規則を用いて、各文字を変更する処理を行なう（図６、ステップＳ３２４）。その後、全ての文字についての置き換えが完了したかを判断し（ステップＳ３２６）、全ての文字について完了するまで、規則に従う置き換えを実施する。
【００３９】
以上説明した文字の標準化処理を行なった後、次に、共起の連語化処理（図３、ステップＳ３３０）を実行する。この処理の詳細を、図８に示した。以下、この図８に従って説明する。共起の連語化処理が開始されると、まず形態素解析により得られた文の文節Ｎに着目する（ステップＳ３３１）。処理の開始時にはＮ＝１である。次に、共起辞書ＲＧＤを参照しつつ、文節列を後方に向かってサーチする処理を行なう（ステップＳ３３２）。このサーチの様子を図９に示した。図９は、「俺は学校に急いで行くよ」という文を対象に共起の連語化処理を行なう様子を示している。形態素解析により、「俺は」＋「学校に」＋「急いで」＋「行くよ」という文節が切り出されている。なお、詳しく言えば、各文節内は、自立語＋付属語（＋付属語・・・）として解析されている。
【００４０】
ここでまずＮ＝１、即ち、「俺は」という文節に着目し、この文節を起点としてＮ＝２、３、４、即ち「学校に」「急いで」「行くよ」などの文節がサーチされる、サーチは、共起辞書ＲＧＤに記載されている文節がないかを検証するものである。従って、正確には文節によるサーチではなく、文節とその語幹を用いたサーチである。こうしたサーチを行ないつつ、共起関係にある文節があるかを判断する（ステップＳ３３３）。図９に示した例では、「俺は」については共起辞書に該当する項目がなく、Ｎ＝２、即ち「学校に」について、「学校に行」という共起関係が、共起辞書ＲＧＤに見い出された。共起関係にある文節が見い出された場合には、次に文節の入れ替えが可能であるか否かを判断する（ステップＳ３３４）。共起関係にある二つの文節が連続していれば、入れ替えを行なう必要はない。また、離れた位置にある文節間に共起関係が見い出されても、文構造上、文節の入れ替えを行なうことができない場合も存在する。例えば、「俺は学校に電話し、それから行くよ」という例文では、「学校に」と「行く」という共起関係が見い出されても、「俺は電話し、それから学校に行くよ」と入れ替えることが必ずしもできない。文構造上の制約があるからである。
【００４１】
共起関係にあることが見い出された二つの文節が離れており、かつ文構造上、文節の入れ替えが可能であると判断された場合には、文節の位置を入れ替える処理を行なう（ステップＳ３３５）。この結果、図１０に示したように、文は、「俺は急いで学校に行くよ」となる。続いて、連語化処理を行なう（ステップＳ３３６）。即ち、連続する二つの文節に共起関係が認められるので、これを連語化して一つの文節扱いとするのである。この様子を図１１に示した。なお、共起関係に基づく連語化は、上記実施例では２文節を一つの文節に連語化するものとして説明したが、場合によっては３文節以上を一つの文節に連語化することも可能である。
【００４２】
その後、着目する文節を一つ進め（ステップＳ３３７）、全ての文節について共起関係の処理が完了したかを判断し（ステップＳ３３８）、未だ完了していなければ、ステップＳ３３２に戻って、処理を継続する。全ての文節について、共起関係の処理が完了すれば、「ＮＥＸＴ」に抜けて、本ルーチンを終了する。なお、上記のフローでは、共起関係にある文節の探索は、文の先頭の文節から順に行なうものとしたが、いわゆる「係り受け」の受け語を先に特定して探索を行なうという手法を採用すれば、文の後方から順に探索するものとすることもできる。いずれから探索するかは、辞書の構成や探索アルゴリズムに拠る。
【００４３】
こうして文字の標準化（図３，ステップＳ３２０）、共起の連語化処理（ステップＳ３３０）が完了すると、次に、自立語の標準化処理を行なう（ステップＳ３４０）。この処理の詳細を、図１２に示した。図１２に示した自立語の標準化処理が開始されると、まず標準化規則を参照する処理を行なう（ステップＳ３４２）。この処理は、文字の標準化で参照したものと同様に、デフォルトは予め設定してあるが、使用者により変更可能な設定を取得するものである。もとより、この規則は固定的なものとすることもできる。自立語の標準化は、基本的には同一意味の自立語間の異表現の置き換え処理である。かかる処理には、多数の類型が存在するが、例えば、
▲１▼より一般的な表現に置き換える：例、庭球→テニス
▲２▼平易な表現に置き換える：例、瑠璃色→青色
▲３▼常用漢字外の忌避：例、愛嬌→愛敬、挨拶→あいさつ
▲４▼慣用句の平易化：例、一挙手一投足→一つ一つの動作
▲５▼より使用される文字形態への置き換え：例、ウィンドウズ→Ｗｉｎｄｏｗｓ、スパイラルアップ→spiral up
▲６▼連語の置き換え：例、学校に行く→登校する
等を考えることができる。
【００４４】
これらの処理は、実際には、標準化の対象となっている文から順次自立語を取り出し、これを自立語用の標準化辞書ＩＷＤを検索することにより行なわれる（ステップＳ３４４）。自立語用の標準化辞書ＩＷＤは、上述した置き換え可能な自立語が、適用される規則と共に、参照可能に構成されている。従って、標準化の規則を取得した後、辞書を参照して、規則に合致した置き換え語を読み出し、各単語を変更する処理（ステップＳ３４６）を行なうことができる。図１３は、この置き換えの様子を模式的に示した説明図である。図示するように、まず規則の設定を参照する。図において、「◎」はその置き換えが設定（オン）されていることを、「○」は未設定（オフ）であることを、それぞれ示している。自立語の標準化処理において、上記の▲１▼ないし▲６▼を例にとれば、いずれの置き換えを行なうか否かが、標準化規則として記憶されているので、これを読み出し、次に自立語を順次読みだして、この自立語について、置き換えを行なう語が辞書ＩＷＤに登録されているか否かを検索し、仮に登録されていれば、現在オンになっている置き換え規則に合致するかを確認し、オンになっている置き換え規則に合致していれば、自立語の置き換えを行なうのである。以上の処理を全単語について繰り返す（ステップＳ３４８）。図１３に示した例は、▲３▼常用漢字外の忌避がオンになっているので、「俺は」が「僕は」に置き換えられている。また、共起関係があると認定されて連語化された言葉も、必要に応じて、他の言葉に置き換えられるので、この例では「学校に行」→「登校」といった置き換えが行なわれ、これに応じて、付属語の部分も、「くよ」→「するよ」と置き換えられた。
【００４５】
この結果、自立語の標準化処理が完了すると、標準化規則として予め定めた類型について、全ての単語が置き換えられ、自立語は、所望のレベルで標準化されることになる。
【００４６】
自立語の標準化を行なった後、次に表記のゆれの標準化処理を行なう（図３、ステップＳ３５０）。表記のゆれとは、日本語における表記の曖昧さ、許容幅を言い、例えば、
▲１▼長音記号のゆれ：例、ユーザー、ユーザ、
▲２▼送り仮名のゆれ：例、売上げ、売り上げ、
▲３▼拗音表記のゆれ：例、ウィザード、ウイザード、
▲４▼複合語のかな表記のゆれ：例、売り上げ、売りあげ、
▲５▼外来語表記のゆれ：エンゼル、エンジェル、
▲６▼繰り返し文字のゆれ：例、正正堂堂、正々堂々
などを例示することができる。
【００４７】
この処理の概要は、図１２に示した自立語の標準化処理と似ているので、フローチャートは示さないが、自立語の標準化同様、まず規則の設定を参照する。即ち、表記のゆれの標準化処理において、上記の▲１▼ないし▲６▼を例にとれば、いずれの置き換えを行なうか否かが、図１５に示したように、標準化規則ＤＡＤ（図３参照）として記憶されているので、これを読み出し、次に単語を順次読みだして、この単語が標準化規則ＤＡＤに記憶した規則が当てはまるものであれば、かな漢字変換用の通常の単語辞書ＤＩＣを検索する。この辞書には表記のゆれが広く登録されているので、標準化規則ＤＡＤで指定された規則に該当する単語が、辞書ＤＩＣに登録されていれば、その後を読み出して、表記の異なる単語に置き換えるのである。そして、以上の処理を全単語について繰り返す。
【００４８】
自立語の標準化と処理が若干異なるのは、自立語の標準化辞書が、一方向への標準化を行なうことを前提として構成されているのに対して、表記のゆれは、双方向に標準化を行なうことを前提としているためである。表記のゆれは、許容幅を大きく、いずれの表記がより正しいといった判断になじまないものだからである。こうした表記のゆれは、かな漢字変換用の単語辞書ＤＩＣに広く採取されており、互いに関連付けられているので、表記のゆれの標準化を行なう場合には、表記のゆれの標準化規則ＤＡＤを参照し、指定された表記となるよう、単語辞書ＤＩＣを検索するのである。
【００４９】
こうして表記のゆれの標準化を行なった後、付属語の標準化処理を行なう（ステップＳ３６０）。この処理の概要は、図１２に示した自立語の標準化処理とほぼ同一なので、フローチャートは示さないが、基本的には同一意味の付属語間の異表現の置き換え処理である。かかる処理には、多数の類型が存在するが、例えば、
▲１▼繰り返された丁寧表現の簡素化：例、「出られておられます」→「出られています」、
▲２▼古風な表現の現代化：例、「原因なのか否か」→「原因なのかどうか」、
▲３▼くだけた表現の通常表現化：例、「勉強しなくっちゃ」→「勉強しなくては」
などを考えることができる。
【００５０】
これらの処理は、実際には、標準化の対象となっている文から順次付属語を取り出し、これを付属語用の標準化辞書ＡＷＤを検索することにより行なわれる。付属語用の標準化辞書ＡＷＤは、上述した置き換え可能な付属語が、適用される規則と共に、参照可能に構成されている。従って、標準化の規則を取得した後、辞書を参照して、規則に合致した置き換え語を読み出し、各付属語を変更する処理を行なうことができる。図１６は、この置き換えの様子を模式的に示した説明図である。図示するように、まず規則の設定を参照する。即ち、付属語の標準化処理において、上記の▲１▼ないし▲３▼を例にとれば、いずれの置き換えを行なうか否かが、標準化規則として記憶されているので、これを読み出し、次に付属語を順次読みだして、この付属語について、置き換えを行なう語が辞書ＡＷＤに登録されているか否かを検索し、仮に登録されていれば、現在オンになっている置き換え規則に合致するかを確認し、オンになっている置き換え規則に合致していれば、付属語の置き換えを行なうのである。
【００５１】
この結果、付属語の標準化処理が完了すると、標準化規則として予め定めた類型について、全ての単語が置き換えられ、付属語は、所望のレベルで標準化されることになる。
【００５２】
こうして、図３に示した全ての標準化（ステップＳ３２０ないしＳ３６０）が完了すると、サーバ２００は、標準化の結果を、ハードディスク２７内の文書データベースＴＤＢに登録する処理を行なう（ステップＳ３７０）。このデータベースは、文書の全文データベースであり、後述する検索装置により、全文検索を行なうことができる。
【００５３】
（３）実施例の効果：
この文書データベースＴＤＢに登録された文書は、文字、自立語、表記のゆれ、付属語という態様で、標準化がなされているから、書き手の癖や言い回しの相違などがほとんど解消されている。従って、処理された文書は、極めてプレーンなテキストデータとなっており、様々な用途に用いることができる。例えば、特許公報や技術文献などの全文データベースの構築に用いれば、できあがったデータベースを検索する際の雑音や検索漏れなどを低減することができる。また、翻訳しようとする文を標準化すると、機械翻訳のための下訳の一つとして用いることができる。逆に翻訳例を蓄積した翻訳データベースを構築する場合には、訳出者の相違を解消することができる。更に、時代を隔てた著者の表現を比較するといった研究など、文書を対象とした広範な比較研究に用いることも可能である。また、本実施例では、標準化の処理に先立って、テキストデータを形態素解析し、必要な文法情報を入手している。このため、標準化が、単純な文字の置き換えにとどまらず、文法情報を利用した自立語の標準化、表記のゆれの標準化などとしてまとめて行なうことが可能となっている。このため、標準化のために用意するルールも数を低減することができる。文法情報が存在するので、かな漢字変換用の辞書や表記のゆれの辞書、自立語の置き換え辞書などを参照して、容易に標準化を行なうことができる。
【００５４】
実施例では、標準化処理は、▲１▼文字の標準化、▲２▼共起の連語化処理、▲３▼自立語の標準化処理、▲４▼表記のゆれの標準化処理、▲５▼付属語の標準化処理の順で行なったが、この処理は様々な順序で実施可能である。本実施例のように、文字の標準化の処理の後に自立語の標準化処理を行なえば、例えば文字の標準化で半角／全角変換を済ませておき、その後、「ＷＩＮＤＯＷＳ」「ウィンドウズ」といった自立語のばらつきを、標準化すればよいので、簡単な操作で確実に処理を行なうことができる。
【００５５】
また、連語化の処理の後に自立語の標準化処理を行なうことをも同様に好適である。連語化処理を予めしておくことで、自立語の標準化処理をより確実に行なうことができる。実施例では、「学校に」＋「行く」という連語を「登校する」に置き換える処理を行なうものとして説明したが、「学校に」＋「急いで」＋「行く」を、一旦連語化処理により「急いで」＋「学校に」＋「行く」に置き換えておけば、次の自立語処理において「すぐに」＋「登校する」に標準化することは容易であった。更に、表記のゆれの統一処理を、自立語の標準化処理の後に行なっているので、自立語の標準化処理より、一旦なされた表記の統一が崩れると言うことがない。
【００５６】
なお、上記実施例では、標準化の処理において、結果が２以上存在する場合について特に説明しなかったが、２以上の結果が存在する場合（例えば、「売り上げ」に対して、「売上げ」と「売りあげ」が存在する場合）、このうちの一つを優先的に表示し、複数の結果が存在することを、表示することも可能である。こうした表示は、標準化した文字のモニタ３０上での色を変えたり、「次候補あり」といった表示を行なうことで、容易に実現することができる。次候補があることを表示すれば、処理を行なっている使用者は、これにより、複数の結果が存在することを知ることができ、好適である。他の候補を選択する場合には、カーソルを表示されている文節に移動し、「次候補」キーを押すことで、次候補を表示し、必要があれば、複数の候補から所望の候補を選択すればよい。
【００５７】
この他、本実施例では、ログ管理部２５０により、標準化のログを管理しているので、入力した文書に対して行なわれた標準化の処理の詳細を残しておくことも可能である。入力した文章の何番目の文の何番目の単語に対して、どんな処理を行なったか、という形でログを記録しておければ、いつでも、標準化した後の文から元の文を復元することもできる。また、ログ出力部２８０から出力されたログを解析することにより、どのタイプの標準化が多用されたかといった解析を行なうこともでき、標準化を実施した対象である文章の趣（文語的な文か、くだけた口語文か等）や癖（長音を落としやすいか等）を分析することも可能である。
【００５８】
（４）第２実施例の説明：
次に、本発明の第２実施例として、文書の検索方法と検索を行なう装置について説明する。第１実施例として説明した文書の標準化の処理により完成された文書データベースＴＤＢは、外部に公開され、自由な使用、または登録した会員の使用に供される。このとき、文書データベースＴＤＢに直接アクセスするような構成も可能であるが、ネットワーク１０を介して不特定多数のクライアントからアクセス可能とするには、例えば、文書データベースＴＤＢをアクセスするためのＣＧＩを備えたサイトを、サーバ２００内に用意し、クライアント４０は、ネットワーク１０を経由して、いわゆるブラウザから、この文書データベースＴＤＢにアクセスできるようにするのが通常である。そこで、第２実施例として、文書データベースＴＤＢを用いて、ウェブページの検索を行なう手法について、説明する。図１７は、クライアント４０において実行される検索時の処理を示すフローチャートである。まず、検索を開始するクライアント４０は、検索用に用意されたサーバ２００内のサイトにアクセスする（ステップＳ４００）。この結果、図１８に示すような、検索画面が表示される。
【００５９】
そこで、クライアントは、この画面に用意された検索用の文字列を入力するボックスＫＢに、検索内容を、日本語による文章として入力する（ステップＳ４１０）。例えば、図１８に示したように、文字列を入力するボックスＫＢに、「俺が登校した」などと自然文で入力するのである。このとき、検索文の入力に並行して、「検索」ボタンＢＢが押されたかを監視し（ステップＳ４２０）、検索ボタンが押された時には、入力された文章を読み取り、図１８に示した入力の場合には、この文章を形態素解析して、第１実施例で説明した標準化処理を行なう（ステップＳ４３０）。なお、検索は、必ずしも文章による入力に基づいて行なう必要はなく、例えばキーワードを入力して、一または複数のキーワードにより検索するものとしても良いし、キーワードと検索分野を指定して検索するものとしても良い。
【００６０】
こうして得られた標準化された検索文から切り出された検索語（図１８の例では「僕」や「登校」）ＤＳ１，ＤＳ２を利用して、文書データベースＴＤＢの検索を行なう（ステップＳ４４０）。検索の結果、一致する文を有する文書が見つかればその検索結果を出力するのである（ステップＳ４５０）。出力された検索結果は、ネットワーク１０を介してクライアントに送られ、クライアント４０側の画面に表示される。
【００６１】
以上説明した第２実施例によれば、予め標準化されて登録された文書データベースに対して、自然な日本語文を用いて検索を行なうことができる。この場合、検索を行なうとする使用者の言葉の癖を標準化により低減してから検索を行なうので、検索により所望の文書を見い出し易くなっている。このため、検索語の入力について複雑な規則を熟知している必要がなく、特別な訓練を積んだサーチャでなくても容易に検索を行なうことができる。
【００６２】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、更に種々なる形態で実施し得ることは勿論である。例えば、文書データベースは、全文データベースに替えて、キーワードを用いたデータベースとしても良い。また、翻訳装置に応用することも可能である。翻訳は、単に文法情報を用いて言語間の変換を行なおうとしても上手く行かず（必要な規則が無限に大きくなる）、むしろ豊富な用例を用意し、翻訳にマッチした用例を見い出して、これを適用するような形で訳した方が、意味的に正確な翻訳にできることが知られている。そこで、与えられたテキストデータに、本発明を適用して文書を標準化しておき、これを利用して用例を特定するのを容易にするといった使い方が可能である。
【図面の簡単な説明】
【図１】本発明の実施例における全体構成を示す概略構成図である。
【図２】第１実施例における標準化処理を実現する構成を示すブロック図である。
【図３】実施例における標準化処理ルーチンを示すフローチャートである。
【図４】形態素解析処理ルーチンを示すフローチャートである。
【図５】逆引き辞書の構成を例示する説明図である。
【図６】文字の標準化処理ルーチンを示すフローチャートである。
【図７】文字の標準化処理の内容を例示する説明図である。
【図８】共起の連語化処理ルーチンを示すフローチャートである。
【図９】連語化の処理様子を示す説明図である。
【図１０】同じく連語化における文節の入れ替えの様子を示す説明図である。
【図１１】同じく連語化の様子を示す説明図である。
【図１２】自立語の標準化処理ルーチンを示すフローチャートである。
【図１３】図１３は、自立語の置き換えの様子を模式的に示した説明図である。
【図１４】常用漢字外の忌避がオンになっている場合の自立語の置き換えの一例を示す説明図である。
【図１５】いずれの置き換えを行なうか否かを示す標準化規則ＤＡＤの一例を示す説明図である。
【図１６】付属語の置き換えの様子を模式的に示した説明図である。
【図１７】第２実施例として、クライアント４０において実行される検索時の処理を示すフローチャートである。
【図１８】第２実施例における検索画面の一例を示す説明図である。
【符号の説明】
１０…ネットワーク
１１…キーボード
１２…マウス
２０…ルータ
２２…ＣＰＵ
２３…ＲＯＭ
２４…ＲＡＭ
２５…タイマ
２６…表示回路
２７…ハードディスク
３０…モニタ
４０…クライアント
２００…データベースサーバ
２０５…文書入力部
２１０…形態素解析部
２２０…辞書検索部
２３０…形態素解析用辞書
２４０…データベース
２４０…標準化ルールデータベース
２５０…標準化処理部
２６０…データベース
２６０…ログ管理部
２７０…ハードディスク
２７０…文書出力部
２８０…ログ出力部
【図１】
0003937741.tif 000002
【図２】
0003937741.tif 000003
【図３】
0003937741.tif 000004
【図４】
0003937741.tif 000005
【図５】
0003937741.tif 000006
【図６】
0003937741.tif 000007
【図７】
0003937741.tif 000008
【図８】
0003937741.tif 000009
【図９】
0003937741.tif 000010
【図１０】
0003937741.tif 000011
【図１１】
0003937741.tif 000012
【図１２】
0003937741.tif 000013
【図１３】
0003937741.tif 000014
【図１４】
0003937741.tif 000015
【図１５】
0003937741.tif 000016
【図１６】
0003937741.tif 000017
【図１７】
0003937741.tif 000018
【図１８】
0003937741.tif 000019