(57)【要約】【課題】複数の文書データを単一のシステムで管理することができる全文検索装置を提供する。【解決手段】入力手段１から入力される文書データの言語情報に応じて登録処理手段３がテキスト分割手段６を選択し、該選択したテキスト分割手段６を用いて文書データをトークンに分割する。そして、文書データと該文書データを示す文書識別情報と共に文書データ記憶部７に格納し、テキスト分割手段６により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶部８に格納する。【選択図】        図１
2004206473.tif 000002
【特許請求の範囲】
【請求項１】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、
文書データを入力する入力手段と、
前記文書データを索引単位（トークン）に分割する複数の分割手段と、
文書データを記憶する文書データ記憶手段と、
検索の際に用いる索引情報を記憶する全文索引記憶手段と、
前記入力手段により入力された文書データの言語情報に応じて前記分割手段を選択し、該選択した分割手段を用いて、前記文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と該文書データの文書識別情報とを索引情報として全文索引記憶手段に登録すると共に、前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に文書データ記憶手段に登録する登録処理手段と、
を有することを特徴とする全文検索装置。
【請求項２】
前記入力手段を用いて入力される検索文字列の言語情報に応じて前記分割手段を選択し、該選択した分割手段を用いて前記検索文字列を分割し、前記検索文字列に対応する索引情報を前記全文索引記憶手段から検索する検索処理手段を有することを特徴とする請求項１記載の全文検索装置。
【請求項３】
前記入力手段を用いて入力される文書識別情報の言語情報に応じて前記分割手段を選択し、該選択した分割手段を用いて文書識別情報に対応する索引情報を前記全文索引記憶手段から削除すると共に、文書識別情報に対応する文書データを前記文書データ記憶手段から削除する削除処理手段を有することを特徴とする請求項１記載の全文検索装置。
【請求項４】
前記登録処理手段は、
前記入力手段から文書データと共に該文書データの言語情報を入力することで、言語情報に応じて前記分割手段を選択することを特徴とする請求項１記載の全文検索装置。
【請求項５】
前記入力手段により入力される文書データの言語情報を識別する言語識別手段を有し、
前記登録処理手段は、前記言語識別手段により識別された言語情報に応じて前記分割手段を選択することを特徴とする請求項１記載の全文検索装置。
【請求項６】
前記検索処理手段は、
前記入力手段から検索文字列と共に該検索文字列の言語情報を入力することで、言語情報に応じて前記分割手段を選択することを特徴とする請求項２記載の全文検索装置。
【請求項７】
前記入力手段により入力される検索文字列の言語情報を識別する言語識別手段を有し、
前記検索処理手段は、前記言語識別手段により識別された言語情報に応じて前記分割手段を選択することを特徴とする請求項２記載の全文検索装置。
【請求項８】
前記入力手段により入力される文書識別情報の言語情報を識別する言語識別手段を有し、
前記削除処理手段は、前記言語識別手段により識別された言語情報に応じて前記分割手段を選択することを特徴とする請求項３記載の全文検索装置。
【請求項９】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、
文書データを入力する入力手段と、
文書データを索引単位（トークン）に分割する複数の分割手段と、
文書データを格納する文書データ記憶手段と、
検索の際に用いる索引情報を格納する全文索引記憶手段と、
前記入力手段により入力された文書データの言語情報を識別する言語識別手段と、
前記言語識別手段により識別された言語情報に応じて前記分割手段を選択し、該選択した分割手段を用いて、前記文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と該文書データの文書識別情報とを検索情報として前記全文索引記憶手段に登録すると共に、前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に前記文書データ記憶手段に登録する登録処理手段と、
を有することを特徴とする全文検索装置。
【請求項１０】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、
複数の言語からなる文書データまたは検索文字列を入力する入力手段と、
前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、
前記入力手段により入力された文書データを構成する複数の言語情報と、前記文書識別情報とを格納するセクション情報記憶手段と、
前記文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、
前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報とを索引情報として格納する全文索引記憶手段と、
前記入力手段により入力された文書データを構成する言語情報に応じて前記分割手段を選択し、該選択した分割手段を用いて、前記文書データを言語ごとにトークンに分割し、索引情報として前記全文索引記憶手段に登録すると共に、前記文書データを文書識別情報と共に前記文書データ記憶手段に登録し、更に、前記文書データを構成する言語情報を文書識別情報と共に前記セクション情報記憶手段に登録する登録処理手段と、
前記入力手段により入力した検索文字列を検索キーとして前記全文索引記憶手段を検索し、対応する索引情報を検索する検索処理手段と、
を有することを特徴とする全文検索装置。
【請求項１１】
前記入力手段を用いて入力された文書識別情報を検索キーとして前記文書データ記憶手段から読み出した文書データと、前記セクション情報記憶手段から読み出した文書データを構成する言語情報と、前記言語情報に応じた分割手段と、を基に前記全文索引記憶手段から索引情報を削除すると共に、前記文書データ記憶手段から読み出した文書データを削除し、更に、前記セクション情報記憶手段から読み出した言語情報を削除する削除処理手段を有することを特徴とする請求項１０記載の全文検索装置。
【請求項１２】
前記登録処理手段は、
前記入力手段から文書データと共に該文書データを構成する複数の言語の情報を入力することで、言語に応じて前記分割手段を選択することを特徴とする請求項１０記載の全文検索装置。
【請求項１３】
前記入力手段により入力された文書データを構成する複数の言語を識別する言語識別手段を有し、
前記登録処理手段は、前記言語識別手段により識別された言語に応じて前記分割手段を選択することを特徴とする請求項１０記載の全文検索装置。
【請求項１４】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、
複数の言語からなる文書データまたは検索文字列を入力する入力手段と、
前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、
前記入力手段により入力された文書データを構成する複数の言語の区切り位置と、前記文書識別情報とを格納するセクション情報記憶手段と、
前記文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、
前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報とを索引情報として格納する全文索引記憶手段と、
前記入力手段により入力された文書データを構成する複数の言語を識別する言語識別手段と、
前記言語識別手段により識別された言語に応じて前記分割手段を選択し、該選択した分割手段を用いて、前記文書データを言語ごとにトークンに分割し、索引情報として前記全文索引記憶手段に登録すると共に、前記文書データを文書識別情報と共に前記文書データ記憶手段に登録し、更に、前記文書データを構成する言語の区切り位置を文書識別情報と共に前記セクション情報記憶手段に登録する録処理手段と、
前記入力手段により入力した検索文字列を検索キーとして前記全文索引記憶手段を検索し、対応する索引情報を検索する検索処理手段と、
を有することを特徴とする全文検索装置。
【請求項１５】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、
登録された文書データを保存する文書データ記憶手段と、
検索の際に用いられる全文索引記憶手段と、
文書データの登録処理、検索処理、削除処理を行う処理手段と、
言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、
を有し、前記処理手段は、文書データと共に指示された文書データの言語情報に従って分割手段を切り替えること特徴とする全文検索装置。
【請求項１６】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、
登録された文書データを保存する文書データ記憶手段と、
検索の際に用いられる全文索引記憶手段と、
文書データの登録処理、検索処理、削除処理を行う処理手段と、
言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、
文書データを構成する言語情報を識別する言語情報識別手段と、
を有し、前記処理手段は、言語情報識別手段を用いて文書データの言語情報を識別し、該識別した言語情報に従って分割手段を切り替えることを特徴とする全文検索装置。
【請求項１７】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、
複数の言語からなる文書データと、該文書データを構成する各部分の言語情報とを入力する入力手段と、
登録された文書データと、該文書データを示す文書識別情報と、指定された各部分の言語情報とを格納する文書データ記憶手段と、
検索の際に用いられる全文索引記憶手段と、
文書データの登録処理、検索処理を行う処理手段と、
言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、
を有し、前記処理手段は、文書データと共に指示された文書データの言語情報に従って分割手段を切り替えること特徴とする全文検索装置。
【請求項１８】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、
複数の言語からなる文書データを入力する入力手段と、
登録された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、
検索の際に用いられる全文索引記憶手段と、
文書データの登録処理、検索処理、削除処理を行う処理手段と、
言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、
文書データを構成する各部分の言語情報を識別する言語情報識別手段と、
を有し、前記処理手段は、言語情報識別手段を用いて文書データを構成する各部分の言語情報を識別し、該識別した言語情報に従って文書データを構成する各部分の言語ごとに分割手段を切り替えることを特徴とする全文検索装置。
【請求項１９】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、
複数の言語からなる文書データを、該文書データを構成する各部分文書データの言語情報と共に入力する入力手段と、
登録された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、
指定された各部分文書の言語情報と部分文書間の境界を示す区切り位置情報とを格納する区切り位置情報記憶手段と、
検索の際に用いられる全文索引記憶手段と、
文書データの登録処理、検索処理、削除処理を行う処理手段と、
言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、
を有し、前記処理手段は、文書データを構成する各部分の言語情報を識別し、該識別した言語情報に従って文書データを構成する各部分の言語ごとに分割手段を切り替え、指定された文字列を含む部分文書を高速に求めることを特徴とする全文検索装置。
【請求項２０】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、
複数の言語からなる文書データを入力する入力手段と、
登録された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、
指定された各部分文書の言語情報と部分文書間の境界を示す区切り位置情報とを格納する区切り位置情報記憶手段と、
検索の際に用いられる全文索引記憶手段と、
文書データの登録処理、検索処理、削除処理を行う処理手段と、
言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、
文書データを構成する各部分の言語情報を識別する言語情報識別手段と、
を有し、前記処理手段は、言語情報識別手段を用いて文書データを構成する各部分の言語情報を識別し、該識別した言語情報に従って文書データを構成する各部分の言語ごとに分割手段を切り替え、指定された文字列を含む部分文書を高速に求めることを特徴とする全文検索装置。
【請求項２１】
前記分割手段は、
トークンの正規化を行う正規化手段を有することを特徴とする請求項１から２０の何れか１項に記載の全文検索装置。
【請求項２２】
複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、
複数の文書データを格納する文書データ記憶手段と、
前記文書データ記憶手段に格納された文書データを検索する際に用いる索引情報を記憶する全文索引記憶手段と、
削除する文書データに関する情報を記憶する削除情報記憶手段と、
を有し、前記文書データ記憶手段と前記全文索引記憶手段とから文書データとその索引情報とを削除する代わりに前記削除情報記憶手段に記録することを特徴とする全文検索装置。
【請求項２３】
前記全文索引記憶手段は、
前記索引情報を転置ファイルの形式で記憶することを特徴とする請求項２２記載の全文検索装置。
【請求項２４】
前記削除情報記憶手段は、
前記削除情報を配列構造で記憶することを特徴とする請求項２２記載の全文検索装置。
【請求項２５】
前記削除情報記憶手段は、
前記削除情報をビットマップ構造で記憶することを特徴とする請求項２２記載の全文検索装置。
【請求項２６】
文書データを入力する入力手段と、前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、前記文書データを索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から文書データを前記処理手段に入力する文書データ入力工程と、
前記文書データ入力工程により入力された文書データの言語情報に応じて前記処理手段が前記分割手段を選択する分割手段選択工程と、
前記分割手段選択工程により選択した分割手段を用いて、前記文書データをトークンに分割する分割工程と、
前記分割工程により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を前記索引情報として前記全文索引記憶手段に登録すると共に、前記文書データと前記文書識別情報とを前記文書データ記憶手段に登録する登録処理工程と、
を行うことを特徴とする文書データの処理方法。
【請求項２７】
前記分割手段選択工程は、
前記入力手段から文書データの言語情報を前記処理手段に入力することで、前記処理手段が言語情報に応じて前記分割手段を選択することを特徴とする請求項２６記載の文書データの処理方法。
【請求項２８】
前記分割手段選択工程は、
文書データの言語情報を識別する言語識別手段を前記全文検索装置に具備することで、前記処理手段は、前記言語識別手段を用いて前記入力手段から入力された文書データの言語情報を識別し、該識別した言語情報に応じて前記分割手段を選択することを特徴とする請求項２６記載の文書データの処理方法。
【請求項２９】
複数の言語からなる文書データを入力する入力手段と、前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、前記入力手段により入力された文書データを構成する複数の言語情報と、前記文書識別情報と、を格納するセクション情報記憶手段と、前記文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から複数の言語からなる文書データを前記処理手段に入力する入力工程と、
前記入力工程により入力された文書データを構成する言語情報に応じて前記分割手段を選択する分割手段選択工程と、
前記分割手段選択工程により選択した分割手段を用いて、前記文書データを構成する言語ごとのトークンに分割する分割工程と、
前記分割工程により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を前記索引情報として前記全文索引記憶手段に登録すると共に、前記文書データを文書識別情報と共に前記文書データ記憶手段に登録し、更に、前記文書データを構成する言語情報を文書識別情報と共に前記セクション情報記憶手段に登録する登録処理工程と、
を行うことを特徴とする文書データの処理方法。
【請求項３０】
前記分割手段選択工程は、
前記入力手段から文書データを構成する複数の言語情報を入力することで、前記処理手段が言語情報に応じて前記分割手段を選択することを特徴とする請求項２９記載の文書データの処理方法。
【請求項３１】
前記分割手段選択工程は、
文書データの言語情報を識別する言語識別手段を前記全文検索装置に具備することで、前記処理手段が前記言語識別手段を用いて前記入力手段に入力された文書データを構成する複数の言語情報を識別し、該識別した言語情報に応じて前記分割手段を選択することを特徴とする請求項２９記載の文書データの処理方法。
【請求項３２】
前記分割工程は、
トークンの正規化を行うことを特徴とする請求項２６または２９記載の文書データの処理方法。
【請求項３３】
文書データを入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、前記削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から文書データを前記処理手段に入力する文書データ入力工程と、
前記文書データ入力工程により入力された文書データを、前記分割手段を用いてトークンに分割する分割工程と、
前記分割工程により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を前記索引情報として前記全文索引記憶手段に登録すると共に、前記文書データと前記文書識別情報とを前記文書データ記憶手段に登録する登録処理工程と、
を行うことを特徴とする文書データの処理方法。
【請求項３４】
前記登録処理工程は、
前記索引情報を転置ファイルの形式で前記索引情報記憶手段に登録することを特徴とする請求項３３記載の文書データの処理方法。
【請求項３５】
検索文字列を入力する入力手段と、索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から検索文字列を検索キーとして前記処理手段に入力する検索文字列入力工程と、
前記検索文字列入力工程により入力された検索文字列の言語情報に応じて前記処理手段が前記分割手段を選択する分割手段選択工程と、
前記分割手段選択工程により選択された分割手段を用いて前記検索文字列をトークンに分割する分割工程と、
前記分割工程により分割された検索文字列のトークンを用いて前記全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得工程と、
を行うことを特徴とする文書データの処理方法。
【請求項３６】
前記分割手段選択工程は、
前記入力手段から検索文字列の言語情報を入力することで、前記処理手段が言語情報に応じて前記分割手段を選択することを特徴とする請求項３５記載の文書データの処理方法。
【請求項３７】
前記分割手段選択工程は、
検索文字列の言語情報を識別する言語識別手段を前記全文検索装置に具備することで、前記処理手段が前記言語識別手段を用いて前記入力手段に入力された検索文字列の言語情報を識別し、該識別した言語情報に応じて前記分割手段を選択することを特徴とする請求項３５記載の文書データの処理方法。
【請求項３８】
前記分割工程は、
トークンの正規化を行うことを特徴とする請求項３５記載の文書データの処理方法。
【請求項３９】
文書データを示す文書識別情報と検索文字列と該文字列の言語情報とを入力する入力手段と、前記検索文字列からトークンを取得する複数の分割手段と、前記文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から文書識別情報と、検索文字列と、該文字列の言語情報とを前記処理手段に入力する入力工程と、
前記入力工程により入力された言語情報に従い前記分割手段を設定する分割手段設定工程と、
前記分割手段設定工程により設定された分割手段を用いて前記入力工程により入力された検索文字列の出現位置の集合を取得する出現位置取得工程と、
前記入力工程により入力された文書識別情報のセクション区切り位置情報を前記セクション情報記憶手段から取得する区切り位置取得工程と、
前記出現位置取得工程により取得した検索文字列の出現位置と、前記区切り位置取得工程により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得工程と、
前記セクション番号取得工程により取得したセクション番号の集合を前記出力手段により出力するセクション番号出力工程と、
を行うことを特徴とする文書データの処理方法。
【請求項４０】
文書データを示す文書識別情報と検索文字列とを入力する入力手段と、前記検索文字列の言語を定める言語識別手段と、前記検索文字列からトークンを取得する複数の分割手段と、前記文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から文書識別情報と、検索文字列と、を前記処理手段に入力する入力工程と、
前記入力工程により入力された検索文字列の言語情報を前記言語識別手段により設定する言語情報設定工程と、
前記言語情報設定工程により設定された言語情報に従い前記分割手段を設定する分割手段設定工程と、
前記分割手段設定工程により設定された分割手段を用いて前記入力工程により入力された検索文字列の出現位置の集合を取得する出現位置取得工程と、
前記入力工程により入力された文書識別情報のセクション区切り位置情報を前記セクション情報記憶手段から取得する区切り位置取得工程と、
前記出現位置取得工程により取得した検索文字列の出現位置と、前記区切り位置取得工程により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得工程と、
前記セクション番号取得工程により取得したセクション番号の集合を前記出力手段により出力するセクション番号出力工程と、
を行うことを特徴とする文書データの処理方法。
【請求項４１】
文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、前記文書データを索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から文書識別情報を前記処理手段に入力する文書識別情報入力工程と、
前記文書識別情報入力工程により入力された文書識別情報を検索キーとして、前記処理手段が前記文書データ記憶手段から文書データを読み出す文書データ読出工程と、
前記文書データ読出工程により読み出した文書データの言語情報に応じて分割手段を選択する分割手段選択工程と、
前記分割手段選択工程により選択された分割手段を用いて前記文書データをトークンに分割する分割工程と、
前記分割工程により分割された文書データのトークンを用いて前記全文索引記憶手段から文書データを含む索引情報を削除する索引情報削除工程と、
前記文書データ読出工程により読み出した文書データを削除する文書データ削除工程と、
を行うことを特徴とする文書データの処理方法。
【請求項４２】
文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報とを格納する文書データ記憶手段と、文書データを構成する複数の言語情報と、前記文書識別情報とを格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から入力される文書識別情報を検索キーとして前記処理手段に入力する文書識別情報入力工程と、
前記文書識別情報入力工程により入力された文書識別情報を検索キーとして、前記処理手段が前記文書データ記憶手段から文書データを読み出す文書データ読出工程と、
前記文書識別情報入力工程により入力された文書識別情報を検索キーとして、前記セクション情報記憶手段から文書データを構成する複数の言語情報を読み出す言語情報読出工程と、
前記言語情報読出工程により読み出した文書データを構成する複数の言語情報に応じて、言語情報ごとに分割手段を選択する分割手段選択工程と、
前記分割手段選択工程により選択された分割手段を用いて、前記文書データ読出工程により読み出した文書データから文書データを構成する言語ごとのトークンの出現位置情報を取得する出現位置取得工程と、
前記出現位置取得工程により取得したトークンの出現位置情報を用いて、前記全文索引情報記憶手段から索引情報を削除する索引情報削除工程と、
前記文書データ読出工程により読み出した文書データを削除する文書データ削除工程と、
前記言語情報読出工程により読み出した文書データを構成する複数の言語情報を削除する言語情報削除工程と、
を行うことを特徴とする文書データの処理方法。
【請求項４３】
前記出現位置取得工程は、
トークンの正規化を行い、言語ごとのトークンの出現位置情報を取得することを特徴とする請求項４２記載の文書データの処理方法。
【請求項４４】
検索文字列を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除する文書データに関する削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から検索文字列を前記処理手段に入力する検索文字列入力工程と、
前記検索文字列入力工程により入力された検索文字列から前記分割手段を用いて前記検索文字列のトークンを取得する分割工程と、
前記分割工程により取得したトークンを検索キーとして前記全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得工程と、
前記分割工程により取得したトークンを検索キーとして前記削除情報記憶手段から検索文字列を含む索条情報を取得する削除情報取得工程と、
前記索引情報取得工程で取得した索引情報と、前記削除情報取得工程で取得した削除情報と、の差を検索結果として取得する検索結果取得工程と、
を行うことを特徴とする文書データの処理方法。
【請求項４５】
削除する文書データに関する削除情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、前記削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、
前記全文検索装置において、
前記入力手段から前記削除情報を前記処理手段に入力する削除情報入力工程と、
前記入力工程により入力された削除情報を削除情報記憶手段に記録する削除情報記録工程と、
を行い、削除する文書データとその索引情報とを前記文書データ記憶手段と、前記索引情報記憶手段から削除する代わりに前記削除情報記憶手段に記録することを特徴とする文書データの処理方法。
【請求項４６】
前記削除情報記録工程は、
削除情報を配列構造で前記削除情報記憶手段に記録することを特徴とする請求項４５記載の文書データの処理方法。
【請求項４７】
前記削除情報記憶工程は、
削除情報をビットマップ構造で前記削除情報記憶手段に記録することを特徴とする請求項４５記載の文書データの処理方法。
【請求項４８】
複数の文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として格納する全文索引記憶手段と、有する全文検索装置を用いて複数の文書データから指定された文字列を含む文書データを検索する全文検索方法であって、
前記全文検索装置において、
登録要求のある文書データに該文書データを識別する文書識別情報を割り当てる文書識別工程と、
前記登録要求のある文書データの言語に応じた分割手段を用いて前記文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として前記全文索引記憶手段に格納する索引情報登録工程と、
指定された検索文字列を、該検索文字列が使用する言語に応じた分割手段を用いて、前記検索文字列をトークンに分割し、該トークンを検索キーとして前記全文索引記憶手段を検索し、対応する文書データを検索する検索工程と、
を行うことを特徴とする全文検索方法。
【請求項４９】
文書データの言語情報を識別する文書識別手段と、複数の文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として格納する全文索引記憶手段と、有する全文検索装置を用いて複数の文書データから指定された文字列を含む文書データを検索する全文検索方法であって、
前記全文検索装置において、
登録要求のあった文書データに該文書データを識別する文書識別情報を割り当てる文書識別工程と、
前記登録要求のあった文書データの言語情報を言語識別手段により識別する第１の言語識別工程と、
前記第１の言語識別工程により識別した言語に応じた分割手段を用いて前記文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として前記全文索引記憶手段に格納する索引情報登録工程と、
指定された検索文字列の言語を前記言語識別手段により識別する第２の言語識別工程と、
前記第２の言語識別工程により識別した言語に対応するテキスト分割手段を用いて前記検索文字列をトークンに分割し、該トークンを検索キーとして前記全文索引記憶手段を検索し、対応する文書データを検索する検索工程と、
を行うことを特徴とする全文検索方法。
【請求項５０】
文書データを入力する入力手段と、前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、前記文書データを索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行される文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された文書データの言語情報に応じて前記分割手段を選択する分割手段選択処理と、
前記分割手段選択処理により選択した分割手段を用いて、前記文書データをトークンに分割する分割処理と、
前記分割処理により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を前記索引情報として前記全文索引記憶手段に登録すると共に、前記文書データと前記文書識別情報とを前記文書データ記憶手段に登録する登録処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項５１】
前記分割手段選択処理は、
前記入力手段から文書データの言語情報が入力されることで、前記処理手段が言語情報に応じて前記分割手段を選択することを特徴とする請求項５０記載の文書データの処理プログラム。
【請求項５２】
前記分割手段選択処理は、
文書データの言語情報を識別する言語識別手段を前記全文検索装置に具備することで、前記処理手段が、前記言語識別手段を用いて前記入力手段から入力された文書データの言語情報を識別し、該識別した言語情報に応じて前記分割手段を選択することを特徴とする請求項５０記載の文書データの処理プログラム。
【請求項５３】
複数の言語からなる文書データを入力する入力手段と、前記入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、前記入力手段により入力された文書データを構成する複数の言語情報と、前記文書識別情報と、を格納するセクション情報記憶手段と、前記文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行される文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された文書データを構成する言語情報に応じて前記分割手段を選択する分割手段選択処理と、
前記分割手段選択処理により選択した分割手段を用いて、前記文書データを構成する言語ごとのトークンに分割する分割処理と、
前記分割処理により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を前記索引情報として前記全文索引記憶手段に登録すると共に、前記文書データを文書識別情報と共に前記文書データ記憶手段に登録し、更に、前記文書データを構成する言語情報を文書識別情報と共に前記セクション情報記憶手段に登録する登録処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項５４】
前記分割手段選択処理は、
前記入力手段から文書データを構成する複数の言語情報が入力されることで、前記処理手段が言語情報に応じて前記分割手段を選択することを特徴とする請求項５３記載の文書データの処理プログラム。
【請求項５５】
前記分割手段選択処理は、
文書データの言語情報を識別する言語識別手段を前記全文検索装置に具備することで、前記処理手段が前記言語識別手段を用いて前記入力手段に入力された文書データを構成する複数の言語情報を識別し、該識別した言語情報に応じて前記分割手段を選択することを特徴とする請求項５３記載の文書データの処理プログラム。
【請求項５６】
前記分割処理は、
トークンの正規化を行うことを特徴とする請求項５０または５３記載の文書データの処理プログラム。
【請求項５７】
文書データを入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、前記削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行される文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された文書データを、前記分割手段を用いてトークンに分割する分割処理と、
前記分割処理により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を前記索引情報として前記全文索引記憶手段に登録すると共に、前記文書データと前記文書識別情報とを前記文書データ記憶手段に登録する登録処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項５８】
前記登録処理は、
前記索引情報を転置ファイルの形式で前記索引情報記憶手段に登録することを特徴とする請求項５７記載の文書データの処理プログラム。
【請求項５９】
検索文字列を入力する入力手段と、索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された検索文字列の言語情報に応じて前記分割手段を選択する分割手段選択処理と、
前記分割手段選択処理により選択された分割手段を用いて前記検索文字列をトークンに分割する分割処理と、
前記分割処理により分割された検索文字列のトークンを用いて前記全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項６０】
前記分割手段選択処理は、
前記入力手段から検索文字列の言語情報を入力することで、前記処理手段が言語情報に応じて前記分割手段を選択することを特徴とする請求項５５記載の文書データの処理プログラム。
【請求項６１】
前記分割手段選択処理は、
検索文字列の言語情報を識別する言語識別手段を前記全文検索装置に具備することで、前記処理手段が前記言語識別手段を用いて前記入力手段に入力された検索文字列の言語情報を識別し、該識別した言語情報に応じて前記分割手段を選択することを特徴とする請求項５５記載の文書データの処理プログラム。
【請求項６２】
前記分割処理は、
トークンの正規化を行うことを特徴とする請求項５９記載の文書データの処理プログラム。
【請求項６３】
文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、前記文書データを索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された文書識別情報を検索キーとして、前記文書データ記憶手段から文書データを読み出す文書データ読出処理と、
前記文書データ読出処理により読み出した文書データの言語情報に応じて分割手段を選択する分割手段選択処理と、
前記分割手段選択処理により選択された分割手段を用いて前記文書データをトークンに分割する分割処理と、
前記分割処理により分割された文書データのトークンを用いて前記全文索引記憶手段から文書データを含む索引情報を削除する索引情報削除処理と、
前記文書データ読出処理により読み出した文書データを削除する文書データ削除処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項６４】
文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報とを格納する文書データ記憶手段と、文書データを構成する複数の言語情報と、前記文書識別情報とを格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、前記分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された文書識別情報を検索キーとして、前記文書データ記憶手段から文書データを読み出す文書データ読出処理と、
前記入力手段から入力された文書識別情報を検索キーとして、前記セクション情報記憶手段から文書データを構成する複数の言語情報を読み出す言語情報読出処理と、
前記言語情報読出処理により読み出した文書データを構成する複数の言語情報に応じて、言語情報ごとに分割手段を選択する分割手段選択処理と、
前記分割手段選択処理により選択された分割手段を用いて、前記文書データ読出処理により読み出した文書データから文書データを構成する言語ごとのトークンの出現位置情報を取得する出現位置取得処理と、
前記出現位置取得処理により取得したトークンの出現位置情報を用いて、前記全文索引情報記憶手段から索引情報を削除する索引情報削除処理と、
前記文書データ読出処理により読み出した文書データを削除する文書データ削除処理と、
前記言語情報読出処理により読み出した文書データを構成する複数の言語情報を削除する言語情報削除処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項６５】
前記出現位置取得処理は、
トークンの正規化を行い、言語ごとのトークンの出現位置情報を取得することを特徴とする請求項６４記載の文書データの処理プログラム。
【請求項６６】
文書データを示す文書識別情報と検索文字列と該文字列の言語情報とを入力する入力手段と、前記検索文字列からトークンを取得する複数の分割手段と、前記文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された言語情報に従い前記分割手段を設定する分割手段設定処理と、
前記分割手段設定処理により設定された分割手段を用いて前記入力手段から入力された検索文字列の出現位置の集合を取得する出現位置取得処理と、
前記入力手段から入力された文書識別情報のセクション区切り位置情報を前記セクション情報記憶手段から取得する区切り位置取得処理と、
前記出現位置取得処理により取得した検索文字列の出現位置と、前記区切り位置取得処理により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得処理と、
前記セクション番号取得処理により取得したセクション番号の集合を前記出力手段により出力するセクション番号出力処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項６７】
文書データを示す文書識別情報と検索文字列とを入力する入力手段と、前記検索文字列の言語を定める言語識別手段と、前記検索文字列からトークンを取得する複数の分割手段と、前記文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された検索文字列の言語情報を前記言語識別手段により設定する言語情報設定処理と、
前記言語情報設定処理により設定された言語情報に従い前記分割手段を設定する分割手段設定処理と、
前記分割手段設定処理により設定された分割手段を用いて前記入力手段から入力された検索文字列の出現位置の集合を取得する出現位置取得処理と、
前記入力手段から入力された文書識別情報のセクション区切り位置情報を前記セクション情報記憶手段から取得する区切り位置取得処理と、
前記出現位置取得処理により取得した検索文字列の出現位置と、前記区切り位置取得処理により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得処理と、
前記セクション番号取得処理により取得したセクション番号の集合を前記出力手段により出力するセクション番号出力処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項６８】
検索文字列を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除する文書データに関する削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された検索文字列から前記分割手段を用いて前記検索文字列のトークンを取得する分割処理と、
前記分割処理により取得したトークンを検索キーとして前記全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得処理と、
前記分割処理により取得したトークンを検索キーとして前記削除情報記憶手段から検索文字列を含む索条情報を取得する削除情報取得処理と、
前記索引情報取得処理で取得した索引情報と、前記削除情報取得処理で取得した削除情報と、の差を検索結果として取得する検索結果取得処理と、
を実行させることを特徴とする文書データの処理プログラム。
【請求項６９】
削除する文書データに関する削除情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、前記削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、
前記処理手段において、
前記入力手段から入力された削除情報を削除情報記憶手段に記録する削除情報記録処理を実行させ、前記文書データ記憶手段と、前記索引情報記憶手段とから文書データとその索引情報とを削除する代わりに前記削除情報記憶手段に記録することを特徴とする文書データの処理プログラム。
【請求項７０】
前記削除情報記録処理は、
削除情報を配列構造で前記削除情報記憶手段に記録することを特徴とする請求項６９記載の文書データの処理プログラム。
【請求項７１】
前記削除情報記憶処理は、
削除情報をビットマップ構造で前記削除情報記憶手段に記録することを特徴とする請求項６９記載の文書データの処理プログラム。
【請求項７２】
複数の文書データをその文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割するテキスト分割手段と、前記テキスト分割手段によって分割されたトークンの文書データ中での出現位置情報と前記文書識別情報とを索引情報として格納する全文索引記憶手段と、を有する全文検索装置で実行し、複数の文書データから指定された文字列を含む文書データを検索する全文検索プログラムであって、
前記全文検索装置において、
登録要求のある文書データに該文書データを識別する文書識別情報を割り当てる文書識別処理と、
前記登録要求のある文書データの言語に応じた分割手段を用いて前記文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として前記全文索引記憶手段に格納する索引情報登録処理と、
指定された検索文字列を、該検索文字列が使用する言語に応じた分割手段を用いて、前記検索文字列をトークンに分割し、該トークンを検索キーとして前記全文索引記憶手段を検索し、対応する文書データを検索する検索処理と、
を実行させることを特徴とする全文検索プログラム。
【請求項７３】
複数の文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割するテキスト分割手段と、前記テキスト分割手段によって分割されたトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として格納する全文索引記憶手段と、を有する全文検索装置で実行し、複数の文書データから指定された文字列を含む文書データを検索する全文検索プログラムであって、
前記全文検索装置において、
登録要求のあった文書データに該文書データを識別する文書識別情報を割り当てる文書識別処理と、
前記登録要求のあった文書データの使用する言語を言語識別手段により識別する第１の言語識別処理と、
前記第１の言語識別処理により識別した言語に対応するテキスト分割手段を用いて前記文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、前記文書識別情報と、を索引情報として前記全文索引記憶手段に格納する索引情報登録処理と、
指定された検索文字列の言語を前記言語識別手段により識別する第２の言語識別処理と、
前記第２の言語識別処理により識別した言語に対応するテキスト分割手段を用いて前記検索文字列をトークンに分割し、該トークンを検索キーとして前記全文索引記憶手段を検索し、対応する文書データを検索する検索処理と、
を実行させることを特徴とする全文検索プログラム。
【請求項７４】
請求項５０から７１の何れか１項に記載の文書データの処理プログラムまたは請求項７２または７３に記載の全文検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の文書データから指定された文字列を含む文書データを管理する全文検索装置、文書データの処理方法、全文検索方法、文書データの処理プログラム、全文検索プログラム及び記録媒体に関し、特に、文書管理システム、電子図書館システム、特許公報検索システム、といった大量の文書データを管理する際に極めて好適な全文検索装置、文書データの処理方法、全文検索方法、文書データの処理プログラム、全文検索プログラム及び記録媒体に関する。
【０００２】
【従来の技術】
近年の情報通信技術の発達により、大量の電子化文書にアクセスできる環境が整いつつある。このような状況下において、ユーザが所望の文書を精度よく、さらには高速に検索する文書検索装置が提案されている。この文書検索装置には、キーワード検索手法や全文検索手法が用いられている。
全文検索手法は、任意の検索文字列と検索対象の全ての文書との間で照合を行い、検索文字列を含む文書を漏れなく抽出する方法である。
これにより、キーワード検索手法のように検索対象となる全ての文書に対してキーワードを予め付与する必要がない。また、ユーザが取得したいキーワードをインターネット上から検索漏れのないように取得することが可能となる。
【０００３】
なお、全文検索において、全文索引を作成するためには、テキストデータを索引単位（トークン）に分割するテキスト分割手段が必要である。
テキスト分割手段としては、Ｎ文字のつながりを単位として分割する方法や、形態素解析を用いて単語単位で分割する方法がある。
【０００４】
Ｎ文字のつながりを単位として分割する方法は、テキストをＮ文字単位に分割し、各文字列が含まれた文書の情報と、文字列の位置情報とによるインデックスを検索し、文字列間の位置関係を調べ、該当する文書を抽出する方法である。
【０００５】
また、形態素解析方法は、日本語を解析するための辞書を使用して、入力されたテキストを単語単位に分解し、該分解した単語単位の中から名詞などのキーワードとなる用語を抽出する方法である。
【０００６】
しかしながら、最も中核となる大規模インデックス作成部分の技術である全文検索技術は、様々な意味でのトレードオフが避けられない。
そこで、複数の言語の文を含む文書に対して、検索の際に用いるインデックスを作成して文書の検索を行う新規な全文検索装置がある（特許文献１参照）。
【０００７】
この特許文献１は、複数の言語の文を含む文書を格納し、該格納した文書と異なる言語の文に対応してそれぞれに形態素解析を行う。そして、文書のキーワードを抽出し、該抽出したキーワードに対応する文書の識別子と共にインデックスとして登録する。そして、入力された検索条件から単語を切り出し、該切り出した単語とインデックスとのキーワードを照合して、その照合結果により検索条件に適合する文書を読み出す。これにより、ユーザの所望に応じた多言語文書の登録や検索が可能となる。
【０００８】
また、多言語文書データに関する索引を言語ごとに分けて格納することで文書データを管理し、該管理した文書データを用いて文書データの検索を行う新規な全文検索装置がある（特許文献２参照）。
この特許文献２は、複数の言語の文字を含む多言語文書データの言語を識別し、該識別した多言語データに関する索引を言語別に作成し、言語ごとに格納する。そして、言語ごとの索引を使用して多言語データ文書の検索を行うことで、言語ごとに区別して管理することが可能となる。
【０００９】
また、本出願人による従来技術として、複数の文書をまとめて１つの文書データとして管理、または、検索できる全文検索装置がある（特許文献３参照）。
この特許文献３は、部分文書に分割された文書を１つの文書として登録し、該登録された複数の文書中から指定された文字列を含む部分文書を検索することで、部分文書単位での取り出しや、検索語の出現箇所表示を行うことが可能となる。
【００１０】
【特許文献１】
特開平９−５０４４２号公報
【特許文献２】
特開２００１−６７３６８号公報
【特許文献３】
特開２００１−２４９９４３号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、特許文献１は、１つの文書データが複数の言語から構成されているため制限が少ないが、テキスト分割手段（多言語キーワード抽出部）において、１つの文書データに対して複数の形態素解析処理を行うため、処理速度は低下すると考えられる。
また、キーワードしか抽出していないため、任意の文字列での全文検索が不可能である。
【００１２】
また、特許文献２では、１つの文書データが複数の言語からなっているため、制限が少ないが、言語別に文書データ及び索引を格納するので、登録、検索の処理速度は低下すると考えられる。
【００１３】
また、特許文献３では、複数の文書をまとめて１つの文書データとして管理、検索できるが、言語に関する記述は何ら言及されていない。
【００１４】
また、Ｎ文字のつながりを単位とするテキスト分割手段では、言語への依存性はなくなるが、分割数が増え索引単位が多くなるので次のような問題がある。
第１の問題として、全文索引記憶部に要する領域が大きくなる。
第２の問題として、登録処理、検索処理、で処理すべきデータ量が多くなるので処理速度が低下する。
【００１５】
一方、形態素解析を用いるテキスト分割手段は単語単位に分割するので索引単位の数は少なくなるが、その実装が言語に依存するという問題がある。
例えば、欧米語のようにワード間に空白がある言語の場合、テキスト分割手段はスペースなどの文字の切れ目を検出し、文字の連続部分を単語とすればよく実装が簡単である。しかし、日本語のように文書中に空白などの区切りのない言語の場合、ワード自体の識別が困難である。
従って、テキスト分割手段は、構文解析技法を用いて単語を検出する必要があり実装は難しいものになる。これは、従来の全文検索装置では、全文検索の対象とする言語を１つとし、その言語に最適な１つのテキスト分割手段しか有していないことになる。また、日本語の表記の多様性（複合語、カタカナ異表記）から、単語のインデックスを作成しても検索漏れがあった。
【００１６】
また、全文検索装置において、登録した文書の削除要求があると、文書データを記憶した文書データ記憶部と、索引情報を記憶した全文索引記憶部とから削除要求のある情報を削除していた。しかし、登録されている文書データの数が増えるに従って、全文索引のサイズが大きくなり、記憶装置への入出力に多大な時間が掛かることとなる。
【００１７】
本発明は上記事情に鑑みてなされたものであり、複数の言語に対応した全文検索装置、文書データの処理方法、全文検索方法、文書データの処理プログラム、全文検索プログラム及び記録媒体を提供することを目的とする。
【００１８】
さらに、本発明は、文書の登録処理、検索処理、削除処理の少なくとも１つの制御処理の時間を短縮させた全文検索装置、文書データの処理方法、全文検索方法、文書データの処理プログラム、全文検索プログラム及び記録媒体を提供することを目的とする。
【００１９】
【課題を解決するための手段】
かかる目的を達成するために本発明は以下のような手段を有することを特徴とする。
請求項１記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、文書データを入力する入力手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、文書データを記憶する文書データ記憶手段と、検索の際に用いる索引情報を記憶する全文索引記憶手段と、入力手段により入力された文書データの言語情報に応じて分割手段を選択し、該選択した分割手段を用いて、文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と該文書データの文書識別情報とを索引情報として全文索引記憶手段に登録すると共に、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に文書データ記憶手段に登録する登録処理手段と、を有することを特徴とする。
【００２０】
請求項２記載の発明は、請求項１記載の全文検索装置において、入力手段を用いて入力される検索文字列の言語情報に応じて分割手段を選択し、該選択した分割手段を用いて検索文字列を分割し、検索文字列に対応する索引情報を全文索引記憶手段から検索する検索処理手段を有することを特徴とする。
【００２１】
請求項３記載の発明は、請求項１記載の全文検索装置において、入力手段を用いて入力される文書識別情報の言語情報に応じて分割手段を選択し、該選択した分割手段を用いて文書識別情報に対応する索引情報を全文索引記憶手段から削除すると共に、文書識別情報に対応する文書データを文書データ記憶手段から削除する削除処理手段を有することを特徴とする。
【００２２】
請求項４記載の発明は、請求項１記載の全文検索装置において、登録処理手段は、入力手段から文書データと共に該文書データの言語情報を入力することで、言語情報に応じて分割手段を選択することを特徴とする。
【００２３】
請求項５記載の発明は、請求項１記載の全文検索装置において、入力手段により入力される文書データの言語情報を識別する言語識別手段を有し、登録処理手段は、言語識別手段により識別された言語情報に応じて分割手段を選択することを特徴とする。
【００２４】
請求項６記載の発明は、請求項２記載の全文検索装置において、検索処理手段は、入力手段から検索文字列と共に該検索文字列の言語情報を入力することで、言語情報に応じて分割手段を選択することを特徴とする。
【００２５】
請求項７記載の発明は、請求項２記載の全文検索装置において、入力手段により入力される検索文字列の言語情報を識別する言語識別手段を有し、検索処理手段は、言語識別手段により識別された言語情報に応じて分割手段を選択することを特徴とする。
【００２６】
請求項８記載の発明は、請求項３記載の全文検索装置において、入力手段により入力される文書識別情報の言語情報を識別する言語識別手段を有し、削除処理手段は、言語識別手段により識別された言語情報に応じて分割手段を選択することを特徴とする。
【００２７】
請求項９記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、文書データを入力する入力手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、文書データを格納する文書データ記憶手段と、検索の際に用いる索引情報を格納する全文索引記憶手段と、入力手段により入力された文書データの言語情報を識別する言語識別手段と、言語識別手段により識別された言語情報に応じて分割手段を選択し、該選択した分割手段を用いて、文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と該文書データの文書識別情報とを検索情報として全文索引記憶手段に登録すると共に、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に文書データ記憶手段に登録する登録処理手段と、を有することを特徴とする。
【００２８】
請求項１０記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、複数の言語からなる文書データまたは検索文字列を入力する入力手段と、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、入力手段により入力された文書データを構成する複数の言語情報と、文書識別情報とを格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報とを索引情報として格納する全文索引記憶手段と、入力手段により入力された文書データを構成する言語情報に応じて分割手段を選択し、該選択した分割手段を用いて、文書データを言語ごとにトークンに分割し、索引情報として全文索引記憶手段に登録すると共に、文書データを文書識別情報と共に文書データ記憶手段に登録し、更に、文書データを構成する言語情報を文書識別情報と共にセクション情報記憶手段に登録する登録処理手段と、入力手段により入力した検索文字列を検索キーとして全文索引記憶手段を検索し、対応する索引情報を検索する検索処理手段と、を有することを特徴とする。
【００２９】
請求項１１記載の発明は、請求項１０記載の全文検索装置において、入力手段を用いて入力された文書識別情報を検索キーとして文書データ記憶手段から読み出した文書データと、セクション情報記憶手段から読み出した文書データを構成する言語情報と、言語情報に応じた分割手段と、を基に全文索引記憶手段から索引情報を削除すると共に、文書データ記憶手段から読み出した文書データを削除し、更に、セクション情報記憶手段から読み出した言語情報を削除する削除処理手段を有することを特徴とする。
【００３０】
請求項１２記載の発明は、請求項１０記載の全文検索装置において、登録処理手段は、入力手段から文書データと共に該文書データを構成する複数の言語の情報を入力することで、言語に応じて分割手段を選択することを特徴とする。
【００３１】
請求項１３記載の発明は、請求項１０記載の全文検索装置において、入力手段により入力された文書データを構成する複数の言語を識別する言語識別手段を有し、登録処理手段は、言語識別手段により識別された言語に応じて分割手段を選択することを特徴とする。
【００３２】
請求項１４記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、複数の言語からなる文書データまたは検索文字列を入力する入力手段と、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、入力手段により入力された文書データを構成する複数の言語の区切り位置と、文書識別情報とを格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報とを索引情報として格納する全文索引記憶手段と、入力手段により入力された文書データを構成する複数の言語を識別する言語識別手段と、言語識別手段により識別された言語に応じて分割手段を選択し、該選択した分割手段を用いて、文書データを言語ごとにトークンに分割し、索引情報として全文索引記憶手段に登録すると共に、文書データを文書識別情報と共に文書データ記憶手段に登録し、更に、文書データを構成する言語の区切り位置を文書識別情報と共にセクション情報記憶手段に登録する録処理手段と、入力手段により入力した検索文字列を検索キーとして全文索引記憶手段を検索し、対応する索引情報を検索する検索処理手段と、を有することを特徴とする。
【００３３】
請求項１５記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、登録された文書データを保存する文書データ記憶手段と、検索の際に用いられる全文索引記憶手段と、文書データの登録処理、検索処理、削除処理を行う処理手段と、言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、を有し、処理手段は、文書データと共に指示された文書データの言語情報に従って分割手段を切り替えること特徴とする。
【００３４】
請求項１６記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、登録された文書データを保存する文書データ記憶手段と、検索の際に用いられる全文索引記憶手段と、文書データの登録処理、検索処理、削除処理を行う処理手段と、言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、文書データを構成する言語情報を識別する言語情報識別手段と、を有し、処理手段は、言語情報識別手段を用いて文書データの言語情報を識別し、該識別した言語情報に従って分割手段を切り替えることを特徴とする。
【００３５】
請求項１７記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、複数の言語からなる文書データと、該文書データを構成する各部分の言語情報とを入力する入力手段と、登録された文書データと、該文書データを示す文書識別情報と、指定された各部分の言語情報とを格納する文書データ記憶手段と、検索の際に用いられる全文索引記憶手段と、文書データの登録処理、検索処理を行う処理手段と、言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、を有し、処理手段は、文書データと共に指示された文書データの言語情報に従って分割手段を切り替えること特徴とする。
【００３６】
請求項１８記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、複数の言語からなる文書データを入力する入力手段と、登録された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、検索の際に用いられる全文索引記憶手段と、文書データの登録処理、検索処理、削除処理を行う処理手段と、言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、文書データを構成する各部分の言語情報を識別する言語情報識別手段と、を有し、処理手段は、言語情報識別手段を用いて文書データを構成する各部分の言語情報を識別し、該識別した言語情報に従って文書データを構成する各部分の言語ごとに分割手段を切り替えることを特徴とする。
【００３７】
請求項１９記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、複数の言語からなる文書データを、該文書データを構成する各部分文書データの言語情報と共に入力する入力手段と、登録された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、指定された各部分文書の言語情報と部分文書間の境界を示す区切り位置情報とを格納する区切り位置情報記憶手段と、検索の際に用いられる全文索引記憶手段と、文書データの登録処理、検索処理、削除処理を行う処理手段と、言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、を有し、処理手段は、文書データを構成する各部分の言語情報を識別し、該識別した言語情報に従って文書データを構成する各部分の言語ごとに分割手段を切り替え、指定された文字列を含む部分文書を高速に求めることを特徴とする。
【００３８】
請求項２０記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置において、複数の言語からなる文書データを入力する入力手段と、登録された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、指定された各部分文書の言語情報と部分文書間の境界を示す区切り位置情報とを格納する区切り位置情報記憶手段と、検索の際に用いられる全文索引記憶手段と、文書データの登録処理、検索処理、削除処理を行う処理手段と、言語に依存して文書データを索引単位（トークン）に分割する複数の分割手段と、文書データを構成する各部分の言語情報を識別する言語情報識別手段と、を有し、処理手段は、言語情報識別手段を用いて文書データを構成する各部分の言語情報を識別し、該識別した言語情報に従って文書データを構成する各部分の言語ごとに分割手段を切り替え、指定された文字列を含む部分文書を高速に求めることを特徴とする。
【００３９】
請求項２１記載の発明は、請求項１から２０の何れか１項に記載の全文検索装置において、分割手段は、トークンの正規化を行う正規化手段を有することを特徴とする。
【００４０】
請求項２２記載の発明は、複数の文書データから指定された文字列を含む文書データを検索する全文検索装置であって、複数の文書データを格納する文書データ記憶手段と、文書データ記憶手段に格納された文書データを検索する際に用いる索引情報を記憶する全文索引記憶手段と、削除する文書データに関する情報を記憶する削除情報記憶手段と、を有し、文書データ記憶手段と全文索引記憶手段とから文書データとその索引情報とを削除する代わりに削除情報記憶手段に記録することを特徴とする。
【００４１】
請求項２３記載の発明は、請求項２２記載の全文検索装置において、全文索引記憶手段は、索引情報を転置ファイルの形式で記憶することを特徴とする。
【００４２】
請求項２４記載の発明は、請求項２２記載の全文検索装置において、削除情報記憶手段は、削除情報を配列構造で記憶することを特徴とする。
【００４３】
請求項２５記載の発明は、請求項２２記載の全文検索装置において、削除情報記憶手段は、削除情報をビットマップ構造で記憶することを特徴とする。
【００４４】
請求項２６記載の発明は、文書データを入力する入力手段と、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から文書データを処理手段に入力する文書データ入力工程と、文書データ入力工程により入力された文書データの言語情報に応じて処理手段が分割手段を選択する分割手段選択工程と、分割手段選択工程により選択した分割手段を用いて、文書データをトークンに分割する分割工程と、分割工程により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶手段に登録すると共に、文書データと文書識別情報とを文書データ記憶手段に登録する登録処理工程と、を行うことを特徴とする。
【００４５】
請求項２７記載の発明は、請求項２６記載の文書データの処理方法において、分割手段選択工程は、入力手段から文書データの言語情報を処理手段に入力することで、処理手段が言語情報に応じて分割手段を選択することを特徴とする。
【００４６】
請求項２８記載の発明は、請求項２６記載の文書データの処理方法において、分割手段選択工程は、文書データの言語情報を識別する言語識別手段を全文検索装置に具備することで、処理手段は、言語識別手段を用いて入力手段から入力された文書データの言語情報を識別し、該識別した言語情報に応じて分割手段を選択することを特徴とする。
【００４７】
請求項２９記載の発明は、複数の言語からなる文書データを入力する入力手段と、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、入力手段により入力された文書データを構成する複数の言語情報と、文書識別情報と、を格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から複数の言語からなる文書データを処理手段に入力する入力工程と、入力工程により入力された文書データを構成する言語情報に応じて分割手段を選択する分割手段選択工程と、分割手段選択工程により選択した分割手段を用いて、文書データを構成する言語ごとのトークンに分割する分割工程と、分割工程により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶手段に登録すると共に、文書データを文書識別情報と共に文書データ記憶手段に登録し、更に、文書データを構成する言語情報を文書識別情報と共にセクション情報記憶手段に登録する登録処理工程と、を行うことを特徴とする。
【００４８】
請求項３０記載の発明は、請求項２９記載の文書データの処理方法において、分割手段選択工程は、入力手段から文書データを構成する複数の言語情報を入力することで、処理手段が言語情報に応じて分割手段を選択することを特徴とする。
【００４９】
請求項３１記載の発明は、請求項２９記載の文書データの処理方法において、分割手段選択工程は、文書データの言語情報を識別する言語識別手段を全文検索装置に具備することで、処理手段が言語識別手段を用いて入力手段に入力された文書データを構成する複数の言語情報を識別し、該識別した言語情報に応じて分割手段を選択することを特徴とする。
【００５０】
請求項３２記載の発明は、請求項２６または２９記載の文書データの処理方法において、分割工程は、トークンの正規化を行うことを特徴とする。
【００５１】
請求項３３記載の発明は、文書データを入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から文書データを処理手段に入力する文書データ入力工程と、文書データ入力工程により入力された文書データを、分割手段を用いてトークンに分割する分割工程と、分割工程により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶手段に登録すると共に、文書データと文書識別情報とを文書データ記憶手段に登録する登録処理工程と、を行うことを特徴とする。
【００５２】
請求項３４記載の発明は、請求項３３記載の文書データの処理方法において、登録処理工程は、索引情報を転置ファイルの形式で索引情報記憶手段に登録することを特徴とする。
【００５３】
請求項３５記載の発明は、検索文字列を入力する入力手段と、索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から検索文字列を検索キーとして処理手段に入力する検索文字列入力工程と、検索文字列入力工程により入力された検索文字列の言語情報に応じて処理手段が分割手段を選択する分割手段選択工程と、分割手段選択工程により選択された分割手段を用いて検索文字列をトークンに分割する分割工程と、分割工程により分割された検索文字列のトークンを用いて全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得工程と、を行うことを特徴とする。
【００５４】
請求項３６記載の発明は、請求項３５記載の文書データの処理方法において、分割手段選択工程は、入力手段から検索文字列の言語情報を入力することで、処理手段が言語情報に応じて分割手段を選択することを特徴とする。
【００５５】
請求項３７記載の発明は、請求項３５記載の文書データの処理方法において、分割手段選択工程は、検索文字列の言語情報を識別する言語識別手段を全文検索装置に具備することで、処理手段が言語識別手段を用いて入力手段に入力された検索文字列の言語情報を識別し、該識別した言語情報に応じて分割手段を選択することを特徴とする。
【００５６】
請求項３８記載の発明は、請求項３５記載の文書データの処理方法において、分割工程は、トークンの正規化を行うことを特徴とする。
【００５７】
請求項３９記載の発明は、文書データを示す文書識別情報と検索文字列と該文字列の言語情報とを入力する入力手段と、検索文字列からトークンを取得する複数の分割手段と、文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から文書識別情報と、検索文字列と、該文字列の言語情報とを処理手段に入力する入力工程と、入力工程により入力された言語情報に従い分割手段を設定する分割手段設定工程と、分割手段設定工程により設定された分割手段を用いて入力工程により入力された検索文字列の出現位置の集合を取得する出現位置取得工程と、入力工程により入力された文書識別情報のセクション区切り位置情報をセクション情報記憶手段から取得する区切り位置取得工程と、出現位置取得工程により取得した検索文字列の出現位置と、区切り位置取得工程により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得工程と、セクション番号取得工程により取得したセクション番号の集合を出力手段により出力するセクション番号出力工程と、を行うことを特徴とする。
【００５８】
請求項４０記載の発明は、文書データを示す文書識別情報と検索文字列とを入力する入力手段と、検索文字列の言語を定める言語識別手段と、検索文字列からトークンを取得する複数の分割手段と、文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から文書識別情報と、検索文字列と、を処理手段に入力する入力工程と、入力工程により入力された検索文字列の言語情報を言語識別手段により設定する言語情報設定工程と、言語情報設定工程により設定された言語情報に従い分割手段を設定する分割手段設定工程と、分割手段設定工程により設定された分割手段を用いて入力工程により入力された検索文字列の出現位置の集合を取得する出現位置取得工程と、入力工程により入力された文書識別情報のセクション区切り位置情報をセクション情報記憶手段から取得する区切り位置取得工程と、出現位置取得工程により取得した検索文字列の出現位置と、区切り位置取得工程により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得工程と、セクション番号取得工程により取得したセクション番号の集合を出力手段により出力するセクション番号出力工程と、を行うことを特徴とする。
【００５９】
請求項４１記載の発明は、文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から文書識別情報を処理手段に入力する文書識別情報入力工程と、文書識別情報入力工程により入力された文書識別情報を検索キーとして、処理手段が文書データ記憶手段から文書データを読み出す文書データ読出工程と、文書データ読出工程により読み出した文書データの言語情報に応じて分割手段を選択する分割手段選択工程と、分割手段選択工程により選択された分割手段を用いて文書データをトークンに分割する分割工程と、分割工程により分割された文書データのトークンを用いて全文索引記憶手段から文書データを含む索引情報を削除する索引情報削除工程と、文書データ読出工程により読み出した文書データを削除する文書データ削除工程と、を行うことを特徴とする。
【００６０】
請求項４２記載の発明は、文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報とを格納する文書データ記憶手段と、文書データを構成する複数の言語情報と、文書識別情報とを格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から入力される文書識別情報を検索キーとして処理手段に入力する文書識別情報入力工程と、文書識別情報入力工程により入力された文書識別情報を検索キーとして、処理手段が文書データ記憶手段から文書データを読み出す文書データ読出工程と、文書識別情報入力工程により入力された文書識別情報を検索キーとして、セクション情報記憶手段から文書データを構成する複数の言語情報を読み出す言語情報読出工程と、言語情報読出工程により読み出した文書データを構成する複数の言語情報に応じて、言語情報ごとに分割手段を選択する分割手段選択工程と、分割手段選択工程により選択された分割手段を用いて、文書データ読出工程により読み出した文書データから文書データを構成する言語ごとのトークンの出現位置情報を取得する出現位置取得工程と、出現位置取得工程により取得したトークンの出現位置情報を用いて、全文索引情報記憶手段から索引情報を削除する索引情報削除工程と、文書データ読出工程により読み出した文書データを削除する文書データ削除工程と、言語情報読出工程により読み出した文書データを構成する複数の言語情報を削除する言語情報削除工程と、を行うことを特徴とする。
【００６１】
請求項４３記載の発明は、請求項４２記載の文書データの処理方法において、出現位置取得工程は、トークンの正規化を行い、言語ごとのトークンの出現位置情報を取得することを特徴とする。
【００６２】
請求項４４記載の発明は、検索文字列を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除する文書データに関する削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から検索文字列を処理手段に入力する検索文字列入力工程と、検索文字列入力工程により入力された検索文字列から分割手段を用いて検索文字列のトークンを取得する分割工程と、分割工程により取得したトークンを検索キーとして全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得工程と、分割工程により取得したトークンを検索キーとして削除情報記憶手段から検索文字列を含む索条情報を取得する削除情報取得工程と、索引情報取得工程で取得した索引情報と、削除情報取得工程で取得した削除情報と、の差を検索結果として取得する検索結果取得工程と、を行うことを特徴とする。
【００６３】
請求項４５記載の発明は、削除する文書データに関する削除情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置を用いた文書データの処理方法であって、全文検索装置において、入力手段から削除情報を処理手段に入力する削除情報入力工程と、入力工程により入力された削除情報を削除情報記憶手段に記録する削除情報記録工程と、を行い、削除する文書データとその索引情報とを文書データ記憶手段と、索引情報記憶手段から削除する代わりに削除情報記憶手段に記録することを特徴とする。
【００６４】
請求項４６記載の発明は、請求項４５記載の文書データの処理方法において、削除情報記録工程は、削除情報を配列構造で削除情報記憶手段に記録することを特徴とする。
【００６５】
請求項４７記載の発明は、請求項４５記載の文書データの処理方法において、削除情報記憶工程は、削除情報をビットマップ構造で削除情報記憶手段に記録することを特徴とする。
【００６６】
請求項４８記載の発明は、複数の文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として格納する全文索引記憶手段と、有する全文検索装置を用いて複数の文書データから指定された文字列を含む文書データを検索する全文検索方法であって、全文検索装置において、登録要求のある文書データに該文書データを識別する文書識別情報を割り当てる文書識別工程と、登録要求のある文書データの言語に応じた分割手段を用いて文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として全文索引記憶手段に格納する索引情報登録工程と、指定された検索文字列を、該検索文字列が使用する言語に応じた分割手段を用いて、検索文字列をトークンに分割し、該トークンを検索キーとして全文索引記憶手段を検索し、対応する文書データを検索する検索工程と、を行うことを特徴とする。
【００６７】
請求項４９記載の発明は、文書データの言語情報を識別する文書識別手段と、複数の文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として格納する全文索引記憶手段と、有する全文検索装置を用いて複数の文書データから指定された文字列を含む文書データを検索する全文検索方法であって、全文検索装置において、登録要求のあった文書データに該文書データを識別する文書識別情報を割り当てる文書識別工程と、登録要求のあった文書データの言語情報を言語識別手段により識別する第１の言語識別工程と、第１の言語識別工程により識別した言語に応じた分割手段を用いて文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として全文索引記憶手段に格納する索引情報登録工程と、指定された検索文字列の言語を言語識別手段により識別する第２の言語識別工程と、第２の言語識別工程により識別した言語に対応するテキスト分割手段を用いて検索文字列をトークンに分割し、該トークンを検索キーとして全文索引記憶手段を検索し、対応する文書データを検索する検索工程と、を行うことを特徴とする。
【００６８】
請求項５０記載の発明は、文書データを入力する入力手段と、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行される文書データの処理プログラムであって、処理手段において、入力手段から入力された文書データの言語情報に応じて分割手段を選択する分割手段選択処理と、分割手段選択処理により選択した分割手段を用いて、文書データをトークンに分割する分割処理と、分割処理により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶手段に登録すると共に、文書データと文書識別情報とを文書データ記憶手段に登録する登録処理と、を実行させることを特徴とする。
【００６９】
請求項５１記載の発明は、請求項５０記載の文書データの処理プログラムにおいて、分割手段選択処理は、入力手段から文書データの言語情報が入力されることで、処理手段が言語情報に応じて分割手段を選択することを特徴とする。
【００７０】
請求項５２記載の発明は、請求項５０記載の文書データの処理プログラムにおいて、分割手段選択処理は、文書データの言語情報を識別する言語識別手段を全文検索装置に具備することで、処理手段が、言語識別手段を用いて入力手段から入力された文書データの言語情報を識別し、該識別した言語情報に応じて分割手段を選択することを特徴とする。
【００７１】
請求項５３記載の発明は、複数の言語からなる文書データを入力する入力手段と、入力手段により入力された文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、入力手段により入力された文書データを構成する複数の言語情報と、文書識別情報と、を格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行される文書データの処理プログラムであって、処理手段において、入力手段から入力された文書データを構成する言語情報に応じて分割手段を選択する分割手段選択処理と、分割手段選択処理により選択した分割手段を用いて、文書データを構成する言語ごとのトークンに分割する分割処理と、分割処理により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶手段に登録すると共に、文書データを文書識別情報と共に文書データ記憶手段に登録し、更に、文書データを構成する言語情報を文書識別情報と共にセクション情報記憶手段に登録する登録処理と、を実行させることを特徴とする。
【００７２】
請求項５４記載の発明は、請求項５３記載の文書データの処理プログラムにおいて、分割手段選択処理は、入力手段から文書データを構成する複数の言語情報が入力されることで、処理手段が言語情報に応じて分割手段を選択することを特徴とする。
【００７３】
請求項５５記載の発明は、請求項５３記載の文書データの処理プログラムにおいて、分割手段選択処理は、文書データの言語情報を識別する言語識別手段を全文検索装置に具備することで、処理手段が言語識別手段を用いて入力手段に入力された文書データを構成する複数の言語情報を識別し、該識別した言語情報に応じて分割手段を選択することを特徴とする。
【００７４】
請求項５６記載の発明は、請求項５０または５３記載の文書データの処理プログラムにおいて、分割処理は、トークンの正規化を行うことを特徴とする。
【００７５】
請求項５７記載の発明は、文書データを入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行される文書データの処理プログラムであって、処理手段において、入力手段から入力された文書データを、分割手段を用いてトークンに分割する分割処理と、分割処理により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として全文索引記憶手段に登録すると共に、文書データと文書識別情報とを文書データ記憶手段に登録する登録処理と、を実行させることを特徴とする。
【００７６】
請求項５８記載の発明は、請求項５７記載の文書データの処理プログラムにおいて、登録処理は、索引情報を転置ファイルの形式で索引情報記憶手段に登録することを特徴とする。
【００７７】
請求項５９記載の発明は、検索文字列を入力する入力手段と、索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された検索文字列の言語情報に応じて分割手段を選択する分割手段選択処理と、分割手段選択処理により選択された分割手段を用いて検索文字列をトークンに分割する分割処理と、分割処理により分割された検索文字列のトークンを用いて全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得処理と、を実行させることを特徴とする。
【００７８】
請求項６０記載の発明は、請求項５５記載の文書データの処理プログラムにおいて、分割手段選択処理は、入力手段から検索文字列の言語情報を入力することで、処理手段が言語情報に応じて分割手段を選択することを特徴とする。
【００７９】
請求項６１記載の発明は、請求項５５記載の文書データの処理プログラムにおいて、分割手段選択処理は、検索文字列の言語情報を識別する言語識別手段を全文検索装置に具備することで、処理手段が言語識別手段を用いて入力手段に入力された検索文字列の言語情報を識別し、該識別した言語情報に応じて分割手段を選択することを特徴とする。
【００８０】
請求項６２記載の発明は、請求項５９記載の文書データの処理プログラムにおいて、分割処理は、トークンの正規化を行うことを特徴とする。
【００８１】
請求項６３記載の発明は、文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する複数の分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された文書識別情報を検索キーとして、文書データ記憶手段から文書データを読み出す文書データ読出処理と、文書データ読出処理により読み出した文書データの言語情報に応じて分割手段を選択する分割手段選択処理と、分割手段選択処理により選択された分割手段を用いて文書データをトークンに分割する分割処理と、分割処理により分割された文書データのトークンを用いて全文索引記憶手段から文書データを含む索引情報を削除する索引情報削除処理と、文書データ読出処理により読み出した文書データを削除する文書データ削除処理と、を実行させることを特徴とする。
【００８２】
請求項６４記載の発明は、文書データを示す文書識別情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報とを格納する文書データ記憶手段と、文書データを構成する複数の言語情報と、文書識別情報とを格納するセクション情報記憶手段と、文書データを言語ごとに索引単位（トークン）に分割する複数の分割手段と、分割手段により分割されたトークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された文書識別情報を検索キーとして、文書データ記憶手段から文書データを読み出す文書データ読出処理と、入力手段から入力された文書識別情報を検索キーとして、セクション情報記憶手段から文書データを構成する複数の言語情報を読み出す言語情報読出処理と、言語情報読出処理により読み出した文書データを構成する複数の言語情報に応じて、言語情報ごとに分割手段を選択する分割手段選択処理と、分割手段選択処理により選択された分割手段を用いて、文書データ読出処理により読み出した文書データから文書データを構成する言語ごとのトークンの出現位置情報を取得する出現位置取得処理と、出現位置取得処理により取得したトークンの出現位置情報を用いて、全文索引情報記憶手段から索引情報を削除する索引情報削除処理と、文書データ読出処理により読み出した文書データを削除する文書データ削除処理と、言語情報読出処理により読み出した文書データを構成する複数の言語情報を削除する言語情報削除処理と、を実行させることを特徴とする。
【００８３】
請求項６５記載の発明は、請求項６４記載の文書データの処理プログラムにおいて、出現位置取得処理は、トークンの正規化を行い、言語ごとのトークンの出現位置情報を取得することを特徴とする。
【００８４】
請求項６６記載の発明は、文書データを示す文書識別情報と検索文字列と該文字列の言語情報とを入力する入力手段と、検索文字列からトークンを取得する複数の分割手段と、文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された言語情報に従い分割手段を設定する分割手段設定処理と、分割手段設定処理により設定された分割手段を用いて入力手段から入力された検索文字列の出現位置の集合を取得する出現位置取得処理と、入力手段から入力された文書識別情報のセクション区切り位置情報をセクション情報記憶手段から取得する区切り位置取得処理と、出現位置取得処理により取得した検索文字列の出現位置と、区切り位置取得処理により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得処理と、セクション番号取得処理により取得したセクション番号の集合を出力手段により出力するセクション番号出力処理と、を実行させることを特徴とする。
【００８５】
請求項６７記載の発明は、文書データを示す文書識別情報と検索文字列とを入力する入力手段と、検索文字列の言語を定める言語識別手段と、検索文字列からトークンを取得する複数の分割手段と、文書識別情報のセクション区切り位置情報を格納するセクション情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、出力手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された検索文字列の言語情報を言語識別手段により設定する言語情報設定処理と、言語情報設定処理により設定された言語情報に従い分割手段を設定する分割手段設定処理と、分割手段設定処理により設定された分割手段を用いて入力手段から入力された検索文字列の出現位置の集合を取得する出現位置取得処理と、入力手段から入力された文書識別情報のセクション区切り位置情報をセクション情報記憶手段から取得する区切り位置取得処理と、出現位置取得処理により取得した検索文字列の出現位置と、区切り位置取得処理により取得したセクション区切り位置情報と、を比較し検索文字列の出現するセクション番号の集合を取得するセクション番号取得処理と、セクション番号取得処理により取得したセクション番号の集合を出力手段により出力するセクション番号出力処理と、を実行させることを特徴とする。
【００８６】
請求項６８記載の発明は、検索文字列を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除する文書データに関する削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された検索文字列から分割手段を用いて検索文字列のトークンを取得する分割処理と、分割処理により取得したトークンを検索キーとして全文索引記憶手段から検索文字列を含む索引情報を取得する索引情報取得処理と、分割処理により取得したトークンを検索キーとして削除情報記憶手段から検索文字列を含む索条情報を取得する削除情報取得処理と、索引情報取得処理で取得した索引情報と、削除情報取得処理で取得した削除情報と、の差を検索結果として取得する検索結果取得処理と、を実行させることを特徴とする。
【００８７】
請求項６９記載の発明は、削除する文書データに関する削除情報を入力する入力手段と、文書データと、該文書データを示す文書識別情報と、を格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割する分割手段と、トークンの文書データ中での出現位置情報と、該文書データの文書識別情報と、を索引情報として格納する全文索引記憶手段と、削除情報を記憶する削除情報記憶手段と、文書データの登録、検索、削除の処理を行う処理手段と、を有する全文検索装置で実行させる文書データの処理プログラムであって、処理手段において、入力手段から入力された削除情報を削除情報記憶手段に記録する削除情報記録処理を実行させ、文書データ記憶手段と、索引情報記憶手段とから文書データとその索引情報とを削除する代わりに削除情報記憶手段に記録することを特徴とする。
【００８８】
請求項７０記載の発明は、請求項６９記載の文書データの処理プログラムにおいて、削除情報記録処理は、削除情報を配列構造で削除情報記憶手段に記録することを特徴とする。
【００８９】
請求項７１記載の発明は、請求項６９記載の文書データの処理プログラムにおいて、削除情報記憶処理は、削除情報をビットマップ構造で削除情報記憶手段に記録することを特徴とする。
【００９０】
請求項７２記載の発明は、複数の文書データをその文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割するテキスト分割手段と、テキスト分割手段によって分割されたトークンの文書データ中での出現位置情報と文書識別情報とを索引情報として格納する全文索引記憶手段と、を有する全文検索装置で実行し、複数の文書データから指定された文字列を含む文書データを検索する全文検索プログラムであって、全文検索装置において、登録要求のある文書データに該文書データを識別する文書識別情報を割り当てる文書識別処理と、登録要求のある文書データの言語に応じた分割手段を用いて文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として全文索引記憶手段に格納する索引情報登録処理と、指定された検索文字列を、該検索文字列が使用する言語に応じた分割手段を用いて、検索文字列をトークンに分割し、該トークンを検索キーとして全文索引記憶手段を検索し、対応する文書データを検索する検索処理と、を実行させることを特徴とする。
【００９１】
請求項７３記載の発明は、複数の文書データを、該文書データを示す文書識別情報と共に格納する文書データ記憶手段と、文書データを索引単位（トークン）に分割するテキスト分割手段と、テキスト分割手段によって分割されたトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として格納する全文索引記憶手段と、を有する全文検索装置で実行し、複数の文書データから指定された文字列を含む文書データを検索する全文検索プログラムであって、全文検索装置において、登録要求のあった文書データに該文書データを識別する文書識別情報を割り当てる文書識別処理と、登録要求のあった文書データの使用する言語を言語識別手段により識別する第１の言語識別処理と、第１の言語識別処理により識別した言語に対応するテキスト分割手段を用いて文書データをトークンに分割し、該分割したトークンの文書データ中での出現位置情報と、文書識別情報と、を索引情報として全文索引記憶手段に格納する索引情報登録処理と、指定された検索文字列の言語を言語識別手段により識別する第２の言語識別処理と、第２の言語識別処理により識別した言語に対応するテキスト分割手段を用いて検索文字列をトークンに分割し、該トークンを検索キーとして全文索引記憶手段を検索し、対応する文書データを検索する検索処理と、を実行させることを特徴とする。
【００９２】
請求項７４記載の発明は、請求項５０から７１の何れか１項に記載の文書データの処理プログラムまたは請求項７２または７３に記載の全文検索プログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００９３】
【発明の実施の形態】
（第１の実施の形態）
以下、添付図面を参照しながら本発明に係る実施の形態を詳細に説明する。
まず、図１を参照しながら第１の実施の形態における全文検索の構成を説明する。
第１の実施の形態における全文検索は、入力手段１と、出力手段２と、登録処理手段３と、削除処理手段４と、検索処理手段５と、テキスト分割手段６と、文書データ記憶部７と、全文索引記憶部８と、を有して構成される。
【００９４】
入力手段１は、文書データ、文書データの言語情報、文書データを識別するための識別子（文書識別子）、検索条件、言語種別等を入力する。
出力手段２は、全文検索による検索結果を出力する。
登録処理手段３は、入力手段１から入力された言語情報等を文書データ記憶部７や全文索引記憶部８に記録する。また入力された言語情報に従いテキスト分割手段６を定める。
削除処理手段４は、文書データ記憶部７や全文索引記憶部８から言語情報等を読み出し削除する。また文書データ記憶部７から読み出した言語情報に従いテキスト分割手段６を定める。
検索処理手段５は、全文索引を用いて文書識別子の集合を得る。また、入力手段１から入力された言語情報に従いテキスト分割手段６を定める。
【００９５】
次に、図２を参照しながら本実施の形態における全文検索装置のハードウェア構成について説明する。
図２に示すように全文検索装置は、入力装置２０と、出力装置２１と、主制御装置２２と、記憶装置２３と、入出力制御装置２４と、を有して構成される。
【００９６】
上記構成において、入力装置２０は入力手段１に、出力装置２１は出力手段２にて実現される。また、主制御装置２２は登録処理手段３と、削除処理手段４と、検索処理手段５と、の各種処理手段にて実現される。なお、記憶装置２３は文書データ記憶部７と、全文索引記憶部８と、の各種記憶部に相当する。例えば、１つの限られた記憶装置を用いて本発明にかかる全文検索を行う場合、検索処理をメインに行うか、または、登録、削除処理をメインに行うかで、その使用する領域を割り当てる。これにより処理を効率的に行うことが可能となる。なお、主制御装置２２にはＣＰＵ、メモリ等が用いられる。また、入出力制御装置２４は、主制御装置２２の制御信号に従って入力装置２０及び出力装置２１を制御する。
【００９７】
また、図３を参照しながら本実施の形態におけるクライアント／サーバでのハードウェア構成を説明する。
クライアント２５は、入力装置２０と、出力装置２１と、主制御装置２２と、ネットワーク制御装置２６と、入出力制御装置２４と、を有して構成されている。
サーバ２７は、ネットワーク制御装置２６と、主制御装置２２と、記憶装置２３と、を有して構成されている。なお、クライアント２５とサーバ２７とはネットワーク２８を介して接続されている。
【００９８】
上記構成において、入力装置２０は入力手段１に、出力装置２１は出力手段２にて実現される。また、主制御装置２２は、登録処理手段３と、削除処理手段４と、検索処理手段５と、の各種処理手段にて実現される。なお、記憶装置２３は文書データ記憶部７と、全文検索記憶部８と、の各種記憶部に相当する。また、ネットワーク制御装置２６は、ネットワーク２８を介してクライアント２５とサーバ２７との間のデータ伝送等の制御を行う。さらに、クライアント２５の入出力制御装置２４は、主制御装置２２の制御信号に従って入力装置２０及び出力装置２１を制御する。
【００９９】
ここで、本発明にかかる全文検索における処理動作の概要を説明する。
第１段階として、検索データを収集する。この検索データは、ローカルディスク上のデータであることもあり、イントラネット内部にロボットを走らせて収集したデータであることもある。また、インターネット全体にロボットを走らせる事もある。
第２段階として、第１段階で収集した検索データを文書ファイルに通し、インデクサにおいてインデクシングする。
次に、実際の運用段階である第３段階として、クライアントからの検索要求に対して検索エンジン部分のインデックスを用いて検索し、検索結果をクライアントに返す。
【０１００】
ここで、上記第３段階において用いるインデックスを作成するために欠かす事の出来ない分割手段の一例として形態素解析について説明する。
日本語などの文書では単語間に空白がなく区切られていないので、そのままの文書では基本とする検索インデックスを作成することが出来ない。そこで、形態素辞書と形態素に関する文法の知識を用いて、文書を単語単位に「分かち書き」し、それぞれにおける語の構文上の役割を決める形態素解析を用いる。「分かち書き」とは、文書を書く時に語と語、または、文節と文節の間に空白を置く書き方である。
【０１０１】
なお、形態素とは、それ以上分割出来ない語の単位であり、一般的には、意味を持つ最小の要素のことをいい、文はこの形態素で構成される。例えば、「文書を検索する」という文を、「文書」、「を」、「検索」、「する」、という形態素に分割することで、それぞれの形態素に意味を与え、構文解析や意味解析、文脈理解などの自然言語処理に活用する。
【０１０２】
形態素解析を行うための重要な処理は、「分かち書き」と「単語の品詞の同定」と「辞書にない語の処理」との３つであるが、形態素に分解する際、その切り出しには多様な組み合わせがあり、さらに切り出された方法には品詞上の多様な方法が発生する。
【０１０３】
主な解析方法を以下に述べる。
最長一致法は、与えられた文字列を右から順に走査し、辞書に登録されている単語のうち最も長く一致するものを選択する方法である。
また、字種切り法は、区切り符号（句読点など）、漢字、カタカナ、英字、数字、平仮名など、字種の切れ目を利用して、優先度でまとめて切る方法である。
【０１０４】
また、文節数最小法は、文書を文節数が最小になるように切る方法である。
なお、文節とは、「名詞＋助詞」、「動詞」などのまとまりを言う。
また、接続規則法は、単語Ａの次に単語Ｂが接続可能かどうかを記載した接続表を用いる方法である。単語では組み合わせが膨大になるため、品詞の接続、字種の接続、熟語を形成する接続などの規則を適用する。
【０１０５】
このように形態解析方式の全文検索システムでは、形態素とその形態素に与えられた意味情報を用いて、キーワードの自動抽出や索引（検索インデックス）作成、あるいは、自然言語インターフェースを実現している。
【０１０６】
（文書の登録処理）
次に、第１の実施の形態における文書データの登録の処理手順を図４に示すフローチャートを参照しながら説明する。
文書データの登録処理を実行するには、まずクライアントが文書データを作成し（ステップＳ１）、入力手段１から該作成した文書データとその文書データの言語情報とを登録処理手段３に入力し登録する（ステップＳ２）。次に、登録処理手段３は、入力手段１から登録された文書データと言語情報とを文書データ記憶部７に保存し、同時にその文書データを示す識別子（文書識別子）を定める（ステップＳ３）。
文書識別子の一例としては、入力された文書データ毎にＮＯ．１、ＮＯ．２等の文書番号を付けることで設定することも可能である。
【０１０７】
次に、登録処理手段３は入力された言語情報に従い使用するテキスト分割手段６を定める（ステップＳ４）。これにより、言語情報に依存したテキスト分割手段６を定めることが可能となる。
次に、登録処理手段３は、ステップＳ４で定めたテキスト分割手段６を用いて入力手段１により入力された文書データから部分文字列（トークン）と、そのトークンの出現位置情報を得る（ステップＳ５）。
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、登録処理手段３により文書識別子と各トークンの出現位置情報を全文索引記憶部８に記録する（ステップＳ６）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されないのでそのままの状態で登録処理手段３により文書識別子と各トークンの出現位置情報とを全文索引記憶部８に記録する（ステップＳ６）。
【０１０８】
このように、全文検索装置において、入力手段１により入力された言語情報に従い、使用するテキスト分割手段６を定めることで、言語情報に依存したテキスト分割手段６を使用して得られたトークンの出現位置情報を全文索引記憶部８に記録することができる。
従って、複数の言語の文書データを単一のシステムで管理することが可能となり、登録する文書の言語ごとにシステムを使い分ける必要がなくなる。
【０１０９】
また、全文検索装置において文書データの登録時に索引単位の表記を正規化して格納することで、検索時においても検索語の表記を正規化して処理を行うことにより利用者の表記によらない検索結果を求めることが可能となる。このとき行われる表記の正規化も言語に依存する処理である。
【０１１０】
例えば、英語では単数形・複数形の正規化、活用形の正規化、音標記号の表記の正規化、大文字・小文字の正規化などの処理が正規化処理になる。日本語の場合には、漢字の正字・異体字の正規化、カタカナの表記の正規化（「インターフェース」、「インターフェイス」、「インタフェイス」を同じ物とするなど）、記号の表記の正規化（括弧類、引用符、中黒のあるなしなど）、全角・半角の正規化などの処理が正規化処理になる。
【０１１１】
（文書の検索処理）
次に、第１の実施の形態における文書データの検索の処理手順を図５に示すフローチャートを参照しながら説明する。
文書データの検索処理を実行するには、まずクライアントが入力手段１から検索文字列と該検索文字列の言語情報とを検索処理手段５に入力し、検索処理手段５に登録する（ステップＳ１０）。次に、検索処理手段５は、入力手段１から入力された言語情報に従い使用するテキスト分割手段６を定める（ステップＳ１１）。これにより、言語情報に依存したテキスト分割手段６を定めることが可能となる。
【０１１２】
次に、検索処理手段５は入力された言語情報に従って定めたテキスト分割手段６を用いて検索文字列からトークンを得る（ステップＳ１２）。
ここで、テキスト分割手段６が表記の正規化機能を有する場合には、トークンは正規化され検索処理手段５により全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を全文索引記憶部８から取得する（ステップＳ１３）。
また、テキスト分割手段６が正規化機能を有しない場合には、トークンは正規化されずにそのままの状態で検索処理手段５により全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を全文索引記憶部８から取得する（ステップＳ１３）。
【０１１３】
次に、検索処理手段５は出力手段２を通じて利用者に検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を出力する（ステップＳ１４）。
【０１１４】
このように、全文検索装置において、入力手段１により入力された言語情報に従い、使用するテキスト分割手段６を定めることで、言語情報に依存したテキスト分割手段６を使用して得られたトークンを用いて文書データの文書識別子の集合（Ｒｓ）を取得することが可能となる。
従って、複数の言語の文書データを単一のシステムで管理することが可能となり、検索する文書の言語ごとにシステムを使い分ける必要がなくなる。
【０１１５】
また、全文検索装置において文書データの検索時に索引単位の表記を正規化して検索することで、利用者の表記によらない検索結果を求めることが可能となる。このとき行われる表記の正規化も言語に依存する処理である。
【０１１６】
例えば、欧米語を対象とするステミングは言語に依存する処理である。ステミングとは、語の語幹を基に検索を行うことで、例えば、英語の「ｗａｌｋｅｄ」、「ｗａｌｋｅｒ」、「ｗａｌｋｉｎｇ」はステミングにより「ｗａｌｋ」となり、これらの語を同時に検索結果とすることができる処理である。
【０１１７】
（文書の削除処理）
次に、第１の実施の形態における文書データの削除の処理手順を図６に示すフローチャートを参照しながら説明する。
文書データの削除処理を実行するには、まずクライアントが入力手段１から削除する文書の文書識別子を削除処理手段４に入力する（ステップＳ２０）。次に、削除処理手段４は、入力手段１から入力された文書識別子に対応する文書データと該文書データの言語情報とを文書データ記憶部７から読み出す（ステップＳ２１）。
【０１１８】
次に、削除処理手段４は、ステップＳ２１により文書データ記憶部７から読み出した言語情報に従い、使用するテキスト分割手段６を定める（ステップＳ２２）。
これにより、言語情報に依存したテキスト分割手段６を使用することが可能となる。そして、削除処理手段４は、該定めたテキスト分割手段６を用いて文書データから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ２３）。
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、削除処理手段４によりトークンの出現位置情報を全文索引記憶部８から削除する（ステップＳ２４）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されずそのままの状態で削除処理手段４によりトークンの出現位置情報を全文索引記憶部８から削除する（ステップＳ２４）。
次に、削除処理手段４は文書データ記憶部７から文書識別子に対応する文書データおよび言語情報を削除する（ステップＳ２５）。
【０１１９】
このように、全文検索装置において、文書データ記憶部７から読み出した言語情報に従い、使用するテキスト分割手段６を定めることで、言語情報に依存したテキスト分割手段６を使用して得られたトークンの出現位置情報を全文索引記憶部８から削除することができる。
従って、複数の言語の文書データを単一のシステムで管理することが可能となり、削除する文書の言語ごとにシステムを使い分ける必要がなくなる。
【０１２０】
また、全文検索装置において文書データの削除時に索引単位の表記を正規化することで、利用者の表記によらない削除処理を行うことが可能となる。
【０１２１】
このように第１の実施の形態は、文書データの登録、検索、削除の各処理において、文書データと共に入力される言語情報に従ってテキスト分割手段６を切り替えることで、異なる言語で記載された複数の文書データを単一のシステムで管理することができる。従って利用者は、登録する文書の言語ごとにシステムを使い分ける必要がなくなる。
【０１２２】
また、テキスト分割手段６にテキストの表記の正規化機能を設けたことにより、文書データの表記の正規化を行った全文索引を作成することが可能となる。従って、利用者は、表記の揺れによらず検索結果を得ることができる。
【０１２３】
（第２の実施の形態）
次に、第２の実施の形態について説明する。
図７に本発明に係る第２の実施の形態における全文検索の構成を示す。
第２の実施の形態における全文検索装置は、入力手段１と、出力手段２と、登録処理手段３と、削除処理手段４と、検索処理手段５と、分割手段６と、文書データ記憶部７と、全文索引記憶部８と、言語識別手段９と、を有して構成される。
【０１２４】
第２の実施の形態は、登録された文書データの言語を識別する言語識別手段９を設けたことを特徴としている。この言語識別手段９は、登録処理手段３と、削除処理手段４と、検索処理手段５と、により制御され、文書データの言語の設定処理を行う。
これにより、登録処理手段３は言語識別手段９を用いることで、入力手段１から入力された文書データの言語が識別され、言語の設定が可能となる。
同様に削除処理手段４は言語識別手段９を用いることで、文書データ記憶部７から読み出した文書データの言語が識別され、言語の設定が可能となる。
また、検索処理手段５は言語識別手段９を用いることで、入力手段１から入力された検索文字列の言語が識別され、言語の設定が可能となる。
【０１２５】
（文書の登録処理）
次に、第２の実施の形態における文書データの登録の処理手順を図８に示すフローチャートを参照しながら説明する。
文書データの登録処理を実行するには、まずクライアントが文書データを作成し（ステップＳ３０）、入力手段１から該作成した文書データを登録処理手段３に登録する（ステップＳ３１）。次に、登録処理手段３は登録された文書データを文書データ記憶部７に保存し、同時にその文書データを示す識別子（文書識別子）を定める（ステップＳ３２）。
【０１２６】
次に、登録処理手段３は言語識別手段９を用いて文書データの言語を定め（ステップＳ３３）、該定めた言語に従い使用するテキスト分割手段６を定める（ステップＳ３４）。そして、登録処理手段３はステップＳ３４で定めたテキスト分割手段６を用いて文書データから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ３５）。
ここで、テキスト分割手段６が表記の正規化機能を有する場合には、トークンは正規化され登録処理手段３により文書識別子と各トークンの出現位置情報とを全文索引記憶部８に記録する（ステップＳ３６）。
また、テキスト分割手段６が正規化機能を有しない場合には、トークンは正規化されずそのままの状態で登録処理手段３により文書識別子と各トークンの出現位置情報とを全文索引記憶部８に記録する（ステップＳ３６）。
【０１２７】
このように、全文検索装置は、入力手段１から入力された文書データの言語を、言語識別手段９を用いて識別し、文書データの言語を定めることで、文書データを入力手段１から登録処理手段３に登録する際に言語情報を付与する必要がなくなる。
従って、利用者は登録の際の処理工程を簡略することが可能となる。
【０１２８】
（文書の検索処理）
次に、第２の実施の形態における文書データの検索の処理手順を図９に示すフローチャートを参照しながら説明する。
文書データの検索処理を実現するためには、まずクライアントが入力手段１から検索文字列を検索処理手段５に入力する（ステップＳ４０）。次に、検索処理手段５は言語識別手段９を用いて該入力された検索文字列の言語を定める（ステップＳ４１）。次に、検索処理手段５は、ステップＳ４１で定めた言語に従い使用するテキスト分割手段６を定める（ステップＳ４２）。
【０１２９】
次に、検索処理手段５は、ステップＳ４２で定めたテキスト分割手段６を用いて検索文字列からトークンを得る（ステップＳ４３）。
ここで、テキスト分割手段６が表記の正規化機能を有する場合には、トークンは正規化され、検索処理手段５により全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を取得し（ステップＳ４４）、出力手段２を通じて利用者に検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を出力する（ステップＳ４５）。
また、テキスト分割手段６が正規化機能を有しない場合には、トークンを正規化せずにそのままの状態で検索処理手段５により全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を取得し（ステップＳ４４）、出力手段２を通じて利用者に検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を出力する（ステップＳ４５）。
【０１３０】
このように、全文検索装置は、入力手段１から入力された検索文字列の言語を、言語識別手段９を用いて識別し、検索文字列の言語を定めることで、検索文字列を入力手段１から検索処理手段５に登録する際に言語情報を付与する必要がなくなる。
従って、利用者は検索の際の処理工程を簡略することが可能となる。
【０１３１】
（文書の削除処理）
次に、第２の実施の形態における文書データの削除の処理手順を図１０に示すフローチャートを参照しながら説明する。
文書データの削除処理を実行するには、まずクライアントが入力手段１から削除する文書の文書識別子を削除処理手段４に入力する（ステップＳ５０）。次に、削除処理手段４は、入力手段１から入力された文書識別子に対応する文書データを文書データ記憶部７から読み出し（ステップＳ５１）、該読み出した文書データと言語識別手段９を使用し該読み出した文書データの言語を定める（ステップＳ５２）。
【０１３２】
次に、削除処理手段４は、ステップＳ５２で定めた言語に従い使用するテキスト分割手段６を定める（ステップＳ５３）。そして、削除処理手段４は、ステップＳ５３で定めたテキスト分割手段６を用いて文書データから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ５４）。
【０１３３】
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、削除処理手段４によりトークンの出現位置情報を全文索引記憶部８から削除する（ステップＳ５５）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されずにそのままの状態で削除処理手段４によりトークンの出現位置情報を全文索引記憶部８から削除する（ステップＳ５５）。
次に、削除処理手段４は文書データ記憶部７から文書識別子に対応する文書データを削除する（ステップＳ５６）。
【０１３４】
このように、全文検索装置は、文書データ記憶部７から読み出した文書データの言語を、言語識別手段９を用いて識別し、文書データの言語を定めることで、文書データ記憶部７から文書データを読み出す際に言語情報も読み出す必要がなくなる。
従って、文書データ記憶部７に、文書データと文書データに対応する言語情報とを格納せずに、文書データのみを保存して管理することで、文書データ記憶部７に記録する情報を減少させることが可能となる。
【０１３５】
このように第２の実施の形態は、文書データの言語を識別する言語識別手段９を設けたことにより、文書データに対応する言語情報を定める際の処理動作を簡略化することが可能となる。
また、文書データ記憶部７に言語情報を記録する必要がなくなり、文書データ記憶部７の容量を有効に活用することが可能となる。
また、テキスト分割手段６にテキストの表記の正規化機能を設けたことにより、文書データの表記の正規化を行った全文索引を作成することが可能となる。従って、利用者は、表記の揺れによらず検索結果を得ることができる。
【０１３６】
（第３の実施の形態）
次に、本発明に係る第３の実施の形態について説明する。
本発明に係る第３の実施の形態は、図１１に示されるように削除情報記憶部１０を新たに設け、文書の削除を行う際に、トークンの出現位置情報を全文索引記憶部８から削除する代わりに、該トークンの出現位置情報を得る文書識別子を削除情報記憶部１０に記録して、該記録した文書識別子を管理することを特徴としている。
これにより利用者からの削除要求に対して全文索引記憶部８からの削除は行わず、削除データの情報を別に管理することで削除要求に対するレスポンスタイムを向上させることができる。
【０１３７】
（文書の登録処理）
次に、第３の実施の形態における文書データの登録の処理手順を図１２に示すフローチャートを参照しながら説明する。
文書データの登録処理を実行するには、まずクライアントが文書を作成し（ステップＳ６０）、入力手段１から該作成した文書データを登録処理手段３に入力し登録する（ステップＳ６１）。次に、登録処理手段３は登録された文書データを文書データ記憶部７に保存し、同時にその文書データを示す識別子（文書識別子）を定める（ステップＳ６２）。
【０１３８】
次に、登録処理手段３は、テキスト分割手段６を用いて文書データから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ６３）。
なお、テキスト分割手段で使用される分割手法については、Ｎ文字組をトークンとする手法でも可能であり、また、形態素解析を行い、単語をトークンとする手法でも可能である。
次に、登録処理手段３は、文書識別子と、ステップＳ６３で得た各トークンの出現位置情報とを全文索引記憶部８に記録する（ステップＳ６４）。
【０１３９】
次に、図１３を参照しながら転置ファイル方式の全文索引について説明する。
登録文書データを文書１、文書２とし、その内容が図１３に示された（ａ）、（ｂ）であるとする。ここで各文書の左の数字は文字列の先頭からの文字数を表している。つまり、文書１では「全文検索」は先頭から１１文字目、「方法」は２０、６０文字目、「全文検索方法」は３１文字目に出現していることを意味する。
また、文書２では「検索方法」は先頭から１文字目、「方法」は２４文字目、「全文」は３０、４２文字目に出現していることを意味する。
ここで、２文字組を部分文字列とする場合、文書中の全ての部分文字列を抽出し、それらの文書内での出現位置（先頭からの文字数）を部分文字列毎にまとめて索引に記録する。
例えば、文書１からは「全文」が１１、３１文字目の位置、「文検」が１２、３２文字目の位置、「検索」が１３、３３文字目の位置、「索方」が３４文字目の位置に出現しているので、索引に記録する。
索引では、文書内での出現位置だけではなく、どの文書に出現したかを識別するための文書識別子と出現回数を加えて記録するので、図１３（ｃ）のような形式になる。
例えば、「全文」に対する｛１、２、（１１、３１）｝において、「１」は文書識別子を示し、「２」は出現回数を示し、「（１１、３１）」は、出現位置を示す。
従って、「全文」に対する｛１、２、（１１、３１）｝は、「文書１には「全文」は２回出現し、その出現位置は１１、３１文字目である」という情報を示す。
また、｛２、２、（３０、４２）｝は、「文書２には「全文」は２回出現し、その出現位置は３０、４２文字目である」という情報を示す。
【０１４０】
（文書の検索処理）
次に、第３の実施の形態における文書データの検索の処理手順を図１４に示すフローチャートを参照しながら説明する。
文書データの検索処理を実行するには、まずクライアント２５が入力手段１から検索文字列を検索処理手段５に入力する（ステップＳ７０）。
次に、検索処理手段５はテキスト分割手段６を用いて該入力した検索文字列からトークンを得る（ステップＳ７１）。そして、取得したトークンを検索キーとして全文索引記憶部８から検索文字列を含む文書データを示す文書識別子の集合（Ｒｓ）を得る（ステップＳ７２）。
さらに、検索処理手段５は、該取得したトークンを検索キーとして削除情報記憶部１０から削除済みの文書データを示す文書識別子の集合（Ｒｄ）を得る（ステップＳ７３）。
【０１４１】
次に、検索処理手段５は、ステップＳ７２で得た、全文索引記憶部８から検索した文書識別子の集合（Ｒｓ）と、ステップＳ７３で得た、削除情報記憶部１０から取得した削除済みの文書データを示す文書識別子の集合（Ｒｄ）とを用いて、文書識別子の集合（Ｒｓ）から文書識別子の集合（Ｒｄ）を減算し、該減算により得られた検索結果Ｒを、出力手段を通じて出力する（ステップＳ７４）。
【０１４２】
ここで、図１３の（ｃ）の全文索引を参照しながら検索処理の具体例を説明する。
検索文字列を「全文検索」と仮定すると、テキスト分割手段６は「全文」、「文検」、「検索」の３個のトークンを抽出する。次に、全文索引の対応するトークンの３つの転置リストを調べる。それぞれのトークン出現位置の差が１であるものを探すと文書識別子１の１１文字目と３１文字目に「全文検索」が存在することが分かる。
【０１４３】
（文書の削除処理）
次に、第３の実施の形態における文書データの削除の処理手順を図１５に示すフローチャートを参照しながら説明する。
文書データの削除処理を実行するには、まずクライアントが入力手段１から削除する文書の文書識別子を削除処理手段４に入力する（ステップＳ８０）。
次に、削除処理手段４は、該入力された文書識別子を削除情報記憶部１０に記録する（ステップＳ８１）。以上の処理により文書の削除処理が終了する。
【０１４４】
このように本実施の形態は、図６、図１０のフローチャートで示すような全文索引記憶部８からの削除は行わず、利用者からの削除要求に対して削除する文書データの文書識別子を単独で管理することで削除要求に対するレスポンスタイムを向上させることができる。
【０１４５】
ここで、図１６、図１７を参照しながら削除情報記憶部１０のデータ構造の一例を説明する。
まず、図１６に示された例は、削除文書識別子を要素とする配列で管理する方式（配列構造方式）であり、図１６に示された例では、１、５、１０、２、２５、１４が削除された文書データの識別子である。このデータ構造の場合、図１４に示された検索処理手順のステップＳ７２〜７４では、以下の処理手順によって検索結果（Ｒ）を求める。
検索文字列を含む文書データを示す文書識別子の集合（Ｒｓ）のすべての文書識別子（Ｒｓ［ｊ］）に対して、Ｒｓ［ｊ］が、削除済みの文書データを示す文書識別子の集合（Ｒｄ）の中にあるか否かを検索し、Ｒｄの中になければＲにＲｓ［ｊ］を追加する。
【０１４６】
また、図１７に示された削除情報記憶部１０のデータ構造の例は、削除文書識別子を数値とするときその値の位置のビットをオン（１）とするビットマップにより管理する（ビットマップ構造方式）。図１７に示された例では、１、２、５、１０、１４、２５番目のビットがオン（１）となったビットマップである。このデータ構造の場合、図１４に示された検索処理手順のステップＳ７２〜７４では、以下の処理手順によって検索結果（Ｒ）を求める。
１．まず、Ｒｓから文書識別子を数値とするときその値の位置のビットをオン（１）とするビットマップ（Ｂｓ）を作成する。
２．次に、削除情報記憶部１０からビットマップ（Ｂｄ）を読み出す。
３．そして、ＢｓとＢｄとの排他的論理和を求める。
４．これにより、３．で得られたビットマップのオン（１）の位置を示す文書識別子が検索結果（Ｒ）となる。
【０１４７】
このように、第３の実施の形態は、削除したい文書データの文書識別子を記録する削除情報記憶部１０を個別に設け、該文書識別子を管理することで、全文索引記憶部８から出現位置情報の削除を行わずに削除処理を実現することが可能となる。
これにより、全文索引記憶部８でのトークンの出現位置情報の入出力が抑えられ、削除処理の高速化を図ることが可能となる。
【０１４８】
（第４の実施の形態）
次に、第４の実施の形態について説明する。
第１から第３の実施の形態における全文検索は、１つのシステムで複数の言語の文書データを対象とすることができることとしたが、入力手段１から入力する文書データは、１つの言語からなるという条件がある。
しかし、関連する複数の文書をまとめて１つのデータとして管理し、検索したいという要求があり、さらに各文書は異なる言語で書かれたものでもよいという要求がある。
例えば、マニュアルを管理する場合に、ある機種の日本語版、英語版、欧州各国語版の文書をまとめて１つのデータとして管理し、検索を行いたいというような要求である。
【０１４９】
第４の実施の形態は、図１８に示すように、セクション情報記憶部１１を新たに設け、複数のセクションからなる１つの文書データを構成する部分文書単位にテキスト分割手段６を切り替えて使用する。
これにより、複数の言語からなる文書を１つの文書データとして処理することが可能となる。
例えば、図１９に示すように、言語Ａと、言語Ｂと、言語Ｃとの３つのセクションからなる文書データを１つの文書データ（文書Ｘ）として作成し、該作成した文書データ（文書Ｘ）を文書データ記憶部７に記録して管理する。
【０１５０】
なお、文書データ記憶部７は、図２０に示すように、文書ＩＤ（文書識別子）と文書データとで構成されている。
従って、図１９に示す文書Ｘは、文書ＩＤ（文書識別子）を１００として文書データ記憶部７で管理され、該管理される文書Ｘは、言語Ａからなるセクション１と、言語Ｂからなるセクション２と、言語Ｃからなるセクション３と、を含む文書データとしてデータ記憶部７に保存される。
【０１５１】
また、図２１に示すように、セクション情報記憶部１１は文書ＩＤ（文書識別子）と、セクション区切り位置と言語種別との組と、で構成されている。
これは、例えば、図１９に示す文書Ｘは、文書ＩＤ（文書識別子）を１００としてセクション情報記憶部１１で管理され、該管理される文書Ｘは、１文字目から１００文字目までが言語Ａで構成され、１０１文字目から２５０文字目までが言語Ｂで構成され、２５１文字目から３８０文字目までが言語Ｃで構成されている文書データである、旨を意味する情報を付与してセクション情報記憶部１１で管理される。
【０１５２】
また、図２２に示すように、転置ファイル方式の全文索引記憶部８は、トークンと転置リストとで構成されている。
これは、例えば、図２２に示す「検索」に対する転置リスト｛１００、２、（２０、６０）｝において、「１００」は文書識別子（文書ＩＤ）を示し、「２」は出現回数を示し、「（２０、６０）」は出現位置を示す。
従って、「検索」に対する転置リスト｛１００、２、（２０、６０）｝は、「文書１００には「検索」は２回出現し、その出現位置は２０、６０文字目である」という情報を示す。
また、「ｓｅａｒｃｈ」に対する転置リスト｛１００、２、（２６０、２８０）｝は、「文書１００には「ｓｅａｒｃｈ」は２回出現し、その出現位置は２６０、２８０文字目である」という情報を示す。
【０１５３】
（文書の登録処理）
まず、第４の実施の形態における文書データの登録の処理手順を図２３に示すフローチャートを参照しながら説明する。
文書データの登録処理を実行するには、まずクライアントが複数のセクションからなる文書データを作成し（図１９参照）（ステップＳ９０）、入力手段１から該作成した文書データと各セクションの言語情報を登録処理手段３に登録する（ステップＳ９１）。次に、登録処理手段３は、該登録された文書データを文書データ記憶部７に保存し、同時にその文書データを示す識別子（文書識別子）を定める（図２０参照）（ステップＳ９２）。そして、登録処理手段３は、各セクションの区切り位置とそのセクションの言語情報との組のリストを作成し、セクション情報記憶部１１に保存する（図２１参照）（ステップＳ９３）。次に、登録処理手段３は、セクションごとに入力された言語情報に従い使用するテキスト分割手段６を定める（ステップＳ９４）。次に、登録処理手段１は、ステップＳ９４で定めたテキスト分割手段６を用いて各セクションから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ９５）。
【０１５４】
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、登録処理手段３により、トークンと文書識別子、出現回数、出現位置情報を全文索引記憶部８に記録する（図２２参照）（ステップＳ９６）。
また、テキスト分割手段６が正規化機能を有しない場合には、トークンは正規化されずそのままの状態で登録処理手段３によりトークンと文書識別子、出現回数、出現位置情報を全文索引記憶部８に記録する（図２２参照）（ステップＳ９６）。
【０１５５】
このように、各セクションの区切り位置とそのセクションの言語情報との組のリストを作成し、セクション情報記憶１１に保存し、登録処理手段３は、セクションごとに入力された言語情報に従い使用するテキスト分割手段６を定める。そして該定めたテキスト分割手段６を用いて各セクションから部分文字列（トークン）とそのトークンの出現位置情報を得ることが可能となる。
【０１５６】
（文書の検索処理）
次に、第４の実施の形態における文書データの検索の処理手順を図２４に示すフローチャートを参照しながら説明する。
文書データの検索処理を実行するには、まずクライアントが入力手段１から検索文字列とその言語情報を検索処理手段５に入力する（ステップＳ１００）。次に、検索処理手段５は、該入力された言語情報に従い使用するテキスト分割手段６を定める（ステップＳ１０１）。次に、検索処理手段５は、ステップＳ１０１で定めたテキスト分割手段６を用いて検索文字列からトークンを得る（ステップＳ１０２）。
【０１５７】
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、検索処理手段５により、全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を取得し（ステップＳ１０３）、出力手段２を通じて利用者に検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を出力する（ステップＳ１０４）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されずそのままの状態で検索処理手段５により、全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を取得し（ステップＳ１０３）、出力手段２を通じて利用者に検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を出力する（ステップＳ１０４）。
【０１５８】
（セクション検索処理）
次に、第４の実施の形態における文書データのセクション検索処理（部分文書検索処理）の処理手順を図２５、図２６を参照しながら説明する。
このセクション検索処理は、応用分野である文書管理システムなどにおける、関連する複数の文書をまとめて１つのデータとして管理し、検索したいという要求、さらに各文書は異なる言語で書かれたものでよいという要求（例えば、マニュアルを管理する場合に、ある機種の日本語版、英語版、欧州各国語版の文書をまとめて１つのデータとして管理し、検索を行いたいというような要求）に対するもので、１つの文書データを構成する部分文書単位にテキスト手分割手段６を切り替えて使用することができるものに対し、指定した文字列が出現する部分文書を高速に求めることができることを目的としたものである。
【０１５９】
セクション検索処理を実行するには、まずクライアントが入力手段１から、検索処理で求めた文書識別子と検索文字列とその言語情報を入力する（ステップＳ１１０）。次に、検索処理手段５は、入力された言語情報に従い使用するテキスト分割手段６を定める（ステップＳ１１１）。そして、検索処理手段５は、ステップＳ１１１で定めたテキスト分割手段６を用いて、検索文字列からトークンを取得する（ステップＳ１１２）。
【０１６０】
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、検索処理手段５により、全文索引（転置ファイル索引）のステップＳ１１２で求めたトークンの転置リストから、指定された文書識別子の要素のみを選択し、トークンの出現位置の集合（Ａｓ）を取得する（ステップＳ１１３）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されずそのままの状態で検索処理手段５により、全文索引（転置ファイル索引）のステップＳ１１２で求めたトークンの転置リストから、指定された文書識別子の要素のみを選択し、トークンの出現位の集合（Ａｓ）を取得する（ステップＳ１１３）。
【０１６１】
次に、検索処理手段５は、セクション情報記憶部１１から指定された文書識別子のセクション区切り位置情報（Ｄｓ）を取得する（ステップＳ１１４）。そして、検索処理手段５は、ステップＳ１１３で求めた検索文字列の出現位置情報（Ａｓ）と、ステップＳ１１４で求めたセクション区切り位置情報（Ｄｓ）とを比較し、検索文字列の出現するセクション番号の集合（Ｓｓ）を求める（ステップＳ１１５）。次に、検索処理手段５は、出力手段２を通じて利用者に検索文字列を含むセクション番号の集合（Ｓｓ）を出力する（ステップＳ１１６）。
【０１６２】
このように、検索処理手段５は、全文索引（転置ファイル索引）で求めたトークンの転置リストから、指定された文書識別子の要素のみを選択し、トークンの出現位置の集合（Ａｓ）を取得し、セクション情報記憶部１１から指定された文書識別子のセクション区切り位置情報（Ｄｓ）を取得する。そして、検索文字列の出現位置（Ａｓ）とセクション区切り位置情報（Ｄｓ）とを比較し、検索文字列の出現するセクション番号の集合（Ｓｓ）を求め、出力手段２を介して出力する。
【０１６３】
なお、検索処理手段５が自動的に文書検索処理の後にセクション検索処理を実行することも可能である。なお、この場合には、検索結果として検索文字列を含む文書データの文書識別子と検索文字列が出現するセクション（部分文書）の番号を同時に利用者に出力することが可能となる。
【０１６４】
（文書の削除処理）
次に、第４の実施の形態における文書データの削除の処理手順を図２７に示すフローチャートを参照しながら説明する。
文書データの削除処理を実行するには、まずクライアントが入力手段１から削除する文書の文書識別子を削除処理手段４に入力する（ステップＳ１２０）。次に、削除処理手段４は、該入力された文書識別子に対応する文書データを文書データ記憶部７から読み出す（ステップＳ１２１）。そして、削除処理手段４は、セクション情報記憶部１１から文書識別子に対応する文書データの各セクションの区切り位置とそのセクションの言語情報との組のリストを読み出す（ステップＳ１２２）。
【０１６５】
次に、削除処理手段４は、ステップＳ１２２で読み出した各セクションの言語情報に従い使用するテキスト分割手段６を定める（ステップＳ１２３）。そして、削除処理手段４は、ステップＳ１２３で定めたテキスト分割手段６を用いて各セクションから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ１２４）。
【０１６６】
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、削除処理手段４により、ステップＳ１２４で得たトークンの出現位置情報を全文索引記憶部８から削除する（ステップＳ１２５）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されずそのままの状態で、削除処理手段４により、ステップＳ１２４で得たトークンの出現位置情報を全文索引記憶部８から削除する（ステップＳ１２５）。
【０１６７】
次に、削除処理手段４は、ステップＳ１２１で、文書データ記憶部７から読み出した文書識別子に対応する文書データを削除する（ステップＳ１２６）。
さらに、削除処理手段４は、ステップＳ１２２で、セクション情報記憶部１１から読み出した文書識別子に対応する文書データの各セクションの区切り位置とそのセクションの言語情報との組のリストを削除する（ステップＳ１２７）。
【０１６８】
このように、削除処理手段４は、セクション情報記憶部１１から文書識別子に対応する文書データの各セクションの区切り位置とそのセクションの言語情報との組のリストを読み出し、該読み出した各セクションの言語情報に従い使用するテキスト分割手段６を定める。そして、削除処理手段４は、該定めたテキスト分割手段６を用いて各セクションから部分文字列（トークン）とそのトークンの出現位置情報を取得し、該取得したトークンの出現位置情報を全文索引記憶部８から削除することが可能となる。
【０１６９】
このように、第４の実施の形態は、セクション情報記憶部１１を設けることで、複数のセクションからなる１つの文書データを構成する部分文書単位にテキスト分割手段６を切り替えて使用する。
これにより、複数の言語からなる文書を１つの文書データとして処理することが可能となる。
【０１７０】
（第５の実施の形態）
次に、第５の実施の形態について説明する。
第５の実施の形態は、図２８に示すように、第４の実施の形態における全文検索の構成に、各セクションの言語を識別する言語識別手段９を新たに設けた構成をとる。
この言語識別手段９は、登録処理手段３と、検索処理手段５と、により制御され、各セクションの言語の設定処理を行う。
これにより、登録処理手段３は言語識別手段９を用いることで、入力手段１から入力された複数のセクションからなる文書データのセクション毎の言語が識別され、言語の設定が可能となる。
同様に、検索処理手段５は言語識別手段９を用いることで、入力手段１から入力された検索文字列の言語が識別され、言語の設定が可能となる。
以下、全文索引として転置ファイル方式の全文索引を使用した場合の処理動作について説明する。
【０１７１】
（文書の登録処理）
まず、第５の実施の形態における文書データの登録の処理手順を図２９に示すフローチャートを参照しながら説明する。
文書データの登録処理を実行するには、まずクライアントが複数のセクションからなる文書データを作成し（ステップＳ１３０）、入力手段１から該作成した文書データを登録処理手段３に入力し、登録処理手段３に登録する（ステップＳ１３１）。
次に、登録処理手段３は、登録された文書データを文書データ記憶部７に保存し、同時にその文書データを示す識別子（文書識別子）を定める（ステップＳ１３２）。次に、登録処理手段３は、言語識別手段９を用いて各セクションの言語を定め（ステップＳ１３３）、各セクションの区切り位置とそのセクションの言語情報との組のリストを作成し、セクション情報記憶部１１に記録する（ステップＳ１３４）。
【０１７２】
そして、登録処理手段３は、ステップＳ１３３で定めたセクションごとの言語情報に従い使用するテキスト分割手段６を定める（ステップＳ１３５）。そして、登録処理手段３は、該定めたテキスト分割手段６を用いて各セクションから部分文字列（トークン）とそのトークンの出現位置情報を得る（ステップＳ１３６）。
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、登録処理手段３により、トークンと文書識別子、出現回数、出現位置情報を全文索引記憶部８に記録する（ステップＳ１３７）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化させず、そのままの状態で登録処理手段３により、トークンと文書識別子、出現回数、出現位置情報を全文索引記憶部８に記録する（ステップＳ１３７）。
【０１７３】
このように、言語識別手段９を用いて、登録処理手段３に登録された複数のセクションからなる文書データの各セクションの言語を定め、各セクションの区切り位置とそのセクションの言語情報とのリストを作成し、記録することで、入力手段１から複数のセクションからなる文書データを登録処理手段３に記録する際に、該文書データに対応する各セクションの言語情報を付与して登録処理手段３に登録する必要がないため、登録処理の簡略化を図ることが可能となる。
【０１７４】
（文書の検索処理）
次に、第５の実施の形態における文書データの検索の処理手順を図３０に示すフローチャートを参照しながら説明する。
文書データの検索処理を実行するには、まずクライアントが入力手段１から検索文字列を検索処理手段５に入力する（ステップＳ１４０）。
次に、検索処理手段５は、言語識別手段９を用いて該入力された検索文字列の言語を定める（ステップＳ１４１）。次に、検索処理手段５は、ステップＳ１４１で定めた言語に従い、使用するテキスト分割手段６を定める（ステップＳ１４２）。そして、検索処理手段５は、該定めたテキスト分割手段６を用いて検索文字列からトークンを得る（ステップＳ１４３）。
【０１７５】
ここで、テキスト分割手段６は、表記の正規化機能を有する場合は、トークンは正規化され、検索処理手段５により全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を得る（ステップＳ１４４）。
また、テキスト分割手段６は、正規化機能を有しない場合は、トークンは正規化されずそのままの状態で検索処理手段５により、全文索引を用いて検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を得る（ステップＳ１４４）。
【０１７６】
次に、検索処理手段５は、出力手段２を通じて利用者に検索文字列を含む文書データの文書識別子の集合（Ｒｓ）を出力する（ステップＳ１４５）。
【０１７７】
このように、言語識別手段９を用いて検索処理手段５に入力された検索文字列の言語を定めることで、検索文字列を検索処理手段５に入力する際に、検索文字列に対応する言語情報を付与して検索処理手段５に入力する必要がないため、検索処理の簡略化を図ることが可能となる。
【０１７８】
（セクション検索処理）
次に、第５の実施の形態における文書データのセクション検索処理（部分文書検索処理）の処理手順について図３１、図３２を参照しながら説明する。
セクション検索処理を実行するには、まずクライアントが入力手段１から、検索処理で求めた文書識別子と検索文字列とを入力する（ステップＳ１５０）。次に、検索処理手段５は、言語識別手段５を用いて検索文字列の言語情報を定める（ステップＳ１５１）。次に、検索処理手段５は、ステップＳ１５１で定めた言語情報に従い使用するテキスト分割手段６を定める（ステップＳ１５２）。そして、検索処理手段５は、ステップＳ１５２で定めたテキスト分割手段６を用いて、検索文字列からトークンを取得する（ステップＳ１５３）。
【０１７９】
ここで、テキスト分割手段６が表記の正規化機能を有する場合は、トークンは正規化され、検索処理手段５により、全文索引（転置ファイル索引）のステップＳ１５３で求めたトークンの転置リストから、指定された文書識別子の要素のみを選択し、トークンの出現位置の集合（Ａｓ）を取得する（ステップＳ１５４）。
また、テキスト分割手段６が正規化機能を有しない場合は、トークンは正規化されずそのままの状態で検索処理手段５により、全文索引（転置ファイル索引）のステップＳ１５３で求めたトークンの転置リストから、指定された文書識別子の要素のみを選択し、トークンの出現位置の集合（Ａｓ）を取得する（ステップＳ１５４）。
【０１８０】
次に、検索処理手段５は、セクション情報記憶部１１から指定された文書識別子のセクション区切り位置情報（Ｄｓ）を取得する（ステップＳ１５５）。そして、検索処理手段５は、ステップＳ１５４で求めた検索文字列の出現位置情報（Ａｓ）と、ステップＳ１５５で求めたセクション区切り位置情報（Ｄｓ）とを比較し、検索文字列の出現するセクション番号の集合（Ｓｓ）を求める（ステップＳ１５６）。次に、検索処理手段５は、出力手段２を通じて利用者に検索文字列を含むセクション番号の集合（Ｓｓ）を出力する（ステップＳ１５７）。
【０１８１】
このように、検索処理手段５は、全文索引（転置ファイル索引）で求めたトークンの転置リストから、指定された文書識別子の要素のみを選択し、トークンの出現位置の集合（Ａｓ）を取得し、セクション情報記憶部１１から指定された文書識別子のセクション区切り位置情報（Ｄｓ）を取得する。そして、検索文字列の出現位置（Ａｓ）とセクション区切り位置情報（Ｄｓ）とを比較し、検索文字列の出現するセクション番号の集合（Ｓｓ）を求め、出力手段２を介して出力する。
【０１８２】
なお、検索処理手段５が自動的に文書検索処理の後にセクション検索処理を実行することも可能である。なお、この場合には、検索結果として検索文字列を含む文書データの文書識別子と検索文字列が出現するセクション（部分文書）の番号を同時に利用者に出力することが可能となる。
【０１８３】
（文書の削除処理）
次に、第５の実施の形態における文書データの削除の処理手順を説明する。
第５の実施の形態における文書データの削除処理は、第４の実施の形態における削除処理と同様な手順を踏むことで処理が行われる。
これは、セクション情報記憶部１１に、文書識別子と各セクションの言語情報を示す情報が記録されているため、言語識別手段９を用いて、言語情報を定める必要がないためである。
【０１８４】
このように、第５の実施の形態は言語識別手段９を用いることで、文書の登録処理または検索処理の際に、複数のセクションからなる文書データに対応する言語情報を入力手段１から入力する必要がないため、利用者側の文書の登録処理と検索処理との処理工程を簡略することが可能となる。
【０１８５】
なお、本発明の全文検索プログラムに係る実施の形態は、図４、５、６に示す手順に従って図１に示された各部を制御するプログラム、または、図８、９、１０に示す手順に従って図７に示された各部を制御するプログラム、または、図１２、１４、１５に示す手順に従って図１１に示された各部を制御するプログラム、または、図２３、２４、２６、２７に示す手順に従って図１８に示された各部を制御するプログラム、または、図２９、３０、３２、２７に示す手順に従って図２８に示された各部を制御するプログラムを登録処理手段３、削除処理手段４、検索処理手段５に格納し、これら各手段がこのプログラムに従って制御動作を行うことで実現される。
【０１８６】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【０１８７】
例えば、テキスト分割手段６で使用される分割手法は、多々あり、Ｎ文字組をトークンとする手法でもよいし、形態素解析をもちいて単語をトークンとする手法でもよい。
以下に、その他の分割手法例を述べる。
【０１８８】
文字成分表方式は、入力されたテキストの文字に対して、１文字または隣接する２文字からなるテーブル（これを文字成分表と呼ぶ）を作成する。この文字成分表の検索により該当する文書を抽出する方式である。
【０１８９】
パトリシアツリー方式は、文書の全ての文字から始まる文字列（Ｓｅｍｉｉｎｆｉｎｉｔｅ  Ｓｔｒｉｎｇ）のインデックスを作成する。このインデックスを検索することにより該当する文書を抽出する方式である。
【０１９０】
パターン認識方式は、入力されたテキストの文字列の情報をパターンとして認識したインデックスを作成する。検索時には、検索語のパターンを計算し、インデックスの中から、このパターンに類似するパターンを求めて該当する文書を抽出する方式である。
【０１９１】
概念検索方式は、形態素解析で単語を認識すると供に、統計処理で複合語の認識を実施。入力文書の語彙空間を抽出して検索対象の文書中から類似性の高い文書を抽出する方式である。
【０１９２】
【発明の効果】
以上の説明により明らかなように本発明は以下のような効果を奏する。
文書データと供に指示された言語情報にしたがって使用する分割手段を選択し、分割手段を切り替えることにより、複数の言語の文書データを単一のシステムで管理することができる。従って、利用者は登録する文書の言語ごとにシステムを使い分ける必要がない。
【０１９３】
また、複数のセクションからなる１つの文書データを構成する部分文書単位にテキスト分割手段６を切り替えて使用することで、複数の言語に関連のある文書を１つの文書データとして単一のシステムで管理することができる。従って、利用者は登録する文書の言語ごとにシステムを使い分ける必要がない。
【０１９４】
また、一つの文書データ中で、指定された検索文字列が出現する部分文書を高速に求めることができるので、求める部分文書を探すために、まとめた文書データ内の不要な部分文書を参照する必要がない。
【０１９５】
また、登録時に文書データの言語を識別し、使用するテキスト分割手段を切り替えることで利用者は登録時に言語情報を付与する必要がない。
【０１９６】
また、テキスト分割手段がテキストの表記の正規化機能を有することで文書データの表記の正規化を行って全文索引が作成されるので、利用者は表記の揺れによらずに検索結果を得ることができる。
【０１９７】
また、全文索引記憶手段から索引情報の削除は行わず、利用者からの削除要求に対して削除するデータの情報を別に管理することで削除要求に対するレスポンスタイムを向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施の形態における全文検索の機能ブロック図である。
【図２】スタンドアロン形態でのハードウェアの構成を示すブロック図である。
【図３】クライアント／サーバ形態でのハードウェアの構成を示すブロック図である。
【図４】第１の実施の形態における文書データの登録処理の手順を示すフローチャートである。
【図５】第１の実施の形態における文書データの検索処理の手順を示すフローチャートである。
【図６】第１の実施の形態における文書データの削除処理の手順を示すフローチャートである。
【図７】本発明に係る第２の実施の形態における全文検索の機能ブロック図である。
【図８】第２の実施の形態における文書データの登録処理の手順を示すフローチャートである。
【図９】第２の実施の形態における文書データの検索処理の手順を示すフローチャートである。
【図１０】第２の実施の形態における文書データの削除処理の手順を示すフローチャートである。
【図１１】本発明に係る第３の実施の形態における全文検索の機能ブロック図である。
【図１２】第３の実施の形態における文書データの登録処理の手順を示すフローチャートである。
【図１３】転置ファイル方式の構成について説明するための図である。
【図１４】第３の実施の形態における文書データの検索処理の手順を示すフローチャートである。
【図１５】第３の実施の形態における文書データの削除処理の手順を示すフローチャートである。
【図１６】配列構造方式で管理する削除情報記憶部の構成を示す図である。
【図１７】ビットマップ構造方式で管理する削除情報記憶部の構成を示す図である。
【図１８】本発明にかかる第４の実施の形態における全文検索の機能ブロック図である。
【図１９】３つのセクションからなる文書データの構成例を説明するための図である。
【図２０】本発明にかかる文書データ記憶部の構成を示す図である。
【図２１】本発明にかかるセクション情報記憶部の構成を示す図である。
【図２２】本発明にかかる転置ファイル方式の全文索引記憶部の構成を示す図である。
【図２３】第４の実施の形態における文書データの登録処理の手順を示すフローチャートである。
【図２４】第４の実施の形態における文書データの検索処理の手順を示すフローチャートである。
【図２５】本発明にかかる第４の実施の形態におけるセクション検索処理の機能ブロック図である。
【図２６】第４の実施の形態におけるセクション検索処理の手順を示すフローチャートである。
【図２７】第４の実施の形態における文書データの削除処理の手順を示すフローチャートである。
【図２８】本発明にかかる第５の実施の形態における全文検索の機能ブロック図である。
【図２９】第５の実施の形態における文書データの登録処理の手順を示すフローチャートである。
【図３０】第５の実施の形態における文書データの検索処理の手順を示すフローチャートである。
【図３１】本発明にかかる第５の実施の形態におけるセクション検索処理の機能ブロック図である。
【図３２】第５の実施の形態におけるセクション検索処理の手順を示すフローチャートである。
【符号の説明】
１  入力手段
２  出力手段
３  登録処理手段
４  削除処理手段
５  検索処理手段
６  テキスト分割手段
７  文書データ記憶部
８  全文索引記憶部
９  言語識別手段
１０  削除情報記憶部
１１  セクション情報記憶部
２０  入力装置
２１  出力装置
２２  主制御装置
２３  記憶装置
２４  入出力制御装置
２５  クライアント
２６  ネットワーク制御装置
２７  サーバ
２８  ネットワーク
【図１】
2004206473.tif 000003
【図２】
2004206473.tif 000004
【図３】
2004206473.tif 000005
【図４】
2004206473.tif 000006
【図５】
2004206473.tif 000007
【図６】
2004206473.tif 000008
【図７】
2004206473.tif 000009
【図８】
2004206473.tif 000010
【図９】
2004206473.tif 000011
【図１０】
2004206473.tif 000012
【図１１】
2004206473.tif 000013
【図１２】
2004206473.tif 000014
【図１３】
2004206473.tif 000015
【図１４】
2004206473.tif 000016
【図１５】
2004206473.tif 000017
【図１６】
2004206473.tif 000018
【図１７】
2004206473.tif 000019
【図１８】
2004206473.tif 000020
【図１９】
2004206473.tif 000021
【図２０】
2004206473.tif 000022
【図２１】
2004206473.tif 000023
【図２２】
2004206473.tif 000024
【図２３】
2004206473.tif 000025
【図２４】
2004206473.tif 000026
【図２５】
2004206473.tif 000027
【図２６】
2004206473.tif 000028
【図２７】
2004206473.tif 000029
【図２８】
2004206473.tif 000030
【図２９】
2004206473.tif 000031
【図３０】
2004206473.tif 000032
【図３１】
2004206473.tif 000033
【図３２】
2004206473.tif 000034