(57)【要約】  利用者が、検索の目的に応じて、検索再現率、検索適合率及び検索速度に関し、これらの相対的重要度又は優先度を任意に指定することで、検索性能条件を任意に設定変更できるようにする。  提供される類似文書検索システムは、検索対象文書群Ａを収集する文書収集部１と、利用者が、検索要求文書Ｂを入力すると共に、検索性能条件Ｃを任意に指定するための検索条件入力部２と、類似文書検索部３とからなり、該類似文書検索部３は、指定された検索性能条件に応じて、検索性能を動的に調整又は設定する動的性能調整機能１０（検索性能設定手段）を有し、該動的性能調整機能１０の働きにより調整又は設定された検索性能の下で、検索要求文書に類似する文書を検索する。
2011077889.tif 000002
【特許請求の範囲】
【請求項１】
利用者によって任意に指定された検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定手段を備え、
該検索性能設定手段によって調整又は設定された検索性能の下で、検索要求文書に類似する類似文書を検索することを特徴とする類似文書検索装置。
【請求項２】
利用者によって数値的に任意に指定された検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定手段を備え、
該検索性能設定手段によって調整又は設定された検索性能の下で、検索要求文書に類似する類似文書を検索することを特徴とする類似文書検索装置。
【請求項３】
前記検索性能条件は、前記類似文書の検索再現率、検索適合率又は検索速度、又はこれらの任意の組み合せに着目して指定されることを特徴とする請求項１又は２記載の類似文書検索装置。
【請求項４】
前記検索性能設定手段は、文書から抽出される文字列情報の最小分割要素で、検索の最小単位をなす意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、算出された特異性値を尺度として、前記検索性能を動的に調整又は設定することを特徴とする請求項１、２又は３記載の類似文書検索装置。
【請求項５】
前記検索性能設定手段は、
前記検索要求文書から抽出された各文字列情報の最小分割要素たる、前記各意味小片に対応する前記特異性値と、前記検索性能条件とに基づいて、対象となる前記文字列情報について、少なくとも１文字重複して連続する複数の前記意味小片を一区切りにまとめたものと定義される意味断片の長さの上限を規制する断片最大特異性値を算出し、算出された当該断片最大特異性値に基づいて検索クエリを生成することで、前記検索性能を動的に調整又は設定することを特徴とする請求項４記載の類似文書検索装置。
【請求項６】
前記検索性能設定手段は、
意味小片フィルタ部を備え、該意味小片フィルタ部は、少なくとも１文字重複して分割された複数の前記意味小片のうち、所定の閾値に満たない特異性値を有する意味小片をふるい落として、前記意味断片からなる前記検索クエリの構成要素から除外することを特徴とする請求項５記載の類似文書検索装置。
【請求項７】
前記所定の閾値は、利用者によって任意に指定された検索性能条件に基づいて、変動することを特徴とする請求項６記載の類似文書検索装置。
【請求項８】
検索対象文書群内の該当する各文書にあらわれる、検索の最小単位である前記意味小片の位置情報を記述する転置索引データを作成する文書登録手段と、
該文書登録手段が作成した前記転置索引データを保管する転置索引保管手段と、
前記検索性能設定手段が作成した前記検索クエリに基づいて、前記転置索引保管手段から前記検索要求文書に類似する類似文書候補を検索する類似候補検索手段と、
検索された前記類似文書候補の類似度を算出する類似度算出手段とをさらに備えてなることを特徴とする請求項５又は６記載の類似文書検索装置。
【請求項９】
前記検索性能設定手段は、
入力された前記検索要求文書を分析して、単数又は複数の文字列情報を抽出する文書解析手段と、
前記検索要求文書から抽出された前記各文字列情報を少なくとも１文字重複して連続する前記意味小片に分割する意味小片分割手段と、
前記転置索引保管手段に保管されている前記意味小片の前記特異性値を算出する意味小片特異性算出手段と、
算出された前記意味小片の前記特異性値を保管する意味小片特異性保管手段と、
前記検索要求文書の前記各文字列情報を構成する前記各意味小片について、前記意味小片特異性算出手段から読み出された前記特異性値と、前記利用者によって指定された前記検索性能条件とに基づいて、前記断片最大特異性値を算出する断片最大特異性算出手段と、
算出された前記断片最大特異性値に基づいて、前記検索クエリを生成する検索クエリ生成手段とを備えてなることを特徴とする請求項８記載の類似文書検索装置。
【請求項１０】
前記検索クエリ生成手段は、
前記検索要求文書から抽出された前記各文字列情報について、先頭から前記意味小片を取出し、少なくとも１文字重複して連続する複数の前記意味小片を、これらの特異性値の合計が、前記断片最大特異性値を超えず、かつ、前記断片最大特異性値との差分が最小となる条件を満たす態様で、区切ってゆき、区切りによってまとめられる各意味小片群を前記意味断片として、前記検索クエリを作成することを特徴とする請求項９記載の類似文書検索装置。
【請求項１１】
類義語辞書を格納する類義語辞書格納手段と、
前記検索要求文書から抽出された前記各文字列情報に含まれる単語の類義語を前記類義語辞書格納手段から検索して類義語情報を生成する類義語検索手段とを備え、
前記意味小片分割手段は、
前記類義語検索手段によって生成された前記類義語情報に基づいて、前記検索要求文書から抽出された前記各文字列情報を類義語で置換して類義語展開情報を作成し、作成された前記類義語展開情報を少なくとも１文字重複して連続する前記意味小片に分割し、
前記断片最大特異性算出手段は、
前記類義語展開情報の最小分割要素たる前記各意味小片に対応する前記特異性値も考慮に入れて、前記断片最大特異性値を算出し、
前記検索クエリ生成手段は、前記類義語展開情報の分割最小要素たる前記各意味小片も含めて、前記検索クエリを生成することを特徴とする請求項９又は１０記載の類似文書検索装置。
【請求項１２】
検索対象文書群を収集する文書収集手段と、
利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力手段と、
指定された前記検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定手段とを備え、
該検索性能設定手段によって調整又は設定された検索性能の下で、検索要求文書に類似する類似文書を検索することを特徴とする類似文書検索システム。
【請求項１３】
検索対象文書群を収集する文書収集手段と、
利用者が、検索要求文書を入力すると共に、検索性能条件を数値的に任意に指定するための検索条件入力手段と、
指定された前記検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定手段とを備え、
該検索性能設定手段によって調整又は設定された検索性能の下で、検索要求文書に類似する類似文書を検索することを特徴とする類似文書検索システム。
【請求項１４】
前記検索性能条件は、前記類似文書の検索再現率、検索適合率又は検索速度、又はこれらの任意の組み合せに着目して指定されることを特徴とする請求項１２又は１３記載の類似文書検索システム。
【請求項１５】
前記検索性能設定手段は、文書から抽出される文字列情報の最小分割要素で、検索の最小単位をなす意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、算出された特異性値を尺度として、前記検索性能を動的に調整又は設定することを特徴とする請求項１２、１３又は１４記載の類似文書検索システム。
【請求項１６】
前記検索性能設定手段は、
前記検索要求文書に含まれる文字列情報の最小分割要素たる、前記各意味小片に対応する前記特異性値と、前記検索性能条件とに基づいて、対象となる前記文字列情報について、少なくとも１文字重複して連続する複数の前記意味小片を一区切りにまとめたものと定義される意味断片の長さの上限を規制する断片最大特異性値を算出し、算出された当該断片最大特異性値に基づいて検索クエリを生成することで、前記検索性能を動的に調整又は設定することを特徴とする請求項１５記載の類似文書検索システム。
【請求項１７】
前記検索性能設定手段は、
意味小片フィルタ部を備え、該意味小片フィルタ部は、少なくとも１文字重複して分割された複数の前記意味小片のうち、所定の閾値に満たない特異性値を有する意味小片をふるい落として、前記意味断片からなる前記検索クエリの構成要素から除外することを特徴とする請求項１６記載の類似文書検索システム。
【請求項１８】
前記所定の閾値は、利用者によって任意に指定された検索性能条件に基づいて、変動することを特徴とする請求項１７記載の類似文書検索システム。
【請求項１９】
検索対象文書群内の該当する各文書にあらわれる、検索の最小単位である前記意味小片の位置情報を記述する転置索引データを作成する文書登録手段と、
該文書登録手段が作成した前記転置索引データを保管する転置索引保管手段と、
前記検索性能設定手段が作成した前記検索クエリに基づいて、前記転置索引保管手段から前記検索要求文書に類似する類似文書候補を検索する類似候補検索手段と、
検索された前記類似文書候補の類似度を算出する類似度算出手段とをさらに備えてなることを特徴とする請求項１６又は１７記載の類似文書検索システム。
【請求項２０】
前記検索性能設定手段は、
入力された前記検索要求文書を分析して、単数又は複数の文字列情報を抽出する文書解析手段と、
前記検索要求文書から抽出された前記各文字列情報を少なくとも１文字重複して連続する前記意味小片に分割する意味小片分割手段と、
前記転置索引保管手段に保管されている前記意味小片の前記特異性値を算出する意味小片特異性算出手段と、
算出された前記意味小片の前記特異性値を保管する意味小片特異性保管手段と、
前記検索要求文書の前記各文字列情報を構成する前記各意味小片について、前記意味小片特異性算出手段から読み出された前記特異性値と、前記利用者によって指定された前記検索性能条件とに基づいて、前記断片最大特異性値を算出する断片最大特異性算出手段と、
該断片最大特異性算出手段が算出した前記断片最大特異性値に基づいて、前記検索クエリを生成する検索クエリ生成手段とを備えてなることを特徴とする請求項１９記載の類似文書検索システム。
【請求項２１】
前記検索クエリ生成手段は、
前記検索要求文書から抽出された前記各文字列情報について、先頭から前記意味小片を取出し、少なくとも１文字重複して連続する複数の前記意味小片を、これらの特異性値の合計が、前記断片最大特異性値を超えず、かつ、前記断片最大特異性値との差分が最小となる条件を満たす態様で、区切ってゆき、区切りによってまとめられる各意味小片群を前記意味断片として、前記検索クエリを作成することを特徴とする請求項２０記載の類似文書検索システム。
【請求項２２】
類義語辞書を格納する類義語辞書格納手段と、
前記検索要求文書から抽出された前記各文字列情報に含まれる単語の類義語を前記類義語辞書格納手段から検索して類義語情報を生成する類義語検索手段とを備え、
前記意味小片分割手段は、
前記類義語検索手段によって生成された前記類義語情報に基づいて、前記検索要求文書から抽出された前記各文字列情報を類義語で置換して類義語展開情報を作成し、作成された前記類義語展開情報を少なくとも１文字重複して連続する前記意味小片に分割し、
前記断片最大特異性算出手段は、
前記類義語展開情報の最小分割要素たる前記各意味小片に対応する前記特異性値も考慮に入れて、前記断片最大特異性値を算出し、
前記検索クエリ生成手段は、前記類義語展開情報の分割最小要素たる前記各意味小片も含めて、前記検索クエリを生成することを特徴とする請求項２０又は２１記載の類似文書検索システム。
【請求項２３】
検索対象文書群を収集する文書収集処理と、
利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力処理と、
指定された前記検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定処理とを含み、
該検索性能設定処理によって調整又は設定された検索性能の下で、検索要求文書に類似する類似文書を検索することを特徴とする類似文書検索方法。
【請求項２４】
検索対象文書群を収集する文書収集処理と、
利用者が、検索要求文書を入力すると共に、検索性能条件を数値的に任意に指定するための検索条件入力処理と、
指定された前記検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定処理とを含み、
該検索性能設定処理によって調整又は設定された検索性能の下で、検索要求文書に類似する類似文書を検索することを特徴とする類似文書検索方法。
【請求項２５】
前記類似文書の検索再現率、検索適合率又は検索速度、又はこれらの任意の組み合せに着目して、前記検索性能条件を指定することを特徴とする請求項２３又は２４記載の類似文書検索方法。
【請求項２６】
前記検索性能設定処理では、文書から抽出される文字列情報の最小分割要素で、検索の最小単位をなす意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、算出された特異性値を尺度として、前記検索性能を動的に調整又は設定することを特徴とする請求項２３、２４又は２５記載の類似文書検索方法。
【請求項２７】
前記検索性能設定処理では、
前記検索要求文書に含まれる文字列情報の最小分割要素たる、前記各意味小片に対応する前記特異性値と、前記検索性能条件とに基づいて、対象となる前記文字列情報について、少なくとも１文字重複して連続する複数の前記意味小片を一区切りにまとめたものと定義される意味断片の長さの上限を規制する断片最大特異性値を算出し、算出された当該断片最大特異性値に基づいて、検索クエリを生成することで、前記検索性能を動的に調整又は設定することを特徴とする請求項２６記載の類似文書検索方法。
【請求項２８】
前記検索性能設定処理では、
意味小片フィルタ処理を含み、該意味小片フィルタ処理では、少なくとも１文字重複して分割された複数の前記意味小片のうち、所定の閾値に満たない特異性値を有する意味小片をふるい落として、前記意味断片からなる前記検索クエリの構成要素から除外することを特徴とする請求項２７記載の類似文書検索方法。
【請求項２９】
検索対象文書群内の該当する各文書にあらわれる、検索の最小単位である前記意味小片の位置情報を記述する転置索引データを作成する文書登録処理と、
該文書登録処理にて作成した前記転置索引データを転置索引保管手段に保管する転置索引保管処理と、
前記検索性能設定処理にて作成した前記検索クエリに基づいて、前記転置索引保管手段から前記検索要求文書に類似する類似文書候補を検索する類似候補検索処理と、
検索された前記類似文書候補の類似度を算出する類似度算出処理とをさらに含んでなることを特徴とする請求項２７又は２８記載の類似文書検索方法。
【請求項３０】
前記検索性能設定処理は、
入力された前記検索要求文書を分析して、単数又は複数の文字列情報を抽出する文書解析処理と、
前記検索要求文書から抽出された前記各文字列情報を少なくとも１文字重複して連続する前記意味小片に分割する意味小片分割処理と、
前記転置索引保管手段に保管されている前記意味小片の前記特異性値を算出する意味小片特異性算出処理と、
算出された前記意味小片の前記特異性値を意味小片特異性保管手段に保管する意味小片特異性保管処理と、
前記検索要求文書の前記各文字列情報を構成する前記各意味小片について、前記意味小片特異性算出手段から読み出された前記特異性値と、前記利用者が指定した前記検索性能条件とに基づいて、前記断片最大特異性値を算出する断片最大特異性算出処理と、
該断片最大特異性算出処理にて算出した前記断片最大特異性値に基づいて、前記検索クエリを生成する検索クエリ生成処理とを有してなることを特徴とする請求項２９記載の類似文書検索方法。
【請求項３１】
前記検索クエリ生成処理では、
前記検索要求文書から抽出された前記各文字列情報について、先頭から前記意味小片を取出し、少なくとも１文字重複して連続する複数の前記意味小片を、これらの特異性値の合計が、前記断片最大特異性値を超えず、かつ、前記断片最大特異性値との差分が最小となる条件を満たす態様で、区切ってゆき、区切りによってまとめられる各意味小片群を前記意味断片として、前記検索クエリを作成することを特徴とする請求項３０記載の類似文書検索方法。
【請求項３２】
前記検索要求文書から抽出された前記各文字列情報に含まれる単語の類義語を類義語辞書格納手段から検索して類義語情報を生成する類義語検索処理をさらに含み、
前記意味小片分割処理では、
前記類義語検索処理にて生成した前記類義語情報に基づいて、前記検索要求文書から抽出された前記各文字列情報を類義語で置換して類義語展開情報を作成し、作成した前記類義語展開情報を少なくとも１文字重複して連続する前記意味小片に分割し、
前記断片最大特異性算出処理では、
前記類義語展開情報の最小分割要素たる前記各意味小片に対応する前記特異性値も考慮に入れて、前記断片最大特異性値を算出し、
前記検索クエリ生成処理では、前記類義語展開情報の分割最小要素たる前記各意味小片も含めて、前記検索クエリを生成することを特徴とする請求項３０又は３１記載の類似文書検索方法。
【請求項３３】
コンピュータを、請求項１乃至１１の何れか一に記載の類似文書検索装置として機能させることを特徴とする類似文書検索プログラム。
【請求項３４】
コンピュータを、請求項１２乃至２２の何れか一に記載の類似文書検索システムとして機能させることを特徴とする類似文書検索プログラム。
【請求項３５】
コンピュータに、請求項２３乃至３２の何れか一に記載の類似文書検索方法を実行させることを特徴とする類似文書検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検索対象文書群の中から、ユーザが望む検索性能に応じて，検索要求文書に類似する文書を検索することができる類似文書検索装置、類似文書検索システム、類似文書検索方法及び類似文書検索プログラムに関する。
【背景技術】
【０００２】
特定の文字列を複数の検索対象文書群の中から全文検索すると、検索対象文書の増加に伴って、検索速度が低下し、検索に要する時間が膨大になってしまう。そこで、従来から、検索の際に、転置索引ファイルを参照して、高速検索を実現する索引型全文検索技術が活用されている。この索引型全文検索技術では、事前に、検索対象文書群の各文書について転置索引データが生成され、転置索引ファイルに保管され、検索時に転置索引ファイルから参照される。転置索引ファイルを生成する方式は、Ｎ-Ｇram（Ｎ文字インデックス）方式と形態素解析方式とに大別することができる。【０００３】
Ｎ-Ｇram方式は、検索対象をＮ文字単位（Ｎは任意の自然数）で分解して、転置索引データを生成する方式で、この方式を実施する検索技術としては、非特許文献１に記載の類似文書検索システム（以下、第１の関連技術ともいう）が知られている。
また、形態素解析方式は、文脈の解析、単語分解を行い、転置索引データを生成する方式であり、この方式を実施する検索技術としては、特許文献１に記載の類似文書検索システム（以下、第２の関連技術ともいう）が知られている。【０００４】
まず、図１８を参照して、Ｎ-Ｇram方式を実施する第１の関連技術について説明する。この種の類似文書検索システムは、同図に示すように、文書群格納部３１と、索引生成部３２と、転置索引群格納部３３と、文書入力部３４と、文書検索部３５と、順序付け部３６と、結果出力部３７とから概略構成されている。類似文書検索システムでは、転置索引データを生成するための転置索引生成処理と、生成された転置索引データを利用して、検索要求文書（クエリ文書）に類似する文書を検索するための類似文書検索処理とが、互いに独立した処理として実行される。【０００５】
まず、転置索引生成処理では、同図に示すように、索引生成部３２が、多量の文書を格納する文書群格納部３１から類似文書検索対象文書を取出し、転置索引データを生成する。上記索引生成部３２は、各検索対象文書について、例えば、Ｎ＝１、２、…、１０について計１０個のＮ-Ｇram方式で転置索引データを生成する。生成された転置索引データは、転置索引群格納部３３に格納される。【０００６】
次に、類似文書検索処理では、同図に示すように、検索要求文書が文書入力部３４から文書検索部３５に入力される。文書検索部３５は、まず、入力された検索要求文書から文章を文字列情報として抽出し、抽出した文字列情報を文（sentence）単位で分割し、さらに、文単位の各文字列をＮ-Ｇramで分割して、検索要求を生成する。次に、文書検索部３５は、生成した検索要求を用いて、対応するＮ-Ｇramの転置索引ファイル（転置索引群格納部３３）からその文を含む文書を検索し、検索された全ての文書（検索結果文書）と検索に用いた文との組を順序付け部３６へ入力する。順序付け部３６は、多くの文を含む文書（類似度の高い文書）がより上位になるように検索結果文書の順序付けを行い、この結果を、重複のない検索結果文書のリストとして結果出力部３７に渡す。結果出力部３７は、順序付け部３６が作成した検索結果文書リストを検索結果情報として利用者に提示する。【０００７】
次に、図１９を参照して、形態素解析方式を実施する第２の関連技術について説明する。この種の類似文書検索システムは、同図に示すように、検索文入力部４１と、形態素解析部４２と、解析用単語辞書４３と、構文解析部４４と、類似文書検索部４５と、領域限定概念知識ＤＢ４６と、文書ＤＢ４７と、結果出力部４８とを備えている。まず、この装置による転置索引生成処理では、図示せぬ文書登録部が、多量の文書を格納する図示せぬ文書群格納部から類似文書検索対象文書を取出し、形態素解析（文脈の解析、単語分解）を実施して単語単位の転置索引データを生成する。文書登録部は、転置索引データの生成が完了すると、類似文書検索対象文書を転置索引ファイル付きで文書ＤＢ（データベース）４７に格納する。【０００８】
次に、類似文書検索処理では、形態素解析部４２は、検索文入力部４１から入力された検索要求文書を解析用単語辞書４３に基づいて、単語単位に分割する形態素解析を実施する。構文解析部４４は、領域依存の概念知識を格納する領域限定概念知識ＤＢ（データベース）４６を参照して、分割された単語間の構文的係り受け関係を解析する。類似文書検索部４５は、構文解析部４４による構文解析結果と、文書ＤＢ４７の参照結果と、領域限定概念知識ＤＢ４６に格納される領域依存の概念知識とに基づいて、類似文書を検索して、検索結果を結果出力部４８に渡す。【０００９】
上記第１及び第２の関連技術では、システムの検索性能は、生成された転置索引ファイルと入力される検索要求文書とに依存する。それゆえ、上記第１及び第２の関連技術の構成によれば、同一の転置索引ファイルを参照する同様の検索要求文書に対しては、常に、同様の検索結果のリストが返ってくるので、安定した検索品質を得ることができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−２４２６５０号公報
【非特許文献】
【００１１】
【非特許文献１】Alberto Barron-Cedeno, Paolo Rosso著、「OnAutomatic Plagiarism Detection Based on n-Grams Comparison」、 Proceedings of European Conference on Information Retrieval 2009(Springer-Verlag Berlin Heidelberg), 2009年, pp. 696-700
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、検索の目的と検索結果に対する期待度は、常に一様とは限らず、利用者ごとに、検索案件ごとに、異なることも少なくない。それゆえ、検索の目的と期待度に応じて、類似文書の検索再現率、検索適合率又は検索速度などの検索性能条件を動的に調整できる機能を実現できれば、利用者にとって大変便利である。【００１３】
しかしながら、上記したように、第１及び第２の関連技術では、システムの検索性能は、同一の検索要求文書に対しては、転置索引ファイルの品質に依存する構成となっている。それゆえ、第１の関連技術では、具備するＮ-Ｇramの転置索引ファイルが１種類（Ｎが任意の1つ）のみなら、検索性能は静的固定的となるので、利用者の求めに応じて、検索性能を動的に調整することはできない。同様に、第２の関連技術でも、具備する解析用単語辞書及び領域限定概念知識ＤＢが各１種類のみなら、やはり、検索性能は静的固定的となるので、利用者の求めに応じて、検索性能を動的に調整することはできない。【００１４】
これに対して、第１の関連技術の構成で述べたように、Ｎ-ＧramのＮ（例えば、Ｎ＝１、２、…、１０）が異なる転置索引ファイルを複数種類準備すれば、文書単位で、検索性能を可変にすることができる。しかしながら、Ｎ-Ｇramの転置索引ファイルを複数種類揃えるには、転置索引の生成・更新に要する労力及び維持コストが高くなる上、記憶装置や計算処理資源の消費も多大になるので、好ましくない。
しかも、労力・コストをかけて、Ｎが異なる転置索引を複数揃えても、検索性能は、準備した転置索引の数（Ｎの数）だけ段階的・離散的・動的に変化できるようになるだけである。加えて、Ｎの値が1つ増すごとの検索性能差の変化は、線形ではなく、とくに、Ｎ＝２〜５程度の間の隣接するＮ-Ｇram間では、Ｎ＝６〜１０の間に較べて、検索性能が大きく変化する傾向にある。
したがって、第１の関連技術によっては、Ｎ-Ｇramの転置索引数を増加しただけでは、利用者が、隣接するＮ-Ｇram間、とりわけ、２-Ｇramと３-Ｇramとの間の検索性能を望んでいるとき、その要求に応えることができないので、不具合である。【００１５】
同様に、第２の関連技術でも、専門性や質量の異なる解析用単語辞書と領域限定概念知識ＤＢとの組（以下、簡単に、解析用単語辞書と言う）を複数種類準備すれば、文書単位で、検索性能を可変にすることができる。しかしながら、複数種類の解析用単語辞書を揃えるには、やはり、解析用単語辞書の生成・更新に要する労力及び維持コストが高くなる上、記憶装置や計算処理資源の消費も多大になるので、好ましくない。しかも、労力・コストをかけて、複数種類の解析用単語辞書を揃えても、辞書品質によって決まる検索性能は、段階的・離散的・動的に変化できるようになるだけである。したがって、第２の関連技術によっても、解析用単語辞書の種類を増加しただけでは、利用者が、ある解析用単語辞書によって決定される検索性能と別の解析用単語辞書によって決定される検索性能との間の検索性能を望んでいるとき、その要求に応えることができないので、不具合である。【００１６】
この発明は、上述の事情に鑑みてなされたもので、利用者が求める如何なる検索性能要求にも、安価な手段で対応できる、使い勝手の良い類似文書検索装置、類似文書検索システム、類似文書検索方法及び類似文書検索プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、この発明の第１の構成は、類似文書検索装置に係り、利用者によって任意に指定された検索性能条件（検索性能要件とも言う）に応じて、検索性能を動的に調整又は設定する検索性能設定手段を備え、該検索性能設定手段によって調整又は設定された検索性能の下で、検索要求文書に類似する文書を検索することを特徴としている。【００１８】
この発明の第２の構成は、類似文書検索システムに係り、検索対象文書群を収集する文書収集手段と、利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力手段と、指定された前記検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定手段とを備え、該検索性能設定手段によって調整又は設定された検索性能の下で、検索要求文書に類似する文書を検索することを特徴としている。【００１９】
この発明の第３の構成は、類似文書検索方法に係り、検索対象文書群を収集する文書収集処理と、利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力処理と、指定された前記検索性能条件に応じて、検索性能を動的に調整又は設定する検索性能設定処理とを含み、該検索性能設定処理によって調整又は設定された検索性能の下で、検索要求文書に類似する文書を検索することを特徴としている。
【発明の効果】
【００２０】
この発明の構成によれば、転置索引ファイルや解析用単語辞書などの種別増設に頼ることなく、利用者が任意に指定する検索性能条件に応じて、検索性能を動的に調整し設定することができる。それゆえ、品質グレードの異なる転置索引ファイルや解析用単語辞書などの増設や生成や更新に要する労力やコストを省くことができる上、記憶装置や計算装置資源の増加を回避することもできる。
加えて、第１及び第２の関連技術では、品質グレードの異なる転置索引ファイルや解析用単語辞書などを如何に増設しても、検索性能は、段階的・離散的にしか調整することができないことは、上述した通りである。しかしながら、この発明の構成によれば、１種類の転置索引ファイル（例えば、２-Ｇramのみの転置索引ファイル）又は解析用単語辞書を用いるだけで、入力される検索性能条件の僅かな違いにも追従変化して検索できる。
【図面の簡単な説明】
【００２１】
【図１】この発明の第1の実施形態である類似文書検索システムの全体構成を概略示す機能ブロック図である。
【図２】同類似文書検索システムの構成を詳細に示す機能ブロック図である。
【図３】同類似文書検索システムを構成する転置索引部が備える転置索引テーブルのデータ構造の一例を示す概念図である。
【図４】同類似文書検索システムを構成する意味小片特異性ＤＢが備える意味小片特異性テーブルのデータ構造の一例を示す概念図である。
【図５】同類似文書検索システムで実行される検索対象文書収集動作の流れを示すフローチャートである。
【図６】同類似文書検索システムで実行される意味小片特異性算出動作の流れを示すフローチャートである。
【図７】同類似文書検索システムで実行される類似文書検索動作の流れを示すフローチャートである。
【図８】同類似文書検索処理の動作の説明に供される説明図で、検索クエリの生成動作を説明するための図である。
【図９】この発明の第２の実施形態である類似文書検索システムの構成を詳細に示す機能ブロック図である。
【図１０】同類似文書検索システムで実行される類似文書検索動作の流れを示すフローチャートである。
【図１１】同類似文書検索処理の動作の説明に供される説明図で、検索要求文書から得られる文章内意味小片集合の特異性値の累積度数分布を模式的に示すグラフである。
【図１２】この発明の第３の実施形態である類似文書検索システムの構成を詳細に示す機能ブロック図である。
【図１３】同類似文書検索システムで実行される類似文書検索動作の流れを示すフローチャートである。
【図１４】同類似文書検索システムを構成する類義語辞書のデータ構造の一例を示す概念図である。
【図１５】同類似文書検索システムを構成する類義語検索部が生成する類義語情報のデータ構造の一例を示す説明図である。
【図１６】同類似文書検索処理の主要動作（類義語置換・展開処理動作）の説明に供される説明図である。
【図１７】同類似文書検索処理の主要動作（類義語展開処理動作）の説明に供される説明図である。
【図１８】第１の関連技術による類似文書検索システムの構成を概略示すブロック図である。
【図１９】第２の関連技術による類似文書検索システムの構成を概略示すブロック図である。
【発明を実施するための形態】
【００２２】
検索性能を動的に調整するという目的を、検索要求文書の文字列を構成する各意味小片の特異性値と、利用者が指定する検索性能条件とから断片最大特異性値を算出し、算出した断片最大特異性値を尺度として検索クエリを生成することで、実現した。
【００２３】
この明細書において、検索性能条件とは、類似文書の検索再現率（又は再現性）、検索適合率（又は適合性）又は検索速度（処理能力）、又はこれらの任意の組み合せに関し、どの項目をどの程度、重要視するか又は優先させるかを指示する情報である。また、特異性値とは、文書から抽出される文字列情報の最小分割要素（検索の最小単位）をなす各意味小片に与えられる統計値で、対象となる意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標のことである。
断片最大特異性値とは、検索要求文書を構成する各文字列情報について、１文字重複して連続する複数の意味小片のまとまりである意味断片の長さの上限を定めるために導入された値で、断片内意味小片集合の特異性値合計の上限値のことである。
【実施形態１】
【００２４】
以下、図面を参照して、この発明の実施形態について詳細に説明する。
図１は、この発明の第1の実施形態である類似文書検索システムの全体構成を概略示す機能ブロック図、また、図２は、同類似文書検索システムの構成を詳細に示す機能ブロック図である。
まず、同システムの全体構成ついて説明する。
この実施形態の類似文書検索システムは、図１に示すように、文書収集部１と、検索条件入力部２と、類似文書検索部（類似文書検索装置）３Ａと、検索結果出力部４とから概略構成されている。このシステムは、コンピュータシステムと、コンピュータシステムを類似文書検索システムとして機能させる類似文書検索プログラムとにより、具現される。上記文書収集部２は、外部の検索対象システム５から検索元文書群Ａを取得して、検索対象となる大量の文書を検索対象文書群Ｂとして収集する。収集された検索対象文書群Ｂは、転置索引付きで類似文書検索部３Ａに登録される。検索条件入力部２は、利用者が、検索性能条件（検索性能要求）Ｃと検索要求文書Ｄとを任意に指定できる入力装置であり、入力された検索性能条件Ｃと検索要求文書Ｄは類似文書検索部３Ａに渡される。また、検索条件入力部２は、外部システムからの検索要求Ｃ、Ｄも受け付けて、類似文書検索部３Ａへ渡す転送機能も備えている。このように、このシステムでは、利用者ごと、検索案件ごとに、異なる検索性能条件Ｃを指定できる構成となっている。また、この明細書において、単に、利用者というときは、この類似文書検索システムを利用する他の外部システムも含まれる。
【００２５】
類似文書検索部３Ａは、利用者などが指定した検索性能条件Ｃに応じて、検索性能を動的に調整する機能を有し、動的に調整された検索性能の下で、文書収集部１から取得した検索対象文書群Ｂの中から、検索要求文書Ｄに類似した文書を検索する。類似文書検索部３Ａは、検索結果に基づいて、類似度を付した検索結果文書リストＥを作成する。作成された検索結果文書リストＥは検索結果出力部４に渡される。検索結果出力部４は、類似文書検索部３Ａから検索結果文書リストＥを受け取ると、検索結果文書リストＥを類似度の高い順に並び替えて、検索要求元の利用者に返却する。
【００２６】
次に、図２を参照して、システムの構成各部について詳述する。
文書収集部１は、ネットワークその他の方法で、単数又は複数の外部の検索対象システム５から検索元文書群Ａを取得して、検索対象文書群Ｂを収集して、類似文書検索部３Ａへ渡す。ここで、好適な検索対象システム５としては、直接接続される文書管理システムは勿論のこと、例えば、ネットワークを介して接続される社内又は部門内のファイル共有サーバやメールサーバなどのリモートシステムを挙げることができる。
【００２７】
上記検索条件入力部２は、性能条件入力部６と、文書入力部７とから構成されている。上記性能条件入力部６は、検索要求元の利用者が指定する所望の検索性能条件Ｃを受け付けると、当該検索性能条件Ｃを類似文書検索部３Ａに通知する。また、上記文書入力部７は、利用者からの検索要求文書Ｄを受け付けると、当該検索要求文書を類似文書検索部３Ａに渡す。
ここで、検索性能条件としては、例えば、検索結果の再現率（再現性）、適合率（適合性）、検索速度（処理能力）、又はこれらの任意の組み合せに関し、各性能項目に対する重要度又は優先度を指定する数値情報である。
【００２８】
上記検索性能の各性能項目の中で、「適合率」とは、検索結果の正解率を示す指標で、システムが検索結果文書Ｅとして出力した文書群（検索結果文書群）の中で、真に関係がある文書（ヒット文書）が占める割合のことである。また、「再現率」とは、検索結果の網羅性を示す指標で、真に関係がある文書群のうち、システムが検索結果文書Ｅとして出力した文書群の割合のことである。
【００２９】
類似文書検索部３Ａは、図２に示すように、文書登録部８と、転置索引部９と、動的性能調整部（検索性能設定手段）１０Ａと、文章単位検索部（類似候補検索手段）１１と、類似度算出部１２とから構成されている。この類似文書検索部３Ａの構成各部は、コンピュータ及びその周辺装置と、コンピュータを類似文書検索装置として機能させ、あるいは、コンピュータに、類似文書検索方法を実行させる類似文書検索プログラムとにより、具現される。
【００３０】
上記文書登録部８は、文書収集部１から各検索対象文書Ｂを順次取得し、検索対象文書Ｂに含まれる本文文字列をＮ-Ｇram（Ｎ文字単位）の意味小片ｐに分割して、各意味小片ｐとその文書内位置情報とからなる転置索引データＩを生成する。なお、Ｎ-ＧramのＮは必要に応じて任意に決めることができる。しかしながら、この実施形態では、代表として２-Ｇram（バイグラム）の転置索引を例にとって説明する。２-Ｇram方式では、索引としての意味小片ｐは、２文字から構成される。生成された転置索引データＩは、対応する検索対象文書Ｂと共に、転置索引部９に登録される。
【００３１】
転置索引部（転置索引保管手段）９は、文書登録部８から渡された検索対象文書群Ｂと転置索引データＩとを格納する。転置索引データＩは、転置索引部９が備える転置索引テーブルＴＡに保管される。転置索引テーブルＴＡは、図３に示すように、「意味小片」欄と「文書ＩＤリスト」欄とから構成され、文書ＩＤリストＬには、意味小片ｐを索引として、意味小片ｐが出現する文書情報（文書ＩＤ）及びその文書内位置情報が表形式で記述されている。
【００３２】
ここで、意味小片ｐとは、検索対象文書Ｂに含まれる本文文字列情報の連続性を表現できる文字列の小さな塊であり、検索対象文書Ｂから抽出される文字列情報の最小分割要素のことである（後述する検索要求文書Ｄについても同様）。具体的には、意味小片ｐとは、Ｎ-Ｇram方式を実行する際の検索の最小単位であるタームや形態素解析方式を実行する際の検索の最小単位である単語であり、好ましくは、文書との関連性が強いテキスト以外の意味情報の分割要素を含めても良い。この実施形態で用いられる２-Ｇramの意味小片ｐは、検索対象文書Ｂに含まれる文字列情報を１文字重複して連続する２文字ずつに分割して得られるタームである。例えば、「検索結果の……」なる文字列は、２-Ｇram方式では、図３に示すように、２文字単位で分割されて、「検索」、「索結」、「結果」、「果の」、…のタームが意味小片ｐとなる。
【００３３】
転置索引テーブルＴＡにおいて、図３右欄の文書ＩＤリストＬには、同図左欄の意味小片を含む文書を特定するＩＤ（Identification）が表形式で記載・保存されている。この実施形態の文書ＩＤリストＬは、同図に示すように、該当する文書が複数あれば、これらの文書を集合形式で記載・保存する構成となっている。
ここで、図３を参照すれば、転置索引テーブルＴＡの第１行目には、意味小片「検索」に対応する文書ＩＤリストの記載例として、「４．１，４．２，４.３，１０２.３，４２４.２」なる数値データが列挙されている。これは、例えば、文書内位置情報を「頁」で表わすことにしたとき、「文書ＩＤが４の文書の第１頁、第２頁、第３頁、文書ＩＤが１０２の文書の第３頁、及び文書ＩＤが４２４の文書の第２頁に、「検索」なる意味小片が出現する」ことを示している。なお、文書ＩＤとしては、システム内で一意に割り振られた数値や文字列のほか、ＵＲＩ（Uniform Resource Identifier）や文書の特徴量を用いても良い。
【００３４】
動的性能調整部１０Ａは、転置索引部９から転置索引データＩを受け取ると、各意味小片ｐについて、その特異性値Ｚを算出して記憶する。また、動的性能調整部１０Ａは、入力される検索要求文書Ｄの文字列を構成する各意味小片ｐの特異性値Ｚと、利用者が指定する検索性能条件Ｃとから断片最大特異性値ζを算出し、算出した断片最大特異性値ζを尺度として検索クエリＱを生成する。
【００３５】
次に、動的性能調整部１０Ａの構成について、さらに詳述する。
動的性能調整部１０Ａは、図２に示すように、意味小片特異性算出部１３と、意味小片特異性ＤＢ（データベース）１４と、文書解析部１５と、意味小片分割部１６ａと、パラメタ値調整部１７ａと、検索クエリ生成部１８ａとから構成されている。
意味小片特異性算出部１３は、転置索引部９から検索対象文書群Ｂの転置索引データＩを取得し、転置索引データＩを構成する意味小片ｐと文書ＩＤリストＬの登録内容とを参照して、各意味小片ｐの特異性値Ｚを算出する。算出された各意味小片ｐの特異性値Ｚは、意味小片特異性ＤＢ１４に格納される。意味小片特異性ＤＢ１４は、意味小片特異性算出部１３によって算出された各意味小片ｐの特異性値Ｚを格納する意味小片特異性テーブルＴＢ（図４）を備えている。
【００３６】
ここで、特異性値Ｚは、各意味小片ｐの検索対象文書群Ｂ内での出現分布パターンに係る統計値である。具体的には、特異性値Ｚは、検索対象文書群Ｂの範囲で、対象となる意味小片ｐが、特定の文書群で他の文書群でよりも多く（又は少なく）出現する性質のものであるかどうかという、意味小片ｐの出現頻度の（特定の文書群への）偏りを示す指標である。たとえば、意味小片ｐが、製品名又はその部分のように、文書群全体では出現頻度が少ないのに、特定の文書群に限れば、良く出現するときは、高い特異性値Ｚが与えられる。
【００３７】
上記文書解析部１５は、文書入力部７から取得した検索要求文書Ｄを解析して、当該検索要求文書Ｄに含まれる本文文字列Ｔと、文書タイトルなどのメタ情報とを抽出し、さらに、抽出した本文文字列Ｔを文章単位の文字列に分割する。文章単位の各文字列は、文書解析部１５から意味小片分割部１６ａに与えられる。意味小片分割部１６ａは、文書解析部１５から入力される検索要求文書Ｄの文章単位の各文字列を、さらに、２-Ｇramの意味小片分解アルゴリズムを用いて、１文字重複して連続する２文字単位の複数の意味小片ｐに分割して、意味小片群Ｍを生成する。例えば、「検索結果の中に……」との文字列（図４）については、「検索」、「索結」、「結果」、「果の」、「の中」、「中に」、…など、連続性を表現できる複数の意味小片ｐの集合からなる文章単位の意味小片群（文章内意味小片集合）Ｍが生成される。
【００３８】
類似文書検索動作時、パラメタ値調整部１７ａには、性能条件入力部６からは、検索要求元の利用者が指定した検索性能条件Ｃが入力され、また、意味小片分割部１６ａからは、意味小片群Ｍが入力される。パラメタ値調整部１７ａは、検索性能条件Ｃと意味小片群Ｍとが入力されると、意味小片特異性ＤＢ１４から該当する各意味小片ｐの特異性情報Ｚを読み出して、断片最大特異性値ζ（パラメタ値）を算出する。
また、類似文書検索動作時、検索クエリ生成部１８ａには、意味小片分割部１６ａから意味小片群Ｍが与えられ、パラメタ値調整部１７ａからは、断片最大特異性値ζが与えられる。検索クエリ生成部１８ａは、意味小片群Ｍが与えられると、意味小片特異性ＤＢ１４から該当する各意味小片ｐの特異性情報Ｚを読み出して、与えられた断片最大特異性値ζを尺度に動的に調整された類似文書検索クエリＱを生成する。
【００３９】
次に、文章単位検索部１１は、動的性能調整部１０Ａ（検索クエリ生成部１８ａ）から与えられる検索クエリＱを元に、文章単位（例えば、段落単位）で、転置索引部９から検索要求文書に類似する類似文書候補ｄを検索する。
類似度算出部１２は、文章単位検索部１１から与えられる文章単位の検索結果ｒを文書ごとにグループ化して、各検索結果文書の類似度を算出し、算出結果に基づいて、検索結果文書リストＥを作成して検索結果出力部４に返却する。検索結果出力部４は、類似文書検索部３Ａから検索結果文書リストＥを受け取ると、検索結果文書リストＥを類似度の高い順に並び替えて、要求元の利用者に返却する。
【００４０】
次に、図５乃至図７を参照して、第１の実施形態の動作について説明する。
図５は、この類似文書検索システムで実行される検索対象文書収集動作の流れを示すフローチャートである。図６は、同じく意味小片特異性算出動作の流れを示すフローチャート、また、図７は、同じく類似文書検索動作の流れを示すフローチャートである。
この実施形態の動作は、検索対象文書を収集する文書収集動作（検索対象文書収集動作、図５）と、意味小片の特異性値を算出する特異性算出動作（意味小片特異性算出動作、図６）と、類似文書を検索する動作（類似文書検索動作、図７）とからなっている。ここで、検索対象文書収集動作と、意味小片特異性算出動作と、類似文書検索動作とは、それぞれの動作命令に応じて、システムが別個独立に実施する処理／更新動作である。なお、意味小片特異性算出動作開始時には，検索対象文書収集動作が完了していることが好ましく、また、類似文書検索動作開始時には、検索対象文書収集動作及び意味小片特異性算出動作が完了していることが好ましい。
【００４１】
検索対象文書収集動作
まず、図２及び図５のフローチャートを参照して、この実施形態の検索対象文書収集動作について説明する。
電源が投入されると、文書収集部１は、例えば、文書管理システムや、部門内のファイル共有サーバや、メールサーバなどの単数又は複数の外部の検索対象システム５から検索元文書群Ａを取得して、検索対象文書群Ｂを収集する（図５のステップＳa１）。この後、文書登録部８は、文書収集部１から検索対象文書Ｂを順次取得して、各検索対象文書Ｂについて、文書を解析して本文文字列情報を抽出し（ステップＳa３）、抽出した本文文字列を２-Ｇramの意味小片ｐに分割する（ステップＳa４）。さらに、文書登録部８は、各検索対象文書Ｂに一意となる文書ＩＤを割り当て、意味小片ｐを索引として、意味小片の文書内位置情報からなる転置索引データＩを生成して、各検索対象文書Ｂと共に、転置索引部９に登録する。（ステップＳa５）。
【００４２】
ここで、ステップＳa３の文書解析抽出動作では、本文文字列情報の抽出に限らず、タイトルや文書ファイルサイズ、文書作成日付、文書作成者、更新日付など文書関連情報も抽出するようにしても良い。そして、ステップＳa５の文書登録動作では、転置索引データＩに加えて、抽出された上記文書関連情報も転置索引部９に登録するようにしても良い。
文書収集部１によって収集された全ての検索対象文書Ｂについて、上述のステップＳa３からＳa５の処理動作が繰り返され、この後、当該文書収集動作は終了する（ステップＳa２）。
【００４３】
意味小片特異性算出動作
次に、図２及び図６のフローチャートを参照して、この実施形態の意味小片特異性算出動作について説明する。
まず、意味小片特異性算出部１３は、転置索引部９に格納されている検索対象文書群Ｂについて、所定の類似度算出アルゴリズムを用いて、類似文書をグループ化する（図６のステップＳｂ１）。代表的な類似度算出アルゴリズムとしては、文字列間の編集距離（Levenshtein distance）を求めて類似度（重なり具合）を定量化する方法が知られている。文字列間の編集距離とは、文書間の一方の文字列と他方の文字列とを一致させるために実施される最小の編集（文字の削除・追加・変更）回数のことである。この実施形態では、意味小片特異性算出部１３は、類似度算出アルゴリズムを用いて、文書間の類似度を算出した後、算出された類似度が、所定の閾値を越えているか否かを判断し、所定の閾値を超えているとき、文書同士は、類似していると判断する。なお、閾値は、検索対象文書Ｂの内容の影響を受けるため、最良の結果を得るためには、例えば、ケースバイケースで操作者が設定するようにしても良い。
【００４４】
類似文書のグループ化が完了すると（ステップＳｂ１）、意味小片特異性算出部１３は、ステップＳｂ３に進み、転置索引部９内の各意味小片ｐについて、グループ間最大小片出現数ｍｔｆを算出する。
グループ間最大小片出現数ｍｔｆは、注目する意味小片ｐが文書内でどの程度出現するかを示すための指標である。この実施形態では、意味小片特異性算出部１３は、例えば、式（１）に示すように、各類似文書グループ内での文書ごとの意味小片出現頻度の中央値についてのグループ間最大値を、グループ間最大小片出現数ｍｔｆとして算出する。例えば、式（１）において、意味小片ｐについて、グループＧｎ内の文書内出現頻度の中央値gｔｆｎ（ｐ）が、グループ間で最大値を示すとき、ｍｔｆ＝gｔｆｎ（ｐ）である。なお、式（１）では、グループ内中央値を用いるようにしたが、これに代えて、グループ内平均値を用いるようにしても良い。
【００４５】
ｍｔｆ(ｐ)
＝ｍａｘ(ｍｅｄｉａｎ(ＴＦＧ１(ｐ)), …, ｍｅｄｉａｎ(ＴＦＧｎ(ｐ)))
……（１）
【００４６】
式（１）において、ｐは、注目している意味小片；Ｇ１、Ｇ２、…、Ｇｎは、ステップＳｂ１で生成した類似文書グループ；ｎは、類似文書グループの総数；関数ＴＦＧｉ（ｐ）は、類似文書グループＧｉ内の各文書での意味小片ｐの出現頻度の集合を返す関数；関数ｍａｘは、引数の内最大値を返す関数；ｍｅｄｉａｎは、引数の集合内の中央値を返却する関数である。以下の数式において、同様である。
【００４７】
意味小片特異性算出部１３は、グループ間最大小片出現数ｍｔｆの算出が完了すると、ステップＳｂ４進み、各意味小片ｐのグループ内偏り値ｋｄｇｆを算出する。グループ内偏り値ｋｄｇｆは、注目している意味小片ｐが検索対象文書群Ｂ内で、各類似文章グループ間にどの程度偏在しているかを示すための指標である。
この実施形態では、意味小片特異性算出部１３は、例えば、式（２）に示すように、各類似文書グループ内における意味小片ｐを含む文書の割合のグループ間最大値から、グループ内中央値を減算して、グループ内偏り値ｋｄｇｆを算出する。式（２）において、類似文書グループの総数；関数ＤＦＧｉ(ｐ)は、類似文章グループＧｉ内で、意味小片ｐを含む文書の割合を返す関数；関数ｍａｘは引数の内最大値を返す関数である。なお、式（２）では、グループ内中央値を用いるようにしたが、これに代えて、グループ内平均値を用いるようにしても良い。
【００４８】
kdgf(p)
＝max(DFG１(p)、…、DFGn(p))−median(DFG１(p)、…、DFGn(p))
………（２）
【００４９】
意味小片特異性算出部１３は、グループ内偏り値ｋｄｇｆの算出が完了すると、ステップＳｂ５進み、各意味小片ｐのグループ間特異性値ｉｇｆを算出する。
グループ間特異性値ｉｇｆは、注目している意味小片ｐが検索対象文書群Ｂ内で、類似文書グループ間でどの程度普遍的でないかを示すための指標である。この実施形態では、意味小片特異性算出部１３は、例えば、式（３）に示すように、類似文書グループ数ｎを、類似文書グループ内に当該意味小片ｐを１つ以上含んだ類似文書グループ数で除算して、グループ間特異性値ｉｇｆを算出する。式（３）において、Ｇは類似文章グループの文章集合である。
【００５０】
ｉｇｆ（ｐ）＝ｎ／（｜｛Ｇ｜Ｇ∋ｐ｝｜）          ………（３）
【００５１】
意味小片特異性算出部１３は、グループ間特異性値ｉｇｆの算出が完了すると、ステップＳｂ６進み、各意味小片ｐの特異性値Ｚを算出する。
この実施形態では、意味小片特異性算出部１３は、式（４）に示すように、グループ間最大小片出現数ｍｔｆと、グループ内偏り値ｋｄｇｆと、及びグループ間特異性値ｉｇｆとを積算して、注目している意味小片ｐの特異性値Ｚ(ｐ)を算出する。
【００５２】
Ｚ(ｐ)＝ｍｔｆ(ｐ)×ｋｄｇｆ(ｐ)×ｉｇｆ(ｐ)        ………（４）
【００５３】
意味小片特異性算出部１３は、特異性値Ｚ(ｐ)の算出が完了すると、注目している意味小片ｐとその特異性値Ｚ(ｐ)を意味小片特異性ＤＢ１４に登録する（ステップＳｂ７）。転置索引部９に索引として格納されている全ての意味小片ｐについて、上述のステップＳｂ３からＳｂ７の処理動作が繰り返され、この後、当該意味小片特異性算出動作は終了する（ステップＳｂ２）。なお、ステップＳｂ３、Ｓｂ４、Ｓｂ５の実施順序は相互に入れ替わっても良い。
【００５４】
類似文書検索動作
次に、図２、図７及び図８を参照して、この実施形態の類似文書検索動作について説明する。
利用者からの検索要求（検索性能条件Ｃ及び検索要求文書Ｄ）が、検索条件入力部２から類似文書検索部３Ａに入力されると、これより、第１の実施形態の類似文書検索システムは、類似文書検索動作を開始する（図７のステップＳｃ１、Ｓｃ2）。利用者からの検索要求のうち、検索性能条件Ｃは、検索条件入力部２の性能条件入力部６から、動的性能調整部１０Ａのパラメタ値調整部１７ａに入力される（ステップＳｃ１）。また、検索要求文書Ｄは、検索条件入力部２の文書入力部７から、動的性能調整部１０Ａの文書解析部１５に入力される（ステップＳｃ２）。
動的性能調整部１０Ａは、パラメタ値調整部１７ａが性能条件入力部６から検索性能条件Ｃの指定を受け（ステップＳｃ１）、文書解析部１５が文書入力部７から検索要求文書Ｄを取得すると、動的検索クエリの生成動作を開始する（ステップＳｃ2）。なお、ステップＳｃ１とステップＳｃ2は、これらの動作順序を逆にしても良い。
文書解析部１５は、文書入力部７から取得した検索要求文書Ｄを解析して、検索要求文書Ｄから本文文字列Ｔと、文書タイトルなどのメタ情報を抽出し（ステップＳｃ３）、抽出した本文文字列Ｔを文章単位の文字列に分割する（ステップＳｃ４）。
【００５５】
ここで、文章単位とは、通常の文（sentence）単位よりも上位の概念であり、文単位より粒度の小さい節単位や、文単位より粒度の大きい段落単位、章単位、項目単位なども含まれる。好適には、オフィス文書なら、段落単位を、プレゼンテーション資料なら、スライド単位を文単位として挙げることができる。
また、文字数の点から言えば、概ね１００文字程度の意味の有るまとまりで分割するのが好ましい。しかし、文章単位の文字列は、１００文字程度に限らず、必要に応じて増減できる。
【００５６】
文書解析部１５にて文章単位に分割された各文字列は、意味小片分割部１６ａに与えられる。意味小片分割部１６ａは、入力される文章単位の各文字列を、さらに、２-Ｇramの意味小片分解アルゴリズムを用いて、１文字重複して連続する２文字から構成される複数の意味小片ｐに分割して、文章単位の意味小片群Ｍを生成する（ステップＳｃ６）。例えば、文章単位の文字列が「検索結果の中に……」（図４）であれば、「検索」、「索結」、「結果」、「果の」、「の中」、「中に」、…などの意味小片ｐの集合からなる意味小片群Ｍが生成される。つまり、文章単位の意味小片群Ｍは、連続性を表現できる順序で並べられた複数の意味小片ｐからなる。意味小片分割部１６ａは、図２に示すように、生成した文章単位の意味小片群Ｍをパラメタ値調整部１７ａと検索クエリ生成部１８ａとに入力する。
【００５７】
パラメタ値調整部１７ａは、意味小片分割部１６ａから意味小片群Ｍが入力されると、意味小片特異性ＤＢ１４から、該当する各意味小片ｐの特異性値Ｚを読み出して、断片最大特異性値ζ（パラメタ値）を算出する（ステップＳｃ７）。断片最大特異性値ζは、ステップＳｃ１の検索条件入力部２から入力済みの検索性能条件Ｃと、ステップＳｃ６の意味小片分割部１６ａから入力された文章単位の意味小片群Ｍと、該当する各意味小片ｐの特異性値Ｚとに基づいて算出される。
【００５８】
ここで、検索性能条件Ｃとして、適合率と再現率と検索速度の各優先度が指定されたときは、断片最大特異性値ζは、例えば、式（５）から与えられる。
式（５）において、「文章内意味小片集合」とは、「本文文字列Ｔのうち、文章文字列（文章単位の文字列）に含まれている意味小片群」の意である。また、ｗ(ｐ)は、意味小片特異性ＤＢ１４から意味小片ｐの特異性値を取出す関数である。βは、検索速度優先度値の絶対値を調整するための定数であり、システム設計・修正時に設定することが望ましい。
【００５９】
ζ＝(Σp∈[文章内意味小片集合] w(p))×[適合率優先度]／[再現率優先度]×（β×[検索速度優先度]）                                      ………（５）
【００６０】
検索クエリ生成部１８ａは、パラメタ値調整部１７ａが算出した断片最大特異性値ζに基づいて、意味小片分割部１６ａから与えられた文章単位の意味小片群Ｍを意味断片ｆに分割して類似文書検索クエリＱに変換する（ステップＳｃ８）。
以下、ステップＳｃ８において実施される類似文書検索クエリの生成手順について詳述する。
検索クエリ生成部１８ａは、まず、意味小片群Ｍの中から、意味小片ｐを先頭から順に取出し、特異性値Ｚの合計が断片最大特異性値ζを超える１つ手前のところで、一連の意味小片ｐに区切りを入れて分割し、意味断片ｆとしてグループ化する。このグループ化処理は、意味小片群Ｍの中の、全ての意味小片について実施される。すなわち、いまだグループ化されていない残りの意味小片ｐも、先頭から順に取出され、特異性値Ｚの合計が断片最大特異性値ζを超える１つ手前で、意味断片ｆとして逐次分割されてグループ化される。
【００６１】
図８は、検索クエリの生成動作を説明するための図である。ここで、説明の便宜上、図の上段に示すように、対象となる文章単位の文字列が、「検索結果の中に……(略)……」との文字列であるとする。図の中段に、文章単位の文字列が、２-Ｇramの意味小片分解アルゴリズムを用いて（ステップＳｃ６）、２文字ずつの意味小片ｐに分割された例を示している。図８の図示例では、意味小片ｐの特異性値Ｚとして、図４の意味小片特異性テーブルＴＢ（意味小片特異性ＤＢ１４）に示したものと同じ値を用いている。断片最大特異性値ζとして、パラメタ値調整部１７ａから、ζ＝８.０が与えられたとする。断片最大特異性値ζ＝８.０は、検索性能条件Ｃとして、再現率の優先度を高めに指定したときに得られる値の一例である。
【００６２】
この実施形態において、断片最大特異性値ζと、検索の適合率、再現率、及び検索速度の各優先度との関係は、概ね以下の通りとなる。
断片最大特異性値ζが大きいほど、意味断片長が長くなるので、完全一致に近い（類似性の判定基準が高い）検索が可能となるため、検索の適合率を優先させることができる上、検索回数も減少するため、検索速度を優先させることもできる。これに対して、断片最大特異性値ζが小さいほど、意味断片長が短くなるので、文書Ｄ、Ｂ間での一部不一致が許容されるため、検索の再現率を優先させることができる。
図８の図示例（断片最大特異性値ζ＝８.０）では、断片内意味小片集合が小さいため（すなわち、意味断片ｆ内の意味小片数が少ないため）、抜け漏れが減少し、検索の再現率は向上する。しかしながら、意味断片ｆ内の意味小片数が少ないと、ノイズが増えるので、検索の適合率は低下する上、検索回数も増えるので、検索速度はそれほど速くならないと想定される。
【００６３】
図８には、対象となる意味小片群Ｍについて、先頭の意味小片ｐから起算して、意味小片ｐの特異性値Ｚの合計が、断片最大特異性値ζ＝８.０を超える１つ手前までの一連の意味小片ｐごとに、意味断片ｆとしてグループ化した例が示されている。つまり、図８の図示例では、同図下段に示すように、「検索」から「果の」までの意味小片ｐ（特異性値Ｚの合計７.３）が、第１の意味断片ｆとしてグループ化される。同様に、「の中」以降の意味小片ｐも、特異性値Ｚの合計が、断片最大特異性値ζ＝８.０を超えずに連続する範囲で、第２、第３、…の意味断片ｆとしてグループ化される。全ての意味小片ｐについて意味断片化が完了すると、検索クエリ生成部１８ａは、検索クエリＱの生成動作に移る。
【００６４】
検索クエリ生成部１８ａは、論理和・論理積を組み合わせるブーリアン検索アルゴリズムを用いて、文章単位の検索クエリ（ブーリアン検索クエリ）Ｑを生成する。文章単位の意味小片群Ｍについて、ブーリアン検索アルゴリズムを適用すると、下記に示すように、各意味断片ｆ内の意味小片は必ず共起（論理積）するものとし、各意味断片ｆはいずれかが生起（論理和）するものとして、検索クエリＱが生成される。
（検索＋索結＋結果＋果の）｜（の中＋中に＋…＋…(略)…
ここで、＋は論理積（必ず共起する）を示し、｜は論理和（いずれかが生起する）を示している。なお、ブーリアン検索アルゴリズムで使用される論理和・論理積の組み合わせ方は、上記に限定されない。
【００６５】
生成された検索クエリＱは文章単位検索部１１に与えられる。上記文章単位検索部１１は、与えられた検索クエリＱを用いて、転置索引部９から、検索要求文書Ｄに類似する類似文書の可能性の高い類似文書候補ｄを文章単位で検索する（ステップＳｃ９）。検索された類似文書候補ｄは、検索結果ｒとして、類似度算出部１２に与えられる。この後、ステップＳｃ５に戻り、いまだ、検索されていない文章文字列が残っていれば、再び、上述したステップＳｃ６からＳｃ９までの処理を繰り返す。当該検索要求文書Ｄに含まれている全ての文章文字列に対して、ステップＳｃ９の検索処理が実施されると、動的性能調整部１０Ａでの処理動作は完了し、システムはステップＳｃ１０へ進む。
【００６６】
ステップＳｃ１０では、類似度算出部１２が、文章単位検索部１１から文章単位で与えられた全ての検索結果ｒを取りまとめて、類似文書候補ｄごとに検索結果を再構成し、各類似文書候補ｄの類似度Ｓ（ｄ）を算出する。検索結果を再構成する際には、検索要求文書Ｄの各文章に含まれる個々の意味断片ｆについても、文章単位検索部１１から与えられた類似文書候補ｄの本文文字列に含まれているか否かが点検され、この点検結果も含めて、検索結果が再構成される。なお、この点検は、文章単位検索部１１が受け持つようにしても良い。
【００６７】
類似度の算出は、例えば、検索要求文書Ｄと同じ文章単位を多く含んでいる方が、類似度が高い文書であるとの前提で、類似文書候補ｄの類似度Ｓ（ｄ）は、式（６）から与えられる。式（６）において、Ｒは、文章単位検索部１１が返した検索結果の集合であり、ｒは、文章単位での検索結果、たとえば、文章単位のテキスト情報、文章単位を一意に特定する指示子、文章単位の特徴量である。
【００６８】
Ｓ（ｄ）＝Σｒ∈ＲＳ（ｒ,ｄ）                  ………（６）
【００６９】
Ｓ（ｒ、ｄ）は、検索結果ｒごと、つまり、文章単位での類似文書候補ｄの類似度であり、式（７）から算出される。式（７）において、類似度の最大値が１となるように、値を正規化する定数である。Ｗ（ｆ）は、意味断片ｆ内の意味小片の特異性値の合計であり、式（８）から与えられる。ｂ（ｄ,ｆ）は、類似文書候補ｄに意味断片ｆが含まれているかを２値で返す関数であり、意味断片ｆが含まれているときは１、意味断片含まれていないときは０となる。
【００７０】
Ｓ（ｒ,ｄ）
＝α×(Σf∈[r内の意味断片集合](b(d,f)×W(f))／(Σf∈[r内の意味断片集合]W(f))
………（７）
【００７１】
Ｗ（ｆ）＝Σｐ∈[意味断片ｆ内の意味小片]）ｗ(ｐ)          ………（８）
【００７２】
類似度算出部１２は、各類似文書候補ｄの類似度Ｓ（ｄ）を算出した後、類似度Ｓ（ｄ）が所定の基準値を超える類似文書候補ｄを、検索結果文書（類似文書）Ｅとして、類似度Ｓ（ｄ）を付して、検索結果出力部４に渡す。なお、類似文書候補を絞り込む所定の基準値は省略することもできる。
上記検索結果出力部４は、類似度算出部１２から検索結果文書Ｅを受け取ると、検索結果文書Ｅを類似度の高い順に並び替えて、検索要求元である利用者に返却する（ステップＳｃ１１）。ステップＳｃ１１の処理を最後に、一連の類似文書検索動作は完了する。
【００７３】
このように、この実施形態では、意味小片ｐの検索対象文書群Ｂ内での分布パターンを示す特異性値Ｚが予め算出されて保管される（意味小片特異性算出部１３、意味小片特異性ＤＢ１４）。この後、検索性能条件Ｃ及び検索要求文書Ｄが入力されると、最適の断片最大特異性値ζが算出され、算出された断片最大特異性値ζに基づいて、意味断片長の長さ（断片内意味小片集合の大きさ）が加減されて、検索クエリＱが生成される。
【００７４】
それゆえ、この実施形態によれば、１種類の転置索引情報（この例では、２-Ｇramによる転置索引情報）のみを使用するにもかかわらず、利用者からの異なる検索性能要求に動的かつ円滑に対応できる。
このため、品質グレードの異なる転置索引情報や解析用単語辞書などの増設や生成や更新に要する労力やコストを省くことができる上、記憶装置や計算装置資源の増加を回避することもできる。
また、品質グレードの異なる転置索引情報や解析用単語辞書などを如何に増設しても、検索性能を、段階的・離散的にしか調整することができないことは、上述した通りである。これに対して、この実施形態によれば、指定される検索性能条件の僅かな変化にも、（検索性能決定に重要な役割を果たす）断片最大特異性値ζが追従できるので、１種類の転置索引情報のみにもかかわらず、検索性能を動的かつ円滑に調整変更できる。
【実施形態２】
【００７５】
次に、この発明の第２の実施形態について説明する。
図９は、この発明の第２の実施形態である類似文書検索システムの構成を詳細に示す機能ブロック図、また、図１０は、同類似文書検索システムで実行される類似文書検索動作の流れを示すフローチャートである。
まず、図９を参照して、第２の実施形態の構成について説明する。
この実施形態のシステムが、上述した第１の実施形態のそれと異なるところは、図９に示すように、意味小片分割部１６ａと検索クエリ生成部１８ｂとの間に意味小片フィルタ部１９ａを設け、特異性の低い意味小片を除外するようにした点である。
これに伴い、この実施形態の構成では、パラメタ値調整部１７ｂが、第１の実施形態と同様、断片最大特異性値ζを算出する他、新たに意味小片除外閾値ξをも算出して意味小片フィルタ部１９ａに出力する点でも、第１の実施形態と相異している。
上記以外の点では、第１の実施形態と同一であるので、図９において、図２の構成部分と同一の各部については同一の符号を付し、また、対応する各部については異なる添え字を付して、その説明を省略又は簡略化する。
【００７６】
この実施形態でも、第１の実施形態と同様に、類似文書検索動作時、パラメタ値調整部１７ｂには、性能条件入力部６から検索性能条件Ｃが入力され、意味小片分割部１６ａからは、検索要求文書Ｄに含まれる意味小片群Ｍが文章単位で入力される。
パラメタ値調整部１７ｂは、検索性能条件Ｃと文章単位の意味小片群Ｍが入力されると、意味小片特異性ＤＢ１４から該当する各意味小片ｐの特異性情報Ｚを読み出して、パラメタ値として、断片最大特異性値ζと意味小片除外閾値ξとを算出する。算出された断片最大特異性値ζは、第１の実施形態と同様に、検索クエリ生成部１８ｂに与えられ、また、算出された意味小片除外閾値ξは、意味小片フィルタ部１９ａに与えられる。
【００７７】
意味小片フィルタ部１９ａは、与えられた意味小片除外閾値ξに基づいて、意味小片分割部１６ａから与えられる、検索要求文書Ｄの本文文字列（各文章）に含まれる意味小片群（文章内意味小片集合）Ｍから特異性の低い意味小片を除去する。
ここで、特異性の低い意味小片とは、例えば、「です」、「ます」など、検索対象文書群間で、偏りが少なく、ありふれている意味小片のことである。
【００７８】
次に、図９乃至図１１及び図８（第１の実施形態）を参照して、第２の実施形態の動作について説明する。
なお、検索対象文書を収集する文書収集動作と、意味小片の特異性値を算出する特異性算出動作とは、第１の実施形態で述べたと同様であるので、これらの説明を省略し、類似文書を検索する動作についてのみ説明する。
【００７９】
類似文書検索動作
利用者からの検索要求（検索性能条件Ｃ及び検索要求文書Ｄ）が、検索条件入力部２から類似文書検索部３Ｂに入力されると、これより、第２の実施形態の類似文書検索システムは、類似文書検索動作を開始する（図１０のステップＳｄ１、Ｓｄ2）。利用者からの検索要求のうち、検索性能条件Ｃは、検索条件入力部２の性能条件入力部６から、動的性能調整部１０Ｂのパラメタ値調整部１７ｂに入力される（ステップＳｄ１）。また、検索要求文書Ｄは、検索条件入力部２の文書入力部７から、動的性能調整部１０Ｂの文書解析部１５に入力される（ステップＳｄ２）。
動的性能調整部１０Ｂは、パラメタ値調整部１７ｂが性能条件入力部６から検索性能条件Ｃの指定を受け（ステップＳｄ１）、文書解析部１５が文書入力部７から検索要求文書Ｄを取得すると、動的検索クエリの生成動作を開始する（ステップＳｄ２）。
【００８０】
文書解析部１５は、文書入力部７から取得した検索要求文書Ｄを解析して、検索要求文書Ｄから本文文字列Ｔと、文書タイトルなどのメタ情報を抽出し（ステップＳｄ３）、抽出した本文文字列Ｔを文章単位の文字列に分割する（ステップＳｄ４）。文書解析部１５にて文章単位に分割された各文字列は、意味小片分割部１６ａに与えられる。意味小片分割部１６ａは、入力される文章単位の文字列を、さらに、２-Ｇramの意味小片分解アルゴリズムを用いて、１文字重複して連続する２文字ごとに複数の意味小片ｐに分割して、文章単位の意味小片群Ｍを生成する（ステップＳｄ６）。生成された文章単位の意味小片群Ｍは、パラメタ値調整部１７ｂと意味小片フィルタ部１９ａとに入力される。なお、詳細は、上述した第１の実施形態で述べたと同様であるので、省略する。
【００８１】
パラメタ値調整部１７ｂは、意味小片群Ｍが入力されると（ステップＳｄ６）、意味小片特異性ＤＢ１４から、該当する各意味小片ｐの特異性値Ｚを読み出して、断片最大特異性値ζと意味小片除外閾値ξとを算出する（ステップＳｄ７）。
断片最大特異性値ζは、ステップＳｄ１の検索条件入力部２から入力済みの検索性能条件Ｃと、文章単位の意味小片群Ｍ（ステップＳｄ６）と、該当する各意味小片ｐの特異性値Ｚとに基づいて、例えば、式（５）を用いて、算出される。算出された断片最大特異性値ζは、検索クエリ生成部１８ｂに与えられる。
【００８２】
また、意味小片除外閾値ξは、例えば、式（９）を用いる次述のアルゴリズムに従って算出される。
パラメタ値調整部１７ｂは、入力された意味小片群Ｍ内の各意味小片ｐについて、意味小片特異性ＤＢ１４から取得した特異性値Ｚの累積度数分布（検索要求文書Ｄの文章単位での特異性値Ｚの累積度数分布）を生成する。
【００８３】
次に、意味小片除外閾値ξを決定する際に用いられるα値を算出する。
α値は、再現率の優先度が検索性能要件の１つとして指定されたときは、例えば、式（９）から求めることができる。
式（９）において、ｂは、α値の基本となる定数で０〜１００の値で、意味小片特異性ＤＢ１４の内容に応じて決定されることが好ましい。また、ｆは、再現率優先度によるα値補正の影響度を規定する定数で、０〜１の範囲の値をとる。優先度の最大値とは、優先度の取り得る値域の最大値（例えば、１．０）のことである。
なお、再現率の優先度が検索性能要件の１つとして指定されないときでも、[再現率優先度]として固定値（例えば０．５）を用いるようにすれば、式（９）を用いることができる。
【００８４】
α＝ｂ×（１．０＋ｆ（[再現率優先度]／[優先度の最大値]−０．５））
………（９）
【００８５】
文章内意味小片集合の特異性値Ｚの累積度数分布が生成され、式（９）からα値が算出されると、パラメタ値調整部１７ｂは、生成された特異性値Ｚの累積度数分布のαパーセンタイル値を意味小片除外閾値ξと決定する。
図１１は、検索要求文書Ｄから得られる文章内意味小片集合（ステップＳｄ６）の特異性値Ｚの累積度数分布を模式的に示すグラフである。
例えば、ステップＳｄ７において、図１１に示す特異性値の累積度数分布が得られ、α値として２５が算出されたときは、２５パーセンタイル値である特異性値０．６が意味小片除外閾値ξとなる。算出された意味小片除外閾値ξ（＝０．６）は、意味小片フィルタ部１９ａに与えられる。
【００８６】
意味小片フィルタ部１９ａでは、意味小片分割部１６ａから意味小片群Ｍが入力され、また、パラメタ値調整部１７ｂから意味小片除外閾値ξが与えられると（ステップＳｄ６、Ｓｄ７）、ステップＳｄ１２の処理が実施される。
ステップＳｄ１２では、意味小片フィルタ部１９ａは、意味小片特異性ＤＢ１４から、該当する各意味小片ｐの特異性値Ｚを読み出してきて、意味小片除外閾値ξ（例えば、０．６）よりも低い特異性値Ｚの意味小片ｐを意味小片群Ｍから除去する。
ここで、第１の実施形態の動作説明図である図８を参照して説明する。いま、与えられた意味小片除外閾値ξが０．６であるとすると、図示例の意味小片群ｐの中で、意味小片「果の」の特異性値Ｚ（＝０．５）は、意味小片除外閾値ξよりも低い値であるので、意味小片「果の」が、意味小片群Ｍから除去されることになる。意味小片フィルタ部１９ａは、フィルタリング処理が完了すると、フィルタリング処理をした後の文章単位の意味小片群ｍを、次段の類似文書検索クエリ１８ｂに入力する。
【００８７】
ステップＳｄ８では、検索クエリ生成部１８ｂは、パラメタ値調整部１７ｂが算出した断片最大特異性値ζに基づいて、意味小片フィルタ部１９ａがフィルタリング処理をした後の意味小片群ｍを類似文書検索クエリＱに変換する。この第２の実施形態においても、類似文書検索クエリＱの生成は、上述した第１の実施形態（ステップＳｃ８）で述べたと同様の生成手順に従って、実施される。
【００８８】
生成された検索クエリＱは文章単位検索部１１に与えられる。上記文章単位検索部１１は、与えられた検索クエリＱを用いて、転置索引部９から、検索要求文書Ｄに類似する類似文書の可能性の高い類似文書候補ｄを文章単位で検索する（ステップＳｄ９）。検索された類似文書候補ｄは、検索結果ｒとして、類似度算出部１２に与えられる。この後、ステップＳｄ５に戻り、いまだ、検索されていない文章文字列が残っていれば、再び、上述したステップＳｄ６−Ｓｄ７、Ｓｄ１２、Ｓｄ８−Ｓｄ９までの処理を繰り返す。当該検索要求文書Ｄに含まれている全ての文章文字列に対して、ステップＳｄ９の検索処理が実施されると、動的性能調整部１０Ｂでの処理動作は完了し、システムはステップＳｄ１０へ進む。
【００８９】
ステップＳｄ１０では、類似度算出部１２が、文章単位検索部１１から与えられた全ての検索結果ｒを取りまとめて、類似文書候補ｄごとに検索結果を再構成し、例えば、式（６）−（８）を用いて、各類似文書候補ｄの類似度Ｓ（ｄ）を算出する。類似度算出部１２は、各類似文書候補ｄの類似度Ｓ（ｄ）を算出した後、類似度Ｓ（ｄ）が所定の基準値を超える類似文書候補ｄを、検索結果文書（類似文書）Ｅとして、類似度Ｓ（ｄ）を付して、検索結果出力部４に渡す。検索結果出力部４は、類似度算出部１２から検索結果文書Ｅを受け取ると、検索結果文書Ｅを類似度の高い順に並び替えて、検索要求元の利用者に返却する（ステップＳｄ１１）。ステップＳｄ１１の処理を最後に、一連の類似文書検索動作は完了する。
【００９０】
このように、この第２の実施形態によっても、上述の第１の実施形態で述べたと略同様の効果を得ることができる。
加えて、この実施形態によれば、上記したように、意味小片除外閾値ξが、利用者からの検索性能要求（とくに、再現率の優先度情報）に基づいて、変動（最適化）する構成となっている。それゆえ、入力される検索性能条件（とくに、再現率の要求値）の僅かな変化にも、検索性能（とくに、再現率性能）を一段と動的にかつ円滑に調整変更できる。
また、この実施形態では、意味小片フィルタ部１９ａによって、特異性の低い（言い換えれば、普遍的な）意味小片が排除されるため、検索結果の有効性（とくに、検索結果の再現率）の向上を図ることができる。
【実施形態３】
【００９１】
次に、この発明の第３の実施形態について説明する。
図１２は、この発明の第３の実施形態である類似文書検索システムの構成を詳細に示す機能ブロック図、また、図１３は、同類似文書検索システムで実行される類似文書検索動作の流れを示すフローチャートである。
まず、図１２を参照して、第３の実施形態の構成について説明する。
この実施形態のシステムが、上述した第２の実施形態のそれと異なるところは、図１２に示すように、動的性能調整部１０Ｃに、類義語辞書２０と類義語検索部２１とを付加して、類似文書の検索対象を類義語にまで拡張するようにした点である。また、これに伴い、意味小片分割部１６ｂと、パラメタ値調整部１７ｃと、検索クエリ生成部１８ｃの各動作が、第２の実施形態のそれと相異している。
上記以外の点では、第２の実施形態と同一であるので、図１２において、図９の構成部分と同一の各部については同一の符号を付し、また、対応する各部については異なる添え字を付して、その説明を省略又は簡略化する。
【００９２】
類義語辞書２０は、図１４に例示する類義語辞書テーブルＴＣを備え、単語Ｘと単語Ｘの類義語Ｙとを対応付けてテーブル形式で格納する。単語Ｘは、類義語検索の元となる語彙であり、類義語Ｙは、単語Ｘの類義語であり、単語Ｘと同様の意味を持つ語彙である。類義語辞書テーブルＴＣで用いられる単語Ｘや類義語Ｙの値としては、文字列や数値やＵＲＩや特徴量などのように、単語や類義語を一意に指定するものを挙げることができる。なお、単語Ｘや類義語Ｙは、単一語彙に限らず、必要に応じて、句など複数の語彙から構成されていても良い。また、単語Ｘと類義語Ｙとの対応付けは、１対１の対応付けに限らず、多対多の対応付けでも勿論良い。
【００９３】
また、類義語検索部２１は、文書解析部１５から与えられる検索要求文書Ｄの本文文字列Ｔ（文章単位の文字列）から、文章単位で単語群を抽出し、抽出した各単語Ｘの類義語Ｙを類義語辞書２０（類義語辞書テーブルＴＣ）から検索する。この類義語検索結果に基づいて、検索要求文書Ｄの各文章文字列内の単語Ｘと類義語Ｙとの対応関係を示す類義語情報Ｘ／Ｙ（図１５）を生成して、文章ごとに意味小片分割部１６ｂに出力する。
上記類義語情報Ｘ／Ｙでは、検索要求文書Ｄの文章文字列内の単語Ｘとして、単語を示す文字列や数値やＵＲＩや特徴量や検索要求文書Ｄ内における位置情報などのように、単語を一意に指定できるものを使用できる。なお、図５の類義語情報Ｘ／Ｙでも、図１４の類義語辞書テーブルＴＣと同様に、単語Ｘと類義語Ｙとの対応付けは、１対１の対応付けに限らず、多対多の対応付けでも勿論良い。また、単語Ｘや類義語Ｙは、単一語彙に限らず、必要に応じて、句など複数の語彙から構成されていても良い。
【００９４】
意味小片分割部１６ｂは、類義語検索部２１が生成した類義語情報Ｘ／Ｙに基づいて、文書解析部１５から与えられる文章単位の本文文字列Ｔに対して、単語Ｘの類義語置換、類義語展開、及び意味小片分割を行って、展開意味小片群Ｋを生成する。上記類義語置換、類義語展開、及び展開意味小片群Ｋの詳細については、図１６を参照して、後述する。意味小片分割部１６ｂが生成した展開意味小片群Ｋは、パラメタ値調整部１７ｃと検索クエリ生成部１８ｃとに入力される。
【００９５】
この実施形態では、類似文書検索動作時、パラメタ値調整部１７ｃには、性能条件入力部６から検索性能条件Ｃが入力され、意味小片分割部１６ａから検索要求文書Ｄの文章文字列を類義語Ｙまで拡張した展開意味小片群Ｋが入力される。パラメタ値調整部１７ｃは、検索性能条件Ｃと文章単位の展開意味小片群Ｋが入力されると、意味小片特異性ＤＢ１４から該当する各意味小片ｐの特異性情報Ｚを読み出して、パラメタ値として、断片最大特異性値ζと意味小片除外閾値ξとを算出する。
ここで、意味小片除外閾値ξは、上述の第２の実施形態で述べたと同様の手法を用いて算出される（式（９）及び図１１）。
断片最大特異性値ζは、検索条件入力部２から入力される検索性能条件Ｃと、意味小片分割部１６ａから入力される文章単位の展開意味小片群Ｋと、該当する各意味小片ｐの特異性値Ｚとに基づいて算出される。
算出された断片最大特異性値ζは、第１の実施形態と同様に、検索クエリ生成部１８ｃに与えられ、また、算出された意味小片除外閾値ξは、第２の実施形態と同様に、意味小片フィルタ部１９ｂに与えられる。
【００９６】
検索クエリ生成部１８ｃは、意味小片フィルタ部１９ｂから入力される文章単位の展開意味小片群Ｋと、パラメタ値調整部１７ｃから入力される断片最大特異性値ζとに基づいて、類似文書検索クエリＱを生成する。
【００９７】
次に、図１２乃至図１７を参照して、第３の実施形態の動作について説明する。
なお、検索対象文書を収集する文書収集動作と、意味小片の特異性値を算出する特異性算出動作とは、第１の実施形態で述べたと同様であるので、これらの説明を省略し、類似文書を検索する動作についてのみ説明する。
【００９８】
類似文書検索動作
利用者からの検索要求（検索性能条件Ｃ及び検索要求文書Ｄ）が、検索条件入力部２から類似文書検索部３Ｃに入力されると、これより、第３の実施形態の類似文書検索システムは、類似文書検索動作を開始する（図１２のステップＳｅ１、Ｓｅ2）。利用者からの検索要求のうち、検索性能条件Ｃは、検索条件入力部２の性能条件入力部６から、動的性能調整部１０Ｃのパラメタ値調整部１７ｃに入力される（ステップＳｅ１）。また、検索要求文書Ｄは、検索条件入力部２の文書入力部７から、動的性能調整部１０Ｃの文書解析部１５に入力される（ステップＳｅ２）。
動的性能調整部１０Ｃは、パラメタ値調整部１７ｃが性能条件入力部６から検索性能条件Ｃの指定を受け（ステップＳｅ１）、文書解析部１５が文書入力部７から検索要求文書Ｄを取得すると、動的検索クエリの生成動作を開始する（ステップＳｅ2）。
【００９９】
文書解析部１５は、文書入力部７から取得した検索要求文書Ｄを解析して、検索要求文書Ｄから本文文字列Ｔと、文書タイトルなどのメタ情報を抽出し（ステップＳｅ３）、抽出した本文文字列Ｔを文章単位の文字列に分割する（ステップＳｅ４）。文書解析部１５にて文章単位に分割された各文字列は、意味小片分割部１６ｂと類義語検索部２１とに与えられる。
【０１００】
類義語検索部２１は、文書解析部１５から検索要求文書Ｄの本文文字列Ｔ（文章単位の文字列）を受け取ると、本文文字列Ｔ中の単語Ｘを文章単位で抽出し、抽出した各単語Ｘの類義語Ｙを類義語辞書２０から検索する（ステップＳｅ１３）。類義語検索部２１は、この類義語検索結果に基づいて、検索要求文書Ｄの本文文字列Ｔの各文章に含まれている単語Ｘと類義語Ｙとの対応関係を示す類義語情報Ｘ／Ｙ（図１５）を生成して、文章ごとに意味小片分割部１６ｂに出力する。
【０１０１】
意味小片分割部１６ｂは、入力される類義語情報Ｘ／Ｙを用いて、文書解析部１５から与えられる検索要求文書Ｄの文章ごとの文字列に対して、類義語置換と類義語展開と意味小片分割とを行い、展開意味小片群Ｋを生成する（ステップＳｅ６）。
ここで、類義語置換とは、類義語情報Ｘ／Ｙに基づいて、検索要求文書Ｄの文章文字列内の単語Ｘを類義語Ｙで置き換えて置換文章文字列を生成する処理を言う。たとえば、検索要求文書Ｄに含まれる文章文字列が、「検索結果の中に…」であるなら、図１６に示すように、「検索応答の中に…」、「サーチ結果の中に…」又は「サーチ応答の中に…」など、個々の置換文章文字列を生成することが類義語置換である。
【０１０２】
また、類義語展開とは、上記した置換処理を単語Ｘ及び類義語Ｙの全ての組合せで実施する処理を言う。たとえば、図１６の例では、元となる文章文字列の「検索結果の中に…」や、置換文章文字列１−３の「検索応答の中に…」、「サーチ結果の中に…」及び「サーチ応答の中に…」など、全ての組合せの文章文字列を取得することが類義語展開である。類義語展開の結果物が、類義語展開情報である。類義語展開情報は、同図に示すように、「検索」、「サーチ」、「応答」、「結果」、「の中に」などのターム（文章の部分）が、展開された文章文字列間で重複する形で表現されている。
【０１０３】
意味小片分割部１６ｂは、次の意味小片分割処理では、展開された各文章文字列（類義語展開情報）について、２-Ｇramの意味小片ｐに分割して、ネットワーク表現の展開意味小片群Ｋを生成する（ステップＳｅ６）。
ネットワーク表現の展開意味小片群Ｋとは、検索要求文書Ｄ内の元となる文章文字列の分割結果物たる意味小片群と、各置換文章文字列の分割結果物たる意味小片群とをネットワークで結んで、類義語展開状況が分かる形に表現したものである。たとえば、展開意味小片群Ｋでは、図１７に示すように、各エッジは、類義語展開されたターム（意味小片ｐ）の部分で分岐し、共通のターム（意味小片ｐ）の部分で合流する形で、展開された意味小片群が表現とされる。なお、ステップＳｅ６において、展開意味小片群Ｋを生成する際には、展開された各文章文字列（類義語展開情報）を、まず、「検索」、「サーチ」、「応答」、「結果」、「の中に」などの重複するターム（図１６の下段）を除いた形で表現して、２-Ｇramの意味小片に分割するのが好ましい。
意味小片分割部１６ｂが生成した展開意味小片群Ｋは、パラメタ値調整部１７ｃと検索クエリ生成部１８ｃとに入力される。
【０１０４】
パラメタ値調整部１７ｃは、展開意味小片群Ｋが入力されると（ステップＳｅ６）、意味小片特異性ＤＢ１４から、該当する各意味小片ｐの特異性値Ｚを読み出して、断片最大特異性値ζと意味小片除外閾値ξとを算出する（ステップＳｅ７）。ここで読み出される特異性値Ｚには、検索要求文書Ｄ内の元となる文章文字列の分割結果物たる意味小片ｐの特異性値Ｚのみならず、各置換文章文字列の分割結果物たる意味小片ｐの特異性値Ｚも含まれる。
断片最大特異性値ζは、ステップＳｅ１の検索条件入力部２から入力済みの検索性能条件Ｃと、文章単位の展開意味小片群Ｋ（ステップＳｅ６）と、該当する各意味小片ｐの特異性値Ｚとに基づいて、例えば、式（１０）を用いて、算出される。算出された断片最大特異性値ζは、検索クエリ生成部１８ｃに与えられる。
また、意味小片除外閾値ξは、第２の実施形態で述べたと同様に、例えば、式（９）を用いて算出され、算出された意味小片除外閾値ξは、意味小片フィルタ部１９ｂに与えられる。
【０１０５】
ここで、検索性能条件Ｃとして、適合率と再現率と検索速度の各優先度が指定されたときは、断片最大特異性値ζは、例えば、式（１０）から与えられる。
式（１０）において、「文章内意味小片集合」とは、「本文文字列Ｔのうち、文章単位の各文字列（文章文字列）に含まれている意味小片群」の意である。また、ｗ(ｐ)は、意味小片特異性ＤＢ１４から意味小片ｐの特異性値を取出す関数である。βは、検索速度優先度値の絶対値を調整するための定数であり、システム設計・修正時に設定することが望ましい。
【０１０６】
ζ＝(Σp∈[文章内意味小片集合] w(p)) ×[類義語展開前単語数]／[類義語展開数]×[適合率優先度]／[再現率優先度]×（β×[検索速度優先度]）              ………（１０）
【０１０７】
意味小片フィルタ部１９ｂでは、意味小片分割部１６ｂから展開意味小片群Ｋが入力され、また、パラメタ値調整部１７ｃから意味小片除外閾値ξが与えられると（ステップＳｅ６、Ｓｅ７）、ステップＳｅ１２の処理が実施される。
ステップＳｅ１２では、意味小片フィルタ部１９ｂは、意味小片特異性ＤＢ１４から、該当する各意味小片ｐの特異性値Ｚを読み出してきて、意味小片除外閾値ξよりも低い特異性値Ｚの意味小片ｐを展開意味小片群Ｋから除去する。
意味小片フィルタ部１９ｂは、フィルタリング処理が完了すると、フィルタリング処理をした後の（ネットワーク表現の）展開意味小片群ｋを、次段の類似文書検索クエリ１８ｃに入力する。
【０１０８】
ステップＳｅ８では、パラメタ値調整部１７ｃが算出した断片最大特異性値ζに基づいて、意味小片フィルタ部１９ｂがフィルタリング処理をした後の展開意味小片群ｋから類似文書検索クエリＱに変換すされる。すなわち、検索クエリ生成部１８ｃは、ネットワーク表現の展開意味小片群ｋについて、類義語置換状況を考慮しながら、少ない意味断片に分割して、たとえば、次述の意味断片生成アルゴリズムを用いて、類似文書検索クエリＱの生成を実施する。
検索クエリ生成部１８ｃは、まず、展開意味小片群ｋについて、ネットワークの始点から幅優先で各意味断片成処理が実施し、ネットワークの分岐点に着いたら、分岐後の各意味小片ｐｂｉに対して、次述の条件に従って各意味断片成処理を実施する。
【０１０９】
（ａ）もし、分岐ｉについて、Σｐ∈Ｆ＋ｐｂｉｗ（ｐ）＞ζならば、検索クエリ生成部１８ｃは、Ｆを意味断片とし、当該意味断片生成処理を完了し、分岐後の意味小片ｐｂｉから新しい意味断片生成処理を開始する。ここで、ｗ（ｐ）は、意味小片ｐの特異性値Ｚを返す関数、ｉは分岐後の意味小片ｐの１つで分岐数ｎの場合、ｎ≧ｉ≧１をとる。Ｆは、意味断片生成途中の分岐前の意味小片集合である。
（ｂ）＜幅優先＞分岐ｊについて、当該意味断片生成処理の継続が決まっているならば、検索クエリ生成部１８ｃは、当該意味断片生成処理途中の意味小片集合Ｆをコピーして新しい意味小片集合ＦＮＥＷを作成する。検索クエリ生成部１８ｃは、また、分岐ｉの意味小片ｐｂｉを分岐ｊの意味小片ｐｂｊで置き換えて、分岐ｊに進む意味断片生成処理（Σｐ∈Ｆ＋ｐｂｊｗ（ｐ））を開始する。
（ｃ）もし、Σｐ∈Ｆ＋ｐｂｉｗ（ｐ）＜ζならば、検索クエリ生成部１８ｃは、分岐前の意味小片集合Ｆに分岐後の意味小片ｐｂｉを追加して、分岐ｉに進む当該意味断片生成処理を続行する。
【０１１０】
次に、ネットワークの合流点にきたときは、検索クエリ生成部１８ｃは、次述の条件に従って、合流する各意味断片生成処理の完了又は継続の判断を行う。
（ｄ）もし、Σｐ∈Ｆｉ＋ｐｃ＞ζならば、意味小片集合Ｆｉを意味断片とし、当該意味断片生成処理を完了する。ここで、ｐｃは、合流点の意味小片を示している。
（ｅ）もし、ζ≧Σｐ∈Ｆｉ＋ｐｃ＞ζ／２ならば、意味小片集合Ｆｉにｐｃを追加して、Ｆｉを意味断片とし、当該意味断片生成処理を完了する。ここで、ζ／２（下限値）は経験則に基づく設定値であり、必要に応じて、増減できる。
（ｆ）ζ／２＞ζならば、意味小片集合Ｆｉに合流点の意味小片ｐｃを追加して、当該意味断片生成処理を継続する。
【０１１１】
図１７は、上述の意味断片生成アルゴリズム（（ａ）〜（ｆ））を用いて生成された意味断片の具体例を示す模式図である。図示例では、まず、先頭の意味小片「検索」から１つ目の意味断片生成処理を作成し、意味小片「サー」から２つ目の意味断片生成処理を作成する。
次に、１つ目の意味断片生成処理は、「検索」から、「索結」と「索応」という２つの意味小片へネットワークが分岐するため、１つ目の意味断片生成処理は「検索」から「索結」と処理を継続する（ｃ）。さらに、幅優先で、「検索」「索応」という３つ目の意味断片生成処理を作成する（ｂ）。２つ目の意味断片生成処理は、「サー」「ーチ」と処理が進む。２つ目の意味断片生成処理を進めていくと、「チ応」から始まる４つ目の意味断片生成処理と、「結果」から始まる５つ目の意味断片生成処理が意味小片「の中」において合流する。
【０１１２】
ここで、４つ目の処理は、「チ応」〜「の中」の特異性値の合計が、ζ＞４．９５＞ζ／２となるため、意味断片を確定し、処理を完了する（ｅ）。一方、５つ目の処理は、「結果」〜「の中」の特異性値の合計が、（ζ＞ζ／２＞）３．６４となるため処理を継続する（ｆ）。さらに、合流点の意味小片「の中」から、新たに６つ目の意味断片生成処理を作成する。
このように生成された意味断片は、次に、第１の実施形態（ステップＳｃ８）で述べたと略同様の生成手順により、類似文書検索クエリＱに変換される。
【０１１３】
生成された検索クエリＱは文章単位検索部１１に入力される。上記文章単位検索部１１は、与えられた検索クエリＱを用いて、転置索引部９から、検索要求文書Ｄに類似する類似文書の可能性の高い類似文書候補ｄを検索する（ステップＳｅ９）。検索された類似文書候補ｄは、検索結果ｒとして、類似度算出部１２に与えられる。この後、ステップＳｅ５に戻り、いまだ、検索されていない文章文字列が残っていれば、再び、上述したステップＳｅ１３、Ｓｅ６−Ｓｅ７、Ｓｅ１２、Ｓｅ８−Ｓｅ９までの処理を繰り返す。検索要求文書Ｄに含まれている全ての文章文字列に対して、ステップＳｅ９までの検索処理が実施されると、動的性能調整部１０Ｃでの処理動作は完了し、システムはステップＳｅ１０へ進む。
【０１１４】
ステップＳｅ１０では、類似度算出部１２が、文章単位検索部１１から与えられた全ての検索結果ｒを取りまとめて、類似文書候補ｄごとに検索結果を再構成し、例えば、式（６）−（８）を用いて、各類似文書候補ｄの類似度Ｓ（ｄ）を算出する。類似度算出部１２は、各類似文書候補ｄの類似度Ｓ（ｄ）を算出した後、類似度Ｓ（ｄ）が所定の基準値を超える類似文書候補ｄを、検索結果文書（類似文書）Ｅとして、類似度Ｓ（ｄ）を付して、検索結果出力部４に渡す。検索結果出力部４は、類似度算出部１２から検索結果文書Ｅを受け取ると、検索結果文書Ｅを類似度の高い順に並び替えて、検索要求元の利用者に返却する（ステップＳｅ１１）。ステップＳｅ１１の処理を最後に、一連の類似文書検索動作は完了する。
【０１１５】
このように、この第３の実施形態によれば、上述の第２の実施形態で述べたと同様の効果を得ることができる。加えて、類義語検索部２１と類義語辞書２０を用いることで文書に含まれる単語の類義語を展開するように構成されているため、検索の再現率をさらに向上させることができる。
さらにまた、類義語展開されたネットワーク表現の展開意味小片群のうち、共通部分は、１つの意味断片（図１７）に統合される形に類似文書検索クエリが生成されるので、文章単位検索部１１での計算資源の消費を軽減することができる。
【０１１６】
以上、この発明の一実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更などがあってもこの発明に含まれる。
たとえば、上記した検索性能条件は、検索結果の再現率、適合率又は実行速度、又はこれらの任意の組み合せに限らない。必要に応じて、他の検索要因を用いるようにしても良い。また、利用者が指定する検索性能条件の入力は、数値入力に限らず、文字入力でも良く、また、この発明は、Ｎ-Ｇram方式に限らず、形態素解析方式にも適用できる。転置索引は、１種類のみに限る必要はなく、複数種の転置索引から構成されても良い。意味小片の構成文字数は、２文字に限らず、３文字又はそれ以上でも良い。また、この実施形態では、文字列情報を１文字重複して連続する２文字ずつに分割することで、２-Ｇramの意味小片ｐを作成するようにしたが、たとえば、前後関係を保持できるのであれば、１文字重複せずに、連続する２文字ずつに分割するようにしても良い。また、上述の各種数式は、一例であり、必要に応じて、異なる数式を用いても良い。上述の第３の実施形態では、意味小片フィルタ部を用いたが、必要に応じて、省略できる。
【０１１７】
この出願は、２００９年１２月２１日に出願された日本出願特願２００９−２８９８６６を基礎とする優先権を主張し、その開示の全てがここに取り込まれている。
【産業上の利用可能性】
【０１１８】
この発明の類似文書検索プログラム及び方法は、異なる検索性能要求に動的に対応できるので、情報漏洩検出や盗用文書検出など、検索性能要求の異なるソリューションのプラットフォームとして活用できる。同様に、この発明の類似文書検索システム及び装置は、情報漏洩検出システムや盗用文書検出システムなどのサブシステムとしても適用できる。
【符号の説明】
【０１１９】
１        文書収集部
２        検索条件入力部
３、３Ａ、３Ｂ、３Ｃ        類似文書検索部（類似文書検索装置）
４        検索結果出力部
５        検索対象システム
６        性能条件入力部
７        文書入力部
８        文書登録部（文書登録手段）
９        転置索引部（転置索引保管手段）
１０Ａ、１０Ｂ、１０Ｃ        動的性能調整部（検索性能設定手段）
１１        文章単位検索部（類似候補検索手段）
１２        類似度算出部（類似度算出手段）
１３        意味小片特異性算出部（意味小片特異性算出手段）
１４        意味小片特異性ＤＢ（意味小片特異性保管手段）
１５        文書解析部（文書解析手段）
１６ａ、１６ｂ      意味小片分割部（意味小片分割手段）
１７ａ、１７ｂ、１７ｃ      パラメタ値調整部（断片最大特異性算出手段）
１８ａ、１８ｂ、１８ｃ      検索クエリ生成部（検索クエリ生成手段）
１９ａ、１９ｂ        意味小片フィルタ部
２０      類義語辞書（類義語辞書格納手段）
２１        類義語検索部（類義語検索手段）
ＴＡ        転置索引テーブル
ＴＢ        意味小片特異性テーブル
ＴＣ        類義語辞書テーブル
【図１】
2011077889.tif 000003
【図２】
2011077889.tif 000004
【図３】
2011077889.tif 000005
【図４】
2011077889.tif 000006
【図５】
2011077889.tif 000007
【図６】
2011077889.tif 000008
【図７】
2011077889.tif 000009
【図８】
2011077889.tif 000010
【図９】
2011077889.tif 000011
【図１０】
2011077889.tif 000012
【図１１】
2011077889.tif 000013
【図１２】
2011077889.tif 000014
【図１３】
2011077889.tif 000015
【図１４】
2011077889.tif 000016
【図１５】
2011077889.tif 000017
【図１６】
2011077889.tif 000018
【図１７】
2011077889.tif 000019
【図１８】
2011077889.tif 000020
【図１９】
2011077889.tif 000021
【手続補正書】
【提出日】平成24年11月19日(2012.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索要求文書から抽出される文字列情報の分割要素である意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、
前記特異性値の合計が、指定された検索性能条件に基づいて設定される上限値（以下、断片最大特異性値という）を超えない範囲で連続する複数個の前記意味小片をグループ化して意味断片を生成する検索性能設定手段を備え、
生成された前記意味断片に基づいて、前記検索要求文書に類似する文書を検索することを特徴とする類似文書検索装置。
【請求項２】
前記検索性能条件として、検索速度条件を優先させるほど、前記断片最大特異性値は、大きな値に設定されることを特徴とする請求項１記載の類似文書検索装置。
【請求項３】
前記断片最大特異性値は、
前記検索性能条件として、適合率条件を優先させるほど、前記断片最大特異性値は、大きな値に設定されることを特徴とする請求項１記載の類似文書検索装置。
【請求項４】
前記検索性能条件として、再現率条件を優先させるほど、前記断片最大特異性値は、小さな値に設定されることを特徴とする請求項１記載の類似文書検索装置。
【請求項５】
前記検索性能設定手段は、
意味小片フィルタ部を備え、該意味小片フィルタ部は、少なくとも１文字重複して分割された複数の前記意味小片のうち、所定の閾値に満たない特異性値を有する意味小片をふるい落として、前記意味断片からなる前記検索クエリの構成要素から除外することを特徴とする請求項１記載の類似文書検索装置。
【請求項６】
前記所定の閾値は、利用者によって任意に指定された検索性能条件に基づいて、変動することを特徴とする請求項５記載の類似文書検索装置。
【請求項７】
検索対象文書群内の該当する各文書にあらわれる、検索の最小単位である前記意味小片の位置情報を記述する転置索引データを作成する文書登録手段と、
該文書登録手段が作成した前記転置索引データを保管する転置索引保管手段と、
前記検索性能設定手段が作成した前記検索クエリに基づいて、前記転置索引保管手段から前記検索要求文書に類似する類似文書候補を検索する類似候補検索手段と、
検索された前記類似文書候補の類似度を算出する類似度算出手段とをさらに備えてなることを特徴とする請求項１又は５記載の類似文書検索装置。
【請求項８】
前記検索性能設定手段は、
入力された前記検索要求文書を分析して、単数又は複数の文字列情報を抽出する文書解析手段と、
前記検索要求文書から抽出された前記各文字列情報を少なくとも１文字重複して連続する前記意味小片に分割する意味小片分割手段と、
前記転置索引保管手段に保管されている前記意味小片の前記特異性値を算出する意味小片特異性算出手段と、
算出された前記意味小片の前記特異性値を保管する意味小片特異性保管手段と、
前記検索要求文書の前記各文字列情報を構成する前記各意味小片について、前記意味小片特異性算出手段から読み出された前記特異性値と、前記利用者によって指定された前記検索性能条件とに基づいて、前記断片最大特異性値を算出する断片最大特異性算出手段と、
算出された前記断片最大特異性値に基づいて、前記検索クエリを生成する検索クエリ生成手段とを備えてなることを特徴とする請求項７記載の類似文書検索装置。
【請求項９】
前記検索クエリ生成手段は、
前記検索要求文書から抽出された前記各文字列情報について、先頭から前記意味小片を取出し、少なくとも１文字重複して連続する複数の前記意味小片を、これらの特異性値の合計が、前記断片最大特異性値を超えず、かつ、前記断片最大特異性値との差分が最小となる条件を満たす態様で、区切ってゆき、区切りによってまとめられる各意味小片群を前記意味断片として、前記検索クエリを作成することを特徴とする請求項８記載の類似文書検索装置。
【請求項１０】
類義語辞書を格納する類義語辞書格納手段と、
前記検索要求文書から抽出された前記各文字列情報に含まれる単語の類義語を前記類義語辞書格納手段から検索して類義語情報を生成する類義語検索手段とを備え、
前記意味小片分割手段は、
前記類義語検索手段によって生成された前記類義語情報に基づいて、前記検索要求文書から抽出された前記各文字列情報を類義語で置換して類義語展開情報を作成し、作成された前記類義語展開情報を少なくとも１文字重複して連続する前記意味小片に分割し、
前記断片最大特異性算出手段は、
前記類義語展開情報の最小分割要素たる前記各意味小片に対応する前記特異性値も考慮に入れて、前記断片最大特異性値を算出し、
前記検索クエリ生成手段は、前記類義語展開情報の分割最小要素たる前記各意味小片も含めて、前記検索クエリを生成することを特徴とする請求項８又は９記載の類似文書検索装置。
【請求項１１】
検索対象文書群を収集する文書収集手段と、
利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力手段と、
検索要求文書から抽出される文字列情報の分割要素である意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、
前記特異性値の合計が、指定された検索性能条件に基づいて設定される断片最大特異性値を超えない範囲で連続する複数個の前記意味小片をグループ化して意味断片を生成する検索性能設定手段とを備え、
生成された前記意味断片に基づいて、前記検索要求文書に類似する文書を検索することを特徴とする類似文書検索システム。
【請求項１２】
前記検索性能条件として、検索速度条件を優先させるほど、前記断片最大特異性値は、大きな値に設定されることを特徴とする請求項１１記載の類似文書検索システム。
【請求項１３】
前記断片最大特異性値は、 
前記検索性能条件として、適合率条件を優先させるほど、前記断片最大特異性値は、大きな値に設定されることを特徴とする請求項１１記載の類似文書検索システム。
【請求項１４】
前記検索性能条件として、再現率条件を優先させるほど、前記断片最大特異性値は、小さなに設定されることを特徴とする請求項１１記載の類似文書検索システム。
【請求項１５】
前記検索性能設定手段は、
意味小片フィルタ部を備え、該意味小片フィルタ部は、少なくとも１文字重複して分割された複数の前記意味小片のうち、所定の閾値に満たない特異性値を有する意味小片をふるい落として、前記意味断片からなる前記検索クエリの構成要素から除外することを特徴とする請求項１１記載の類似文書検索システム。
【請求項１６】
前記所定の閾値は、利用者によって任意に指定された検索性能条件に基づいて、変動することを特徴とする請求項１５記載の類似文書検索システム。
【請求項１７】
検索対象文書群内の該当する各文書にあらわれる、検索の最小単位である前記意味小片の位置情報を記述する転置索引データを作成する文書登録手段と、
該文書登録手段が作成した前記転置索引データを保管する転置索引保管手段と、
前記検索性能設定手段が作成した前記検索クエリに基づいて、前記転置索引保管手段から前記検索要求文書に類似する類似文書候補を検索する類似候補検索手段と、
検索された前記類似文書候補の類似度を算出する類似度算出手段とをさらに備えてなることを特徴とする請求項１１又は１５記載の類似文書検索システム。
【請求項１８】
前記検索性能設定手段は、
入力された前記検索要求文書を分析して、単数又は複数の文字列情報を抽出する文書解析手段と、
前記検索要求文書から抽出された前記各文字列情報を少なくとも１文字重複して連続する前記意味小片に分割する意味小片分割手段と、
前記転置索引保管手段に保管されている前記意味小片の前記特異性値を算出する意味小片特異性算出手段と、
算出された前記意味小片の前記特異性値を保管する意味小片特異性保管手段と、
前記検索要求文書の前記各文字列情報を構成する前記各意味小片について、前記意味小片特異性算出手段から読み出された前記特異性値と、前記利用者によって指定された前記検索性能条件とに基づいて、前記断片最大特異性値を算出する断片最大特異性算出手段と、
算出された前記断片最大特異性値に基づいて、前記検索クエリを生成する検索クエリ生成手段とを備えてなることを特徴とする請求項１７記載の類似文書検索システム。
【請求項１９】
前記検索クエリ生成手段は、
前記検索要求文書から抽出された前記各文字列情報について、先頭から前記意味小片を取出し、少なくとも１文字重複して連続する複数の前記意味小片を、これらの特異性値の合計が、前記断片最大特異性値を超えず、かつ、前記断片最大特異性値との差分が最小となる条件を満たす態様で、区切ってゆき、区切りによってまとめられる各意味小片群を前記意味断片として、前記検索クエリを作成することを特徴とする請求項１８記載の類似文書検索システム。
【請求項２０】
類義語辞書を格納する類義語辞書格納手段と、
前記検索要求文書から抽出された前記各文字列情報に含まれる単語の類義語を前記類義語辞書格納手段から検索して類義語情報を生成する類義語検索手段とを備え、
前記意味小片分割手段は、
前記類義語検索手段によって生成された前記類義語情報に基づいて、前記検索要求文書から抽出された前記各文字列情報を類義語で置換して類義語展開情報を作成し、作成された前記類義語展開情報を少なくとも１文字重複して連続する前記意味小片に分割し、
前記断片最大特異性算出手段は、
前記類義語展開情報の最小分割要素たる前記各意味小片に対応する前記特異性値も考慮に入れて、前記断片最大特異性値を算出し、
前記検索クエリ生成手段は、前記類義語展開情報の分割最小要素たる前記各意味小片も含めて、前記検索クエリを生成することを特徴とする請求項１８又は１９記載の類似文書検索システム。
【請求項２１】
検索対象文書群を収集する文書収集処理と、
利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力処理と、
検索要求文書から抽出される文字列情報の分割要素である意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、
前記特異性値の合計が、指定された検索性能条件に基づいて設定する断片最大特異性値を超えない範囲で連続する複数個の前記意味小片をグループ化して意味断片を生成する検索性能設定処理とを含み、
生成された前記意味断片に基づいて、前記検索要求文書に類似する文書を検索することを特徴とする類似文書検索方法。
【請求項２２】
前記検索性能条件として、検索速度条件を優先させるほど、前記断片最大特異性値は、大きな値に設定することを特徴とする請求項２１記載の類似文書検索方法。
【請求項２３】
前記断片最大特異性値は、 
前記検索性能条件として、適合率条件を優先させるほど、前記断片最大特異性値は、大きな値に設定することを特徴とする請求項２１記載の類似文書検索方法。
【請求項２４】
前記検索性能条件として、再現率条件を優先させるほど、前記断片最大特異性値は、小さな値に設定することを特徴とする請求項２１記載の類似文書検索方法。
【請求項２５】
前記検索性能設定処理では、
意味小片フィルタ処理を含み、該意味小片フィルタ処理では、少なくとも１文字重複して分割された複数の前記意味小片のうち、所定の閾値に満たない特異性値を有する意味小片をふるい落として、前記意味断片からなる前記検索クエリの構成要素から除外することを特徴とする請求項２１記載の類似文書検索方法。
【請求項２６】
前記所定の閾値は、利用者によって任意に指定された検索性能条件に基づいて、変動することを特徴とする請求項２５記載の類似文書検索方法。
【請求項２７】
検索対象文書群内の該当する各文書にあらわれる、検索の最小単位である前記意味小片の位置情報を記述する転置索引データを作成する文書登録処理と、
該文書登録処理にて作成した前記転置索引データを転置索引保管手段に保管する転置索引保管処理と、
前記検索性能設定処理にて作成した前記検索クエリに基づいて、前記転置索引保管手段から前記検索要求文書に類似する類似文書候補を検索する類似候補検索処理と、
検索された前記類似文書候補の類似度を算出する類似度算出処理とをさらに含んでなることを特徴とする請求項２１又は２５記載の類似文書検索方法。
【請求項２８】
前記検索性能設定処理は、
入力された前記検索要求文書を分析して、単数又は複数の文字列情報を抽出する文書解析処理と、
前記検索要求文書から抽出された前記各文字列情報を少なくとも１文字重複して連続する前記意味小片に分割する意味小片分割処理と、
前記転置索引保管手段に保管されている前記意味小片の前記特異性値を算出する意味小片特異性算出処理と、
算出された前記意味小片の前記特異性値を意味小片特異性保管手段に保管する意味小片特異性保管処理と、
前記検索要求文書の前記各文字列情報を構成する前記各意味小片について、前記意味小片特異性算出手段から読み出された前記特異性値と、前記利用者が指定した前記検索性能条件とに基づいて、前記断片最大特異性値を算出する断片最大特異性算出処理と、
該断片最大特異性算出処理にて算出した前記断片最大特異性値に基づいて、前記検索クエリを生成する検索クエリ生成処理とを有してなることを特徴とする請求項２７記載の類似文書検索方法。
【請求項２９】
前記検索クエリ生成処理では、
前記検索要求文書から抽出された前記各文字列情報について、先頭から前記意味小片を取出し、少なくとも１文字重複して連続する複数の前記意味小片を、これらの特異性値の合計が、前記断片最大特異性値を超えず、かつ、前記断片最大特異性値との差分が最小となる条件を満たす態様で、区切ってゆき、区切りによってまとめられる各意味小片群を前記意味断片として、前記検索クエリを作成することを特徴とする請求項２８記載の類似文書検索方法。
【請求項３０】
前記検索要求文書から抽出された前記各文字列情報に含まれる単語の類義語を類義語辞書格納手段から検索して類義語情報を生成する類義語検索処理をさらに含み、
前記意味小片分割処理では、
前記類義語検索処理にて生成した前記類義語情報に基づいて、前記検索要求文書から抽出された前記各文字列情報を類義語で置換して類義語展開情報を作成し、作成した前記類義語展開情報を少なくとも１文字重複して連続する前記意味小片に分割し、
前記断片最大特異性算出処理では、
前記類義語展開情報の最小分割要素たる前記各意味小片に対応する前記特異性値も考慮に入れて、前記断片最大特異性値を算出し、
前記検索クエリ生成処理では、前記類義語展開情報の分割最小要素たる前記各意味小片も含めて、前記検索クエリを生成することを特徴とする請求項２８又は２９記載の類似文書検索方法。
【請求項３１】
コンピュータを、請求項１乃至１０の何れか一に記載の類似文書検索装置として機能させることを特徴とする類似文書検索プログラム。
【請求項３２】
コンピュータを、請求項１１乃至２０の何れか一に記載の類似文書検索システムとして機能させることを特徴とする類似文書検索プログラム。
【請求項３３】
コンピュータに、２１乃至３０の何れか一に記載の類似文書検索方法を実行させることを特徴とする類似文書検索プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
上記課題を解決するために、この発明の第１の構成は、類似文書検索装置に係り、検索要求文書から抽出される文字列情報の分割要素である意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、前記特異性値の合計が、指定された検索性能条件に基づいて設定される上限値（以下、断片最大特異性値という）を超えない範囲で連続する複数個の前記意味小片をグループ化して意味断片を生成する検索性能設定手段を備え、生成された前記意味断片に基づいて、前記検索要求文書に類似する文書を検索することを特徴としている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
この発明の第２の構成は、類似文書検索システムに係り、検索対象文書群を収集する文書収集手段と、利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力手段と、検索要求文書から抽出される文字列情報の分割要素である意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、前記特異性値の合計が、指定された検索性能条件に基づいて設定される断片最大特異性値を超えない範囲で連続する複数個の前記意味小片をグループ化して意味断片を生成する検索性能設定手段とを備え、生成された前記意味断片に基づいて、前記検索要求文書に類似する文書を検索することを特徴としている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
この発明の第３の構成は、類似文書検索方法に係り、検索対象文書群を収集する文書収集処理と、利用者が、検索要求文書を入力すると共に、検索性能条件を任意に指定するための検索条件入力処理と、検索要求文書から抽出される文字列情報の分割要素である意味小片のそれぞれについて、対象となる前記意味小片が、検索対象文書群の中で特定の文書群に偏ってあらわれる統計的出現頻度を示す指標と定義される特異性値を算出し、前記特異性値の合計が、指定された検索性能条件に基づいて設定する断片最大特異性値を超えない範囲で連続する複数個の前記意味小片をグループ化して意味断片を生成する検索性能設定処理とを含み、生成された前記意味断片に基づいて、前記検索要求文書に類似する文書を検索することを特徴としている。
【国際調査報告】
2011077889.tif 000022
2011077889.tif 000023
2011077889.tif 000024