全文検索
全文検索くん (Search++) Luceneによる全文検索システム PDF、新旧Officeドキュメント対応
サーチクロス(ビレッジセンター) 形態素解析によるわかち書きは採用せず。 詳細なアルゴリズムは不明だが、文字種により単語を分割し、インデックスに登録していくタイプと思われる。 ひらがなは事前に辞書登録されたもの以外は検索できない。 アルゴリズムが単純な分、インデクシングが極めて高速。
コンセプトサーチ(ジャストシステム) 自然言語による検索が可能。 文書管理アプリケーションDocuWorks(富士フイルムビジネスイノベーション)のバージョン6.0より「ExpandFinder」という名称でバンドルされている。
分散インデックス型 全文検索ソフト: Pokuda Search Pro Apache Tikaによるテキスト抽出とApache Luceneによる全文検索 PDF、新旧Officeドキュメント、OpenOfficeドキュメント、MP3, MP4のメタ情報の検索に対応
全文検索システムの評価指標のひとつとして「再現率(英: recall)」と「適合率(精度、英: precision)」が用いられる。前者は「いかに検索漏れが少ないか」をあらわし後者は「いかに検索ノイズが少ないか」をあらわす。一般的に両者はトレードオフの関係にあるといわれている。(→「情報検索#検索性能の評価」)
たとえば「全文検索技術」という文字列の場合、「全文」「文検」「検索」「索技」「技術」「術(終端)」と2文字ずつ分割して索引化を行ってやれば、検索漏れが生じず、辞書の必要も無い。形態素解析によるわかち書きに比べると、2つの欠点がある。意図したものとは異なる検索結果(いわゆる検索ノイズ)の発生と、インデックスサイズの肥大化である。検索ノイズの一例として、「京都」で検索すると「東京都庁」という適合しない検索結果、「***が含まれる物は見つかりませんでした」という文章が返ってくる場合が挙げられる。
その他
他に日本語文書から索引文字列を抽出する手法として、文字種による切り分け、接尾辞配列、シグネチャ法などがありそれぞれに特長があるが、先の2種に比べると大規模なシステムには適用しづらく、精度の問題もあり主流とはなっていない。