SoftMatcha:大規模コーパス検索のための柔らかくも高速なパターンマッチャー

用例や言語現象をコーパスから素早く探し出すgrepなどのパターン検索は，コーパスと人間をつなぐための基本的で重要な道具である．しかし，既存の文字列一致に基づくパターン検索では，表記揺れや類義語といった表層の変化を捉えることは難しい．文埋め込みを用いた密ベクトル検索も注目を集めており，意味的に粗く類似したテキストを検索できるが，具体的なクエリの出現位置の特定や列挙といった操作は困難である．本研究では，単語埋め込みを用いた柔らかいパターンマッチャーSoftMatchaを提案する．提案法は，転置索引を拡張したアルゴリズムを用いており，巨大コーパスに対して柔らかくも高速な検索・列挙をおこなうことができる．コーパス中の有害事例の列挙や，形態論的に複雑な特徴を持つ言語に対する用例検索を通して，SoftMatchaの有用性を実験的にも確認した∗．