--- pipeline_tag: sentence-similarity tags: - sentence-transformers - feature-extraction - sentence-similarity - transformers --- 日本語のSentence Embedding用モデル 以下のモデルから転移学習を実施。 https://huggingface.co/ken11/albert-base-japanese-v1-with-japanese-tokenizer 学習データには以下を使用。 https://huggingface.co/datasets/tzmtwtr/tw-posts-ja # モチベーション ベクトル検索のために小規模言語モデルが必要になった。 AWS Lambdaで動かせるようにしたい。