tomoniyukiwo/RAG-encoder-bge

日本語RAG encoder

日本語の質問と本文をベクトル化する検索用エンコーダーです。

3モデルの組み合わせ

次の2つのエンコーダーから1つを選んで質問と候補本文を埋め込み、関連する本文を検索します。

• tomoniyukiwo/RAG-encoder-bge
• tomoniyukiwo/RAG-encoder-ruri
• tomoniyukiwo/RAG-encoder-Qwen

検索した本文と質問を tomoniyukiwo/RAG-llm-Qwen に渡して日本語で回答を生成します。エンコーダーは継続事前学習と対照学習後にLoRAを統合したモデルです。LLMはSFT後のLoRAを元モデルに統合しています。

学習データの出典

• JaQuAD: CC BY-SA 3.0

ベースモデルのライセンス・帰属条件も確認してください。