GGUF版はこちらascktgcc/Mistral-nemo-ja-rp-v0.2-GGUF
概要
Mistral-nemoをEPR用途向けにファインチューニングしたモデルです
日本語を含めたデータセットを使用してファインチューニングしたためmagnumのようなモデルよりも日本語力が上がっているはず
Mistral-NemoベースなのでTemperatureは0.3を基準に調整することを推奨
v0.1からの変更点
- データセットの追加
- データセットのsystem promptに<データセットの言語>で出力する指示を追加
- エポックを9倍に増加
使用させていただいたデータセット
- kalomaze/Opus_Instruct_25k
- Nopm/Opus_WritingStruct
- anthracite-org/kalo-opus-instruct-22k-no-refusal
- Aratako/Synthetic-Japanese-Roleplay-NSFW-Claude-3.5s-15.3k-formatted
- Aratako/Synthetic-Japanese-Roleplay-gpt-4o-mini-39.6k-formatted
- kalomaze/Opus_Instruct_3k
(追加分)
- anthracite-org/kalo_opus_misc_240827
- anthracite-org/kalo_misc_part2
- anthracite-org/c2_logs_32k_llama3_qwen2_v1.2
- Downloads last month
- 37