File size: 641 Bytes
7c790f8 aa61acb 7c790f8 a77d947 d9c2bf9 |
1 2 3 4 5 6 7 8 9 10 11 |
---
license: apache-2.0
---
[karakuri-ai/karakuri-lm-8x7b-chat-v0.1](https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1)
に対して、Instructの差分ベクトルを加算しています
> [mistralai/Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1) - [mistralai/Mixtral-8x7B-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)
>
継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています |