---
license: apache-2.0
---
[karakuri-ai/karakuri-lm-8x7b-chat-v0.1](https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1)  

に対して、Instructの差分ベクトルを加算しています  

> [mistralai/Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1) - [mistralai/Mixtral-8x7B-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)
>

継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています