karakuri-ai/karakuri-lm-8x7b-chat-v0.1
に対して、Instructの差分ベクトルを加算しています
mistralai/Mixtral-8x7B-Instruct-v0.1 - mistralai/Mixtral-8x7B-v0.1
継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています
- Downloads last month
- 0
karakuri-ai/karakuri-lm-8x7b-chat-v0.1
に対して、Instructの差分ベクトルを加算しています
mistralai/Mixtral-8x7B-Instruct-v0.1 - mistralai/Mixtral-8x7B-v0.1
継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています