Hugging Face's logo

Aratako
/
Ninja-v1-RP

Text Generation
Transformers
Safetensors
6 datasets
Japanese
mistral
roleplay
Merge
mergekit
text-generation-inference
Inference Endpoints
Model card Files Community
Ninja-v1-RP / README.md
Aratako's picture
Aratako
Update README.md
284bf0e verified
preview code
|
raw
history blame
No virus
2.02 kB
metadata
license: apache-2.0
datasets:
  - Aratako/Rosebleu-1on1-Dialogues-RP
  - Aratako/LimaRP-augmented-ja-karakuri
  - grimulkan/LimaRP-augmented
  - Aratako/Bluemoon_Top50MB_Sorted_Fixed_ja
  - SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed
  - OmniAICreator/Japanese-Roleplay
language:
  - ja
library_name: transformers
tags:
  - roleplay
base_model:
  - Aratako/Ninja-v1-RP-WIP

Ninja-v1-RP

概要

This is a merge of pre-trained language models created using mergekit.

Aratako/Ninja-v1-RP-WIPをベースに、Task Vectorの加算・Model Stockによるマージを行い指示追従能力と表現力を強化したロールプレイ用モデルです。

マージの詳細

まず、Aratako/Ninja-v1-RP-WIPに対し、以下4モデルのTask Vectorを0.8倍して加算し、4種類、Task Vector加算モデルを作成しました。

各モデルのTask Vectorの加算の式は以下の通りです。

new_model = Ninja-v1-RP-WIP + 0.8 * (target_model - Mistral-7B-v0.1)

次に、このTask Vector加算によってできた4モデルと元のモデルを、Model Stockという手法を用い以下のようなconfigを使ってmergekitでマージし、このモデルを作成しました。

models:
  - model: ./Ninja-v1-RP-WIP
  - model: ./Ninja-v1-RP-WIP-Kunoichi
  - model: ./Ninja-v1-RP-WIP-SiliconMaid
  - model: ./Ninja-v1-RP-WIP-WestLake
  - model: ./Ninja-v1-RP-WIP-LoyalMacaroniMaid
merge_method: model_stock
base_model: ./Ninja-v1-RP-WIP
dtype: bfloat16
tokenizer_source: union