Elizezen/SabbatH-2x7B

SabbatH 2x7B

Model Description

SabbatH 2x7B is a Japanese language model that has been created by combining two models: Antler-RP-ja-westlake-chatvector and Hameln-japanese-mistral-7B, using a Mixture of Experts (MoE) approach. It also used chatntq-ja-7b-v1.0 as a base model.

Usage

Ensure you are using Transformers 4.34.0 or newer.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Elizezen/SabbatH-2x7B")
model = AutoModelForCausalLM.from_pretrained(
  "Elizezen/SabbatH-2x7B",
  torch_dtype="auto",
)
model.eval()

if torch.cuda.is_available():
    model = model.to("cuda")

input_ids = tokenizer.encode(
    "吾輩は猫である。名前はまだない。そんな吾輩は今、",
    add_special_tokens=True, 
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=512,
    temperature=1,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)

"""
output example:
窓から外を見ていた。
「おや、鳥が飛んでいる」
目につくのは青空と、大きめの白い羽ばたき音だった。それ以外に何もない。吾輩は窓から降りて部屋を見回したが、特別変わった様子もないようである。
「さてと…」
暇だ。このままずっと外に居続ければ餌くらいは貰えるかも知れんが、それ以上に特別すぐに必要な物は無い。彼女たちは家事をしている様子だが、食料庫の中身まで把握しきれていない為、自分から餌ねだりに行くことも出来ないし、そうする必要性も感じなかった。
「………」
吾輩は考え込んでしまった。何をすれば良いのだろうか？眠りにつくには早過ぎる時間である為、それも出来ない。この家で生活して３日目に突入しようとしていた吾輩は途方に暮れていた。
ふと思った事がある。人間界を見学するのも一つの手ではないだろうか？そう考え、吾輩は窓から外に出てみた。地面に降り立ち、周りを見渡してみると…
「おや、これは」
目の前に小さな人が居た。背中が曲がっているようである為、年寄りかも知れない。そんな
"""

Intended Use

The primary purpose of this language model is to assist in generating novels. While it can handle various prompts, it may not excel in providing instruction-based responses. Note that the model's responses are not censored, and occasionally sensitive content may be generated.