FLFL ใƒ•ใƒชใƒ•ใƒช

Furigana (ruby) generation model.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch_dtype = torch.bfloat16 if torch.cuda.is_available() and hasattr(torch.cuda, "is_bf16_supported") and torch.cuda.is_bf16_supported() else torch.float16
model = AutoModelForCausalLM.from_pretrained("Calvin-Xu/FLFL", device_map="auto", torch_dtype=torch_dtype)
tokenizer = AutoTokenizer.from_pretrained("Calvin-Xu/FLFL")

prompt_template = """[INST] {instruction}\n{input}\n[/INST]\n"""
sentence = "ๅ›ฝๅขƒใฎ้•ทใ„ใƒˆใƒณใƒใƒซใ‚’ๆŠœใ‘ใ‚‹ใจ้›ชๅ›ฝใงใ‚ใฃใŸ"

inputs = tokenizer(prompt_template.format(instruction="ๆฌกใฎๆ–‡ใซๆญฃ็ขบใซๆŒฏใ‚Šไปฎๅใ‚’ไป˜ใ‘ใฆใใ ใ•ใ„", input=sentence), return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(**inputs, max_new_tokens=512, do_sample=False)

output = tokenizer.decode(tokens[0], skip_special_tokens=False)
print(output)
# <ruby>ๅ›ฝๅขƒ<rt>ใใซใ–ใ‹ใ„</rt></ruby>ใฎ<ruby>้•ท<rt>ใชใŒ</rt></ruby>ใ„ใƒˆใƒณใƒใƒซใ‚’<ruby>ๆŠœ<rt>ใฌ</rt></ruby>ใ‘ใ‚‹ใจ<ruby>้›ชๅ›ฝ<rt>ใ‚†ใใใซ</rt></ruby>ใงใ‚ใฃใŸ<|endoftext|>

Finetuned from

stockmark/gpt-neox-japanese-1.4b

Training Dataset

Trained for slightly over one epoch on Calvin-Xu/FLFL-Aozora-Speech-Train

Training Settings

HuggingFace Trainer, PEFT (r=64, alpha=128)

Control tokens added: [INST], [/INST], <ruby>, </ruby>, <rt>, </rt>

Output Examples

[INST] ๆฌกใฎๆ–‡ใซๆญฃ็ขบใซๆŒฏใ‚Šไปฎๅใ‚’ไป˜ใ‘ใฆใใ ใ•ใ„

ๅ›ฝๅขƒใฎ้•ทใ„ใƒˆใƒณใƒใƒซใ‚’ๆŠœใ‘ใ‚‹ใจ้›ชๅ›ฝใงใ‚ใฃใŸ

[/INST]

<ruby>ๅ›ฝๅขƒ<rt>ใใซใ–ใ‹ใ„</rt></ruby>ใฎ<ruby>้•ท<rt>ใชใŒ</rt></ruby>ใ„ใƒˆใƒณใƒใƒซใ‚’<ruby>ๆŠœ<rt>ใฌ</rt></ruby>ใ‘ใ‚‹ใจ<ruby>้›ชๅ›ฝ<rt>ใ‚†ใใใซ</rt></ruby>ใงใ‚ใฃใŸ<|endoftext|>
  • ้ฐคใถใ‚Šใฎ็…งใฆใ‚Š็„ผใ‚„ใใ€ๅ…ซๅฎ่œใฏใฃใฝใ†ใ•ใ„ใ€ใƒใƒณใƒใƒผใ‚ฐใ€‚<|endoftext|>

  • ไธป่œใ—ใ‚…ใ•ใ„้–ข้€ฃใ‹ใ‚“ใ‚Œใ‚“ใฏใ€่ฆ‹ไบ‹ใฟใ”ใจใชใพใงใฎๅ’Œๆด‹ใ‚ใ‚ˆใ†ไธญใกใ‚…ใ†ๆŠ˜่กทใ›ใฃใกใ‚…ใ†ใ€‚<|endoftext|>

  • ๅˆฅในใคใฎ่€…ใ‚‚ใฎใฎ็›ฎใ‚ใ‚’้€šใคใ†ใ˜ใฆๆญดๅฒใ‚Œใใ—ใ‚’ๅžฃ้–“่ฆ‹ใ‹ใ„ใพใฟใ‚‰ใ‚Œใ‚‹ใจใฏใ€ๆƒณๅƒใใ†ใžใ†ใ‚’่ถ…ใ“ใˆใ‚‹ไฝ“้จ“ใŸใ„ใ‘ใ‚“ใซ้•ใกใŒใ„ใชใ„!<|endoftext|>

  • ๆญขใจใ‚ใ‚‹ใชใ‚‰ใ€ใใฎๅคงๆœฌใŠใŠใ‚‚ใจใ‚’ๆ น็ตถใญใ ใ‚„ใ—ใซใ—ใชใ„ใจๅŠนๆžœใ“ใ†ใ‹ใŒใชใ„ใ‚<|endoftext|>

  • ไธไบบๆฐ—ใตใซใ‚“ใ้Š˜ๆŸ„ใ‹ใถใงใ“ใ‚ŒไปฅไธŠใ„ใ˜ใ‚‡ใ†ไพกๅ€คใ‹ใกใŒไธ‹ใ•ใŒใ‚Šใ‚ˆใ†ใชใ„ใ‹ใ‚‰ใ€ใปใจใ‚“ใฉๅบ•ๅ€คใใ“ใญใ <|endoftext|>

  • ๆ™‚้–“ใ˜ใ‹ใ‚“ใฎๆพฑใŠใ‚Šใฎไธญใชใ‹ใซๆฒˆๆฎฟใกใ‚“ใŸใ„ใ—ใฆใ„ใŸใ‚ˆใ†ใ ใ€‚<|endoftext|>

  • ใ€Œๅผตใกใ‚‡ใ†้ฃ›ใฒใ ใฃใ€ ๅใชใ‚’่žใใ„ใŸใ ใ‘ใงใ‚‚ใ€่ซธใ—ใ‚‡ๅฐ†ใ—ใ‚‡ใ†ใฏ่ƒ†ใใ‚‚ใ‚’ๅ†ทใฒใ‚„ใ—ใŸใ€‚ๅฃซๅ’ใ—ใใคใŸใกใฏ็š†ใฟใชใ€็”ฒใ“ใ†ใ‚„ไธ‹็€ใ—ใŸใŽใ‚’็ซใฒใซไนพใปใ—ใฆใ„ใŸใจใ“ใ‚ใชใฎใงใ€ๅ‘จ็ซ ็‹ผ็‹ฝใ—ใ‚…ใ†ใ—ใ‚‡ใ†ใ‚ใ†ใฐใ„ใ€่ตค่ฃธใ‚ใ‹ใฏใ ใ‹ใฎใพใพใงๆ•ฃไนฑใ•ใ‚“ใ‚‰ใ‚“ใ™ใ‚‹ใ‚‚ใ‚ใ‚‹ใ€‚<|endoftext|>

  • ่ฒงๅ›ฐใฒใ‚“ใ“ใ‚“ใจๅทฎๅˆฅใ•ในใคใ‚’ๆ”พ็ฝฎใปใ†ใกใ—ใŸใƒ‡ใ‚ฃใ‚ขใƒŠใ‚’็ฅ็ฆใ—ใ‚…ใใตใใ™ใ‚‹ๆฐ—ใใซใฏใชใ‚Œใชใ‹ใฃใŸใ‹ใ‚‰ใ€‚ๅฅณ็Ž‹ใ˜ใ‚‡ใŠใ†ใ‚’ๅฆ„ไฟกใ‚‚ใ†ใ—ใ‚“ใ—ใ€่จชใŠใจใšใ‚Œใ‚‹ใฏใšใฎใชใ„ๆ•‘ใ™ใใ„ใ‚’ๅพ…ใพใก็ถšใคใฅใ‘ใ‚‹ๆฏใฏใฏใซ่พŸๆ˜“ใธใใˆใใ—ใฆใ„ใŸใ‹ใ‚‰ใ€‚<|endoftext|>

Downloads last month
64
Safetensors
Model size
1.41B params
Tensor type
F32
ยท
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Calvin-Xu/FLFL

Quantizations
1 model

Dataset used to train Calvin-Xu/FLFL