mlx-community/plamo-2-1b

The Model mlx-community/plamo-2-1b was converted to MLX format from pfnet/plamo-2-1b using mlx-lm version 0.22.0.

Use with mlx

# numba is required for the new PLaMo tokenizer
pip install mlx numba 'mlx-lm>=0.22.0'
python -m mlx_lm.generate \                                                              
--model mlx-community/plamo-2-1b \ 
--prompt '็พŽๅ‘ณใ—ใ„ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใ‚’็ดนไป‹ใ—ใพใ™ใ€‚' \
--ignore-chat-template \
--max-tokens 1024 \
--extra-eos-token '<|plamo:bos|>' \
--temp 0.7 \
--seed 0
==========

ใ‚นใƒ‘ใ‚คใ‚นใฎไฝฟใ„ๆ–นใ‹ใ‚‰ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใพใง่ฉณใ—ใ่งฃ่ชฌใ—ใพใ™ใ€‚
## ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–น
**โ‘ ๆๆ–™ใ‚’็”จๆ„ใ™ใ‚‹**
ๅกฉใ‚’้ฉ้‡ๅŠ ใˆใ‚‹ใจใ€ใ‚นใƒ‘ใ‚คใ‚ทใƒผใช้ฆ™ใ‚ŠใŒๅบƒใŒใ‚Šใพใ™ใ€‚
ใ‚ฏใƒŸใƒณใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใชใฉใฎใ‚นใƒ‘ใ‚คใ‚นใ‚’ไฝฟใ†ใจใ€้ฃŸๆฌฒใ‚’ใใใ‚Šใพใ™ใ€‚
**โ‘กใ‚นใƒ‘ใ‚คใ‚นใ‚’็‚’ใ‚ใ‚‹**
ใ‚นใƒ‘ใ‚คใ‚นใฏๅง‹ใ‚ใซๅฐ‘ใ—ๅ…ฅใ‚Œใ‚‹ใ ใ‘ใงใ€ใใฎๅพŒใฏๅพใ€…ใซๅŠ ใˆใพใ™ใ€‚
**โ‘ข็Ž‰ใญใŽใฎใฟใ˜ใ‚“ๅˆ‡ใ‚Šใ‚’็‚’ใ‚ใ‚‹**
็Ž‰ใญใŽใ‚’็‚’ใ‚ใ‚‹ใ“ใจใงใ€็”˜ใฟใŒๅผ•ใๅ‡บใ•ใ‚Œใพใ™ใ€‚
**โ‘ฃ่‚‰ใ‚’็‚’ใ‚ใ‚‹**
่‚‰ใฏ่–„ใใ‚นใƒฉใ‚คใ‚นใ—ใฆใ€ใ‚นใƒ‘ใ‚คใ‚นใจใ‚ˆใๆททใœใพใ™ใ€‚
**โ‘ค้‡Ž่œใ‚‚็‚’ใ‚ใ‚‹**
ไบบๅ‚ใ‚„ใ‚ธใƒฃใ‚ฌใ‚คใƒขใ€ใ‚คใƒณใ‚ฒใƒณใชใฉใ‚‚ไธ€็ท’ใซ็‚’ใ‚ใพใ™ใ€‚้‡Ž่œใฏ็‚’ใ‚ใ‚‹ๅ‰ใซใ‚ซใƒƒใƒˆใ—ใฆใŠใใพใ—ใ‚‡ใ†ใ€‚
**โ‘ฅๆฐดใ‚’ๅŠ ใˆใ‚‹**
**โ‘ฆใ‚ซใƒฌใƒผใƒซใƒผใ‚’ๅŠ ใˆใ‚‹**
**โ‘งๅ‡บๆฅไธŠใŒใ‚Š**
## ใ‚ซใƒฌใƒผใฎๅ‘ณไป˜ใ‘ๆ–นๆณ•
**โ‘ ่‚‰ใ‚’็‚’ใ‚ใ‚‹**
่‚‰ใฏ่–„ใใ‚นใƒฉใ‚คใ‚นใ—ใฆใ€ใ‚นใƒ‘ใ‚คใ‚นใจใ‚ˆใๆททใœใพใ™ใ€‚
**โ‘ก้‡Ž่œใ‚‚็‚’ใ‚ใ‚‹**
้‡Ž่œใฏ็‚’ใ‚ใ‚‹ๅ‰ใซใ‚ซใƒƒใƒˆใ—ใฆใŠใใพใ—ใ‚‡ใ†ใ€‚
**โ‘ขๆฐดใ‚’ๅŠ ใˆใ‚‹**
**โ‘ฃใ‚ซใƒฌใƒผใƒซใƒผใ‚’ๅŠ ใˆใ‚‹**
## ใ‚ซใƒฌใƒผใซใฏโ—‹โ—‹ใ‚’ๅ…ฅใ‚Œใ‚ˆใ†
**โ‘ ใ—ใ‚‡ใ†ใ‚†**
ใ—ใ‚‡ใ†ใ‚†ใ‚’ๅŠ ใˆใ‚‹ใ“ใจใงใ€ใพใ‚ใ‚„ใ‹ใงใ‚ณใ‚ฏใฎใ‚ใ‚‹ๅ‘ณใซใชใ‚Šใพใ™ใ€‚
**โ‘กใซใ‚“ใซใ**
ใซใ‚“ใซใใ‚’ๅŠ ใˆใ‚‹ใ“ใจใงใ€้ฆ™ใ‚Šใจ้ขจๅ‘ณใŒใ‚ขใƒƒใƒ—ใ—ใพใ™ใ€‚
**โ‘ขใ—ใ‚‡ใ†ใŒ**
ใ—ใ‚‡ใ†ใŒใ‚’ๅŠ ใˆใ‚‹ใ“ใจใงใ€ใ‚นใƒ‘ใ‚คใ‚ทใƒผใช้ขจๅ‘ณใŒๅŠ ใ‚ใ‚Šใพใ™ใ€‚
**โ‘ฃใƒˆใƒžใƒˆ็ผถ**
ใƒˆใƒžใƒˆ็ผถใ‚’ๅŠ ใˆใ‚‹ใ“ใจใงใ€้…ธๅ‘ณใŒๅŠ ใ‚ใ‚Šใ€ๆทฑใฟใฎใ‚ใ‚‹ๅ‘ณใ‚ใ„ใซใชใ‚Šใพใ™ใ€‚
**โ‘คใƒจใƒผใ‚ฐใƒซใƒˆ**
ใƒจใƒผใ‚ฐใƒซใƒˆใ‚’ๅŠ ใˆใ‚‹ใ“ใจใงใ€ใ‚ณใ‚ฏใŒใ‚ขใƒƒใƒ—ใ—ใพใ™ใ€‚
## ใ‚ซใƒฌใƒผใฎใ‚ชใ‚นใ‚นใƒกใฎๅ…ทๆ
**โ‘ ่‚‰**
็‰›่‚‰ใ€่ฑš่‚‰ใ€้ถ่‚‰ใชใฉใ€ใŠๅฅฝใฟใฎ่‚‰ใ‚’ไฝฟใฃใฆใฟใพใ—ใ‚‡ใ†ใ€‚
**โ‘ก้‡Ž่œ**
ไบบๅ‚ใ€ใ‚ธใƒฃใ‚ฌใ‚คใƒขใ€ใ‚คใƒณใ‚ฒใƒณใชใฉใ€ใŠๅฅฝใฟใฎ้‡Ž่œใ‚’ไฝฟใฃใฆใฟใพใ—ใ‚‡ใ†ใ€‚
**โ‘ขใ‚ทใƒผใƒ•ใƒผใƒ‰**
ใ‚ใ•ใ‚Šใ€ใˆใณใ€ใ„ใ‹ใชใฉใ€ใ‚ทใƒผใƒ•ใƒผใƒ‰ใ‚’ไฝฟใฃใฆใฟใพใ—ใ‚‡ใ†ใ€‚
**โ‘ฃใƒใƒผใ‚บ**
ใƒใƒผใ‚บใ‚’ๅŠ ใˆใ‚‹ใ“ใจใงใ€ใ‚ฏใƒชใƒผใƒŸใƒผใงใ‚ณใ‚ฏใฎใ‚ใ‚‹ๅ‘ณใ‚ใ„ใซใชใ‚Šใพใ™ใ€‚
## ใ‚ซใƒฌใƒผใฎ็พŽๅ‘ณใ—ใ„ไฝœใ‚Šๆ–น
**โ‘ ๆๆ–™ใ‚’็”จๆ„ใ™ใ‚‹**
ๅกฉใ‚’้ฉ้‡ๅŠ ใˆใ‚‹ใจใ€ใ‚นใƒ‘ใ‚คใ‚ทใƒผใช้ฆ™ใ‚ŠใŒๅบƒใŒใ‚Šใพใ™ใ€‚
ใ‚ฏใƒŸใƒณใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใชใฉใฎใ‚นใƒ‘ใ‚คใ‚นใ‚’ไฝฟใ†ใจใ€้ฃŸๆฌฒใ‚’ใใใ‚Šใพใ™ใ€‚
**โ‘กใ‚นใƒ‘ใ‚คใ‚นใ‚’็‚’ใ‚ใ‚‹**
ใ‚นใƒ‘ใ‚คใ‚นใฏๅง‹ใ‚ใซๅฐ‘ใ—ๅ…ฅใ‚Œใ‚‹ใ ใ‘ใงใ€ใใฎๅพŒใฏๅพใ€…ใซๅŠ ใˆใพใ™ใ€‚
**โ‘ข็Ž‰ใญใŽใฎใฟใ˜ใ‚“ๅˆ‡ใ‚Šใ‚’็‚’ใ‚ใ‚‹**
็Ž‰ใญใŽใ‚’็‚’ใ‚ใ‚‹ใ“ใจใงใ€็”˜ใฟใŒๅผ•ใๅ‡บใ•ใ‚Œใพใ™ใ€‚
**โ‘ฃ่‚‰ใ‚’็‚’ใ‚ใ‚‹**
่‚‰ใฏ่–„ใใ‚นใƒฉใ‚คใ‚นใ—ใฆใ€ใ‚นใƒ‘ใ‚คใ‚นใจใ‚ˆใๆททใœใพใ™ใ€‚
**โ‘ค้‡Ž่œใ‚‚็‚’ใ‚ใ‚‹**
ไบบๅ‚ใ‚„ใ‚ธใƒฃใ‚ฌใ‚คใƒขใ€ใ‚คใƒณใ‚ฒใƒณใชใฉใ‚‚ไธ€็ท’ใซ็‚’ใ‚ใพใ™ใ€‚้‡Ž่œใฏ็‚’ใ‚ใ‚‹ๅ‰ใซใ‚ซใƒƒใƒˆใ—ใฆใŠใใพใ—ใ‚‡ใ†ใ€‚
**โ‘ฅๆฐดใ‚’ๅŠ ใˆใ‚‹**
**โ‘ฆใ‚ซใƒฌใƒผใƒซใƒผใ‚’ๅŠ ใˆใ‚‹**
**โ‘งๅ‡บๆฅไธŠใŒใ‚Š**
## ใพใจใ‚
ใ‚นใƒ‘ใ‚คใ‚นใจ้‡Ž่œใฎ็ต„ใฟๅˆใ‚ใ›ใฏใ€ใ‚ซใƒฌใƒผใฎๅ‘ณใ‚ใ„ใ‚’ๆทฑใ‚ใ‚‹ใฎใซๆฌ ใ‹ใ›ใพใ›ใ‚“ใ€‚
ใœใฒไปŠๅ›ž็ดนไป‹ใ—ใŸใƒฌใ‚ทใƒ”ใ‚’ๅ‚่€ƒใซใ€็พŽๅ‘ณใ—ใ„ใ‚ซใƒฌใƒผใ‚’ไฝœใฃใฆใฟใฆใใ ใ•ใ„ใ€‚
==========
Prompt: 6 tokens, 87.012 tokens-per-sec
Generation: 496 tokens, 52.861 tokens-per-sec
Peak memory: 5.317 GB

You can also write your code to use this model like this:

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/plamo-2-1b")

prompt = "็พŽๅ‘ณใ—ใ„ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใฎใƒฌใ‚ทใƒ”ใ‚’็ดนไป‹ใ—ใพใ™ใ€‚"

response = generate(model, tokenizer, prompt=prompt, verbose=True)
Downloads last month
92
Safetensors
Model size
1.29B params
Tensor type
F32
ยท
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for mlx-community/plamo-2-1b

Base model

pfnet/plamo-2-1b
Finetuned
(2)
this model