webbigdata-ALMA-7B-Ja-V2-gguf
webbigdataさんが公開しているALMA-7B-Ja-V2のggufフォーマット変換版です。
v1のggufの各量子化の評価がwebbigdataさんのblogで公開されています
webbigdata/1.日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開
モデル一覧
mmnga/webbigdata-ALMA-7B-Ja-V2-gguf
mmnga/webbigdata-ALMA-7B-Ja-gguf
Usage
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'webbigdata-ALMA-7B-Ja-V2-q4_0.gguf' -n 128 -p 'Translate this from Japanese to English:\nJapanese: 今日の夕食はピザです。\nEnglish:'
引用 Citations
@misc{xu2023paradigm,
title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models},
author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
year={2023},
eprint={2309.11674},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
- Downloads last month
- 309