metadata
library_name: gptq
base_model: google/gemma-7b
language:
- ja
- en
tags:
- translation
- gptq
- gemma
- text-generation-inference
- nlp
Model card
英日、日英翻訳用モデルC3TR-AdapterのGPTQ量子化版です。
This is the GPTQ quantized version of the C3TR-Adapter model for English-Japanese and Japanese-English translation.
install
AutoGPTQの公式サイトをご確認下さい
Check official AutoGPTQ page
私はソースからインストールしないと動かす事ができませんでした。
I couldn't get it to work without installing from source.
git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ
pip install -vvv --no-build-isolation -e .
Sample code
See also
詳細はC3TR-Adapterを見てください
See also C3TR-Adapter