请问有没有开源的代码参考一下呢? #1

by mad0g4 - opened

请问有没有开源的代码参考一下呢?

@mad0g4 你可以先在model card上试一下,然后需要根据hugging face的运行方法来跑这个mt5模型就可以了。

https://huggingface.co/docs/transformers/model_doc/t5

T5模型的例子应该是可以用的

输入的prompt 我在README里面写了 需要带一个开头:

translate cantonese to mandarin: 平時出街,聽到人喺我後面叫靚仔

我的意思是有没有训练这个模型的开源代码参考一下呢,我想训练一个中英的双语翻译模型,但是自己比较菜,所以想参考一下大佬的代码QAQ

@mad0g4 有的,我用的也是官方的样例,基本上没有修改 - https://github.com/huggingface/transformers/tree/main/examples/pytorch/translation

python ./run_translation.py \
--model_name_or_path google/mt5-base \
--do_train \
--source_lang yue \
--target_lang zh \
--source_prefix "translate cantonese to mandarin: " \
--train_file ./all-canto-dataset.json \
--output_dir ./output \
--per_device_train_batch_size=1
simonl0909 changed discussion status to closed