The model output is totally corrupted

#5
by fernandofernandes - opened

The model output reproducing the code as it suggested (using the pipelines) generates: [{'translation_text': 'campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo campismo'}]

This seems to be the case with all their models which originate from Tatoeba Challenge. Only the models which are included here seem to work using Hugging Face. Up until a month ago, I hadn't encountered such problems!

@droussis which one of HF did you eventually choose for en-pt pair? Is any other working now?

@kirdin I decided to try getting the original models (from Tatoeba Challenge) and converting them for CTranslate2 :(

I'm seeing the same problems. I switched to arcadinis/opus-mt-tc-big-en-pt-finetuned-en-to-pt which resolved the problem for me, but I don't know what fine-tuning was done so I don't know how good the translations will be.

Sign up or log in to comment