8 bits / 4 bits quantization, load any model, promoting.

README.md

@@ -13,17 +13,26 @@
     <br>
 </p>
 
-Easy-Translate is a script for translating large text files in your machine using the [M2M100 models](https://arxiv.org/pdf/2010.11125.pdf) and [NLLB200 models](https://research.facebook.com/publications/no-language-left-behind/) from Facebook/Meta AI.  We also provide a [script](#evaluate-translations) for Easy-Evaluation of your translations 🥳
+Easy-Translate is a script for translating large text files with a 💥SINGLE COMMAND💥. Easy-Translate is designed to be as easy as possible for **beginners** and as **seamless** and **customizable** as possible for advanced users. 
+We support almost any model, including [M2M100](https://arxiv.org/pdf/2010.11125.pdf),
+[NLLB200](https://research.facebook.com/publications/no-language-left-behind/), 
+[LLaMA](https://ai.facebook.com/blog/large-language-model-llama-meta-ai/),
+[Bloom](https://bigscience.notion.site/BLOOM-BigScience-176B-Model-ad073ca07cdf479398d5f95d88e218c4) and more 🥳. 
+We also provide a [script](#evaluate-translations) for Easy-Evaluation of your translations 📋
 
 Easy-Translate is built on top of 🤗HuggingFace's [Transformers](https://huggingface.co/docs/transformers/index) and 🤗HuggingFace's [Accelerate](https://huggingface.co/docs/accelerate/index) library.
 
+
 We currently support:
 
 - CPU / multi-CPU / GPU / multi-GPU / TPU acceleration
-- BF16 / FP16 / FP32 precision.
+- BF16 / FP16 / FP32 / 8 Bits / 4 Bits precision.
 - Automatic batch size finder: Forget CUDA OOM errors. Set an initial batch size, if it doesn't fit, we will automatically adjust it.
-- Sharded Data Parallel to load huge models sharded on multiple GPUs (See: <https://huggingface.co/docs/accelerate/fsdp>).
-- Greedy decoding / Beam Search decoding / Multinomial Sampling / Beam-Search Multinomial Sampling
+- Multiple decoding strategies: Greedy Search, Beam Search, Top-K Sampling, Top-p (nucleus) sampling, etc. See [Decoding Strategies](#decodingsampling-strategies) for more information.
+- :new: Load huge models in a single with GPU 8-bits / 4-bits quantization and support for splitting the model between GPU and CPU. See [Loading Huge Models](#loading-huge-models) for more information.
+- :new: LoRA models support 
+- :new: Support for any Seq2SeqLM or CausalLM model from HuggingFace's Hub.
+- :new: Prompt support! See [Prompting](#prompting) for more information.
 
 >Test the 🔌 Online Demo here: <https://huggingface.co/spaces/Iker/Translate-100-languages>
 
@@ -35,6 +44,9 @@ See the [Supported languages table](supported_languages.md) for a table of the s
 
 ## Supported Models
 
+💥 EasyTranslate now supports any Seq2SeqLM (m2m100, nllb200, MarianMT, T5, FlanT5, etc.) and any CausalLM (GPT2, LLaMA, Vicuna, Falcon) model from HuggingFace's Hub!!
+We still recommend you to use M2M100 or NLLB200 for the best results, but you can experiment with other LLMs and prompting to generate translations. See [Prompting Section](#prompting) for more information. 
+
 ### M2M100
 **M2M100** is a multilingual encoder-decoder (seq-to-seq) model trained for Many-to-Many multilingual translation introduced in this [paper](https://arxiv.org/abs/2010.11125) and first released in [this](https://github.com/pytorch/fairseq/tree/master/examples/m2m_100) repository. 
 >M2M100 can directly translate between 9,900 directions of 100 languages.
@@ -50,6 +62,8 @@ See the [Supported languages table](supported_languages.md) for a table of the s
 **No Language Left Behind (NLLB)** open-sources models capable of delivering high-quality translations directly between any pair of 200+ languages — including low-resource languages like Asturian, Luganda, Urdu and more. It aims to help people communicate with anyone, anywhere, regardless of their language preferences. It was introduced in this [paper](https://research.facebook.com/publications/no-language-left-behind/) and first released in [this](https://github.com/facebookresearch/fairseq/tree/nllb) repository.
 >NLLB can directly translate between +40,000 of +200 languages.
 
+- **facebook/nllb-moe-54b**: <https://huggingface.co/facebook/nllb-moe-54b> (Requires transformers 4.28.0)
+
 - **facebook/nllb-200-3.3B**: <https://huggingface.co/facebook/nllb-200-3.3B>
 
 - **facebook/nllb-200-1.3B**: <https://huggingface.co/facebook/nllb-200-1.3B>
@@ -59,8 +73,6 @@ See the [Supported languages table](supported_languages.md) for a table of the s
 - **facebook/nllb-200-distilled-600M**: <https://huggingface.co/facebook/nllb-200-distilled-600M>
 
 
-Any other ModelForSeq2SeqLM from HuggingFace's Hub should work with this library: <https://huggingface.co/models?pipeline_tag=text2text-generation>
-
 ## Citation
 If you use this software please cite
 ````
@@ -82,17 +94,21 @@ If you use this software please cite
 ## Requirements
 
 ```
-Pytorch >= 1.10.0
+Pytorch >= 1.10.0 
 See: https://pytorch.org/get-started/locally/
 
 Accelerate >= 0.12.0
-pip install --upgrade accelerate
+pip install accelerate
 
 HuggingFace Transformers 
+If you plan to use NLLB200, please use >= 4.28.0, as an important bug was fixed in this version. 
 pip install --upgrade transformers
 
-If you find errors using NLLB200, try installing transformers from source:
-pip install git+https://github.com/huggingface/transformers.git
+BitsAndBytes (Optional, for 8-bits / 4bits quantization)
+pip install bitsandbytes
+
+PEFT (Optional, for LoRA models)
+pip install peft
 ```
 
 ## Translate a file
@@ -102,7 +118,7 @@ Run `python translate.py -h` for more info.
 #### Using a single CPU / GPU
 
 ```bash
-accelerate launch translate.py \
+python3 translate.py \
 --sentences_path sample_text/en.txt \
 --output_path sample_text/en2es.translation.m2m100_1.2B.txt \
 --source_lang en \
@@ -125,83 +141,71 @@ accelerate launch --multi_gpu --num_processes 2 --num_machines 1 translate.py \
 --model_name facebook/m2m100_1.2B
 ```
 
+
 #### Automatic batch size finder
 
 We will automatically find a batch size that fits in your GPU memory. The default initial batch size is 128 (You can set it with the `--starting_batch_size 128` flag). If we find an Out Of Memory error, we will automatically decrease the batch size until we find a working one.
 
-#### Choose precision
+### Loading Huge Models
 
-Use the `--precision` flag to choose the precision of the model. You can choose between: bf16, fp16 and 32.
+Huge models such as LLaMA 65B or nllb-moe-54b can be load in a single GPU with 8 bits and 4 bits quantification with minimal performance degradation. 
+See [BitsAndBytes](https://github.com/TimDettmers/bitsandbytes). Set precision to 8 or 4 with the `--precision` flag. 
 
 ```bash
-accelerate launch translate.py \
+pip install bitsandbytes
+
+python3 translate.py \
 --sentences_path sample_text/en.txt \
---output_path sample_text/en2es.translation.m2m100_1.2B.txt \
---source_lang en \
---target_lang es \
---model_name facebook/m2m100_1.2B \
---precision fp16 
+--output_path sample_text/en2es.translation.nllb-moe-54b.txt \
+--source_lang eng_Latn \
+--target_lang spa_Latn \
+--model_name facebook/nllb-moe-54b \
+--precision 8 
 ```
 
-### Decoding/Sampling strategies
+If even the quantified model does not fit in your GPU memory, you can set the `--force_auto_device_map` flag. 
+The model will be split across GPUs and CPU to fit it in memory. CPU offloading is slow, but will allow you to run huge models that do not fit in your GPU memory.
 
-You can choose the decoding/sampling strategy to use and the number of candidate translation to output for each input sentence. By default we will use beam-search with 'num_beams' set to 5, and we will output the most likely candidate translation. But you can change this behavior:
-##### Greedy decoding
-```bash
-accelerate launch translate.py \
---sentences_path sample_text/en.txt \
---output_path sample_text/en2es.translation.m2m100_1.2B.txt \
---source_lang en \
---target_lang es \
---model_name facebook/m2m100_1.2B \
---num_beams 1 
-```
 
-##### Multinomial Sampling 
-```bash
-accelerate launch translate.py \
---sentences_path sample_text/en.txt \
---output_path sample_text/en2es.translation.m2m100_1.2B.txt \
---source_lang en \
---target_lang es \
---model_name facebook/m2m100_1.2B \
---num_beams 1 \
---do_sample \
---temperature 0.5 \
---top_k 100 \
---top_p 0.8 \
---num_return_sequences 1
-```
-##### Beam-Search decoding **(DEFAULT)**
+
+### Prompting
+
+You can use LLMs such as LLaMA, Vicuna, GPT2, FlanT5, etc, instead of a translation model. These models require 
+a prompt to define the task. You can either have the prompt already in the input file (each sentence includes the prompt) 
+or you can use the `--prompt` flag to add the prompt to each sentence. In this case, you need to include the token %%SENTENCE%% in the prompt. 
+This token will be replaced by the sentence to translate. You do not need to specify the `--source_lang` and `--target_lang` flags in this case.
+
 ```bash
-accelerate launch translate.py \
+python3 translate.py \
 --sentences_path sample_text/en.txt \
---output_path sample_text/en2es.translation.m2m100_1.2B.txt \
---source_lang en \
---target_lang es \
---model_name facebook/m2m100_1.2B \
---num_beams 5 \
---num_return_sequences 1 \ 
-```
-##### Beam-Search Multinomial Sampling
+--output_path sample_text/en2es.FlanT5.translation.txt \
+--model_name google/flan-t5-large \
+--prompt "Translate English to Spanish: %%SENTENCE%%" 
+``` 
+
+
+### Decoding/Sampling strategies
+
+You can choose the decoding/sampling strategy to use and the number of candidate translations to output for each input sentence. 
+By default, we will use beam-search with `num_beams` set to 5, and we will output the most likely candidate translation. This should be the best 
+configuration for most use cases. You can change this behaviour with the following flags:
+
 ```bash
-accelerate launch translate.py \
---sentences_path sample_text/en.txt \
---output_path sample_text/en2es.translation.m2m100_1.2B.txt \
---source_lang en \
---target_lang es \
---model_name facebook/m2m100_1.2B \
---num_beams 5 \
---num_return_sequences 1 \
---do_sample \
---temperature 0.5 \
---top_k 100 \
---top_p 0.8 
+--num_beams: Number of beams to use for beam-search decoding (default: 5)
+--do_sample: Whether to use sampling instead of beam-search decoding (default: False)
+--temperature: Sampling temperature (default: 0.8)
+--top_k: Top k sampling (default: 100)
+--top_p: Top p sampling (default: 0.75)
+--repetition_penalty: Repetition penalty (default: 1.0)
+--keep_special_tokens: Whether to keep special tokens (default: False)
+--keep_tokenization_spaces: Whether to keep tokenization spaces (default: False)
+--num_return_sequences: Number of candidate translations to output for each input sentence (default: 1)
 ```
+Please, note that running `--do_sample` with `--num_beams` > 1 and `8 bits` or `4 bits` quantification may be numerically unstable and produce an error. 
 
 ## Evaluate translations
 
-To run the evaluation script you need to install [bert_score](https://github.com/Tiiiger/bert_score): `pip install bert_score` and 🤗HuggingFace's [Datasets](https://huggingface.co/docs/datasets/index) model: `pip install datasets`.
+To run the evaluation script you need to install [bert_score](https://github.com/Tiiiger/bert_score): `pip install bert_score` and 🤗HuggingFace's [Evaluate](https://huggingface.co/docs/evaluate) model: `pip install evaluate`.
 
 The evaluation script will calculate the following metrics:
 
@@ -215,9 +219,9 @@ The evaluation script will calculate the following metrics:
 Run the following command to evaluate the translations:
 
 ```bash
-accelerate launch eval.py \
---pred_path sample_text/en2es.translation.m2m100_1.2B.txt 
---gold_path sample_text/es.txt \
+python3 eval.py \
+--pred_path sample_text/en2es.translation.m2m100_1.2B.txt \
+--gold_path sample_text/es.txt 
 ```
 
 If you want to save the results to a file use the `--output_path` flag.

dataset.py

@@ -7,19 +7,24 @@ def count_lines(input_path: str) -> int:
 
 
 class DatasetReader(IterableDataset):
-    def __init__(self, filename, tokenizer, max_length=128):
+    def __init__(self, filename, tokenizer, max_length=128, prompt: str = None):
         self.filename = filename
         self.tokenizer = tokenizer
         self.max_length = max_length
         self.current_line = 0
         self.total_lines = count_lines(filename)
+        self.prompt = prompt
         print(f"{self.total_lines} lines in {filename}")
 
     def preprocess(self, text: str):
         self.current_line += 1
         text = text.strip()
+
         if len(text) == 0:
             print(f"Warning: empty sentence at line {self.current_line}")
+
+        if self.prompt is not None:
+            text = self.prompt.replace("%%SENTENCE%%", text)
         return self.tokenizer(
             text,
             padding=False,

eval.py

@@ -1,7 +1,7 @@
 from dataset import ParallelTextReader
 from torch.utils.data import DataLoader
-from accelerate.memory_utils import find_executable_batch_size
-from datasets import load_metric
+from accelerate import find_executable_batch_size
+from evaluate import load
 from tqdm import tqdm
 import torch
 import json
@@ -46,41 +46,40 @@ def eval_files(
 
     dataloader = get_dataloader(pred_path, gold_path, starting_batch_size)
     print("Loading sacrebleu...")
-    sacrebleu = load_metric("sacrebleu")
+    sacrebleu = load("sacrebleu")
     print("Loading rouge...")
-    rouge = load_metric("rouge")
+    rouge = load("rouge")
     print("Loading bleu...")
-    bleu = load_metric("bleu")
+    bleu = load("bleu")
     print("Loading meteor...")
-    meteor = load_metric("meteor")
+    meteor = load("meteor")
     print("Loading ter...")
-    ter = load_metric("ter")
+    ter = load("ter")
     print("Loading BertScore...")
-    bert_score = load_metric("bertscore")
+    bert_score = load("bertscore")
 
     with tqdm(total=len(dataloader.dataset), desc="Loading data...") as pbar:
         for predictions, references in dataloader:
             sacrebleu.add_batch(predictions=predictions, references=references)
             rouge.add_batch(predictions=predictions, references=references)
-            bleu.add_batch(
-                predictions=[p.split() for p in predictions],
-                references=[[r[0].split()] for r in references],
-            )
+            bleu.add_batch(predictions=predictions, references=references)
             meteor.add_batch(predictions=predictions, references=references)
             ter.add_batch(predictions=predictions, references=references)
             bert_score.add_batch(predictions=predictions, references=references)
             pbar.update(len(predictions))
 
-    result_dictionary = {}
-    print(f"Computing sacrebleu")
+    result_dictionary = {"path": pred_path}
+    print("Computing sacrebleu")
     result_dictionary["sacrebleu"] = sacrebleu.compute()
-    print(f"Computing rouge score")
-    result_dictionary["rouge"] = rouge.compute()
-    print(f"Computing bleu score")
+    print("Computing rouge score")
+    result_dictionary["rouge"] = rouge.compute(
+        use_aggregator=True, rouge_types=["rouge1", "rouge2", "rougeL", "rougeLsum"]
+    )
+    print("Computing bleu score")
     result_dictionary["bleu"] = bleu.compute()
-    print(f"Computing meteor score")
+    print("Computing meteor score")
     result_dictionary["meteor"] = meteor.compute()
-    print(f"Computing ter score")
+    print("Computing ter score")
     result_dictionary["ter"] = ter.compute()
 
     @find_executable_batch_size(starting_batch_size=starting_batch_size)

model.py

@@ -0,0 +1,183 @@
+from transformers import (
+    AutoConfig,
+    AutoModelForCausalLM,
+    AutoModelForSeq2SeqLM,
+    AutoTokenizer,
+    BitsAndBytesConfig,
+    PreTrainedModel,
+    PreTrainedTokenizerBase,
+)
+
+from transformers.models.auto.modeling_auto import (
+    MODEL_FOR_CAUSAL_LM_MAPPING_NAMES,
+    MODEL_FOR_SEQ_TO_SEQ_CAUSAL_LM_MAPPING_NAMES,
+)
+
+from typing import Optional, Tuple
+
+import os
+
+import torch
+
+import json
+
+
+def load_model_for_inference(
+    weights_path: str,
+    quantization: Optional[int] = None,
+    lora_weights_name_or_path: Optional[str] = None,
+    torch_dtype: Optional[str] = None,
+    force_auto_device_map: bool = False,
+) -> Tuple[PreTrainedModel, PreTrainedTokenizerBase]:
+    """
+    Load any Decoder model for inference.
+
+    Args:
+        weights_path (`str`):
+            The path to your local model weights and tokenizer. You can also provide a
+            huggingface hub model name.
+        quantization (`int`, optional):
+            '4' or '8' for 4 bits or 8 bits quantization or None for 16/32bits training. Defaults to `None`.
+
+            Requires bitsandbytes library: https://github.com/TimDettmers/bitsandbytes
+        lora_weights_name_or_path (`Optional[str]`, optional):
+            If the model has been trained with LoRA, path or huggingface hub name to the
+            pretrained weights. Defaults to `None`.
+        torch_dtype (`Optional[str]`, optional):
+            The torch dtype to use for the model. If set to `"auto"`, the dtype will be
+            automatically derived. Defaults to `None`. If quantization is enabled, we will override
+            this to 'torch.bfloat16'.
+        force_auto_device_map (`bool`, optional):
+            Whether to force the use of the auto device map. If set to True, the model will be split across
+            GPUs and CPU to fit the model in memory. If set to False, a full copy of the model will be loaded
+            into each GPU. Defaults to False.
+
+    Returns:
+        `Tuple[PreTrainedModel, PreTrainedTokenizerBase]`:
+            The loaded model and tokenizer.
+    """
+
+    if type(quantization) == str:
+        quantization = int(quantization)
+    assert (quantization is None) or (
+        quantization in [4, 8]
+    ), f"Quantization must be 4 or 8, or None for FP32/FP16 training. You passed: {quantization}"
+
+    print(f"Loading model from {weights_path}")
+
+    MODEL_FOR_CAUSAL_LM_MAPPING_NAMES.update(
+        {
+            "mpt": "MPTForCausalLM",
+            "RefinedWebModel": "RWForCausalLM",
+            "RefinedWeb": "RWForCausalLM",
+        }
+    )  # MPT and Falcon are not in transformers yet
+
+    config = AutoConfig.from_pretrained(
+        weights_path,
+        trust_remote_code=True
+        if ("mpt" in weights_path or "falcon" in weights_path)
+        else False,
+    )
+
+    torch_dtype = (
+        torch_dtype if torch_dtype in ["auto", None] else getattr(torch, torch_dtype)
+    )
+
+    tokenizer: PreTrainedTokenizerBase = AutoTokenizer.from_pretrained(
+        weights_path,
+        add_eos_token=True,
+        trust_remote_code=True
+        if ("mpt" in weights_path or "falcon" in weights_path)
+        else False,
+    )
+
+    quant_args = {}
+    if quantization is not None:
+        quant_args = (
+            {"load_in_4bit": True} if quantization == 4 else {"load_in_8bit": True}
+        )
+        if quantization == 4:
+            bnb_config = BitsAndBytesConfig(
+                load_in_4bit=True,
+                bnb_4bit_use_double_quant=True,
+                bnb_4bit_quant_type="nf4",
+                bnb_4bit_compute_dtype=torch.bfloat16,
+            )
+            torch_dtype = torch.bfloat16
+
+        else:
+            bnb_config = BitsAndBytesConfig(
+                load_in_8bit=True,
+            )
+        print(
+            f"Bits and Bytes config: {json.dumps(bnb_config.to_dict(),indent=4,ensure_ascii=False)}"
+        )
+    else:
+        print(f"Loading model with dtype: {torch_dtype}")
+        bnb_config = None
+
+    if config.model_type in MODEL_FOR_SEQ_TO_SEQ_CAUSAL_LM_MAPPING_NAMES:
+        print(
+            f"Model {weights_path} is a encoder-decoder model. We will load it as a Seq2SeqLM model."
+        )
+        model: PreTrainedModel = AutoModelForSeq2SeqLM.from_pretrained(
+            pretrained_model_name_or_path=weights_path,
+            device_map="auto" if force_auto_device_map else None,
+            torch_dtype=torch_dtype,
+            quantization_config=bnb_config,
+            **quant_args,
+        )
+
+    elif config.model_type in MODEL_FOR_CAUSAL_LM_MAPPING_NAMES:
+        print(
+            f"Model {weights_path} is an encoder-only model. We will load it as a CausalLM model."
+        )
+        model: PreTrainedModel = AutoModelForCausalLM.from_pretrained(
+            pretrained_model_name_or_path=weights_path,
+            device_map="auto" if force_auto_device_map else None,
+            torch_dtype=torch_dtype,
+            trust_remote_code=True
+            if ("mpt" in weights_path or "falcon" in weights_path)
+            else False,
+            quantization_config=bnb_config,
+            **quant_args,
+        )
+
+        # Ensure that the padding token is added to the left of the input sequence.
+        tokenizer.padding_side = "left"
+    else:
+        raise ValueError(
+            f"Model {weights_path} of type {config.model_type} is not supported by EasyTranslate."
+            "Supported models are:\n"
+            f"Seq2SeqLM: {MODEL_FOR_SEQ_TO_SEQ_CAUSAL_LM_MAPPING_NAMES}\n"
+            f"CausalLM: {MODEL_FOR_CAUSAL_LM_MAPPING_NAMES}\n"
+        )
+
+    if tokenizer.pad_token_id is None:
+        if "<|padding|>" in tokenizer.get_vocab():
+            # StableLM specific fix
+            tokenizer.add_special_tokens({"pad_token": "<|padding|>"})
+        elif tokenizer.unk_token is not None:
+            print(
+                "Model does not have a pad token, we will use the unk token as pad token."
+            )
+            tokenizer.pad_token_id = tokenizer.unk_token_id
+        else:
+            print(
+                "Model does not have a pad token. We will use the eos token as pad token."
+            )
+            tokenizer.pad_token_id = tokenizer.eos_token_id
+
+    if lora_weights_name_or_path:
+        from peft import PeftModel
+
+        print(f"Loading pretrained LORA weights from {lora_weights_name_or_path}")
+        model = PeftModel.from_pretrained(model, lora_weights_name_or_path)
+
+        if quantization is None:
+            # If we are not using quantization, we merge the LoRA layers into the model for faster inference.
+            # This is not possible if we are using 4/8 bit quantization.
+            model = model.merge_and_unload()
+
+    return model, tokenizer

sample_text/en2es.m2m100_1.2B.json

@@ -1,6 +1,7 @@
 {
+    "path": "sample_text/en2es.translation.m2m100_1.2B.txt",
     "sacrebleu": {
-        "score": 32.101150640281695,
+        "score": 32.14645334893687,
         "counts": [
             19160,
             11392,
@@ -8,116 +9,52 @@
             5186
         ],
         "totals": [
-            31477,
-            30479,
-            29481,
-            28485
+            30102,
+            29102,
+            28104,
+            27106
         ],
         "precisions": [
-            60.86984147155066,
-            37.37655434889596,
-            25.636850853091822,
-            18.20607337195015
+            63.65025579695701,
+            39.145075939797955,
+            26.89296897238827,
+            19.13229543274552
         ],
-        "bp": 1.0,
-        "sys_len": 31477,
-        "ref_len": 30102
+        "bp": 0.9553495084330463,
+        "sys_len": 30102,
+        "ref_len": 31477
     },
     "rouge": {
-        "rouge1": [
-            [
-                0.5852396804366098,
-                0.6089057437338691,
-                0.5919486437026797
-            ],
-            [
-                0.5964621218261164,
-                0.6200342221830797,
-                0.6029705008756368
-            ],
-            [
-                0.6068321807422377,
-                0.6311106822798185,
-                0.61324805661008
-            ]
-        ],
-        "rouge2": [
-            [
-                0.3710985389559613,
-                0.38708055355385995,
-                0.3761201217327784
-            ],
-            [
-                0.3844850790869714,
-                0.40017782122170353,
-                0.38920434271970195
-            ],
-            [
-                0.3968990790506025,
-                0.41382310483690327,
-                0.4022299418726329
-            ]
-        ],
-        "rougeL": [
-            [
-                0.5351505034410595,
-                0.5564838960633809,
-                0.5410602618870524
-            ],
-            [
-                0.5457898501195475,
-                0.5677049056091881,
-                0.5519189480892548
-            ],
-            [
-                0.5575497491149766,
-                0.5787856637940312,
-                0.5630101422167583
-            ]
-        ],
-        "rougeLsum": [
-            [
-                0.5352116089085267,
-                0.5570236521823667,
-                0.5415939934790461
-            ],
-            [
-                0.5463246235983789,
-                0.5676427704754348,
-                0.5522237812823654
-            ],
-            [
-                0.5581141358005033,
-                0.5796683147249665,
-                0.5630221371759908
-            ]
-        ]
+        "rouge1": 0.6031630371962684,
+        "rouge2": 0.38939154291666417,
+        "rougeL": 0.5515330844231945,
+        "rougeLsum": 0.5523095078982578
     },
     "bleu": {
-        "bleu": 0.2842153038526809,
+        "bleu": 0.3214645334893687,
         "precisions": [
-            0.5535070989616444,
-            0.33646946844340314,
-            0.22383069265549602,
-            0.15653135365661033
+            0.6365025579695701,
+            0.3914507593979795,
+            0.2689296897238827,
+            0.19132295432745516
         ],
-        "brevity_penalty": 1.0,
-        "length_ratio": 1.0469217970049918,
-        "translation_length": 28314,
-        "reference_length": 27045
+        "brevity_penalty": 0.9553495084330461,
+        "length_ratio": 0.9563173110525145,
+        "translation_length": 30102,
+        "reference_length": 31477
     },
     "meteor": {
-        "meteor": 0.4880039569987408
+        "meteor": 0.5592932008785984
     },
     "ter": {
-        "score": 59.500831946755405,
-        "num_edits": 16092,
-        "ref_length": 27045.0
+        "score": 56.87645687645687,
+        "num_edits": 16104,
+        "ref_length": 28314.0
     },
     "bert_score": {
-        "precision": 0.8192488248944283,
-        "recall": 0.8262857750356197,
-        "f1": 0.8223461411595344,
-        "hashcode": "microsoft/deberta-xlarge-mnli_L40_no-idf_version=0.3.11(hug_trans=4.18.0)_fast-tokenizer"
+        "precision": 0.8262958707809448,
+        "recall": 0.8192555149793624,
+        "f1": 0.8223544662296772,
+        "hashcode": "microsoft/deberta-xlarge-mnli_L40_no-idf_version=0.3.12(hug_trans=4.30.0.dev0)_fast-tokenizer"
     }
 }

sample_text/en2es.m2m100_12B.json

@@ -1,6 +1,7 @@
 {
+    "path": "sample_text/en2es.translation.m2m100_12B.txt",
     "sacrebleu": {
-        "score": 33.436451348487466,
+        "score": 33.475597947249206,
         "counts": [
             19586,
             11874,
@@ -8,116 +9,52 @@
             5450
         ],
         "totals": [
-            31477,
-            30479,
-            29481,
-            28485
+            30620,
+            29620,
+            28620,
+            27621
         ],
         "precisions": [
-            62.22321059821457,
-            38.957971062042716,
-            26.94956073403209,
-            19.132876952782166
+            63.96472893533638,
+            40.08777852802161,
+            27.76030747728861,
+            19.731363817385322
         ],
-        "bp": 1.0,
-        "sys_len": 31477,
-        "ref_len": 30620
+        "bp": 0.9723997992594404,
+        "sys_len": 30620,
+        "ref_len": 31477
     },
     "rouge": {
-        "rouge1": [
-            [
-                0.5868986191655717,
-                0.5990516851228531,
-                0.5892049154144693
-            ],
-            [
-                0.5977571827236499,
-                0.6099207497981789,
-                0.5995111761931164
-            ],
-            [
-                0.6079524761878128,
-                0.6202142720286049,
-                0.6094761236959281
-            ]
-        ],
-        "rouge2": [
-            [
-                0.3706071661208073,
-                0.3785178998280979,
-                0.37195231176110016
-            ],
-            [
-                0.3822973112445337,
-                0.3910339885523211,
-                0.3840413583143001
-            ],
-            [
-                0.3943269285733919,
-                0.40342286677145006,
-                0.39586855043691616
-            ]
-        ],
-        "rougeL": [
-            [
-                0.5396432739320616,
-                0.5500014160494135,
-                0.5415782549465077
-            ],
-            [
-                0.5501208131226542,
-                0.5612357333331699,
-                0.5516218104057385
-            ],
-            [
-                0.5618124341271667,
-                0.572879684102229,
-                0.562976363702977
-            ]
-        ],
-        "rougeLsum": [
-            [
-                0.538985057343137,
-                0.5513723525906167,
-                0.5416040213401992
-            ],
-            [
-                0.5506317054043084,
-                0.5618544163370318,
-                0.552372087766954
-            ],
-            [
-                0.562072829679551,
-                0.5729279153458795,
-                0.5629424360218582
-            ]
-        ]
+        "rouge1": 0.6128148295299917,
+        "rouge2": 0.4036041741520725,
+        "rougeL": 0.5643514518621683,
+        "rougeLsum": 0.5645246174672706
     },
     "bleu": {
-        "bleu": 0.2966828370181192,
+        "bleu": 0.3347559794724921,
         "precisions": [
-            0.5677756586847496,
-            0.3517718553228877,
-            0.23602720468102892,
-            0.1643500236929395
+            0.6396472893533638,
+            0.40087778528021606,
+            0.2776030747728861,
+            0.19731363817385322
         ],
-        "brevity_penalty": 1.0,
-        "length_ratio": 1.029862146728258,
-        "translation_length": 28314,
-        "reference_length": 27493
+        "brevity_penalty": 0.9723997992594404,
+        "length_ratio": 0.9727737713250945,
+        "translation_length": 30620,
+        "reference_length": 31477
     },
     "meteor": {
-        "meteor": 0.48057062339433765
+        "meteor": 0.5707993033147661
     },
     "ter": {
-        "score": 57.60375368275561,
-        "num_edits": 15837,
-        "ref_length": 27493.0
+        "score": 55.891078618351344,
+        "num_edits": 15825,
+        "ref_length": 28314.0
     },
     "bert_score": {
-        "precision": 0.8292220607697963,
-        "recall": 0.8316881820857525,
-        "f1": 0.8299418310523033,
-        "hashcode": "microsoft/deberta-xlarge-mnli_L40_no-idf_version=0.3.11(hug_trans=4.18.0)_fast-tokenizer"
+        "precision": 0.8284017654061318,
+        "recall": 0.8250637047588826,
+        "f1": 0.8263607999384404,
+        "hashcode": "microsoft/deberta-xlarge-mnli_L40_no-idf_version=0.3.12(hug_trans=4.30.0.dev0)_fast-tokenizer"
     }
 }

sample_text/en2es.m2m100_418M.json

@@ -1,6 +1,7 @@
 {
+    "path": "sample_text/en2es.translation.m2m100_418M.txt",
     "sacrebleu": {
-        "score": 29.035496917461597,
+        "score": 29.072907202886253,
         "counts": [
             18582,
             10514,
@@ -8,116 +9,52 @@
             4387
         ],
         "totals": [
-            31477,
-            30479,
-            29481,
-            28485
+            30388,
+            29388,
+            28390,
+            27392
         ],
         "precisions": [
-            59.033580074339994,
-            34.49588241084025,
-            22.662053525999795,
-            15.401088292083553
+            61.14913781755956,
+            35.77650741799374,
+            23.53293413173653,
+            16.015625
         ],
-        "bp": 1.0,
-        "sys_len": 31477,
-        "ref_len": 30388
+        "bp": 0.9647980111591153,
+        "sys_len": 30388,
+        "ref_len": 31477
     },
     "rouge": {
-        "rouge1": [
-            [
-                0.5661701202298134,
-                0.5806961045770566,
-                0.5693885562082325
-            ],
-            [
-                0.5768745925790656,
-                0.5926959547911554,
-                0.5803693779677083
-            ],
-            [
-                0.5871085218904836,
-                0.6035331460243276,
-                0.5900979805085623
-            ]
-        ],
-        "rouge2": [
-            [
-                0.34243414046469267,
-                0.35226400857606666,
-                0.34469210847048837
-            ],
-            [
-                0.3545484183384055,
-                0.36470783370743065,
-                0.3569058648048812
-            ],
-            [
-                0.36612813327517263,
-                0.37717476449671,
-                0.3689653665404565
-            ]
-        ],
-        "rougeL": [
-            [
-                0.5129704896656746,
-                0.526995889564155,
-                0.5162056185006965
-            ],
-            [
-                0.523632841460358,
-                0.5375452284094455,
-                0.5267080806612512
-            ],
-            [
-                0.5350158816319085,
-                0.5480980981777757,
-                0.5372302857012781
-            ]
-        ],
-        "rougeLsum": [
-            [
-                0.5126805856827783,
-                0.5265189554049317,
-                0.5155154093959223
-            ],
-            [
-                0.5239559133309495,
-                0.5380410013947112,
-                0.5271022617246641
-            ],
-            [
-                0.5351934954578494,
-                0.5491115103854219,
-                0.5381174565735956
-            ]
-        ]
+        "rouge1": 0.579804125926684,
+        "rouge2": 0.35711799408400774,
+        "rougeL": 0.5267816454754455,
+        "rougeLsum": 0.5273163154797025
     },
     "bleu": {
-        "bleu": 0.2546886610724999,
+        "bleu": 0.29072907202886256,
         "precisions": [
-            0.5339761248852158,
-            0.30784155806120955,
-            0.19560013678331242,
-            0.1308640025272469
+            0.6114913781755956,
+            0.3577650741799374,
+            0.23532934131736527,
+            0.16015625
         ],
-        "brevity_penalty": 1.0,
-        "length_ratio": 1.0353982300884956,
-        "translation_length": 28314,
-        "reference_length": 27346
+        "brevity_penalty": 0.9647980111591153,
+        "length_ratio": 0.9654033103535915,
+        "translation_length": 30388,
+        "reference_length": 31477
     },
     "meteor": {
-        "meteor": 0.4630996837124251
+        "meteor": 0.5341572751283119
     },
     "ter": {
-        "score": 61.848167922182405,
-        "num_edits": 16913,
-        "ref_length": 27346.0
+        "score": 59.71604153422335,
+        "num_edits": 16908,
+        "ref_length": 28314.0
     },
     "bert_score": {
-        "precision": 0.8128397642374039,
-        "recall": 0.8185485603511333,
-        "f1": 0.8153312988877296,
-        "hashcode": "microsoft/deberta-xlarge-mnli_L40_no-idf_version=0.3.11(hug_trans=4.18.0)_fast-tokenizer"
+        "precision": 0.8185503813624382,
+        "recall": 0.8128425980806351,
+        "f1": 0.8153334923088551,
+        "hashcode": "microsoft/deberta-xlarge-mnli_L40_no-idf_version=0.3.12(hug_trans=4.30.0.dev0)_fast-tokenizer"
     }
 }

sample_text2/en2es.translation.flanT5-base.txt

@@ -0,0 +1,384 @@
+Resumpción de la sesión
+Estoy declarando que se resumió la sesión del Parlamento Europeo adjurado el viernes 17 de diciembre de 1999, y quisiera una vez más decirle un nuevo ao feliz en el esperanza de que usted reciba un perodo agradable celebrado.
+Aunque, como veas, el dresado'millennium bug' no materializó, sin embargo, la gente en una serie de pases sufrió una serie de catástrofes naturales que eran verdaderamente dreadfules.
+Usted ha solicitado un debate sobre este tema en el curso de los próximos das, durante esta sesión de parte.
+En el momento, quisiera observar un minuto de silencio, como haya solicitado en nombre de todos los vctimos, especialmente de los territorios tursticos, en las diversas pases de la Unión Europea.
+Permtanme sobre el silencio de este minuto.
+(La Casa acerca y observa un minuto' s silencio)
+Madam Presidente, en un punto de orden.
+Se conoce de la prensa y de la televisión que haya hecho una serie de explosións de bombas y muertos en Sri Lanka.
+Una de las personas asasinadas muy recientemente en Sri Lanka fue el Sr. Kumar Ponnambalam, que haba visitado el Parlamento Europeo hace pocos meses.
+Es apropiado para ustedes, seora Presidenta, escribir una carta a la Presidenta Sri Lanka que expresa la remora del Parlamento a su y a los otros muertos violentos en Sri Lanka y a ella que hacer todo lo que puede hacer para buscar una reconciliación pacfica a una situación muy difcil?
+No, seor Evans, me parece que una iniciativa del tipo que yo he sugerido ahora sera completamente apropiada.
+Si el Parlamento está acusado, voy a hacer lo que el seor Evans ha sugerido.
+Madam Presidente, en un punto de orden.
+Quisiera tu ayuda sobre el regla 143 sobre la inadmisibilidad.
+Mi pregunta se refiere a algo que ocurrirá el jornalista el da y que entonces me llevará nuevamente.
+El informe Cunha sobre programas de orientación multianual se encuentra en el Parlamento el viernes y contiene una propuesta en el párrafo 6 de que se introduce una forma de penalidades de cota para pases que no cumplien sus objetivos de reducción de la flota cada ao.
+Se dice que esto debe ser realizado a pesar del principio de estabilidad relativa.
+Creo que el principio de estabilidad relativa es un principio jurdica fundamental de la poltica comn de pesca, y una propuesta para subvertirla sera legalmente inadmissible.
+Quiero saber si puede plantear una objeción de tal tipo a lo que es sólo un informe, no un propuesto legislativo, y si es algo que puedo hacer competentemente el viernes.
+Esta es exactamente el momento en que puede, si usted quiere, plantear esta cuestión, es decir, el julio antes de la iniciativa de la presentación del informe.
+Seora Presidenta, coincidente con la primera sesión de este ao del Parlamento Europeo, ha sido escrito, desafortunadamente, por el próximo jornal, en Texas en Estados Unidos, para la ejecución de un joven joven de 34 aos, que ha sido encarcelado a muerte.
+A la requerimiento de un miembro franceso, el Sr. Zimeray, ha sido presentado una petición, que ya se unió a muchos personas, incluyendo yo. Sin embargo, quisiera que, en acuerdo con el lnea que está ahora siguiendo constantemente por el Parlamento Europeo y por todo el
+Esto es todo en acuerdo con los principios que hemos sido acusado siempre.
+Gracias, seor Segni, voy a hacerlo bien.
+En realidad, es bastante conforme a las posiciones que el Parlamento ha adoptado siempre.
+Seora Presidenta, quisiera atraer tu atención a un caso en el que este Parlamento ha mostrado constantemente un interés.
+Es el caso de Alexander Nikitin.
+Todos nosotros aqu estamos satisfechos que los tribunales han acusado y han claro que en Rusia también el acceso a la información medioambiental es también un derecho constitucional.
+Ahora, sin embargo, él está llegar a los tribunales una vez más porque el procurador pblico está apelando.
+Sabemos, y hemos afirmado tanto en muy muchos resoluciones, incluyendo especficamente durante la ltima sesión plenaria del ao pasado, que esto no es solo un caso jurdico y que es igual que Alexander Nikitin se acusa de actividad y treasono por nuestra implicación como los beneficiarios de sus encuentros
+Estos resultados constituyen el fundamento de los programas europeos para proteger el mar Barents, y por eso quisiera examinar un proyecto de carta que estipula los hechos más importantes y hacer que la posición del Parlamento, como es expresada en las resoluciones que se han adoptado, es claro en cuanto 
+No, seora Schroedter, me gustara mirar los hechos de este caso cuando he recibido su carta.
+Seora Presidenta, quisiera en primer lugar felicitarles por el hecho de que t han mantenido su palabra y que, durante este primera sesión del nuevo ao, el nmero de canales de televisión en nuestros oficios ha aumentado considerablemente.
+Pero, seora Presidenta, mi demanda personal no ha sido cumplida.
+Aunque ahora hay dos canales finlandeses y uno portugueso, an no hay canales norteamericanos, lo que he requerido porque la gente norteamericana aqu tiene que seguir también las noticias cuando estamos enviados a este lugar de exile cada mes.
+Por tanto, yo quisiera an más solicitar que tenemos también un canal holandés también.
+Seora Plooij-van Gorsel, puedo decirles que esta cuestión está en la agenda de la reunión de los Quaestors el da.
+Esto, espero, será examinada en una luz positiva.
+Seora Presidenta, por qué no se acuerda a este Parlamento a la legislación de salud y seguridad que actualmente pasa?
+Por qué no se ha realizado un test de calidad del aire en este edificio particular desde que fuese elegido?
+Por qué no ha llegado a la reunión del Comité de Salud y Seguridad desde 1998?
+Por qué no ha pasado una ejercicio de energa en las edificios del Parlamento de Bruselas o en las edificios del Parlamento de Strasbourg?
+Por qué no hay instrucciones de fuego?
+Por qué no han mejorado los caminos desde mi accidente?
+Por qué no se aplican áreas de no fumar?
+Se parece absolutamente desgraciado que pasamos la legislación y no se adhieremos a ellos mismos.
+Seora Lynne, es bastante correcto y voy a verificar si esto no ha sido realmente hecho.
+También voy a referirse a la Colegio de Quaestors, y estoy seguro de que ellos estarán encantados de asegurarnos de que cumplimos con las reglas que nosotros votamos.
+Madam Presidente, la seora Dez González y yo haban planteado preguntas sobre ciertas opiniones del Vicepresidente, la seora de Palacio, que aparecan en una periódico espaola.
+Los servicios competentes no han incluidolos en el orden del ao por las razones de que se haban respondido en una sesión anterior.
+Quisiera que ellos reconsideran, porque no es el caso.
+Las preguntas que se respondieron anteriormente referan a la intervención de la seora de Palacio, en otro momento, y no a estas comentarios que aparecan en el periódico ABC el 18 de noviembre.
+Seor Berenguer Fuster, vamos a verificar todo esto.
+Quiero admitir que, en este momento, la cuestión parece parecer algo confuso.
+Por tanto, vamos a examinarlo adecuadamente para asegurar que todo es lo que debe ser.
+Seora Presidenta, quiero saber si va a transmitir un mensaje claro del Parlamento este semana sobre nuestra discontento sobre la decisión de hoy no renovar el embargo de armas en Indonesia, considerando que la mayora de este Parlamento han aprobado el embargo de armas en Indonesia en el pasado?
+La decisión de hoy no renovar el embargo es extremadamente peligroso considerando la situación aqu.
+As que el Parlamento debe transmitir un mensaje, ya que es el deseo de la mayora.
+Es irresponsable de los Estados miembros de la UE a negar la renovación del embargo.
+Como las personas han dicho, la situación aqu es extremadamente valiosa.
+De hecho, hay una riesgo de una coup militar en el futuro.
+No sabemos lo que sucede.
+Por qué debera los productores de armas de la UE ganarse por el desafo de la gente innocente?
+En cualquier caso, esa cuestión no se incluye actualmente entre las demandas de debate técnica y urgente el viernes.
+Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agencia del Agen
+El segundo asunto es la verificación de la versión final del proyecto de agenda escrito por la Conferencia de Presidentes en su reunión del 13 de enero en respuesta a las reglas 110 del procedimiento.
+No se han propuesto ningunas modificaciones relacionadas con el máximo y el da.
+Relacionado a miércoles:
+El Grupo del Partido de Socialistas Europeos solicita que una declaración de la Comisión se incluye en sus objetivos estratégicos para los próximos cinco aos y en la reforma administrativa de la Comisión.
+Quisiera que el Sr. Barón Crespo, quien ha planteado el requerio, hablar para proponerlo, por supuesto, si él desea, por supuesto.
+Entonces vamos a seguir el procedimiento habitual, escuchando un pueblo en fe y un pueblo contra.
+Seora Presidenta, la presentación del programa poltico de la Comisión de Prodi para toda la legislación fue inicialmente una propuesta del Grupo del Partido de Socialistas Europeos que fue aprobado unanimamente por la Conferencia de Presidentes en septiembre y que fue también aceptado explcitamente por el Presidente Prodi,
+Esta angajamento es importante porque la Comisión es un organismo con un monopolio de iniciativa en acuerdo con los Tratados y, por tanto, dicta el actividad poltico y legislativo de este Parlamento durante los próximos cinco aos.
+Además, seora Presidenta, quisiera decir que este Parlamento votó para expresar su confianza en el Presidente Prodi durante el ejercicio anterior. Se hizo otra vez durante este ejercicio, en julio, y entonces, en septiembre, votó una vez más para aprobar toda la Comisión.
+Por tanto, haya sido suficiente tiempo para que la Comisión prepara su programa y nosotros nos conocemos con él y nos explicamos a nuestros ciudadanos.
+Para este fin, quisiera recordar el resolución del 15 de septiembre, que recomendó que el propuesto se presenta ahora posiblemente.
+Los eventos del semana pasado - que originaban afuera de la Conferencia de Presidentes, que se utiliza simplemente para corrobor y ratificar decisiones tomadas en otros pases - nos presentan un dilema: o la Comisión no es posible presentar este programa, en el caso de que ella debe clarificarlo.
+De acuerdo con su Presidente, está en una posición para hacerlo.
+Debido a que la Comisión está representada por el Vice-Presidente de Palacio, creo que, antes de la votación, sera ayuda a que la Comisión nos podra ensear a saber cómo es posible presentar este programa, como se convenció. De otro modo, el Parlamento no es posible examinar este programa, como algu
+En mi opinión, este segundo hipótesis implicara la falta del Parlamento en su obligación como Parlamento, as como introducir una teora original, un método inconveniente que consiste en dar a los grupos polticos, en escritos, a una habla sobre el programa de la Comisión una semana antes -y no un da
+Mi Grupo cree que, como una parlamento tiene que escuchar, debatir y reflejar, no puede haber ninguna justificación para esta tarde, y creemos que si la Comisión está aceptada a hacerlo, todava tenemos tiempo para reestablir el acuerdo original entre el Parlamento y la Comisión y procedirse
+Por lo tanto, el propuesto del Grupo del Partido Socialista Europeo, y que haya mencionado, es que la Comisión Prodi presenta su programa legislativo el da, incluyendo su reforma administrativa propuesta, porque, por otro lado, podramos encontrarnos en una situación paradóctica: en la pretexto de que no hay texto,
+Por lo tanto, seora Presidenta, quisiera pedir que la Comisión expresa su opinione sobre este asunto y que luego procedemos a la votación.
+(Aplausos del Grupo PSE)
+Seora Presidenta, quisiera decir muy claro que, más allá de todo, la Comisión tiene respeto absoluto a las decisiones de este Parlamento y, entre ellos, a las decisiones que establecen su agenda.
+Por tanto, respetamos cualquiera que el Parlamento puede decidir.
+Pero también quiero decir muy claro que el Presidente Prodi ha tenido un compromiso a este Parlamento para introducir una nueva debate, como nos ha recordado el Sr. Barón Crespo, que sera además del debate anual sobre el programa legislativo de la Comisión, sobre las amplias áreas de acción para los próximos cinco aos
+Seora Presidenta, quisiera decir que el acuerdo llamado en septiembre distingua esta debate de la presentación anual del programa legislativo de la Comisión.
+También quisiera decir que la Comisión está preparada y adecuada para celebrar este debate cuando es conveniente, y que estamos aceptados a hacerlo este semana, como hemos convencido originalmente, sobre la base de que será presentada el da antes en una habla a grupos parlamentarios.
+Por lo tanto, seora Presidenta, quisiera repetir que la Comisión ha debatido el plan de acción para los próximos cinco aos y, cuando el Parlamento decidimos, -ese semana si es el decisione - estamos preparados para llevar a explicar el programa para los próximos cinco aos y
+Probablemente propone votar sobre la solicitud del Grupo del Partido Socialista Europeo de que la declaración de la Comisión sobre sus objetivos estratégicos debera ser reinstituida.
+(Parliamento rechazó la solicitud) Presidente.
+An en el tema de la sesión de julio, tengo otro propuesto sobre la cuestión oral sobre el impuesto de capital.
+El Grupo PPE-DE requiere que esta cuestión se detiende a la agenda.
+Hay un miembro que quiere hablar en nombre de este Grupo para propone esto?
+Seora Presidenta, puedo escuchar una ruida de aflicción de los socialistas.
+Se le dijo que las grandes secciones del Grupo Socialista también estaban encantados de aadir esta cuestión, porque en la votación en la Conferencia de Presidentes no se reciban votos del grupo de trabajo de los miembros del Grupo Socialista responsable de esta cuestión.
+No sé si esta información es correcta, pero el Grupo PPE-DE sera, en cualquier caso, gratificado si esta cuestión fue eliminada porque el Parlamento ha abordado esta cuestión hace varias veces.
+También se han adoptado decisiones contra un impuesto de este tipo.
+Por eso mi Grupo movió a eliminar esta cuestión de la agenda.
+Gracias, seor Poettering.
+Ahora escuchamos el Sr. Wurtz hablando contra esta solicitud.
+Seora Presidenta, quisiera mostrar el falta de lógica del Sr. Poettering, ya que acabó de predicar a la Grupo del Partido de los Socialistas Europeos porque regresaron a una decisión tomada perfectamente clara en la Conferencia de Presidentes, y ahora él está haciendo el mismo mismo.
+Por qué es el trabajo del trabajo? Por qué es el trabajo del trabajo? Por qué es el trabajo del trabajo? Por qué es el trabajo del trabajo? Por qué es el trabajo del trabajo? 
+Estamos debatiendo esa cuestión y estamos unidos, con la excepción de los Grupos PPE y ELDR. Como yo recordará, yo he mencionado que no era una cuestión de saber si uno estaba contra o contra el impuesto de Tobin, sino de saber si uno escuchó escuchar lo que la Comisión y el Consejo pens
+No hay mucho para preguntar.
+Por tanto, repetiré el propuesto de que esta cuestión oral a la Comisión y al Consejo debera ser conservada para que podemos encontrar una vez y para todos, las posiciones de estos dos organismos sobre el propuesto relativamente modesto pero que dara un mensaje claro a la opinión pblica, especialmente después de la t
+Vamos a votar sobre la solicitud del Grupo PPE-DE de que la cuestión oral sobre el impuesto de capital debe ser retirado del orden del ao.
+(Parliamento rechazó la solicitud, con 164 votos para, 166 votos contra y 7 abstentiones)
+Seora Presidenta, quisiera agradecer a el Sr. Poettering por la publicación de este debate.
+Muchas gracias.
+Seora Presidenta, ya he llegado el voto? No tena que votar en el medio electrónico, pues no tiene una carta.
+Mi voto fue "en favor".
+Seora Presidenta, la Presidencia ya ha declarado el resultado de la votación.
+No hay lugar para las enmiendas.
+Seora Presidenta, en el voto antes -y yo acuerdo a su decisión sobre este asunto - en el tema del plan estratégico de la Comisión me indica que quisiera hablar ante la votación en nombre de mi Grupo.
+Esto no sucedió.
+Me gustara que, en el final de esta cuestión de negocios, puedo dar una explicación de voto en nombre de mi Grupo.
+Este es una cuestión importante.
+Seora sera til para el registro de la Casa destacar cómo la gente percepciona lo que hemos hecho en el luz de su propio análisis poltico.
+Seora Presidenta, no quiero reunir el debate, pero también yo haba solicitado el puerto, commentando el propósito del Sr. Barón Crespo.
+No me llamó a m.
+Estoy regrettable, pero el voto ha sido tomado y la decisión ha sido finalizada, entonces dejamos dejarnos de eso.
+Estoy muy sorry, el Sr. Hänsch y el Sr. Cox. No veo que te preguntara hablar.
+Sin embargo, creo que las posiciones son bastante claras y serán ingresadas en los Proyectos.
+Cuando adoptamos los Proyectos para el sábado semana, todos los miembros que creen que las posiciones no se explican claramente pueden solicitar mejoradas.
+Esto me parece ser una solución posible.
+Por supuesto, los Proyectos para el sábado se toma en cuenta cualquier explicación adicional.
+Creo que esto es un mejor solución que procediendo ahora a explicaciones extremadamente difciles de votos.
+Seor Cox, Seor Hänsch, esto sera aceptable para ustedes?
+Seora Presidenta, si el voto recorda correctamente cómo mi Grupo votado, yo no yo no puedo oponerse a eso.
+Si su dictado es que no puedo dar una explicación de voto, acepto eso, pero con reservas.
+Advisadores de seguridad para el transporte de mercancas peligrosas
+El segundo asunto es el informe (A5-0105/1999) del Sr. Koch, en nombre de la Comisión de Poltica Regional, Transporte y Turismo, sobre la posición comuna adoptada por el Consejo con el fin de adoptar una directiva del Parlamento Europeo y del Consejo sobre la armonización de las requisitos de examinación para los ayudas de se
+Seor Comisario, Seor Presidente, hombres y hermanos, puedo ser bastante frank en decir que me agradezco a la posición comn del Consejo sobre la armonización de la formación de ayudas de seguridad para el transporte de mercancas peligrosas por carretera, ferrocarril o agua inlanda.
+En primer lugar, necesitamos actuar a nivel formal para cumplir los requisitos de la Directiva 96/35/CE, que oblige a los Estados miembros a appointar consejos de seguridad y organizar la formación, enseanza y examinación de estos personas, pero no explica esto explcitamente.
+En segundo lugar, adoptando este directivo conseguimos a) un aumento en la seguridad cuando los bienes peligrosos se transportan tanto como transhibados; b) una reducción de las discorsións de la competencia resultada de varias variaciones de las estructuras de formación nacionales y de los costes de formación y c) oportunidades 
+En tercer lugar, este directivo, como está actualmente en el posición comn, garantiza -en particular porque se confine exclusivamente a los normativos minimos - una alta grado de flexibilidad y una regulación modesta de la Unión Europea; adoptandolo contribuye a que los Estados miembros tienen un alto nivel de responsabilidad individual.
+Todo esto está en acuerdo con el principio de subsidiariedad y por lo tanto se tiene una gran agradección.
+Nuestras enmiendas desde la primera lectura han sido consideradas muy satisfactoriamente.
+Se han aceptado o transposado sin cambio en la sustancia, o se han retrasado porque no se han incluido las resoluciones correspondientes europeas, por ejemplo un sistema de penalidades para las violaciones de las reglas o una estructura compleja de clasificación para grupos relacionados de preguntas.
+El nico modificado unanimamente adoptado del Comité de Polica y Transporte Regional, que se refiere al tiempo de implementación del direktivo, es algo que yo espero apoyar.
+En no escribir un fecha especfico para las Estados miembros de implementar el Directiva y en vez de darles un perodo de tres meses después de su entrada en va, introducemos una clausura de flexibilidad que garantiza que el Directiva será implementado sin embargo.
+Quiero esfuerzo a aprovechar esto.
+Seora Presidenta, no podemos y no debemos aceptar el hecho de que nos escuchamos cada vez más frecuentes de accidentes que causan grandes daos en nuestros caminos, pero también en nuestros ferrocarrils y aguas, no solo, sino por lo menos parte, porque aquellos implicados no toman el transporte de bienes pe
+Como Austriano, yo tengo an una memoria vivida, como creo, todos lo hacemos, de la catástrofe que costó tantos vidas vidas vidas el ao pasado en el Tnel de Tauern, donde el trabajo posterior para reconstruir las partes del Tnel que haban estado destru
+El proyecto de renovación, que duró meses, detuvo esta importante ruta entre el norte y el sur de Europa.
+El tráfico que tena que ser divertido por eso extiende la paciencia de muchos mil millones de personas en la UE hasta el lmite.
+De hecho, todo el hierro se enfrentó en algunos municipalidades de mi provincia.
+La prevención debe ser nuestra respuesta a desastres de este tipo, y este proyecto de directiva es un paso importante para que se encuentra a los ayudantes de seguridad bien trabajados, para que las acciones adecuadas se pueden aprovechar en buen tiempo.
+Todos los mismos no debemos contarnos con el aprobación de la ley europea para garantizar una mayor seguridad.
+También necesitamos seguir esto y asegurar que nuestros reglas se traducen por los Estados miembros en buen tiempo y -an más importante - necesitamos seguir que también se aplican después.
+Por favor, no esto no es an otro sector donde a continuación tenemos que lamentar la falta de ejecución.
+Quisiera abordar una ltima cosa: no nos debes contentarnos con escribir una cierta cada en el netto de seguridad y dejarnos de nuestros ojos a la hecho de que, en cuanto a la seguridad del transporte en Europa, hay mucho más que hacer.
+En este contexto, quisiera obtener una petición y pidiendo al Comisario responsable, que está junto aqu hoy, que puede presentar un texto apropiado ahora posible con el fin de continuar a hacer seguro para el tráfico a tunneles de transición en el futuro, para que nosotros, en Europa, no tenemos que experimentar
+Seora Presidenta, en primer lugar quiero agradecer a el Sr. Koch por su informe que tiene, en su corazón, el tema de la seguridad del transporte.
+El informe aborda el tema de la armonización de las requisitos de examinación para los ayudantes de seguridad trabajando en las áreas de transporte de mercancas peligrosas por carretera, ferrocarril y agua inland.
+Congratulo él por su excelente informe.
+La seguridad del transporte ha sido gravemente en las noticias recientemente: el accidente de la ferrocarril de Paddington en Londres, el terrible accidente de la ferrocarril de Noruega, los dos crashes aviarios que implican los ciudadanos de la UE y el desastre natural que implica el Erika de Brittany - todos en los ltimos cuatro
+El rapportor ha enseado a la Casa que, en su posición comn, el Consejo ha aceptado seis de los diez amendamentos del Parlamento presentados en primera lectura y que el contenido de los otros amendamentos del Parlamento ha sido conservado.
+Por tanto, mi Grupo apoyará la posición comn y esperará el aprobación de la legislación que nos ofrece ahora otro instrumento en nuestra lucha para hacer el transporte en la Unión Europea tan seguro como posible.
+En cuanto a la seguridad, mi Grupo apoyará siempre cualquier iniciativa para mejorar la seguridad del transporte.
+Estamos an teniendo mucho trabajo en este ámbito como las ltimas acontecimientos han demostrado.
+Seora Presidenta, quisiera hacer algunos comentarios.
+Quisiera, en primer lugar, agradecer a los ponentes por su trabajo extraordinariamente preciso y técnico sobre el informe y, en segundo lugar, a la Comisión por la propuesta que ha presentado.
+Estamos preocupados aqu con la armonización de las requisitos de la examinación, pero también con las requisitos minimos.
+Esto es una página, en un sentido.
+Por supuesto, la seguridad en las calles, las ferrocarrils y las aguas inlandes es de importancia clave y, dado la naturaleza internacional de estos tipos de transporte, debe también armonizar la formación para los ayudantes de la seguridad, as como las requisiciones del nuevo ADR, por ejemplo,
+Esto es importante, pero también es la ejecución, y hay, por supuesto, una serie de razones por las que debemos tener especial atención a esto.
+Sólo pensan en los accidentes en las calles que se han ocurrido durante los ltimos aos, por ejemplo en Bélgica, los Pases y en algunos otros pases, donde los camiones que transportan mercancas peligrosas continuaron a conducir en condiciones fros cuando realmente deberan
+O barcos de Europa del Este que mooran adyacentes a las barcos aqu, con todos los riesgos evidentes que esto implica.
+De hecho, se ha hecho que la investigación en las puertas de Belgium, Finlandia, pero también en Japón ha mostrado que el 50% de los contenedores con un cargo parcialmente peligroso no se encarga correctamente para el envo.
+Por supuesto, la cuestión es una importante.
+Si miramos la situación en cuanto a las ayudas de seguridad, en una serie de pases es obligatoria emplear esas ayudas de seguridad en las empresas desde el 1 de enero de este ao.
+Existirá problemas majores con el cumplimiento de este regla en el momento, especialmente con las empresas más pequeas, ya que estos no podrán proporcionar consejos de seguridad.
+Estas empresas más pequeas ocupan de su carga o combinanla con otro carga, lo que causa problemas.
+Por tanto se requerirá también que las certificaciones ISO 9002 pueden incluir más detalles de estos actividades en forma de informes anuales y análisis de la compaa.
+El trabajo es haciendo. Todo lo que ocurre es el negocio de la ejecución.
+Quiero mencionar un punto final.
+En cuanto a la aplicación, también se debe concluir acuerdos adecuados con los pases de Estado de Europa porque no entienden en tratamientos que tratan de esta cuestión hasta el 1 de julio de 2001, es decir, en 18 meses.
+Esto le da una ventana competitivo para el perodo intermedio.
+Esto no es en s mismo nada dreadful, pero deberamos priorizar especialmente los aspectos de seguridad para los bienes transportados por carretera, ferrocarril y aguas inlandes y incorporarlos, como parte del acquisito comunitario, en el momento posible y presentarlos a los Estados adicionales.
+Seora Presidenta, la importancia de la seguridad del transporte se encuentra regularmente en este Parlamento, y adecuadamente so.
+El volumen cada vez creciente de mercancas que pasan a través de Europa implica todo tipo de riesgos, conocidos y desconocidos, para los empleadores y el entorno social.
+Las personas que tienen que tratar de estos riesgos deberán cumplir con requisitos rigurosos.
+Las normas pertinentes que se han establecido en otro Directivo, 95/35/CE, parecen suficientemente adecuados para asegurar a la gente de manera responsable sobre la organización del transporte de mercancas peligrosas.
+Estoy muy satisfecho de que también se ha obtenido una acuerdo con el Consejo sobre normas mnimas sobre las examinaciones, aunque me gustara haber establecido que se han establecido normas uniformes, establecidas y módulos, para que los certificados seran de valores igualmente internacionales
+Sin embargo, esto no parece posible.
+Finalmente, el enmiento presentado por el ponente es perfectamente lógico y puedo, por tanto, darle mi apoyo todava.
+Seor Presidente, seor Comisario, yo quiero agradecer a el Sr. Koch por sus informes que, aunque son técnicas, son sin embargo muy importantes para la seguridad.
+Quiero hacer algunos comentarios.
+En primer lugar, quisiera preguntar al Comisario -y yo estoy convencido que mi requerio va a caminar en tierra fertile - para asegurar que haya más atención a la cuestión de seguridad, en las calles, en las aguas o en el mar.
+Recuerdo que sólo hoy estamos tratando de una propuesta de la Comisión primera elaborada el 19 de marzo de 1998, aunque el Parlamento respondió relativamente rápidamente, esta tarde es un poco demasiado larga.
+Esto no es sólo la causa de la Comisión, pero creo que necesitamos tomar acciones más rápidas para lograr una armonización en este ámbito.
+Mi segundo punto ha sido mencionado: se refiere a los estándares minimos.
+En principio, creo que en muchos casos sobre el transporte deberamos estar trabajando hacia una mayor ampliación de flexibilidad y reglas especficas del pas.
+Sin embargo, en cuanto a la seguridad, soy más sceptical porque la seguridad en Suecia, por ejemplo, no es en principio diferente de la seguridad en Alemania, Italia o Austria.
+Me puedo vivir con estas normas mnimas, pero le ped a la Comisión de mantener la situación muy cuidada.
+Si la flexibilidad de este tipo resulta en que hay reglas inadecuadas en algunos pases, entonces deberamos trabajar hacia una mayor armonización.
+También se ha mencionado mi tercer punto. Como sabes, como el seor Rack, viene de un pas de transición, donde esta cuestión tiene un rol particularmente importante.
+No quieremos hacer las condiciones de competencia mejoras para algunos pases unilateralmente y mejorarlas para pases como Austria o otros pases en el transcurso.
+Pero creo que debemos hacer todo lo que podemos hacer para mantener el transporte de mercancas peligrosas a un mnimo, en todos los pases, si ellos son pases de transito o no.
+Seor Presidente, quisiera en primer lugar felicitar el ponente, el Sr. Koch, por su magnfico trabajo y su cooperación positiva con la Comisión en materia de mejorar los textos y presentar este informe y este propuesto; en el final hay solamente una modificación sobre las requisitos para el examen de aptitude para los ayudas de
+Conocemos que es importante que los dos instituciones - Parlamento y Comisión - cooperan y trabajan juntos y que la cooperación actual con la Comisión de Politica Regional, y en particular con el grupo de transporte, es magnfico.
+La posición comuna incluye práctica todas las enmiendas aceptadas por la Comisión y armoniza las requisitos de examinación mnima para los ayudantes de seguridad, y, en el segundo lectura, podemos aceptar la enmiendas en el fecha propuesta, que es mucho más realista que el original
+A veces, quisiera agradecer a los diversos deputados por sus intervenciones y decirles que la seguridad es una de las prioridades de la Comisión en el campo del transporte.
+Como el seor Simpson ha dicho muy correctamente, esto es un proceso que nunca podemos tener de acuerdo o considerarse como terminar.
+El proceso de aumentar las margenes de seguridad y garantas de seguridad en el transporte es un proceso que debe mejorar da a da.
+En este sentido, también quisiera referir muy brevemente a los problemas de los tunneles, que los Messrs Rack y Swoboda han referido, que, en el caso de Austria, es, sin duda, una cuestión muy sensible y debe ser esfuerzos para mejorar su seguridad.
+En uno de los peores accidentes que han ocurrido recientemente, los bienes transportados no fueron peligrosos en s mismos.
+Margarine y algunos kilos de pintura que, en principio, no presentan riesgos, llevó a una realidad de desastre.
+Por tanto, tenemos que ver cómo las requisiciones que garantizan el grado máximo de seguridad pueden ser mejoras.
+Finalmente, quisiera decir que tenemos que considerar la seguridad en todas las tipos de transportes.
+Esta semana tenemos un debate aqu sobre la seguridad del transporte amarillo, en cuenta del desastre de Erika, y en el curso de este ao tenemos que discutir nuestros objetivos en materia de seguridad del transporte aéreo.
+Pero quiero decir que la seguridad es un objetivo prioritario para la Comisión.
+Como digo en el debate sobre el desastre de Erika, no esperamos que hay un desastre para abordar la cuestión de seguridad, pero trabamos en él an cuando no hay otras circunstancias, que simplemente serven a demostrar la urgencia para una respuesta efectiva a este tipo de problema.
+Quisiera repetir mi aprecio a todos los pueblos y especialmente a el rapportor, el Sr. Koch.
+El debate está cerrado.
+La votación se celebrará miércoles a las 12 p.m.
+Transporte de bienes peligrosos por carretera
+El segundo asunto es el informe (A5-0104/1999) del Sr. Koch, en nombre de la Comisión de Poltica Regional, Transporte y Turismo, sobre la propuesta para un direktivo del Parlamento Europeo y del Consejo modificando el Directive 94/55/CE sobre la aproximación de las leyes de los Estados miembros sobre el transporte de bienes pelig
+Seor Presidente, seor Comisario, hombres y hermanos, la directiva sobre el aproximación de las leyes de los Estados miembros sobre el transporte de mercancas peligrosas por carretera, que entró en va el 1 de enero de 1997, contiene una serie de disposiciones de transición que sólo son validas durante
+Los delayes en el trabajo del CEN son ahora difciles de aplicar este mismo directivo.
+En particular, las anexas no pueden ser adaptadas para tener en cuenta las evoluciones técnicas y industriales.
+Estoy regrettable porque tenemos que tomar acciones porque otros no ha hecho su trabajo.
+En este sentido, me acepto este propuesto de modificación de la Directiva 94/55/CE que se ha presentado para discusión hoy.
+Si la Unión Europea no tiene acción, entonces los Estados miembros seran obligado a modificar su legislación nacional durante un perodo muy breve, hasta que el CEN completa su trabajo, lo cual causara costes y incertidumbres.
+La enmienda a la directiva sobre el agenda de hoy no afecta por ello la armonización existente del transporte de mercancas peligrosas en la Comunidad.
+Se prolonga a sólo las reglas de transición mediante prolongar los tiempos, eliminar las disposiciones que no son aplicables, y establece los procedimientos para a) realizar el transporte ad hoc de mercancas peligrosas y b) adoptar reglamentos nacionalmente menos stringentes, en particular para el transporte de muy pequeos cantidade
+La enmienda a la directiva está, por consiguiente, en completo acuerdo con el principio de subsidiaridad; los Estados miembros obtienen más poderes.
+La Comisión decidió si los Estados miembros pueden impunir ciertas reglas de sus propias propias.
+En ese caso, es apoyado por un comité de expertos sobre el transporte de mercancas peligrosas en el procedimiento de regulación.
+Las procedimientos para el ejercicio de estos poderes de implementación conferidos a la Comisión se han establecido de nuevo en la Decisión del Consejo de junio de 1999.
+La propuesta que se debatirá hoy, para modificar el direktivo sobre el transporte de bienes peligrosos por carretera, se encuentra desde el mes de mayo de 1999, sin embargo no poda tener en cuenta el procedimiento comitórico más reciente.
+Dos de las enmiendas presentadas y adoptadas unanimamente por el comité se refieren precisamente a este procedimiento de comitology modificado.
+Aqu quieremos asegurar que hay referencia a esto an como las reflexiones y que el perodo dentro del cual el Consejo tiene que hacer una decisión - que no se manifiesta claramente - está en el mes máximo de tres meses.
+Además, se ha mencionado el necesidad de una mayor transparencia.
+Una otra enmienda permitirá a los Estados miembros imposer requisitos más rigurosos, en particular para los vacos, si se realiza trabajo o se transportan bienes como prioridad en temperaturas muy bajo -20oC.
+Esto es en el interés especial de las regiones del norte de Europa.
+Se propone una modificación final para asegurar que los tanques y tanqueros que están en servicio entre 1 de enero de 1997 y el entonces en va de esta directiva se pueden continuar utilizando si ellos se han construdo y mantenido en acuerdo con él.
+Estoy consciente de que esto es sólo un paso pequeo hacia una mayor seguridad en el transporte, pero quisiera aprovechar esta informe.
+Seor Presidente, colegas, un ao feliz y millennio a todos.
+Estoy hablando por primera vez en esta sesión plenaria, por lo que esto es bastante éxciting para m, un poco como primer amor, aunque eso duró más de dos minutos.
+Quisiera comenzar brevemente sobre la propuesta de la Comisión de modificar la directiva sobre el transporte de bienes peligrosos por carretera.
+Es bueno que esta directiva debera ser establecida ahora, ya que, otras veces, los Estados miembros deberan modificar sus actos nacionales por un tiempo muy poco, un periodo de transición, que ahora significara costes inutiles y que una vez más aumentara la preocupación con respecto a la burocracia de la UE
+Sin embargo, la propuesta de la Comisión no toma en cuenta todas las hechos, como el clima fro que predomina en las regiones norteamericanas.
+En consecuencia, yo ha presentado algunas mejores modificaciones al informe intrnsecamente excelente del Sr. Koch, que se han adoptado por nuestro comité.
+Mi enmiendos se refiere a las calificaciones de resistencia de frost para los tankeres que transportan estas mercancas peligrosas.
+De acuerdo con la propuesta de la Comisión, -20oC debera haber sido suficiente. En las calles del Mediterráneo, es difcil imaginar que en las temperaturas del Lapland se pueden reducir considerablemente más altos que eso.
+También hay apoyo a la UE en Lapland, as que nos recordamos ellos.
+As que he propuesto que la calificación del frost se reducirá a -40oC.
+Esto sera necesario para mantener las normas de seguridad en el nivel en las regiones norte anteriores.
+Espero que mi propuesta será considerada en el voto de morir.
+Seor Presidente, con su permiso, quisiera empezar a expresar mi admiración por el camino en el cual usted ejecutó el cambio rápido de la presidencia ahora durante el debate.
+Mi pensamiento es que era bastante espectáculo.
+En cuanto a la cuestión, creo que el pueblo de Europa debe ser capaces de ser confiado que los bienes -también peligrosos que son - que se transportan en las calles, las ferrocarrils, etc. - son tan seguros como posible.
+Esta directiva es una contribución a esto.
+Lo que estamos haciendo hoy es esencialmente una nia.
+El ponente, el Sr. Koch, a quien nos expresamos nuestros agradecimientos por el trabajo que ha hecho sobre esto, ha agregado ya que basicamente todo podra haber sido algo más avanzado si no fue por la inacción del CEN, que ha sido muy dilatorio en el desarrollo y adapta
+Por eso podemos sólo esperar -y deberamos resolver todo esto este semana - que, en 2001, finalmente, tenemos reglamentos de la Comunidad para el transporte de mercancas peligrosas por carretera, para que tenemos un grado de certificación jurdica aqu y también para que nuestros caminos son muy se
+Seor Presidente, el informe que estamos debatiendo aqu no implica en s mismo cambios importantes.
+La mayora de las enmiendas propuestas son de naturaleza sólo técnica.
+Sin embargo, es necesario subrayar que, cada vez que hagamos este tipo de decisión, es bueno de una amplia perspectiva medioambiental y es beneficioso porque crea mejores condiciones para explotar las posibilidades del mercado interior.
+Se transportan muy grandes cantidades de bienes peligrosos a través de la UE, tanto en las calles como en las ferrocarrils y en el mar.
+Esto es necesario tener reglas adecuados para el transporte de este tipo.
+En área tras área, ahora obtenemos reglamentos mnimas comunes para los Estados miembros.
+Esto es extraordinariamente positivo, y hay causa de agradecer a la ponente, el ponente Koch, por el trabajo que ha hecho sobre este tema.
+Esto es también importante en cuanto a los prerequisitos para el mercado interior.
+Si quieremos recibir un mercado de transportes comunes en realidad, es importante que no sólo tenemos reglamentos, sino que estos reglamentos también se aplican a todos los pases.
+Quisiera terminar con el comentario sobre una tercera cuestión que también es de significado, es decir, una enmienda presentada por el miembro del Parlamento, el Sr. Ari Vatanen.
+En muchos modos, los prerequisitos diferencian de un Estado miembro a otro.
+Al aprobar esta enmienda, tomamos el hecho de que puede ser muy fro en las partes norte de la Unión Europea.
+Esto es necesario también tener en cuenta las maneras en que los materiales y el paquete están afectados por el fro de este tipo.
+Es bueno que, en el establecimiento de las presentes reglamentos, también podemos ser flexibles.
+Estoy esperando que la Comisión puede aceptar el presente enmienda.
+Seor Presidente, quisiera agradecerle no sólo a el Sr. Koch, sino también a el Vicepresidente de la Comisión por el modo claro y ambiguo en el que han declarado su apoyo a la seguridad en el sector del transporte y reconocién como prioridad.
+La razón por la que el Sr. Koch presentó su esfuerzo informe fue porque el trabajo en la Comisión Económica de las Naciones Unidas y en la Comisión Económica de las Naciones Unidas estaba procediendo no demasiado expeditivo.
+Quisiera preguntar a la Vicepresidenta si ella está en posición de diciendo hoy qué está el estado de juego con respecto a las esfuerzos para la armonización que se realizan estos dos organizaciones, y si el EU está en posición de tener estas esfuerzos para la armonización, a través de principio
+Porque una cosa es clara: incluso si lleguemos a un excelente acuerdo dentro de la Unión Europea, el tráfico no está pasando en nuestras fronteras, es más allá de ellos.
+Por tanto, hay ciertamente todos los motivos para introducir disposiciones regionales más amplias.
+Si el Comisario no puede hacerlo hoy, entonces será preparado de informar a la comisión en escrito cómo se está situando las cuestiones y cuáles están las negociaciones entre el CEN y la Comisión Económica?
+Seor Presidente, quisiera una vez más felicitar a el Sr. Koch por su magnfico trabajo sobre este otro informe, que complementa en una manera el debate que tenamos en octubre sobre el transporte ferrocarril.
+Todos nos regretamos que el Comité Europeo para la Standardización (CEN) no ha sido posible, en el tiempo requisito, realizar la enmienda de las disposiciones necesarias para la armonización necesaria dentro de la Unión Europea.
+Este debate y la enmienda del direktivo actualmente en va permiten incorporar elementos diferentes que demostrar la diversidad de este Europa de nuestro.
+Hace un momento, el Sr. Vatanen nos habló de temperaturas menos bajas, no de 20 grados bajo el cierre, sino de 40 grados bajo el cierre.
+Por supuesto, aceptamos esa enmienda -es absolutamente correcto - y creo que debe incorporar circunstancias especficas que demostram la diversidad climática de la Unión Europea, que a veces tienen formas de especficas y de requisitos concretos para la establección de normas y caracterizaciones de naturaleza técnica.
+Quisiera decir, en relación a las comentarios del Sr. Swoboda sobre la actividad de la CEN, que le entramos a ellos a acelerar su trabajo como mucho posible porque sera terrible si, a pesar del nuevo plazo, nos encontraramos después de un ao y un poco con las mismas dificultades porque
+Por ltimo, seor Presidente, seoras, seoras, los problemas básicos que justifican este modificación del direktivo se han mencionado: hemos referido a la tarde del CEN, la modificación de algunas disposiciones, la coherencia entre el texto del direktivo y el contenido de los anexos y la neces
+La Comisión acepta todas las contribuciones del comité parlamentario y del relator, el Sr. Koch, que se contenen en las diversas enmiendas, especficamente cuatro.
+Por tanto, aceptamos los cuatro enmiendas que se han propuesto.
+El debate está cerrado.
+La votación se celebrará miércoles a las 12 p.m.
+Fondos estructurales - Coordinación del Fondo de Cohesión
+El segundo asunto es el informe (A5-0108/1999) de la seora Schroedter, en nombre de la Comisión de Poltica Regional, Transporte y Turismo, sobre la comunicación de la Comisión en el campo de los Fondos estructurales y su coordinación con el Fondo de Cohesión: orientaciones para programas en el periodo 2000-2006 [COM(199
+Seor Presidente, es particularmente grato que me hace mi primer discurso en el Parlamento Europeo sobre lo que se considera como el tema más importante dentro de esa parte del Reino Unido que represento en este Parlamento, es decir, Wales.
+Una mayor parte de Wales, como sabes, ha sido concedida la estatus de Objetivo 1 en el programa de Fondos estructurales.
+Es muy claro que muchas personas dentro de Wales están buscando el programa de Fondos estructurales europeos para ayudar a algunos de los grandes dificultades que nos encontramos sin duda.
+Hemos visto el pobreza creciendo en Wales; y creciendo an más desde 1997.
+Hemos visto el pérdido entre los ricos y los pobres.
+Por tanto, estamos buscando en el programa de Fondos estructurales no sólo para ver la restructuración industrial, sino también para ver una mejora en toda la base económica dentro del Principalidad.
+Sin embargo, lo que es profundamente difcil para nosotros es la creencia de que en alguna manera el asistencia de los Fondos estructurales es algo que ha sido, en un sentido, un éxito del gobierno.
+Esta es nadie una reconocimiento de las muy grandes dificultades que en Wales se enfrentan.
+Por eso quiero mostrar algunas de las cuestiones que creo que la Comisión debe tener en primer lugar.
+Se encuentra a la Comisión para abordar puntos en relación con el adicionalidad.
+Estamos dissatisfiedes con el hecho de que esos cifras parecen haber sido en alguna manera ocultas dentro de las cifras del Reino Unido.
+De acuerdo también a la Comisión para asegurar que haya una financiación adecuada para los proyectos.
+Estamos buscando el gobierno del Reino Unido, para asegurar que el sector privado, que de hecho debe proporcionar el gran impulso para los gastos de fondos estructurales, está implicado en el estado de planificación.
+Finalmente, solicitamos que la Comisión se garantiza que los dinero del Fondo estructural se pasan en una manera que es transparente.
+Mucho de lo que tiene lugar dentro de este Parlamento no es transparente.
+Este es un ámbito en el que creo que la Comisión puede ser un amigo muy grande a Wales.
+Seor Presidente, nuestra comisión tiene vistas muy diferentes a estos asuntos y, para empezar, voy a hablar del punto de vista de la investigación.
+Vemos como un signo muy positivo que, en sus propuestas, el rapportor ha tenido cuenta de la propuesta de nuestro Comité que los pases del Fondo de Cohesión deberan ampliar el infraestructura de investigación en lugar de encontrar universidades y académicos en tal modo que serviran a los que viven en
+Esto será posible con las acciones de los gobiernos, y esa decentralización de la educación superior será una poltica incondicionalmente tile en el desplazamiento del desarrollo.
+Alguna cuestión que quisiera abordar, especficamente del punto de vista de la poltica industrial, es que nosotros tenamos que la Comisión tener más atención a los efectos de los servicios, el comercio electrónico y el creciente uso de Internet, cuando planificaron la coordinación de los Fondos estructurales y los Fondos de cohe
+La pobreza y la riqueza dependan más de los métodos de subsistencia.
+Las riquezas fueron los que hubieran trabajos en la industria, pero hoy esos áreas podran haber convertido en un pago, y pueden bien ser pobres, de modo que también tenemos que investir en nuevas sectores de la industria, tales como la producción electrónica, como podra llamarlo, y la producción de servicios,
+En mi opinión, el comité que escrito el informe no ha tenido cuenta suficiente de esto, as que, en nombre de la Comisión de la industria, del comercio externo, de la investigación y de la energa, yo dira la atención de la Comisión a esta cuestión.
+Finalmente, como el comité representante la energa, podramos haber gustado que la cuestión de soporte para los recursos de energa renovables de los fondos de cohesión y de desarrollo regional haber sido accentuado an más, por tanto, a través de un proceso de coordinación, aumentar la utilización de los
+Seor Presidente, quisiera mucho agradecer a la seora Schroedter por el trabajo que ha hecho sobre esto y explicar a los colegas que estoy hablando para mi colegas, la seora Flautre, que seguió esto para el Comité de Empleo y Asuntos Sociales, pero que es casi infección.
+Agradezco a la atención de la gente a las enmiendas 1 y 2 que fueron convencidas por el Comité de Empleo y Asuntos Sociales, pero no aceptadas por el Comité de Poltica Regional, Transporte y Turismo.
+Estas enmiendas se refiere a la economa social y a la necesidad de proporcionar capital de riesgo social y apoyar sistemas locales financieramente locales para desarrollar oportunidades de ocupación y fortalecer la cohesión social.
+En el pasado, este Parlamento ha visto el economa social como un potencial proveedor potencial de ocupación.
+Estas enmiendas también se ajustan a la opinión de este Parlamento de que el exclusión social es una cuestión grave que necesita una acción constructiva.
+Estamos esperando que los que consideran la respuesta de estas enmiendas tienen motivos muy poderosas para ofrecer a ambos Parlamentos como a sus ciudadanos que buscan empleo.
+En su informe, la seora Flautre también atraa el atención a un ámbito donde la coordinación está sencilla, sin embargo necesaria.
+Las propuestas de la Comisión se refiere a los cuatro pilares de la estrategia de empleo y a los cinco campos de acción del Fondo Social Europeo.
+Pero el falta de directrices especficos aqu está particularmente regretido, ya que la idea de ligar la asistencia del Fondo Social a la estrategia de empleo será implementada por primera vez durante el programa de 2000-2006.
+Se puede decir que la omitida tiene el impresión de que también la Comisión no tiene ninguna idea de cómo proporcionar el máximo coordinación entre la asistencia del Fondo Social Europeo, que está sujeta a revisar después de tres y meses, y los planos nacionales anuales de los Estados miembros para el
+Estamos esperando que la Comisión nos podra resolutarnos que esto era una supervisión que ahora se trata constructivamente.
+Seor Presidente, seor Comisario, la propuesta presentada por la Comisión, a través de su mandato, es un punto razonable para el Comité de Academia y Desarrollo Rural.
+Pero quiero decir que este punto de inicio nos indica los desafos que nos enfrentan: mantener una población en las zonas rurales, dada las cambios que se encuentran en todas las tipos de actividades económicas a causa del aumento de la importancia de la agricultura entre las diversas fuentes de ingresos para la sociedad
+Esto, además de las deficiencias en las redes de infraestructuras y servicios y de un nivel muy bajo de empleo, generalmente muy bajo, que además es temporales y no tiene diversidad, agrava la exodus de las zonas rurales.
+Las consecuencias no inspiran la esperanza.
+Están los jóvenes que se desaparecen, que obtengan educación y encontrar trabajo en el exterior de las zonas rurales, todo lo que tiene un efecto negativo en esas zonas.
+Esta falta de infraestructura es también un obstáculo para la establección de empresas y la creación de trabajos.
+Tenemos que recordar que las zonas rurales representan casi cuatro quintos del territorio de la Unión Europea.
+La agricultura proporciona sólo 5.5% de la ocupación en la Unión.
+Además, tres cuadros de nuestros trabajadores agrcolas están trabajando durante el tiempo y necesitan complementos a sus ingresos.
+Por esta razón, uno de los objetivos más importantes y esenciales que deberamos establecer en la Unión Europea es escribir esfuerzos para crear nuevas trabajos en las zonas rurales, afuera del sector agrcola, en sectores como turismo rural, el juego, la cultura, la conservación de
+Por tanto, apoyamos el establecimiento de una poltica de desarrollo agrcola y rural que corresponde a los objetivos que hemos escritos. Esperamos que las zonas rurales, a principios del siglo XXI, sean competitivos y multifuncionales, tanto en relación a la agricultura como en relación 
+Este es importante priorizar los criterios generales para la planificación de terrestres y la equilibración demócrata, y tener en cuenta las conclusiones del Comité de Agricultura y Desarrollo Rural sobre los cinco aspectos fundamentales, que sólo se han tenido parte del Comité de Transporte, Politica Regional y Turismo en sus puntos 16 y 17.
+En conclusión, quisiera a la Comisión tener estos cinco puntos en cuenta cuando establecer las conclusiones sobre los cuatro pilares porque creo que, para la Unión Europea, la mantenimiento de la población en las zonas rurales debe ser uno de los objetivos prioritario.
+Seor Presidente, seor Comisario, quisiera empezar a agradecer a la seora Schroedter, el ponente, por su trabajo.
+Creo que esta trabajo ha sido trabajada extremadamente bien.
+También quisiera agradecerle a ella por su voluntad de entrar en un diálogo con los otros grupos polticos cuando se necesitan formulas de compromiso en el calentamiento de esta avalanza de enmiendas -y quizás hay más de ellos que somos esperados - pero que realmente reflejan el importancia del informe que esta
+Estamos de acuerdo que es importante que la Comisión toma en cuenta las conclusiones adoptadas por este Parlamento, al menos en espritu, porque en este momento podra parecer que lo que estamos haciendo aqu es un ejercicio inutil, y nada sin aire caliente.
+Sin embargo, la verdad de la cuestión es que creemos -y esto se muestra también en el modo en que las conclusiones se han elaborado - que la Comisión debe tener el contenido de lo que está adoptado por este Parlamento, en particular en el lugar de una revisión intermedio de estos directrices.
+En nuestros amendamentos, hemos afirmado el importancia de las sinergas necesarias que se producen entre los Fondos estructurales, el Fondo de Cohesión y las iniciativas comunitarias, para que su aplicación debera ser reflejada, en el mejor y más rendido modo, por la eliminación gradual de las disparidades entre regiones y
+Para lograr un impulso más rápido y eficaz para lograr estos objetivos, creemos que los que generan empleo, los empresarios reales y los que realmente garantizan nuevas fuentes de empleo, por ejemplo, los empresarios comerciales, debe participar en este iniciativo.
+Las empresas pequeas y medianas deberán participar en la distribución de estos fondos.
+Si no, si los empresarios se sienten marginalizadas, si los empresarios no pueden participar, no sólo en el manejo, sino también en el recibir estos fondos, habrámos olvidado una oportunidad para lograr nuestros objetivos más rápidamente.
+También, para lograr nuestras objetivos, para superar las disparidades entre las regiones y para buscar fuentes de empleo, es crucial dar nuestro apoyo completo a nuevas tecnologas, a los redes de transporte y de comunicación y a las energas renovables.
+Todo esto debe ser realizado -repetido - con la participación de las empresas privadas, que, uniendo sus esfuerzos con las de las administraciones pblicas, pero complementandolos, nunca obstructando o excluyendolos, conducirá a la creación de riqueza en la sociedad y de trabajos.
+Seor Presidente, me tiene que recordar a mi colega, el seor Evans, por qué Wales lograron el estatus de Objetivo 1 por las polticas discreditadas de su propia Partido Conservative.
+De acuerdo también que cuando su lder de partida, el Sr. Hague, fue Secretario de Estado de Wales, violó todos los reglas en el libro sobre la adicción que llevó a una sterna carta del Comisario Wulf-Mathies sobre las requisiciones reguladas.
+Puedo decirles que el gobierno británico está consciente de sus requisitos reguladores sobre el adicionalidad del Objeto 1, y me sugeren que el seor Evans se vuelve y lee la normativa.
+Mi Grupo ha hecho amplias enmiendas a ambas informes para debate hoy.
+Quiero centrar nuestras mentes sobre el papel esencial de las directrices.
+El objetivo es proporcionar un marco y un instrumento para apoyar y aumentar la regeneración económica, para obtener el uso más eficaz de los recursos en el amplio compaero y para ponerse estos regiones en el camino a recuperarse y a desarrollarse sostenibles, por el fin de
+Es importante identificar las habilidades y potencialidades de nuestros regiones en el sector hi-tech.
+Es especialmente importante en el luz de los informes en los medios de comunicación que Europa se pierde rápidamente el terreno a los Estados Unidos en las industrias de crecimiento hi-tech del futuro.
+La operación del ro anterior de programas es también muy instructiva en diciendo cuáles no deberan ser las directrices.
+No deberan estar acerca de crear capas adicionales de birocrática y tráfico.
+No deberan estar acerca de cambios de prioridades y de las polticas durante el desarrollo del proyecto, resultando en inevitables retardos y subsuficiencias, especialmente en el luz del nuevo requisito budgético.
+La implementación y el funcionamiento de las directrices no se puede abandonarse a la interpretación personal de uno o otro agente de escritorio, en la Comisión o en el servicio civil.
+Se debe tener una coherencia interna en el directorio de la Comisión, pero respecto los aspectos locales y regionales especficos de los programas de la Comisión.
+La conclusión es que debemos hacer el caso de que las directrices son amplias, indicativas y flexibles para ayudar a nuestros programadores y usuarios de fondos y para obtener el potencial máximo de nuestros nuevos campos de regeneración.
+Si podemos inyectar un espritu de actividad empresariale en nuestros regiones pobres y estructurales bajas, finalmente llegarán a la camina de atracción de confianza sobre los inversionistas, que será el clave para el éxito futuro.
+Esto es cómo vamos a evaluar el éxito de estas directrices: si la poltica regional de la UE, con una buena, solida, permitida orientación, puede abrir nuevas oportunidades y permitir que nuestros pobres y estructurales pequeos regiones pueden jugar el papel de contribución a la crecimiento
+Seor Presidente, seor Comisario, quisiera agradecer a la seora Schroedter por un excelente informe. Se ha encontrado el tema en algn profundo y en el debate del comité tena cuenta de muchas de las enmiendas que se presentaron sobre este informe.
+El ponente ha afirmado también que el Parlamento no fue escuchado en tiempo en relación con las directrices.
+Ahora estamos detrás de esta cuestión.
+Espero que, sin embargo, los asuntos que el Parlamento ha tomado ayudarán, sin embargo, a la evaluación de los programas en medio plazo y a su implementación práctica.
+Por el tiempo, el informe creció demasiado grande cuando se estaba debatido.
+Se contiene detalles y asuntos que haban abordado en los informes anteriores.
+En este momento es más importante concentrarse en evaluar cómo podemos usar este proceso para dirigir la poltica regional de la Unión, teniendo en cuenta que el objetivo es reducir la incidencia regional.
+Nuestra Grupo expresa el importancia del principio de subsidiaridad, de la responsabilidad de los Estados miembros y del papel de los actores locales en la elaboración y la implementación de programas.
+Es especialmente importante que las IMM-ACP participan en la planificación y la implementación de programas.
+Nuestra Grupo considera también importante tener en cuenta una mayor atención a las áreas distantes y periféricas y quiere aumentar la interacción entre las ciudades y las áreas rurales.
+Openamos la excesiva control del administración central de la Unión y de sus Estados miembros, y llamamos una reducción de la burocracia que se ha enfrentado en la elaboración y implementación de programas.
+Los proyectos implementados con apoyo de la Unión han tenido su efecto muy a menudo por las lentas decisiones y procesos administrativos complicadas.
+Los fondos han sido a menudo concedidos para proyectos que no han tenido beneficios permanecionales para el alrededor del alrededor.
+Los proyectos tienen que ser realizados más eficientemente, más flexivos y tienen que ser producidos más productivos.

sample_text2/en2es.translation.nllb-200.8bits.txt

@@ -0,0 +1,32 @@
+Reinicio de la sesión
+Declaro la reanudación de la sesión del Parlamento Europeo que se suspendió el viernes 17 de diciembre de 1999, y quisiera desearles una vez más un feliz Año Nuevo, con la esperanza de que hayan disfrutado de un agradable período festivo.
+Aunque, como habrán visto, el temido 'insecto del milenio' no se materializó, sin embargo, la gente de varios países sufrió una serie de desastres naturales que fueron verdaderamente terribles.
+Usted ha solicitado un debate sobre este tema en el transcurso de los próximos días, durante este período de sesiones.
+Mientras tanto, quisiera observar un minuto de silencio, como han pedido varios diputados, en nombre de todas las víctimas afectadas, en particular las de las terribles tormentas en los diversos países de la Unión Europea.
+Por favor, levántese, entonces, para este minuto de silencio.
+(La Asamblea se levantó y observó un minuto de silencio)
+Señora Presidenta, una cuestión de orden.
+Usted sabrá por la prensa y la televisión que ha habido una serie de explosiones de bombas y asesinatos en Sri Lanka.
+Una de las personas asesinadas recientemente en Sri Lanka fue el Sr. Kumar Ponnambalam, quien había visitado el Parlamento Europeo hace apenas unos meses.
+¿Es conveniente, señora Presidenta, que usted escriba una carta al Presidente de Sri Lanka en la que exprese el pesar del Parlamento por su muerte y las otras muertes violentas en Sri Lanka e insta al Parlamento a que haga todo lo posible para buscar una reconciliación pacífica en una situación muy difícil?
+Sí, señor Evans, creo que una iniciativa del tipo que acaba de sugerir sería totalmente apropiada.
+Si la Asamblea está de acuerdo, haré lo que el Sr. Evans ha sugerido.
+Señora Presidenta, una cuestión de orden.
+Quisiera su consejo sobre el artículo 143 relativo a la inadmisibilidad.
+Mi pregunta se refiere a algo que se planteará el jueves y que entonces volveré a plantear.
+El informe Cunha sobre los programas de orientación plurianuales se presenta el jueves al Parlamento y contiene una propuesta en el apartado 6 de que se introduzca una forma de sanciones por cuotas para los países que no cumplan anualmente los objetivos de reducción de su flota.
+Dice que esto debe hacerse a pesar del principio de estabilidad relativa.
+Creo que el principio de estabilidad relativa es un principio jurídico fundamental de la política pesquera común y que una propuesta para subvertirlo sería jurídicamente inadmisible.
+Quiero saber si se puede plantear una objeción de este tipo a lo que no es una propuesta legislativa, sino un mero informe, y si eso es algo que puedo hacer con competencia el jueves.
+Es precisamente en ese momento cuando, si lo desea, podrá plantear esta cuestión, es decir, el jueves anterior al inicio de la presentación del informe.
+Señora Presidenta, coincidiendo con el primer período de sesiones del Parlamento Europeo de este año, se ha fijado una fecha, por desgracia para el próximo jueves, en Texas, Estados Unidos, para la ejecución de un joven de 34 años que ha sido condenado a muerte.
+A petición de un diputado francés, el Sr. Zimeray, se ha presentado ya una petición, que ha sido firmada por muchas personas, entre las que me incluyo, pero yo le pido a usted, de acuerdo con la línea que sigue constantemente el Parlamento Europeo y toda la Comunidad Europea, que, utilizando el peso de su prestigioso cargo y de la institución que usted representa, haga declaraciones al Presidente y al Gobernador de Texas, el Sr. Bush, que tiene el poder de ordenar una suspensión de la ejecución y el perdón de la persona condenada.
+Todo esto está de acuerdo con los principios que siempre hemos mantenido.
+Gracias, señor Segni, lo haré con gusto.
+De hecho, está muy de acuerdo con las posiciones que este Parlamento siempre ha adoptado.
+Señora Presidenta, quisiera llamar su atención sobre un caso en el que este Parlamento ha manifestado un interés constante.
+Es el caso de Alexander Nikitin.
+Todos estamos satisfechos de que los tribunales lo hayan absuelto y de que en Rusia también el acceso a la información sobre el medio ambiente es un derecho constitucional.
+Ahora, sin embargo, debe presentarse ante los tribunales una vez más porque el fiscal está apelando.
+Sabemos, y lo hemos dicho en muchas resoluciones, especialmente durante la última sesión plenaria del año pasado, que no se trata únicamente de un asunto jurídico y que es incorrecto que Alexander Nikitin sea acusado de actividad delictiva y de traición por nuestra participación como beneficiarios de sus conclusiones.
+Estas conclusiones constituyen la base de los programas europeos para la protección del mar de Barents, y por ello le pido que examine un proyecto de carta en el que se exponen los hechos más importantes y que manifieste la posición del Parlamento, expresada en las resoluciones que ha adoptado, en lo que respecta a Rusia.

translate.py

@@ -8,12 +8,11 @@ from torch.utils.data import DataLoader
 from tqdm import tqdm
 
 from transformers import (
-    AutoModelForSeq2SeqLM,
-    AutoTokenizer,
     PreTrainedTokenizerBase,
     DataCollatorForSeq2Seq,
 )
 
+from model import load_model_for_inference
 
 from dataset import DatasetReader, count_lines
 
@@ -30,8 +29,9 @@ def get_dataloader(
     tokenizer: PreTrainedTokenizerBase,
     batch_size: int,
     max_length: int,
+    prompt: str,
 ) -> DataLoader:
-    dataset = DatasetReader(filename, tokenizer, max_length)
+    dataset = DatasetReader(filename, tokenizer, max_length, prompt)
     if accelerator.distributed_type == DistributedType.TPU:
         data_collator = DataCollatorForSeq2Seq(
             tokenizer,
@@ -65,8 +65,9 @@ def main(
     target_lang: str,
     starting_batch_size: int,
     model_name: str = "facebook/m2m100_1.2B",
-    cache_dir: str = None,
-    precision: str = "32",
+    lora_weights_name_or_path: str = None,
+    force_auto_device_map: bool = False,
+    precision: str = None,
     max_length: int = 128,
     num_beams: int = 4,
     num_return_sequences: int = 1,
@@ -77,51 +78,84 @@ def main(
     keep_special_tokens: bool = False,
     keep_tokenization_spaces: bool = False,
     repetition_penalty: float = None,
+    prompt: str = None,
 ):
     os.makedirs(os.path.abspath(os.path.dirname(output_path)), exist_ok=True)
 
-    accelerator = Accelerator(
-        mixed_precision=precision if precision != "32" else "no",
-        split_batches=False,
-        dispatch_batches=False,
-    )
-
-    print(f"Loading tokenizer {model_name}...")
-    tokenizer = AutoTokenizer.from_pretrained(
-        pretrained_model_name_or_path=model_name, cache_dir=cache_dir
-    )
-    print(f"Loading model {model_name}...")
-    model = AutoModelForSeq2SeqLM.from_pretrained(
-        pretrained_model_name_or_path=model_name, cache_dir=cache_dir
-    )
+    accelerator = Accelerator()
 
-    model.eval()
-
-    print(f"Preparing data...\n")
-
-    if precision == "32":
-        model = model.float()
+    if precision is None:
+        quantization = None
+        dtype = None
+    elif precision == "8" or precision == "4":
+        quantization = int(precision)
+        dtype = None
     elif precision == "fp16":
-        model = model.half()
+        quantization = None
+        dtype = "float16"
     elif precision == "bf16":
-        model = model.bfloat16()
+        quantization = None
+        dtype = "bfloat16"
+    elif precision == "32":
+        quantization = None
+        dtype = "float32"
     else:
-        raise ValueError("Precision not supported. Supported values: 32, fp16, bf16")
-
-    try:
-        _ = tokenizer.lang_code_to_id[source_lang]
-    except KeyError:
-        raise KeyError(
-            f"Language {source_lang} not found in tokenizer. Available languages: {tokenizer.lang_code_to_id.keys()}"
+        raise ValueError(
+            f"Precision {precision} not supported. Please choose between 8, 4, fp16, bf16, 32 or None."
         )
-    tokenizer.src_lang = source_lang
 
-    try:
-        lang_code_to_idx = tokenizer.lang_code_to_id[target_lang]
-    except KeyError:
-        raise KeyError(
-            f"Language {target_lang} not found in tokenizer. Available languages: {tokenizer.lang_code_to_id.keys()}"
+    model, tokenizer = load_model_for_inference(
+        weights_path=model_name,
+        quantization=quantization,
+        lora_weights_name_or_path=lora_weights_name_or_path,
+        torch_dtype=dtype,
+        force_auto_device_map=force_auto_device_map,
+    )
+
+    is_translation_model = hasattr(tokenizer, "lang_code_to_id")
+
+    if is_translation_model and (source_lang is None or target_lang is None):
+        raise ValueError(
+            f"The model you are using requires a source and target language. "
+            f"Please specify them with --source-lang and --target-lang. "
+            f"The supported languages are: {tokenizer.lang_code_to_id.keys()}"
         )
+    if not is_translation_model and (
+        source_lang is not None or target_lang is not None
+    ):
+        if prompt is None:
+            print(
+                "WARNING: You are using a model that does not support source and target languages parameters "
+                "but you specified them. You probably want to use m2m100/nllb200 for translation or "
+                "set --prompt to define the task for you model. "
+            )
+        else:
+            print(
+                "WARNING: You are using a model that does not support source and target languages parameters "
+                "but you specified them."
+            )
+
+    if prompt is not None and "%%SENTENCE%%" not in prompt:
+        raise ValueError(
+            f"The prompt must contain the %%SENTENCE%% token to indicate where the sentence should be inserted. "
+            f"Your prompt: {prompt}"
+        )
+
+    if is_translation_model:
+        try:
+            _ = tokenizer.lang_code_to_id[source_lang]
+        except KeyError:
+            raise KeyError(
+                f"Language {source_lang} not found in tokenizer. Available languages: {tokenizer.lang_code_to_id.keys()}"
+            )
+        tokenizer.src_lang = source_lang
+
+        try:
+            lang_code_to_idx = tokenizer.lang_code_to_id[target_lang]
+        except KeyError:
+            raise KeyError(
+                f"Language {target_lang} not found in tokenizer. Available languages: {tokenizer.lang_code_to_id.keys()}"
+            )
 
     gen_kwargs = {
         "max_length": max_length,
@@ -145,13 +179,18 @@ def main(
             f"Output file: {output_path}\n"
             f"Source language: {source_lang}\n"
             f"Target language: {target_lang}\n"
+            f"is_translation_model: {is_translation_model}\n"
+            f"Prompt: {prompt}\n"
             f"Starting batch size: {starting_batch_size}\n"
             f"Device: {str(accelerator.device).split(':')[0]}\n"
             f"Num. Devices: {accelerator.num_processes}\n"
             f"Distributed_type: {accelerator.distributed_type}\n"
             f"Max length: {max_length}\n"
-            f"Precision: {model.dtype}\n"
+            f"Quantization: {quantization}\n"
+            f"Precision: {dtype}\n"
             f"Model: {model_name}\n"
+            f"LoRA weights: {lora_weights_name_or_path}\n"
+            f"Force auto device map: {force_auto_device_map}\n"
             f"Keep special tokens: {keep_special_tokens}\n"
             f"Keep tokenization spaces: {keep_tokenization_spaces}\n"
         )
@@ -161,7 +200,7 @@ def main(
 
     @find_executable_batch_size(starting_batch_size=starting_batch_size)
     def inference(batch_size):
-        nonlocal model, tokenizer, sentences_path, max_length, output_path, lang_code_to_idx, gen_kwargs, precision
+        nonlocal model, tokenizer, sentences_path, max_length, output_path, lang_code_to_idx, gen_kwargs, precision, prompt, is_translation_model
 
         print(f"Translating with batch size {batch_size}")
 
@@ -171,6 +210,7 @@ def main(
             tokenizer=tokenizer,
             batch_size=batch_size,
             max_length=max_length,
+            prompt=prompt,
         )
 
         model, data_loader = accelerator.prepare(model, data_loader)
@@ -190,7 +230,11 @@ def main(
                     batch["attention_mask"] = batch["attention_mask"]
 
                     generated_tokens = accelerator.unwrap_model(model).generate(
-                        **batch, forced_bos_token_id=lang_code_to_idx, **gen_kwargs
+                        **batch,
+                        forced_bos_token_id=lang_code_to_idx
+                        if is_translation_model
+                        else None,
+                        **gen_kwargs,
                     )
 
                     generated_tokens = accelerator.pad_across_processes(
@@ -253,15 +297,17 @@ if __name__ == "__main__":
     parser.add_argument(
         "--source_lang",
         type=str,
-        required=True,
-        help="Source language id. See: supported_languages.md",
+        default=None,
+        required=False,
+        help="Source language id. See: supported_languages.md. Required for m2m100 and nllb200",
     )
 
     parser.add_argument(
         "--target_lang",
         type=str,
-        required=True,
-        help="Target language id. See: supported_languages.md",
+        default=None,
+        required=False,
+        help="Source language id. See: supported_languages.md. Required for m2m100 and nllb200",
     )
 
     parser.add_argument(
@@ -280,10 +326,18 @@ if __name__ == "__main__":
     )
 
     parser.add_argument(
-        "--cache_dir",
+        "--lora_weights_name_or_path",
         type=str,
         default=None,
-        help="Cache directory from which to load the model, or None to not cache",
+        help="If the model uses LoRA weights, path to those weights. See: https://github.com/huggingface/peft",
+    )
+
+    parser.add_argument(
+        "--force_auto_device_map",
+        action="store_true",
+        help=" Whether to force the use of the auto device map. If set to True, "
+        "the model will be split across GPUs and CPU to fit the model in memory. "
+        "If set to False, a full copy of the model will be loaded  into each GPU. Defaults to False.",
     )
 
     parser.add_argument(
@@ -311,9 +365,11 @@ if __name__ == "__main__":
     parser.add_argument(
         "--precision",
         type=str,
-        default="32",
-        choices=["bf16", "fp16", "32"],
-        help="Precision of the model. bf16, fp16 or 32.",
+        default=None,
+        choices=["bf16", "fp16", "32", "4", "8"],
+        help="Precision of the model. bf16, fp16 or 32, 8 , 4 "
+        "(4bits/8bits quantification, requires bitsandbytes library: https://github.com/TimDettmers/bitsandbytes). "
+        "If None, we will use the torch.dtype of the model weights.",
     )
 
     parser.add_argument(
@@ -362,6 +418,14 @@ if __name__ == "__main__":
         help="Repetition penalty.",
     )
 
+    parser.add_argument(
+        "--prompt",
+        type=str,
+        default=None,
+        help="Prompt to use for generation. "
+        "It must include the special token %%SENTENCE%% which will be replaced by the sentence to translate.",
+    )
+
     args = parser.parse_args()
 
     main(
@@ -371,7 +435,6 @@ if __name__ == "__main__":
         target_lang=args.target_lang,
         starting_batch_size=args.starting_batch_size,
         model_name=args.model_name,
-        cache_dir=args.cache_dir,
         max_length=args.max_length,
         num_beams=args.num_beams,
         num_return_sequences=args.num_return_sequences,
@@ -383,4 +446,5 @@ if __name__ == "__main__":
         keep_special_tokens=args.keep_special_tokens,
         keep_tokenization_spaces=args.keep_tokenization_spaces,
         repetition_penalty=args.repetition_penalty,
+        prompt=args.prompt,
     )