Repository: bigcode-project/bigcode-evaluation-harness
Issue: Following submission documentation fails to save generated model outputs for our(Jdoodle) private HF model
Root cause: Documentation Deficiency

Hi,

First of all thanks for preparing this benchmark! 

I have been trying to replicate the performance of our not-yet-opensourced model and have faced with an issues that I couldn't find a solution.

The problem I am facing with is, while follwoing the submission documentation [here](https://github.com/bigcode-project/bigcode-evaluation-harness/blob/main/leaderboard/README.md) at 2nd step (Generation), the sample command provided generates responses from my local HF model but it fails to save them so I am not able to investigate the issues and also progress to upcoming steps.

I would really appriciate any help with tha.

No errors are faced while running the benchmark, attaching the logs when I run the benchmark with a limit of 5 questions for debugging purposes.


## Logs:

Running task humaneval
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['humaneval']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.15s/it]
generation mode only
Downloading readme: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.52k/6.52k [00:00<00:00, 18.8MB/s]
Downloading data: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 83.9k/83.9k [00:00<00:00, 480kB/s]
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 164/164 [00:00<00:00, 28154.30 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:23<00:00,  2.38s/it]
Task humaneval done
Running task multiple-js
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-js']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.35s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading builder script: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.05k/4.05k [00:00<00:00, 16.6MB/s]
Downloading metadata: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 478k/478k [00:00<00:00, 11.3MB/s]
Downloading readme: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 99.6k/99.6k [00:00<00:00, 5.18MB/s]
Downloading data: 218kB [00:00, 40.0MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 9848.94 examples/s]
Downloading builder script: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.05k/4.05k [00:00<00:00, 14.1MB/s]
Downloading metadata: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 478k/478k [00:00<00:00, 9.38MB/s]
Downloading readme: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 99.6k/99.6k [00:00<00:00, 5.30MB/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:48<00:00,  4.89s/it]
Task multiple-js done
Running task multiple-java
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-java']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.11s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 321kB [00:00, 50.4MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 158/158 [00:00<00:00, 10395.46 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:52<00:00,  5.22s/it]
Task multiple-java done
Running task multiple-cpp
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-cpp']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.10s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 272kB [00:00, 44.7MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 10762.17 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:46<00:00,  4.69s/it]
Task multiple-cpp done
Running task multiple-swift
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-swift']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.09s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 238kB [00:00, 43.6MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 158/158 [00:00<00:00, 10724.69 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:45<00:00,  4.54s/it]
Task multiple-swift done
Running task multiple-php
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-php']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.08s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 264kB [00:00, 48.2MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 9934.28 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:39<00:00,  3.92s/it]
Task multiple-php done
Running task multiple-d
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-d']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.09s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 217kB [00:00, 42.1MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:00<00:00, 9929.76 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:58<00:00,  5.87s/it]
Task multiple-d done
Running task multiple-jl
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-jl']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.09s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 205kB [00:00, 38.2MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 159/159 [00:00<00:00, 10447.32 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:36<00:00,  3.62s/it]
Task multiple-jl done
Running task multiple-lua
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-lua']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.07s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 218kB [00:00, 41.9MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 10419.10 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [02:46<00:00, 16.67s/it]
Task multiple-lua done
Running task multiple-r
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-r']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.09s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 219kB [00:00, 42.3MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 10775.22 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:44<00:00,  4.50s/it]
Task multiple-r done
Running task multiple-rkt
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-rkt']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.08s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 226kB [00:00, 42.6MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 10054.09 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [01:39<00:00,  9.91s/it]
Task multiple-rkt done
Running task multiple-rs
The following values were not passed to `accelerate launch` and had defaults used instead:
        `--num_processes` was set to a value of `1`
        `--num_machines` was set to a value of `1`
        `--mixed_precision` was set to a value of `'no'`
        `--dynamo_backend` was set to a value of `'no'`
To avoid this warning pass in values for each of the problematic parameters or run `accelerate config`.
Selected Tasks: ['multiple-rs']
Loading model in bf16
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:06<00:00,  3.08s/it]
generation mode only
/home/anil/.local/lib/python3.9/site-packages/datasets/load.py:1491: FutureWarning: The repository for nuprl/MultiPL-E contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/nuprl/MultiPL-E
You can avoid this message in future by passing the argument `trust_remote_code=True`.
Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
  warnings.warn(
Downloading data: 220kB [00:00, 50.6MB/s]                                                                                                                                                                                                                                                                                          
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 156/156 [00:00<00:00, 10848.78 examples/s]
number of problems for this task is 5
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:46<00:00,  4.68s/it]
Task multiple-rs done



## Python environment installation Logs

(base) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:~/bigcode-evaluation-harness$ conda create --name bch
Collecting package metadata (current_repodata.json): done
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 23.9.0
  latest version: 24.5.0

Please update conda by running

    $ conda update -n base -c conda-forge conda

Or to minimize the number of packages updated during conda update use

     conda install conda=24.5.0


Package Plan

  environment location: /opt/conda/envs/bch



Proceed ([y]/n)? y

Preparing transaction: done
Verifying transaction: done
Executing transaction: done

 To activate this environment, use

     $ conda activate bch

 To deactivate an active environment, use

    $ conda deactivate

(base) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:/bigcode-evaluation-harness$ conda deactivate
anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:/bigcode-evaluation-harness$ conda activate bch
(bch) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:/bigcode-evaluation-harness$ pip install -e .
Obtaining file:///home/anil/bigcode-evaluation-harness
Collecting accelerate>=0.13.2
  Downloading accelerate-0.31.0-py3-none-any.whl (309 kB)
     |████████████████████████████████| 309 kB 1.6 MB/s 
Collecting datasets>=2.6.1
  Downloading datasets-2.19.2-py3-none-any.whl (542 kB)
     |████████████████████████████████| 542 kB 25.0 MB/s 
Collecting evaluate>=0.3.0
  Downloading evaluate-0.4.2-py3-none-any.whl (84 kB)
     |████████████████████████████████| 84 kB 6.5 MB/s 
Collecting fsspec<2023.10.0
  Downloading fsspec-2023.9.2-py3-none-any.whl (173 kB)
     |████████████████████████████████| 173 kB 71.6 MB/s 
Collecting huggingface_hub>=0.11.1
  Downloading huggingface_hub-0.23.3-py3-none-any.whl (401 kB)
     |████████████████████████████████| 401 kB 72.3 MB/s 
Collecting mosestokenizer==1.0.0
  Downloading mosestokenizer-1.0.0-py3-none-any.whl (51 kB)
     |████████████████████████████████| 51 kB 16.6 MB/s 
Collecting pyext==0.7
  Downloading pyext-0.7.tar.gz (7.8 kB)
Collecting transformers>=4.25.1
  Downloading transformers-4.41.2-py3-none-any.whl (9.1 MB)
     |████████████████████████████████| 9.1 MB 69.6 MB/s 
Collecting openfile
  Downloading openfile-0.0.7-py3-none-any.whl (2.4 kB)
Collecting toolwrapper
  Downloading toolwrapper-2.1.0.tar.gz (3.2 kB)
Collecting docopt
  Downloading docopt-0.6.2.tar.gz (25 kB)
Collecting torch>=1.10.0
  Downloading torch-2.3.1-cp39-cp39-manylinux1_x86_64.whl (779.1 MB)
     |████████████████████████████████| 779.1 MB 708 bytes/s 
Collecting pyyaml
  Downloading PyYAML-6.0.1-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (738 kB)
     |████████████████████████████████| 738 kB 13.1 MB/s 
Collecting numpy>=1.17
  Downloading numpy-1.26.4-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (18.2 MB)
     |████████████████████████████████| 18.2 MB 14.2 MB/s 
Collecting safetensors>=0.3.1
  Downloading safetensors-0.4.3-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (1.2 MB)
     |████████████████████████████████| 1.2 MB 13.9 MB/s 
Collecting packaging>=20.0
  Downloading packaging-24.0-py3-none-any.whl (53 kB)
     |████████████████████████████████| 53 kB 4.5 MB/s 
Collecting psutil
  Downloading psutil-5.9.8-cp36-abi3-manylinux_2_12_x86_64.manylinux2010_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl (288 kB)
     |████████████████████████████████| 288 kB 14.5 MB/s 
Collecting pyarrow-hotfix
  Downloading pyarrow_hotfix-0.6-py3-none-any.whl (7.9 kB)
Collecting requests>=2.32.1
  Downloading requests-2.32.3-py3-none-any.whl (64 kB)
     |████████████████████████████████| 64 kB 5.5 MB/s 
Collecting xxhash
  Downloading xxhash-3.4.1-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (193 kB)
     |████████████████████████████████| 193 kB 16.6 MB/s 
Collecting fsspec[http]<=2024.3.1,>=2023.1.0
  Downloading fsspec-2024.3.1-py3-none-any.whl (171 kB)
     |████████████████████████████████| 171 kB 14.2 MB/s 
Collecting filelock
  Downloading filelock-3.14.0-py3-none-any.whl (12 kB)
Collecting dill<0.3.9,>=0.3.0
  Downloading dill-0.3.8-py3-none-any.whl (116 kB)
     |████████████████████████████████| 116 kB 14.3 MB/s 
Collecting pandas
  Downloading pandas-2.2.2-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (13.1 MB)
     |████████████████████████████████| 13.1 MB 16.0 MB/s 
Collecting multiprocess
  Downloading multiprocess-0.70.16-py39-none-any.whl (133 kB)
     |████████████████████████████████| 133 kB 15.6 MB/s 
Collecting aiohttp
  Downloading aiohttp-3.9.5-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (1.2 MB)
     |████████████████████████████████| 1.2 MB 15.7 MB/s 
Collecting tqdm>=4.62.1
  Downloading tqdm-4.66.4-py3-none-any.whl (78 kB)
     |████████████████████████████████| 78 kB 9.5 MB/s 
Collecting pyarrow>=12.0.0
  Downloading pyarrow-16.1.0-cp39-cp39-manylinux_2_28_x86_64.whl (40.8 MB)
     |████████████████████████████████| 40.8 MB 124 kB/s 
Collecting fsspec[http]<=2024.3.1,>=2023.1.0
  Downloading fsspec-2024.3.0-py3-none-any.whl (171 kB)
     |████████████████████████████████| 171 kB 16.8 MB/s 
  Downloading fsspec-2024.2.0-py3-none-any.whl (170 kB)
     |████████████████████████████████| 170 kB 21.0 MB/s 
  Downloading fsspec-2023.12.2-py3-none-any.whl (168 kB)
     |████████████████████████████████| 168 kB 21.4 MB/s 
  Downloading fsspec-2023.12.1-py3-none-any.whl (168 kB)
     |████████████████████████████████| 168 kB 20.3 MB/s 
  Downloading fsspec-2023.12.0-py3-none-any.whl (168 kB)
     |████████████████████████████████| 168 kB 17.2 MB/s 
  Downloading fsspec-2023.10.0-py3-none-any.whl (166 kB)
     |████████████████████████████████| 166 kB 20.9 MB/s 
Collecting yarl<2.0,>=1.0
  Downloading yarl-1.9.4-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (304 kB)
     |████████████████████████████████| 304 kB 15.5 MB/s 
Collecting async-timeout<5.0,>=4.0
  Downloading async_timeout-4.0.3-py3-none-any.whl (5.7 kB)
Collecting frozenlist>=1.1.1
  Downloading frozenlist-1.4.1-cp39-cp39-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl (240 kB)
     |████████████████████████████████| 240 kB 20.5 MB/s 
Collecting multidict<7.0,>=4.5
  Downloading multidict-6.0.5-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (123 kB)
     |████████████████████████████████| 123 kB 20.3 MB/s 
Collecting attrs>=17.3.0
  Downloading attrs-23.2.0-py3-none-any.whl (60 kB)
     |████████████████████████████████| 60 kB 12.0 MB/s 
Collecting aiosignal>=1.1.2
  Downloading aiosignal-1.3.1-py3-none-any.whl (7.6 kB)
Collecting typing-extensions>=3.7.4.3
  Downloading typing_extensions-4.12.2-py3-none-any.whl (37 kB)
Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/lib/python3/dist-packages (from requests>=2.32.1->datasets>=2.6.1->bigcode-eval==0.0.0) (1.26.5)
Collecting charset-normalizer<4,>=2
  Downloading charset_normalizer-3.3.2-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (142 kB)
     |████████████████████████████████| 142 kB 20.0 MB/s 
Requirement already satisfied: idna<4,>=2.5 in /usr/lib/python3/dist-packages (from requests>=2.32.1->datasets>=2.6.1->bigcode-eval==0.0.0) (2.10)
Requirement already satisfied: certifi>=2017.4.17 in /usr/lib/python3/dist-packages (from requests>=2.32.1->datasets>=2.6.1->bigcode-eval==0.0.0) (2020.6.20)
Collecting nvidia-cuda-cupti-cu12==12.1.105
  Downloading nvidia_cuda_cupti_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (14.1 MB)
     |████████████████████████████████| 14.1 MB 2.0 MB/s 
Collecting nvidia-cuda-nvrtc-cu12==12.1.105
  Downloading nvidia_cuda_nvrtc_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (23.7 MB)
     |████████████████████████████████| 23.7 MB 21.4 MB/s 
Collecting nvidia-cusparse-cu12==12.1.0.106
  Downloading nvidia_cusparse_cu12-12.1.0.106-py3-none-manylinux1_x86_64.whl (196.0 MB)
     |████████████████████████████████| 196.0 MB 50 kB/s 
Collecting sympy
  Downloading sympy-1.12.1-py3-none-any.whl (5.7 MB)
     |████████████████████████████████| 5.7 MB 110.3 MB/s 
Collecting networkx
  Downloading networkx-3.2.1-py3-none-any.whl (1.6 MB)
     |████████████████████████████████| 1.6 MB 104.0 MB/s 
Collecting nvidia-nvtx-cu12==12.1.105
  Downloading nvidia_nvtx_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (99 kB)
     |████████████████████████████████| 99 kB 21.4 MB/s 
Collecting nvidia-cuda-runtime-cu12==12.1.105
  Downloading nvidia_cuda_runtime_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (823 kB)
     |████████████████████████████████| 823 kB 113.9 MB/s 
Collecting triton==2.3.1
  Downloading triton-2.3.1-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (168.1 MB)
     |████████████████████████████████| 168.1 MB 25 kB/s 
Collecting nvidia-cudnn-cu12==8.9.2.26
  Downloading nvidia_cudnn_cu12-8.9.2.26-py3-none-manylinux1_x86_64.whl (731.7 MB)
     |████████████████████████████████| 731.7 MB 14 kB/s 
Collecting nvidia-curand-cu12==10.3.2.106
  Downloading nvidia_curand_cu12-10.3.2.106-py3-none-manylinux1_x86_64.whl (56.5 MB)
     |████████████████████████████████| 56.5 MB 732 kB/s 
Collecting nvidia-cusolver-cu12==11.4.5.107
  Downloading nvidia_cusolver_cu12-11.4.5.107-py3-none-manylinux1_x86_64.whl (124.2 MB)
     |████████████████████████████████| 124.2 MB 28 kB/s 
Collecting nvidia-nccl-cu12==2.20.5
  Downloading nvidia_nccl_cu12-2.20.5-py3-none-manylinux2014_x86_64.whl (176.2 MB)
     |████████████████████████████████| 176.2 MB 88 kB/s 
Collecting nvidia-cublas-cu12==12.1.3.1
  Downloading nvidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl (410.6 MB)
     |████████████████████████████████| 410.6 MB 6.2 kB/s 
Collecting nvidia-cufft-cu12==11.0.2.54
  Downloading nvidia_cufft_cu12-11.0.2.54-py3-none-manylinux1_x86_64.whl (121.6 MB)
     |████████████████████████████████| 121.6 MB 68 kB/s 
Collecting jinja2
  Downloading jinja2-3.1.4-py3-none-any.whl (133 kB)
     |████████████████████████████████| 133 kB 101.6 MB/s 
Collecting nvidia-nvjitlink-cu12
  Downloading nvidia_nvjitlink_cu12-12.5.40-py3-none-manylinux2014_x86_64.whl (21.3 MB)
     |████████████████████████████████| 21.3 MB 743 kB/s 
Collecting tokenizers<0.20,>=0.19
  Downloading tokenizers-0.19.1-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.6 MB)
     |████████████████████████████████| 3.6 MB 96.3 MB/s 
Collecting regex!=2019.12.17
  Downloading regex-2024.5.15-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (774 kB)
     |████████████████████████████████| 774 kB 106.1 MB/s 
Collecting MarkupSafe>=2.0
  Downloading MarkupSafe-2.1.5-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (25 kB)
Collecting python-dateutil>=2.8.2
  Downloading python_dateutil-2.9.0.post0-py2.py3-none-any.whl (229 kB)
     |████████████████████████████████| 229 kB 109.1 MB/s 
Collecting tzdata>=2022.7
  Downloading tzdata-2024.1-py2.py3-none-any.whl (345 kB)
     |████████████████████████████████| 345 kB 108.4 MB/s 
Collecting pytz>=2020.1
  Downloading pytz-2024.1-py2.py3-none-any.whl (505 kB)
     |████████████████████████████████| 505 kB 107.4 MB/s 
Requirement already satisfied: six>=1.5 in /usr/lib/python3/dist-packages (from python-dateutil>=2.8.2->pandas->datasets>=2.6.1->bigcode-eval==0.0.0) (1.16.0)
Collecting mpmath<1.4.0,>=1.1.0
  Downloading mpmath-1.3.0-py3-none-any.whl (536 kB)
     |████████████████████████████████| 536 kB 105.9 MB/s 
Building wheels for collected packages: pyext, docopt, toolwrapper
  Building wheel for pyext (setup.py) ... done
  Created wheel for pyext: filename=pyext-0.7-py3-none-any.whl size=7247 sha256=acfea8e69a5040a73ccdbd749f9513e481899fb50b36210af520ee50cd3a4081
  Stored in directory: /home/anil/.cache/pip/wheels/c7/3e/08/61c11cddb757c67971533155a8f3dedb32d534695b45f943b5
  Building wheel for docopt (setup.py) ... done
  Created wheel for docopt: filename=docopt-0.6.2-py2.py3-none-any.whl size=13704 sha256=dbbf96d1a218896d3feb876f9a8520c5e98602f3ae86f18c0ba9a08fd873ea8c
  Stored in directory: /home/anil/.cache/pip/wheels/70/4a/46/1309fc853b8d395e60bafaf1b6df7845bdd82c95fd59dd8d2b
  Building wheel for toolwrapper (setup.py) ... done
  Created wheel for toolwrapper: filename=toolwrapper-2.1.0-py3-none-any.whl size=3353 sha256=dbef7dc219be66376c0ce09439de76ae545040864f5e0ec85163efd4572f4b1d
  Stored in directory: /home/anil/.cache/pip/wheels/7f/fb/ad/2b280cddd52c15c21ac9599c2661fe8aec93778fb35da77c7f
Successfully built pyext docopt toolwrapper
Installing collected packages: multidict, frozenlist, yarl, nvidia-nvjitlink-cu12, charset-normalizer, attrs, async-timeout, aiosignal, tzdata, typing-extensions, tqdm, requests, pyyaml, pytz, python-dateutil, packaging, nvidia-cusparse-cu12, nvidia-cublas-cu12, numpy, mpmath, MarkupSafe, fsspec, filelock, dill, aiohttp, xxhash, triton, sympy, pyarrow-hotfix, pyarrow, pandas, nvidia-nvtx-cu12, nvidia-nccl-cu12, nvidia-cusolver-cu12, nvidia-curand-cu12, nvidia-cufft-cu12, nvidia-cudnn-cu12, nvidia-cuda-runtime-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-cupti-cu12, networkx, multiprocess, jinja2, huggingface-hub, torch, toolwrapper, tokenizers, safetensors, regex, psutil, openfile, docopt, datasets, transformers, pyext, mosestokenizer, evaluate, accelerate, bigcode-eval
  WARNING: The script normalizer is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script tqdm is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script f2py is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script isympy is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script huggingface-cli is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The scripts convert-caffe2-to-onnx, convert-onnx-to-caffe2 and torchrun are installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script datasets-cli is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script transformers-cli is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The scripts moses-detokenizer, moses-punct-normalizer, moses-sent-splitter and moses-tokenizer are installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The script evaluate-cli is installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  WARNING: The scripts accelerate, accelerate-config, accelerate-estimate-memory, accelerate-launch and accelerate-merge-weights are installed in '/home/anil/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
  Running setup.py develop for bigcode-eval
Successfully installed MarkupSafe-2.1.5 accelerate-0.31.0 aiohttp-3.9.5 aiosignal-1.3.1 async-timeout-4.0.3 attrs-23.2.0 bigcode-eval charset-normalizer-3.3.2 datasets-2.19.2 dill-0.3.8 docopt-0.6.2 evaluate-0.4.2 filelock-3.14.0 frozenlist-1.4.1 fsspec-2023.9.2 huggingface-hub-0.23.3 jinja2-3.1.4 mosestokenizer-1.0.0 mpmath-1.3.0 multidict-6.0.5 multiprocess-0.70.16 networkx-3.2.1 numpy-1.26.4 nvidia-cublas-cu12-12.1.3.1 nvidia-cuda-cupti-cu12-12.1.105 nvidia-cuda-nvrtc-cu12-12.1.105 nvidia-cuda-runtime-cu12-12.1.105 nvidia-cudnn-cu12-8.9.2.26 nvidia-cufft-cu12-11.0.2.54 nvidia-curand-cu12-10.3.2.106 nvidia-cusolver-cu12-11.4.5.107 nvidia-cusparse-cu12-12.1.0.106 nvidia-nccl-cu12-2.20.5 nvidia-nvjitlink-cu12-12.5.40 nvidia-nvtx-cu12-12.1.105 openfile-0.0.7 packaging-24.0 pandas-2.2.2 psutil-5.9.8 pyarrow-16.1.0 pyarrow-hotfix-0.6 pyext-0.7 python-dateutil-2.9.0.post0 pytz-2024.1 pyyaml-6.0.1 regex-2024.5.15 requests-2.32.3 safetensors-0.4.3 sympy-1.12.1 tokenizers-0.19.1 toolwrapper-2.1.0 torch-2.3.1 tqdm-4.66.4 transformers-4.41.2 triton-2.3.1 typing-extensions-4.12.2 tzdata-2024.1 xxhash-3.4.1 yarl-1.9.4
(bch) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:/bigcode-evaluation-harness$ export PATH=$PATH:/home/anil/.local/bin
(bch) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:/bigcode-evaluation-harness$ echo $PATH
/opt/conda/envs/bch/bin:/usr/local/cuda/bin:/opt/conda/condabin:/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games:/home/anil/.local/bin




## OS

Linux ray-qa-worker-0-2ea7-head-1f94e943-compute 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64 GNU/Linux


(bch) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:~/generations$ lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 11 (bullseye)
Release:        11
Codename:       bullseye


## Hardware


(bch) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:lspci
00:00.0 Host bridge: Intel Corporation 440FX - 82441FX PMC [Natoma] (rev 02)
00:01.0 ISA bridge: Intel Corporation 82371AB/EB/MB PIIX4 ISA (rev 03)
00:01.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 03)
00:03.0 Non-VGA unclassified device: Red Hat, Inc. Virtio SCSI
00:04.0 3D controller: NVIDIA Corporation GA100 [A100 SXM4 40GB] (rev a1)
00:05.0 Ethernet controller: Red Hat, Inc. Virtio network device
00:06.0 Unclassified device [00ff]: Red Hat, Inc. Virtio RNG
(bch) anil@ray-qa-worker-0-2ea7-head-1f94e943-compute:~/generations$ 


Hi can you add `--save_generations \` here https://github.com/bigcode-project/bigcode-evaluation-harness/blob/main/leaderboard/README.md#2--generation 
```bash
    accelerate launch main.py \
            --model $org/$model \
            --task $task \
            --n_samples 50 \
            --batch_size 50 \
            --max_length_generation 512 \
            --temperature 0.2 \
            --precision bf16 \
            --trust_remote_code \
            --use_auth_token \
            --generation_only \
            --save_generations \
            --save_generations_path $generations_path
```

Thanks @loubnabnl -- this solved my problem. I will open a PR with the updated command you shared, link this issue. If you think it is unnecessary please close the issue directly.

Thanks!

thanks!