ValueError: cannot reshape array of size ... in run_t5_mlm_flax.py data_collator
Author: yhavinga
Pull request: no

## Environment info

- `transformers` version: 4.9.0.dev0
- Platform: Linux-5.4.0-1043-gcp-x86_64-with-glibc2.29
- Python version: 3.8.10
- PyTorch version (GPU?): 1.9.0+cu102 (False)
- Tensorflow version (GPU?): 2.5.0 (False)
- Flax version (CPU?/GPU?/TPU?): 0.3.4 (tpu)
- Jax version: 0.2.16
- JaxLib version: 0.1.68
- Using GPU in script?: no (tpu)
- Using distributed or parallel set-up in script?: I guess data parallel

### Who can help
Models:
t5: @patrickvonplaten, @patil-suraj

## Information

When pre-training t5-base or t5_v1_1-base on Dutch c4 or oscar, a long time into the training the following error is raised on the [line 305 of the t5 mlm flax script](https://huggingface.co/yhavinga/t5-base-dutch-oscar-fail/blob/main/run_t5_mlm_flax.py#L305)

```
Traceback (most recent call last):
  File "./run_t5_mlm_flax.py", line 750, in <module>
    model_inputs = data_collator(samples)
  File "./run_t5_mlm_flax.py", line 262, in __call__
    batch["input_ids"] = self.filter_input_ids(input_ids, input_ids_sentinel)
  File "./run_t5_mlm_flax.py", line 305, in filter_input_ids
    input_ids = input_ids_full[input_ids_full > 0].reshape((batch_size, -1))
ValueError: cannot reshape array of size 98111 into shape (192,newaxis)
```

The problem arises when using:
* [ ] the official example scripts: (give details below)
* [x] my own modified scripts:

The scripts and training state are uploaded to the model hub at [yhavinga/t5-base-dutch-oscar-fail](https://huggingface.co/yhavinga/t5-base-dutch-oscar-fail/tree/main)

The tasks I am working on is:
* [ ] an official GLUE/SQUaD task: (give the name)
* [x] my own task or dataset: (give details below)

Pre-training t5-v1-1-base on Dutch oscar and/or c4.

The error seems to persist over multiple datasets used, and at least two projects in the Flax/Jax Community week:
This is a grep of this error in my training runs:
```
cannot reshape array of size 130815 into shape (256,newaxis)
cannot reshape array of size 32703 into shape (64,newaxis)
cannot reshape array of size 392447 into shape (768,newaxis)
cannot reshape array of size 523263 into shape (1024,newaxis)
cannot reshape array of size 130815 into shape (256,newaxis)
cannot reshape array of size 28927 into shape (256,newaxis)
```

and another user replied in the flax-jax channel "we also struggled with this issue while T5 pre-training. Since there are not too many corrupted samples you can simply avoid them by wrapping data_collator calls into a try/catch block."

## To reproduce

Steps to reproduce the behavior:

1. Clone the repo  [yhavinga/t5-base-dutch-oscar-fail](https://huggingface.co/yhavinga/t5-base-dutch-oscar-fail/tree/main) on a TPU-v3-8 vm
2. Run the script `run_t5.sh` and wait

## Expected behavior

No reshape errors.

Comments:
Thanks for the issue! I'll try to look into it today :-) 

By `".. and wait"`, how long does it take on your machine? Also do you think it might be possible to get the error on a much smaller dataset then the whole dutch oscar dataset (which is quite large)?

Also note that `batch_size` should ideally be set to a power of 2 (8, 16, 32) especially on TPU. Also is the `run_t5_mlm_flax.py` the most current T5 pretraining script from master (date 16.07.2021)?

This issue has been automatically marked as stale because it has not had recent activity. If you think this still needs to be addressed please comment on this thread.

Please note that issues that do not follow the [contributing guidelines](https://github.com/huggingface/transformers/blob/master/CONTRIBUTING.md) are likely to be ignored.

@patrickvonplaten is it resolved now?

Hey @patil-suraj , I've seen this error now during model training. I've used a batch size of 8 (both for training and evaluating) and it only happens for one certain corpus (other pre-trainings were good).

I will try to find the problematic sentence in that batch now!



Code snippet that throws the error is:

https://github.com/huggingface/transformers/blob/e65bfc09718f132c76558d591be08c9751dd3ff2/examples/flax/language-modeling/run_t5_mlm_flax.py#L363-L375

I dill'ed/pickled `input_ids` (argument, before it is getting re-shaped):

```bash
array([    8,  2451,    91,  1655,    23,  7212,     6,    73,  4590,
          10,     7,     3, 17053,    11,  1839,    10,  2587,     5,
        1458,  2799,     7,     3, 22434,    10,     3,  5409,   152,
           3,    12,  9326,   108,   107,  2740,    23,   130, 22409,
         504,   353,   152,     3,    12,  1954,  2652,   132,     7,
       21751,    23,  1881,   152,     3,    12, 21870,    23,  1881,
           4,     1,   178,     3, 15334,     5,    59,   385,     8,
        1760,    42,   604,     4,     1,    39,   332,    14,    25,
           8,    81,   372,    20,  1606,   747,   101,     5,     3,
        2007,    81,  2934,  4615,     7,     3,  5481,   745,   769,
           9,  4603,  1513,     8,   928,     4,     1,   143,  1515,
          22,     3,    19,    60,   442,     5,    63,   215,     3,
        4536,     5,  5367,  3433,    17,  6538,     6,     7,   198,
          17,     3, 16011,     4,     1,  9812, 14025,     4,     1,
          13,    20,     3,  1880,   641,     8,   492,    61,     5,
           1,  6837,    23,  2452, 10670,     7,  1031,  5203,    29,
         746,  2138,  8822,    42,    37,   397,     8,  2822,     5,
        1336,     7, 11851,    71,   112,     4,     1,   246, 12361,
          50,  1342,     6,    23, 11098,    72,     3,    24,    67,
        1124,   351,  1582,     5,   268,  8868,    25,     3,    24,
          54,  1124,   351,  2349,     4,     1,  5596, 20595,     3,
        5022,    13,     8,   394,  2599,     8,   272,  1976,  1184,
        4653,    73, 10541,  2545,   113,  7613,    16,     3,    54,
           5,    48,    62,    15,     5,    48,     1,    83,  2405,
          10,   174,     6,     3,  2733,    32,    61,     8,  4433,
           5,     9,    88,    26, 16396,     3, 11363,    78,     1,
           3,   395,   174,  2454,     3, 14552,     3, 22308,    22,
          38,  3561,    12,     7,  5348,    11,  6240,    29,     3,
       12429,     6,  2743,    21,  1126,    13,     8, 16481,   112,
        2657,  4086,     4,     1,    89,     3,    18,    15,     5,
          54,  2136,   427, 11511,     3,   701,    23,     3, 19641,
          42,  7420,    91,   105, 12674,  1022,   749,     3,  6809,
          36,   105, 12674,  1022,    11,    73,   180,  4596,  2459,
           7,  5719,    11,    10,  2459,    61,  5291,    11, 12674,
           4,     1,   172,   147,     3,  5984,     6, 15164,    16,
           5,  6659,  7078,    11,  9829,     5,  2462,  7078,    11,
        9829,     5,  1243,  5764,     5,  1078,  9795,     7,  6003,
       22795,  2812,    31,  2023,    21,     3, 13112,     5,   101,
         247,   210,    11,   386,   401,    21,  9746,     6,     7,
           3,  7738,  9280,     6,  1925, 16891,     6,    78,    78,
          78,     1,   143,   232,   195,     6,    57,  2308,    29,
          32,   198,     5,    29,    28,   682,     3,    92,     7,
          29,     9,   928,  2687,     4,     1,  5412,  6614,  7969,
          16,    12, 10973, 11238,   327,  4717,     3,    18,    54,
          12,    24,    48,   139,     3, 23392,     3,    18,    48,
          15,     3,    34,    34,     3,    12,     3, 23392,     3,
          24,    48,    15,     3,    34,    34,     3,     5,  6614,
        7969,    16,    12, 10973, 11238,   327,  4717,     3,    18,
          54,    12,    24,    48,   139,     3, 23392,     3,    18,
          48,    15,     3,    34,    34,     3,    12,     3, 23392,
           3,    24,    48,    15,     3,    34,    34,     3,   458,
        2891,  3236,     5,  5412,  6614, 14491,    16,    16,   327,
        4717,     3,    18,    15,    12,    24,    48,   139,     3,
       23392,     3,    18,    48,    15,     3,    34,    34,     3,
           5,  5412,  6614,  7969,    16,    12, 10973, 11238,   327,
        4717,     3,    18,    54,    12,    18,    48,   139,     5,
           3, 23392,     3,    24,    47,    15,     3,    34,    34,
           3,     5,  5412,  6614, 14491,    16,    16,   327,  4717,
           3,    18,    54,    12,    18,    48,   139,     5,     3,
       23392,     3,    24,    47,    15,     3,    34,    34,     7,
       13642,  2891,     3,     5,  5412,  6614, 14491,    16,    16,
         327,  4717,     3,    18,    54,    12,    18,    48,   897,
         454,     5,     3, 23392,     3,    24,    47,    15,     3,
          34])
```

And `input_ids_full` is:

```bash
array([    8, 32102,    -1,  1655,    23,  7212,     6,    73,  4590,
       32101,    -1,    -1,    -1,    11,  1839,    10,  2587,     5,
        1458,  2799,     7,     3, 22434,    10,     3,  5409, 32100,
          -1,    12,  9326,   108,   107,  2740,    23,   130, 22409,
         504,   353,   152,     3,    12,  1954,  2652,   132,     7,
       21751,    23, 32099,   152,     3,    12, 21870,    23,  1881,
           4,     1,   178,     3, 15334,     5,    59,   385,     8,
        1760,    42,   604,     4,     1,    39,   332,    14,    25,
           8,    81,   372,    20,  1606,   747,   101,     5,     3,
        2007,    81,  2934,  4615,     7,     3,  5481,   745,   769,
           9,  4603,  1513,     8,   928,     4,     1,   143,  1515,
       32098,    -1,    -1,    -1,    -1,     5,    63,   215,     3,
        4536,     5,  5367,  3433,    17,  6538,     6,     7,   198,
          17,     3, 16011,     4,     1,  9812, 14025,     4, 32097,
          13,    20,     3,  1880,   641,     8,   492,    61,     5,
           1,  6837, 32096,    -1,    -1,     7,  1031,  5203,    29,
         746,  2138,  8822,    42,    37,   397,     8,  2822,     5,
        1336,     7, 11851,    71,   112,     4,     1,   246, 12361,
          50,  1342,     6,    23, 11098,    72,     3,    24,    67,
        1124,   351,  1582,     5,   268,  8868,    25,     3,    24,
          54,  1124,   351,  2349,     4,     1,  5596, 20595,     3,
        5022,    13,     8,   394,  2599,     8,   272,  1976, 32095,
        4653,    73, 10541,  2545,   113,  7613,    16,     3,    54,
           5,    48,    62,    15, 32094,    -1,    -1,    -1,    -1,
          -1,    -1,    -1,     3,  2733,    32,    61,     8,  4433,
           5,     9,    88,    26, 16396,     3, 11363,    78,     1,
           3,   395,   174,  2454,     3, 14552,     3, 22308,    22,
       32093,    -1,    12, 32092,    -1,    -1,  6240,    29,     3,
       12429,     6,  2743, 32091,    -1,    -1,    -1,    -1,   112,
        2657,  4086,     4,     1,    89,     3,    18,    15,     5,
          54,  2136,   427, 11511,     3,   701,    23,     3, 19641,
          42,  7420,    91,   105, 12674, 32090,    -1,    -1,  6809,
       32089,    -1,    -1,    -1,    11,    73,   180,  4596,  2459,
           7,  5719,    11,    10, 32088,    -1,  5291,    11, 12674,
           4,     1,   172,   147,     3, 32087,    -1,    -1,    16,
           5,  6659,  7078,    11,  9829,     5,  2462,  7078,    11,
        9829,     5,  1243,  5764,     5,  1078,  9795,     7,  6003,
       22795,  2812,    31,  2023,    21,     3, 13112,     5,   101,
         247,   210, 32086,   386,   401,    21,  9746,     6,     7,
           3,  7738,  9280,     6,  1925, 16891,     6,    78,    78,
          78,     1,   143,   232,   195,     6,    57,  2308,    29,
          32,   198,     5,    29,    28,   682,     3,    92,     7,
          29,     9,   928,  2687,     4,     1,  5412,  6614,  7969,
          16,    12, 10973, 11238,   327,  4717,     3,    18,    54,
          12,    24,    48,   139,     3, 23392,     3,    18,    48,
          15, 32085,    -1,    -1,    -1,    -1,    -1, 23392,     3,
       32084,    -1,    15,     3,    34,    34,     3,     5,  6614,
        7969,    16,    12, 10973, 32083,    -1,    -1,    -1,    -1,
          54,    12,    24,    48,   139,     3, 23392, 32082,    18,
          48,    15,     3,    34,    34,     3, 32081,    -1,    -1,
           3,    24,    48,    15,     3,    34,    34,     3,   458,
        2891,  3236,     5,  5412,  6614, 14491,    16,    16,   327,
        4717,     3,    18,    15,    12,    24,    48,   139,     3,
       23392,     3,    18,    48,    15, 32080,    -1,    -1,    -1,
          -1,    -1,  6614,  7969,    16,    12, 10973, 11238,   327,
        4717,     3, 32079,    -1,    -1,    -1,    -1,    -1,     5,
           3, 23392,     3,    24, 32078,    15,     3,    34,    34,
           3,     5,  5412,  6614, 14491,    16,    16,   327,  4717,
           3,    18,    54,    12,    18,    48,   139,     5,     3,
       23392,     3,    24,    47,    15,     3,    34, 32077,    -1,
       13642,  2891,     3,     5,  5412,  6614, 14491,    16,    16,
         327,  4717,     3,    18,    54,    12,    18,    48,   897,
         454,     5, 32076,    -1,     3,    24,    47,    15,     3,
       32075])
```

The `input_ids` can be back translated into the following text:

```text
Out[5]: 'der Gelegenheit zum Abschluss von Verträgen über Grundstücke und grundstücksgleiche Rechte, Wohnräume und gewerbliche Räume; -Planung uns Ausführung von Bauvorhaben aller Art; -Erwerb und Veräußerung von Immobilien; -Verwaltung von Immobilien.
 Er schildert, wie dort der Alltag aussieht.
 Sie sichern auf der einen Seite den Risikoschutz ab, bilden einen Sparanteil und decken darüber hinaus die Verwaltungskosten der Gesellschaft.
 Darum ist es so wichtig, dass Ihr lernt, Eure Texte zu beurteilen und selbst zu reparieren.
 Angebotsdetails.
 in den kommenden Wochen der Frage nach,
 Vermittlung von Sprachfiguren und Texttypen für verschiedene Kommunikationsprozesse aus dem Bereich der Wissenschaft, Technik und Journalistik.
 Tagsüber werden Temperaturen von circa 28°C erwartet, welche nachts auf 24°C fallen.
 Korneuburg schlägt in der letzten Runde der ersten Klasse Weinviertel überforderte Zistersdorfer 4,5/0,5
 Das Fiepen richtet sich nach der Spannung, die durch das Netzteil fließt!
 steptext dance project ist eine Produktions- und Präsentationsplattform für zeitgenössischen Tanz mit Sitz in der Schwankhalle Bremen.
 Der 10,4 Kilometer lange Wanderweg führt von Kreuzberg aus parallel zum Sahrbachweg nördlich des Sahrbachs über Krälingen und Häselingen nach Kirchsahr.
 An alle verliebten Veganer, Rohköstler, Urköstler, Umweltfreunde, Tierliebhaber und Green Wedding Fans: Schluss mit verstecken, ab jetzt gehts richtig rund mit veganen und rohköstlichen Traumhochzeiten!!!
 Dabei sollen sie Verantwortung für sich selbst, für ein Projekt – und für die Gesellschaft übernehmen.
 Fein Winkel Schleifer-Polierer WPO 14-25 E Ø 150 mm - Ø 250 mm, Winkel Schleifer-Polierer WPO 14-25 E Ø 150 mm - Ø 250 mm + Set Edelstahl, Fein Winkel Polierer WPO 10-25 E Ø 150 mm, Fein Winkel Schleifer-Polierer WPO 14-15 E, Ø 230 mm, Fein Winkel Polierer WPO 14-15 E, Ø 230 mm und Marine Set, Fein Winkel Polierer WPO 14-15 XE, Ø 230 m'
```

So `
` is missing at the end?

@stefan-it thanks for diving into this!
@patrickvonplaten apologies for not responding earlier, the flax/jax week was pretty hectic & time constrained. To answer your question: the error doesn't occur often and takes in the order of hours to occur.

The reshape error I got is caused by a single special token (0) in the input_ids, which causes filter_input_ids() to remove one token too many, resulting in a faulty shape. 

I put the input_ids and label_ids that triggered it into a self-contained testfile (need to rename to .py to run).
[testcase.txt](https://github.com/huggingface/transformers/files/7932459/testcase.txt)

The faulty text decodes to a text containing <pad>.:
`alleen op de standaardlocaties bijgewerkt. Pak de update (KB) uit door gebruik te maken van de opdracht KB /x:<pad>. Kopieer Msrdp.cab van <locatie> naar het aangepaste pad. * Dit scenario is van toepassing als u RDC 6.0 of later op de clientcomputer (werkstation) hebt geïnstalleerd. Vraag Nadat ik de beveiligingsupdate heb geïnstalleerd, wordt het ActiveX-onderdeel door Internet Explorer 6 en Internet Explorer 7 niet op mijn computer geïnstalleerd. Hoe komt dat? Vanaf de Windows Update-website: Windows Update biedt de bijgewerkte versie van het bestand Msrdp.ocx echter automatisch aan als het kwetsbare Msrdp.ocx-bestand zich bevindt in %Windir%\Download Program Files op de client. Door de update te installeren vanaf de Terminal Services Web-server. Deze update vervangt het bestand Msrdp.cab file echter alleen op de standaardlocaties. Kopieer het bestand Msrdp.cab vanaf <locatie> naar het aangepaste pad. Vraag Het bestand Msrdp.ocx is niet aanwezig nadat ik de update heb geïnstalleerd. Hoe komt dat? Antwoord Deze update werkt alleen de bestanden bij die op de computer aanwezig zijn voordat u deze update installeert. Als het bestand Msrdp.ocx dus niet aanwezig was op de op Windows XP SP2 gebaseerde computer voordat u deze update hebt geïnstalleerd, wordt het bestand Msrdp.ocx niet gedownload en niet op de computer geïnstalleerd. Wanneer het bestand Msrdp.ocx op de client wordt geïnstalleerd, biedt Windows Update de update opnieuw aan de clientcomputer aan. Vraag Hoe kan ik controleren of het bestand Msrdp.ocx op mijn systeem staat? dir "%windir%\downloaded program files" Vraag Het bestand Msrdp.cab is niet aanwezig nadat ik de update heb geïnstalleerd. Hoe komt dat? Antwoord Deze update werkt alleen de bestanden bij die op de computer aanwezig zijn voordat u deze update installeert. Als het bestand Msrdp.cab niet aanwezig was op de op Windows XP SP2 gebaseerde computer voordat u de update hebt geïnstalleerd, wordt het bestand Msrdp.cab niet op de clientcomputer geïnstalleerd. Vraag`

In the dataset this text can be found with the `<pad>` string as well.
`
{"text": "Opmerking De bestanden worden uitsluitend bijgewerkt als de bestanden al op de clientcomputer aanwezig waren.\nHoud er rekening mee dat bij specifieke implementaties van de RDC-client de namen van bestanden tijdens de installatie mogelijk worden gewijzigd. De bestandsnamen die worden weergegeven in de sectie Informatie over bestanden, zijn de oorspronkelijke bestandsnamen van voor de installatie.\nVraag Is RDC 5.0 gecorrigeerd voor Windows 2000?\nAntwoord Ja, de Windows 2000-versie van RDC is gecorrigeerd in de upgrade van RDC-versie 5.0 naar 5.1. Dit leidt tot wijzigingen in de gebruikersinterface in de RDC-client. Daarnaast bevat RDC 5.1 nieuwe aanvullende functionaliteit, waaronder mogelijkheden voor omleiding.\nVraag Mijn RDC-client bevindt zich op een aangepaste locatie. Wordt deze bijgewerkt?\nAntwoord Vanwege de eigenschappen van het oudere RDC-installatieprogramma, worden RDC-clients die zich op niet-standaardlocaties bevinden mogelijk niet correct bijgewerkt. Als u dit probleem wilt oplossen, moet u de client verwijderen, vervolgens moet u de client opnieuw installeren met de standaard installatie-eigenschappen en ten slotte installeert u de beveiligingsupdate.\nVraag Waarom moet ik zowel beveiligingsupdate 958471 als beveiligingsupdate 958470 installeren wanneer ik gebruikmaak van Windows 2000 met de zogeheten in-box RDC 5.0-client?\nAntwoord Wanneer u beveiligingsupdate 958471 installeert, wordt er een upgrade van het in-box RDC 5.0-onderdeel naar versie RDC 5.1 uitgevoerd. Deze upgrade maakt deel uit van de installatie van de beveiligingsupdate. Het installeren van beveiligingsupdate 958470 leidt niet tot verdere wijzigingen met betrekking tot binaire bestanden, maar wel tot het implementeren van een killbit om te voorkomen dat het oude ActiveX-besturingelement kan worden geopend vanuit Internet Explorer. Het wordt daarom aangeraden om beide beveiligingsupdates te installeren op Windows 2000-systemen waarop er sprake is van dit probleem.\nOpmerking Remote Desktop Connection 5.0 is ook bekend onder de naam Terminal Services Client en wordt soms aangeduid als RDP omdat het de implementatie van Remote Desktop Protocol op het desbetreffende systeem betreft.\nVraag Na het installeren van de beveiligingsupdates 958470 en 958471 op een Windows 2000-computer is de RDC-gebruikersinterface in belangrijke mate gewijzigd. Hoe komt dat?\nVraag Nadat ik beveiligingsupdate 958471 of 958470 heb ge\u00efnstalleerd in Windows 2000, is er sprake van problemen met oudere toepassingen.\nAntwoord Er kunnen beperkte toepassingsgebonden compatibiliteitsproblemen optreden vanwege gebruikersinterfacewijzigingen die voortvloeien uit de upgrade van RDC 5.0 naar RDC 5.1.\nVraag Nadat ik beveiligingsupdate 958470 of 958471 heb ge\u00efnstalleerd en er een upgrade is uitgevoerd van RDC 5.0 naar RDC 5.1, heb ik RDC 5.0 handmatig opnieuw ge\u00efnstalleerd. Wordt de update opnieuw aangeboden?\nAntwoord De beveiligingsupdates 958470 en 958471 voeren een upgrade van RDC 5.0 naar RDC 5.1 uit. Als u RDC 5.0 uitdrukkelijk opnieuw installeert, wordt deze update niet opnieuw aangeboden. Het wordt echter aangeraden om de beveiligingsupdate handmatig te downloaden en opnieuw te installeren. Houd er rekening mee dat Microsoft RDC 5.0 niet langer beschikbaar stelt voor downloaden.\nVraag Ik heb RDC 5.0 ge\u00efnstalleerd via Terminal Services Advanced Client (TSAC). De beveiligingsupdate 958471 wordt echter niet aangeboden. Hoe komt dat?\nAntwoord De RDC 5.0-versie die wordt ge\u00efnstalleerd via TSAC, wordt bijgewerkt door de beveiligingsupdate 958470. De beveiligingsupdate 958470 wordt daarom niet aangeboden.\nVraag Voordat ik de beveiligingsupdate heb ge\u00efnstalleerd, had ik de RDC 5.1-versie van Msrdp.ocx. Na het installeren van de beveiligingsupdate wordt deze versie van Msrdp.ocx niet meer weergegeven. Waarom is dat?\nAntwoord Wanneer u deze beveiligingsupdate installeert, wordt er een upgrade uitgevoerd van de RDC 5.1-versie van Msrdp.ocx naar de RDC 5.2-versie van Msrdp.ocx.\nVraag Corrigeert deze beveiligingsupdate mijn installatie wanneer ik over een toepassing beschik die de binaire bestanden van Webverbinding met extern bureaublad implementeert op niet-standaardlocaties?\nAntwoord Deze update voor Microsoft Webverbinding met extern bureaublad werkt de binaire bestanden bij op hun standaardlocaties. Als u de binaire bestanden voor Microsoft Webverbinding met extern bureaublad naar een aangepaste locatie hebt gedistribueerd, moet u de aangepaste locatie bijwerken met de bijgewerkte binaire bestanden.\nVraag Ik heb de beveiligingsupdate ge\u00efnstalleerd en nu kan ik geen verbinding maken wanneer ik probeer het ActiveX-onderdeel van MSTSC (Msrdp.ocx) te gebruiken. Hoe komt dat?\nInstalleer de beveiligingsupdate opnieuw op het clientwerkstation, zodat de oudere versie van het bestand Msrdp.ocx dat vanaf de server is gedownload, wordt bijgewerkt.\nOpmerking Het bestand Msrdp.ocx wordt alleen op de standaardlocaties bijgewerkt.\nPak de update (KB) uit door gebruik te maken van de opdracht KB /x:<pad>.\nKopieer Msrdp.cab van <locatie> naar het aangepaste pad.\n* Dit scenario is van toepassing als u RDC 6.0 of later op de clientcomputer (werkstation) hebt ge\u00efnstalleerd.\nVraag Nadat ik de beveiligingsupdate heb ge\u00efnstalleerd, wordt het ActiveX-onderdeel door Internet Explorer 6 en Internet Explorer 7 niet op mijn computer ge\u00efnstalleerd. Hoe komt dat?\nVanaf de Windows Update-website: Windows Update biedt de bijgewerkte versie van het bestand Msrdp.ocx echter automatisch aan als het kwetsbare Msrdp.ocx-bestand zich bevindt in %Windir%\\Download Program Files op de client.\nDoor de update te installeren vanaf de Terminal Services Web-server. Deze update vervangt het bestand Msrdp.cab file echter alleen op de standaardlocaties.\nKopieer het bestand Msrdp.cab vanaf <locatie> naar het aangepaste pad.\nVraag Het bestand Msrdp.ocx is niet aanwezig nadat ik de update heb ge\u00efnstalleerd. Hoe komt dat?\nAntwoord Deze update werkt alleen de bestanden bij die op de computer aanwezig zijn voordat u deze update installeert. Als het bestand Msrdp.ocx dus niet aanwezig was op de op Windows XP SP2 gebaseerde computer voordat u deze update hebt ge\u00efnstalleerd, wordt het bestand Msrdp.ocx niet gedownload en niet op de computer ge\u00efnstalleerd. Wanneer het bestand Msrdp.ocx op de client wordt ge\u00efnstalleerd, biedt Windows Update de update opnieuw aan de clientcomputer aan.\nVraag Hoe kan ik controleren of het bestand Msrdp.ocx op mijn systeem staat?\ndir \"%windir%\\downloaded program files\"\nVraag Het bestand Msrdp.cab is niet aanwezig nadat ik de update heb ge\u00efnstalleerd. Hoe komt dat?\nAntwoord Deze update werkt alleen de bestanden bij die op de computer aanwezig zijn voordat u deze update installeert. Als het bestand Msrdp.cab niet aanwezig was op de op Windows XP SP2 gebaseerde computer voordat u de update hebt ge\u00efnstalleerd, wordt het bestand Msrdp.cab niet op de clientcomputer ge\u00efnstalleerd.\nVraag Ik heb een oude versie van het bestand Msrdp.cab die vanaf mijn Terminal Server Web Server-computer wordt gedistribueerd. Zijn mijn clients kwetsbaar?\nAntwoord De bijgewerkte clientcomputers zijn niet kwetsbaar, ondanks dat de server niet is bijgewerkt. Het wordt echter met klem aangeraden om de update op de Terminal Server Web Server-computer te installeren, zodat het opnieuw distribueren van kwetsbare Msrdp.ocx-bestanden naar clients die niet zijn bijgewerkt, wordt voorkomen.\nVraag Waarom wordt beveiligingsupdate 958470 aangeboden voor mijn computer met Windows 2000, zelfs wanneer RDP niet is ge\u00efnstalleerd?\nAntwoord Beveiligingsupdate 958470 wordt aangeboden voor computers met Windows 2000, ongeacht of RDP is ge\u00efnstalleerd. Als RDP niet is ge\u00efnstalleerd, implementeert beveiligingsupdate 958470 toch killbits om uitzondering van het getroffen RDP ActiveX-besturingselement te voorkomen, maar het zal geen binaire bestanden vervangen.\nOpmerking In deze tabel geldt: x = niet van toepassing.\nOpmerking In deze tabel worden bijna alle gebruikers vertegenwoordigd door de scenario's die in de tabel zijn gemarkeerd met sterretjes (*).", "timestamp": "2017-08-21T21:06:36Z", "url": "https://support.microsoft.com/nl-be/help/958470/ms09-044-description-of-the-security-update-for-remote-desktop-client"}
`




Thanks for those examples guys! I'll try to dive into it this week!

Sorry to be so extremely late here. @stefan-it could you sent me a link to the tokenizer that you used that created this error?

I think this should fix the problem though: https://github.com/huggingface/transformers/pull/15835 no? 

We just need to include 0 here as this is the lowest possible input id. Could you maybe check with this @stefan-it @yhavinga ?