Update README.md

README.md

@@ -33,3 +33,15 @@ typical_p: 1.0<br>
 
 Датасет подготовлен по технологии TiMe
 
+
+
+## Для пользователей text-generation-webui
+В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
+Ошибка такая:<br>
+>eos_token_id = eos_token_id[0]
+>IndexError: list index out of range
+
+Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
+<code>tokenizer.eos_token_id = 2</code><br>
+перед<br>
+<code>return tokenizer</code>