l_warhammer3 / README.md
zlsl's picture
Update README.md
bfd6b8c
---
license: apache-2.0
language:
- ru
library_name: transformers
pipeline_tag: text-generation
tags:
- russian
- warhammer
- wh40k
- warhammer40k
widget:
- text: "Конрад Керз подошел к огромным воротам"
- text: "Болтер был украшен"
- text: "Толпа хаоситов приближалась"
- text: "Это был инквизитор"
---
Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
## Для пользователей text-generation-webui
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
Ошибка такая:<br>
>eos_token_id = eos_token_id[0]
>IndexError: list index out of range
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
<code>tokenizer.eos_token_id = 2</code><br>
перед<br>
<code>return tokenizer</code>
>И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
>
>— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.
>
>Я попытался ответить ему, но слова застряли у меня во рту. В моем разуме всплыла картина того, что произошло со мной после возвращения в реальность. Мне вспомнились все мои страхи и сомнения, которые я испытывал перед лицом этого существа. И теперь я понял, почему оно так сильно отличалось от всех остальных воинов ордена. Оно выглядело таким же сильным и уверенным в себе, каким я видел себя в воспоминаниях о своем первом посещении этой комнаты. Но при этом мне показалось, что его облик изменился. Воин выглядел более старым и уставшим, чем когда бы то ни было за всю мою жизнь. На нем были доспехи цвета слоновой кости, украшенные золотом и серебром. Из нагрудника торчал меч, рукоять которого оканчивалась двумя шипами. А на груди виднелся символ, похожий на голову орка.
>В зал ворвался Абаддон.
>
>- Что происходит? — спросил он, не обращая внимания на остальных воинов своего Легиона.
>
>— Я хочу знать! — рявкнул Абаддон и повернулся к своему брату-капитану: — Что ты видишь?
>
>Абаддон указал на стену зала. В ней зияла огромная дыра, сквозь которую пробивался свет. Он был настолько ярким, что даже в центре помещения его было видно невооруженным глазом.
>
>— Это портал, брат мой, — сказал Абаддон. — Мы должны идти туда.
>
>Он повел своих братьев вперед по коридору, который вел из тронного зала.
>
>— Стойте здесь, братья мои, — приказал Абаддон. — Я иду первым.
>
>Оба воина шагнули через дыру в стене и оказались в огромном зале с высоким потолком. Здесь царил полумрак, но Абаддон разглядел множество статуй, изображавших героев древности. Они стояли рядами вдоль стен, а их доспехи были покрыты пылью веков. Вдоль одной стены тянулся длинный ряд скамей, а у противоположной стены стоял огромный стол, заваленный свитками пергамента. На столе лежали карты, которые Абаддон взял со стола.