|
--- |
|
license: apache-2.0 |
|
language: |
|
- ru |
|
library_name: transformers |
|
pipeline_tag: text-generation |
|
tags: |
|
- russian |
|
- warhammer |
|
- wh40k |
|
- warhammer40k |
|
widget: |
|
- text: "Конрад Керз подошел к огромным воротам" |
|
- text: "Болтер был украшен" |
|
- text: "Толпа хаоситов приближалась" |
|
- text: "Это был инквизитор" |
|
--- |
|
|
|
Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной. |
|
|
|
|
|
## Для пользователей text-generation-webui |
|
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. |
|
Ошибка такая:<br> |
|
>eos_token_id = eos_token_id[0] |
|
>IndexError: list index out of range |
|
|
|
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br> |
|
<code>tokenizer.eos_token_id = 2</code><br> |
|
перед<br> |
|
<code>return tokenizer</code> |
|
|
|
|
|
|
|
>И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку. |
|
> |
|
>— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда. |
|
> |
|
>Я попытался ответить ему, но слова застряли у меня во рту. В моем разуме всплыла картина того, что произошло со мной после возвращения в реальность. Мне вспомнились все мои страхи и сомнения, которые я испытывал перед лицом этого существа. И теперь я понял, почему оно так сильно отличалось от всех остальных воинов ордена. Оно выглядело таким же сильным и уверенным в себе, каким я видел себя в воспоминаниях о своем первом посещении этой комнаты. Но при этом мне показалось, что его облик изменился. Воин выглядел более старым и уставшим, чем когда бы то ни было за всю мою жизнь. На нем были доспехи цвета слоновой кости, украшенные золотом и серебром. Из нагрудника торчал меч, рукоять которого оканчивалась двумя шипами. А на груди виднелся символ, похожий на голову орка. |
|
|
|
>В зал ворвался Абаддон. |
|
> |
|
>- Что происходит? — спросил он, не обращая внимания на остальных воинов своего Легиона. |
|
> |
|
>— Я хочу знать! — рявкнул Абаддон и повернулся к своему брату-капитану: — Что ты видишь? |
|
> |
|
>Абаддон указал на стену зала. В ней зияла огромная дыра, сквозь которую пробивался свет. Он был настолько ярким, что даже в центре помещения его было видно невооруженным глазом. |
|
> |
|
>— Это портал, брат мой, — сказал Абаддон. — Мы должны идти туда. |
|
> |
|
>Он повел своих братьев вперед по коридору, который вел из тронного зала. |
|
> |
|
>— Стойте здесь, братья мои, — приказал Абаддон. — Я иду первым. |
|
> |
|
>Оба воина шагнули через дыру в стене и оказались в огромном зале с высоким потолком. Здесь царил полумрак, но Абаддон разглядел множество статуй, изображавших героев древности. Они стояли рядами вдоль стен, а их доспехи были покрыты пылью веков. Вдоль одной стены тянулся длинный ряд скамей, а у противоположной стены стоял огромный стол, заваленный свитками пергамента. На столе лежали карты, которые Абаддон взял со стола. |
|
|