--- license: apache-2.0 language: - ru library_name: transformers pipeline_tag: text-generation tags: - russian - warhammer - wh40k - warhammer40k widget: - text: "Конрад Керз подошел к огромным воротам" - text: "Болтер был украшен" - text: "Толпа хаоситов приближалась" - text: "Это был инквизитор" --- Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной. ## Для пользователей text-generation-webui В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. Ошибка такая:
>eos_token_id = eos_token_id[0] >IndexError: list index out of range Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer >И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку. > >— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда. > >Я попытался ответить ему, но слова застряли у меня во рту. В моем разуме всплыла картина того, что произошло со мной после возвращения в реальность. Мне вспомнились все мои страхи и сомнения, которые я испытывал перед лицом этого существа. И теперь я понял, почему оно так сильно отличалось от всех остальных воинов ордена. Оно выглядело таким же сильным и уверенным в себе, каким я видел себя в воспоминаниях о своем первом посещении этой комнаты. Но при этом мне показалось, что его облик изменился. Воин выглядел более старым и уставшим, чем когда бы то ни было за всю мою жизнь. На нем были доспехи цвета слоновой кости, украшенные золотом и серебром. Из нагрудника торчал меч, рукоять которого оканчивалась двумя шипами. А на груди виднелся символ, похожий на голову орка. >В зал ворвался Абаддон. > >- Что происходит? — спросил он, не обращая внимания на остальных воинов своего Легиона. > >— Я хочу знать! — рявкнул Абаддон и повернулся к своему брату-капитану: — Что ты видишь? > >Абаддон указал на стену зала. В ней зияла огромная дыра, сквозь которую пробивался свет. Он был настолько ярким, что даже в центре помещения его было видно невооруженным глазом. > >— Это портал, брат мой, — сказал Абаддон. — Мы должны идти туда. > >Он повел своих братьев вперед по коридору, который вел из тронного зала. > >— Стойте здесь, братья мои, — приказал Абаддон. — Я иду первым. > >Оба воина шагнули через дыру в стене и оказались в огромном зале с высоким потолком. Здесь царил полумрак, но Абаддон разглядел множество статуй, изображавших героев древности. Они стояли рядами вдоль стен, а их доспехи были покрыты пылью веков. Вдоль одной стены тянулся длинный ряд скамей, а у противоположной стены стоял огромный стол, заваленный свитками пергамента. На столе лежали карты, которые Абаддон взял со стола.