File size: 4,455 Bytes
340c8dd |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 |
{
"cells": [
{
"cell_type": "code",
"execution_count": null,
"id": "c7544851-fb94-44e0-86eb-65d74fad45aa",
"metadata": {},
"outputs": [],
"source": [
"from long_models.longformer_mbart import MLongformerEncoderDecoderConfig, MLongformerEncoderDecoderForConditionalGeneration\n",
"from transformers import MBartTokenizer"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "c1446321-3b74-4fbb-9871-403a82ceb0de",
"metadata": {},
"outputs": [],
"source": [
"tokenizer = MBartTokenizer.from_pretrained(\"./\")\n",
"config = MLongformerEncoderDecoderConfig.from_pretrained('./')\n",
"model = MLongformerEncoderDecoderForConditionalGeneration.from_pretrained('./', config=config)\n",
"tokenizer.src_lang = 'de_DE'"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "65105f0c-eb1c-4e2f-8f21-23e3fbec81c1",
"metadata": {},
"outputs": [],
"source": [
"input_txt = \"Ein Gebet von Mose, dem Mann Gottes: Mein Herr, eine sichere Wohnung bist du für uns gewesen von Generation zu Generation. Bevor die Berge geboren waren und du die Erde und die irdische Welt hervorgebracht hattest, und von Ewigkeit zu Ewigkeit bist du Gott. Du lässt den Menschen zum Staub zurückkehren und sprichst: „Kehrt zurück, ihr Kinder des Menschen! “ Denn tausend Jahre sind in deinen Augen wie der gestrige Tag, wenn er vergangen ist, oder eine Wache in der Nacht. Du schwemmst sie weg, sie sind wie Schlaf, am Morgen wie Gras, das aufsprosst. Am Morgen blüht es und sprosst auf, zum Abend verwelkt und verdorrt es. Denn wir vergehen durch deinen Zorn, und durch deine Zorneshitze werden wir verstört. Du stellst unsere Fehler vor dich, unsere Geheimnisse vor das Licht deiner Gegenwart. Ja, alle unsere Tage fahren dahin durch deinen Zorn, wir vollenden unsere Jahre wie einen Seufzer. Die Tage unserer Jahre, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre. und Ihr Stolz ist Mühe und Beschwerde, denn er ist schnell vergangen und wir fliegen davon. Wer erkennt die Stärke deines Zorns? Wie die Furcht vor dir ist dein Grimm. Darum lehre uns, unsere Tage zu zählen, damit wir ein Herz der Weisheit bekommen. Kehre doch zurück, JHWH! Wie lange? Habe Mitleid mit deinen Knechten! Sättige uns am Morgen mit deiner Güte, dann werden wir jubeln und uns freuen an allen unseren Tagen! Erfreue uns so viele Tage, wie du uns bedrückt hast, so viele Jahre, wie wir Unglück gesehen haben! Zeige deinen Knechten dein Handeln und deine Herrlichkeit ihren Kindern! Die Freundlichkeit des Herrn, unseres Gottes sei über uns! Das Werk unserer Hände festige über uns, und das Werk unserer Hände, festige es!\""
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "d7448395-6af9-44f4-88a0-33ed5fb80fd8",
"metadata": {},
"outputs": [],
"source": [
"print(input_txt)"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "f9483233-7c6b-4f23-b69a-b19b4de053be",
"metadata": {},
"outputs": [],
"source": [
"inputs = tokenizer(\n",
" input_txt, \n",
" padding='max_length',\n",
" return_tensors='pt')"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "4aea1744-dfeb-498e-9fc7-d3f77ff012cb",
"metadata": {},
"outputs": [],
"source": [
"outputs = model.generate(**inputs, num_beams=6, decoder_start_token_id=tokenizer.convert_tokens_to_ids('de_SI'))"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "7dcc7f7d-edff-4647-acab-fd610e27d0a7",
"metadata": {},
"outputs": [],
"source": [
"tokenizer.batch_decode(outputs)"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "5dd353d8-4de6-470e-b0e6-86c7c6640207",
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "code",
"execution_count": null,
"id": "ba203c11-b222-484a-8d53-44a4d9da8ef5",
"metadata": {},
"outputs": [],
"source": []
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3 (ipykernel)",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.10.6"
}
},
"nbformat": 4,
"nbformat_minor": 5
}
|